FRANC MALI, JANEZ JUG*
Scientometrija in analiza citatov
Napačna uporaba scientometrije v znanstveni politiki
V zadnjih treh desetletjih so skokovito narastle bibliometrične analize. Glavni razlog je bila vedno večja razširjenost računalniško dostopnih podatkovnih zbirk, ki so omogočile raznovrstne analize podatkov. Od začetka osemdesetih let se je bibliometrija razvila v vrsto znanstvenih poddisciplin z različnimi raziskovalnimi profili (bibliometrija, informetrija, scientometrija) in ustrezno komunikacijsko strukturo. V zadnjem desetletju pa je pogosto slišati glasove, da je »zgodbe o uspehu« konec (Glanzcl, Schoepflin, 1994). Tri desetletja po objavi enega temeljnih del scientometrije, Priccovega »Little Science. Big Science« (Price, 1963), je razvoj celotne vede v teoretskem in metodološkem pogledu v krizi, če že ne kar v slepi ulici. Takšno je vsaj mnenje znatnega dela avtoijev, ki so se v eni lanskih številk osrednje mednarodne revije za količinska vprašanja znanosti in znanstvenega komuniciranja' lotili obravnave stanja in razvojnih možnosti scientometrije. Po mnenju številnih avtoijev h krizi scientometrije dodatno prispevata instrumentali-zacija in podreditev količinskih merjenj znanosti različnim centrom moči, ki oblikujejo raziskovalno in razvojno politiko. Kot največjo grožnjo za razvoj scientometrije kot znanstvene vede se omenja nevarnost napačnih uporab količinskih merjenj znanosti v znanstveni politiki, kajti bibliometrične metode neposredno ne odsevajo kakovosti raziskovanja v navedenih člankih ali odličnosti navedenih raziskovalcev (Paisley, 1990:287).
Najbrž ni nobenega dvoma, da je treba tudi pri nas še naprej razvijati analitično spremljanje raziskovanja in razvoja na temelju količinskih merjenj. Pravzaprav se vse premalo razmišlja o novih problemskih razsežnostih količinskega merjenja znanstvenih rezultatov. Novi sistemi širjenja informacij v omrežju Internet odpirajo nova vprašanja količinskega spremljanja in presojanja znanstvenih izsledkov, ki niso strogo vezana na avtorstvo v objavljenih člankih. Problem je, tako v svetu kot pri nas, predvsem ta, da se količinski kazalniki znanosti, ki se nanašajo na njeno proizvodnjo (output), zunaj stroke uporabljajo izredno poljubno.
Neustrezni teoretski okviri analize citatov
V zadnjem času so se tudi pri nas v znanstveni politiki začeli uporabljati kompleksnejši bibliometrični kazalniki - med te je treba šteti zlasti seznam citatov (citation index) - kot pripomoček pri presojanju mednarodne odzivnosti oziroma kakovosti raziskovalnega dela znanstvenikov, raziskovalnih skupin in inštitutov. V veliko pomoč analizam citiranosti naših znanstvenikov in praktični uporabi le-teh v znanstveni politiki je bilo oblikovanje lastne podatkovne zbirke na podlagi seznamov citatov Garfieldovega Inštituta za znanstvene informacije (Institute for
' Franc Mali. doktor woologqe. Janez Jut!, nag komuntkologijc na FDV ' Socntoroetricv vol. M. 1994, U T-i.
Scientific Information) iz Philadelphije. Čeprav so bile na tej osnovi že opravljene prve in izredno tehtne empirične analize citiranosti slovenskih znanstvenikov (Juž-nič, 1992, 1993, 1994), kar pomeni, da tudi na tem področju količinskih analiz znanosti nimamo več »belih lis«, vračanja k nekaterim izhodiščnim vprašanjem uporabe seznama citatov za merjenje znanstvene proizvodnje (outputa) ni mogoče imeti za že zdavnaj izčrpano temo. Razlog za poudarek pregledu omejitev citatov kot mere znanstvene kakovosti je predvsem ta, da želimo opozoriti na obe razsežnosti citatov kot enega izmed odločilnih »načinov« vodenja znanstvene politike pri nas: na njihovo veljavnost in zanesljivost.
Če kak kazalec znanosti izkazuje - če črpa podatke iz standardiziranih baz podatkov - visoko stopnjo zanesljivosti, mu še ne moremo brezpogojno pripisovati tudi veljavnosti. V tej luči je treba razumeti v uvodu omenjena opozorila sciento-metrikov glede uporabe količinskih merjenj. Ta opozorila se nanašajo že na enostavne kazalce publicistične storilnosti, še bolj pa na kompleksne kazalce citiranosti znanstvenikov.
Že pri zelo enostavnih kazalcih objav kot mere znanstvene kakovosti je treba upoštevati časovni zaostanek (»lagging indicators«) med vloženimi viri in verjetnostjo, da bo rezultat naletel na ustrezen sprejem v strokovni javnosti (Persson, 1988). Pri tem razlike med posameznimi znanstvenimi vedami sploh niso zanemarljive. Scientomctričnc študije so ugotovile, da je časovni prag med začetkom raziskovalnega dela in objavo rezultatov raziskovanja najkrajši v fiziki, najdaljši pa v družboslovju (Stephan in Levin, 1988; Companario, 1993).
Pri teh opozorilih ne gre toliko za bibliometrijo kot sredstvo za ugotavljanje znanstvenih omrežij in vzorcev sodelovanja med znanstveniki, ustanovami in državami ter raziskovanje nastanka in razvoja novih znanstvenih področij, temveč za bibliometrijo kot sredstvo za merjenje storilnosti znanstvenikov in kakovosti njihovega raziskovanja.
Raziskovalci količinskega merjenja znanosti (Chubin, 1987; McGrath, 1994; Vinklcr, 1994) trdijo, da se bibliometrični kazalci, najsi gre za stopnjo citiranosti znanstvenikov ali dejavnik vplivnosti znanstvenih revij, ne ponujajo kot nekaj enostavnega. Kot »kazalci« so že po definiciji statistični izraz nemerljivih parametrov v kompleksnih ekonomskih, političnih in družbenih sistemih produkcije (znanstvenega) vedenja. Kakšna bo njihova teža, je odvisno šele od interpretativ-nega okvira. Zato je ključnega pomena, kako tisti, ki odločajo v znanstveni politiki, te podatke uporabljajo. Ali kot pravi P. Vinklcr: »Številke še niso podatki in podatki še ne kazalci« (Vinklcr, 1994:495).
Seveda je od akterjev znanstvene politike težko pričakovati pravilno uporabo kazalcev, če celo scientometrija sama ni razvila ustreznega teoretskega okvira za preučevanje pojavov, ki jih preučuje. Številni scicntometriki se danes pritožujejo nad pomanjkanjem ustrezne teorije citiranja, ki naj bi upravičila praktične analize citatov (Luukkoncn. 1994:482). Sklicevanje na znano Mertonovo idejo o citiranju kot priznavanju intelektualnega dolga avtorjem, kar naj bi bila nekakšna oblika lastninskega sistema v znanosti, ne zadostuje. Gre za normativno teorijo citiranja, ki trdi, da so bibliografije seznami vplivov in da avtorji citirajo zato. da bi pripisali zasluge, kjer je primerno, t.j., kadar avtor uporabi informacije iz dela nekoga drugega, takrat navede tisto delo. Omenjene analize citatov izhajajo iz domneve, da so reference, ki jih je navedel kak avtor, približno veljaven kazalec vpliva na njegovo delo.
Ta predpostavka je postala dvomljiva še zlasti v luči novejših konceptov, ki poudarjajo različne retorične funkcije referenc v znanstvenem besedilu, lnterpre-
813 Teorija in preku. ki. 32, B. 9-10. LjuN|«u 1993
tacija citatov kot mere kakovosti in vpliva v znanosti je s tem postala posebej problematična. Ne pa tudi njena uporaba pri »kartografiranju« kognitivnih ločnic, razvoju raziskovalnih polj oziroma zarisovanju zgodovine (znanstvenih) konceptov. Če že govorimo o razvoju sodobne teorije citiranja - kar posledično pomeni, da so problemi v analizi citatov relativni in odvisni od uporabljene teorije (MacRoberts in MacRoberts, 1986) - potem ta vztraja pri strogem razlikovanju med citiranjem kot kognitivno povezanostjo med besedili na eni in povezanostjo med avtorji na drugi strani: če se prva ujema z njihovo kognitivno vsebino, pa druga odseva socialno organizacijo znanstvene skupnosti. Interpretacija citatov kot nagrade avtorju, ki je bil citiran, pomeni prevajanje iz kognitivne uporabe citatov v tekstu v socialni sistem nagrad, ki delujejo v znanstveni skupnosti. To prevajanje je za retorično teorijo citiranja problematično (Cozzens, 1989:440).
Čeprav naš namen ni predstavitev vseh tistih kritik uporabe seznama citatov, ki ne zaznavajo samo njenih tehničnih (instrumentalnih), temveč že kar njene »ontološke« temelje, se vendarle ne moremo izogniti vprašanju - zastavljajo si ga sociologi znanosti, ki svoje koncepte razvijajo v obnebju etnografijc znanosti (Wool-gar. 1991) - ali ne gre pri tem kazalcu, če ga jemljemo kot merilo kakovosti v znanosti, za enak problem kot - na neki drugi ravni - pri vprašanju testov za merjenje inteligenčnega kvocienta. Pri enem kot drugem instrumentu gre za vprašanje, ali ta instrument že vnaprej ne konstituira tistega (kakovost v znanosti, človekovo inteligenco), kar sicer šele namerava »izmeriti«. Kar koli že merita, lahko oba instrumenta to počneta zelo natančno, vprašanje pa je, ali res merita tisto, kar trdita, da merita.
Že ob samem začetku scicntometrije so se začele kritične razprave in spopadi med zagovorniki in nasprotniki uporabe bibliometrije za vrednotenje znanosti. Uporaba števila citatov kot »kazalca« kakovosti znanstvenega dela je v zadnjih letih sprožila nekaj tako velikih sporov, da so jo v zadnjem pregledu financiranja britanskih univerz opustili (Giorgi, 1993). Po mnenju številnih avtorjev so citati prej mera koristnosti kot pa kakovosti - in to omejene koristnosti kot take (Seglen, 1992). Stopnje citiranosti. ki jih dobijo publikacije (članki, revije), so določene s stopnjo koristnosti prej za druge znanstvenike kot za družbo na splošno. Temeljni namen znanosti je proizvodnja novega znanja na splošno, možna koristnost tega znanja pa je pogosto bolj nepredvidena, kot je bilo pričakovano. Tudi ne gre zanemariti, da vsi scientometriki. vključno z Garfieldom (Narin. 1976; Stephan in Levin. 1988; Garfield in Welljams-Dorof. 1992), nedvoumno opozar jajo, da analize citatov ne morejo nadomestiti količinskih ekspertnih analiz na posameznih disciplinarnih področjih. V najboljšem primeru jih lahko dopolnjujejo. Sploh je zanimivo, da vodilni predstavniki ISI-ja (Garfield, Small in drugi) danes vedno manj govorijo o »objektivni« naravi merskih instrumentov, ki jih ponuja ta inštitut in naj bi nadomestili vsa druga, zgolj »subjektivna« meijenja.
Možne pristranskosti števila citatov kol mere znanstvene kakovosti
Čeprav znotraj sodobne scicntometrije obstaja nesoglasje o celi vrsti temeljnih vprašanj, vsi priznavajo, da je količinsko merjenje znanosti izredno zapleteno početje in »... da ni mogoče predpisati postopka kvantitativnega ocenjevanja znanosti, ki bi veljal na splošno za vse situacije in ki bi ga lahko avtomatično in mehanično uporabljalo relativno nizko usposobljeno osebje« (Moravcsik, 1988:19). Zato naj tudi v nadaljevanju predstavljena opozorila o možnih pristran-
skostih uporabe števila citatov kot mere znanstvene kakovosti in učinkovitosti ne izzvenijo kot pavšalno zavračanje pomena količinskih merjenj znanosti, na katero je pri nas pred 20 leti opozoril Adamič (1975). temveč predvsem kot prikaz tistih omejitev, na katere danes strokovnjaki na tem področju najpogosteje opozarjajo.
Seznami citatov nastajajo v philadclphijskem Inštitutu za znanstvene informacije. Delo tega informacijskega centra je izredno razvejano. Podatkovne zbirke, ki jih gradi ISI, obsegajo že več deset milijonov člankov, ki so bili objavljeni po letu 1945, in več sto milijonov citatov, ki se nanašajo na te članke. Letno narastejo te baze za dodatnih 600.000 referenc, ki se nanašajo na vir citiranja in več milijonov citiranih referenc. Služba v okviru ISI-ja, ki se je prvotno ukvarjala sistematično samo z izdelavo seznama citatov za trde znanosti (Garfieldov Science Citation Index je začel izhajati leta 1961. redno od leta 1964), se je leta 1973 razširila, tako da je vključila službo za izdelavo seznama citatov za družbene znanosti (Social Science Citation Index). Leta 1978 je prišlo ponovno do razširitve, saj je začela delovati tudi služba za izdelavo seznama citatov za humanistiko in umetnost (Arts & Humanities Citation Index).
Članki, vključeni v podatkovne zbirke ISI-ja, niso reprezentativni vzorec vsega tistega, kar se danes objavlja v svetu. Čezmerno so zastopane znanstvene revije anglosaksonskega jezikovnega območja (Carpenter in Narin, 1981). Čeprav je treba upoštevati, da angleščina prevladuje kot lingua franca mednarodne znanstvene skupnosti, so številne empirične analize opozorile na jezikovno pristranost pri zbiranju podatkov. Od vseh publikacij, ki so indeksirane v SCI-ju, jih je 88.5% angleških, 3,9% ruskih, 3,8% nemških in 2,6% francoskih. Povprečna stopnja citiranosti publikacij, ki niso napisane v angleškem jeziku, je še bistveno manjša (Czerwon in Havemann, 1993).
Nesorazmerno velik delež imajo tudi ameriške znanstvene revije, še posebej s tistih področij, v katerih nastopa velika razpršenost znanstvenih specialnosti, manjšega pa tiste v koncentriranih znanstvenih področjih. Glede na to da se znanosti posameznih držav razlikujejo tako po velikosti svojih potencialov kakor tudi po organizaciji raziskovanja in razvoja ter vzorcih znanstvenega komuniciranja, obsega citiranosti avtorjev iz manjših držav, ki so prikrajšani v primerjavi z avtorji iz držav anglosaksonskega prostora, ni mogoče imeti samo za mero kakovostirezultatov njihovega znanstvenega dela. temveč tudi za mero njihove sposobnosti premagovanja cele vrste strukturalnih težav, ki izhajajo iz njihovega posebnega položaja. Takšna je ugotovitev Terttuja Luukkonena (Luukkonen, 1989:350), ki je razčlenil mednarodno odzivnost znanosti v skandinavskih državah. Te so znanstveno izredno razvite, vendar glede na svetovne znanstvene sile še vedno majhne po svojih kadrovskih zmogljivostih.
V zvezi s težavami zaradi enako pisanih imen različnih avtorjev, napak pri navajanju naslovov revij, strani, letnikov in letnic itd., ki so pri zbiranju in analizi podatkov o citiranosti člankov posameznih avtorjev bolj tehnične narave, naj zgolj omenimo, da je najboljši način za njihovo razrešitev čim bolj natančno preverjanje podatkov iz seznamov citatov. P. Južnič. avtor že omenjene baze podatkov o citiranosti raziskovalcev Slovenije, ki je bila izvedena iz ISI-jevih seznamov citatov, je predstavil načine in oblike teh kontrolnih postopkov, ki so nujno potrebni pri analizi citiranosti manjših raziskovanih populacij (Južnič, 1994:67). Temu bi morda dodali le to. da so njegove ocene, da se obseg teh napak giblje praviloma okrog enega odstotka, kar se pri takšnih podatkovnih bazah še lahko tolerira. bolj kot ne optimistične. Vsaj v luči nekaterih drugih ocen. ki pravijo, da bi brez ustreznih popravkov na tem področju lahko prišlo celo do 25% napak (Porter. 1977).
815 Teorija m praks», kt 32. I«. 9-10. LiuMjaiM IM
V sezname citatov so vključeni samo prvi avtorji citiranih člankov, četudi gre za večavtorsko delo. Nasprotja o problemu večavtorstva so v okviru analiz znanstvenih citatov danes aktualne bolj kot kadar koli prej. Še posebej zato, ker znanstveno delo na nekaterih (zlasti naravoslovno-tehničnih) področjih danes postaja vedno bolj kolektivna stvaritev, ne pa delo posameznika. Npr., na nekaterih znanstvenih področjih je objavljenih del z več avtorji že več kot tri četrtine).
Na tem mestu seveda ne moremo mimo omembe problemov, ki izhajajo iz same narave postopkov citiranja v znanosti. Poseben primer v zvezi s tem je negativno citiranje. Gre za vprašanje, ali gre pri citiranju za izralanje soglasja s prispevkom, ki se v članku navaja kot referenca. Garfield in Welljams-Dorof (1992) ugotavljata, da v trdih znanostih citiranje na splošno teži k izražanju soglasja s citiranim virom (je pozitivno), v družbenih znanostih pa je bolj navzoče kritično citiranje. Tu je za odgovor na vprašanje, ali ima v družboslovju kak prispevek pozitiven vpliv, od analize števila citatov pomembnejša analiza njihovega konteksta in vsebine. Enostavno število citatov bo zelo malo povedalo o spoznavno-teoretskem pomenu citiranega članka (Amsterdamska in Leydesdorff, 1989:468).
Da problem analize konteksta in vsebine citatov ni nekaj odvečnega in nepotrebnega, dokazujejo nekatere študije o citiranju v totalitarnih družbah, kakršna je bila na primer Sovjetska zveza. V sovjetski (družbeni) znanosti smo bili priča citiranju po partijski liniji. Znano je, da so bili politični spisi L. Brežnjeva. ko je bil na oblasti, za sovjetske znanstvenike obvezno čtivo. Na ta problem citiranja v avtoritarnih in nedemokratičnih režimih je opozoril Eugen Garfield (Garfield, 1980).
Nevarnost samocitiranja kot možne oblike manipuliranja s seznamom citatov je v literaturi največkrat omenjena. Čeprav je citiranje lastnih del legitimno in pričakovano ravnanje znanstvenikov, pa pri uporabi citatov za merjenje znanstvene kakovosti vzbuja sum. da gre za manipuliranje s številom citatov. Manj pogosto je omenjen problem sklenjenega kroga citiranja (citation circles) znotraj posameznih raziskovalnih skupin, kije soroden problemu samocitiranja. Razlog je navsezadnje v tem, da pojava sklenjenega kroga citiranja - če ne gre za dogovoijeno obliko medsebojnega citiranja - ni mogoče enopomensko ločiti od pojava nevidne šole (invisible college) na ožjih specialističnih področjih (ozke. profesionalno tesno povezane skupine znanstvenikov delijo skupne raziskovalne interese, zato tudi bolj pogosto navajajo drug drugega).
Obstaja cela vrsta možnih manipulacij s citiranjem, ko se to začne uporabljati za merjenje znanstvene kakovosti. Tu ne bomo naštevali vseh »drobnih zvijač« (Dou, 1994:402), ki naj bi povečale stopnjo citiranosti posameznega članka (avtorja).
Že konec sedemdesetih let je izdajatelj takrat ene najpomembnejših psiholoških revij. F. C. Thorn (1977), predstavil petnajst možnih načinov (idiosinkratičnih) manipulacij s citati. Med takšne manipulativne strategije ni uvrščal samo samocitiranja in dogovorjenega medsebojnega citiranja, ampak tudi objavljanje istega znanstvenega rezultata (z majhnimi spremembami) v različnih znanstvenih revijah, parcializacija rezultatov projektnega dela v več manjših delov, vse z namenom, da bi z večjim številom objavljenih enot pridobili višjo stopnjo citiranosti itd. Vse te oblike je najbrž treba vzeti kot strategijo vzorcev obnašanja znanstvenikov v razmerah enostranskega dajanja prednosti načelu »objavi ali propadi (publish or perish)«.
Vsaj premisleka vredni so tisti načelni ugovori, ki pravijo, da lahko pri analizi citatov pride do dveh vrst pristranskosti, ki sta sicer na različnih polih, vendar imata za proizvajalca znanstvenega vedenja enak učinek. Na eni strani gre za nezmožnost identifikacije prezgodaj zrelih odkritij, tj. del. ki so izrednega pomena, vendar tako
odstopajo od veljavnih vedenjskih »norm« znanstvene skupnosti, da ostanejo neopažene (Lindsey, 1989:192). Druga skrajnost je »izbrisanje« posameznega znanstvenega dela v postopkih citiranja, ko je to tako splošno sprejeto, da ga nihče več eksplicitno ne navaja.
Citiranje v različnih vedah
V	nekaterih kritikah na račun števila citatov kot mere znanstvene uspešnosti je bila poudaijena razlika med citiranostjo metodoloških in teoretskih prispevkov. Tako naj bi bili v fiziki, kemiji in biologiji prispevki, ki opisujejo metode oziroma standardne eksperimentalne tehnike, pogosteje citirani kot teoretska dela. Če so ti zadržki, še zlasti če jih skušamo posploševati na vsa znanstvena področja, bolj spekulativn, pa imajo vsa tista opozorila, ki opozarjajo na razlike med trdimi in mehkimi znanostmi, povsem realno podlago.
Čeprav je mogoče modele rasti znanstvenega vedenja v naravoslovno-tehničnih in družboslovno-humanističnih vedah v Številnih pogledih primerjati, pa številne študije dokazujejo, da je med obema vrstama vedenja pomembna razlika v komunikacijskih vzorcih (Nederhof, Zwaan, De Bruin in Dekker, 1989; Garfield, 1986). Raziskovalci v družboslovju in humanistiki se s svojimi spoznanji ne obračajo samo na ozek krog znanstvenikov - svojih stanovskih tovarišev, temveč tudi na širšo strokovno in ne- znanstveno javnost, kar pomeni, da niso nujno samo internacionalno. temveč tudi lokalno usmerjene.
V	publicističnem habitusu družbenih in humanističnih znanosti imajo knjige mnogo večjo vlogo kot v naravoslovnih in tehničnih znanostih. Po študiji R. N. Broadusa (Broadus, 1971) se 60-70% citiranj v humanistiki nanaša na knjige. Ta delež je v družboslovju 30-60% in v naravoslovju ter medicini 10%. Knjige so vključene v sezname citatov samo posredno kot reference v člankih.
Po nekaterih študijah imamo opravka še z eno posebnostjo družbenih znanosti. Gre za rezultate Lindseyjeve analize, po kateri se med najbolj citiranimi deli pojavljajo osnovni statistični učbeniki (Lindsey, 1989:193). Najbrž bo le redkokdo dokazoval, da takšni statistični učbeniki temeljno prispevajo k svetovni zakladnici vedenja v družboslovju, saj so le pripomoček za empirično delo, čezmerno citiranje pa dokazuje njihovo izobraževalno in praktično vrednost.
V	zvezi z razlikami glede starosti citiranih virov po posameznih vedah so zanimivi podatki tistih empiričnih raziskav, ki izhajajo iz »Priccovega indeksa« (Price, 1965). Ta indeks je določen kot delež referenc, mlajših od pet let, v celotnem številu uporabljenih referenc (Price, 1970). Price je ocenjeval, naj bi ta indeks variiral med 22 in 39 odstotki za področja, ki so zgolj arhivska, kar pomeni, da enako »rekrutirajo« vso literaturo in ne upoštevajo učinka neposrednosti (immediacy effect). V nasprotju s tem naj bi za področja, ki so na raziskovalni fronti in nimajo nobenega takšnega splošnega arhiva, indeks variiral med 75 in 80 odstotki. Trde znanosti naj bi bile glede na Priceov indeks na vrhu. mnogo nižje pa družbene znanosti (okrog 42 odstotkov) in humanistika (od 10 do 30 odstotkov). Priceove ugotovitve iz analize 162 znanstvenih revij so kasneje potrdile še nekatere druge empirične študije (Cozzens, 1985: Marton, 1985; Moed, 1989). Moed je odkril, da je celotna zadeva nekoliko bolj zapletena, kot si je predstavljal Price, saj naj bi se pojavljale pomembne razlike znotraj samih naravoslovnih znanosti, pa tudi velikost Priccovega indeksa naj bi korelirala z obsegom citiranosti.
Iz »Priccovega indeksa« citiranosti izhaja tudi raziskovanje S. Cola, ki je ugo-
817 Teorija in praksa. M. 32. 0.9-10. Ljuhliana
tovil, da je povprečna starost citiranih virov v humanistiki 83 let in v nehumani-stiki 18 let (Cole, 1983). V določenem smislu je paradoksalno (ali morda poučno?), da v scientometriji. ki se ima za trdo znanost, kot dva najbolj citirana prispevka vseskozi nastopata Lotkov članek iz leta 1926 in Bradfordov članek iz leta 1934.
Že ta najbolj splošni in še zdaleč ne celovit pregled problemov v okviru postopkov citiranja v znanosti dokazuje pravilnost tistih ugotovitev, ki pravijo, da pri citiranju objavljenih del v znanosti ni mogoče izključiti slučajnih dejavnikov. Citiranje v znanosti je treba opisovati kot stohastičen proces. Zato je potrebna še toliko večja previdnost pri njegovi uporabi za namene znanstvene politike. Če se ta mera kakovosti oziroma vpliva v znanosti že mora uporabljati, potem naj se vsaj upošteva njeno prvo in temeljno metodološko pravilo: zanesljivost podatkov o citiranosti iz seznama citatov je tem večja, čim višja je stopnja nakopičenosti. Statistična narava scientometričnega ocenjevanja zahteva zadosti velike populacije proučevanih enot. Število objav posameznega znanstvenika navadno ni zadosti velika, da bi lahko na njeni podlagi sprejemali statistično značilne sklepe (Schubert, Glanzel in Braun, 1988:138).
Število citatov se lahko za namene vrednotenja uporablja samo ob primerni standardizaciji (Garfield, 1979; Schubert in Braun, 1993). Naslednji zgled govori o pomembnosti in težavnosti postopkov standardizacije citatov. Mere citiranosti člankov različne starosti in predmeta ni mogoče neposredno primerjati. Vsakega od njih je treba najprej primerjati z mero citiranosti množice člankov, ki si delijo glavne značilnosti z obravnavanimi članki, in potem je mogoče primerjati relativni položaj člankov in ustrezne referenčne standardne množice. Kakor je Garfield (1979) predlagal: »Namesto neposredne primerjave števila citatov, denimo matematika s številom citatov biokemika, bi morala biti ran girana s sebi enakimi in primerjavo bi morala biti med rangoma. Z uporabo tc metode bi matematik, ki je rangiran v 70-centilno skupino matematikov, imel neznatno prednost pred biokemikom, ki je rangiran v 40-centilno skupino biokemikov, čeprav je imel biokemik večje število citatov.« Pri tem pa še vedno ostaja vprašanje, kako najti najustreznejše družbo enakih oz. referenčno množico člankov za primarno primerjavo.
Pri uporabi bibliometričnih kazalcev je treba jasno razlikovati relativno uporabo specifičnih kazalcev od vrednotenja učinka posameznega avtorja, raziskovalne skupine, inštituta, države ipd. na podlagi relativnih kazalcev (Vinkler, 1988:257). Šele zadnji so ustrezno standardizirani.
Glede na način in stopnjo standardizacije je treba ločevati tele vrste bibliometričnih kazalcev: enostavne, specifične, balansirane, distribucijske in relativne. Šele s pomočjo zadnjih lahko dosežemo »... govorjeno figurativno, da dirkalni avtomobili formula 1 in potovalni avtomobili tekmujejo v različnih kategorijah in so temu ustrezno tudi nagrajeni« (Vinkler, 1988:257).
Če bo razvoj scientometrije kot znanstvene vede v prihodnje vedno bolj odvisen od interesnih skupin, ki bi jih lahko označili kot »znanstvena politika in poslovni sektor«, ki zahtevajo hitre in enostavne rešitve, potem bo ta svojo znanstveno dostojanstvo, ki je prvi pogoj za objektivnost, lahko ohranjala samo z neprestano samorefleksijo o vseh temeljnih konceptualnih vprašanjih. V ta okvir avtorefleksivnega premisleka nedvomno sodi tudi njeno neprestano opozarjanje na možne nepravilne uporabe scientometrije pri vrednotenju. Za razvoj sciento-metrične stroke bi bilo najslabše, če bi se spremenila v tehnologijo, ki izpolnjuje naročila znanstvene politike in poslovnega sektorja. V enaki meri potrebuje
temeljne metodološke, kakovostne in eksperimentalne raziskave, ki naj bi se po vzoru drugih raziskav v humanistiki in družboslovju dotikale vseh temeljnih konceptualnih vprašanj.
JJTERATURA:
ADAMlC. s (1975): Aiulua atiranja lux pripomotek pn ocrnjevanju iunkovalic|9 dcla Raziskovalec. 5. Mr »7-259
AMSTERDAMSKA. o.. Leydesdurff L. (1989): Citation: indicators of significance' Socntomctncs. 15(5-6). Mr. «#-»71
BROADUS. R N. (1971): The Utcraturof the social sciences - a survey of autioa studies International Social Jocncc Journal. 23. in. 236-43).
CARPENTER. M P. Narin F (1981): The adequacy of the Sdence Cilalioa Inde* (SO) aPPs an mdicator of international scientific adhnty Journal of the American Society for Information Science. 32(6). Mr 430-139.
CHI'BIN. D. E. (1987): Research Evaluation and the Generation of Big Science Policy Knowledge: Creation. Diffusion. Utilization. 9(2). Mr. 254-277.
CZERWON. H. J.. Hatcmann F. (1993): Infhicncc of Publication Languages on the Citation Rale of Scicntifk Aflidcv a CMC study of East German journals. Socntomctncs, 26(1). Mr. 51-63.
COLE. S. (1983): The hierarchy of the science? American Journal of Sociology. 89. Mr 111-139
OOMPANARIO. J. M |I993): Consolation foricientiM: sometimes it is hard to publish paper, that are later highly-cued Social Studies of Science. 23. Mr. 342-362.
COZZENS. S. (1985): Using the archive: Derek Price's theory of differences among the sciences Vicntomctrics 7. MI. 431-441
COZZENS. S. E. (1989): What do citations count? The rhetoric, first model Soentomctrics, 15(5-6). Mr. 437-447.
DOU. H. (1994): In which business are we? Scientometncs. 30(2-3). str 401-406.
GARFIELD. E. (1979): Is citation analysis a legitimate evaluation tool?. Scientometncs. I. Mr. 359-375.
GARFIELD, E. (1980): Is information retrieval in the Arts and Humanities Inherently Different from that in Science ' Library Quarterly, 50. str 40-57
GARFIELD. E. (1986): The 250 moM-dted authors in Am- Humanities Citation Index 1976-1983. Current C ontents 48. sir. 3-10.
GARFIELD. E., Wclljaim-Dorof A. (1992) Citation data, their use as quantitative indicators for science and ledmolog) evaluation and policy making Science and Public Policy. 19(5). Mr 321-327.
GiORGI. E P (1993): Long term analysis of citation counts at the micro-level Sdentometrics. 211(3). Mr. 375-386.
GLANZEL. W.. Schoepdin U. (1994) Little scientometncs. big sdentometrics. and beyond Socntomctncs. 30(2-3). Mr. 375- 3»4>.
MCGRATH. W E. (1994): Little soentometncs. big soentometncs . and beyond Socntomctncs. 30(2-3). Mr. 439-442
JlrtNli\ P. (1992): Evaluation of the research work Health Infor malum and Libraries. 3(3). Mr. 127-35.
JU2NIf. P. (1993): A rut «a otiranju kot metoda metyenja odzivnoMi v znanosti Teorija in praksa. 30(9-10). str »78-988
OljtNlf. P (1994): Analiza otiranja objav raznkovakxv Slovemjc Raziskovalec. 24(2-3). Mr 64-70.
UNDSEY D. (1989): Using citation counts as a measure of quality in science measuring what's measurable rather than what's valid. Socntomctncs. 15(3-4). str 189-203.
LUUKKONEN. T. (1989): Publish in a visible journal or perish? assessing citation performance of nordic cancer research Sden tometnes. 15(5-6). Mr. 349-367.
LUUKKONEN. T. (1994): Ate we longing for the golden era loM or for the one to come? Socntomctncs. 30 (2-3). Mr. 481-85
MACROBERTS. M. H.. MacRoberts B R. (1986): Quantitative measures of communication in science a Mudy oI the formal level Social Studies of Science. 16, Mr. 151-172.
MARTON. J. (1985): OhsnleiKC or immediacy? Evidence supporting Price'« hypothesis Soentometncs. 7. Mr. MS-153
MOLD. li. (1989): Bibhomelric measurement of research performance and Price's theory of differences among the saenees Soentometncs. 15(5-6). str. 473-4S3.
MORAVCSIK. M. J. (1986): Assessing the Methodology for Finding a Methodology for Assessment Soda] Studies of Sdence. 16(3). Mr. 534-39
MORAVCSIK. M J. (1988): Some contcstual problems of science in dicators V: Van Run A.F.J Handbook of quantitative studies of science and technology Amsterdam. North-Holland. Mr 11-30.
Nann. F (1976). Evaluative hibhomctncs The use of publication and citation analysis in the evaluation of scientific activity Cherry Hill, NJ. Computer Horizons
NEDERHOF. A. J.. Zwaan R. A.. De Bruin R. E-. Dekker P J (1989): Assessing the usefulness of biNiomctne
819 Tconja in praksa. Iet.32. It.»-10. Ljubljana 1995
indicator* for the humanities and the social and behavioural scicnces: a comparative study. Scientometrics. 15(5-6) w 423-435.
PAISLEY. W. (1990): The Future of BtMiomctrics V Borgman C L. Scholarly Communicslioa and BiMiometric». Newbury Part.Sagc. su. 281-299.
PERSSON. O (1988) Measuring scientific output hy online techniques. V: van Raan A F J Handbook of Quantitative Studies of Science and Technotofy Amsterdam. North-Holland. Mr. 229-52
PORTER. A. L. (1977): Citation analysis Oucnes and caveats So cnl Studies of Science. 7. Br. 257-267. PRICE. D. J. (1963): Little science, tag science New York. Colum bia Uniscrsity Press
PRICE. D J. (1965): Networks ci science papers. Science. 149. itr. 510-515.
PRICE. D. J. (1970): Citation measures of hard science, soft science, technology and nonsewnce V: Commumcaliao among Scientists and Engineers. Lexington MA. Heath, sir 3-22.
SCHUBERT. A.. Braun T. (1993) Reference standards for citation hatted assessment Socnlometncs. 26(1). ur 21-35
SCHUBERT. A.. Glacnzcl W.. Braun T. (1988): Against absolute methods rehtive scientometnc indicalors and relational charts a> evaluation tooh V: Van Raan A.FJ Handbook of quantitative studies of science and technology. Amsterdam. North-Holand. sir 137-176.
SEGLEN. P. O. (1992) The skewncss of science: Journal o< the American Soaety for Information Science. 43(9)^tr. 628-38.
STEPIIAN. P. E.. Levin S. O, (1988) Measures of Scientific Output and the Age-Productivity Relationship V: Handbook of Quantitative Studies at Science and Technology. Amsterdam. Nonh-Holand. sir 31-80.
VINKLER. P (1988): An Attempt of Surveying and Classifying Bihbooteuic Indicators for Soentotnemc Purposes. Soentometncs, 13(5-6). sir 239-259
VINKLER. P (19»»): Words and Indicators As Sacntomctncs Stands Sckptometrics. 30(2-3), sir 495-55«. WOOLGAR, S. (1991): Beyond the citation debate towards a sociology of measurement technologies and their use in science policy Sac nee and Public Policy. 18(5). sir 319-326