REPLIKA PnmoiJVŽNIČ' članek KAJ MERIMO Z BIBLIOMETRIČNIMI METODAMI IN ČESA NE BI SMELI MERITI? Povzetek: Članek je posvečen problemom scientometrije/bi-bliomeirije/ informetrije in težavam pri uporabi njenih metod, predvsem analize citiranja. Uspešno aplikativnost bibliometričnih analiz ne sprejemajo vsi enako. Nekateri menijo, da gre za nevarno metodo, ki tistim, ki odločajo o znanstveni politiki, in predvsem o njenem finansiranjii, daje v roke podatke, ki se jih da enostavno zlorabiti. Kritika analize citiranja kot metode je zaželena, ko opozarja na njene pomanjkljivosti, vendar to ne pomeni tudi njeno zavračanje. Analiza citiranja meri le enega od elementov kvalitete objavljenih raziskovalnih reztdtatov, odmevnost oz. vidnost. Vede pa na osnovi bibliometričnih analiz sploh ni mogoče primerjati, saj se predmet in proces raziskovanja preveč razlikujeta. Na koncu članka, avtor na osnovi rezultatov enostavne bibliometrične analize revije Teorija in praksa, opozarja na nizko citiranost slovenskega družboslovja. Ključne besede: scientometrija, bibliometrija, bibliometrič-na analiza, citiranje, družboslovje. Teorija in praksa. Scicntomctrija/bibliomctrija/informctrija Danes veliko govorimo o bibliometričnih metodah, posebej o najbolj zanimivi in uporabljani - analizi citiranja. Pomen in uporaba rezultatov analize citiranja sta se od svojih začetkov do danes precej spreminjala. Kljub vsem kritikam (ki so bile pomembne, saj so vplivale na izboljšanje same metode), se je uveljavila kot ena aplikativno najbolj zanimivih metod za merjenje odzivnosti in s tem tudi kvalitete objavljenih rezultatov raziskovalnega dela. Tudi nasprotja med zagovorniki in kritiki metode so se tekom let zgladila in se stališča enih in drugih približujejo. Nekaj novega ognja diskusijam je dala že nekaj let neugodna situacija za raziskovalno in znanstveno delo v nekdanjih deželah Vzhodne in Srednje Evrope, vendar je pričakovati, da se bo tudi tam položaj umiril, četudi od tam prihajajo največji ugovori proti uporabi bibliometričnih metod. • Mor Primož Juiitlč, vodja Informacijske razvojne sluibe (RCU) Univerze v IjtMjanl In asUlent na Oddetbu za Bibllolekarsivo, Filozofske fakulieie Danes je raziskovalni interes usmerjen predvsem v odkrivanje tistega, kar analiza citiranja pravzaprav meri. Rezultati teh raziskav se objavljajo v vrsti strokovnih revij, kot so Social Studies of Science, Scientometrics, Journal of Documentation, Journal of the American Society of Information Science in Se v vrsti drugih revij s področja bibliotekarstva, informatike in sociologije znanosti. Prav tako rezultati posameznih analiz pogosto najdejo prostor v revijah, ki prinašajo rezultate raziskovanja drugih strok. Raste pa tudi število aplikativnih projektov za znanega naročnika, ki poskušajo z rezultati, dobljenimi z analizo citiranja, postaviti določene indikatorje, s katerimi je možno meriti kvaliteto določenega raziskovalnega dela. Seveda tistega raziskovalnega dela, ki je bolj usmerjeno v fundamen-talno raziskovanje in ne tistega, ki se izvaja kot podpora pedagoškemu delu ali pa po naročilu neposrednega uporabnika. Objavljeni rezultati raziskovalnega dela so osnovni mehanizem tudi za ocenjevanja kvalitete raziskovalnega dela, pomembno za napredovanje znotraj akademske ali raziskovalne institucije, ali za pridobivanje sredstev za nadaljne raziskovalno delo v večini razvitih dežel, in vse bolj tudi drugje. Vprašanje produktivnosti v znanstvenem raziskovanju, in s tem tudi meril za njeno merjenje, še nikoli ni bilo tako aktualno kot danes. Zbiranje kvantitativnili kazalcev o znanstvenih dosežkih je brez dvoma izjemno privlačno iz vrste razlogov. Odločitve o zaposlitvah in napredovanjih oz. drugih akademskih zadevah, finansiranju raziskovalnih nalog in projektov so pomembne posebno takrat, ko so mesta ali sredstva omejena. Kvantitativni podatki o dosežkih so zato povsod pomemben podatek, ki lahko tako ali drugače podprejo takšne odločitve. Pa ne samo to. Raziskovalno delo, posebno tisto fundamentalno in v akademskem okolju, je nerutinska dejavnost, čigar rezultate ni enostavno meriti in ocenjevati. Zato si sami znanstveniki želijo imeti merila, ki bi kazala na njihovo relativno vrednost v primerjavi z drugimi raziskovalci, v obliki kvantitativnih meril, ki se kažejo kot bolj ali manj "objektivna". Analiza citiranja se je uveljavila tako, da je zasenčila vse druge metode merjenja oz. zbiranja kvantitativnih podatkov. Izraz analiza citiranja je seveda tujka, vendar se je začel uporabljati že v prvih tekstih o tej temi, objavljenimi pred več kot dvajsetimi leU v Sloveniji. Kot tak se je tudi uveljavil v vseh kasnejših strokovnih tekstih. Dejavnost, ki je omogočala in še vedno omogoča hiter družbeni in ekonomski razvoj sodobnega sveta, je znanost oz. širše vzeto raziskovalna dejavnost. Brez nje ta razvoj ne bi bil mogoč. Tudi sama znanost ima značilnosti informacijske dejavnosti (zbiranje, obdelavo in posredovanje informacij). Osnovna značilnost tega informacijskega procesa, ki jo pogosto označimo kot proces znanstvenega informiranja in komuniciranja, je v mediju oz. načinu, kako poteka. Ta je praviloma potekal prek objavljanja znanstvenih rezultatov, ki so omogočali preverljivost in ponovljivost raziskovanja in s tem tudi zanesljivost in resničnost dobljenih rezultatov. Oboje pa je rezultiralo v tistem, kar imenujemo razvoj znanosti ter posledično, tehnološki in družbeni razvoj. Vse več tega raziskovanja in znanosti financira država. Ta financira tudi znanost veliko bolj dolgoročno, kot to počne industrija oz. druge komercijalne ali profiuie organizacije. Pri slednjih ni večjih težav, ko želijo vedeti, koliko so bila vredna vložena sredstva in kakSna je bila korist od opravljenega raziskovalnega dela. Pri raziskovalnem delu, ki ga finansira država, pa ugotavljanje koristnosti nI tako enostavno, posebno ko gre za bazično, fundanientalno znanstveno raziskovanje. Pritisk in kritična ocena vlaganja v znanstveno raziskovalno dejavnost je značilnost danai>njih sodobnih demokracij. Davkoplačevalci, predvsem pa drugi prejemniki državnih sredstev, v pogojih omejenih državnih proračunov, močno pritiskajo tudi na sredstva namenjena tej dejavnosti. Tako je vse bolj nujno dokazovati tudi smiselnost vlaganja v to dejavnost. Tega se vse bolj zavedajo tudi raziskovalci sami. Ena zadnjih tematskih Številk revije Scientometrics, predsem pa uvodničar, opozarja ravno na ta vzvod za vse večjo uporabo različnih kvalitativnih a tudi kvantitativnih meril za evalvacijo raziskovalne dejavnosti in vrednotenje rezultatov (Kostoff 1996). V pogojih omejenih in omejevanih državnih sredstev se je povečala zahteva po transparentnosti raziskovalnega dela. In sicer v dveh smereh - zahteva se vse več informacij o programih raziskovalnega dela s strani tistih, ki odločajo o njegovem Hnansiranju, in vse več podatkov o tistih, ki želijo določen program izvajati. Hiter razvoj računalniške in širše informacijske tehnologije v zadnjem desetletju omogoča pripravo, hranjenje in interpretacijo velikega števila informacij. To posledično tudi še stimulira te zahteve, saj jim je tehnično mogoče vedno bolj ustreči. Zahteva po vse več kvantitativnih informacij izhaja torej iz teh možnosti. Splošnega soglasja o kvantitativnih merilih znanstvene raziskovalne dejavnosti (še) ni. Uporaba kakršnihkoli ineril je povezana z vrednotenjem dela samih raziskovalcev In tako zelo občutljiva tema za celotno raziskovalno dejavnost Vendar gre za področje, ki je vse bolj aktualno. Znanstveno področje, ki se ukvarja s tem aspektom znanosti in ga poskuša tudi ustrezno kvantificirati, se imenuje bibliometrija (blbllometrika - bibliometrics, gr. biblos knjiga), saj je ta proces praviloma potekal preko tiskanih objav. Bibliometrija je torej raziskovanje kvantitativnih aspektov produkcije in diseminaci-je uporabe zapisanih (znanstvenih) informacij. Razvija različne metode in modele, ki pa nimajo samo teoretičnega, ampak tudi vse večji aplikativni značaj. Sama bibliometrija izhaja predvsem iz tradicije Zahodne Evrope in njen danes povdarjeni aplikativni značaj (ki ga bomo opazovali na primeru analize citiranja), je odmev potreb in zahtev finanserjev znanstvenega raziskovanja po možni merljivosti uspešnosti tega finansiranja. Bibliometrija uporablja štetje publikacij, patentov, citatov in drugili potencialno informativnih enot In jih uporablja kot osnovo dejavnikov, s katerimi meri oz, vrednoti raziskovalno dejavnost, znanost in tehnologijo. Teh enot je seveda veliko. Praviloma govorimo o: 1. Publikacijah 1.1. Člankih (objavah raziskovalnih rezultatov v recenziranih znanstvenih in strokovnih revijah), 1.2. RecenziraniJi knjigah (objavah raziskovalnih rezultatov v knjigah, ki jih praviloma objavijo komercialne založbe, a so strokovno recenzirane), 1.3. Poglavjih v knjigah (prav tako objava raziskovalnih rezultatov v strokovno recenziranih knjigah). \A. Objavah v recenziranih zbornikih konferenc, 2. Vabljenih predavanjih na pomembnih kongresih 3. Pridobljenih raziskovalnih nalogah in projektih 4. Ciiiranosti (navajanju objav raziskovalnih rezultatov v objavah drugih raziskovalcev) ter Se patentih, mentorstvih doktoratov itd. Področje ima dva vira. ki se danes spet vse bolj ločujeta. Prvi vir so matematični modeli, ki so nastajali že med obema svetovnima vojnama in so že preveqali, ali je mogoče kvantitativno izmeriti značilnosti znanstvenega raziskovanja in produkcije. Drugi vir pa so filozofska in družboslovna dela iz istega obdobja, ki so opozarjala na nove značilnosti znanosti, seveda tako pozitivne (C. Popper npr.) kot negativne (J- Ortega y Gasset npr.). Izraz "bibliometrija" se pojavi šele v šestdesetih letih, v osnovi pa je bibliometrija nastala kot del knjižnično informacijske znanosti (Library and Information Science). Pomembni ustanovitelji so prihajali iz različnih znanstvenih disciplin. V tem okviru se razvija še danes, njene metode pa uporabljajo razsikovalci z vseh drugih znanstvenili področij. V začetku Šestdesetih let je za znanstveno področje bibliometrije značilen vpliv osebnosti, entuzijastov in raziskovalcev z drugih (pogosto naravoslovnih) znanosti. Pod njihovim vplivom so se kasneje pojavili poskusi interdisciplinarne integracije, s pomočjo matematičnih in fizikalnih modelov in pa socioloških in psiholoških metod, obenem pa seveda s strani bibliotekarstva kot raziskovalne vede, ki je za to področje že dolgo tradicionalno skrbela. Na z^ičetku 80. let bibliometrija postane tudi samostojna znanstvena disciplina. Moj namen ni vpeljevanje ideoloških kriterijev, ko iščemo vir scientometrije (scientometrika - scientometrics) (scientia - lat. znanost) v deželah nekdanje Vzhodne Evrope. S tem ugotavljamo samo dejstvo in nikakor ne kvaliteto raziskovanja uporabljanih metod. V teh deželah sta znanost in raziskovalna dejavnost imeli poseben status enega od temeljev samega sistema in ni čudno, da se je pojavila tudi potreba po raziskovanju znanosti same. Starejši izraz znanost o znanosti zamenja izraz scientometrija nekako v sedemdesetih letih. Leta 1977 začne na Madžarskem izhajati tudi revija s tem naslovom (Scientometrics), ki jo danes tiskajo skupaj z založbo Elsevier in predstavlja eno najbolj znanih in kvalitetnih revij s področja kvantitativnih aspektov znanstvene dejavnosti. Scientometrija je torej raziskovanje kvantitativnih aspektov znanosti kot področja, a tudi kot ekonomske in družbene dejavnosti. TUdi scientometrija išče in raziskuje predvsem kvantitativne aspekte znanstvene dejavnosti, vključuje pa tudi znanstveno publiciranje. Tako da se tu obe, bibliometrija in scientometrija, ukvarjata pravzaprav z istim področjem raziskovanja. V osnovi je scientometrija del sociologije znanosti, vendar pa je, kot dobro vemo, sociologija dobila pravico obstoja v deželah Vzhodne Evrope relativno pozno. Enako kot pri bibliometriji metode, razvite v okviru scientometrije, uporabljajo tudi druge vede in področja. Analiza citiranja je bila redkeje uporabljana v scientometriji, bolj zanimivi so bili kumulativni podatki in statistike o objavah samih. Tudi rezultate analize citiranja so običajno uporabljali samo kumulativno. Tu seveda ni mesto, kjer bi raz- pravljali o posebnem ritualu citiranja, ki je predvsem pri družboslovnem raziskovanju pomenil obvezen nabor citatov klasičnih in aktualnih marksistov. Pomembno je bilo delo na indikatorjih raziskovalne dejavnosti, od katerih so bile objave raziskovalnih rezultatov pomemben del. Četudi so citiranje teh del redkeje šteli med indikatorje in so bili omejeni na določene naravoslovne discipline, pa so imeli pomemebn vpliv na dozorevanje razumevanja, da je mogoče raziskovalne rezultate primerjati med sabo z uporabo bibliometričnih metod. Pred približno desetimi leti, se je začel uporabljati izraz informetrija (infor-metrika - informetrics), kot splošnejše pnidročje raziskovanja, ki naj bi vključevalo prejšnja področja bibliometrije in scientometrije. Informetrija naj bi združevala vsa raziskovalna področja bibliometrije in scientometrije in jim še dodala nekatera nova področja, predvsem povezana z značajem, definicijo in merjenjem informacije ter z merjenjem uspešnosti in zanesljivosti sistemov za iskanje informacij (Information retrieval) (Tague-Sutcliffe 1992). Ko smo vmestili informetrijo, kot interdisciplinarno področje med naravoslovnimi in družboslovnimi disciplinami in opredelili njeno področje raziskovanja ter metode, nam ostane še prikaz uporabnikov njenih raziskovalnih rezultatov. Ločimo tri ciljne skupine uporabnikov: bibliometriko samo, bibliomeirijo za določeno znanstveno disciplino in bibllometrijo za znanstveno politiko in poslovno delovanje. Očitno prav zadnje postaja največji vir sporov oz. različnih mnenj v stroki. Gre namreč za izjemno občudjivo področje, občutljivo zato, ker rezultati merijo samo znanost, |x>dročje, ki je bilo tradicionalno zaprto pred neposvečenimi - laiki. Kritike bibliometričnih metod (Odmevi na Manifest - Koncc zgodbe o uspehu) Bibliometrične metode so se uveljavile kot najbolj uspešne kvantitativne metode za merjenje znanosti oz. njenih rezultatov. S tem se nekako zaključuje obdobje teoretičnih razprav in je stroka dobila, poleg teorije, tudi močne aplikativne elemente. Ta razvoj pa ni vsem enako povšeči. Poskus združitve bibliometrije in scientometrije tudi zaradi tega ni tako enostaven. Ta nasprotja lahko najbolje opazujemo v odmevu na, kar je zanimivo, en sam članek. Odmevi so jasno razdelili strokovnjake in njihove poglede na sedanjost in bodočnost informetrije oz. kvantitativne analize raziskovalne dejavnosti. Dva strokovnjaka s področje scientometrije/informetrije, eden z Madžarske, drugi iz Nemčije (Berlina), sta objavila pravi pravcati manifest (Glaenzel, Schoepflin 1^). V njem s precej alarmantnim tonom opozarjata na velike težave, v katerih se je znašlo to področje. Odziv je bil velik in le-tem je bila posvečena celotna številka revije Scientometrics. Ugotavljata, da je sicer interes za scien-tometrične indikatorje vse večji, toda področje samo je v globoki krizi. Pod-področja so si vse bolj narazen, v sami stroki ni soglasja o fundamentalnih vprašanjih in o načinu in obliki interne komunikacije. Pojavljajo se močni dvomi o kvaliteti opravljenega raziskovanja, kar je za področje lahko usodno. Vzrokov za tako situacijo naj bi biio več. Avtorja jih ne klasificirata po pomenu in teži in zato jih ni lahko povzemati. Šlo pa naj bi v glavnem za naslednje: 1. Veliko ustanoviteljev področja je prenehalo z delovanjem in področju manjka njihove integrativne funkcije. 2. Poslovna politika in vse slabša kvaliteta upravljanja bibliografskih jx>datkovnih zbirk, ki jih raziskovalci uporabljajo pri svojem delu. 3. Prehod od bazičnega in metodološkega raziskovanja k aplikativni bibliometriji. 'i. Prevladovanje interesov znanstvene politike in poslovnosti v opredeljevanju in financiranju raziskovanja. 5. Zloraba rezultatov bibliometričnega raziskovanja in neupoštevanje znanstvenih standardov. Dva avtorja iz Slovenije sta ta članek citirala ravno kot ugotovitev, da je zgodbe o uspehu konec (Mali, Jug 1995) in s tem zelo posrečeno, seveda za slovenske bralce, opozorila na politični značaj tega manifesta. Šibkost strokovnega dokazovanja v članku Glaenzela in Schoepflina nikakor ne odtehta dejstvo, da je celotna številka Scientonietrics posvečena odmevom nanj. Vendar pa je razprava zelo zanimiva in dejansko zadošča, da razumemo, kje so viri odporov bibliometričnim metodam. Glaenzel in Schoepflin menita, da je "zgodba o uspehu" scientonietrije v zatonu. Pomemben delež krivde za to naložita "uporabnosti" znanstvenega področja in njegovih metod. Po njunem mnenju se je znanstvena vsebina zreducirala na samo predstavitev dobljenih rezultatov, glede na želje naročnikov oz. financer-jev raziskav. Pritožujeta se tudi, da znanstveniki iz dežel v razvoju in Vzhodne Evrope nimajo sredstev za raziskovanje na področju bibliometrije. Ta očitek razvoju biblio-metrije je videti sicer marginalen, vendar nas branje drugih tekstov objavljenih v isti številki Scientometrics in jDoznavanje področja, kmalu pripelje do tega, da gre pravzaprav za bistveno točko. Namreč, večina sodelujočih v tej diskusiji, ki imajo svoje prispevke tudi objavljene v isti številki revije, predvsem praktično vsi iz razvitega sveta, se s to kritiko bibliometrije ne strinjajo. Menijo, da je teza o krizi stroke (bibliometrije, scientonietrije, informetrije) pretirana. Kvaliteta objavljenih del s tega področja ne pada, pojav različnih smeri in poddisciplin je normalen, ko se su-oka razvija, financiranje in velik interes za bibliometrijo, oz. njene raziskovalne rezultate, s strani uporabnikov pa praviloma pozdravljajo in jo imajo za del "zgodbe o uspehu"'. Predvsem podvomijo, da gre res za krizo v takšnih razmerjih, kot to opisujeta Glaenzel in Schoepflin, saj ne dokazujeta svojih trditev, da sta nekaj primerov, a praktično nobene dokumentacije, ki bi koga lahko prepričala o nujnih ukrepih (McGrath 1994). Nekateri udeleženci v razpravi so v svoji obravnavi teksta kar grobi. Tako dva druga avtorja tekst Glaenzela in Schoepflina imenujeta nostalgičen, saj išče tisto, kar naj bi se izgubilo v starih dobrih časih. Po njunem mnenju bi bilo veliko bolje. ' Egghe L Uiile ScleniomeMci, Hig Scientometrics... and beyx)nd. Scieniometria /9JM, 30 (2-3), 3S9-9Z TEORIJA IN PRAKSA let. 34.1/1997 če bi ga objavila v kakšnem glasilu (Newsleiier-ju), kot v znanstveni reviji, saj normativne trditve, predstavljene v tekstu, ni mogoče podpreti v empiričnem smislu. Na aluzije, izražene v obravnavanem članku o pristranskosti raziskovanja in drugačnih zlorabah bibliometrijc odgovarjata, da takšnih primerov ne poznata. Zato podpirata raznovrstnost na tem raziskovalnem področju (Leydensdorff, Woters Bibliometriji (Informetriji) je uspelo zagotoviti status aplikativne discipline. Toda tam, kjer se sredstva za raziskovanje radikalno krčijo, kot je to v deželah nekdanje vzhodne Evrope, to pomeni hud udarec. Denarja za raziskovanje je malo in še manj ga je za aplikativno raziskovanje (kar je sicer paradoks, a dejstvo). Vsi raziskovalci leh dežel, navajeni na materinsko skrb svojih držav pri financiranju svojega dela, so se znašli v položaju, ki ga enostavno ne obvladujejo in nanj niso bili pripravljeni. Torej ni potrebno veliko, da bi prišli do nekaterih političnih izhodišč, ki so avtorja vodili k tako ostri kritiki stanja na področju scientonietrije oz. kvantitativne analize raziskovalne dejavnosti. Pazljivo branje odmevov na Manifest takoj loči dva bloka. Na eni strani so odzivi iz mzvitih dežel, ki so praviloma negativni in poudarjajo, da gre pri Manifestu, ali za pretiravanje ali kar direktno za napačne trditve. Na drugi strani pa so odzivi iz manj razvitih držav, tako vzhodnoevropskih kot Tretjega sveta, ki so praviloma pozitivni do osnovnih ugotovitev iz članka. Videti je, da je razlaga enostavna, če je seveda to mogoče reči za katerikoli podoben problem. Manifest je odziv frustracije in nemoči, pred katero so se znašli znanstveniki iz vzhodnoevropskih držav. Znanstveniki, ki so bili v teh režimih v posebnem, dejansko priviligiraneni položaju (Konrad, Szelanyi 1978), so naekrat postali parije, navidez celo breme družbe v tranziciji. Predvsem pa se je njihov položaj poslabšal, tako statusno kot ekonomsko. Slednje seveda v relativnem smislu, predvsem v primerjavi z drugimi družbenimi sloji. Scientometrija se tem razmeram niti metodološko niti vsebinsko ni mogla prilagoditi, kar velja za znanstveno dejavnost v celoti. Zanimiva je na tem mestu digresija na položaj v Sloveniji. Verjetno ni potrebno posebej dokazovati, da pri Sloveniji ne gre za tipično vzhodnoevropsko državo. Vendar pa gre za neko obliko uanzicije. Slovenska znanost se je, tako kot tudi druge sfere družbenega življenja, tranziciji že prej prilagajala (odprtost v svet, mednarodni kongresi, program usposabljanja mladih raziskovalcev). Zato na srečo te tragične situacije, ki je zadela tako znanstveno raziskovanje kot znanstvenike kot posameznike v Vzhodni Evropi, ni bilo mogoče čutiti do pred kratkim. Drastično zmanjšanje sredstev za raziskovalno dejavnost v zadnjem letu pa nas opozarja, da se to laliko zgodi tudi v Sloveniji. Poleg ekonomske situacije pri znanstvenikih - scientometrikih iz nekdanje Vzhodne Evrope, ne smemo zanemariti tudi ideoloških momentov. V teh deželah je bila prevladujoča filozofija znanstveni socializem in seveda osnova znanosti v tem, da je podpora določenemu ekonomskemu in družbenemu razvoju. Razočaranje nad nezmožnostjo čiste znanosti, da se res legitimira kot takšen generator družbenega in ekonomskega razvoja, jih nujno pripelje do tega, da zavrnejo merjenje znanstvenih dosežkov v celoti. Na to sicer ne izpostavljeno osnovo Manifesta marsikateri kritik tudi direktno opozarja. Ne f>ozabimo, da je "obračun" z vzhodnonemško znanostjo poteka! tako, da so kar čez noč zahtevali od nje, da se podredi kriterijem kvalitete, ki jih zahteva Zahodna Evropa. Nenadoma ni bilo več pomembno soglasje Lokalnega ali Centralnega Komiteja, referati na kongresih ali objava znanstvenih rezultatov v lokalnih nerecenziranih revijah. Evalvacija rezultatov je potekala po drugih svetovno uveljavljenih kriterijih, od katerih je bila mednarodna odmevnost objavljenih raziskovalnih del eden od pomembnih kazalcev. Res je, da to ni bilo popolnoma korektno, saj so raziskovalci delali v drugačnih pogojih in bi bilo to treba upoštevati. Malo verjetno je tudi, da bi kje drugje prišlo do podobne razdelitve med kvalitetnimi in manj kvalitetnimi raziskovalci. Toda strah je ostal in ta ni naklonjen kakršni koli uporabi kvantitativnih meril za ocenjevanje kvalitete raziskovalnega dela znanstvenikov. Ob tem nekateri udeleženci v razpravi tudi odprejo razpravo o sami informetri-ji (bibliometriji in scientometriji). Kakšno znanstveno področje je pravzaprav to? Empirično bibliometrično raziskovanje je po svojih metodah, konceptih in standardih predstavitve podatkov zelo blizu družbenim vedam, meni ena od udeleženk razprave. Sociolog znanosti bi se počutil zelo domače v teanui biblio-metrikov in bi popolnoma razumel njihov jezik. V resnici veliko sociologov znanosti opravlja delo, ki bi bilo lahko publicirano tako v socioloških kot v bi-bliometričnih publikacijah. Predlogi, kaj naj bi bibliometrija od socioloških metod uf>orabljala: a. Intervjuji, za vsakim objavljenim delom je oseba ali skupina, ki ga je ustvarila. Intervjuvati je treba avtorje o vseh aspektih njihovega dela, ki jih ni mogoče izluščiti iz dela samega. Zaradi tega ne bo bibliometrija nič manj kvantitativna, le da je tudi te podatke treba ustrezno analizirati. b. Družboslovec je bolj občutljiv na širše družbene implikacije določenega znanstvenega vprašanja ali raziskovanja (Peritz 1994). Drug avtor meni, da tisti program raziskovanja, iz katerega Manifest izhaja, nima veliko skupnega z bibliometrijo. Gre za hegemonistični program, ki želi po samo proklamiranem višjem interesu vsiliti enotnost na določenem področju (tradicija sovjetske znanosti?) in znanosti o znanosti. Bibliometrija ni disciplina znanosti o znanosti, to je področje, ki se ukvarja s teorijo in prakso merjenja znanosti in tehnologije. Kot tak5na je ena od komponent tistih raziskovalnih naporov vseh disciplin družbenih ved, ki si prizadevajo za produkcijo znanja o ustvarjanju v znanosti in tehnologiji ter izražanju in vpetosti v družbo (takšen raziskovalni program pa včasih imenuje "znanost o znanosti") (Barre 1994). Pa se vrnimo k samim argumentom Manifesta. Večina argumentov, ki naj bi dokazovali krizo scientometrije/bibliometrije, se suče okoli aplikativnosti in uporabnosti rezultatov. Smrt ustanoviteljev področja in slaba kvaliteta podatkovnih zbirk sta seveda samo dodatna argumenta, ki nimata praktično nobene teže. Na vsakem področju je normalno, da prihaja do zamenjave generacij in potem tudi do razširitve področja. To še nikoli ni ogrozilo raziskovalnega f>odročja kot takšnega. Nasprotno, nekateri razpravljalci so menili, da je dejstvo, da bibliometrija ni več samo in predvsem domena upokojenih profesorjev, bistveno za napredek stroke. Prim ož JUŽNIČ Obzirno so s tem želeli povedati, da je samo znanstveno področje s prihodom novih generacij, ki niso bile toliko zainteresirane za globalna teoretična vprašanja kot starejše generacije, pravzaprav pridobilo in bilo za razvoj seveda nujno. Prehod od bazičnega in metodološkega raziskovalnega dela k aplikacijam je delno povezan z že omenjenim vprašanjem sosledja generacij. Ustanovitelji področja so pogosto izhajali iz določenih znanstvenih področij, kjer so že imeli bogate raziskovalne izkušnje. Te so jim sicer olajševale delo, obenem pa so bili pogosto pri generalizaciji preveč pod vplivom svojih preteklih raziskovalnih Izkušenj. Te so seveda lahko pozitivno vplivale, vendar ne gre zanemariti tudi negativne vplive. Ti so predvsem v neupoštevanju razlik med znanstvenimi disciplinami in tudi oblikami raziskovanja. Eden od prispevkov opozarja tudi na generacijski razkorak na področju bi-bliometrlje. Dejstvo je, da vsaka novost naleti na odpor tistih, ki si želijo ohranitev starega (kar ni vedno povezano z leti). Bibliometrija (scientometrija) se je vrinila v področja, za katera je veljalo, da so "privatna last" starih upokojenih profesorjev. Nenadoma so ljudje, raziskovalci, ki naj ne bi ničesar vedeli o določenih znanstvenih področjih, zahtevali priznanje, da to vedo. To so dokazovali z rezultati, dobljenimi z močnimi kvantitativnimi orodji. Kar je bilo še bolj zastrašujoče, je bilo dejstvo, da bi ta nova orodja in rezultati lahko vplivali na obstoj posameznikov in institucij, ki so do takrat veljale za popolnoma zaščitene-nedotakljive in samozadostne. Odpori se torej pojavijo pri uveljavljanju rezultatov analize citiranja. Tisti prizadeti, običajno del znanstvene skupnosti, bodo napadli nov pristop predvsem zaradi strahu pred neznanim. Poda tudi primer iz Južne Afrike, ko raziskovalci napadajo bibliometrike še preden se rezultati takšnih analiz sploh upoštevajo (Pouris 1994). Za nepopolno - sporno uporabo podatkovnih zbirk, avtorja Manifesta krivita tudi ponudnike podatkovnih zbirk. Te so nepopolne, niso jasni kriteriji izbire vključitve dokumentov v bazo, obstajajo celo različne verzije (zgoščenka - CD ROM, on line) iste ix>datkovne zbirke (Glaenzel, Schoepflin 1994). Zviševanje standardov bibliografskih podatkovnih zbirk je posebno področje, kvaliteta bibliografskih podatkovnih zbirk pa je res še daleč od popolnosti, za kar je vzrok v mehkobi podatkov, ki jih zajemajo. Ni si mogoče zamisliti, da bi bibliografski podatki bili drugačni. Znanstveno raziskovanje pač ni knjigovodstvo ali borza vrednostnih papirjev, kjer se zahteva absolutna točnost podatkov. Če v določeni raziskovalni objavi ne navedejo pravilno (bibliografsko) citiranega dela ali ne gradlrajo citirana dela po vplivu in pomenu na lastno raziskovalno delo ali navedejo (citirajo) premalo ali preveč takšnih del, to bistveno ne vpliva na kvaliteto objavljenega dela. To predstavlja samo izziv za tiste, ki se s tem profesionalno ukvarjajo: da poiščejo zakonitosti v citiranju posameznih objav, strok ali drugih aglomeracij ter jih znajo pravilno interpretirati. K temu se bom še vrnil, saj gre za osnovno temo razprave. Argument o aplikativnem, ki nadvlada bazično znanost, večina udeležencev razprave zavrača. Denar za raziskovanje sicer res prihaja od upravnih, vladnih teles, ki iščejo odgovore na praktične probleme, s katerimi se srečujejo. To sicer res lahko upočasni teoretični nivo, razvoj bibliometrije. Pa kaj potem? Bibliometrija je pač lahko bolj tehnologija kot znanost, kar pa sploh ne pomeni, da je področje v krizi, temveč ravno nasprotno (Poiiris 1994). Kritika ni zavrnitev metode analize citiranja Razprava o bodočnosti scientomeirije/bibliomeirije/informatrije je za analizo citiranja pomembna. Rezultati analize citiranja so najbolj uporabljena metoda in tudi rezultati so najbolj uporabni. Zato je večina zgoraj predstavljene kritike namenjana prav njej. Kritike bibliometričnih metod so torej zelo raznovrstne. Predv.sem pa so zelo pomembne, saj spodbujajo k stalnem preverjanju njenih metodoloških, a tudi teoretičnih izhodišč. Pogosto se pojavijo tudi pregledni članki, ki skušajo te kritike poenotiti in urediti. Res je, da veliko kritikov metode analize citiranja piše tako, da navajo samo tiste, ki mislijo enako in imajo do metode negativen odnos. Res je, da veliko tekstov kritično obravnava metodo analize citiranja. Vendar so kljub zelo kritičnem pregledu, ki se ne ustavi tudi pred podrobno obravnavo objav in citiranja Eugena Garfieida, ustanovitelja in legende področja analize citiranja, ugotovitve naslednje: analiza citiranja ostaja veljavna metoda za analizo vpliva posamenikov, institucij in revij, toda treba jo je uporabljati s previdnostjo in v povezavi z drugimi metodami (Baird Oppenheim 199'!). Previdnost vključuje dvoje: razumeti, kaj bibliometrične metode merijo in predvsem, česa z njimi ne smemo meriti. V zadnjih leti je postalo jasno, da analiza citiranja kot bibliometrična metoda ne meri kvalitete objavljenih raziskovalnih rezultatov, temveč njihovo odmevnost, opaznost, vidnost (visibility). Ta je seveda v znanosti zaželena in nujna, saj sistem znanstvenega informiranja in komuniciranja ter nemoten proces znanstvenega raziskovanja brez nje ne more delovati. Nedvomno je tudi eden od elementov kvalitete, vendar še zdaleč ni sama kvaliteta ali uspešnost znanosti. Zanimivo je, da so praviloma kritiki metode tisti, ki izhajajo iz trditve, da analiza citiranja meri uspešnost znanosti, da bi jo potem lahko zavrnili!? Druga, še večja napaka, je na osnovi biblionieuisnih metod meriti in primerjati različne znanosti, vede in celo discipline med seboj. Raziskovalna dejavnost in sistem znanstvenega komuniciranja in informiranja je po posameznih vedah tako zelo različen in specifičen, da so primerjave med njimi nesmiselne in tudi zavajajoče. Uporaba bibliometričnih metod za analizo družboslovja se popolnoma razlikuje od analize medicine. Pa tudi znotraj teh ved samih so lahko večje ali manjše razlike, npr v številu in načinu citiranja v objavah raziskovalnih rezultatov (Adamič 1993). Na žalost avtor F. Mali v svoji, sicer zelo zanimivi bibliometrični analizi zaključnih poročil RR-projektov oddanih Ministrstvu za znanost in tehnologijo, stori obe napaki (Mali 1996). Dejavnik vpliva (impact factor) dobljen iz po- datkovnih zbirk Indeksov citiranja (Citation index) omeni kot merilo kvalitete znanstvenih objav (str. 964-965) in ga seveda zavrne. Po drugi strani pa primerja vede med sabo in to na osnovi objav. To merilo, število objav, namreč uporabi tako, da govori o najvišji publicistični beri družboslovja in vodilnem mestu družboslovja pri objavah knjig pri drugih založbah (str. 968). Število objav, (razumljivo je, da je tega pri družboslovju veliko, zaradi narave raziskovanja in predmeta raziskovanja), je še veliko bolj nezanesljivo merilo kot dejavnik vpliva oz. citiranja in še veliko bolj različno med vedami. Vede se tako močno razlikujejo glede na način in predmet raziskovanja, da se to še toliko bolj odraža v načinu objavljanja dobljenih raziskovalnih rezultatov. Seveda je možno, da je objava izsek širšega dela in se mogoče bere izven širšega konteksta. Toda potrebno je opozoriti, da takrat, ko začnemo z biblio-metričnimi metodami vrednotiti in ocenjevati različne vede ocenjujemo z enakimi merili nekaj zelo različnega. Edina resna možnost primerjave, in s tem tudi ocenjevanja kvalitet/usp>ešnosti, je in ostane mednarodna primerjava takrat, ko lahko slovensko institucijo, raziskovalno skupino in seveda z vso previdnostjo posameznika primerjamo s tistim, ki dela na istem področju. Omenjeni dejavniki vpliva revij so tu dober primer Institute for Scientific Information, ki le-te objavlja v svojem Journal of Citation Report, jih striktno razdeli na področja in nikoli ne objavlja seznama, ki ne bi upošteval razlike med njimi. (Razen za visoko citirane interdisciplinarne revije). Ko je Evropska Komisija leta 1994 naročila izdelavo scientometričnih indikatorjev, sta imeli v poročilu pomembno mesto tako primerjava števila publikacij kot rezultati analize citiranja. Vendar so tudi kot najboljši vir vzeli bazo Science Citation Index, ki jo izdeluje Institute for Scientific Information iz ZDA. Pač ni nobene druge podatkovne zbirke, ki bi dala vse potrebne podatke za resnično merjenje znanstvenih rezultatov z bibliometričnimi metodami. Seveda, poročilo prinaša predvsem primerjave evropske znanosti z znanostjo drugje in znanosti znotraj članic Evropske Unije (The European Report... 1994) Citiranje v družboslovju O uporabi analize citiranja sem sicer v Teoriji in praksi že pisal Oužnič 1993). Število objav indeksiranih v Social Science Citation Index raste, pojavile so se tudi indeksirane slovenske revije. Pomembna oblika vidnosti slovenskega družboslovja pa je v objavi preglednih člankov, ki svetovnem družboslovju občasno prikaže teme in dosežke slovenskega družboslovja. Toda ostaja osnovno vprašanje, ali lahko analizo citiranja uporabljamo tudi za evalvacijo in oceno odmevnosti družboslovja v Sloveniji. Videti je, da večina družboslovcev odklanja takšno možnost oz. meni, da je zaradi vrste težav takšna uporaba neinogoča. Seveda o tem ne morem soditi sam. Mogoče bi k razpravi pomagalo nekaj bi-bliometričnih podatkov o sami reviji Teorija in Praksa. To bi, upam, lahko spodbudilo razmišljanje o citiranju v slovenskem družboslovju. Analiza namreč pokaže na izjemno niziotem kot baza za analizo. Točke" z:i izvolitve v nazive na Univerzi se dobivajo predvsem na osnovi števila objav in manj (samo dejavniki vpliva revij) na osnovi drugih kazalcev kvalitete. Ce ukinjamo ali relativiziramo še te, s tem verjetno ne spodbujamo kvalitetnih objav in s tem tudi kvalitetnega raziskovalnega dela. Odmevnost objave je tisti element objavljanja raziskovalnih rezultatov, ki bi jo morali spodbujati. Če za družboslovje veljajo določene omejitve oz. težave pri objavljanju v tujini in tujih jezikih, bi to ne smelo vplivati na odmevnost del objavljenih v slovenščini. LITERATURA Adamič S. 1993. Citiranje kot mera kakovosti znanst\-cnc publikacije; njen doscR in omejitve, Zdravni.i;ki Vcstnik 62,67-8 Baial I.M. Oppcnhcim C. Do citations matter? Journal of Information Scicnce 1994;20(1), 2-15 The i:uropcan Report on .Scicncc and Technology Indicators. 1994. EUR, l.uxembourg Južnič P. 1993. Analiza citirinja kot metoda merjenja odzivnosti v znanosti, TIP, 30, 9-10, 978-988 Konrad G. Szelenyi I. 1978. Die intelligcnz auf dem Wcg zur Kla.sscnmachi, Suhrkamp. Frankfurt Kosioff R.N. 1996. Performance mcasurc.s for government spon.sored research: Overview and backgraound, .Scientometrics 36,3,281-292 Mali F. JugJ. 1995. Scientomctrija in analiza citatov. TIP. 32.9-10,812-821 Mali F. 1996. BibliometriCna anali/a rc/.uliatov znaastvenikov v Sloveniji, TIP 33,6,956-70 Scientometrics. 1994. 30 (2-3) Uarrc R. Do not look for Scapcgoat-s! Link Bibliometrics to Social Scicnces and Addrc.ss Societal Needs. 419-24 Dou H. In Which Business arc we? 401 I-gghe I.. Little Scientometrics. Big Scientometrics... and beyond. 389-92 i:to H. Quality a.s.se.ssment of .science information research and .service. 429-32 Glaenzel, Schoepflin, Little sientometrics, big scientometrics ... and beyond? 375-384 Leydensdorff L Wotcrs R Crisis or Critique? 415^ McGrath WK. Little Scientometrics, Big Scientometrics and beyond. 439-442 Peritz BM. Little Scientometrics, Big Scicntometrics... and beyond. 415^ Pouris A. Is Scicntometrics in a Crisis? 397-400 Tague-Sutcliffe. 1992. An introduction to informetrics. Information Processing & Management 28,1,1-4