ZGODOVINA/HISTORY
Ocenjevanje znanstvenega dela na biomedicinskem področju v Sloveniji včeraj in danes
EvaLuation of scientific production in the field of biomedicine in Slovenia in the past and nowadays
Zoran Grubič
Inštitut za patološko fiziologijo, Medicinska fakulteta, Univerza v Ljubljani, Zaloška 4, 1000 Ljubljana
Korespondenca/ Correspondence:
prof. dr. Zoran Grubič, Inštitut za patološko fiziologijo MF, Zaloška 4, 1000 Ljubljana E-naslov: Zoran.Grubic@ mf.uni-lj.si
Ključne besede:
biomedicinske raziskave, Slovenija, citati, dejavnik vpliva, Agencija za raziskave Republike Slovenije
Key words:
biomedical research, Slovenia, citations, impact factor, Slovenian Research Agency
Citirajte kot/Cite as:
Zdrav Vestn 2011; 80: 63-70
Prispelo: 6. sept. 2010, Sprejeto: 24. sept. 2010
Izvleček
Prispevek opisuje izhodišča in postopke ocenjevanja znanstvenega dela na biomedicinskem področju v Sloveniji v zadnjih 20 letih. To obdobje je razdeljeno na dva dela: v prvem, ki je trajalo do leta 2004, je ocenjevanje izvajal Znanstveni svet za medicinske vede, v drugem, od leta 2004 dalje, pa Agencija za znanost Republike Slovenije. Opisani so sistemi kvantitativnega vrednotenja znanstvenih del, njihove prednosti in slabosti, še posebej pa problematika njihove uporabe na biomedicinskem področju.
Abstract
Principles and procedures of the evaluation of the scientific production in the field of Biomedi-cine in the past 20 years in Slovenia are described in this paper. This period of time is divided into two parts: up to the year 2004, evaluations were conducted by the Scientific Committee for the Medical Sciences; from the year 2004 onward they are a part of the activities of the Slovenian Research Agency. Advantages and weaknesses of the systems based on the quantitative evaluations are described with the emphasis on their applications in the field of Biomedicine.
Uvod
Da se ob jubileju Zdravniškega vestnika (ZV) nekaj napiše tudi o ocenjevanju znanstvenih del na biomedicinskem področju, obstaja dober razlog. Ob takih priložnostih se ponavadi ozremo po preteklih dosežkih in v Sloveniji se je strokovno poglobljeno ocenjevanje znanstvenih del začelo prav na medicinskem področju, pri njegovih prvih korakih in informiranju pa je imel pomembno vlogo prav zV.1'2'3'4'5,6
Pomen znanosti na biomedicinskem področju v Sloveniji je sicer ena od tistih tem, o kateri ima skoraj vsak, ki ga ta dejavnost tako ali drugače zadeva, svoj lasten pogled, vsi ti pogledi pa se od ustanove do ustanove, pa tudi od posameznika do posamezni-
ka pogosto precej razlikujejo. A čeravno ta pestrost po eni strani hromi vzpostavljanje enotne znanstvene politike, pa po drugi strani vsa mnenja vendarle izhajajo iz nekih izkušenj in seveda tudi interesov in so prav zato, če so ustrezno utemeljena, vredna upoštevanja. V tem smislu moramo ta prispevek brati kot osebno mnenje njegovega avtorja, ki je imel v zadnjih 20 letih v različnih vlogah priložnost spremljati teorijo in prakso na področju ocenjevanja in financiranja znanstvene dejavnost na biomedicinskem področju v Sloveniji.
Čas svojega sodelovanja pri teh dejavnostih bi razdelil na dve obdobji. Prvo zajema obdobje do leta 2004, ko so vlogo ocenjevanja in tudi financiranja znanstvenih projektov opravljali področni znanstveni sveti,
v našem primeru Znanstveni svet za medicinske vede (ZSMV). Ministrstvo za visoko šolstvo in znanost (MVŠZ) ter njegovi predhodniki so sicer objavljali razpise in porazdeljevali sredstva po posameznih področjih, odločitve o financiranju znotraj področij, kot so jih predlagali ZSMV in drugi področni sveti, pa je ministrstvo sprejemalo praktično avtomatsko. Leta 2004 je vlogo ocenjevanja in tudi financiranja prevzela takrat ustanovljena Agencija za raziskave Republike Slovenije (ARRS). Ta je v svoji organizacijski shemi sicer obdržala področne znanstvene svete in tako tudi ZSVM, vendar ti na sistem ocenjevanja in financiranja od takrat naprej praktično nimajo več vpliva.
Do leta 2004^
Tako kot danes je tudi pred letom 2004 imelo v ZSMV svojega predstavnika 9 medicinskih področij: Mikrobiolgija in imunolo-gija, Stomatologija, Nevrobiologija, Onkolo-gija, Reprodukcija, Srce in ožilje, Metabolne in hormonske motnje, Javno zdravstvo in Psihiatrija. Do leta 2004 sta v okviru ZSMV kot posvetovalni telesi delovali tudi dve komisiji: Komisija za ocenjevanje raziskovalnih projektov in Komisija za izbiro mladih raziskovalcev, katerih predsednika sta poleg predstavnika ministrstva za znanost prisostvovala sejam ZSMV.
Že samo dejstvo, da se ZSMV kljub svoji strokovno močni sestavi ocenjevanja znanstvenih del ni loteval kar sam, ampak je za to nalogo imenoval posebno komisijo, ki so jo prav tako sestavljali predstavniki posameznih medicinskih področij, kaže, da se je ZSMV zavedal občutljivosti in odgovornosti te naloge. Znanstveno delo se dogaja na različne načine in ima več oblik: nekatere raziskave zahtevajo združevanje večjega števila raziskovalcev ali celo skupin, druge je mogoče opraviti v samostojnem avtorstvu. Ene zahtevajo več časa in več ljudi ter zato v načelu prinašajo manj objav, druge pa je mogoče objavljati serijsko, kar avtorjem prinese daljšo bibliografijo. Ene zahtevajo uvajanje novih zahtevnih metodologij, druge pa so zbiranje in analiza že obstoječih podatkov itd. Razlikujejo se tudi raziskovalci in skupine: nekatere imajo daljšo tradicijo in že
uveljavljene raziskovalce, zato navadno tudi izdatnejšo bibliografijo in pogosto tudi veliko sredstev, druge, čeprav obetavne, so na začetku poti in vsega tega nimajo itd. Zaradi opisane pestrosti izdelovanje, ki bo po eni strani učinkovit in to ne le operativno, temveč tudi v smislu spodbujanja kakovostnega znanstvenega dela, in ki bo po drugi strani objektiven in ne bo že vnaprej izključeval katere izmed naštetih oblik znanstvenega dela, nikoli ni bilo in tudi danes ni lahko delo.
Ob opisani pestrosti znanstvenega dela lahko znanstveno težo raziskovalca in raziskovalnega projekta zares kompetentno oceni le neodvisen in strokovno usposobljen področni strokovnjak. V znanstveno razvitem svetu, kjer to nalogo že vseskozi opravljajo recenzentski sistemi, ocenjevanje tudi zares poteka po tem načelu, pri nas pa takega sistema ni bilo mogoče vzpostaviti. Razvitost komunikacij, možnost potovanj in sredstva, namenjena znanosti, takrat še niso omogočali, da bi bilo mogoče v ocenjevanje vključiti tuje recenzente, doma pa je bilo zaradi majhnosti prostora težko najti take, ki bi bili strokovno kompetentni in hkrati brez konfliktnih interesov do predlagatelja projekta.7 Kot uporabna alternativa ali raje dopolnilo recenzentskemu sistemu (vsak projekt so tudi v preteklosti vedno ocenili tudi recenzenti), se je v teh okoliščinah izkazal sistem kvantitativnih kazalcev, ki ga je ZSMV izdelal v sodelovanju z Inštitutom za biomedicinsko informatiko (IBMI). V osnovi je bil sistem razmeroma preprost. Vsak projekt, ki je kandidiral na razpisu, je dobil štiri ocene: 1. znanstveni kazalci vodje projekta, 2. citati vodje projekta, 3. skupni znanstveni kazalci članov skupine in 4. skupni citati članov skupine. Vsi projekti, ki so bili prijavljeni na posamezen razpis, so se nato rangirali po vsaki od štirih ocen, projekte pa so nato razporedili na lestvici od vrha navzdol po vsoti rangov iz teh štirih ocen. Tako bi npr. projekt, ki bi bil po vseh štirih ocenah na prvem mestu, imel vsoto rangov 4 in s to oceno zasedal sam vrh lestvice. Na lestvici se je ob vsakem razpisu običajno znašlo približno 100 projektov. Ti so bili glede na svoje mesto na lestvici razdeljeni v skupine po 10 (projekti od 1. do 10. mesta so tvorili prvo
skupino, od 11. do 20. mesta drugo skupino itd.), razpoložljivi denar pa je bil razdeljen tako, da so projekti, uvrščeni v prvo skupino imeli pri tem prednost, tisti na začelju pa so dobili manj sredstev. Če je šlo pri tem za skupino, ki je obstajala že prej in je torej s prijavo na razpis kandidirala za nadaljevanje financiranja (v takih primerih smo govorili o »dediščini«), je v primeru visoke uvrstitve dobila glede na prejšnja sredstva približno 10 % dodatnih sredstev, če pa je bila uvrščena nizko, je približno toliko sredstev izgubila.
Temeljno izhodišče takratne znanstvene politike je bilo vključevanje naše medicinske znanosti v znanstveno razvit mednarodni prostor; veljalo je, da je to tudi najboljši način za dvig strokovne ravni na ustanovah, ki predstavljajo v Sloveniji medicinski strokovni vrh. Ob tem izhodišču je bilo temeljno načelo pri izboru znanstvenih kazalcev, da morajo ti odsevati vrednote, ki jih pozna in upošteva znanstveno razviti svet. Največ točk so tako prinašali članki v mednarodnih revijah, ki jih indeksira SCI, pri čemer je bil upoštevan tudi njihov dejavnik vpliva (angl. impact factor, IF). Tako so npr. članki v revijah z IF nad 2 (najvišja kategorija) prinašali 90 točk, tisti v revijah z IF med 0 in 1 pa 30. Posameznega raziskovalca so v smislu teh vrednot skušali oceniti iz večjega števila zornih kotov. V skladu s prakso v razvitem svetu, so tako upoštevali tudi skrb za naraščaj. Tako je npr. mentorstvo pri doktoratu prineslo mentorju 16 točk, mentorstvo pri magisteriju ali akademski specializaciji pa 8. Članki v domačih revijah v tistih časih niso prinašali točk. Čeravno je bilo glede tega precej razprav, je vedno prevladalo mnenje, da objave v domačih revijah za naš prostor sicer predstavljajo pomemben dosežek, v mednarodnem prostoru pa te veljave nimajo. Upoštevan je bil tudi zgled ostalih držav, kjer raziskovalci rezultate svojih raziskav, če se le da, objavijo v uglednih mednarodnih revijah in ne v domačih, ki na mednarodni ravni včasih sploh niso dostopne.
Pri ugotavljanju citiranosti je bil v rabi indeks citiranosti, torej število čistih citatov neke publikacije na avtor j a^. Ugledne tuje agencije, ki se ukvarjajo s financiranjem znanosti, citiranosti v taki obliki in sploh v
obliki enostavnih seštevkov citatov sicer ne upoštevajo, za kar navajajo dokaj prepričljiv razlog. Članek, ki je citiran npr. desetkrat na leto, napisan pa je bil pred 10 leti, bo avtorjem prinesel 100 citatov, enako citirani članek, ki je bil napisan letos, in ki torej največ pove o trenutni avtorjevi raziskovalni usposobljenosti, pa nobenega. Mehansko štetje citatov brez ugotavljanja ostalih okoliščin tako nagrajuje delo v (za znanost) dokaj daljni preteklosti, to pa ni nekaj, čemur bi agencije, ki financirajo projekte, ki se bodo opravljali v prihodnosti, dajale prednost. A je treba pri tem vendarle imeti v mislih tudi posredni dejavnik. Ker v načelu le članki v revijah, ki jih indeksira SCI, prinašajo citate, njihovo upoštevanje spodbuja objavljanje v vrhunskih mednarodnih revijah.
Pri financiranju projektov je za optimalno razporeditev razpoložljivih sredstev pomembno ugotoviti višino sredstev, ki so potrebna za izvedbo posameznega projekta. Predlagatelji projektov morajo sicer v svoji vlogi navesti tudi ta podatek, a se je ravnanje po tem podatku v praksi izkazalo kot neuporabno. Ob vnaprejšnjem pričakovanju zniževanja predlaganih sredstev s strani fi-nancerja so predlagatelji pogosto navajali nerazumno visoke zneske, da bi jim tako tudi po tem znižanju še kaj ostalo. Za realno oceno potrebe po sredstvih bi bili tako spet potrebni strokovnjaki s področja predlaganih raziskav, pa tudi tem bi ta del ocenjevanja vzel precej časa. Ob velikem številu prijavljenih projektov, pomanjkanju ustreznih neodvisnih ocenjevalcev in omejenem času, v katerem je bilo treba sprejeti odločitev o financiranju, ta pot ni bila možna, zato je ZSMV problem reševal s preprostim trikom, ki pa se je v praksi izkazal kot učinkovit in je pomembno pripomogel k optimalni izrabi razpoložljivih sredstev. Tako so prej omenjeno oceno, ki si jo je projekt pridobil z vsoto rangov, delili z vsoto sredstev, ki so jo navedli predlagatelji projekta, ta količnik pa je vplival na končno uvrstitev projekta na lestvici. Vodje projektov s skromnejšo znanstveno produkcijo so tako že v predlogu ustrezno znižali svoje zahteve po denarju, tisti z večjo pa so si lahko glede tega privoščili večjo zahtevnost.
Najbrž ni med znanstveniki nikogar, ki ne bi zagovarjal načela, da si boljši in uspešnejši zaslužijo več sredstev. Ob uporabi zgoraj opisanih meril je temu načelu sledil tudi ZSMV. A se je ob tem vseskozi zavedal tudi nevarnosti, ki jo tak pristop lahko prinese. Ob enaki višini razpoložljivih sredstev moramo sredstva za nagrajevanje uspešnosti nekomu vzeti, najprimernejši kandidati za to pa so tisti z dna lestvice. A če se uspešnim iz leta v leto namenja več sredstev in so že zaradi tega vsako leto še uspešnejši, se sčasoma ves denar preseli k njim. Ker se raziskovalne skupine ukvarjajo s sorazmerno ozkimi področji, to sčasoma pripelje do znanstvene hipertrofije na ozkih znanstvenih področjih, brez sredstev pa ostanejo široka in zelo pomembna polja medicinske stroke. S tem, ko je ZSMV nagrajevanje omejil na 10 "/o njihove »dediščine«, je dobrim skupinam omogočil normalne razmere za njihovo delo in jih tudi nagradil, a je ob tem vendarle ostalo dovolj denarja tudi za včasih sicer zelo skromno financiranje ostalih medicinskih področij, kar pa je bilo za ohranjanje znanstvenega življenja na teh področjih bistvenega pomena. Seznam financiranih projektov na lestvicah ZSMV je bil v tistih časih ponavadi dokaj dolg (nekaterim se je vedno zdel predolg), a upal bi si trditi, da je bilo po načelu, da merilo uspeha ni sama produkcija, temveč razmerje med vloženim in dobljenim (razmerje input/output), to ravnanje upravičeno. Pomembna zaščita pred opisanim problemom je bila tudi takratna in pozneje morda malce nepremišljeno ukinjena omejitev števila letnih raziskovalnih ur, ki jih je lahko prejemal posamezni raziskovalec in ki je raziskovalcem, ki so že dosegli to mejo, preprečevala neomejeno prijavljanje na razpise.
Najpomembnejši pri takratnem sistemu ocenjevanja znanstvenih del pa je bil stalen nadzor v smislu povratne zveze, kjer so se ocene, ki jih je izvrgel zgoraj opisani sistem kvantitativnih kazalcev, primerjale s stanjem »v naravi« oz. »na terenu« in torej stanjem na ravni izvajalcev znanstvenega dela pri nas. Pri tem je treba posebej poudariti, da se opisani sistem ocenjevanja in financiranja ni izvajal na avtomatski, mehanski način. ZSMV se je zavedal, da opisani sistem, če-
ravno na prvi pogled logičen in objektiven, skriva v sebi vrsto pasti in da se brez ustreznega vpogleda njegovih učinkov v praksi lahko hitro zgodi kak nesmisel, ki bi ga bilo težko zagovarjati. Že samo dejstvo, da vsebina programa v neposrednem smislu ni vplivala na oceno, je naš pristop oddaljevalo od prakse razvitega sveta. Sistem je meril znanstveno produkcijo raziskovalcev v zgodnji (znanstveni kazalci) in oddaljeni preteklosti (citati) in pri tem izhajal iz predpostavke, da bo tisti, ki je zbral visoko oceno, kar naj bi pomenilo, da je dobro delal v preteklosti, zelo verjetno dobro delal tudi v prihodnosti. Čeravno se je ta predpostavka v večini primerov izkazala kot pravilna, pa je imela po drugi strani vrsto slabih plati: bila je krivična do mlajših raziskovalcev, ki so imeli manj časa za nabiranje preteklih rezultatov, bila je krivična do tistih, ki so želeli zapustiti staro in že »izpeto« področje ter odpreti kako novo sodobno temo, kar je v znanosti pogosto nujno, a ob vlaganju časa in energije v uvajanje novih metodologij in ob »prebijanju« v mednarodni prostor vsaj na začetku močno zniža produkcijo člankov kot tudi citatov. In bila je krivična tudi do tistih, kjer manjša znanstvena produkcija ni rezultat manjše znanstvene sposobnosti, temveč prej preobremenjenosti z drugimi obveznostmi, kar je še posebej pogosto prav v medicini.
Preverjanje sistema je imelo več faz in več ravni. Pripisovanje točkovne vrednosti znanstvenim delom, kar je najobčutljivejši del vsakega kvantitativnega vrednotenja, je potekalo na IBMI, kjer je ta del osebno preverjal takratni predstojnik IBMI prof. dr. Štefan Adamič. Pod njegovim nadzorom izdelano lestvico rangov je nato prof. Adamič ob vsakem razpisu sam predstavil Komisiji za ocenjevanje znanstvenih projektov pri ZSMV, vedno pa je bila tej lestvici priložena tudi podrobna dokumentacija, iz katere je bilo za vsakega raziskovalca z vsakega, na razpis prijavljenega projekta mogoče ugotoviti, od kod izvirajo njegove točke in citati. V današnjih časih, ko obstaja na spletu vrsta enostavno dostopnih podatkovnih baz, se zdi to enostavno, takrat pa tega še ni bilo in za pridobitev vseh teh podatkov je bilo treba opraviti ogromno dela. Opremljeni z vsemi dostavljenimi podatki so člani Komisije za
ocenjevanje pri ZSMV nato projekt za projektom pregledali celoten seznam, se o vsakem pogovorili in nato na koncu pripravili predlog za financiranje. Predsednik Komisije za ocenjevanje projektov je nato predlog predstavil članom ZSMV in obenem opisal merila za ocenjevanje in njegov potek. Na oboje so nato člani ZSMV dajali svoje pripombe in občasno je na tej osnovi prišlo tudi do ustreznih sprememb. Prav odgovorno delo pri pripravi seznama na IBMI, več ravni preverjanja in transparentnost dela so pripomogli k temu, da je bilo odstopov od predlaganega seznama sorazmerno malo. Glavno vodilo, ki smo mu sledili takrat, je bilo, da mora biti končni predlog za financiranje tak, da ga bo mogoče braniti »kjer koli, kadar koli in pred komer koli«, zato je bilo tudi pritožb v tistih časih sorazmerno malo.
.....in po letu 2004
Priprave na ustanovitev ARRS so se sicer začele že prej, delovati pa je začela l. 2004. Ustanovljena je bila z namenom, da dvigne ukvarjanje z znanstveno politiko v naši državi na poklicno raven. Kot profesionalna in nevladna ter torej od politike neodvisna ustanova naj bi agencija skrbela za strokovno vodeno snovanje in izvajanje znanstvene dejavnosti v Sloveniji, vključno z njenim ocenjevanjem in financiranjem. Ta naloga je bila do takrat v rokah področnih znanstvenih svetov, ki so delo opravljali na nepoklicni ravni. Od l. 2004 dalje je tako ARRS v celoti prevzela od ZSMV tudi vlogo ocenjevanja in financiranja medicinske znanosti v Sloveniji.
Podobne agencije poznajo tudi drugod po svetu in ustanovitev ARRS je v tem smislu pomenila nov korak pri vstopanju Slovenije v znanstveno razviti del sveta. In res je po zaslugi ARRS v marsičem prišlo do napredka v našem znanstvenem življenju. Veliko je bilo storjenega npr. na informacij-sko-tehnični ravni. Tudi po zaslugi ARRS se danes v znanosti posluje na sodoben, elektronski način in praktično vsakemu raziskovalcu so danes pomembni podatki dostopni po enostavnih poteh, o kakršnih smo včasih lahko samo sanjali. In ne nazadnje je ARRS člane ZSMV in pridruženih komisij razbre-
menila napornega dela, ki ga je zahtevalo ocenjevanje znanstvenih del po prej opisanem sistemu.
Ko gre za ocenjevanje in financiranja znanstvene dejavnosti, je zagotovo največji dosežek ARRS uvedba recenzentskega sistema z mednarodno sestavo. S tem, ko v ospredje postavlja vsebino programa (izvirnost in domiselnost hipoteze, sodobnost, znanstveno in družbeno relevantnost ipd.), je recenzentski sistem bliže samemu bistvu znanosti, to pa je tudi njegova največja prednost pred sistemom kvantitativnih kazalcev, ki temelji zgolj na merjenju preteklih dosežkov. ARRS so šle pri tem na roko tudi okoliščine, saj so se ob našem vključevanje v EU do leta 2004 tudi pri nas že vzpostavili pogoji za uvedbo takega sistema, ki ga sicer že ves čas uporablja znanstveno razviti svet.
Ob vseh naštetih dosežkih pa je v delu ARRS tudi marsikaj takega, s čimer ne moremo biti zadovoljni. Mnogi bi se najbrž najprej pritožil nad pretirano birokracijo, ki jo je vnesla ARRS v raziskovalno delo, a to ni tema tega prispevka. Žal tudi recenzent-ski sistem v sedanji obliki še ni tisto, kar bi moral biti. Dobivamo občutek, da se ARRS te naloge loteva nekoliko neodločno in da želi odločilno posegati tudi pri ocenjevanju znanstvenih projektov, čeprav svojih strokovnjakov za to nima. Da resnično deluje, mora biti recenzentski sistem ustrezno organiziran. Recenzentov mora biti več, kot jih je zdaj, vsak od njih pa mora biti po eni strani ustrezno motiviran, da svoje delo opravi po svojih najboljših močeh, po drugi pa je treba z ustrezno organizacijo postopka ocenjevanja poskrbeti za njegovo odgovornost. Navadno mora svoje mnenje, ki ga sicer najprej neodvisno napiše sam doma, zagovarjati tudi pred drugimi recenzenti, ki prav tako o istih projektih napišejo svoja neodvisna mnenja. Preko ustreznih panelnih predstavitev mora dobiti priložnost, da kandidatu zastavi svoja vprašanja, vendar pa mora imeti tudi kandidat možnost ustrezne predstavitve projekta in v neki fazi postopka tudi možnost ugovora na mnenje recenzentov. Pri izbiri recenzentov je treba paziti, da so ti po eni strani strokovno kompetentni za ocenjevanje projektov, po drugi strani pa morajo biti od kandidatov in njihovih ožjih po-
dročij tudi ravno prav oddaljeni in obenem zaščiteni, da lahko svoje mnenje izrekajo svobodno, neodvisno in brez konfliktnih interesov. Morda velja na tem mestu dodati, da je posebna delovna skupina pri ZSMV pred časom že izdelala predlog recenzentskega sistema za področje medicine z izračunom stroškov vred. Predlog je ARRS na sestanku ZSMV sicer pohvalila, a v predlagani obliki ni nikdar zaživel.
Organizirati dober in uspešen mednarodni recenzentski sistem je strokovno zahtevno in obsežno delo, ki zahteva sestavljanje ekip strokovnjakov po prej opisanih načelih, kar spet zahteva veliko dopisovanj, dogovarjanj in reševanj različnih logističnih problemov. Prav zato države tudi ustanavljajo agencije, kot je ARRS. Žal pa ARRS še vedno verjame, da si svoje delo, kljub znanim pomanjkljivostim, lahko poenostavi z uporabo sistema kvantitativnih kazalcev. Vnesti podatke v računalnik, pognati ustrezen program in nato na dobljeni listi potegniti črto med financiranimi in nefinanciranimi projekti, je na videz sicer laže kot organizirati učinkovit recenzentski sistem, a dolgoročno to zanesljivo ni prava pot. Morda je prav uspešnost prej opisanega ocenjevanja na medicinskem področju, ki pa je bilo po izhodiščni in izvedbeni plati precej drugačno od sedanjega sistema ARRS (glej v nadaljevanju), kriv za ta lažna pričakovanja. Če res želimo biti del razvitega sveta, je le vprašanje časa, kdaj se bosta vlaganje v ta sistem in njegova uporaba izkazala kot slepa ulica.
Za kolikor toliko uspešno delovanje sistema kvantitativnih kazalcev morata biti izpolnjena dva pogoja: 1. sistem mora biti prilagojen svojemu področju, kar pomeni, da mora upoštevati specifičnosti znanstvenega dela na tem področju; že področje medicine se za kaj takega marsikje izkaže kot preširoko; in 2. za uspešno delovanje takega sistema je potreben stalen nadzor v smislu povratne zveze, ko sproti ugotavljamo, ali uporabljeni kvantitativni kazalci res odsevajo vrednote, ki jih pozna znanstveno razviti svet. V sistemu, ki ga trenutno uporablja ARRS, ni izpolnjen nobeden od teh pogojev.
K točki 1. ARRS verjame, da je mogoče vzpostaviti sistem kvantitativnih kazalcev, ki bi učinkovito deloval na vseh znanstvenih
področjih, od humanistike, tehnike, medicine itd. V preteklosti je bilo sicer že več pobud, da bi po vzoru sistema, ki ga je uporabljal ZSMV, izdelali širše delujoči sistem, a so prav zaradi različnih oblik, v kakršnih se kaže znanstvena odličnost na posameznih področjih, te pobude kmalu zamrle. Navidezna enostavnost pri uporabi tega sistema pa je očitno tako privlačna, da se ARRS temu cilju ne želi odreči. Da bi ga dosegla, uvaja številna dopolnila, rezultat pa so zapletene formule z najrazličnejšimi seštevki, zmnožki, količniki, mejnimi vrednostmi, standardizacijami, normiranji ipd., nad katerimi je iz tujine povabljeni recenzent po nekaj poskusih razlage vzdihnil: »I am lost«. Taki pristopi in formule so sicer lahko pomožna orodja scientimetrije, ki se kot znanstvena veda posebej ukvarja s problematiko vrednotenja znanstvenih del, nikjer pa teh prijemov ne vnašajo v postopke financiranja znanosti na tako neposreden in slabo premišljen način kot to počne ARRS. Za večino teh prijemov se namreč izkaže, da število argumentov v njihov prid ne preseže števila argumentov, ki govorijo proti njihovi rabi.
K točki 2. Najbolj občutljivi del kvantitativnega vrednotenja znanstvenih dosežkov, torej presojanje o točkovni vrednosti znanstvenih del, nad katerim je v času ZSMV bdel cel tim izkušenih znanstvenikov, delegiranih z vseh medicinskih področij, je ARRS prepustila t. i. osrednjim specializiranim informacijskim centrom (OSIC). Ta ukrep lahko sicer razumemo tudi kot korak k večji profesionalizaciji (delo OSIC je financirano posebej), a so OSIC v sedanji sestavi finančno in kadrovsko prešibki za to delo. Neposredno kategoriziranje in točkovanje znanstvenih del tako danes brez nadzorstva opravlja kar osebje s srednjo izobrazbo in brez znanstvenih izkušenj. Ker ima ARRS pravilnik, ki določa, koliko točk pripada določenemu tipu publikacije, se morda zdi komu ta naloga enostavna, a v praksi še zdaleč ni tako. Že npr. presoja, ali gre za znanstveni članek z originalnimi rezultati ali pa zgolj za zbirko rezultatov študij drugih raziskovalcev, za nekoga brez ustreznih izkušenj ni enostavna. Enačenje opisanih primerov pa pomeni, da lahko avtorju za enotedensko pisanje ne-znanstvene publikacije podelimo podelimo
več znanstvenih točk kot avtorju pravega znanstvenega dela, ki mu je vzelo več mesecev ali morda celo let eksperimentalnega dela in ki ima tudi v mednarodnem prostoru večjo težo. Ustrezen nadzor nad točkovanjem take odklone omili in so mu zato v preteklosti posvečali veliko pozornosti (glej zgoraj). A če je Komisija za ocenjevanje preko svojega predsednika vedno poročala ZSMV o svojem delu ter ob tem sprejemala in upoštevala kritike, pa danes ni jasno, komu in na kakšen način za svoje delo odgovarjajo OSIC, ki imajo sicer tudi pristojnost, da predlagajo dodatne kazalce znanstvenega dela. Odsotnost nadzora že v načelu zmanjša odgovornost, opisana organizacija pa povečuje tudi ranljivost sistema do različnih oblik pritiskov s strani raziskovalcev, ki imajo pač svoje želje in interese, kar ni bilo nikoli redkost. V prid takemu razmišljanju govori poplava znanstvenih točk, ki jih danes registrirajo OSIC in ki nimajo nobene zveze z vrednotami znanstvenega dela v razvitem svetu.
Naštete slabosti močno omejujejo uporabnost sistema kvantitativnih kazalcev, ki ga danes uporablja ARRS. Temeljita razprava na to temo bi presegla okvire tega zapisa, zato o tem kdaj drugič. Tu naj na kratko omenimo le določila, ki jih sistem ZSMV ni poznal in ki pomenijo še posebej hud udarec prav za medicinsko znanost.
Eno od teh je sprememba točkovanja člankov v revijah, ki jih indeksira SCI in ki pri oceni kakovosti revij ne uporablja več neposredno dejavnika vpliva (IF), temveč kvartile, v katere se po rangu njihovih IF uvrščajo revije na posameznih področjih. Ta pristop izvira iz prepričanja, da je objava članka v reviji, ki z IF 1 ali celo manj na določenem znanstveno manj intenzivnem področju že sodi v sam vrh, enako zahtevna in tudi enako ugledna kot objava članka npr. v reviji Nature-Medicine, ki jo z IF 30 najdemo na vrhu spiska revij na določenih medicinskih področjih. Objav v tako vrhunskih revijah pri nas sicer ni toliko, da bi bil to pogost problem, a ima opisani pristop še druge posledice. V praksi namreč vodi do tega, da se še kar ugledne mednarodne revije z IF nad 2 ali celo nad 3, v kakršnih je na medicinskem področju veliko objav, pogosto
znajdejo v drugem ali celo tretjem kvartilu in prinesejo avtorjem članka bistveno manj točk kot članek v reviji z IF pod 1, če ima ta revija srečo, da je uvrščena v znanstveno manj živahno področje (npr. usnjarstvo), kjer se manj objavlja in citira. Nemara ta logika laikom zveni prepričljivo, v znanstveno razvitem svetu, kjer nihče niti ne poskuša z enakimi kvantitativnimi kazalci primerjati tako različna znanstvena področja, pa to ni mogoče. Vsekakor pa medicinska znanost s tem po nepotrebnem izgublja veliko število točk, pa tudi spodbuja nezaželeno prakso, ko raziskovalci svojih del ne skušajo več objavljati v revijah s čim višjim IF, kot je to drugod, ampak izbirajo revije glede na uvrstitev po rangu: iskane so torej tiste revije, ki imajo visok rang kljub nizkemu IF, ki je ponavadi znak njene sorazmerno nizke zahtevnosti.
Še hujši udarec kot »kvartiljenje« pa za medicinsko znanost pomeni normiranje citatov, torej delitev čistih citatov objavljenega dela s srednjim IF področja, v katerem je bilo objavljeno delo. Namen tega ukrepa je prav tako izničiti nezasluženo prednost, ki naj bi jo imeli raziskovalci na znanstveno vročih področjih, kot je medicina, že s tem, da se na teh področjih v svetu več objavlja in več citira. V praksi pa to pomeni, da iz dveh ali celo treh čistih citatov na medicinskem področju nastane eden, medtem ko na kakih drugih, znanstveno manj živahnih področjih posamezni citat naraste na npr. 1,2 ali 1,3 citata. Tudi logika tega pristopa ni ravno prepričljiva. Na področjih, kjer je objav člankov več, imajo tudi pisci novih objav več možnosti, ko se odločajo, s katerimi citati bodo podprli svojo hipotezo in v luči katerih člankov bodo razpravljali o svojih rezultatih. S tem se verjetnost, da bo nek avtor citiran, seveda manjša, in biti avtor iz Slovenije je pri tej izbiri vse prej kot prednost. Citira-nost je zato na takem področju lahko večji uspeh, kot tam, kjer se publicira manj in je zato verjetnost citiranja posameznih avtorjev večja. Navsezadnje pa bi lahko normirali tudi po drugih merilih. Ali za financerja, kot je ARRS, ne bi bilo vsaj tako kot srednji IF področja pomembno npr. merilo, koliko evrov stane ARRS na določenem področju članek v mednarodni reviji. Po merilu, ko-
liko evrov stane ARRS posamezen citat, bi vsaj na nekaterih medicinskih področjih utegnila, obratno kot zdaj, iz enega citata nastati dva.
Ugotovimo lahko torej, da smo z ocenjevanjem medicinskih znanstvenih del danes na pomembnem razpotju. Če bo ARRS sledila svojemu poslanstvu in pri financiranju medicinskih projektov sledila praksi razvitega sveta, razlogov za zaskrbljenost ne bi smelo biti. Medicinski znanosti v razvitem svetu posvečajo veliko pozornosti. Če pa bo ARRS še naprej uporabljala svoj doma izumljeni in v marsičem problematični sistem kvantitativnih kazalcev, ki ga sicer ne uporabljajo nikjer drugje, pa grozi, da se bo še naprej nadaljeval trend odlivanja sredstev iz medicinskih ustanov drugam. V tem primeru je v interesu medicinske znanosti, da vztraja na temeljiti reviziji tega sistema, in sicer tako glede njegovih izhodišč, kot tudi glede njegovega izvajanja. Še posebej pa bi veljalo preveriti, ali sistem res odseva vrednote znanstveno razvitega sveta.
Pri opisanem delu sem imel srečo, da sem lahko sodeloval z mnogimi odličnimi in prijetnimi ljudmi. Preveč jih je, da bi lahko na tem mestu imenoval vse. Dva med njimi pa le želim posebej omeniti. Kot pionirja na tem področju in najzaslužnejšega za razvoj in uspešno izvajanje sistema, ki ga je uporabljal ZSMV, izpostavljam takratnega predstojnika IBMI prof. dr. Štefana Adamiča. Drugi pa je Marko Belavič, ki kot predstavnik vseh prejšnjih ministrstev za znanost in zdaj ARRS spremlja medicinsko znanost še iz časov Raziskovalne skupnosti in je v tem smislu prava legenda na tem področju. Čeravno po zaposlitvi vseskozi uradnik, Marko ni bil po duši nikdar birokrat in je tako vsa ta leta močno lajšal življenje in delo raziskovalcem na medicinskem področju.
Literatura:
1.	Adamič Š. Nekajo zakonitostih v nastajanju in širjenju znanstvenih in strokovnih informacij. Zdrav Vestn 1975; 44: 1-2.
2.	Adamič Š. Citiranje kot mera kakovosti znanstvene publikacije: njen doseg in omejitve. Zdrav Vestn 1993; 62: 67-8.
3.	Adamič Š, Rožic-Hristovski A, Hristovski D, Di-mec J. Sistem za podporo pri ocenjevanju uspešnosti raziskovalnega in razvojnega dela v slovenski medicini. Zdrav Vestn 1996; 65: 385-7.
4.	Adamič Š, Dimec J, Hristovski D, Rožic-Hristo-vski A. Poskus ocene raziskovalne uspešnosti na Medicinski fakulteti. Zdrav Vestn 1997; 66: 659-61.
5.	Grubič Z, Stare J, Stegnar M, Funduk N, Rudolf Z, Kenda R, Marin J. Mednarodna odmevnost raziskovalnega dela na biomedicinskem področju v Sloveniji. Zdrav Vestn 1991; 60: 135-9.
6.	Grubič Z. Biomedicinske raziskave na Slovenskem in njihov pomen-predstavitev naših mednarodno najbolj odmevnih člankov iz obdobja 1979 do 1988. Zdrav Vestn 1992; 61: 83-8.
7.	Grubič Z. »Čist« recenzentski sistem v naših razmerah ni uporaben. Delo -Znanost, 3.december 1997. p 10.