Franc Mali Sistem ekspertnega ocenjevanja v znanosti Povzetek Prispevek se ukvarja z aktualnimi vprašanji ekspertnega ocenjevanja v znanosti, s t. i. sistemom peer review . Delovanje sistema ekspertnega ocenje- vanja v znanosti je tudi za širšo družbeno javnost vedno bolj atraktivno vprašanje. Veliko nesoglasij glede obstoja nepristranskih (objektivnih) sodb v evalvacijskih postopkih obstaja tudi znotraj same znanstvene skupnosti . To potrjujejo med drugim podatki empiričnih raziskovanj . Poudarek v prispevku je na analizi vprašanj etosa znanosti in sistema ekspertnega ocenjevanja, komparativno pa je obravnavana praksa delovanja sistema Peer review" v procesih izbire predlogov raziskovalnih projektov v Slovenki in v nekaterih drugih državah . V zaključku je podan predlog nekaterih dopolnitev delovanja sistema ekspertnega ocenjevanja . Ekspertno ocenjevanje, evalvacija, etos znanosti, Slovenija Abstract: Peer Review in Science The emphasis in the article is on the issues in research evaluation . Today research evaluation has become the one of the most important instrument in science policy. It attracts not only Lhe attention of scientific community, but also the interest of broader social public . There is not big conformity bep tween the scientists in regard to the existence of objective measures in prac- tical procedures of scientific evaluation . This thesis is also proved by empiri- cal evidence. The main interest in the article is given to the question of scienp tific ethos and the system of peer review. Furthermore in the article is comp arativly observed the practice of peer review in processes of selection of rep search proposals in Slovenia and in some another countries . In the conclup sion some suggestions are given to supplement peer review system in sci- ence . Peer review, evalvation, scientific ethos, Slovenia DR, VoLXII(1996)21 89 Franc Mali Uvod Opredelitev in nadzor kakovosti raziskovanja in razvoja sta postala, podobno kot njena tržna naravnanost in mednarodna konkurenčnost, os- rednji sintagmi v polju delovanja znanstvene politike v devetdesetih letih . Kje lahko iščemo razloge, da so znanstvene in univerzitetne ustanove, raziskovalne skupine in programi, pa tudi posamezni raziskovalci, vedno bolj izpostavljeni internemu in eksternemu ocenjevanju? emu se sistemu znanosti, ki ima vgrajeno celo vrsto mehanizmov za zagotavljanje kakovosti raziskovanja, odvzema pomen? Nadzor znanstvenega raziskovanja je dolgo časa temeljil na zaupanju v znanstveno kompetenco, v motivacijo raziskovalcev, da skrbijo za kakovost svojih izsledkov, nenazadnje tudi na zaupanju v znanstvene discipline, ki so skozi dolga desetletja razpredle mrežo kontrolnih mehanizmov . Kljub temu radikalne družbene spremembe v ustvarjanju znanstvenega vedenja v zadnjem desetletju vodijo k novim in novim zahtevam po dopolnjenem in spremenjenem nadzorovanju kakovosti znanosti. Razlog za te zahteve je v sodobnem pojavu eksponcionalne rasti znanosti, s tem povezanimi družbenimi stroški za raziskovanje in razvoj, v vzgoji, ki je kritična do posledic znanstveno-tehnološkega razvoja itd. Hkrati z omenjenimi spre- membami se povečuje kompetitivnost v znanosti sami . Profesionalna kari- era posameznega raziskovalca je vedno bolj odvisna od njegove zmožnosti, da prepriča svoje stanovske kolege (tudi zunajznanstveno javnost), da je dober, če ne že najboljši . Glede na opisane spremembe ni presenetljivo, da je v zadnjem času na- menjeno toliko pozornosti vprašanjem izvedenskega ocenjevanja v znanos- ti, t .i . "peer review", kar bi lahko prevedli tudi kot "kolegialna kontrola" (ocenjevanje kolegov, enakih po statusu) . Če je bilo izvedensko ocenjevanje raziskovanja in razvoja med ključnimi akterji znanstvene politike pogosto sprejeto kot ustrezni mehanizem za posredovanje in usklajevanje družbenih in znanstvenih interesov, kolikor je " . . .dajalo nasvete tistim, ki so v raziskovalno-razvojni politiki odločali, koga velja podpreti in koga ne" (D .Chubin, 1987, str. 270), je samo na prvi pogled presenetljivo, da je bil ta kontrolni mehanizem deležen daleč največ kritik in tudi dvoma o prak- tični uporabnosti ravno pri samih znanstvenikih, producentih znanstvene- ga vedenja . Praktično delovanje sistema ocenjevanja v znanosti je vedno bolj politično in tudi za širšo družbeno javnost atraktivno vprašanje . Naj se spomnimo le politično obarvanih razpravljanj o strategijah znanstvenega in tehnološkega razvoja, ki se vodijo v posameznih državah . Naivno bi bilo pričakovanje, da so sodbe izvedencev, ki delujejo znotraj sistema znanosti in se nanašajo na samo znanost, pri vrednotenju povsem nevtralne . Ameriški avtor Nicholas S . Vonortas je dejal : "Evalvacija v znanosti je poli- tična aktivnost in lahko zelo hitro sproži nasprotujoče si reakcije . Na primer, sooča se z odporom organiziranih interesnih skupin, ki delujejo v agencijah, industriji itd . Pobotanje teh skupin pritiska - to kažejo tudi dosedanje izkušnje - glede ustreznih postopkov evalvacije ni enostavno ." (N. S. Vonortas, 1995, str.24) 90 DR, Vol.XII(1996)21 Sistem ekspertnega ocenjevanja v znanosti Tudi ni mogoče zanemarlti dejstva, da pridobivajo vedno večjo težo zu- nanja merila za izbiranje znanstvenih projektov . (Odločitve se sprejemajo na drugi podlagi, ne na podlagi znanstvene kompetentnosti predlagatelja oziroma predloga). Zato je soglasje o tem, kako priti do nepristranskih sodb v evalvacijskih postopkih na področju znanosti, manjše . Pridobivanje finančnih sredstev za raziskovalno delo zahteva od posameznega znanstvenika vedno več napora . Donald Braben v knjigi To be a scientist (1994), v kateri je govor o načinih za doseganje profesionalne kariere znanstvenikov v sodobnih znanstvenih skupnostih, izraža prepričanje, da je danes za posameznega raziskovalca v bistvu največji problem, kako sploh zbrati finančna sredstva, ki naj bi mu omogočila raziskovalno delo . Za to je potrebna posebna vrsta spretnosti . Ko se kot usposobljen razisko- valec odločiš, s katerim raziskovalnim problemom se boš ukvarjal, je tvoja naslednja in v bistvu najpomembnejša naloga priprava predloga za agenci- jo, ki naj bi finančno podprla tvojo znanstveno pobudo . Vseh teh - recimo temu tako - veščin, ki zahtevajo od vsakega posameznika veliko napora, ne nazadnje pa tudi pretanjen občutek za gospodarno izrabo časa, ni mogoče v vsakem primeru povezati s pojmom odlične znanosti . Opisane težnje niso značilnost zgolj razvitih in močno produktivistično naravnanih znanstvenih sistemov, kjer naj bi veljala krilatica "publish or perish" . Skrajne oblike dobiva celo v znanstvenih sistemih, ki so v prehod- nem obdobju, očitno tudi pri nas. Tako bi vsaj lahko sklepali iz ekspert- nega poročila o institucionalni organiziranosti znanosti in tehnologije na Slovenskem, ki jo je pripravilo šestnajst tujih svetovalcev iz petih evrop- skih držav v okviru organizacije PHARE (PHARE, 1994) . Tuji izvedenci so menili, da vodi dokaj šablonska uporaba sistema projektnega financiranja raziskovanja in razvoja v Sloveniji - četudi naj bi ta sistem spodbujal nu- jno potrebno konkurenčnost med znanstveniki - k temu, da raziskovalci porabijo vedno več časa za pisanje predlogov raziskovalnih in razvojnih projektov. Strokovnjaki pri PHARE zaključujejo, da se celo vodje znanstvenih skupin v raziskovalnih ustanovah na Zahodu, kjer projektni sistem financiranja v razmerju z institucionalnim (pasovnim) sistemom fi- nanciranja zajema največ do 50% celotnega proračuna, pritožujejo nad tem, da porabijo vse preveč časa za pisanje predlogov raziskovalno-razvo- jnih projektov . Normativna struktura znanosti in sistem ekspertnega ocenjevanja Mehanizmi in postopki ekspertnega ocenjevanja raziskovanja in razvoja, t .i. peer review, se lahko glede na organizacijo posameznih znanstvenih sistemov od države do države močno razlikujejo.) Res pa je, da so ti siste- mi najbolj razviti in imajo tudi najdaljšo tradicijo v znanstveno in tehno- loško razvitih državah Zahodne Evrope, Amerike in Vzhodne Azije . V tem prostoru deluje največ skupin izvedencev, ki so se posebej specializirale za vprašanja uporabe različnih postopkov ocenjevanja. Ti segajo od bib liometrike, izvedenskega ocenjevanja, do študijev primera in mednarodnih primerjalnih analiz . Ravno tako se povečuje pomen ocenjevanja razisko- vanja in razvoja v okviru različnih mednarodnih organizacij . Raziskovalni programi, ki jih finančno podpirajo razne agencije in uradi Evropske skup- DR, Vol.XII(1996)21 9 1 Franc Mali nosti, so podvrženi temeljitim postopkom ocenjevanja (glej več o tem : L.Georghiou / F . Meyer-Kramer 1992 ; B.Bobe, 1993) . Nadzoru porabe sredstev, ki jih plačujejo davkoplačevalci, pripisujejo posebno pozornost v ZDA (N . S. Vonortas, 1995, str.20). Ena od posledic je, da so se tu ekspertni sistemi ocenjevanja v znanosti, ki skrbijo za nadzor kakovosti, razvili v prave mastodonte, tako da je celotni "pogon", ki ga sprožajo, včasih že kontraproduktiven . Do takšnega sklepa so prišli udeleženci na letnem srečanju Ameriškega združenja za napredek znanosti, pri čemer so ponudili podatke, da je v proces ekspertnega ocenjevanja pred- logov raziskovanja in razvoja, ki so bili izločeni, torej niso dobili zahtevanih finančnih sredstev, vključenih več kot 100 .000 ljudi. Ker takšno stanje vodi v povečano stopnjo entropije, je bil dan predlog, da bi bilo ponudbe razisko- valno-razvojnih projektov najbolj smiselno izločiti najprej na temelju pravilne formalne prijave, potem pa jih izbrati tako kot na loteriji . Na podoben položaj, le na področju ocenjevanja kakovosti visoko- šolskega dela, opozarja tudi Sonja Kump : "Paradoksalna posledica na- porov vladnih agencij, da bi spodbudile ocenjevanje kakovosti visoko- šolskega dela, se je marsikje pokazala kot upadanje te kakovosti, kajti vedno več energije je šlo za pisanje birokratskih poročil, visokošolska de- javnost pa se je prilagajala simplificiranim tendencam kvantifikacije rezul- tatov" (S. Kump, 1995, str . 10) . etudi so razlike v postopkih nadzora in ocenjevanja raziskovanja in razvoja med posameznimi državami, "peer review" kot obliko kakovostnega ocenjevanja v znanosti, ki se v evalvacijskih postopkih znanosti danes praviloma uporablja skupaj s kvantitativnimi bibliometričnimi analizami, nastopa hkrati kot norma in kot praktični postopek . Če govorimo o "peer review" kot nizu idealov, potem je treba to vprašanje povezati z vprašanjem (ne)navzočnosti mertonijanskih vrednostnih načel v delovanju znanstvene skupnosti. Norme univerzalnosti, komunalnosti, dezinteresnosti, orga- niziranega skepticizma naj bi v načelu predstavljale orientacijske točke de- lovanju vsake znanstvene skupnostL 2 To pa ne pomeni, da jih lahko razpoznamo v vsakokratnem praktičnem delovanju članov znanstvenih skupnosti . Zato je za sociologijo še toliko bolj pomembna ne preskriptivna, temveč deskriptivna raven delovanja znanstvene skupnosti. Ključno vprašanje je, kako se evalvacija v znanosti izvaja v praksi, ne pa samo v načelih . Za ponazoritev si poglejmo nekatere rezultate raziskovanj, ki so se delno dotaknile tudi vprašanja ocenjevanja v znanosti . V okviru longitudialno za- snovanih empiričnih preučevanj znanstvene skupnosti na Slovenskem, ki so bila opravljena za obdobje druge polovice osemdesetih in prve polovice devetdesetih let, nas je zanimala sodba znanstvenikov o navzočnosti ob- jektivnih oziroma subjektivnih meril v nagrajevanju znanstvenega dela . V vseh preučevanih obdobjih, t .j . v letih 1983, 1988, 1994, seje delež anke- tiranih raziskovalcev, ki so trdili, da prevladujejo objektivizirana merila, gibal med 14 in 20%, delež anketiranih raziskovalcev, ki so trdili, da pre- vladuje subjektivizem, pa med 21 in 27% . Vsi preostali anketirani razisko- valci se niso opredelili enoznačno za nobeno od obeh vrednostnih sodb, temveč so menili, da se pri svojem profesionalnem delovanju na področju raziskovanja in razvoja soočajo tako z objektivnimi kot tudi s pristranski- 92 DR, VOl.XII(1996)21 Sistem ekspertnega ocenjevanja v znanosti mi (subjektivnimi) ocenjevanji njihovega dela . (Glej : T.Hribar/F.Mali, 1983 ; F.Ma1i/S.Sorčan, 1988 ; F.Mali/S.Sorčan, 1994 .) Ko je bilo v okviru empirične primerjalne študije o socioloških pred- postavkah delovanja znanstvenih skupnosti izbrani skupini avstrijskih univerzitetnih znanstvenikov zastavljeno podobno, vendar konkretnejše vprašanje, nas je - vsaj glede na nekatere izjave, da bi se morali tu zgle- dovati po Avstrijcih (npr . : M.Kos, 1993) - presenetila njihova krltičnost. Na vprašanje, kako ocenjujejo tamkajšnji recenzijski sistem pri izbiranju raziskovalno-razvojnih projektov, jih je 24% menilo, da ta sistem zagotavl- ja objektivnost izbire predlogov raziskovalno-razvojnih projektov, 51% jih je menilo nasprotno, preostali pa so trdili, da se ne morejo enoznačno opredeliti niti za eno niti za drugo možnost . 3 Navajanje podatkov iz poprej omenjenih empiričnih študij niti ni toliko pomembno zaradi dokazovanja dejstva, da znanstveniki nasploh, lahko bi dejali, da ne glede na kontekst njihovega delovanja (umeščenost v različne znanstvene skupnosti), izražajo visoko stopnjo kritičnosti do možnosti praktičnega udejanjanja t .i. mertonijanskih vrednot v znanosti, kot je pomembno zato, da pokaže, kako ta kritičnost narašča s konkretnostjo predmeta presoje . Splošne sodbe o objektivnosti sistema ocenjevanja v znanosti so praviloma ugodnejše kot tiste sodbe, ki se nanašajo na delo- vanje posameznih recenzijskih sistemov (pri izbiri raziskovalno-razvojnih predlogov projektov, pri izbiri prispevkov za objavo v znanstveni reviji itd .) . Tehtnejše ocene o delovanju ekspertnega sistema ocenjevanja v znanosti bi seveda bile mogoče šele ob preučevanju stališč vseh ključnih akterjev, ki so vključeni v ta kompleksni proces : tako tistih, ki ocenjujejo, kot tudi tistih, ki so ocenjevani, in - ne nazadnje - tistih, ki v vlogi kreatorjev na- cionalnih znanstvenih politik največkrat odigrajo pri vsej stvari najpomem- bnejšo vlogo. Idealno bi seveda bilo, da bi tako specifičen in zapleten pred- met preučevanja, kot je delovanje sistema "kolegialnih ocen" v znanosti, temeljil na multidimenzionalnem metodološkem prlstopu, na - kot temu pravi M .C . LeFollet - "kartografiranju" ("landscape approach") (M .C . LeFollet,1994,str.214) . Bistvo je v aplikaciji večjega števila medsebojno povezanih družboslovnih metodologij in tehnik za konstrukcijo kazalcev, ki naj bi pokrili čim širši spekter amorfnih položajev v zvezi z problemom pravičnosti ocenjevanja, kajti strogo kvantitativni podatki ne morejo zaob- jeti vseh prlkrito delujočih učinkov pristranosti v postopkih ekspertnega ocenjevanja znanosti, tako kot tudi kvalitativno raziskovanje in anekdotični tip dokazovanja sama po sebi ne pomagata veliko . Zdi se, da so v okviru takšnih kompleksnih metodoloških preučevanj ekspertnega ocenjevanja v znanosti še najdlje prišli v ZDA in to v zadnjem desetletju in pol, ko se vzporedno s prizadevanji ameriške družbe, da se marginalnim družbenim skupinam (ženskam, etničnim manjšinam itd .) zagotovijo enaki pogoji pri ustvarjanju poklicne kariere, daje večjo težo problemu opredelitve same kategorije objektivnosti (nepristranosti) v siste- mu "peer reviewa" . Gre za vrsto odmevnih študij, ki opozarjajo na intelek- tualne in socialne pristranosti ter na napake slučajnosti v ekspertnem sis- temu ocenjevanja znanosti (glej npr . : P.Abrams, 1991 ; D. Chubin in E . Hackett, 1990 ; S. Cole and J .Cole, 1981 ; G.T.Mazuzan, 1992 ; NSF, 1988 ; GAO, 1994) . Če omenimo le dve izmed njih, študijo bratov Cole in študijo, DR, Vo1.XII(1996)21 93 Franc Mali ki je potekala v okviru General Accounting Office 4 , potem so rezultati prve zanimivi zlasti zato, ker je to ena prvih študij, v okviru katere se dokazuje, da vsebujejo tudi v ZDA kot vodilni znanstveni sili postopki pridobivanja subvencij za raziskovalno-razvojne projekte veliko stopnjo slučajnosti, rezultati druge pa zato, ker je njihova analiza problemov nepristranosti (objektivnosti) v postopkih peer reviewa v treh zveznih ameriških agenci- jah za raziskovanje in razvoj, t .j . v National Endowment for the Humanities (NEH), v National Science Foundation (NSF) in v National Institutes of Health (NIH), dosedaj najbolj sistematično analizirala problem posamezne pristranosti, naj si bo v postopkih izbire recenzentov5, v "splošni zastopanosti" recenzentov glede na spol, starost, regijo, poklicni položaj, pripadnost (znanstveni) ustanovil in v samih postopkih recenzi ranja7. Študija, opravljena pri General Accounting Office, in tudi druge študije o delovanju peer review je spodbudila National Science Foundation (NSF), da je v zadnjem času ustanovila vrsto študijskih skupin, ki preučujejo domet in omejitve sistema "peer review" . Njihov cilj je najti čim ustreznejše rešitve glede postopkov odločanja, tako da bi bili vsi, recenzentje, koordi- natorji programov in predlagatelji raziskovalno-razvojnih projektov, razbremenjeni nepotrebnega dela in birokratskih formalnosti, predvsem pa, da bi se zmanjšal vpliv subjektivnih dejavnikov v recenzentskih postopkih. Vpliv študije pri General Accounting Office je zaslediti tudi na delovanje recenzijskega sistema v okviru National Institut of Health (NIH) . Tu visoki uradniki agencije vedno bolj ugotavljajo, da funkcioniranje re- cenzijskega sistema, ki je bil zasnovan pred petdesetimi leti za to, da bi iz sistema NIH-jevega financiranja izločil 10% vseh prispelih predlogov raziskovalnih in razvojnih projektov, ne more biti enak danes prevla- dujočemu sistemu, ko je položaj ravno nasproten : podporo dobi kvečjemu 10% prispelih predlogov (R.Finn, 1995,str . 1) . Ekspertno ocenjevanje v znanosti in izbira predlogov raziskovalnih in razvojnih projektov Ekspertno ocenjevanje v znanosti oziroma "peer review" v vseh znanstvenih skupnostih se nanaša predvsem na mehanizme izbire predlo- gov raziskovalno-razvojnih projektov . Manj se nanaša na post hoc eval- vacije že končanih raziskovanj ter na procese splošnejšega ocenjevanja ukrepov znanstvene in tehnološke politike . "Peer review", ki se nanaša na postopke ocenjevanja raziskovalnih in razvojnih predlogov, se danes vedno bolj označuje kot "peer preview" . Vse do danes nastopa kot najpomembnejša oblika praktičnega funkcioniranja v procesih ocenjevanja v sistemu znanosti . Navzven to dokazujejo ducati odborov, komisij in ekspertnih teles, ki sojih agencije za podporo razisko- vanju in razvoju širom po svetu ustanovile, da bi posredovale odločitve o tem, kateri predlog je vreden finančne podpore in kakšen naj bo obseg teh finančnih sredstev . Na analitični ravni je mogoče ločevati štiri razsežnosti, ki so navzoče v vsakem sistemu ekspertnega ocenjevanja : t.j . obseg, cilj, merila in organi- zacija. V konkretnih postopkih ocenjevanja lahko pride do medsebojnega prepleta vseh štirih elementov ; hkrati vsak izmed njih odpira vse ključne 94 DR, Vol.XII(1996)21 Sistem ekspertnega ocenjevanja v znanosti probleme, ki se nanašajo na sistem evalvacije raziskovanja in razvoja nas- ploh . Zato bomo na tem mestu zgolj na kratko predstavili ta najbolj splošna načela. (O temeljnih razsežnostih evalvacijskih procesov v znanos- ti glej več v L .G .Georghiu, 1989 ; A .M .Weinberg, 1989 ; M . Gibbons/L.Georghiou, 1987) . 1) Ko govorimo o obsegu evalvacije, je bistvenega pomena, na kateri tip znanosti se evalvacija nanaša (temeljno, uporabno, razvojno), kaj je objekt njene evalvacije (raziskovalna skupina, raziskovalni program, raziskovalna ustanova ali posamezni raziskovalec), v kateri časovni okvir je vstavljeno izvajanje postopkov evalvacije (obstajajo tri časovne razsežnosti izvajanja evalvacij: ex ante, interim, ex-post) . 2) Obstaja hierarhija ciljev glede na posamezno vrsto evalvacije . Zato je tako pomembno, da so v vsakem postopku evalvacije cilji izrecno podani in da so izdelani v soglasju med tistimi, ki ocenjujejo, in tistimi, ki so ocenje- vani. To soglasje je še posebej pomembno glede na časovni okvir poteka evalvacije. Cilji v okviru ex-post evalvacij so drugače definirani kot cilji ex- post evalvacij. Ex-ante evalvacije se tesno navezujejo na oblikovanje in izvedbo znanstvenih politik v posameznih državah . Ex-post evalvacije pa se izvajajo iz različnih razlogov, tako notranjih kot zunanjih . Če so pretekli dosežki raziskovalne skupine ali katerekoli druge "enote" ocenjevanja pomemben vložek za kasnejše odločitve, so ex-post evalvacije lahko že ses- tavni del samih ex-ante evalvacij . 3) Merila evalvacije se praviloma določajo glede na cilj oziroma raven evalvacije. (,etudi naj bi strateški cilji v vsaki izmed posameznih držav določali uporabo meril za evalvacijo raziskovanja in razvoja, operacional- izacija teh načel še zdaleč ni tako preprosta kot se zdi na prvi pogled . Izredno pomembno je, da v obravnavi meril (ali katerekoli druge razsežnosti ocenjevanja) upoštevamo širši kontekst in medsebojno pre- pletenost posameznih dejavnikov . V zvezi z uporabo meril kakovosti v recenzijskih postopkih so zanimiva spoznanja nordijskIh psihologov znanosti (glej n .pr. S .Hemlin / H . Montgomery, 1993 ; S.Hemlin, 1993) . Zanimalo jih je, katera merila imajo recenzentje največkrat v svojih "glavah", ko se podajo v vrednotenje kakovosti del (predlogov) svojih poklicnih kolegov . Zanimalo jih je tudi, ali obstajajo razlike med znanstveniki-recenzenti glede na njihovo ukvarjanje s predmetnim področjem raziskovanja ("trde" versus "mehke" znanosti)$ . Po rezultatih opravljenih empiričnih raziskovanj naj bi znanstveniki iz ra- zličnih sektorjev akademskega sveta uporabljali približno enak konceptu- alni vzorec pri opisovanju tega, kar se označuje kot znanstvena kakovost . V zvezi z aspektom raziskovalnega dela jih zanima v prvi vrsti korektnost metodologije, manj pa znanstveni problem, slog pisanja, argumenta- tivnost. Med atributi raziskovalnega dela dajejo prednost noviteti pred strogostjo in produktivnostjo . Razlike glede na vrsto znanosti se kažejo predvsem v tem, da na področju mehkih znanosti recenzentje napišejo dvakrat več o prosilcu, pogosteje ocenjujejo le posamezni aspekt (največkrat slog pisanja in argumentacijo), s čimer se potrjuje znana Whitleyjeva teza (R .Whitley, 1978), da igrata v okviru "konfigurativnih" (mehkih) znanosti, v nasprotju z "restriktivnimi" (trdimi) znanostmi, deskriptivni element in intra-znanstvena relevanca večji pomen . DR, Vol.XII(1996)21 95 Franc Mali e bi skušali povzeti osnovne kritike, ki se danes usmerjajo na delovanje ekspertnega ocenjevanja predlogov raziskovalnih in razvojnih projektov v različnih agencijah, potem so to predvsem kritike težav s hitrostjo postop- kov recenziranja, njihovo korektnostjo in zagotavljanjem najboljših možnih odločitev . etudi kategorije "peer review" (na stopnji izbire predlogov raziskovalno-razvojnih projektov), ki naj bi po predstavah številnih avtor- jev, predvsem tistih, ki prisegajo na popolno avtonomijo znanosti, nastopala kot izhodiščna predpostavka znanstvene samoregulacije, danes že same po sebi ni mogoče imeti za neki povsem nedvoumni koncept, pa ravno zaradi nekaterih svojih "dogmatičnih" pravil, kot so (1) usmerjenost na prihodnje delo, ne pa toliko na prejšnje dosežke, (2) izključenost neposredne komunikacije, (3) anonimnost recenzentov, ne pa tudi - na- jvečkrat - tistih, katerih delo se recenzira, (4) omejena povratna informaci- ja, zbuja največ kritičnih dvomov med raziskovalci . Je potem sploh presenetljivo, da so pripadniki posameznih znanstvenih skupnosti povsod v svetu tako občutljivi ravno za postopek ex ante eval- vacije znanosti? Vzrok za občutljivost je - najprej - to, da ima ekspertno ocenjevanje oz . "peer review" nasploh odločilni vpliv na katerokoli stopnjo raziskovalne oziroma publicistične dejavnosti, od začetne ideje do končne objave rezul- tata in njegovega sprejetja v širši znanstveni skupnosti . P. M. Burnhill in M . E. Tubby-Hille (1994) sta skušala prepoznati takšna mesta v procesu produkcije znanstvenega vedenja . Izkazalo se je, da je vlo- ga kontrolnih mehanizmov praktično pomembna v vseh obdobjih, in sicer, 1) ko se agencije, ki financirajo znanost, posvetujejo s t .i . tretjo stranko glede recenziranja predlogov projektov ; 2) ko se eksperti agencij odločajo o prednostih raziskovanja ; 3) ko potekajo panelne evalvacije, pri katerih se soočajo stališča prizade- tih strank; 4) ko se opravljajo recenzijski postopki za objavo prispevkov v znanstvenih in strokovnih revijah ; 5) ko je neki prispevek že objavljen in se še naprej ocenjuje, pa čeprav prek takšnih oblik, kot je citiranje . Vzrok za včasih že kar preveč skeptično držo znanstvenikov do sistema ekspertnega ocenjevanja je tudi v tem, da ta v procesu izbire predlogov raziskovalnih in razvojnih projektov nosi s seboj določene posebnosti, ki ne potrjujejo v celoti teze, ki pravi, da se znanstveniki kot producentje in uporabniki znanstvenega vedenja tako ali tako znajdejo (ne istočasno) enkrat v eni, drugič5 v drugi vlogi . Zdi se, da pojav t .i . zaprtega kroga, ki naj bi označeval dogajanje v okviru recenzijskih postopkov uglednih znanstvenih revij, za ex ante eval- vacije ne velja vedno nujno . Kaj je značilno za pojav zaprtega kroga v re- cenzijskih postopkih? Soodvisnost v postopkih in obnašanjih recenzentov : medtem ko jaz recenziram delo znanstvenika X, znanstvenik X recenzira delo znanstvenika Y, znanstvenik Y recenzira delo znanstvenika Z, ta zad- nji pa recenzira moje delo . Teoretsko takšna oblika prikrite krožnosti vodi v - če uporabimo to prlmero - zaporniško dilemo . (Ta model pojasnjevanja spodbija sicer ravno tako razširjeno tezo, po kateri je recenzent tvojega prispevka, ker je praviloma tudi tvoj konkurent na tvojem raziskovalnem 96 DR, Vol.XII(1996)21 Sistem ekspertnega ocenjevanja v znanosti področju, kaj hitro pripravljen razvrednotiti dosežke stanovskih kolegov) . e bi namreč eden izmed znanstvenikov v verigi (umišljenih) recenzijskih postopkov skušal zase pridobiti večji ugled, bi lahko svojemu poklicnemu kolegu, čigar delo ocenjuje, dal slabšo oceno kot jo zasluži . Na ta način bi si - kolikor bi se vsi preostali držali pravil poštene igre - pridobil prednost. Vendar samo na kratek rok, trdijo avtorji, ki so analizirali omenjene pro- cese (glej npr.: H. Zuckerman/ R. Merton, 1971 ; P. Bourdieu, 1975) . Prej ali slej bi se takšna strategija izkazala kot škodljiva tudi zanj, saj gre ravno na področju znanosti v vseh oblikah medsebojnih interakcij bolj kot kjerkoli drugje za specifično izmenjavo "znanstvenih dobrin" . V tej izmen- javi se znanstvenik pojavlja v trojni vlogi : kot recenzent, kot producent in kot konzument. Vloga konzumenta, to pa v vrsti znanstvenih področjih največkrat zaseda znanstvenik sam, naj bi bila ključna za stabilnost re- cenzijskih postopkov. Znanstveniki so, ne glede na to, katero vlogo zaseda- jo, vzajemno odvisni od kakovosti znanstvenih izsledkov . Zato se tudi za- vzemajo za ohranjanje stabilnosti recenzijskega sistema .9 Nekaj ugotovitev o delovanju sistema "Peer Review" v Sloveniji Pri nas je bilo v zadnjem času veliko besed izrečenih predvsem o tem, ali v sedanjem institucionalnem sistemu izbire raziskovalnih in razvojnih pro- jektov, ki jih financirajo davkoplačevalci, ne obstaja prevelika pristojnost odločanja na Ministrstvu za znanost in tehnologijo oziroma - če smo še bolj natančni - pri samem resornem ministru. Dejstvo je, da veljavna zap konodaja postavlja v središče vsega odločanja ministra . Ta lahko tudi potem, ko ekspertni organi opravijo evalvacijo in izdelajo ustrezne predloge za financiranje raziskovalno-razvojnih projektov, ukrepa samovoljno, neodvisno od ekspertnih teles . etudi ni nujno, da takšne zakonske določbe, v okviru katerih so ključne pristojnosti v odločanju v bistvu pre- nesene iz stroke na državo, lahko še kaj bistveno bolj povečajo občutek ne- gotovosti raziskovalcev, kot ga ti v (preveč) šablonski uporabi projektnega načina financiranja raziskovanja in razvoja že imajo, pa vsekakor zelo malo prispevajo k večji decentralizaciji in bolj kooperativnim oblikam odločanja . V luči institucionalne organiziranosti raziskovanja in razvoja v znanstveno in tehnološko razvitih državah, v katerih je cela vrsta pristo- jnosti, tudl na področju izbire in financiranja raziskovalno-razvojnih pro- jektov, prenesena od države k raznim agencijam, skladom in izvajalskim organizacijam samim, so zato številne zahteve po drugačni ureditvi odnosov na tem področju upravičene. Predlog nove zakonodaje o organizaciji in financiranju na področju znanosti in tehnologije naj bi z uvajanjem agencij in vlogo nacionalnih raziskovalnih svetov v njej v večji meri tudi pri nas udejanil načelo samoregulacije (samoreferenčnosti) znanosti, ki ustreza modelu modernih funkcionalno diferenciranih družb . Pri tem najbrž ni naključje, da se spre- membe v zvezi z predlaganim nastankom novih agencij - na to pa bomo glede na različnost pogledov znanstvene in zunajznanstvene javnosti ter zapletenost parlamentarnih postopkov za sprejemanje novih zakonov nap jbrž še dolgo čakali - nanašajo ravno na postopke za izbiro projektov .(O DR, Vol.)UI(1996)21 97 Franc Mali predlogu teh sprememb je govor v 7 . poglavju (členi 44-59) osnutka za- kona.) Predvidena agencija (oziroma agencije, če jih bo več) naj bi pre- vzela najpomembnejšo vlogo pri organizaciji in vodenju postopkov izbire projektov in programov za posamezna raziskovalna področja . Javno bi razpisovala svoje programe, izbirala projekte in programe, izdelala pred- nostne liste za financiranje, sklepala pogodbe za odobrene projekte, poročala o stanju na svojem področju, predlagala metodologijo ocenjevan- ja, recenzente, usklajevala merila itd . Glede na predmet naše obravnave naj posebej izpostavimo predvidene spremembe, ki se nanašajo na ključne nosilce ekspertnega ocenjevanja oziroma recenzentskega sistema: nacionalne koordinatorje oziroma pro- gramske vodje . Tako naj bi se določitev položaja, vloge in pristojnosti na- cionalnih koordinatorjev raziskovalnih polj, kot govori eden izmed členov osnutka, zakonsko določila. Nacionalne korodinatorje naj bi izvolili raziskovalci posameznega znanstvenega polja, njihov časovni mandat naj bi bil omejen, in - kar se mi zdi posebej pomembno - med mandatom naj ne bi sodelovali pri odločanju o projektih in programih, pri katerih so odgovorni nosilci oziroma pri katerih sodelujejo . etudi od sprejetja načrtovanih zakonskih sprememb ne moremo pričakovati rešitev vseh problemov na področju delovanja ekspertnega sis- tema ocenjevanja, saj smo že na začetku opozorili, da zapisana načela pomenijo samo eno plat obnašanja v znanstveni skupnosti, bi bolj kon- senzualni tip odločanja najbrž znižal kritične tone samih raziskovalcev . Ti ob raznih priložnostih opozarjajo na slabosti evalvacijskih procesov pri nas. Na te je ne nazadnje opozorila tudi skupina zunanjih in neodvisnih opazovalcev. Že omenjeni PHARE jevi strokovnjaki so v svojem poročilu o znanstveni in tehnološki strategiji za Slovenijo zapisali, daje delovanje sis- tema "peer review" pri nas še vedno precej netransparentno . V praksi nje- govega delovanja se kažejo tudi slabosti ; n .pr. preveč nediferencirana uporaba meril za izbiro projektnih predlogov, negativni vpliv "old-boy net- works" itd . Ocenili so, da se nacionalni koordinatorji, ki imajo največkrat odločilno vlogo v procesih izbiranja razlskovalnih projektov, sami istočasno nahajajo v vlogi konkurentov za denarna sredstva, ki so na voljo. Poleg tega so pod določenim psihološkim pritiskom vseh tistih prosilcev, s katerimi gojijo prijateljske vezi (PHARE, 1994) . Bilo bi precej nekorektno, če bi spregledali, da od takrat, ko so bile izrečene te ocene tujih strokovnjakov, ni bilo nikakršnih premikov. Tu ne mislimo toliko na morebitne spremembe v samem procesu izbire posameznih recenzentov in določitve njihovega razmerja do avtorjev predl- ogov projektov, ki je sicer - o tem na kratko v nadaljevanju - v središču zanimanja znanstvenikov, ki se pojavljajo v vlogi predlagateljev znanstvenih projektov tudi povsod drugod po svetu . Bolj mislimo na poskus ponovne uveljavitve panelnih ocenjevanj . Ta so v preteklem letu potekala v pristojnosti področnih znanstvenih svetov . Ne glede na različne, predvsem zelo nasprotujoče si odzive znanstvene javnosti oziroma razisko- valcev, ki so sodelovali na panelih, smo tudi pri nas skušali slediti dvostopenjskemu modelu recenzijskih postopkov, ki je ponekod v svetu že močno etabliran . Znano je, da zlasti v ZDA razne agencije, ki finančno podpirajo raziskovanje in razvoj, uporabljajo kombinirane mehanizme za 98 DR, Vol.XII(1996)21 Sistem ekspertnega ocenjevanja v znanosti izvedbo "peer review", od individualnih recenzij do evalvacijskih panelov . Upoštevanje tujih izkušenj nam je lahko v pomoč tudi pri nekaterih drugih vprašanjih . Celo ob tem, da v strokovni literaturi ni popolnega so- glasja o tem, kakšen naj bi bil idealen model ekspertnega ocenjevanja v znanosti. V sistemu evalvacije se v zadnjem času nesporno povečuje vloga programskih vodij10 . Prevzemajo pomembne funkcije znotraj širšega kon- teksta vodenja (nacionalne) raziskovalne in razvojne politike . Skratka, pristojnosti agencij in njihovih programskih direktorjev, tudi v luči spoz- nanja, da bi uporaba zgolj ad hoc recenzentov favorizirala etablirane nosilce raziskovalno-razvojnih projektov in nosilce disciplinarnih (ne inter- disciplinarnih) projektov, se povečujejo . Programski vodje lahko s prevze- manjem vloge vodij in organizatorjev evalvacijskih panelov (širša sestava, večje število) pomembno prispevajo k zmanjšanju večjih napak v ocenah, ki bi nastale zgolj na podlagi mnenja posameznih recenzentov . Pri vzpostavitvi modela recenzijskih postopkov v ožjem pomenu besede bi bilo seveda treba upoštevati še vrsto drugih izkušenj drugod po svetu, zlasti tam, kjer so prednosti in slabosti posameznih evalvacijskih ukrepov preverjali na daljši rok . V, zadnjem času je v strokovni javnosti, ki se bolj sistematično ukvarja s temi vprašanji, največ pripomb deležna tista po mankljivost v sistemu "peer review", ki bi jo lahko označili kot odsotnost povratne informacije med tistimi, ki ocenjujejo, in tistimi, ki so ocenjevani . Predlog razrešitve tega problema, ki naj bi zmanjšal konfliktnost kasnejših položajev, gre v smeri poudarjanja enakopravnejšega dialoga med vsemi udeleženci evalvacijskega procesa, tudi in predvsem tistimi, ki so ocenje- vani v njenih prvih fazah . V ta okvir sodijo možnosti predlagatelja razisko- valno-razvojnega projekta, da vpliva na izbiro svojih recenzentov . Tu se pogosto znajdemo pred tole dilemo: izbira recenzenta, ki je na istem raziskovalnem področju kot predlagatelj, lahko zaradi neposredne konkurence nižje ovrednoti delo predlagatelja, nasprotno pa izbira, ki naj bi izključila moment neposredne konkurence, lahko vodi k izbiri recenzen- ta, ki ni ekspert za dano področje .1" V okvir enakopravnega dialoga sodi tudi upoštevanje načela obveznega vračanja anonimnih recenzij predla- gateljem raziskovalno-razvojnih projektov . Za Slovenijo kot državo z majhnim številom raziskovalcev, kjer se včasih zgodi, da se s posameznim raziskovalnim področjem ukvarja največ eden ali dva usposobljena raziskovalca, je pomembno, da se za celotni sistem evalvacije najde ustrezno ravnotežje med domačimi in tujimi recenzenti . Ker je bilo o tem že veliko izrečenega, na tem mestu tega najbrž ni potreb- no na dolgo in široko obnavljati . Si je pa kljub temu dobro zapomniti, da je, če se tuji eksperti pojavljajo v vlogi recenzentov na bolj agregiranih ravneh ocenjevanja (npr. disciplinarno področje, znanstvena ustanova), nujno, da so seznanjeni s celotnim (nacionalnim) kontekstom, v katerem se ta raziskovalna in razvojna področja (discipline) razvijajo . V jeziku sodobne sistemske teorije znanosti lahko postopek "peer review" v procesih evalvacije znanosti vstavimo v kontekst problemov redukcije kompleksnosti. In če govorimo o hevristikah, ki naj omogočajo redukcijo kompleksnosti, je v okviru postopkov ocenjevanja izredno pomembno, da upoštevamo heterogenost njegovih kontekstov. Vzemimo za primer dileme v zvezi z upoštevanjem preteklih dosežkov v ocenjevanju predlogov projek- DR, Vol.XII(1996)21 99 Frnc Mali tov. Gre za vprašanje redukcije kompleksnosti glede na obstoječi reputaci- jski sistem v znanosti (N.Luhmann,1990). To, prevedeno v "vsakdanji" jezik, pomeni, da se razhajajo mnenja, ki zagovarjajo pomen preteklih dosežkov raziskovalcev in mnenja, ki vse stavijo na anonimnost predla- gateljev raziskovalno-razvojnih projektov (glej več o tem : D.Grigson / T . Stokes, 1993). Zoper drugi način izvedbe recenzentskega postopka (anon- imnost predlagateljev) je skrajno odklonilno nastopil že pred časom Louis Alvrez, ameriški nobelovec za fiziko iz leta 1968, ki je je v eni svojih knjig The adventures of a physicist ocenil, daje sistem "peer review", kjer se re- cenzira predlog, ne pa predlagatelj, največja katastrofa, ki je doletela znanstveno skupnost v tem stoletju . Sklep Naj za konec našega razpravljanja o nekaterih problemih ekspertnega ocenjevanja v znanosti poudarimo, da za nas še vedno ostajajo aktualna tale temeljna načela, katerih uresničevanje naj bi pripomoglo k bolj uskla- jenemu delovanju vseh ključnih akterjev na področju strategije vodenja znanstvene in tehnološke politike tudi pri nas . Če ta načela, ki smo jih skušali v besedilu predstaviti na obširnejši in opisni način, še enkrat na kratko povzamemo, jih pogojno tudi označimo, potem gre za načela korigi- bilnosti, konsenzualnosti, povratnosti in fleksibilnosti . V primeru prvega načela gre za to, da se mora obstoječi postopek ekspertnega ocenjevanja (peer review) vseskozi zavedati, da vsebuje možnost napake, zato naj bi bil vedno pripravljen na morebitno korekcijo . Pri drugem načelu gre za to, da se mora sistem ekspertnega ocenjevanja odpirati tako navzven, napram širšemu družbenemu okolju, kot navznoter, proti sami skupnosti razisko- valcev . To je danes še toliko bolj pomembnejše, ker se danes v pogojih pro- liferacije in transdisciplinarne narave znanstvenega vedenja, ki mu je imanentno premikanje k vedno novim kontekstom aplikacije znanosti, povečuje vloga implicitnih, nekodificiranih sestavin (znanstvenega) veden- ja, kar ima neposredne reperkusije na spremembe v merilih evalvacije v znanostl. Načelo povratnosti uveljavlja povratne komunikacijske vezi med tistimi, ki so ocenjevani in tistimi, ki ocenjujejo . Stopnja konfliktnosti se tako zmanjšuje. In končno, načelo fleksibilnosti narekuje iskanje čim usp treznejših intelektualnih meril za ocenjevanje kakovosti znanosti . Literatura : Abrams, P. 1991 . The predictive ability of peer review of grant proposals : The case of ecology and the NSF . Social Studies of Science, 2 1 ., str. 211-224 . Aubert, J. 1989. Evaluation of scientific and technological programmes and policies : a selection of current experiences in OECD countries . STI Review, 6 (December), str. 147-177 . Astin, H.S. 1991 . Citation Classics - Women's and men's perceptions of their contributions to science . V: The outer circle - Women in the scientific community (Ed. by H.Zuckerman, J.R.Cole and J.T.Bruer) . New York, Norton Publisher, str.57-70 . Bobe, B. 1993. Trends in the use of R/D output indicators in EC pro- gramme evaluation . Scientometrics, 21, str.263-282 . Bourdieu, P. 1975. The specificity of the scientific field and the social 100 DR, Vol.XII(1996)21 Sistem ekspertnega ocenjevanja v znanosti conditions for the progress of reason . Social Science Information, 14, str . 19-47 . Braben, D . 1994 . To Be a Scientist. Oxford, Oxford University Press . Burnhill, P.M . / Tubby-Hille, M.E. 1994. On measuring the relation bep tween social science research activity and research publication . Research evaluation, 4 , str.130-152 . Chase, J .M. 1970 . Normative criteria for scientific publication . The American Sociologist, 5, str . 262-65 . Chubin, D .E . / Hackett, E. 1990 . Peerless Science . New York, Suny Press . Chubin, D.E. 1987. Research Evaluation and the Generation of Big Science Policy. Knowledge: Creation, Diffusion, Utilization, 9, str.254-277. Cole, S. / Cole, J . 1981 . Chance and Consensus in Peer Review . Science, 214, str.881-886 . Campanario, J.M. 1995. Commentary on Influential Books and Journal Articels Initialy Rejected Because of Negative Referees' Evaluations . Science Communication, 16, str.304-325 . Finn, R. 1995 . NIH Study Section Members Acknowledge Major Flaws in The Reviewing System . The Scientists - The Newspaper for the Life Sciences Professional, August 2 1, str. 1-7 . LaFollette, M .C . 1994. Measuring Equity . Science Communication, 16, str.211-220 . GAO/PEMD-1994-1 : Peer Review: Reforms Needed to Ensure Fairness in Federal Agency Grant Selection . Washington, DC : US Government Printing Office . Georghiou, L. / Meyer-Kramer, F. 1992. Evaluation of socio-economic ef- fects of European Community R/D Programmes in the SPERA network . Research Evaluation, 2, str .5-16 . Gibbons, M. / Goerghiou, L. 1987. Evaluation of Research - A Selection of Current Practicles. Paris, OECD . Grigson, D. / Stokes, T . 1993 . Use of peer review to evaluate research outcomes . Research Evaluation, 3, str . 173-77 . Hemlin, S. / Montgomery, H. 1993. Peer judgments of scientific quality . Science Studies, 6, str. 19-28 . Hemlin, S. 1993. Scientific Quality in the eyes of the scientist - A ques- tionnaire study . Scientometrics, 27, str. 3-18 . Horrobin, D .F. 1990 . The philosophical basis of peer review and the sup- pression of innovation. Journal of the American Medical Association, 263, str.1438-1441 . Hribar, T. / Mali, F. 1983 . Razmerje med temeljnim, uporabnim in razvop jnim raziskovanjem (raziskovalno poročilo) . Ljubljana, RI FSPN . Kos, M. 1993 . Kdo naj ocenjuje raziskovalne projekte - Tisti, ki tvega in nosi odgovornost, naj tudi odloča . Delo p Znanje za razvoj, 20 .oktobra, str . 13 . Kuhn, T.S. 1974. Struktura mučnih revolucija. Beograd, Nolit . Kump, S. 1995. Zagotavljanje kakovosti slovenskega visokega šolstva . Raziskovalec, 25, str. 9-15 . Luhmann, N . 1990. Wissenschaft der Gesellschaft. Frankfurt/M, Suhrkamp Verlag . DR, Vol.XII(1996)21 1 0 1 Franc Mali Mali, F. 1995. Komparativna analiza socioloških modelov znanstvene skupnosti (raziskovalno poročilo) . Ljubljana, IDV FDV . Mali, F. / Sorčan, S. 1994 . Položaj in vloga znanstvene skupnosti na Slovenskem (raziskovalno poročilo) . Ljubljana, IDV FDV . Mali, F. / Sorčan, S. 1988 . Razmerje med temeljnim, uporabnim in razvo- jnim raziskovanjem (raziskovalno poročilo) . Ljubljana, RI FSPN. Mazuzan, G .T. 1992. Good science gets funded - The historical evolution of grant making at the National Science Foundation. Knowledge: Creation, D ion, Utilization, 14, str.63-90 . McCutchen, C.W. 1991 . Peer review: Treacherous servant, disastrous master . Technology Review, 94, str .28-40 . Merton, R. 1973 . The Sociology of Science. Chicago, The University of Chicago Press . Meulen van B .J.R. 1995: Understanding evaluation processes in re- search systems in transition . Science studies, 8, str. 24-36 . Mulkay, M . 1979 . Science and the Sociology of Knowledge. London, Georg Allen & Unwin . National Science Foundation 1988 . Program Evaluation Staff . Washington . Reif-Lehrer, L. 1996. Following Instructions Is Critical To Success of A Grant Application 1996 . The Scientist - The Newspaper for the Life Sciences Professional, March 4, str .15-16 . PHARE 1994 . A Science and Technology Strategyfor Slovenia. Ljubljana, MZT. Travis, G.D .L. / Collins, H.M. 1991 . New light on old boys - cognitive and institutional particularism in the peer review system . Science, Technology, Human Values, 16, str .322-41 . Vonortas, N .S. 1995. New directions for US science and technology - the view from the R/D assessment front. Science and Public Policy, 22, str . 19- 28 . Whitley, R. 1978. Types of science, organizational strategies and pat terns of work in research laboratories in different scientific fields. Social Science Information, 17, str. 427-447 . Zuckerman, H. / Merton, R.K. 1971 . Patterns of Evaluation in Science : Institutionalization, Structure and Function of the Referee System . Minerva, 9, str.66-100 . Opombe 1 V študijah o evalvaciji raziskovanja in razvoja so izvedenci Organizacije za ekonomsko sodelovanje in razvoj (OECD) ugotovili, da so celo med državami, ki so njene članice, velike razlike v postopkih ocenjevanja znanosti in tehnologije . (Glej n .pr . : J .E.Aubert / Andrikopoulos - Iliopoulos, 1989 ; M. Gibbons / L. Goerghiou, 1987) . 2 Po ameriškem sociologu Robertu Mertonu delovanje znanosti kot družbene institucije opredeljuje etos oziroma učinkovito usklajen skupek vrednot in norm, ki naj bi jim bili zavezani znanstveniki . Univerzalnost v znanosti pomeni, da ne obstajajo priviligirani viri znanstvenega vedenja, to pa z drugimi besedami pomeni, da naj bi se rezultate posameznega raziskovalca ocenjevalo glede na interna znanstvena merila, ne glede na 102 DR, Vol.XII(1996)21 Sistem ekspertnega ocenjevanja v znanosti njegovo nacionalno, rasno, ideološko, religiozno, spolno, starostno ali družbeno statusno opredeljenost. Komunalnost v znanosti pomeni, da je znanost javno vedenje, ki je vsem dostopno . Nepristranost v znanosti pomeni, da naj bi znanstveniki ne bi imeli osebnih interesov, ko gre za za- vračanje ali sprejemanje posameznih idej . Zavezanost znanstvenikov sis- tematičnemu skepticizmu naj bi zahtevala od njih kontinuirano nad- zorovanje vedenja zaradi možnih napačnih dejstev ali nekonsistentnih argumentov.(Glej več o tem: R.Merton,1973,str.267-281.) 3 Junija leta 1994 sem med raziskovalci celovške univerze (vzorec šest- desetih vprašanih) opravil intervjuje o institucionalnih mehanizmih delo- vanja njihovega znanstvenega sistema, o vlogi znanstvene politike pri vz- postavljanju teh mehanizmov in povezanosti znanosti z družbeno prakso . V ta okvir sodi tudi omenjeno vprašanje o obstoječem sistemu evalvacije v znanosti. (Glej več o tem : F.Mali, 1995 .) 4 General Accounting Office je osrednja ameriška ustanova, ki nadzoruje dejavnost drugih vladnih ustanov . 5 Za avtorje omenjene študije ni sporna "intelektualna seznanjenost" re- cenzentov z ožjo in širšo tematiko, ki jo v svojih predlogih raziskovalno- razvojnih projektov predstavijo predlagatelji, sporna pa je "prevelika oseb- na in poklicna povezanost" med recenzenti in predlagatelji teh projektov . Študija General Accounting Office je ugotovila, da ima večina recenzentov (vseh treh) agencij neposredno ali posredno vedenje o predlagatelju raziskovalno-razvojnega projekta . Najbolj je to očitno pri NSF ju . 6 Študija, opravljena pri General Accounting Office, je ugotovila, da so v NSF-ju ženske nesorazmerno preveč zastopane, v NEH premalo . Opazovano po posameznih agencijah so nesorazmerja tudi glede na re- gionalno zastopanost in glede na stopnjo, ki jo na lestvici ugleda zavzema znanstvena ustanova (znanstveniki zunaj kroga "top liste 40" vodilnih inštitutov v ZDA so manj pogosto udeleženci evalvacijskih panelov) . 7 Recenzentje se preveč zanašajo na nenapisana merila, ko ocenjujejo predloge raziskovalno-razvojnih projektov (primer : recenzentje praviloma izražajo "pričakovanje", da bo predlog vključeval nekatere preliminarne rezultate). Upoštevanje takšnih nenapisanih (neformalnih) pravil v ocenje- vanju predlogov teh projektov gre na škodo predlagateljev, ki niso nikoli nastopali v vlogi recenzentov (kot recenzent se namreč lahko naučiš tudi teh nenapisanih pravil, ki obvladujejo "duh" agencij) . 8 O razlikovanju med "mehkimi" in "trdimi" znanostmi glede na predmet raziskovanja so med drugim razpravljali M . Mulkay (1979), J. M. Chase (1970) in seveda T. Kuhn (1964) . 9 V krogu znanstvenikov obstajajo zelo kontroverzna stališča do navzočnosti objektivnega recenzijskega sistema v znanstvenih revijah . Če pogledamo na število revij v svetu, ki so si bolj ali manj po pravici nadele naziv znanstvene, teh pa je prek 250000, je to razumljivo. Nasploh velja prepričanje, da je recenzijski sistem dobro razvit predvsem v mednarodnih znanstvenih revijah in v revijah, ki jih izdajajo na Zahodu. Vseeno naj omenimo nekatere novejše študije, ki dokazujejo, da recenzijski postopki v uglednih znanstvenih revijah še zdaleč niso tako objektivni, kot se zdi na prvi pogled . Horrobin (1990) je predstavil vrsto primerov, ko so prispevke, ki so se kasneje izkazali kot izredno pomembni in inovativni, uredniki za- DR, Vol.XII(1996)21 103 Franc Mali vrnili, ker so dobili negativne recenzije. Podobne primere sta v svojih študijah navajala tudi Astin (1991) in McCutchon (1991) . Se posebej zanp imiv prispevek o tej temi je članek J. M . Campanaria (1993) . Opisuje primere osmih izredno vplivnih in pogosto citiranih prispevkov (nekateri izmed njihovih avtorjev so kasneje dobili celo Nobelovo nagrado), ki jih je prvotno zavrnila za objavo ena znanstvena revija ali celo več . 10 Nekatere agencije v Veliki Britaniji (npr . : Science and Engineering Research Council - SERC) in na Nizozemskem (Netherlands Research Councils) uporabljajo podobne mehanizme kot publicistični organi : dopuščajo si diskrecijsko pravico glede izbire recenzentov iz točno določenega raziskovalnega področja . Druge agencije zopet izhajajo iz jasno opredeljenih ciljev, ki naj bi jim v svojih ocenah predlogov raziskovalno- razvojnih projektov sledili tudi recenzentje . 11 Po študiji G .D .L.Travisa in H .M.Collinsa (1991) naj bi bila ravno sorodnost raziskovalnih (disciplinarnih) področij, na katerih deluje tisti, ki ocenjuje in tisti, ki je ocenjevan, največji kamen spotike v postopkih ekspertnega ocenjevanja . 1 04 DR, Vol.XII(1996)21