ZAKLJUČNO POROČILO O REZULTATIH OPRAVLJENEGA RAZISKOVALNEGA DELA NA PROJEKTU V OKVIRU CILJNEGA RAZISKOVALNEGA PROGRAMA (CRP) »KONKURENČNOST SLOVENIJE 2006 - 2013« L Predstavitev osnovnih podatkov raziskovalnega projekta 1. Naziv težišča v okviru CRP: _ KONKURENČNOST SLOVENIJE 2006-2013 2. Šifra projekta: V5-0451 3. Naslov proj ekta: 3. Naslov projekta 3.1. Naslov projekta v slovenskem jeziku:__ Ekspertne ocene in bibliometrijske metode: Dve strani istega kovanca 3.2. Naslov projekta v angleškem jeziku:_ Peer-reviews and bibliometrical methods: Two sides of the same coin? 4. Ključne besede projekta 4.1. Ključne besede projekta v slovenskem jeziku:_ Ekspertne ocene, bibliometrijski kazalci, raziskovalni programi 4.2. Ključne besede projekta v angleškem jeziku:_ peer reviews, biblionetrical indicators, research programmes Obrazec ARRS-RPROJ-CRP-KS-ZP-2010 Stran 1 od 8 5. Naziv nosilne raziskovalne organizacije: Zavod biomedicinska razvojno inovacijska skupin 5.1. Seznam sodelujočih raziskovalnih organizacij (RO): 6. Sofinancer/sofinanceiji: 7. Šifra ter ime in priimek vodje projekta: 6594 izr. prof. dr. Primož Južnič Datum: 15.09.2010 Podpis vodje projekta: r— Obrazec ARRS-RPROJ-CRP-KS-ZP-2010 Stran 2 od 8 II. Vsebinska struktura zaključnega poročila o rezultatih raziskovalnega projekta v okviru CRP 1. Cilji projekta: 1.1. Ali so bili cilji projekta doseženi? ^ a) v celoti □ b) delno D c) ne Če b) in c), je potrebna utemeljitev._ 1.2. Ali so se cilji projekta med raziskavo spremenili? □ a) da K b) ne Če so se, je potrebna utemeljitev:_ Obrazec ARRS-RPROJ-CRP-KS-ZP-2010 Stran 3 od 8 2. Vsebinsko poročilo o realizaciji predloženega programa dela1: Klasična definicija R. Mertona o tem, da je kvaliteta znanstvenega dela izražena v končnem cilju znanosti, razširitvi oz. poglobitvi znanstvenega vedenja, seveda ni sporna. Težave nastopijo, ko pristopimo k operacionalizaciji tega teoretičnega izhodišča. Torej lahko ločimo dva glavna pristopa k ocenjevanju raziskovalnega dela, kvantitativnega (od katerega posebej obravnavamo rezultate analize citiranja) in kvalitativnega, ki so običajno sodbe strokovnjakov iz istega raziskovalnega področja, ube merili se vseskozi prepletata, a vsak ima svoje posebnosti. Zato je zanimiv njun medsebojni odnos, med samo izvedensko oz. ekspertno (peer review) oceno in kvantitativnimi dejavniki vrednotenja znanstvene kvalitete, to je predvsem rezultatov analize citiranja. Analiza citiranja je postala že pred desetletji najbolj uporabljana in uporabna bibliometrijska metoda. Tu gre predvsem za uporabo podatkov iz različnih bibliografskih podatkovnih baz. Med njimi je najbolj uveljavljena in znana Thomsonova Web of Science oz. indeksi citrianja. danes pa to ni edini vir podatkov, pomembni sta še Elseiverjev Scopus in Google Scholar. Za razliko od kvantitativnih dejavnikov vrednotenja znanstvene kvalitete se kvalitativne ocene veliko manj spreminjajo. Poleg ocen ekspertov/izvedencev, ki so seveda osnovne, se tu še različne nagrade, priznanja in podobno. Pomembno vprašanje je kakšne so stične točke obeh pristopov in meril. Izhodišče je namreč v enostavnem dejstvu, če je eden od __osnovnih- motivo^-citiranj a nekega—dela. -nj egova-Jcvaliteta,—ekspertne—ocene -pa—tudi- ocenjujejo enake ali vsaj podobne lastnosti raziskovalnega dela, potem bi morale obstajati stične točke med obema ocenama. Pomembno vprašanje je ali analiza citiranja kakorkoli nasprotuje recenzijam, kot oceni kvalitete raziskovalnega dela? Že danes klasična analiza bratov Cole, ki je osnova vseh današnjih bibliometrijskih raziskav, je pokazala pred več kot 35 leti, da gre med ocenami ekspertov in kvantitativnimi rezultati merjenja kvalitete raziskovalnega dela za precejšno povezavo. S to analizo sta tudi zavrnila t.i. Ortegovo hipotezo in postavila osnovo sodobne bibliometrije. Za analizo citiranja in druge bibliometrijske metode je bilo po njuni raziskavi še večkrat ugotovljeno, da visoko korelira z recenzijami in ocenami drugih znanstvenikov. Vprašanje, kije danes tudi že razrešeno je, da jih ni mogoče uporabljati v celoti kot alternativo tem kvalitativnim metodam ocenjevanja kvalitete raziskovalnih rezultatov, le kot korekturo in pomoč. Ta tip raziskovanja, torej iskanja povezav med kvantitativnimi in kvalitativnimi ocenami kvalitete raziskovalnega dela, ima že dolgo tradicijo, vendar so si rezultati nasprotovali. Zato je tudi naše raziskovalno delo bilo usmerjeno v raziskovanje tega razmerja. Izhodiščna hipoteza je bila, da njun odnos ni statičen, temveč je odvisen od organizacije in delovanja obeh sistemov vrednotenja kvalitet raziskovalnega dela. Naša metodološka novost je bila v načinu primerjave. Odločili smo za primerjavo rezultatov treh razpisov projektov ARRS. 2003, 2005 in 2008. Uporabili smo enak nabor bibliometrijskih indikatorjev za vsa tri leta, ter jih primeijali z rezultati razpisa, ki so bili zasnovani na recenzentskih ocenah. V vsakem od izbranih razpisov je bil namreč v veljavi 1 Potrebno je napisati vsebinsko raziskovalno poročilo, kjer mora biti na kratko predstavljen program dela z raziskovalno hipotezo in metodološko-teoretičen opis raziskovanja pri njenem preverjanju ali zavračanju vključno s pridobljenimi rezultati projekta. Obrazec ARRS-RPROJ-CRP-KS-ZP-2010 Stran 4 od 8 drugačen sistem izbire in odločanja o financiranju, glede na recenzentske ocene. Ta srečna okoliščina nam je omogočila primeijavo enakih bibliografskih kazalcev z različnimi načini recenzentskih ocen in izbora projektov v financiranje. Rezultati so pokazali, da je mogoče z bibliometrijskimi kazalci preverjati tudi recenzentske ocene in seveda odločitve o financiranju posameznih projektov. Največjo slabost recenzentskih ocen pomeni ravno t.i. konflikt interesov in tega smo lahko na osnovi rezultatov primerjalne analize locirali. Ob naši osnovni hipotezi in raziskavi, smo se lahko lotili še nekaj drugih tem, povezanih z bibliometrijskimi indikatorji in z objavami raziskovalnih rezultatov. Ukvarjali smo se tudi z možnostjo uporabe drugih bibliografskih podatkovnih zbirk, predvsem Scopusa. Iz rezultatov projekta so se oblikovale štiri teme: 1. Razmeija med recenzentskimi ocenami. Primerjava! rezultatov za razpise ARRS za raziskovalne projekte 2007, 2009 in 2010 in primerjava, skladnosti različnih recenzentskih ocen za iste prijavljene projekte oz. razhajanja med njimi. Preverjamo hipotezo, da obstajajo neskladja med recenzentskimi ocenami istih projektov, kar kaže na subjektivnost recenzentskih ocen. Ob tem bi izdelali tudi možne predloge bolj sistematičnega nabora oz. izbire recenzentov. 2. H-Indeks in Aji, torej bibliometrijski indikatorji iz Sicrisa, kakšne so razlike med njimi. Kaj bi se zgodilo ce bi uporabili namesto indikatorjev H-indeka? Preverjamo hipotezo, da bi H-indeks na določenih znanstvenih vedah, nadomestil druge bibliomnetrijske indikatorje. 3. Razpisi za projekte upoštevajo število prostih projektov po posameznih zbabstvenih področjih (t.i. "Dota"), Tak sistem obstaja zaradi želje po enakomernih razdelitvah projektov med področji. Analiza vsebuje različne simulacije, ki bi upoštevala samo bibliomnetrijske indikatorje in/ali recenzentske ocene. Preverjamo hipotezo, da bi se razmerja med vedami spremenila, če bi sistem odločanja o sprejetih projektih slonel le na teh podatkih oz ocenah. 4. Primerjava podatkov med Scopus, WoS in Sicris. Primerjamo medicino in družboslovje. Tu gre za del priprav za uporabo Scopusa in njegovih podatkov v ekspertnem sistemu ARRS. Preverjamo hipotezo, da se podatki med WoS in Scopus razlikujejo na teh dveh vedah in da Scopus zajema bistveno večjo število relevantnih revij in tudi odmevnost (citiranje) kar bi opravičevalo uporabo obeh baz. Obrazec ARRS-RPROJ-CRP-KS-ZP-2010 Stran 5 od 8 3. Izkoriščanje dobljenih rezultatov: 3.1. Kakšen je potencialni pomen2 rezultatov vašega raziskovalnega projekta za: [>\1 a) odkritje novih znanstvenih spoznanj; 1X1 b) izpopolnitev oziroma razširitev metodološkega instrumentarija; I I c) razvoj svojega temeljnega raziskovanja; □ d) razvoj drugih temeljnih znanosti;--- I I e) razvoj novih tehnologij in drugih razvojnih raziskav. 3.2. Označite s katerimi družbeno-ekonomskimi cilji (po metodologiji OECD-ja) sovpadajo rezultati vašega raziskovalnega projekta: I | a) razvoj kmetijstva, gozdarstva in ribolova - Vključuje RR, ki je v osnovi namenjen razvoju in podpori teh dejavnosti; I I b) pospeševanje industrijskega razvoja - vključuje RR, ki v osnovi podpira razvoj industrije, vključno s proizvodnjo, gradbeništvom, prodajo na debelo in drobno, restavracijami in hoteli, bančništvom, zavarovalnicami in drugimi gospodarskimi dejavnostmi; I I c) proizvodnja in racionalna izraba energije - vključuje RR-dej avnosti, ki so v funkciji dobave, proizvodnje, hranjenja in distribucije vseh oblik energije. V to skupino je treba vključiti tudi RR vodnih virov in nuklearne energije; I | d) razvoj infrastrukture - Ta skupina vključuje dve podskupini: • transport in telekomunikacije - Vključen je RR, ki je usmerjen v izboljšavo in povečanje varnosti prometnih sistemov, vključno z varnostjo v prometu; • prostorsko planiranje mest in podeželja - Vključen je RR, ki se nanaša na skupno načrtovanje mest in podeželja, boljše pogoje bivanja in izboljšave v okolju; I | e) nadzor in skrb za okolje - Vključuje RR, kije usmerjen v ohranjevanje fizičnega okolja. Zajema onesnaževanje zraka, voda, zemlje in spodnjih slojev, onesnaženje zaradi hrupa, odlaganja trdnih odpadkov in sevanja. Razdeljen je v dve skupini: I | i) zdravstveno varstvo (z izjemo onesnaževanja) - Vključuje RR - programe, ki so usmeijeni v varstvo in izboljšanje človekovega zdravja; 1X1 g) družbeni razvoj in storitve - Vključuje RR, ki se nanaša na družbene in kulturne probleme; 1X1 h) splošni napredek znanja - Ta skupina zajema RR, ki prispeva k splošnemu napredku znanja in ga ne moremo pripisati določenim ciljem; 1 1 i) obramba - Vključuje RR, ki se v osnovi izvaja v vojaške namene, ne glede na njegovo vsebino, ali na možnost posredne civilne uporabe. Vključuje tudi varstvo (obrambo) pred naravnimi nesrečami. 2 Označite lahko več odgovorov. Obrazec ARRS-RPROJ-CRP-KS-ZP-2010 Stran 6 od 8 3.3. Kateri so neposredni rezultati vašega raziskovalnega projekta glede na zgoraj označen potencialni pomen in razvojne cilje?_ Dodatni podatki in morebitni novi predlogi evaluacije raziskovalnih rezultatov. V Sloveniji imamo trenutno enega najbolj izdelanih sistemov spremljanja vrednotenja raziskovalnih rezultatov, kije tudi odlično podprt s kvantitativnimi podatki, temelječimi na COBISS in Web of Science. Menimo, da so rezultati tega projekta lahko ta sistem se izboljšali oz. mu dodali dodatno dimenzijo, temelječo na opazovanju in povezavanju obeh njegovih osnovnih elementov, uporabe bbilbiometrijskih kazalcev in ekepertnih ocen.. Neposredni rezultati so predvsem vezani na analize, ki smo jih opravili za fmanceija oz. naročnika. Analize bibliometrijskih kazalcev, ter recenzentskih postopkov in odločitev o financiranju raziskovalnih projektov so po našem mnenju pomagali k boljšemu pogledu na dejavnost ARSS in ocenile uspešnost prizadevanj za boljšo organizacijo recenzentskega sistema, vrednotenje raziskovalnih rezultatov, ter odločanju o financiranju najboljših raziskovalnih projektov._ 3.4. Kakšni so lahko dolgoročni rezultati vašega raziskovalnega projekta glede na zgoraj označen potencialni pomen in razvojne cilje?_ Trdu in uspehi, ki jih je ARRS vložila v organizacijo svojega ekspertnega sistema, so potencialno zanimivi tudi za širšo mednarodno/evropsko skupnost. Njihova naliza in objektivna predstavitev strokovni javnosti, lahko prispeva tudi k promociji in interesu v svetu. Tu imamo na eni strani v mislih EU, po drugi strani pa različne ponudnike bibliografskih podatkovnih zbirk. 3.5. Kj e obstaj a verj etnost, da bodo vaša znanstvena spoznanj a deležna zaznavnega odziva? □ a)v domačih znanstvenih krogih; h) v mednarodnih znanstvenih krogih; 1X1 c) pri domačih uporabnikih; I I d) pri mednarodnih uporabnikih. 3.6. Kdo (poleg sofmancerjev) že izraža interes po vaših spoznanjih oziroma rezultatih? SISOB konzorcij 3.7. Število diplomantov, magistrov in doktorjev, ki so zaključili študij z vključenostjo v raziskovalni projekt?__ V tem obdobju žal nihče od vključenih doktorantov in magistrantov še zaključil študija. 4. Sodelovanje z tujimi partnerji: Obrazec ARRS-RPROJ-CRP-KS-ZP-2010 Stran 7 od 8 4.1. Navedite število in obliko formalnega raziskovalnega sodelovanja s tujimi raziskovalnimi institucijami._ Karlova univerza v Pragi v okviru češko-slovenskega bileteralnega projekta. Letos smo navezali tudi stike s SiSOB konzorcijem (Capacities Program in "Science and Society" (SiS) program v FP7-SCIENCE-IN-SOCIETY-2010-1), proposal number 266588-S1SOB) in sklenili dogovor o sodelovanju. 4.2. Kakšni so rezultati tovrstnega sodelovanj a? Predvsem primerjave rezultatov analiz, predvsem bibliometrijski indikatorji, a tudi proj ektnih razpisov in financiranj a raziskovalnega dela. 5. Bibliografski rezultati3: Za vodjo projekta in ostale raziskovalce v projektni skupini priložite bibliografske izpise za obdobje zadnjih treh let iz COBISS-a) oz. za medicinske vede iz Inštituta za biomedicinsko informatiko. Na bibliografskih izpisih označite tista dela, ki so nastala v okviru pričujočega projekta. 6. Druge reference4 vodje projekta in ostalih raziskovalcev, ki izhajajo iz raziskovalnega projekta:__ O rezultatih smo redno poročali direktorju Javne agencije za raziskovalno dejavnost Republike Slovenije (ARRS). Različne analize smo predstavili tudi na sejah Znanstvenih svetov ARRS. Pripravili smo tudi gradivo za tiskovno konferenco ARRS na tematiko mednarodne znanstvene literature in baz podatkov. Bekatere novejše reference, še niso vpisane v COBISS. Tu bi omenio predvsem članek: "KONZORCIJSKO DELOVANJE IN SREDSTVA ZA MEDNARODNO ZNANSTVENO LITERATURO IN BAZE PODATKOV V SLOVENIJI ZA LETO 2010", ki bo izšel v septembrski številki revije Knjižnica. 3 Bibliografijo raziskovalcev si lahko natisnete sami iz spletne strani:http:/www.izum.si/ 4 Navedite tudi druge raziskovalne rezultate iz obdobja financiranja vašega projekta, ki niso zajeti v bibliografske izpise, zlasti pa tiste, ki se nanašajo na prenos znanja in tehnologije. Navedite tudi podatke o vseh javnih in drugih predstavitvah projekta in njegovih rezultatov vključno s predstavitvami, ki so bile organizirane izključno za naročnika/naročnike projekta. Obrazec ARRS-RPROJ-CRP-KS-ZP-2010 Stran 8 od 8 Poročilo o opravljenem delu na projektu V5-0451 1. Diseminacija rezultatov projekta: Rezultati so bili objavljeni v naslednjih publikacijah JUŽNIČ, Primož, PEČLIN, Stojan, ŽAUCER, Matjaž, MANDELJ, Tilen, PUŠNIK, Miro, DEMŠAR, Franci. Scientometric indicators : peer-review, bibliometric methods and conflict of interests. Scientometrics, 2010, vol. 85, no. 2, str. [429]-441. JUŽNIČ, Primož. Using a decision grid process to evaluate library collections and e-journals. New libr. world, 2009, vol. 110, no. 7/8, str. 341-356. JUŽNIČ, Primož. Grey literature produced and published by universities : a case for ETDs. V: FARACE, Dominik J. (ur.), SCHOPFEL, Joachim (ur.). Grey literature in library and information studies. Berlin; New York: De Gruyter Saur, cop. 2010, 2010, str. [39]-51. JUŽNIČ, Primož, MANDELJ, Tilen, PUŠNIK, Miro, JUŽNIČ, Primož, Konzorcijsko delovanje in sredstva za mednarodno znanstveno literaturo in baze podatkov v Sloveniji za leto 2010, Knjižnica [Tiskana izd.], okt. 2010, letn. 54, št. 3, 35-52 Prav tako smo pripravljali različno gradivo za potrebe ARRS. V letu 2009 smo z rezultati analiz posebej seznanili vse Znanstvene svete ARRS, na njihovih sejah. V letu 2010 smo pripravili gradivo za tiskovno konferenco ARRS (kasneje objavljeno v časniku Delo). 1 2. Povzetek Klasična definicija R. Mertona o tem, da je kvaliteta znanstvenega dela izražena v končnem cilju znanosti, razširitvi oz. poglobitvi znanstvenega vedenja, seveda ni sporna. Težave nastopijo, ko pristopimo k operacionalizaciji tega teoretičnega izhodišča. Torej lahko ločimo dva glavna pristopa k ocenjevanju raziskovalnega dela, kvantitativnega (od katerega posebej obravnavamo rezultate analize citiranja) in kvalitativnega, ki so običajno sodbe strokovnjakov iz istega raziskovalnega področja. Obe merili se vseskozi prepletata, a vsak ima svoje posebnosti. Zato je zanimiv njun medsebojni odnos, med samo izvedensko oz. ekspertno (peer review) oceno in kvantitativnimi dejavniki vrednotenja znanstvene kvalitete, to je predvsem rezultatov analize citiranja. Analiza citiranja je postala že pred desetletji najbolj uporabljana in uporabna bibliometrijska metoda. Tu gre predvsem za uporabo podatkov iz različnih bibliografskih podatkovnih baz. Med njimi je najbolj uveljavljena in znana Thomsonova Web of Science oz. indeksi citrianja. danes pa to ni edini vir podatkov, pomembni sta še Elseiverjev Scopus in Google Scholar. Za razliko od kvantitativnih dejavnikov vrednotenja znanstvene kvalitete se kvalitativne ocene veliko manj spreminjajo. Poleg ocen ekspertov/izvedencev, ki so seveda osnovne, se tu še različne nagrade, priznanja in podobno. Pomembno vprašanje je kakšne so stične točke obeh pristopov in meril. Izhodišče je namreč v enostavnem dejstvu, če je eden od osnovnih motivov citiranja nekega dela njegova kvaliteta, ekspertne ocene pa tudi ocenjujejo enake ali vsaj podobne lastnosti raziskovalnega dela, potem bi morale obstajati stične točke med obema ocenama. Pomembno vprašanje je ali analiza citiranja kakorkoli nasprotuje recenzijam, kot oceni kvalitete raziskovalnega dela? Danes že klasična analiza bratov Cole, ki je osnova vseh današnjih bibliometrijskih raziskav, je pokazala pred več kot 35 leti, da gre med ocenami ekspertov in kvantitativnimi rezultati merjenja kvalitete raziskovalnega dela za precejšno povezavo. S to analizo sta tudi zavrnila t.i. Ortegovo hipotezo in postavila osnovo sodobne bibliometrije. Za analizo citiranja in druge bibliometrijske metode je bilo po njuni raziskavi še večkrat ugotovljeno, da visoko korelira z recenzijami in ocenami drugih znanstvenikov. Vprašanje, ki je danes tudi že razrešeno je, da jih ni mogoče uporabljati v celoti kot alternativo tem kvalitativnim metodam ocenjevanja kvalitete raziskovalnih rezultatov, le kot korekturo in pomoč. Ta tip raziskovanja, torej iskanja povezav med kvantitativnimi in kvalitativnimi ocenami kvalitete raziskovalnega dela, ima že dolgo tradicijo, vendar so si rezultati nasprotovali. Zato 2 je tudi naše raziskovalno delo bilo usmerjeno v raziskovanje tega razmerja. Izhodiščna hipoteza je bila, da njun odnos ni statičen, temveč je odvisen od organizacije in delovanja obeh sistemov vrednotenja kvalitet raziskovalnega dela. Ocenjevanje znanstvenega dela je postalo pomemben del upravljanja znanosti in tehnologije. Pogosto predstavlja pomemben element podpore v procesu odločanja pri dodeljevanju sredstev za raziskovalno dejavnost in tako del širše raziskovalne politike. V raziskavi smo obravnavali primer modela ocenjevanja znanstvene odličnosti na temelju kvantitativnih bibliometrijskih kazalcev ter ekspertnih ocen (peer-review), ju primerjali ter proučevali na kak način se lahko uspešno dopolnjujeta. Analizirali smo rezultate treh razpisov za raziskovalne projekte za letih 2003, 2005 in 2007. V letu 2003 je bil sistem ekspertnega ocenjevanja (peer review) zasnovan na način, da je bila možna visoka stopnja konflikta interesov, v letu 2005 je bil sistem ocenjevanja zasnovan na osnovi vključevanja tujih recenzentov, kar je sicer pomenilo učinkovitejšo odpravo konfliktov interesov, vendar je bilo število tujih recenzentov omejeno. V letu 2007 je bil zasnovan kombinirani sistem, ki je v prvem krogu ocenjevanja vključil tudi tri kvantitativne bibliometrijske kazalnike, v drugem krogu pa je bila dokončna ocena prijavljenih projektov podana na osnovi ocen tujih recenzentov, kar najbolj učinkovito zmanjšuje vpliv konflikta interesov na rezultate razpisa. Vsi trije sistemi so bili primerjani z enakimi kvantitativnimi kazalniki A1 - točke, izračunane iz informacijskega sistema za raziskovalno dejavnost v Republiki Sloveniji SICRIS, A2 - točke, pridobljene na osnovi števila citatov ter A3 - točke, pridobljene na osnovi pridobljenih sredstev prijavitelja za raziskovanje iz drugih virov v preteklosti (drugi razpisi, mednarodni razpisi ipd.). Naša metodološka novost je bila torej v načinu primerjave. Odločili smo za primerjavo rezultatov treh razpisov projektov ARRS. 2003, 2005 in 2008. Uporabili smo enak nabor bibliometrijskih indikatorjev za vsa tri leta, ter jih primerjali z rezultati razpisa, ki so bili zasnovani na recenzentskih ocenah. V vsakem od izbranih razpisov je bil namreč v veljavi drugačen sistem izbire in odločanja o financiranju, glede na recenzentske ocene. Ta srečna okoliščina nam je omogočila primerjavo enakih bibliografskih kazalcev z različnimi načini recenzentskih ocen in izbora projektov v financiranje. Rezultati so pokazali, da je mogoče z bibliometrijskimi kazalci preverjati tudi recenzentske ocene in seveda odločitve o financiranju posameznih projektov. Največjo slabost recenzentskih ocen pomeni ravno t.i. konflikt interesov in tega smo lahko na osnovi rezultatov primerjalne analize locirali. 3 Ob naši osnovni hipotezi in raziskavi, smo se lahko lotili še nekaj drugih tem, povezanih z bibliometrijskimi indikatorji in z objavami raziskovalnih rezultatov. Ukvarjali smo se tudi z možnostjo uporabe drugih bibliografskih podatkovnih zbirk, predvsem Scopusa. Pogledali smo tudi širše dostop, ki ga imajo raziskovalci v Sloveniji do različnih informacijskih virov, ki jih potrebujejo pri svojem delu. Zanimale so nas tudi oblike omogočanja dostopa do različnih oblik rezultatov raziskovalnega dela, še posebej tistih, ki nastajajo na univerzah, kot zaključna dela študija. Iz rezultatov projekta se je oblikovalo pet tem za nadaljevanje raziskave: Razmerja med recenzentskimi ocenami. Primerjavai rezultatov za razpise ARRS za raziskovalne projekte 2007, 2009 in 2010 in primerjava, skladnosti različnih recenzentskih ocen za iste prijavljene projekte oz. razhajanja med njimi. Preverjamo hipotezo, da obstajajo neskladja med recenzentskimi ocenami istih projektov, kar kaže na subjektivnost recenzentskih ocen. Ob tem bi izdelali tudi možne predloge bolj sistematičnega nabora oz. izbire recenzentov. H-Indeks in Aji, torej bibliometrijski indikatorji iz Sicrisa, kakšne so razlike med njimi. Kaj bi se zgodilo ce bi uporabili namesto indikatorjev H-indeka? Preverjamo hipotezo, da bi H-indeks na določenih znanstvenih vedah, nadomestil druge bibliomnetrijske indikatorje. Razpisi za projekte upoštevajo število prostih projektov po posameznih znanstvenih področjih (t.i. "Dota"), Tak sistem obstaja zaradi želje po enakomernih razdelitvah projektov med področji. Analiza vsebuje različne simulacije, ki bi upoštevala samo bibliomnetrijske indikatorje in/ali recenzentske ocene. Preverjamo hipotezo, da bi se razmerja med vedami spremenila, če bi sistem odločanja o sprejetih projektih slonel le na teh podatkih oz ocenah. Primerjava podatkov med Scopus, WoS in Sicris. Tu gre za del priprav za uporabo Scopusa in njegovih podatkov v ekspertnem sistemu ARRS. Preverjamo hipotezo, da se podatki med WoS in Scopus razlikujejo na teh dveh vedah in da Scopus zajema bistveno večjo število relevantnih revij in tudi odmevnost (citiranje) kar bi opravičevalo uporabo obeh baz. Uporaba informacijskih virov s strani raziskovalcev v Sloveniji. Predvsem nas zanima, kako raziskovalci, ki prijavljajo svoje projekte na razpise ARRS uporabljajo informacijske vire in katere. Prehod od uporabe tiskanih revij in vse bolj tudi knjig k elektronskim je v svetu dobro dokumentiran, a žal v Sloveniji še nimamo sistematične raziskave na to temo. Preverjamo 4 hipotezo, da kvalitetno raziskovanje temelji na dostopu do kvalitetnih in relevantnih informacijskih virov. Zanima nas tudi odnos do vse bolj aktualnega vprašanja odprtega dostopa, ter omogočanja dostopa do rezultatov/objav dela raziskovalcev v Sloveniji. Objavljanje v znanstvenih revijah je eden temeljnih načinov znanstvenega komuniciranja. Poleg tega znanstvene revije igrajo ključno vlogo v sistemih ocenjevanja znanstvene odličnosti in so kot takšne nepogrešljiv del znanstvene infrastrukture, o čemer priča tudi njihova visoka uporaba. V članku je predstavljeno delovanje konzorcijske nabave v Republiki Sloveniji, za katero skrbi Centralna tehniška knjižnica Univerze v Ljubljani (CTK). V letu 2009 je tako število vpogledov znotraj konzorcijev znašalo že 829.576, kar znaša za 33% več kot v letu 2008 oziroma za kar 178% več kot v letu 2006. Podlaga za uspešno delovanje konzorcijev je jasna strategija Javne agencije za raziskovalno dejavnost Republike Slovenije (ARRS), ki podpira konzorcijsko povezovanje knjižnic. ARRS med drugim skrbi za sofinanciranje tuje znanstvene literature v Republiki Sloveniji. V letu 2009 je ta znesek znašal 3.520.000€, od tega je bilo za sofinanciranje konzorcijske dejavnosti namenjenih 1.421.458€ ali kar 419% glede na leto 2008. To je omogočilo pridružitev osmih novih konzorcijskih članic - iz 14 inštitucij v letu 2009 na 22 inštitucij v letu 2010. 5 3. Kratka vsebina projekta Vsi, ki pišejo o znanosti začnejo s trditvijo, da gre tu za gonilno silo sodobne družbe in koncentracijo znanja. Financiranje znanosti je pomemben del vložkov v svetovno bodočnost. Ker je znanost postala tako pomembna, je to izpostavilo pomen njene evalvacije, ocene o tem kaj je kvalitetno raziskovanje. Klasična definicija R. Mertona o tem, da je kvaliteta znanstvenega dela izražena v končnem cilju znanosti, razširitvi oz. poglobitvi znanstvenega vedenja, seveda ni sporna. Težave nastopijo, ko pristopimo k operacionalizaciji tega teoretičnega izhodišča. Praviloma poznamo in tudi ločimo dva glavna pristopa k ocenjevanju raziskovalnega dela, kvantitativnega (od katerega posebej obravnavamo rezultate analize citiranja, torej odmevnost) in kvalitativnega, ki so običajno sodbe strokovnjakov iz istega raziskovalnega področja, kar poznamo pod izrazom »peer-review«. Obe merili se vseskozi prepletata, a vsak ima svoje posebnosti. Zato je zanimiv njun medsebojni odnos, med samo recenzentsko oz. ekspertno oceno in kvantitativnimi dejavniki vrednotenja znanstvene kvalitete. Ta je bila dolga leta vezana na Indekse citiranja (zbrane v Web of Science), ter na merila in indikatorje, ki na njih temeljijo, seveda še posebno na najbolj znan dejavnik/faktor vpliva (impact factor). Le-tem se v zadnjem času pridružujejo drugi viri (Scopus, Google Scholar in kar je še posebej zanimivo nova merila od katerih je nedvomno najbolj odmeven H indeks (imenovan tudi Hirschev indeks po svojem tvorcu). Popularnost, ki ga je slednji dosegel v svetu je že skoraj pravljična (Glaenzel, 2006). Njegov-avtor pa se že utemeljeno sprašuje o njegovi napovedni vrednosti, sanjskemu merilu vseh kvantitativnih a tudi kvalitativnih sistemov vrednotenja raziskovalnih rezultatov (Hirsch, 2007). Vsa ta merila slonijo na objavah in uporabi člankov v znanstvenih revijah. Uporaba znanstvenih revij za samo delovanje znanosti je prav tako samo en pogled. Tako kot se ni v prehodu v elektronsko okolje bistveno spremenila vloga znanstvenih revij v znanstvenem komuniciranju in informiranju, kot vira informacij, se ni tudi njihova vloga v sistemih ocenjevanja znanstvene odličnosti. Gre za novejšo funkcijo znanstvenih revij, ki postaja vse pomembnejša ob dejstvu, da je tudi znanstveno raziskovanje vse bolj pomembno za razvoj in delovanje sodobne družbe. Družbena vlaganja v financiranje znanstvene dejavnosti so velika, a velika so tudi pričakovanja. Rezultate sicer lahko merimo na različne načine, npr. število vrhunsko usposobljenih strokovnjakov, število inovacij in novih proizvodov, itn. Ni pa merjenje kvalitete znanosti ali tistega, čemu pogosto rečemo znanstvena odličnost, enostavno. Znane so različne kvantitativne metode ocenjevanja in merjenja, a vse temeljijo na objavah/člankih v znanstvenih revijah. 6 Že pred leti je bilo napovedano, da bodo spremembe, ki jih prinašajo elektronske revije tehnološke in nikakor ne konceptualne. Objavljanje v uglednih revijah je na veliki večini znanstvenih področjih bistveno in prinaša najvišja priznanja v znanosti. Tako bo ostalo tudi v »elektronski dobi« je Van Raan poudarjal že leta 1997, torej v začetkih procesa, ko so najpomembnejši založniki znanstvenih revij začeli omogočati elektronski dostop do polnih besedil svojih člankov. Omogočanje dostopa je spodbudilo pravo revolucijo v znanstvenem komuniciranju in danes je dosegljivost člankov iz znanstvenih revij na spletu, skoraj že 100%. Kvantitativne metode ocenjevanja znanstvene odličnosti še zmeraj temeljijo na publikacijah in citatih, objave v znanstvenih revijah so podprte z recenzentskim ocenjevanjem, znanstvene revije so glede na število objav in citatov ovrednotene z različnimi sistemi za ocenjevanje, kot so npr.: • na Web of Science (v nadaljevanju WoS) temelječ sistem dejavnik vpliva (ang. impact factor oz. IF) (Garfield, 2006). Dejavnik vpliva je merilo pogostosti, s katero je citiran 'povprečen članek v neki reviji v določenem letu. Dejavnik vpliva za določeno leto, npr. leto 2009, dobimo tako, da število citatov, ki so jih v letu 2009 prejeli članki, objavljeni v tej reviji v letih 2007 in 20088, delimo s številom člankov, objavljenih v tej reviji v letih 2007 in 2008. • na Scopusu temelječ sistem indikator rangiranja znanstvenih revij (ang. SCImago journal rank oz. SJR) (González-Pereiraa, Guerrero-Boteb in Moya-Anegónc, 2009). SJR se razlikuje od IF po tem, da ne računa samo povprečno število citatov na članek v določeni znanstveni reviji, ampak analizira citatne povezave med znanstvenimi revijami v serijah ponavljajočih se ciklov. To počne na isti način kot Google ocenjuje zadetke na podlagi algoritma PageRank1. V praksi pa pomeni, da imajo citati različno vrednost - tisti ki prihajajo iz revij z višjim SJR faktorjem dobijo večjo težo. SJR z razliko od IF uporablja citatno okno treh in ne dveh let. • na projektu Eigenfactor temelječ sistem, ki podaja (ang.) Eigenfactor Score in (ang.) Article Influence Score (Eigenfactor, 2010). Dejavnik Eigenfactor je zanimiv vsaj iz dveh razlogov. S pomočjo tega faktorja lahko izračunamo stroškovno učinkovitost (t.i. cost-effectiveness) znanstvenih revij. Zanimiv pa je tudi, da dejavnik sam že upošteva razlike v citiranju znotraj posameznih ved (West, Begstrom in Bergstrom, 2010). Več o tem tudi na spletni strani: http://en.wikipedia.org/wiki/PageRank. 7 S tem seznam seveda ni končan. V spletnem okolju so lahko uporabni tudi drugi podatki, kot so npr. število »prenesenih« člankov iz določene revije, kombinacija bibliotekarskih in bibliografskih podatkov za določena področja pomembnih baz (npr. SciFinder2) ali celo podatki iz raziskav o uporabi znanstvenih revij s strani raziskovalcev (Stock, 2009). Znanstvene revije so kot vir informacij nepogrešljiv del znanstvene infrastrukture. Vemo, da so revije v elektronski obliki omogočile raziskovalcem nesluteno ugodnost dostopa do informacij in znanja, večkrat je bilo opisano tudi, kako znanstveniki revije uporabljajo, splošno sprejeto pa je tudi uporaba revije pri ocenjevanju kvalitete in znanstvene odličnosti. Toda ali je to dovolj? Kaj vemo o tem, koliko so te revije vredne? Ali knjižnice, ki podpirajo raziskovanje (univerzitetne, visokošolske in specialne) z nakupom in omogočanjem dostopa do teh revij, pridobijo in ponudijo dovolj vredno gradivo? Žal na to vprašanje nimamo veliko odgovor, saj so takšne raziskave dolgotrajne in drage. Primer novejše raziskave, ki je temeljila na analizi zapisov oziroma datotek z dnevnikom (ang. log files) spletišč založnikov znanstvenih revij in podatkov knjižnic desetih univerz in raziskovalnih ustanov v Veliki Britaniji kaže jasnejšo sliko tega, kako elektronske revije oblikujejo sistem znanstvenega informiranja in komuniciranja (E-journals, 2009). Rezultati raziskave potrjujejo močno korelacijo med uporabo elektronskih revij, raziskovalnimi rezultati in financiranjem. Tudi analiza vpliva velikosti ustanove, je potrdila močno povezavo med uporabo elektronskih revij in raziskovalnimi rezultati. Za razliko od kvantitativnih dejavnikov vrednotenja znanstvene kvalitete se kvalitativne ocene veliko manj spreminjajo. Ocene ekspertov so sicer lahko opisane ali pa kvantificirane, toda to ne spreminja način njihovega oblikovanja. Ekspert, to je raziskovalec z nekega znanstvenega področja oceni delo, objavo, prijavo druge raziskovalca. Izraz »peer« pomeni, da gre za nekoga, ki mu je v raziskovalnih dosežkih in znanstvenih dosežkih najmanj enak (zato nekateri govorijo o »kolegialni« oceni), ter zato usposobljen za takšno oceno. Pomembno vprašanje je ali analiza citiranja kakorkoli nasprotuje recenzijam, kot oceni kvalitete raziskovalnega dela? Že danes klasična analiza bratov Cole, ki je osnova vseh današnjih bibliometrijskih raziskav, je pokazala pred več kot 35 leti, da gre med ocenami ekspertov in kvantitativnimi rezultati merjenja kvalitete raziskovalnega dela za precejšno povezavo. S to analizo sta tudi zavrnila t.i. Ortegovo hipotezo (Cole, Cole, 1972) in postavila 2 Opis zbirke je dostopen tudi na spletni strani Centralne tehniške knjižnice (http://www.ctk.uni-lj.si/Zbirke/index.html#SCIFINDER). 8 osnovo sodobne bibliometrije. Za analizo citiranja in druge bibliometrijske metode je bilo po njuni raziskavi še večkrat ugotovljeno, da različno korelira z recenzijami in ocenami drugih znanstvenikov. Vprašanje, ki je danes tudi že razrešeno je, da jih ni mogoče uporabljati v celoti kot alternativo tem kvalitativnim metodam ocenjevanja kvalitete raziskovalnih rezultatov, le kot korekturo in pomoč. Ta tip raziskovanja, torej iskanja povezav med kvantitativnimi in kvalitativnimi ocenami kvalitete raziskovalnega dela, pravilo gledano skozi objave rezultatov ima torej že dolgo tradicijo. Vendar so si rezultati tudi že od začetka nasprotovali. V našem prispevku smo ugotovili, da tudi recenzentske ocene niso nekaj neodvisnega in da je zanesljivost teh postopkov (ter potencialni konflikt interesov) možno spremljati tudi z bibliometrijskimi indikatorji. 3.1 Metoda dela Naš cilj je bil raziskati tri različne sisteme ekspertnih ocen (peer review) ter ugotoviti, ali različni načini njihove zasnove vplivajo na končne odločitve. Še posebej smo ugotavljali razlike v rezultatih izbranih projektov glede na uporabo različnih bibliometrijskih in scientometrijskih kazalnikov. V razpisu 2007 je ARRS prvič uporabil kombinirano metodo, ko je v 1. krogu izbor projektov (za) v drugi krog temeljil tudi na kvantitativnih bibliometrijskih kazalnikih A: A1 - točke, izračunane na osnovi kakovosti publikacij v zadnjih petih letih in pridobljene iz SICRIS-a, A2 - točke, pridobljene na osnovi normaliziranega števila citatov, pridobljenih iz zbirke Web of Science ter A3 - točke, izračunane na osnovi pridobljenih sredstev prijavitelja za raziskovanje iz drugih virov v preteklosti (drugi razpisi, mednarodni razpisi sredstva iz komercialnega sektorja ipd.). Na osnovi prijavljenih projektov na razpis 2003 in 2005 smo po enaki metodi pridobili podatke za bibliometrijske kazalnike ter podatke primerjali z različnima sistemoma ocenjevanja v teh dveh letih. Pričakovali smo korelacijo med bibliometrijskimi kazalniki in rezultati recenzentskih ocen ekspertov kot tudi razliko v povezanosti, glede na to, da se je sistem peer review v vseh treh razpisih spreminjal. 3.2 Rezultati (povzetek) V vseh treh razpisih je bilo 1.375 prijavljenih projektov, ki smo jih preverili glede na bibliometrijske kazalnike. Od vse prijavljenih projektov je bilo 408 predlogov uspešnih, kar pomeni, da je bila uspešna približno tretjina vseh prijav. Stopnja uspešnosti po letih je bila: 2003 31%, 2005 34% in 2007 26%. 9 Tabela 1: Rezultati simulacije po letih 2003, 2005 in 2007 2003 2005 2007/2008 prijav 3 niki ko i zaln nsk ran az a br ka ej iz £ prijav ejansko izbrani £ o il v tev ija 5 fc. ejansko izbrani £ Naravoslovno matematične vede 60 11/20 55 46 17/24 71 152 18/33 55 Tehniške vede 114 15/31 48 114 26/41 63 222 31/46 67 Biotehniške vede 27 1/4 25 39 7/12 58 79 5/11 46 Družboslovne vede 54 8/14 57 43 6/10 60 72 10/12 83 Humanistične vede 47 4/11 36 33 8/11 73 78 25/35 71 Skupno* 302 39/80 49 275 64/98 65 603 89/137 65 *Medicinske vede so zaradi drugačnih kriterijev izbora izpuščene iz analize. V letu je tudi bila 2007 zasnovana nova posebna skupina interdisciplinarnih projektov, ki jih prav tako zaradi posebnosti pri izboru nismo uvrstili v analizo. Table 2: Rezultati simulacije po letih 2003, 2005 in 2007 - primer Naravoslovno matematičnih ved 2003 2005 2007/2008 Raziskovalno področje ** Število prijav ejansko izbrani Število prijav ejansko izbrani Število prijav kazalnikih/d ejansko izbrani Matematika 8 3/4 1 0 12 0/1 Fizika 11 0/2 11 3/5 38 4/7 Biologija 11 0/2 10 4/6 22 3/5 Kemija 8 2/4 6 1/2 30 4/6 Biokemija 1 0/1 3 0/1 12 2/4 Geologija 5 2/3 2 1/1 18 0/3 Računalniško intenzivne metode in 1 1/1 2 2/2 5 1/2 10 aplikacije Ekologija 10 1/1 8 4/5 11 2/3 Farmacija 5 2/3 3 2/2 4 2/2 Skupno 60 11/20 46 17/24 152 18/33 ** raziskovalna področja so definirana kot sledi iz klasifikacije raziskovalnih ved, področij in podpodročij ARRS http://www.arrs.gov.si/sl/gradivo/sifranti/sif-vpp.asp 3.3 Zaključki in razprava Rezultati raziskave potrjujejo predvidevanja in predhodne raziskave, da ne moremo avtomatično pričakovati povezav recenzentskih ocene v celoti ne moremo upoštevati kot standard, na katerega se bodo navezovali izbrani bibliometrijski kazalniki. V nekaterih primerih so med obema metodama razlike, ki pojasnijo manjšo statistično povezanost, kot bi na prvi pogled pričakovali. To pomeni, da moramo stopnjo statistične povezanosti upoštevati in obravnavati v skladu z nekaterimi faktorji, ki na to stopnjo vplivajo. Ugotovili smo, da je usklajenost rezultatov peer review s podatki scientometrijskih kazalnikov odvisna od razumne in objektivne zasnove sistema peer review. V letih 2005 in 2007, kjer je bil konflikt interesov pri odločanju močno zmanjšan, je stopnja usklajenosti 65%. Nasprotno je v letu 2003, ko konflikt interesov ni bil uspešno odpravljen, le polovica izbranih projektov ustrezno usklajenih glede na bibliometrijske kazalnike. Uporaba bibliometrijskih kazalnikov v primeru razpisa 2003 v 16% projektov nedvomno kaže na prisotnost konflikta interesov v postopkih. Po drugi strani ugotavljamo, da lahko kvantitativni kazalci težko nadomestijo ekspertne ocene (peerreview) pri končnih odločitvah o tem, kateri projekt bo pridobil sredstva. Poskušali smo odgovoriti na temeljna vprašanja glede primerjave različnih sistemov recenzentskega ocenjevanja kvalitete prijavljenih projektov, z bibliometrijskimi in scientometrijskimi kazalniki dosedanjega raziskovalnega dela prijaviteljev projektov. Rezultati so pokazali, da večja stopnja odprave konfliktov interesov vodi k večji povezanosti med rezultati kvalitativnih recenzentskih ocen in kvantitativnih scientometrijskih kazalnikov. 11 Kvantitativni bibliometrijski kazalniki se lahko kot koristno orodje uporabljajo v treh primerih. Pri odločanju o tem, kdo lahko postane vodja raziskovalne skupine, ter lahko kandidira za financiranje projektov, ki temelji na minimalni ravni točk na podlagi scientometrijskih bibliometrijskih kazalnikov. Pomemben razlog za uvedbo kombiniranega sistema za odobritev nepovratnih sredstev v letu 2008 je bil zmanjšanje izdatkov za administracijo in upravljanje projektov, še posebej pri raziskovalcih, ki v preteklosti že imajo dovolj bogato bibliografijo za dokazovanje svoje odličnosti. Vsaj polovica raziskovalcev, v letu 2007 izbranih v drugi krog, bi to dosegla z upoštevanjem bibliometrijskih kazalnikov. Raziskave dokazujejo, kako nepremišljene reforme raziskovalnega sektorja ustvarjajo slabe rezultate (Coccia 2009). Zato je za oblikovalce znanstvene politike pomemben cilj zmanjševanje bremena upravnih in administrativnih postopkov pri raziskovalnem delu ter zagotavljanje pogojev, da se raziskovalci lahko čim bolj posvečajo raziskovalnim nalogam. Kvantitativni bibliometrijski kazalniki lahko olajšajo odločitve o večjih raziskovalnih projektih. Jasno je namreč, da samo recenzentske ocene v takih primerih ne more biti edini ali celo glavni odločujoči postopek za ocenjevanje znanstvenih programov ali projektov, še posebej če se konfliktu interesov ni mogoče uspešno izogniti. Kombiniranje sistemov ekspertnih/recenzentskih ocen z bibliometrijskimi kazalniki je torej zagotovo izziv, ne le za znanstvene politike na ravni posameznih držav, temveč tudi na evropski ravni in širše. 3.5 Literatura: Aksnes, D.W., Taxt R.E., (2004) Peer reviews and bibliometric indicators: a comparative study at a Norwegian university. Research Evaluation, 13 (1), 33-41. Bornmann, L.,. Daniel, H.D., (2006) Selecting scientific excellence through committee peer review - A citation analysis of publications previously published to approval or rejection of post-doctoral research fellowship applicants. Scientometrics, 68 (3) 427-440. Coccia, M., (2009) Research performance and bureaucracy within public research labs. Scientometrics, 79 (1) 93-107 12 Haeffner-Cavaillon, N., Graillot-Gak C. (2009) The use of bibliometric indicators to help peerreview assessment. Archivum Immunologiae et Therapiae Experimentalis, 57(1), 33-38. Moed, H. F., Van Leeuwen, T. N., Reedijk, J. (1999), Towards appropriate indicators of journal impact. Scientometrics, 46 (3) : 575-589. Oppenheim, C., (1997), 'The correlation between citation counts and the 1992 research assessment exercise ratings for British research in genetics, anatomy and archaeology', Journal of Documentation, 53(5), pages 477-487. Rigby, J. (2009): Comparing the scientific quality achieved by funding instruments for single grant holders and for collaborative networks within a research system: Some observations, Scientometrics, 78(1); 145-164. Rinia, E.J., van Leewen, Th.N., van Vuren, H.G., and van Raan, A.F.J. (1998): 'Comparative Analysis of a set of Bibliometric Indicators and Central Peer Review Criteria: Evaluation of Condensed Matter Physics in the Netherlands', Research Policy, 27(1): 95-107. Rinia, E.J., van Leewen, Th.N., van Vuren, H.G., and van Raan, A.F.J. (2001): Influence of interdisciplinarity on peer-review and bibliometric evaluations in physics research. Research Policy 30;.357-361 Seglen, P. O. (1997), Why the impact factors of journals should not be used for evaluating research. British Medical Journal, 314: 498-502. Slovenian Current Research Information System. (2009) Retrieved from http://sicris.izum.si/about/cris.aspx?lang=eng Sorcan S., Demsar F., valenci, T. (2008) Znanstveno raziskovanje v Sloveniji. Javna Agencija za raziskovalno dejavnosr Repunlike Slovenije, Ljubljana. Van Leeuwen, T.N., Visser, M.S., Moed, H.F., Nederhof, T.J.. Van Raan, A. F.J., (2003), The Holy Grail of science policy: Exploring and combining bibliometric tools in search of scientific excellence, Scientometrics, 57(2); 257-280. van Raan, A.F.J., (1996). Advanced bibliometric methods as quantitative core of peer review based evaluation and foresight exercises. Scientometrics 36, 397-420. 13 van Raan, A.F.J., (2006) Comparison of the Hirsch-index with standard bibliometric indicators and with peer judgment for 147 chemistry research groups. Scientometrics, 67 (3) 491-502. Vanclay, J.K. (2009) Bias in the journal impact factor , Scientometrics 78(1): 2-12. Warner, J. (2000), 'A critical review of the application of citation studies to the Research Assessment Exercises', Journal of Information Science, 26(6), pages 453-460. Weingart, P. (2005), Impact of bibliometrics upon the science system: Inadvertent consequences? Scientometrics, 62 (1): 117-131. 4. Prikaz izdelanih analiz V okviru projekta V5-0451 smo želeli ugotoviti povezanost scientometrijskih kazalcev A=A1+A2+A3 vodij predlogov projektov in uspeha pri recenzentski odobritvi projekta. Na mnogih raziskovalnih področjih je bilo predlogov projektov tako malo, da ni bilo možno napraviti statistične analize, ali pa je bilo razmerje števila predlogov projektov proti številu odobrenih projektov tako neugodno (premalo ali preveč odobrenih projektov), da ni bilo možno dobiti statistično signifikatnih rezultatov. Združevanje raziskovalnih področij pa zaradi različno visokih ocen A ni smiselno. Zato smo morali biti pri statistični analizi pozorni na natančno določene meje, kdaj lahko statistično analizo sploh uporabimo, na izbiro prave testne statistike in na nenormalno pogostnostno (frekvenčno) porazdelitev predlogov projektov po vsoti ocen A (A=A1+A2+A3). 4.1 Ocena mej za zavrnitev ničelne trditve Izhodiščne predpostavke: Raziskovalna (alternativna) trditev: obstaja pozitivna povezava (korelacija) med vsoto ocen A in odobritvami predlogov projektov. Ničelna trditev: ni pozitivne povezave med obema. Privzeta stopnja značilnosti: a = 0,05. 14 Meje lahko izračunamo iz verjetnosti za posamezno kombinacijo. Projekte na posameznem polju uredimo po padajočih ocenah A. Z 0 označimo neodobren projekt, z 1 pa odobren projekt. Kombinacija 111001 naj pomeni, da so prvi trije projekti na levi z najvišjimi ocenami odobreni, odobren pa je tudi projekt na desni z najnižjo oceno, dva projekta v sredini pa nista odobrena. Tu imamo štiri enice (odobrene projekte) na šestih mestih (predlogih projektov). V splošnem: n ... število predlogov projektov, k ... število odobrenih projektov, ! ... fakulteta. Število možnih kombinacij je: n nad k v oklepaju = n! / k! (n-k)!, Za a = 0,05 mora biti število kombinacij n! / k! (n-k)! večje ali enako 20, saj mora biti verjetnost za slučajnostno kombinacijo manjša ali enaka 0,05. Primer: če imamo 10 predlogov in je eden od njih odobren, je verjetnost za vsako kombinacijo (tudi če bi bil izbran z žrebom) 1/10 = 0,1 , kar je že več od a = 0,05 in statistična ocena ni možna. Verjetnost za ekstremno kombinacijo se da izpeljati tudi iz formule za verjetnost pri Fisherjevem testu: Za kontingenčno tabelo: a b a+b c d c+d a+c b+d n p = (a+b)! (c+d)! (a+c)! (b+d)! / n! a! b! c! d! Za ekstremno vrednost je a=0 in d=0: b=k in c=n-k p = (n-k)! k! / n! < 0,05 Iz formule za število kombinacij izračunajmo tabelo: Število odobrenih projektov Najmanjše število predlogov projektov, da lahko uporabimo statistično analizo 0 ... noben predlog ni odobren statistika ni možna 1 20 2 7 3 6 4 7 5 7 6 8 7 9 vsi predlogi odobreni statistika ni možna 15 4.2 Izbira statistične metode Zaradi pogosto majhnega števila predlogov projektov na posameznem raziskovalnem področju se testa Hi kvadrat (x2) ne da uporabiti na vseh področjih. Pri nizkih frekvencah v posameznih celicah kontingenčne tabele lahko uporabimo Kullbackov test, če so porazdelitve približno normalne. Iz nekaj analiz pogostnostnih porazdelitev (v prilogi) se vidi, da porazdelitve precej odstopajo od normalnih, zato smo poleg Kullbackovega testa uporabili še Fisherjev eksaktni test in v nekaj primerih, kjer dasta oba testa različne rezultate, vzeli za analizo vrednost Fisherjevega testa. 4.3 Rezultati statistične analize Izračuni so podani v prilogi 2. Rezultati so strnjeni po letih v spodnjih tabelah: Rezultati evalvacije 2007/2008: Število raziskovalnih področij Število predlogov na teh področjih 15 21% 270 38% Zvrnjena ničelna hipoteza, torej signifikantna povezava med vsoto ocen A in odobritvami predlogov projektov pri a = 0,05. 18 25% 263 37% Ničelna hipoteza ni zavrnjena 39 54% 178 25% Statistika ni možna 72 100% 711 100% skupaj Rezultati evalvacije 2005: Število raziskovalnih področij Število predlogov na teh področjih 2 3% 27 8% Zvrnjena ničelna hipoteza, torej signifikantna povezava med vsoto ocen A in odobritvami predlogov projektov pri a = 0,05. 15 21% 165 47% Ničelna hipoteza ni zavrnjena 53 76% 160 45% Statistika ni možna 70 100% 352 100% skupaj Rezultati za evalvacijo 2002/2003: Število raziskovalnih področij Število predlogov na teh področjih 1 1% 12 3% Zvrnjena ničelna hipoteza, torej signifikantna povezava med vsoto ocen A in odobritvami predlogov projektov pri a = 0,05. 16 23% 161 45% Ničelna hipoteza ni zavrnjena 16 53 76% 188 52% Statistika ni možna 70 100% 361 100% skupaj Delež števila raziskovalnih področij s signifikantno povezavo med vsoto ocen A=A1+A2+A3 vodje projekta in odobrenostjo C « 1 2 « - £ = ® . > s * ;e a s E o w ■D*5 0 OOc -C _ -Q JB E o O O C — n £ 2 <5 >n S ® > eu O Q a 1 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% projekta 2007/2008 2005 Leto razpisa 2002/2003 □ Statistika ni možna □ Ni signifikantne povezanosti pri a = 0,05. □ Je signifikantna povezava med vsoto ocen A in odobritvami predlogov projektov pri a = 0,05. 17 Povezanost med vsoto ocene A=A1+A2+A3 vodje projekta in odobrenostjo projekta > o O T3 P iS ■> & >tn >N 100% 90% 80% 70% > 60% > o £ 50% ŠT 40% p 30% 20% 10% 0% 2007/2008 2005 Leto razpisa 2002/2003 □ Statistika ni možna □ Ni signifikantne povezanosti pri a = 0,05. □ Je signifikantna povezava med vsoto ocen A in odobritvami predlogov projektov pri a = 0,05. 4.4 Oblike pogostnostne porazdelitve predlogov projektov po vsoti ocen A (A=A1+A2+A3) Poglejmo na nekaj primerih, kakšna je pogostnostna (frekvenčna) porazdelitev vsote ocen A predlogov projektov. Izberimo leto 2007, v katerem je tudi bilo največ prijavljenih predlogov projektov v primerjavi z 2002, 2004 in 2005. V vsaki vedi izberimo dve najštevilčnejši področji po številu prijavljenih projektov, skupaj z interdisciplinarnim področjem bo to 13 primerov. Pregled porazdelitev pokaže, da so porazdelitve precej drugačne od normalnih. 18 Pogostnostna porazdelitev predlogov projektov področja 1.02 ¡z 2 0 0 7 po vsoti ocen A 12 10 4 ~ 2 n — — 1—1 i—i n n n n v ,V V V V V V V ^ s <0\ .v .V <0\ <0\ <0\ v v v v v v «V V^ S" V V \ N Pogostnostni razredi ocen A = A1 + A2 + A3 Pogostnostna porazdelitev predlogov projektov področja 1.04 iz 2 0 0 7 po vsoti ocen A TTTT □ \ v ^ ^ ^, ^ ^ A ^ ^ ^ ^ .. .. .. ... v v v- s- V V .V J? V' v v v ^ ^ ^ v V «V v- s- V v v v \v \ "V Pogostnostni razredi ocen A = A1 + A2 + A3 19 Pogostnostna porazdelitev predlogov projektov področja 2.04 ¡z 2 0 0 7 po vsoti ocen A 12 --g 4 n n n vv SS S 3 < ^ \> v> ^ ^v ^ v1'v1'v1' .V .V .V .V .V .V Vv^vA- v Pogostnostni razredi ocen A = A1 + A2 + A3 P ogostnostna porazdelitev predlogov projektov področja 2.07 iz 2 0 0 7 po vsoti ocen A □ \ v V. .v ................... X» s v ? Nv v v v v- s- ^ v v v v v x v Pogostnostni razredi ocen A = A1 + A2 + A3 20 Pogostnostna porazdelitev predlogov projektov področja 3.04 ¡z 2 0 0 7 po vsoti ocen A 5 4 v 3 s 2 \ v \ v.v. v. v v V v V ♦ v v v v V V V SV ^V ^V ^V "rvV V V V V V V V V V V V v v Vs v ^ v v v v \v v x v Pogostnostni razredi ocen A = A1 + A2 + A3 Pogostnostna porazdelitev predlogov projektov področja 5.10 iz 2 0 0 7 po vsoti ocen A 4 3 2 : 1 4-1 \ ^ v v v v v v v v v ^ V V V- S- V v \ v \v v N v Pogostnostni razredi ocen A = A1 + A2 + A3 v 23 0 Pogostnostna porazdelitevpredlogov projektov področja 6.01 iz 2 0 0 7 po vsoti ocen A 7 5 - 4 3 «sg. 2 ; V0 «A V^ < ^ «A «A ^ v «v v- s- v v v v xxs x SN oN oN oN oN Pogostnostni razredi ocen A = A1 + A2 + A3 v^ < ^ * ^ ^ «S ^ V V V V V V V V v* V 'V V VA^ V" S" V V V" V' v" x Pogostnostna porazdelitev predlogov projektov področ ja 6.05 iz 2 0 0 7 po vsoti ocen A 7 6 5 Pogostnostni razredi ocen A = A1 + A2 + A3 24 Pogostnostna porazdelitev predlogov projektov področja 7. iz 2 0 0 7 po vsoti ocen A 7 6 r — o «»=-= 4 OOC t ""tr 3 c/> -a« t) 2 \ V ^ ^ ^ ^ ^ ^ ^ j; V "v S" V V "V V V V ^ v v v^ s^ v v v ^ v v v ^ v Pogostnostni razredi ocen A = A1 + A2 + A3 4.5 Prikaz rezultatov analize po vedah za leto 2007 Rezultati simulacije izbire v drugi krog ter v financiranje po kriteriju A+B, po kriteriju A skupno in po kriteriju B2 Rezultat simulacije izbire po kriteriju A+B po vedah Raziskovalno področje Št. prijavljenih Proj. Št. izbranih v 2.krog/vsi izbrani Delež projektov po kriteriju v strukturi vseh v 2. krogu (v %) Št. izbranih v financiranje/vsi izbrani Delež projektov po kriteriju v strukturi vseh izbranih v financiranje (v %) Naravoslovje 152 41/52 79 25/33 76 Tehnika 222 70/83 84 34/45 75 Biotehnika 79 14/18 78 6/11 55 Družboslovje 72 18/19 95 12/12 100 Humanistika 78 52/56 93 24/35 71 25 Interdisciplinarno 31 12/14 85 7/10 70 SKUPAJ 633 207/242 85 108/146 74 Legenda: A - Vsota kvantitativnih ocen za znanstveno produkcijo A1, znanstveno odmevnost A2 in uspešnost pri pridobivanju projektov oz. sredstev izven ARRS A3. A+B - Vsota kvantitativnih ocen za znanstveno produkcijo, znanstveno odmevnost in uspešnost pri pridobivanju projektov oz. sredstev izven ARRS A in recenzentskih ocen B. B2 - Recenzentske ocene za vsebino predloga projekta B2. Grafični prikaz simulacije izbire po kriteriju A+B po vedah SKUPAJ Interdisciplinarno Humanistika Družboslovje Biotehnika Tehnika Naravoslovje □ Delež projektov po kriteriju v strukturi vseh izbranih v financiranje (v %) □ Delež projektov po kriteriju v strukturi vseh v 2. krogu(v %) 20 40 60 80 100 0 26 Rezultat simulacije izbire po kriteriju A skupno po vedah Raziskovalno področje Št. prijavljenih proj. Št. izbranih v 2.krog/vsi izbrani Delež projektov po kriteriju v strukturi vseh v 2. krogu(v %) Št. izbranih v financiranje/vsi izbrani Delež projektov po kriteriju v strukturi vseh izbranih v financiranje (v %) Naravoslovje 152 33/52 63 18/33 55 Tehnika 222 64/83 76 31/44 68 Biotehnika 79 14/18 78 5/11 45 Družboslovje 72 15/19 80 10/12 83 Humanistika 78 50/56 89 25/35 71 Interdisciplinarno 31 9/14 64 5/10 50 SKUPAJ 629 185/242 76 84/146 57 Rezultat simulacije izbire po kriteriju A skupno po vedah 27 Rezultat simulacije izbire po kriteriju B2 po vedah Raziskovalno področje Št. prijavljenih proj. Št. izbranih v 2.krog/vsi izbrani Delež projektov po kriteriju v strukturi vseh v 2. krogu(v %) Št. izbranih v financiranje/vsi izbrani Delež projektov po kriteriju v strukturi vseh izbranih v financiranje (v %) Naravoslovje 152 40/52 77 23/33 70 Tehnika 222 73/83 88 34/45 75 Biotehnika 79 11/18 61 7/11 64 Družboslovje 72 16/19 84 9/12 75 Humanistika 78 51/56 91 23/35 66 Interdisciplinarno 31 12/14 85 7/10 70 SKUPAJ 203/242 84 103/146 70 Grafični prikaz simulacije izbire po kriteriju B2 po vedah SKUPAJ Interdisciplinarno Humanistika Družboslovje Biotehnika Tehnika Naravoslovje 0 20 40 60 100 □ Delež projektov po kriteriju v strukturi vseh izbranih v financiranje (v %) □ Delež projektov po kriteriju v strukturi vseh v 2. krogu(v %) Uspešnost aplikativnih in temeljnih projektov SKUPNA TABELA 28 Skupna tabela standardni h odklonov posameznih področij A1 A2 A3 B1 B2 B3 Ocene/6 Naravoslovje 1,28 1,16 1,21 0,78 0,63 0,93 3,89 Tehnika 1,23 0,56 1,61 0,95 0,60 0,90 3,87 Medicina 0,92 0,48 0,90 0,84 0,81 1,21 3,17 Biotehnika 0,74 0,35 1,62 0,89 0,76 1,17 3,37 Družboslovje 0,96 0,22 1,21 1,11 0,87 1,06 3,23 Humanistika 1,33 0,02 0,68 0,77 0,67 0,95 2,93 Interdisciplinarne raziskave 1,58 0,88 1,47 0,85 0,79 1,15 4,07 Število prijavljenih projektov 29 Število projektov, ki so bili izbrani v drugi krog (izmed vseh projektov) Število projektov, izbranih v financiranje izmed vseh projektov v isti kategoriji Apl ikativni projekti Temeljni projekti 1 ■ ■ ■ ■ ■ 40 35 30 25 20 15 10 30 Prikaz odvisnosti med vsoto ocen A in panelno oceno drugega kroga (razsevni diagrami) Veda R. Število projektov Naravoslovno matematične vede 0,2457 51 Tehniške vede 0,1412 84 Medicinske vede 0,1469 64 Biotehniške vede 0,0057 18 Družboslovne vede 0,0191 19 Humanistične vede 0,1788 55 Interdisciplinarne raziskave 0,0417 14 31 4.5.1 Primer prikaza po vedah - NARAVOSLOVJE Rezultat simulacije izbire po kriteriju A+B Raziskovalno področje St. prijavljenih proj. St. izbranih v 2.krog/vsi izbrani Delež projektov po kriteriju v strukturi vseh v 2. krogu (v %) St. izbranih v financiranje/vsi izbrani Delež projektov po kriteriju v strukturi vseh izbranih v financiranje (v %) matematika 12 1/2 50 1/1 100 fizika 38 9/12 75 5/7 71 biologija 22 6/8 75 4/5 80 kemija 30 5/8 63 4/6 67 biokemija 12 6/7 86 2/4 50 geologija 18 2/3 67 2/3 67 računsko intenziv. 5 3/3 100 2/2 100 varstvo okolja 11 6/6 100 3/3 100 farmacija 4 3/3 100 2/2 100 SKUPAJ 152 41/52 79 25/33 76 NARAVOSLOVJE Rezultat simulacije izbire po kriteriju A skupno Raziskovalno področje St. prijavljenih projektov St. izbranih v 2.krog /vsi izbrani Delež projektov po kriteriju v strukturi vseh v 2. krogu (v %) St. izbranih v financiranje/vsi izbrani Delež projektov po kriteriju v strukturi vseh izbranih v financiranje (v %) matematika 12 1/2 50 0/1 0 fizika 38 8/12 67 4/7 57 biologija 22 5/8 63 3/5 60 kemija 30 5/8 63 4/6 67 biokemija 12 5/7 71 2/4 50 geologija 18 0/3 0 0/3 0 računsko intenziv. 5 3/3 100 1/2 50 varstvo okolja 11 4/6 67 2/3 67 farmacija 4 2/3 67 2/2 100 SKUPAJ 152 33/52 63 18/33 55 32 NARAVOSLOVJE Rezultat simulacije izbire po kriteriju B2 Raziskovalno področje St. prijavljenih proj. St. izbranih v 2.krog/vsi izbrani Delež projektov po kriteriju v strukturi vseh v 2. krogu(v %) St. izbranih v financiranje/vsi izbrani Delež projektov po kriteriju v strukturi vseh izbranih v financiranje (v %) matematika 12 1/2 50 0/1 0 fizika 38 9/12 75 5/7 71 biologija 22 5/8 63 3/5 60 kemija 30 5/8 63 5/6 83 biokemija 12 6/7 86 3/4 75 geologija 18 3/3 100 3/3 100 računsko intenziv. 5 3/3 100 1/2 50 varstvo okolja 11 5/6 83 1/3 33 farmacija 4 3/3 100 2/2 100 SKUPAJ 152 40/52 77 23/33 70 NARAVOSLOVJE Standardni odklon za posamezne elemente ocenjevanja A1 A2 A3 B1 B2 B3 Ocene/6 Matematika 0,98 0,49 0,00 0,58 0,28 0,76 1,95 Fizika 1,48 1,63 0,88 0,76 0,57 0,90 4,55 Biologija 0,96 0,52 1,43 0,72 0,92 0,88 3,26 Kemija 1,07 0,79 1,42 0,72 0,39 0,95 3,65 Biokemija in molekularna biologija 0,96 1,32 0,93 0,74 0,33 0,87 4,07 Geologija 0,72 0,28 1,15 0,63 0,71 0,87 2,39 Računsko intenzivne metode in aplikacije 1,64 0,45 0,91 0,45 0,13 0,84 1,84 Varstvo okolja 1,35 1,43 1,81 1,11 0,62 0,89 5,59 Farmacija 1,36 0,38 1,96 0,82 0,62 0,63 4,76 Prikaz odvisnosti med vsoto ocen A in panelno oceno drugega kroga (razsevni diagrami) 33 Naravoslovno matematične vede Prikaz odvisnosti med vsoto ocen A in panelno oceno (prijave 2008 brez postdoc prijav) 25 20 ra § 15 o ra a 10 c ra o. ♦ ♦♦ «* * ♦ ♦ ♦ 1* ' A '—" ♦ ♦ ♦ ____ ^ % ♦ ♦ ♦♦♦ ♦ ♦ ♦ ♦ ♦ y = 0,2626x + 14,856 R2 = 0,2457 5 6 8 10 Skupna ocena A (A1+A2+A3) 12 14 16 0 34 35 36