Oznaka poročila: ARRS-RPROJ-ZP-2013/40 ZAKLJUČNO POROČILO RAZISKOVALNEGA PROJEKTA A. PODATKI O RAZISKOVALNEM PROJEKTU 1.Osnovni podatki o raziskovalnem projektu Šifra projekta J3-2155 Naslov projekta Bibliometrijske metode ocenjevanja raziskovalnih rezultatov in njihova uporaba v medicinskih vedah Vodja projekta 8992 Janez Stare Tip projekta J Temeljni projekt Obseg raziskovalnih ur 5310 Cenovni razred A Trajanje projekta 05.2009 - 04.2012 Nosilna raziskovalna organizacija 381 Univerza v Ljubljani, Medicinska fakulteta Raziskovalne organizacije -soizvajalke 245. ZAVOD BIOMEDICINSKA RAZVOJNO INOVACIJSKA 2451 SKUPINA Raziskovalno področje po šifrantu ARRS 3 MEDICINA 3.08 Javno zdravstvo (varstvo pri delu) Družbenoekonomski cilj .3 03 Medicinske vede - RiR financiran iz drugih virov (ne iz 13.03 SUF) 2.Raziskovalno področje po šifrantu FOS1 Šifra 3.03 -Veda 3 Medicinske vede - Področje 3.03 Zdravstvene vede B. REZULTATI IN DOSEŽKI RAZISKOVALNEGA PROJEKTA 3.Povzetek raziskovalnega projekta2 SLO Vsaka država se praviloma zaveda pomena znanstvenega raziskovanja in njegove vloge pri družbenem, kulturnem in gospodarskem razvoju. Finančno pa tudi vsebinsko so najpomembnejši sklopi državnega financiranja temeljni in aplikativni raziskovalni projekti ter podiplomski študij in raziskovalno usposabljanje mladih raziskovalcev in v zadnjih desetih letih raziskovalni programi. Programske raziskovalne skupine so bile oblikovane v letu 1998. V javnih raziskovalnih organizacijah so jih vzpostavili z raziskovalci ene ali več raziskovalnih skupin. Ministrstvo, v Sloveniji pristojno za znanost, je začelo financirati raziskovalne programe na obeh slovenskih univerzah in v javnih raziskovalnih zavodih v letu 1999. Raziskovalni programi se v okviru javnih raziskovalnih organizacij izvajajo kot javna služba in predstavljajo zaokroženo področje raziskovalnega dela, za katerega je pričakovati, da bo v svetu aktualno vsaj še v naslednjem desetletju, in ki je hkrati toliko pomembno za Slovenijo, da obstaja državni interes, da programska skupina na tem področju dolgoročneje raziskuje. Kot podpora ekspertnem sistemu, čigar naloga je evaluacija in skrb za financiranje najkvalitetnejših in najbolj relevantnih raziskovalnih programov in projektov je postavljen sistem kvantitativnega spremljanja raziskovalnih dosežkov. Za temelji na sistemu vzajemne katalogizacije COBISS, kontroli vnosa s strani Osrednjih specializiranih informacijskih centrov in podatkov iz Web of Science, baze, ki vsebuje podatke iz indeksov citiranja in druge izpeljane bibliometrijske indikatorje. Medicina je opredeljena kot ena izmed šestih ved s devetimi področji; Mikrobiologija in imunologija, Stomatologija, Nevrobiologija, Onkologija, Reprodukcija človeka, Srce in ožilje, Metabolne in hormonske motnje, Javno zdravstvo (varstvo pri delu) in Psihiatrija. Za vse programske skupine izvajalke raziskovalnih programov v Sloveniji imamo rezultate sistema merjenja znanstvene produkcije in smo zato lahko primerjali ocene, ki jih dajeta kvantitativno merjenje raziskovalnih rezultatov in njihovo ocenjevanje s strani ekspertov, strokovnjakov z določenega področja (»peer-review«) pri prijavah projektov. Na odmevnost, merjeno s številom citatom, ki jih prejme določena objava, vplivajo različne dejavniki. V projektu smo podrobneje raziskali dva dejavnika, status revije v kateri je bil objavljen določen članek in vpliv mednarodnega sodelovanja. Posebno slednje nima enakega vpliva na vseh znanstvenih področjih. Na področju medicine je vpliv mednarodnega sodelovanja na odmevnost zelo očiten, na področju fizike tega vpliva ni bilo mogoče enoznačno zaslediti. Na zanesljivost bibliometrijskih indikatorjev vpliva tudi velikost same raziskovalne skupine. Distribucija citatov večjih raziskovalnih skupin je mogoče reducirati z določenim faktorjem in tako primerjati z distribucija citatov objav manjših raziskovalnih skupin. Tako prilagojen Hirschov indeks potem omogoča boljšo primerjavo raziskovalnih skupin znotraj istih znanstvenih področij. ANG Each country is generally aware of the importance of scientific research and its role in social, cultural and economic development. The most important part of national research policy in last decade are state funding basic and applied research projects, post-doc studies and research training of young researchers training research programs. Present system of research programs was formed in 1998. The public research organizations programs was set up by the researchers of one or more research groups. The Ministry in Slovenia responsible for science, has begun funding research programs in both Slovenian universities and public research institutes in 1999. Research programs in the context of public research organizations are realized as public service and represent a rounded area of research, actual for the next decade. The expert system, whose goal is to care for the evaluation and funding of the highest quality and most relevant research programs and projects was set on the basis of Current Research information system SICRIS. Slovenia has a centralised and unified system of researchers' bibliographies, which form part of the Co-operative Online Bibliographic System and Services (COBISS) and is connected to data from the Web of Science database, which contains information from citation indexes, and other derived bibliometric indicators. Medicine is defined as one of the six disciplines with the nine areas, Microbiology and immunology, dentistry, Neurobiology, Oncology, Human reproduction, Cardiovascular, Metabolic and hormonal disorders, public health (at work) and Psychiatry. For all research programs in Slovenia we have analyzed the results of a system for measuring scientific production and we were therefore able to compare the estimates offered by the quantitative measurement of research results and their evaluation by experts, experts in particular areas ("peer-review") for research programs and projects. Further we analyzed the papers published by Slovenian authors in international scholar journals by two indicators, the status of the journal in which the article was published and the international cooperation. Our results showed that the latter does not have the same impact in all areas of science. In the field of medicine, the impact of international cooperation on the visibility is very clear, in the field of physics, this effect could not be unambiguously detected. The reliability of bibliometric indicators also affect the size of a single research group. Distribution of citations major research groups can be reduced to a particular factor and also to compare the distribution of total citations small research groups. As adapted Hirsch index then allows a better comparison of the research groups within the same scientific fields. 4.Poročilo o realizaciji predloženega programa dela na raziskovalnem projektu3 Bibliometrijske metode ocenjevanja raziskovalnih rezultatov so znana že desetletja. Vendar nikoli niso bila tako aktualno kot so to danes. V Sloveniji imamo kot podporo ekspertnem sistemu, čigar naloga je evaluacija in skrb za financiranje najkvalitetnejših in najbolj relevantnih raziskovalnih programov in projektov postavljen sistem kvantitativnega spremljanja raziskovalnih dosežkov. Ta temelji na sistemu vzajemne katalogizacije COBISS, kontroli vnosa s strani Osrednjih specializiranih informacijskih centrov in podatkov iz Web of Science, baze, ki vsebuje podatke iz indeksov citiranja in druge izpeljane bibliometrijske indikatorje. Indeksi citiranja so osnova za analizo citiranja, ki se je uveljavila kot najbolj pogosto uporabljana bibliometrijska metoda za ocenjevanje različnih vidikov kvalitete raziskovalnega dela ter postala pomembno orodje pri obravnavi raziskovalnih projektov in osebnega napredovanja - habilitacije tistih, ki jim je znanstveno raziskovanje temeljno delo in naloga. Na osnovi citatov in citiranja se tudi razvrščajo znanstvene revije, objave v njih potem vrednotimo posredno, glede na citiranje glede na citiranost revije. Zato tudi pospešen interes bibliometrijskih strokovnjakov za razumevanje, kaj pravzaprav merimo z analizo citiranja in kaj pomenijo sami citati in kaj različna bibliometrijska merila, kot so dejavnik vpliva za revije ali Hirschov indeks za posameznega raziskovalca. V zadnjih letih v bibliometriji prevladuje mnenje, da je teorija citiranja premalo izdelana in zato pogosto nimamo pravih izhodišč, s pomočjo katerih bi lahko razumeli in pojasnili dobljene rezultate analize citiranja. To seveda posledično pomeni tudi težave pri uporabi bibliometrijskih metod in kazalcev pri ocenjevanju raziskovalnega dela Objavljanje rezultatov raziskovalnega dela je treba razumeti kot del informacijskega in komunikacijskega sistema v znanosti, ki povezuje raziskovalce, avtorje in bralce v znanstveno skupnost. Običajno si raziskovalci zelo želijo, da so rezultati njihovega dela, objave, čimbolj brane (in seveda upoštevane), predvsem s strani njihovih kolegov, pa tudi širše znanstvene javnosti. Sistem citiranja formalizira ta informacijsko komunikacijski sistem in je njegov kvantificiran odraz, saj je možno status osrednjih revij, člankov ali raziskovalnih skupin s tem tudi meriti. V našem projektu smo z različnimi metodami opravili analize bibliometrijskih podatkov, ki jih v Sloveniji uporabljamo. Pri teh analizah smo sicer obravnavali predvsem področje medicine, a praviloma tako, da smo ga primerjali z celoto raziskovanja v Sloveniji ali pa z posameznimi vedami in področji. Na ta način smo preverjali različne hipoteze, ki so temeljile na dosedanjih bibliometrijskih raziskavah. To, da smo izbrali aktualna področja dokazujejo tudi objave v najbolj ugledni reviji s področja bibliometrije »Scientometrics«. Vse hipoteze smo preverjali na podatkih zbranih iz Web of Science in povezanih s sistemom COBISS/SICRIS. Hipoteze: 1. Kvantitativni (bibliometrijski) in kvalitativni (ekspertne ocene), so med seboj povezane. 2. Na število citatov vpliva pomembno vpliva mednarodno sodelovanje in velikost skupine. Hipoteze smo dokazovali na podatkih o nacionalni znanstveni produkciji. Ugotovili smo, da ne moremo enoznačno dokazovati tako široko zastavljene hipoteze in da je potrebno upoštevati razlike med znanstvenimi vedami. V projektu smo podrobneje raziskali dva dejavnika, status revije v kateri je bil objavljen določen članek in vpliv mednarodnega sodelovanja. Posebno slednje nima enakega vpliva na vseh znanstvenih področjih. Na področju medicine je vpliv mednarodnega sodelovanja na odmevnost zelo očiten, na področju fizike tega vpliva ni bilo mogoče enoznačno zaslediti. Pomen mednarodnega sodelovanja na področju medicinskih ved lahko povežemo tudi z ugotovljeno skromnim financiranjem. Vzroki za to pa so žal predvsem v šibkem kadrovskem potencialu na področju medicinskih ved in je zelo verjetno prav mednarodno sodelovanje tu nujen korektiv. Kvantitativni kazalniki za merjenje znanstvene produkcije in odmevnosti te produkcije in s tem na nek način kvalitete, znanstvene odličnosti te produkcije, ki jih izpostavljamo so naslednji bibliometrijski kazalniki: število znanstvenih objav, število citatov in število visoko citiranih znanstvenih objav v določenem obdobju v revijah indeksiranih v bibliografskih bazah SCI, SSCI in AHCI. Ko smo primerjali smo rezultate, ki jih dosegajo države članice EU v preteklem petletnem oziroma enajstletnem obdobju ob upoštevanju števila prebivalcev posamezne države in v odnosu do EU povprečja. Po številu objav v obdobju 2004-2008 Slovenija za 30 odstotnih točk presega EU povprečje, po številu citatov in številu visoko citiranih objav v obdobju 1998 - 2008 smo na 73 oziroma 60 odstotkih EU povprečja. Po kazalniku število člankov na milijon prebivalcev smo na sedmem mestu med državami EU, po drugih dveh kazalnikih pa na trinajstem mestu. Primerjava o celotnih letnih vloženih sredstvih za raziskave in razvoj, ki kaže na to, da po tem kazalniku še znatno zaostajamo za povprečjem EU (63 odstotkov EU povprečja). Področje medicinskih ved sicer tudi kaže podobno rast, a vendar v veliki meri zaradi mednarodnega sodelovanja. Na področju klinične medicine je v opazovanem obdobju takšnih člankov kar 40%. Na zanesljivost bibliometrijskih indikatorjev vpliva tudi velikost same raziskovalne skupine. Distribucija citatov večjih raziskovalnih skupin je mogoče reducirati z določenim faktorjem in tako primerjati z distribucija citatov objav manjših raziskovalnih skupin. Tako prilagojen Hirschov indeks potem omogoča boljšo primerjavo raziskovalnih skupin znotraj istih znanstvenih področij. S.Ocena stopnje realizacije programa dela na raziskovalnem projektu in zastavljenih raziskovalnih ciljev4 Realizirali smo velik del zastavljenega program dela. Ni nam uspelo edino analizirati povezavo med raziskovanjem v slovenski medicini in zdravstvenimi kazalniki. Slednje smo opredelili kot podatke o morbiditeti in mortaliteti. Osnovni problem je v zelo različnih klasifikacijskih kategorijah, ki jih uporabljamo na teh dveh področjih, ki bi jih brez zelo temeljite obdelave težko primerjali. 6.Utemeljitev morebitnih sprememb programa raziskovalnega projekta oziroma sprememb, povečanja ali zmanjšanja sestave projektne skupine5 Sprememb programa sicer ni bilo, izkazalo pa se je, da bo ena od idej, namreč povezava med raziskovanjem v slovenski medicini in zdravstvenimi kazalniki, težko izvedljiva. Problem je predvsem z merjenjem in dostopnostjo podatkov o obolevnosti. Idejo bomo poskušali realizirati v okviru programske skupine. 7.Najpomembnejši znanstveni rezultati projektne skupine6 Znanstveni dosežek 1. COBISS ID 30069465 Vir: COBISS.SI Naslov SLO Primerjava porazdelitev citatov in h indeksa med skupinami različnih velikosti ANG Comparison of the citation distribution and h-index between groups of different sizes Opis SLO Na primerjave porazdelitev citiranosti močno vpliva število objavljenih člankov, kar je vezano na velikost primerjanih skupin. V članku uvedemo metodo za primerjanje skupin različnih velikosti. Porazdelitev citiranosti večje skupine je zmanjšana za ustrezen faktor in primerjana s porazdelitvijo manjše skupine. Podane so pričakovane vrednosti in tolerančni intervali za reducirano množico citatov. Obe porazdelitvi lahko tudi grafično primerjamo. Izračunan je tudi reduciran Hirschev h indeks. Metodo lahko uporabljamo skupine ali enote, ki se ločijo glede na velikost financiranja, v številu raziskovalcev, lahko primerjamo države ob upoštevanju velikosti populacije ali BDPja in podobno. Pokažemo, da je za računanje reduciranega h indeksa dovolj poznavanje zgornjega dela porazdelitve pri večji skupini. Metode ilustriramo z različnimi primeri. ANG Evaluating the performance of institutions with different resources is not easy, any citation distribution comparisons are strongly affected by the differences in the number of articles published. The paper introduces a methodfor comparing citation distributions of research groups that differ in size. The citation distribution of a larger group is reduced by a certain factor and compared with the original distribution of a smaller group. Expected values and tolerance intervals of the reduced set of citations are calculated. A comparison of both distributions can be conveniently viewed in agraph. The size-independent reduced Hirsch index - a function of reducing factor that allows the comparison of groups within a scientific field - is calculated in the same way. The method can be used for comparing groups or units differing in full-time equivalent, funding or the number of researchers,for comparing countries by population, gross domestic product, etc. It is shown that for the calculation of the reduced Hirsch index, the upper part of the original citation distribution is sufficient. The method is illustrated through several case comparisons. Objavljeno v Elsevier; Journal of informetrics; 2012; Vol. 6, iss. 4; str. 712-720; Impact Factor: 4.229;Srednja vrednost revije / Medium Category Impact Factor: 0.98; A'': 1;A': 1; WoS: NU; Avtorji / Authors: Pohar Perme Maja, Stare Janez, Žaucer Rok, Žaucer Matjaž Tipologija 1.01 Izvirni znanstveni članek 2. COBISS ID 30085593 Vir: COBISS.SI Naslov SLO Učinki mednarodnega sodelovanja in statusa revije na vpliv člankov ANG Effects of international collaboration and status of journal on impact of papers Pričujoča študija preučuje vpliv mednarodnega sodelovanja slovenskih avtorjev in statusa znanstvenih revij ( glede na dejavnike/faktorje vpliva), kjer so objavljeni rezultati njihovega raziskovalnega dela, na odmevnost Opis SLO ANG teh objav. Odmevnost je merjena s številom citatov, ki jih je posamezna objava prejela. Analizirani so bile objave raziskovalnih skupin, ki so delavale v Sloveniji v obdobju 2004-2008 na področjih fizike, kemije, biologije, biotehnologije in medicinskih znanosti. Rezultati so pokazali, da se učinki obeh dejavnikov razlikujejo med raziskovalnimi področji. Na osnovi teh rezultatov smo analizirali možne razloge za te razlike med raziskovalnimi področji, vključno z možnostjo, da so te razlike posledica pretekle raziskovalne politike v Sloveniji. This study examines the effect of international collaboration of Slovenian authors and the status of journals where papers are published (as determined by their impact factors) on the impact of papers as measured by the number of citations papers receive. Research programme groups working in Slovenia in the2004-2008 period in the fields of physics, chemistry, biology, biotechnology, and medical science were used for analyses. The results of the analyses show that the effects of the two factors differ among the fields. We discuss possible reasons for this, including the possibility that differences are the result of Sloveniacs science policy. Objavljeno v Elsevier;Akademiai Kiado; Scientometrics; 2012; Vol. 93, no. 3; str. 937948; Impact Factor: 1.966;Srednja vrednost revije / Medium Category Impact Factor: 0.98; A'': 1;A': 1; WoS: EV, NU; Avtorji / Authors: Pečlin Stojan, Južnič Primož, Blagus Rok, Čižek-Sajko Mojca, Stare Janez Tipologija 1.01 Izvirni znanstveni članek 3. COBISS ID 30236889 Vir: COBISS.SI Naslov SLO Medicinske raziskave v Sloveniji - raziskovalni potencial, financiranje in objave ANG Research in the fields of medicine in Slovenia - research potential, funding, and publications Opis SLO V študiji celovito prikazujemo financiranje raziskovalne dejavnosti iz javnih virov, kadrovske raziskovalne potenciale v Sloveniji in rezultate (objave v soavtorstvu slovenskih raziskovalcev v revijah indeksiranih v bibliografskih bazah ISI). Znotraj tega še posebej oz. podrobneje analiziramo raziskovalna področja medicine in njihov delež v strukturi vseh znanstvenih področij v Sloveniji. Iz prikazov financiranja raziskovalne dejavnosti iz javnih virov in kadrovskih potencialov v Sloveniji so vidne relativno velike razlike med vedami in raziskovalnimi področji. Obseg kadrovskih potencialov in sredstva za znanstveno-raziskovalno delo ter njihova razdelitev so v veliki meri rezultat razvoja znanosti in znanstvene politike v Sloveniji v preteklih šestdesetih letih. Raziskovalne potenciale označujemo oz. razlagamo kot število raziskovalnih skupin, število raziskovalcev, razpoložljive kapacitete za raziskovalno delo izražene v FTE. Kot raziskovalne rezultate obravnavamo oz. štejemo znanstvene objave publicirane v revijah indeksiranih v bibliografskih bazah ISI in citiranost teh objav. Med sektorji izvajanja raziskovalnega dela smo podrobneje analizirali državni sektor in visokošolski sektor, saj tu v pretežni meri poteka raziskovalno delo, katerega rezultati se kažejo v znanstvenih objavah, ki so osnovna tema naše študije. Raziskovali oz. analizirali smo če so in kako relativno velike razlike v kadrovskih potencialih in financiranju iz javnih virov vidne tudi pri znanstveni produkciji in odmevnosti znanstvenih rezultatov. Rezultati kažejo, da se je predvsem na področjih klinične medicine v zadnjem obdobju bistveno povečalo število znanstvenih objav, tako da je Slovenija naprimer v primerjavi z državami EU po številu objav na milijon prebivalcev nekje v povprečju držav EU. Znatno slabše pa je glede odmevnosti oz. kvalitete objav, saj je Slovenija praktično na repu med vsemi državami EU. Obseg raziskovalnih kadrovskih potencialov na področjih medicine v Sloveniji je skromen. Večina raziskovalcev je razpetih na strokovno oz. ANG klinično delo, pedagoško aktivnost in raziskovalno delo. Posledično je obseg sredstev iz javnih virov za raziskovalno delo na raziskovalca nizek. Brez bistvenega povečanja kadrovskih raziskovalnih kapacitet na področjih medicine ni pričakovati večjega in trajnejšega izboljšanja stanja v kvaliteti torej odmevnosti objav v slovenskem soavtorstvu. In this study funding of research from public sources, research potentials, that is number of researchers, and scientific results (scientific papers authored or co-authored by researchers from Slovenia) are analysed. Research fields of medicine are analysed more in-depth and comparatively with some other research fields, for better understanding of differences, that might be a result of long term science policy in Slovenia. The aim of this study was to find out if relatively big differences in research potentials and public funding are also visible in the number of scientific papers and their impact Research potential were defined as number of research groups and number of researchers (head count) and expressed in their capacities to research in FTE (full time equivalent). Research results data were analysed and evaluated basically as bibliometric data, number of papers published in ISI - indexed journals, and their impact, number of received citations. Quantitative indicators, which were used for the evaluation of research results, could be divided in two groups: indicators of scientific activities and indicators of scientific productivity and impact. We have analysed more thoroughly investment from public sources in Higher education and Government sector as that is the research, which we had concentrated our interests on. Scientific papers are mostly the result of performance in Higher education sector and Government sector. Differences in research potentials and public funding are influencing only partly the number of scientific papers, but might have more to do with their impact. Results show that the number of papers published in authorship or co-authorship of researchers from Slovenia is growing quickly especially in the subfields of clinical medicine. Comparison of number of papers per million inhabitants puts Slovenia slightly above EU average but in terms of impact, number of citations received per average article, Slovenia is on penultimate place among EU member states. Size of human research potentials in the fields of medicine in Slovenia is modest. Majority of researchers are also engaged in medical practice and pedagogical work. Consecutively funds from public sources for research per researcher are low. Research fields of medicine need in the first place the enlargement of human research resources, which can then give basis for rise in funding and then also the impact of its research results might be closer to EU and world average. Objavljeno v [Slovensko zdravniško društvo]; Zdravniški vestnik; 2012; Letn. 81, št. 9; str. 602-617; Impact Factor: 0.155;Srednja vrednost revije / Medium Category Impact Factor: 2.53; WoS: PY; Avtorji / Authors: Pečlin Stojan, Južnič Primož Tipologija 1.01 Izvirni znanstveni članek 4. COBISS ID 42424418 Vir: COBISS.SI Naslov SLO Scientometrični indikatorji ANG Scientometric indicators Članek se ukvarja z vlogo scientometrijskih kazalnikov v ekspertnem ocenjevanju predlogov raziskovalnih projektov. Opravljena je bila ex-post evalvacija treh projektnih razpisov ARRS: razpisa iz leta 2003 z ekspertnim ocenjevanjem, kjer je bilo v precejšnji meri prisotno nasprotje interesov, razpisa iz leta 2005 z mednarodnim ekspertnim ocenjevanjem in manjšim nasprotjem interesov, toda z omejenim številom recenzentov, in razpisa iz leta 2008 s kombinacijo scientometrijskih kazalnikov in mednarodnim ekspertnim ocenjevanjem. Postavili smo hipotezo, da je v okviru treh Opis SLO ANG različnih ocenjevalnih sistemov različna usklajenost med ekspertnimi ocenami in rezultatom, ki ga da nabor scientometrijskih kazalnikov. . Pri zadnjih dveh odločanjih o izboru projektov, kjer je bilo nasprotje interesov prisotno v manjši meri oziroma ga ni bilo, je bil odstotek projektov, ki bi se uvrstili v financiranje neodvisno od metode izbora, relativno visok (65 odstotkov), medtem ko je bil pri razpisu iz leta 2003, ko je bilo nasprotje interesov prisotno v večji meri, odstotek projektov, ki bi se uvrstili v financiranje neodvisno od metode izbora, nižji (49 odstotkov). Težko si je predstavljati, da bi s scientometrijskimi kazalniki nadomestili ekspertno ocenjevanje, je pa res, da z uvedbo scientometrijskih kazalnikov v evalvacijski proces po eni strani odkrivamo slabosti ekspertnega ocenjevanja, po drugi strani pa se lahko verificirajo rezultati ekspertnega ocenjevanja in minimizira nasprotja interesov. The paper discusses the role of scientometric indicators in peer-review selection of research project proposals. An ex post facto evaluation was made of three calls for research project proposals in Slovenia: 2003 with a peer review system designed in a way that conflict of interest was not avoided effectively, 2005 with a sound international peer-review system with minimized conflict of interest influence but a limited number of reviewers, and 2008 with a combination of scientometric indicators and a sound international peer review with minimized conflict of interest influence. The hypothesis was that the three different peer review systems would have different correlations with the same set of scientometric indicators. In the last two decision-making systems (2005 and 2008) where conflict of interest was effectively avoided, we have a high percentage (65%) of projects that would have been selected in the call irrespective of the method (peer review or bibliometrics solely). In contrast, in the 2003 call there is a significantly smaller percentage (49%) of projects that would have been selected in the call irrespective of the method (peer review or bibliometrics solely). It was shown that while scientometric indicators can hardly replace the peer-review system as the ultimate decision-making and support system, they can reveal its weaknesses on one hand and on the other can verify peer-review scores and minimize conflict of interest if necessary. Objavljeno v Elsevier;Akademiai Kiado; Scientometrics; 2010; Vol. 85, no. 2; str. [429]-441; Impact Factor: 1.905;Srednja vrednost revije / Medium Category Impact Factor: 1.069; A'': 1;A': 1; WoS: EV, NU; Avtorji / Authors: Južnič Primož, Pečlin Stojan, Žaucer Matjaž, Mandelj Tilen, Pušnik Miro, Demšar Franci Tipologija 1.01 Izvirni znanstveni članek S.Najpomembnejši družbeno-ekonomski rezultati projektne skupine7 Družbeno-ekonomski dosežek 1. COBISS ID Naslov SLO ANG Opis SLO ANG Šifra Objavljeno v Tipologija 9.Drugi pomembni rezultati projetne skupine8 lO.Pomen raziskovalnih rezultatov projektne skupine9 10.1.Pomen za razvoj znanosti10 SLO Danes je raziskovalni interes v bibliometriji predvsem usmerjen v odkrivanje tega, kaj analiza citiranja pravzaprav meri in projekt se vključuje ravno v ta trend razvoja bibliometrije. Raste pa tudi število raziskav, ki poskušajo razumeti indikatorje, s katerimi je možno meriti kvaliteto določenega raziskovalnega dela. Seveda tistega raziskovalnega dela, ki je bolj usmerjeno v temeljno raziskovanje in ne tistega, ki se izvaja kot podpora pedagoškemu dela ali pa po naročilu neposrednega uporabnika. Objavljeni rezultati raziskovalnega dela so osnovni mehanizem tudi za ocenjevanje kvalitete raziskovalnega dela, kar je pomembno za napredovanje znotraj akademske ali raziskovalne ustanove, ali za pridobivanje sredstev za nadaljnje raziskovalno delo. Zbiranje kvantitativnih kazalcev o znanstvenih dosežkih je pomembno, a se ga je potrebno lotevati tudi z določeno previdnostjo. Tu ne gre za enostavno štetje člankov ali citatov. Prav tako lahko nekatere ugotovitve (recimo o določenih povezavah) veljajo za nekatere države, nasprotne pa za druge. V tem projektu smo predlagali povsem novo, statistično korektno, metodo za primerjanje kakovosti skupin različnih velikosti in preverili nekatere ugotovitve o povezavah s tujimi soavtorji na slovenskih podatkih. ANG Tesearch in bibliometrics is presently oriented towards understanding of what we are measuring via citations analysis and the project was well in line with this trend. Understanding the indicators which supposedly measure the quality of basic research is of course crucial. The published research results are the main source for evaluating the quality of research, and are used in habilitation processes and in alocating money for research. This is not and should not be a simple count of articles or citations. Also, some findings maybe be valid for certain countries, but the opposite may be true for others. In this project we proposed an entirely new, statistically sound, measure for comparison of research groups (teams, universities, countries ...), and we checked certain findings by studying the Slovenian situation. 10.2.Pomen za razvoj Slovenije11 SLO Četudi je šlo za projekt, s katerim smo želeli preveriti nekatere temeljne trditve v bibliometriji lahko rečemo, da imajo rezultati tudi svoj pomen za Slovenijo, predvsem za sistem evaluacije, ki ga uporabljamo za raziskovalno dejavnost. Citiranost objave raziskovalnega dela je zagotovo mnogoznačen fenomen. Tu gre za različne elemente: vidnost, odmevnost, pa tudi vplivnost in odličnost. Vsi naši raziskovalni rezultati, četudi imajo širši pomen, temeljijo na podatkih o raziskovalnih skupinah v Sloveniji. Torej imajo tudi analize teh podatkov tudi zelo konkreten pomen za njihovo vrednotenje in uporabo. ANG This was a project where we wanted to check out some of the basic hypothesis in bibliometrics, it can be said that the results also are important for Slovenia, particularly for the existing system of research results evaluation. Citations of research papers and other publication are certainly complicated phenomena, esepecilally whent they are used for assesmnet purposes. This is due to a variety of elements: visibility, impact, influence, and excellence. All of our research results, even if they have a broader meaning, are based on data from research groups in Slovenia. So the analysis of these data has the concrete meaning for research evaluation and assesment. ll.Samo za aplikativne projekte in podoktorske projekte iz gospodarstva! Označite, katerega od navedenih ciljev ste si zastavili pri projektu, katere konkretne rezultate ste dosegli in v kakšni meri so doseženi rezultati uporabljeni Cilj F.01 Pridobitev novih praktičnih znanj, informacij in veščin Zastavljen cilj o da o ne Rezultat 1 d Uporaba rezultatov 1 d F.02 Pridobitev novih znanstvenih spoznanj Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.03 Večja usposobljenost raziskovalno-razvojnega osebja Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.04 Dvig tehnološke ravni Zastavljen cilj o da o ne Rezultat I d Uporaba rezultatov 1 d F.05 Sposobnost za začetek novega tehnološkega razvoja Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.06 Razvoj novega izdelka Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.07 Izboljšanje obstoječega izdelka Zastavljen cilj o da o ne Rezultat Uporaba rezultatov F.08 Razvoj in izdelava prototipa Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.09 Razvoj novega tehnološkega procesa oz. tehnologije Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.10 Izboljšanje obstoječega tehnološkega procesa oz. tehnologije Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.11 Razvoj nove storitve Zastavljen cilj o da o ne Rezultat Uporaba rezultatov d F.12 Izboljšanje obstoječe storitve Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.13 Razvoj novih proizvodnih metod in instrumentov oz. proizvodnih procesov Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.14 Izboljšanje obstoječih proizvodnih metod in instrumentov oz. proizvodnih procesov Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.15 Razvoj novega informacijskega sistema/podatkovnih baz Zastavljen cilj O da o ne Rezultat d Uporaba rezultatov 1 d F.16 Izboljšanje obstoječega informacijskega sistema/podatkovnih baz Zastavljen cilj O da o ne Rezultat I d Uporaba rezultatov 1 d F.17 Prenos obstoječih tehnologij, znanj, metod in postopkov v prakso Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov 1 d F.18 Posredovanje novih znanj neposrednim uporabnikom (seminarji, forumi, konference) Zastavljen cilj o da o ne Rezultat I d Uporaba rezultatov 1 d F.19 Znanje, ki vodi k ustanovitvi novega podjetja ("spin off") Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.20 Ustanovitev novega podjetja ("spin off") Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov F.21 Razvoj novih zdravstvenih/diagnostičnih metod/postopkov Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.22 Izboljšanje obstoječih zdravstvenih/diagnostičnih metod/postopkov Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.23 Razvoj novih sistemskih, normativnih, programskih in metodoloških rešitev Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.24 Izboljšanje obstoječih sistemskih, normativnih, programskih in metodoloških rešitev Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.25 Razvoj novih organizacijskih in upravljavskih rešitev Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.26 Izboljšanje obstoječih organizacijskih in upravljavskih rešitev Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.27 Prispevek k ohranjanju/varovanje naravne in kulturne dediščine Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.28 Priprava/organizacija razstave Zastavljen cilj o da o ne Rezultat Uporaba rezultatov d F.29 Prispevek k razvoju nacionalne kulturne identitete Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.30 Strokovna ocena stanja Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.31 Razvoj standardov Zastavljen cilj o da o ne Rezultat Uporaba rezultatov d F.32 Mednarodni patent Zastavljen cilj o DA O NE Rezultat d Uporaba rezultatov d F.33 Patent v Sloveniji Zastavljen cilj O da o ne Rezultat I d Uporaba rezultatov 1 d F.34 Svetovalna dejavnost 1 Zastavljen cilj O da o ne Rezultat d Uporaba rezultatov d F.35 Drugo Zastavljen cilj O da o ne Rezultat d Uporaba rezultatov 1 d Komentar 12.Samo za aplikativne projekte in podoktorske projekte iz gospodarstva! Označite potencialne vplive oziroma učinke vaših rezultatov na navedena področja Vpliv Ni vpliva Majhen vpliv Srednji vpliv Velik vpliv G.01 Razvoj visokošolskega izobraževanja G.01.01. Razvoj dodiplomskega izobraževanja O O O o G.01.02. Razvoj podiplomskega izobraževanja o o o o G.01.03. Drugo: o o o o G.02 Gospodarski razvoj G.02.01 Razširitev ponudbe novih izdelkov/storitev na trgu o o o o G.02.02. Širitev obstoječih trgov o o o o G.02.03. Znižanje stroškov proizvodnje o o o o G.02.04. Zmanjšanje porabe materialov in energije o o o o G.02.05. Razširitev področja dejavnosti o o o o G.02.06. Večja konkurenčna sposobnost o o o o G.02.07. Večji delež izvoza o o o o G.02.08. Povečanje dobička o o o o G.02.09. Nova delovna mesta o o o o G.02.10. Dvig izobrazbene strukture zaposlenih o o o o G.02.11. Nov investicijski zagon o o o o G.02.12. Drugo: o o o o G.03 Tehnološki razvoj G.03.01. Tehnološka razširitev/posodobitev dejavnosti o o o o G.03.02. Tehnološko prestrukturiranje dejavnosti o o o o G.03.03. Uvajanje novih tehnologij o o o o G.03.04. Drugo: o o o o G.04 Družbeni razvoj G.04.01 Dvig kvalitete življenja O o o o G.04.02. Izboljšanje vodenja in upravljanja o o o o G.04.03. Izboljšanje delovanja administracije in javne uprave o o o o G.04.04. Razvoj socialnih dejavnosti o o o o G.04.05. Razvoj civilne družbe o o o o G.04.06. Drugo: o o o o G.05. Ohranjanje in razvoj nacionalne naravne in kulturne dediščine in identitete o o o o G.06. Varovanje okolja in trajnostni razvoj o o o o G.07 Razvoj družbene infrastrukture G.07.01. Informacijsko-komunikacijska infrastruktura o o o o G.07.02. Prometna infrastruktura o o o o G.07.03. Energetska infrastruktura o o o o G.07.04. Drugo: o o o o G.08. Varovanje zdravja in razvoj zdravstvenega varstva o o o o G.09. Drugo: o o o o Komentar 13.Pomen raziskovanja za sofinancerje12 Sofinancer 1. Naziv Naslov Vrednost sofinanciranja za celotno obdobje trajanja projekta je znašala: EUR Odstotek od utemeljenih stroškov projekta: % Najpomembnejši rezultati raziskovanja za sofinancerja Šifra 1. 2. 3. 4. 5. Komentar Ocena 14.Izjemni dosežek v letu 201213 14.1. Izjemni znanstveni dosežek 14.2. Izjemni družbeno-ekonomski dosežek C. IZJAVE Podpisani izjavljam/o, da: • so vsi podatki, ki jih navajamo v poročilu, resnični in točni • se strinjamo z obdelavo podatkov v skladu z zakonodajo o varstvu osebnih podatkov za potrebe ocenjevanja ter obdelavo teh podatkov za evidence ARRS • so vsi podatki v obrazcu v elektronski obliki identični podatkom v obrazcu v pisni obliki • so z vsebino zaključnega poročila seznanjeni in se strinjajo vsi soizvajalci projekta Podpisi: zastopnik oz. pooblaščena oseba in vodja raziskovalnega projekta: raziskovalne organizacije: i Univerza v Ljubljani, Medicinska Janez Stare fakulteta ŽIG Kraj in datum: Ljubljana |13.3.2013 Oznaka prijave: ARRS-RPROJ-ZP-2013/40 1 Opredelite raziskovalno področje po klasifikaciji FOS 2007 (Fields of Science). Prevajalna tabela med raziskovalnimi področji po klasifikaciji ARRS ter po klasifikaciji FOS 2007 (Fields of Science) s kategorijami WOS (Web of Science) kot podpodročji je dostopna na spletni strani agencije (http://www.arrs.gov.si/sl/gradivo/sifranti/preslik-vpp-fos-wos.asp). Nazaj 2 Napišite povzetek raziskovalnega projekta (največ 3.000 znakov v slovenskem in angleškem jeziku) Nazaj 3 Napišite kratko vsebinsko poročilo, kjer boste predstavili raziskovalno hipotezo in opis raziskovanja. Navedite ključne ugotovitve, znanstvena spoznanja, rezultate in učinke raziskovalnega projekta in njihovo uporabo ter sodelovanje s tujimi partnerji. Največ 12.000 znakov vključno s presledki (približno dve strani, velikost pisave 11). Nazaj 4 Realizacija raziskovalne hipoteze. Največ 3.000 znakov vključno s presledki (približno pol strani, velikost pisave 11) Nazaj 5 V primeru bistvenih odstopanj in sprememb od predvidenega programa raziskovalnega projekta, kot je bil zapisan v predlogu raziskovalnega projekta oziroma v primeru sprememb, povečanja ali zmanjšanja sestave projektne skupine v zadnjem letu izvajanja projekta, napišite obrazložitev. V primeru, da sprememb ni bilo, to navedite. Največ 6.000 znakov vključno s presledki (približno ena stran, velikost pisave 11). Nazaj 6 Navedite znanstvene dosežke, ki so nastali v okviru tega projekta. Raziskovalni dosežek iz obdobja izvajanja projekta (do oddaje zaključnega poročila) vpišete tako, da izpolnite COBISS kodo dosežka - sistem nato sam izpolni naslov objave, naziv, IF in srednjo vrednost revije, naziv FOS področja ter podatek, ali je dosežek uvrščen v A'' ali A'. Nazaj 7 Navedite družbeno-ekonomske dosežke, ki so nastali v okviru tega projekta. Družbeno-ekonomski rezultat iz obdobja izvajanja projekta (do oddaje zaključnega poročila) vpišete tako, da izpolnite COBISS kodo dosežka - sistem nato sam izpolni naslov objave, naziv, IF in srednjo vrednost revije, naziv FOS področja ter podatek, ali je dosežek uvrščen v A'' ali A'. Družbeno-ekonomski dosežek je po svoji strukturi drugačen kot znanstveni dosežek. Povzetek znanstvenega dosežka je praviloma povzetek bibliografske enote (članka, knjige), v kateri je dosežek objavljen. Povzetek družbeno-ekonomskega dosežka praviloma ni povzetek bibliografske enote, ki ta dosežek dokumentira, ker je dosežek sklop več rezultatov raziskovanja, ki je lahko dokumentiran v različnih bibliografskih enotah. COBISS ID zato ni enoznačen, izjemoma pa ga lahko tudi ni (npr. prehod mlajših sodelavcev v gospodarstvo na pomembnih raziskovalnih nalogah, ali ustanovitev podjetja kot rezultat projekta _ - v obeh primerih ni COBISS ID). Nazaj 8 Navedite rezultate raziskovalnega projekta iz obdobja izvajanja projekta (do oddaje zaključnega poročila) v primeru, da katerega od rezultatov ni mogoče navesti v točkah 7 in 8 (npr. ker se ga v sistemu COBISS ne vodi). Največ 2.000 znakov, vključno s presledki. Nazaj 9 Pomen raziskovalnih rezultatov za razvoj znanosti in za razvoj Slovenije bo objavljen na spletni strani: http://sicris.izum.si/ za posamezen projekt, ki je predmet poročanja Nazaj 10 Največ 4.000 znakov, vključno s presledki Nazaj 11 Največ 4.000 znakov, vključno s presledki Nazaj 12 Rubrike izpolnite / prepišite skladno z obrazcem "izjava sofinancerja" http://www.arrs.gov.si/sl/progproj/rproj/gradivo/, ki ga mora izpolniti sofinancer. Podpisan obrazec "Izjava sofinancerja" pridobi in hrani nosilna raziskovalna organizacija - izvajalka projekta. Nazaj 13 Navedite en izjemni znanstveni dosežek in/ali en izjemni družbeno-ekonomski dosežek raziskovalnega projekta v letu 2012 (največ 1000 znakov, vključno s presledki). Za dosežek pripravite diapozitiv, ki vsebuje sliko ali drugo slikovno gradivo v zvezi z izjemnim dosežkom (velikost pisave najmanj 16, približno pol strani) in opis izjemnega dosežka (velikost pisave 12, približno pol strani). Diapozitiv/-a priložite kot priponko/-i k temu poročilu. Vzorec diapozitiva je objavljen na spletni strani ARRS http://www.arrs.gov.si/sl/gradivo/, predstavitve dosežkov za pretekla leta pa so objavljena na spletni strani http://www.arrs.gov.si/sl/analize/dosez/. Nazaj Obrazec: ARRS-RPROJ-ZP/2013 v1.00 DF-DB-39-8F-74-53-30-00-5B-3C-65-04-5C-3C-69-D4-C1-E9-80-D8