Oznaka poročila: ARRS-CRP-ZP-2013-02/3	0jC|£0
iS
ara
ZAKLJUČNO POROČILO CILJNEGA RAZISKOVALNEGA PROJEKTA
A. PODATKI O RAZISKOVALNEM PROJEKTU
1.Osnovni podatki o raziskovalnem projektu
Šifra projekta	V5-1016
Naslov projekta	Recenzentsko ocenjevanje, kvantitativni kazalniki in uporaba informacijskih orodij za evalvacijo znanstveno-raziskovalnih aktivnosti
Vodja projekta	6594 Primož Južnič
Naziv težišča v okviru CRP	2.01.01 Uporaba informacijskih sistemov za povečanje učinkovitosti razvojno-raziskovalnega dela s poudarkom na znanstveno-raziskovalni dejavnosti
Obseg raziskovalnih ur	2886
Cenovni razred	B
Trajanje projekta	10.2010 - 03.2013
Nosilna raziskovalna organizacija	2451 ZAVOD BIOMEDICINSKA RAZVOJNO INOVACIJSKA SKUPINA
Raziskovalne organizacije -soizvajalke	
Raziskovalno področje po šifrantu ARRS	5 DRUŽBOSLOVJE 5.13 Informacijska znanost in bibliotekarstvo
Družbenoekonomski cilj	Družbene vede - RiR financiran iz drugih virov (ne iz SUF)
2.Raziskovalno področje po šifrantu FOS1
Šifra	1.02
- Veda	1 Naravoslovne vede
- Področje	1.02 Računalništvo in informatika
3.Sofinancerji
	Sofinancerji		
1.	Naziv		
	Naslov		
B. REZULTATI IN DOSEŽKI RAZISKOVALNEGA PROJEKTA
4.Povzetek raziskovalnega projekta2
SLO
Preučevala smo vpliv raziskovalne agencije na vedenje raziskovalcev v okviru znanstvene politike in odločitve, da uporabi bibliografije vodene v okviru sistema COBISS, kot osnovo za ocenjevanje raziskovalnih rezultatov. Znatno povečanje objav v pomembnih znanstvenih revijah slovenskih raziskovalcev je bilo mogoče prepoznati samo kot rezultat te transparentnosti, saj se drugi dejavniki (obseg financiranja, rast števila raziskovalcev, rast števila indeksiranih revij in vpliv vstopa v Evropsko Unijo) v opazovanem času ni spremenilo. Drugi del projekta se ukvarja z različnimi viri podatkov za namene vrednotenja in bibliometrijske analizeWoS in Scopus. Analiza je torej zajemala obsežno zbirko podatkov z več deset tisoč zapisov. Na podlagi natančne analize in kontrole podatkov, je uspelo pojasniti nekatere razlike med obema podatkovnima bazama, kot tudi med raziskovalnimi področji. Razlike, ki temeljijo na različnih vzorcih objavljanja med znanstvenimi področji, lahko upošteva ARRS z nekaterimi novimi merili v prihodnje. Razlike v zajemanju so predvsem zanimiva z področje družboslovja, ter delna za področje tehnike in humanističnih ved.
V	tretjem delu projekta smo analizirali financiranje raziskav iz javnih virov, raziskovalnega potenciala (število raziskovalcev), ter znanstvenih rezultatov (znanstvene objave). Raziskovalna področja medicine smo podrobneje analizirati in primerjali z nekaterimi drugimi raziskovalnih področij. Cilj je bil boljše razumevanje razlik, ki so lahko posledica dolgoročne znanstvenih politike v Sloveniji.
Preverili smo vpliv mednarodnega sodelovanja slovenskih avtorjev in status revije, kjer so bili članki objavljeni, ter njihov vpliv, merjen s številom citatov, ki jih prejmejo. Raziskovalni program skupine, ki delajo v Sloveniji v obdobju 2004-2008 na področjih fizike, kemije, biologije, biotehnologije in medicinske znanosti so bili izbrani za analizo. Rezultati so pokazali, da se učinki obeh dejavnikov razlikujejo med raziskovalnimi področji.
V	četrtem delu projekta smo ocenili recenzentski postopek, ter analizirali odnos med bibliografskimi metodami in recenzentskim ocenjevanjem projektov, odziv recenzentov, ter stopnjo zanesljivosti recenzentskih ocen. Glavno orodje za iskanje in izbor recenzentov je bil Reviewer Finder (Elsevier).
Peti del projekta se je ukvarjal z informacijskim vedenjem slovenskih znanstvenikov. Za raziskavo (spletna anketa) so bili uporabljeni podatki iz baze slovenskih raziskovalcev, ki jo vodi ARRS.
Rezultati kažejo, da na večini področij, slovenski raziskovalci kažejo običajne lastnosti znanstvenikov drugje, z izjemo razmeroma šibke uporabo spletnih orodij za 2,0, za raziskovalne namene, in slabe uporabe informacijskih virov v odprtem dostopu. Raziskava potrjuje, da informacijske in komunikacijske tehnologije (IKT), močno vplivajo na profesionalne dejavnosti znanstvenikov pri izbiri oblik informacijskih virov, dostop do njih, orodij za izmenjavo informacij, organizacijo virov in uporaba knjižničnih storitev
ANG
The basic study examined the impact of a research agency on researchers' behaviour in the context of science policy and decision to use existing Library Union catalogue system -COBISS, as the basis for a research evaluation data. A significant increase in the publishing activities of Slovenian researchers (regarding publications in important scientific journals) can be recognised after the introduction of the system.
Second part of the project was dealing with different sources of data for evaluation purposes and bibliometric analysiswoS and Scopus. The analysis comprised a large collection of data with tens of thousands of records. Based on a detailed control of author sets, and common classification of major fields of science, it managed to elucidate some differences among both databases, as well as among the fields. The differences, based on different publishing patterns among the scientific fields, can provide the Slovenian Research Agency with some novel criteria for the future evaluation of research. Differences in the coverage are mainly regarding social sciences, and partly in the field of engineering and the humanities. In the third part of the project we analysed funding of research from public sources, research potential (number of researchers), and scientific results (scientific papers authored or co-authored by researchers from Slovenia).
We examined the effect of international collaboration of Slovenian authors and the status of journals where papers are published (as determined by their impact factors) on the impact of papers as measured by the number of citations papers receive. Research programme groups
working in Slovenia in the 2004-2008 period in the fields of physics, chemistry, biology, biotechnology, and medical science were used for analyses. The results of the analyses show that the effects of the two factors differ among the fields.
In fourth part of the project we evaluated the peer review procedure we analysed the relationship between bibliometric methods and expert evaluation of proposed projects, the response of the reviewers and as presented in this paper, a degree of reliability of the referees' grades using the "intraclass correlation" method. Main tool for searching and the selection of reviewers was Reviewer Finder (Elsevier).
Fifth part of the project was dealing with information behaviour of Slovenian scientists. Results showed that, in most areas, Slovenian researchers exhibit usual characteristics of scientists elsewhere, with the exception of a rather weak use of Web 2.0 tools for research purposes, and open-access materials. This survey confirms that information and communication technologies (ICT) strongly impact professional activities of scientists, in relation to the choice of resource formats, access to information, means of information exchange, organization of one's own resources, and the use of library services.
5.Poročilo o realizaciji predloženega programa dela na raziskovalnem projektu3
Realizirali smo vse cilje projekta, kot smo se jih zastavili. Zaradi objektivnih okoliščin, predvsem zaradi daljšega od planiranega, obdobja zbiranja podatkov in premikov pri izbiri projektov na ARRS, nismo uspeli še del naših rezultatov pripraviti za objavo. Pričakujem, da bomo to storili še v letošnjem koledarskem letu. Vendar smo naročnika že obvestili o rezultatih analiz.
Osnovna raziskava je preučevala vpliv raziskovalne agencije na vedenje raziskovalcev v okviru znanstvene politike in odločitve, da uporabi bibliografije vodene v okviru sistema COBISS, kot osnovo za ocenjevanje raziskovalnih rezultatov. Nove članice Evropske unije, predstavljajo idealen »laboratorij« za preučevanje razvoja organizacije raziskovalne dejavnosti, saj so spremembe hitrejše in globlje kot pri starih članicah. Zato so posledice izvajanja transparentosti rezultatov raziskav na nacionalni ravni v Sloveniji, predstavljeni s študijo primera. SICRIS poleg teh uporablja še podatke o citiranju iz mednarodnih baz citiranja. Ugotovitve kažejo, da transparentnost povzroči spremembe in lahko usmerja rast objav, ki vsebujejo raziskovalne rezultata. Tudi raziskovalci na splošno vidijo transparentnost kot pozitiven element ki spodbuja kvaliteto raziskovalnega dela. Znatno povečanje objav v pomembnih znanstvenih revijah slovenskih raziskovalcev je bilo mogoče prepoznati samo kot rezultat te transparentnosti, saj se drugi dejavniki (obseg financiranja, rast števila raziskovalcev, rast števila indeksiranih revij in vpliv vstopa v Evropsko Unijo) v opazovanem času ni spremenilo.
Raziskovalne dejavnosti morajo temeljiti na načelu transparentnosti, še posebej, če se raziskave financira iz javnih sredstev. Sistem vrednotenja, ki temelji na SICRIS in pripadajočih COBISS, dosledno uporabljen v zadnjih dveh desetletjih, dovoljuje analizo podatkov na v časovnih vrstah. Rezultati raziskovalne politike se pokaže kot relativno visoko in stalno povečevanje števila tako Scopus-in WoS, povezanih dokumentov in navedba, prejete v obdobju 1996-2011.
Prav tako je pomembno spodbujanje opravljenega dela knjižničarjev v knjižnicah, ki so odgovorni za podatke. Tako knjižničarji kot informacijski strokovnjaki izkoristijo priložnost, da imajo vpliv na znanstveno politiko. Bibliometrijska znanja so tako del temeljnih kompetenc knjižničarjev in jih je treba obravnavati kot priložnosti za razvoj knjižnic in zagotavljanje novih storitev z dodano vrednostjo
Seveda pa noben sistem ni in ne more biti popoln. Ker sta postopka ocenjevanja kakovosti, kvalitativna (peer review) in kvantitativna (bibliografski kazalci) je trba opazovati oba. Raziskovalci in njihove organizacije se hitro prilagajajo na nove postopke in spremembe pravil, tudi če niso neposredno povezana s financiranjem in odobritvijo projektov, programov in podobno. Večja transparentnost raziskovalnih rezultatov je bil ukrep, katerega cilj je zagotoviti boljšo vključitev v mednarodne raziskave, hkrati pa ohranja slovensko raziskovalno prisotnost in pokritost na vseh znanstvenih področjih raziskav, in je izpolnjen ta cilj.
Ugotovitev ni mogoče posplošiti v celoti, saj gre za študijo primera. Občutljive narave povezav med raziskovalci in plačniki ter vpliv tržnih sil na splošno na področju raziskovalne politike,
zahteval še več previdnosti. Ne moremo trditi, da bi preglednost, imela enak učinek tako kot v Sloveniji tudi drugje in tudi ne izključiti, da obstajajo še kakšni drugi dejavniki, ki lahko vplivajo na merjenje uspešnosti znanstvenih raziskav.
Drugi del projekta se ukvarja z različnimi viri podatkov za namene vrednotenja in bibliometrijske analize. Web of Science in Scopus so do sedaj primerjali glede na različne kriterije, kot so uporabniški vmesnik, pokritost predmetnih skupin (predmetna področja), držav, avtor sklopov, itd, vendar le redko najdemo celovito primerjavo in oceno celotne nacionalne znanstvene produkcije. To je bil cilj te študije, da analiziramo celotno nacionalno proizvodnjo (pribl. 50.000 zapisov z 10.000 avtorjev) med 1996-2011, ki so prav tako del SICRISa in COBISSa, ki povezuje avtorje z podatki iz WoSa in Scopusa. Sistem omogoča natančno identifikacijo prek enotne identifikacijsko številko bibliografskih enot in enolično identifikacijo avtorja (iz Slovenije). Na osnovi teh podatkov smo poiskali razlike med WoS in Scopus na posameznih področjih. Edinstvena zmožnost SICRISa da zajeme, tudi spremlja trende objavljanja skozi leta, s stalnimi kontralami na različnih ravneh, predstavlja izjemen pripomoček za sistematično ocenjevanje objavljenih dokumentov in posameznih citatov v Sloveniji kot celoti.
Analiza je torej zajemala obsežno zbirko podatkov z več deset tisoč zapisov. Na podlagi natančne analize in kontrole podatkov, je uspelo pojasniti nekatere razlike med obema podatkovnima bazama, kot tudi med raziskovalnimi področji. Razlike, ki temeljijo na različnih vzorcih objavljanja med znanstvenimi področji, lahko upošteva ARRS z nekaterimi novimi merili v prihodnje. Razlike v zajemanju so predvsem zanimiva z področje družboslovja, ter delna za področje tehnike in humanističnih ved.
V	tretjem delu projekta smo analizirali financiranje raziskav iz javnih virov, raziskovalnega potenciala (število raziskovalcev), ter znanstvenih rezultatov (znanstvene objave). Raziskovalna področja medicine smo podrobneje analizirati in primerjali z nekaterimi drugimi raziskovalnih področij. Cilj je bil boljše razumevanje razlik, ki so lahko posledica dolgoročne znanstvenih politike v Sloveniji.
Cilj je bil ugotoviti, če se razmeroma velike razlike v raziskovalnega potenciala različnih raziskovalnih področij kaže tudi v številu znanstvenih člankov ter njihovega vpliva. Raziskovalni rezultati so bili analizirani in ocenjevani, kot objave ter njihov vpliv, merjen s številom citatov. Kvantitativni kazalci, ki se uporabljajo za vrednotenje raziskovalnih rezultatov so bili razdeljeni v dve skupini: kazalci znanstvene dejavnosti in kazalci znanstvene produktivnosti in vpliva.
Rezultati so pokazali, da razlike v raziskovalnem potencialu in financiranju le delno vplivajo na število znanstvenih člankov, ampak veliko več na njihov vplivom (citiranost). Rezultati kažejo, da se je število člankov, objavljenih s avtorstvu ali soavtorstvu z raziskovalci iz Slovenije hitro narašča. Preverili smo vpliv mednarodnega sodelovanja slovenskih avtorjev in status revije, kjer so bili članki objavljeni, ter njihov vpliv, merjen s številom citatov, ki jih prejmejo. Raziskovalni program skupine, ki delajo v Sloveniji v obdobju 2004-2008 na področjih fizike, kemije, biologije, biotehnologije in medicinske znanosti so bili izbrani za analizo. Rezultati so pokazali, da se učinki obeh dejavnikov razlikujejo med raziskovalnimi področji.
V	četrtem delu projekta smo ocenili recenzentski postopek, ter analizirali odnos med bibliografskimi metodami in recenzentskim ocenjevanjem projektov, odziv recenzentov, ter stopnjo zanesljivosti recenzentskih ocen.
Prijavitelji so bili razdeljeni po šestih vedah, kot jih opredeli ARRS (Naravoslovje in matematika, Tehnika, Medicinske vede, Biotehniške vede, Družboslovne vede in Humanistika), potem na raziskovalna področja in na koncu na tematsko sorodnih temah v "grozdih" do pet vlog. Vsak projekt je imel tri recenzente.
Glavno orodje za iskanje in izbor recenzentov je bil Reviewer Finder (Elsevier). Leta uporablja semantično iskanje, četudi je rezultat seznam potencialnih recenzentov s kazalniki
konfliktov strokovnega znanja in možnosti, da iščeš recenzente za celoten »grozd« šrojavljenih projektov. Seznami potencialnih recenzentov so filtrirani po bibliometrijskih merilih/kazalcih potencialnih recenzentov (h-indeks, objave in citiranost v zadnjih letih, avtorstvo), kakor tudi geografskega porekla (Evropa). S slednjim smo želeli povečati možnost pozitivnega odgovora na prošnjo po recenziji. Izbranih je bilo 544 recenzentov. Cilj je bil najti iste tri recenzente za oceno enega "grozda" podobnih projektov.
Z analizo smo želeli oceniti zanesljivost recenzentskih ocen. Cilj je bil primerjati zanesljivost ocen znotraj istega nabora ocenjevalcev. 313 predlogov projektov iz 61 znanstvenih področij je bili vključenih v analizo, v kateri je bila vsaka obravnavana kot samostojna enota analize. Glavni cilj tukaj je za merjenje usklajenosti med recenzenti na različnih znanstvenih področjih. Poleg koeficienta absolutne sporazuma, ki je skupen indeks zanesljivosti različnih ocenjevalcev v povprečju, smo izračunali še indeks zanesljivosti ocen za enega recenzenta, ki je običajno nižji.
Peti del projekta se je ukvarjal z informacijskim vedenjem slovenskih znanstvenikov. Za raziskavo (spletna anketa) so bili uporabljeni podatki iz baze slovenskih raziskovalcev, ki jo vodi ARRS.
Rezultati kažejo, da na večini področij, slovenski raziskovalci kažejo običajne lastnosti znanstvenikov drugje, z izjemo razmeroma šibke uporabo spletnih orodij za 2,0, za raziskovalne namene, in slabe uporabe informacijskih virov v odprtem dostopu. Raziskava potrjuje, da informacijske in komunikacijske tehnologije (IKT), močno vplivajo na profesionalne dejavnosti znanstvenikov pri izbiri oblik informacijskih virov, dostop do njih, orodij za izmenjavo informacij, organizacijo svojih lastnih virov, branje, pisanje in uporaba knjižničnih storitev. V naši raziskavi ni bilo moč ugotoviti razlik glede na starost ali spol, najbolj pogosti so bile razlike med posameznimi znanstvenimi področji, med raziskovalci v humanistiki in drugimi. Raziskovalci komaj še kaj uporabljajo tradicionalne knjižnične storitve in samo opravljajo nekatera dela, ki so jih včasih knjižnice . Namreč, več kot polovica anketiranih raziskovalcev bo več kot 200 elektronskih dokumentov v svojem arhivu, ki je v bistvu majhna zasebna knjižnico.
Večina znanstvenikov začenja iskanje (pogosto ali vedno) z Googlom. Toda to ne pomeni, da ima Google absoluten monopol nad iskanjem in da so nehali uporabljati druga orodja. Portali e-revij, ne zaostajajo veliko za uproabo Google-a, sledijo ji uporaba bibliografskih baz podatkov in, kar je presenetljivo, knjižnični OPAC (Online javno dostopen katalog). Skoraj polovica raziskovalcev v naši raziskavi pogosto ali vedno začenja svoje iskanje z njim, kar je zanimiv rezultat. Premik od klasičnih tiskanih k elektronskim virom pa je opazen pri vseh anketirancih, z izjemo raziskovalcev na področju humanistike.
6.Ocena stopnje realizacije programa dela na raziskovalnem projektu in zastavljenih raziskovalnih ciljev4
Projekt je realiziral zastavljene raziskovalne cilje. Konkretne izooljšave, ki smo jih predložili naročniku so:
1.	Uporaba Scopus, kot WoSu enakovrednega vira za oceno odmevnosti rzaiskovalnega dela.
2.	Uporaba Reviewer finderja kot ustreznega orodja za iskanje recenzentov. razlike med znanstvenimi vedami v načinu objave raziskovalnih rezultatov.
3.	Prehod na sofinanciranje nabave revij v elektronski obliki.
7.Utemeljitev morebitnih sprememb programa raziskovalnega projekta oziroma sprememb, povečanja ali zmanjšanja sestave projektne skupine5
Večjih sprememb ni bilo, razen v zadnjem obdobju ko se je zamenjal eden od sodelavcev na projektu.
8.Najpomembnejši znanstveni rezultati projektne skupine6
	Znanstveni dosežek			
1.	COBISS ID		30085593	Vir: COBISS.SI
	Naslov	SLO	Učinki mednarodnega sodelovanja in statusa revija na odmevnost znanstvenih objav	
		ANG	Effects of international collaboration and status of journal on impact of	
			papers	
	Opis	SLO	Učinki mednarodnega sodelovanja in statusa revija na odmevnost znanstvenih objav	
		ANG	This study examines the effect of international collaboration of Slovenian authors and the status of journals where papers are published (as determined by their impact factors) on the impact of papers as measured by the number of citations papers receive. Research programme groups working in Slovenia in the2004-2008 period in the fields of physics, chemistry, biology, biotechnology, and medical science were used for analyses. The results of the analyses show that the effects of the two factors differ among the fields. We discuss possible reasons for this, including the possibility that differences are the result of Sloveniacs science policy.	
	Objavljeno v		Elsevier;Akademiai Kiado; Scientometrics; 2012; Vol. 93, no. 3; str. 937948; Impact Factor: 1.966;Srednja vrednost revije / Medium Category Impact Factor: 0.98; A'': 1;A': 1; WoS: EV, NU; Avtorji / Authors: Pečlin Stojan, Južnič Primož, Blagus Rok, Čižek-Sajko Mojca, Stare Janez	
	Tipologija		1.01 Izvirni znanstveni članek	
2.	COBISS ID		30236889	Vir: COBISS.SI
	Naslov	SLO	Raziskave na področjih medicinskih ved v Sloveniji -kadrovska in finančna moč ter znanstvena produkcija	
		ANG	Research in the fields of medicine in Slovenia - research potential, funding, and publications	
	Opis	SLO	Raziskave na področjih medicinskih ved v Sloveniji -kadrovska in finančna moč ter znanstvena produkcija	
		ANG	Background: This study analyses funding of research from public sources, research potential (number of researchers), and scientific results (scientificpapers authored or co-authored by researchers from Slovenia). Research fields of medicine are analysed in-depth and comparatively with several other research fields to gain a better understanding of differences that may be a result of long-term science policies in Slovenia. The aim of thestudy was to discover if relatively big differences in research potential and public funding are also reflected in the number of scientific papers and their impact. Methods: Research potential was defined as the number of research groups and number of researchers (head count) and expressed in their capacities to research in FTE (full time equivalent). Research results data was analysed and evaluated basically as bibliometric data, that is, the numberof papers published in ISI - indexed journals and their impact measured by the number of citations. Quantitative indicators used forthe evaluation of research results were divided in two groups: indicators of scientific activities and indicators of scientific productivity and impact. We analysed investment from public sources into government and higher education sectorsc research more thoroughly as that was the research, which was the focus of our interest. Scientific papers are mostly the result of the performance in highereducation sector and government sector. Results: Differences in researchpotential and public funding only partly influence the number of scientific papers but might have more to do with their impact. (Abstract truncated at 2000 characters)	
	Objavljeno v		[Slovensko zdravniško društvo]; Zdravniški vestnik; 2012; Letn. 81, št. 9; str. 602-617; Impact Factor: 0.155;Srednja vrednost revije / Medium Category Impact Factor: 2.53; WoS: PY; Avtorji / Authors: Pečlin Stojan, Južnič Primož	
	Tipologija		1.01 Izvirni znanstveni članek	
3.	COBISS ID		36126725	Vir: COBISS.SI
	1			
Naslov
SLO
ANG
Primerjava izbranih funkcij informacijskih sistemov Scopus in Web of Science
Comparison of Selected Functions of Scopus and Web of Science
Opis
SLO
ANG
Nabava pomembnejših informacijskih virov v Sloveniji poteka prek Javne agencije za raziskovalno dejavnost (ARRS). Web of Science (WoS) je dostopen že dalj časa. Scopus je testno dostopen zadnje leto. Primerjava obeh sistemov se osredotoča predvsem na funkcionalne značilnosti. Pregledane in medsebojno primerjane so glavne funkcije, na voljo v drugi polovici leta 2011. Podrobneje so ocenjene splošne funkcije, npr. način tvorjenja iskalne sintakse in raba iskalnih (Boolovih) operatorjev. Izpostavljene so značilnosti pri osnovnem iskanju, ki deluje po izbirnem načinu ter ukaznem iskanju, ki deluje po načelu iskanja z rabo iskalnih predpon za polja. Pregledana so načela razvrščanja pridobljenih zapisov, omejitev (ang.limits) in možnosti analitike pridobljenih zapisov. Novi vmesnik WoS ohranja prejšnjo razporeditev funkcij in dodaja nekatere nove možnosti. Krnilnik je možno izklopiti. Iskanje referenc je enostavno, vendar pa se možnosti iskanja osredotočajo predvsem na podatke o avtorjih, kjer se zdi normativna kontrola nekoliko šibka, zato je pri številnih avtorjih težko pridobiti enotne (ang. unique) skupine oziroma sete. Scopus ponuja možnost kompleksnega iskanja po zelo visokem številu iskalnih polj, tudi po vseh bibliografskih poljih hkrati in po naslovih citiranih referenc. Scopus avtorje bolje grupira v enolične skupine, čeprav je istega avtorja še zmeraj moč najti v različnih avtorskih setih. Krnilnika pri Scopusu ni možno izklopiti. Pregled literature in analiza funkcionalnosti kažejo na upravičenost rabe obeh zbirk, saj kombinirana raba omogoča, da se pridobijo optimalne informacije zaradi nekoliko drugačnega poudarka pri obeh sistemih. Ker sta sistema dokaj kompleksna, se za učinkovito iskanje informacij od uporabnikov pričakuje višja raven informacijskih znanj.
Acquisition of information resources in Slovenia is directed through the Slovenian Research Agency (ARRS). Web of Science (WoS) has been accessible for many years. Scopus Trial has only become available during the last year. Comparison of both databases focuses on functional characteristics. Principal current functions of both search systems are assessed (as of the second half of the year 2011). Search possibilities are compared e.g. (Document) Search based on the selection of fields from pulldown menus, and Advanced Search, requiring the application of search-operators. Limits, arrangement of records (Sort by), and advanced analytics (Analyze/Refine) areevaluated, with some emphasize on citations (Cited Reference Search). The new WoS interface (essentially) retains the previous arrangement of tasks, adding some novel functions and possibilities. Lemmatization can be turned off. Cited-reference-search in WoS remains easy, it is principally based on the author search, with the authority control for author-sets, however, still somehow weak. Unique author sets are frequently hard to define. Scopus offers complex search possibilities for a very high number of fields, including the All Fields search, and the Reference title search. Unique authors seem to be grouped together more consistently in Scopus. However, the same authors can stili come about in different sets. Also, stemming (lemmatizati on) can not be turned off in Scopus. This analysis as well as the review of literature, substantiate the need for concurrent use of both databases, in order to obtain optimal search results. Nevertheless, the complexity of both information systems requires advanced information competency of endusers.
Objavljeno v
Zveza bibliotekarskih društev Slovenije; Knjižnica; 2012; 56, [št.] 1/2; str. 77-104; Avtorji / Authors: Bartol Tomaž, Dekleva Smrekar Doris, Pušnik Miro, Mandelj Tilen, Žaucer Matjaž, Pečlin Stojan, Vilar Polona, Južnič Primož
Tipologija
1.01 Izvirni znanstveni članek
4.	COBISS ID		48500066	Vir: COBISS.SI
	Naslov	SLO	Information-seeking behaviour of Slovenian researchers	
		ANG	Information-seeking behaviour of Slovenian researchers	
	Opis	SLO	Iskanje informacij slovenskih raziskovalcev	
		ANG	The paper present one part of a survey of information behaviour of Slovenian researchers. Results show that Slovenian researchers in most areas show usual traits of scholarly information behaviour. Exceptions are the non-use of Web 2.0 tools for research purposes and low use of open-access materials. Survey confirmed that ICT is influential in perferences regarding resource formats, access, means for information exchange, organization of resources, writing, reading, etc. The use of grey literature is quite intensive, but depending on the academic area and research field: researchers from humanities, natural sciences and other technical fields are more inclined then social science researchers to use grey literature as the source of information for their research, and business sector is of all sectors the most concerned with patents and standards.	
	Objavljeno v		TextRelease; {The }grey journal; 2012; Vol. 8, no. 1; str. 43-53; Avtorji / Authors: Vilar Polona, Južnič Primož, Bartol Tomaž	
	Tipologija		1.01 Izvirni znanstveni članek	
5.	COBISS ID		50012770	Vir: COBISS.SI
	Naslov	SLO	Slovenski raziskovalci	
		ANG	Slovenian researchers	
	Opis	SLO	Slovenski raziskovalci	
		ANG	The paper presents a segment of a survey of information behaviour of Slovenian scientists. Results show that, in most areas, Slovenian researchers exhibit usual characteristics of scientists elsewhere, with the exception of arather weak use of Web 2.0 tools for research purposes, and weak use of open-access materials. This survey confirms that information and communication technologies (ICT) strongly impact professional activities of scientists, in relation to the choice of resource formats, access to information, means of information exchange, organization of onecs own resources, reading, writing, and the use of library services. Most of the characteristics in behaviour are research-field-specific. Other factors of influence are age, area of employment, and available time; gender difference was important only in one case.	
	Objavljeno v		Springer; E-science and information management; 2012; Str. 47-60; Avtorji / Authors: Vilar Polona, Južnič Primož, Bartol Tomaž	
	Tipologija		1.06 Objavljeni znanstveni prispevek na konferenci (vabljeno predavanje)	
9.Najpomembnejši družbeno-ekonomski rezultati projektne skupine7
	Družbeno-ekonomski dosežek			
1.	COBISS ID		50202978	Vir: COBISS.SI
	Naslov	SLO	Vpliv sodobnih tehnologij na razvoj bibliotekarjev in bibliotekarstva	
		ANG	The influence of modern technologies on development of librarians and librarianship	
	Opis	SLO	Vpliv sodobnih tehnologij na razvoj bibliotekarjev in bibliotekarstva	
		ANG	The influence of modern technologies on development of librarians and librarianship	
	Šifra		B.01 Organizator znanstvenega srečanja	
	Objavljeno v		Zveza bibliotekarskih društev Slovenije = Slovenian Library Association; Izzivi sodobnih tehnologij; 2012; Str. 53-62; Avtorji / Authors: Južnič Primož	
	Tipologija		1.06 Objavljeni znanstveni prispevek na konferenci (vabljeno predavanje)	
2.	COBISS ID		50365538	Vir: COBISS.SI
	Naslov	SLO	Znanstvena produkcija raziskovalnih skupin v Sloveniji in odmevnost njihovih objav	
		ANG	Scientific production of research group in Slovenia and their impact	
	Opis	SLO	V nalogi smo skušali celovito analizirati razvoj in evalvacijske postopke v raziskovalni dejavnosti od vzpostavitve samostojnosti Slovenije do danes. V prvem delu naloge smo se posvetili vprašanjem kadrovskih raziskovalnih zmogljivosti in financiranju raziskovalne dejavnosti na Slovenskem, v drugem delu pa smo se v študijah lotili znanstvene produkcije programskih raziskovalnih skupin na izbranih področjih naravoslovja, medicine in biotehnike. Poskušali smo osvetliti obe strani, "input" v raziskovalno dejavnost in znanstveno produkcijo, merjeno z objavami v periodičnih znanstvenih revijah, ob tem pa izvesti tudi primerjave v mednarodnem kontekstu, predvsem v okviru EU. Iz prikazov financiranja raziskovalne dejavnosti iz javnih virov in kadrovskih potencialov v Sloveniji so vidne relativno velike razlike med vedami in raziskovalnimi področji. Obseg kadrovskih potencialov in sredstva za znanstvenoraziskovalno delo ter njihova razdelitev so v veliki meri rezultat razvoja znanosti in znanstvene politike v Sloveniji v preteklih šestdesetih letih. Razlike so pričakovano vidne tudi pri znanstveni produkciji in odmevnosti znanstvenih rezultatov. V delu raziskave, kjer podrobno proučujemo rezultate programskih raziskovalnih skupin na izbranih raziskovalnih področj ih, smo ugotavljali obseg znanstvene produkcije in s kazalniki za merjenje odličnosti (odmevnosti) njeno kakovost. Postavili smo hipotezo, da so objave slovenskih raziskovalcev v revijah, indeksiranih v bibliografski bazi SCI, ki so objavljene v visoko rangiranih revijah, boljše citirane kot publikacije, objavljene v drugih revijah. Pričakovali smo tudi, da soavtorstvo slovenskih raziskovalcev s kolegi iz tujine močno vpliva na odmevnost znanstvenih objav. Dobljeni rezultati niso v celoti potrdili izhodiščnih hipotez. Izkazalo se je, da na rezultat pomembno vpliva zlasti razvitost posameznega raziskovalnega področja v državi. Primerjali smo tudi rezultate oziroma ocene, ki jih dajeta kvantitativno merjenje raziskovalnih rezultatov in njihovo ekspertno ocenjevanje, ter potrdili hipotezo, da je ob uporabi na mednarodnih recenzijah zasnovanega kvalitativnega ocenjevanja, ko je nasprotje interesov manjše, usklajenost med obema načinoma merjenja oziroma ocenjevanja večja.	
			ln our study we tried to make a comprehensive analysis of the development and evaluation procedures in scientific research activity, since the establishment of the independent state of Slovenia till today. In the first part of the study we focused on the issues related to human resources and funding capacities for research activities in Slovenia; in the second part, we focused on scientific production of program research groups in the selected fields inc1uding natural science, medicine and biotechnology. We tried to highlight both the input in research activity and the scientific production, measured in tenns of publications in periodic scientific journals; along with this, we also tried to make comparisons in the international context, especially within the framework of the EU. Presentations of funding research activities from public resources and of research potentials in Slovenia show relatively significant differences between scientific disciplines and the research fields. The extent of research potentials and funds for scientific research work as well as their distribution are largely the result of	
		ANG	development of science and the science policy in Slovenia in the past sixty years. As expected, there are also visible differences in scientific production and the impact of research results. In that part of the research where we studi ed in detail the results of program research groups in the selected research fields, we tried to determine the scope of scientific production, and - using excellence (impact) indicators - its quality. We set the hypothesis that the papers of Slovenian researchers in SCI-indexed journals, published in high ranking journals, are better cited than papers published in other journals. We also expected that international co-authorship of Slovenian researchers strongly inf1uenced the impact of scientific papers. The results obtained have not wholly confirmed the initial hypotheses. The result has been shown to be significantly inf1uenced, especially by the development of individual research fields in the country. We also compared the results/outcomes obtained through quantitative measurement and peer review of research results, and confirmed the hypothesis that by using qualitative evaluation based on international reviews with less conflict of interests, there is higher correlation between the two methods of measurement/evaluation.
	Šifra		D.09 Mentorstvo doktorandom
	Objavljeno v		[S. Pečlin]; 2012; XV, 178 f.; Avtorji / Authors: Pečlin Stojan
	Tipologija		2.08 Doktorska disertacija
10.Drugi pomembni rezultati projektne skupine8
Trenutno sts v delu še tri objave.
Prva - Transparency of research policy and the role of librarians je že sprejeta v objavo. Druge dve:
Primerjava WS Scopus ter uporaba Reviewer finder-ja pa sta v postopku.
11.Pomen raziskovalnih rezultatov projektne skupine9 11.1.Pomen za razvoj znanosti10
SLO
urejen sistem financiranja znanosti je pomembna naložba v prihodnost. Dobro delujoč sistem mora najti ravnovesje med dvema zahtevama: povezava raziskovalnega sistema s širšimi cilji znanstvene politike, ter zadostno stopnjo avtonomije znanstvenikov in raziskovalnih skupin. Prav tako mora spodbujati dodelitvi sredstev najboljšim znanstvenikom in raziskovalnim skupinam, a še naprej odprta za nove ideje, ki se v znanosti pojavljajo. Sodobna znanstvena politika se je odmaknila od popolnega upoštevanja znanstvene avtonomije k bolj interaktivnem in dinamičnem razmerju med znanstveniki, politiko in družbo. Že na začetku tega procesa, so se pojavila vprašanja o posledicah različnih vidikov znanstveno politiko, ki o danes tudi izjemno aktualna kot raziskovalno področje.
Slovenija ima centraliziran in enoten sistem bibliografij raziskovalcev. Raziskovalne dejavnosti morajo temeljiti na načelu transparentnosti, še posebej, če se raziskave financira iz javnih sredstev. Slovenija je sicer majhna država, vendar pa ima močno raziskovalno skupnost. Sistem vrednotenja, ki se dosledno uporablja v zadnjih dveh desetletjih, ki dovoljuje analizo podatkov na dolgi rok. Ta sistem omogoča tudi raziskave, ki so zanimive vsem svetu in jih tudi objavijo v uglednih mednarodnih revijah.
ANG
The funding system for science is viewed as an important investment in the future. A well-functioning system has to find a balance between largely contrasting requirements: it has to allow some steering of the research system towards broader policy goals versus leaving a sufficient degree of autonomy to scientists and research groups. It must also stimulate by
allocating funds to the hitherto best scientists/researchers, yet keep places open for new researchers and new research ideas to emerge. Modern science policy-makers in governments have shifted away from absolutely worshiping science/academic autonomy to an interactive and dynamic - and far more managed - relationship between scientists, government and society. From the outset of this process, questions have been raised about the implications of different aspects of science policy.
Slovenia has a centralised and unified system of researchers' bibliographies, which form part of the Co-operative Online Bibliographic System and Services (COBISS). Research activities need to be governed by transparency, especially when the research is funded from public resources. Slovenia may be a small country (two million inhabitants) but it possesses a vigorous research community. Academics and researchers alike are subjected to rigorous criteria in the academic tenure systems as well as in the calls for research proposals, with the final aim of improving Slovenia's competitive capacity in the globalized world. The system of evaluation, has been consistently used over two decades which permits the analysis of data on a long-term basis. This system also allows research that is interesting worldwide and also appear in prestigous international journals.
11.2.Pomen za razvoj Slovenije11
SLO
Rezultati so pomembni predvsem za spremljanje raziskovalne politike v Sloveniji in izboljšanje obstoječega ekspertnega sistema.
ANG
The results are especially important for monitoring research policy in Slovenia and improving the existing expert system.
12.Vpetost raziskovalnih rezultatov projektne skupine. 12.1.Vpetost raziskave v domače okolje
Kje obstaja verjetnost, da bodo vaša znanstvena spoznanja deležna zaznavnega odziva?
0 v domačih znanstvenih krogih 0 pri domačih uporabnikih
Kdo (poleg sofinancerjev) že izraža interes po vaših spoznanjih oziroma rezultatih?12
12.2.Vpetost raziskave v tuje okolje
Kje obstaja verjetnost, da bodo vaša znanstvena spoznanja deležna zaznavnega odziva?
0 v mednarodnih znanstvenih krogih □ pri mednarodnih uporabnikih
Navedite število in obliko formalnega raziskovalnega sodelovanja s tujini raziskovalnimi inštitucijami:—
Z Karlovo univerzo v Pragi, Oddelkom za infomacijsko znanost.
Vsako leto imamo skupni seminar, ki se ga udeležujejo poleg raziskovalcev, tudi študenti obeh Univerz.
Kateri so rezultati tovrstnega sodelovanja:14
Skupni seminarji ter gostujoča predavanja.
13.Izjemni dosežek v letu 201215 13.1. Izjemni znanstveni dosežek
13.2. Izjemni družbeno-ekonomski dosežek
C. IZJAVE
Podpisani izjavljam/o, da:
•	so vsi podatki, ki jih navajamo v poročilu, resnični in točni
•	se strinjamo z obdelavo podatkov v skladu z zakonodajo o varstvu osebnih podatkov za potrebe ocenjevanja in obdelavo teh podatkov za evidence ARRS
•	so vsi podatki v obrazcu v elektronski obliki identični podatkom v obrazcu v pisni obliki
•	so z vsebino zaključnega poročila seznanjeni in se strinjajo vsi soizvajalci projekta
•	bomo sofinancerjem istočasno z zaključnim poročilom predložili tudi elaborat na zgoščenki (CD), ki ga bomo posredovali po pošti, skladno z zahtevami sofinancerjev.
Podpisi:
zastopnik oz. pooblaščena oseba	in vodja raziskovalnega projekta:
raziskovalne organizacije:
ZAVOD BIOMEDICINSKA RAZVOJNO	Primož Južnič
INOVACIJSKA SKUPINA
ŽIG
Kraj in datum: Ljubljana	|30.3.2013"
Oznaka prijave: ARRS-CRP-ZP-2013-02/3
1	Opredelite raziskovalno področje po klasifikaciji FOS 2007 (Fields of Science). Prevajalna tabela med raziskovalnimi področji po klasifikaciji ARRS ter po klasifikaciji FOS 2007 (Fields of Science) s kategorijami WOS (Web of Science) kot podpodročji je dostopna na spletni strani agencije (http://www.arrs.gov.si/sl/gradivo/sifranti/preslik-vpp-fos-wos.asp). Nazaj
2	Napišite povzetek raziskovalnega projekta (največ 3.000 znakov v slovenskem in angleškem jeziku). Nazaj
3	Napišite kratko vsebinsko poročilo, kjer boste predstavili raziskovalno hipotezo in opis raziskovanja. Navedite ključne ugotovitve, znanstvena spoznanja, rezultate in učinke raziskovalnega projekta in njihovo uporabo ter sodelovanje s tujimi partnerji. Največ 12.000 znakov vključno s presledki (približno dve strani, velikost pisave 11). Nazaj
4	Realizacija raziskovalne hipoteze. Največ 3.000 znakov vključno s presledki (približno pol strani, velikost pisave 11). Nazaj
5	V primeru bistvenih odstopanj in sprememb od predvidenega programa raziskovalnega projekta, kot je bil zapisan v predlogu raziskovalnega projekta oziroma v primeru sprememb, povečanja ali zmanjšanja sestave projektne skupine v zadnjem letu izvajanja projekta, napišite obrazložitev. V primeru, da sprememb ni bilo, to navedite. Največ 6.000 znakov vključno s presledki (približno ena stran, velikosti pisave 11). Nazaj
6	Navedite znanstvene dosežke, ki so nastali v okviru tega projekta.
Raziskovalni dosežek iz obdobja izvajanja projekta (do oddaje zaključnega poročila) vpišete tako, da izpolnite COBISS kodo dosežka - sistem nato sam izpolni naslov objave, naziv, IF in srednjo vrednost revije, naziv FOS področja ter podatek, ali je dosežek uvrščen v A'' ali A'. Nazaj
7	Navedite družbeno-ekonomske dosežke, ki so nastali v okviru tega projekta.
Družbeno-ekonomski rezultat iz obdobja izvajanja projekta (do oddaje zaključnega poročila) vpišete tako, da izpolnite COBISS kodo dosežka - sistem nato sam izpolni naslov objave, naziv, IF in srednjo vrednost revije, naziv FOS področja ter podatek, ali je dosežek uvrščen v A'' ali A'.
Družbeno-ekonomski dosežek je po svoji strukturi drugačen kot znanstveni dosežek. Povzetek znanstvenega dosežka je praviloma povzetek bibliografske enote (članka, knjige), v kateri je dosežek objavljen.
Povzetek družbeno-ekonomskega dosežka praviloma ni povzetek bibliografske enote, ki ta dosežek dokumentira, ker je dosežek sklop več rezultatov raziskovanja, ki je lahko dokumentiran v različnih bibliografskih enotah. COBISS ID zato ni enoznačen izjemoma pa ga lahko tudi ni (npr. prehod mlajših sodelavcev v gospodarstvo na pomembnih raziskovalnih nalogah, ali ustanovitev podjetja kot rezultat projekta ... - v obeh primerih ni COBISS ID). Nazaj
8	Navedite rezultate raziskovalnega projekta iz obdobja izvajanja projekta (do oddaje zaključnega poročila) v primeru, da katerega od rezultatov ni mogoče navesti v točkah 8 in 9 (npr. ker se ga v sistemu COBISS ne vodi). Največ 2.000 znakov, vključno s presledki. Nazaj
9	Pomen raziskovalnih rezultatov za razvoj znanosti in za razvoj Slovenije bo objavljen na spletni strani: http://sicris.izum.si/ za posamezen projekt, ki je predmet poročanja. Nazaj
10	Največ 4.000 znakov, vključno s presledki. Nazaj
11	Največ 4.000 znakov, vključno s presledki. Nazaj
12	Največ 500 znakov, vključno s presledki. Nazaj
13	Največ 500 znakov, vključno s presledki. Nazaj
14	Največ 1.000 znakov, vključno s presledki. Nazaj
15	Navedite en izjemni znanstveni dosežek in/ali en izjemni družbeno-ekonomski dosežek raziskovalnega projekta v letu 2012 (največ 1000 znakov, vključno s presledki). Za dosežek pripravite diapozitiv, ki vsebuje sliko ali drugo slikovno gradivo v zvezi z izjemnim dosežkom (velikost pisave najmanj 16, približno pol strani) in opis izjemnega dosežka (velikost pisave 12, približno pol strani). Diapozitiv/-a priložite kot priponko/-i k temu poročilu.
Vzorec diapozitiva je objavljen na spletni strani ARRS http://www.arrs.gov.si/sl/gradivo/, predstavitve dosežkov za pretekla leta pa so objavljena na spletni strani http://www.arrs.gov.si/sl/analize/dosez/ Nazaj
Obrazec: ARRS-CRP-ZP/2013-02 v1.00
42-B2-12-04-DC-9B-C4-87-9A-65-06-61-88-9D-90-D5-AA-BC-F7-6F
V5-1016 - Recenzentsko ocenjevanje, kvantitativni kazalniki in uporaba informacijskih orodij za evalvacijo znanstveno-raziskovalnih aktivnosti
1. Prvi del raziskave je preučeval vpliv raziskovalne agencije na vedenje raziskovalcev v okviru znanstvene politike in odločitve, da uporabi bibliografije vodene v okviru sistema COBISS, kot osnovo za ocenjevanje raziskovalnih rezultatov. Nove članice Evropske unije, predstavljajo idealen »laboratorij« za preučevanje razvoja organizacije raziskovalne dejavnosti, saj so spremembe hitrejše in globlje kot pri starih članicah. Zato so posledice izvajanja transparentnosti rezultatov raziskav na nacionalni ravni v Sloveniji, lahko predstavljeni s študijo primera. SICRIS poleg teh uporablja še podatke o citiranju iz mednarodnih baz citiranja. Ugotovitve kažejo, da transparentnost povzroči spremembe in lahko usmerja rast objav raziskovalnih rezultatov. Tudi raziskovalci na splošno vidijo transparentnost kot pozitiven element ki spodbuja kvaliteto raziskovalnega dela. Znatno povečanje objav v pomembnih znanstvenih revijah slovenskih raziskovalcev je bilo mogoče prepoznati samo kot rezultat te transparentnosti, saj se drugi dejavniki (obseg financiranja, rast števila raziskovalcev, rast števila indeksiranih revij in vpliv vstopa v Evropsko Unijo), v opazovanem času niso spremenili.
Znanost je utemeljena z njeno potencialno uporabnostjo in koristnosti za družbo. Od znanosti se pričakuje, da bo prispevala na področju gospodarske blaginje in kakovosti življenja ter da deluje kot gonilna sila sodobne družbe in producira znanje , ki bi prispevalo k doseganju gospodarskih in socialnih ciljev. Oblikovalci znanstvene politike namreč želijo razumeti različne povezave med znanstvenimi raziskovanjem, a so te pogosto zapletene in interaktivne. Prav tako verjamejo, da je bolj aktivno vodenje raziskovalne politike možno le na osnovi kvalitetnih podatkov in analiz le-teh. Financiranje znanstvenega raziskovanje se danes obravnava kot pomembno naložba v prihodnost. Dobro delujoč sistem mora najti ravnovesje med včasih nasprotujočimi zahtevami: usmerjanje raziskovanja k dejanskim potrebam družbe, kot jih začrta znanstvena politika na eni strani: in z zadostno, tre nujno stopnjo avtonomije raziskovalcev. Sistem mora tudi spodbujati raziskovalno dejavnost z dodelitvijo sredstev najboljšim znanstvenikom in raziskovalcem, a biti še naprej kraje odprt za nove raziskovalce in nove raziskovalne ideje. Sodobna znanstvena politika se je odmaknila nekritičnega čaščenje znanstvene/akademske avtonomije k bolj interaktivnem in dinamičnem pristopu, ki veliko bolj upravlja razmerja med znanstveniki, politiko in družbo. S tem so se tudi pojavila nova vprašanja o posledicah različnih vidikov znanstveno politiko.
Raziskovalci se prilagajajo spreminjajočim se pravilom, ki usmerjajo odločitve o poteku in ciljih raziskovalnega dela, projektih in so vezani na financiranje. Seveda bi bilo poenostavljeno trditi, da je financiranje edini način vpliva. Če so raziskovalne agencije dovolj globoko uveljavljene in sprejete kot posredniki med znanstveno politiko in znanstveno skupnostjo, ima vsaka odločitev, ki jo sprejmejo lahko podoben učinek kot neposredne spremembe v sistemu financiranja. Raziskovalci in njihove organizacije lahko prilagajajo svoje vedenje in organizacijo do novih zahtev
raziskovalnih agencij na različne načine, ki pa ne vplivajo negativno na njihovo raziskovalno delovanja.
Tudi visokošolske in specialne knjižnice, ki podpirajo znanstveno raziskovanje se prilagajajo odločitvam in ukrepom raziskovalnih agencij. To počnejo tako, da odpirajo vse več novih in krčijo klasične knjižničarske storitve. Osredotočajo se na razvoj novih storitev, ki so povezane s spremembami v sistemu znanstvenega komuniciranja in informiranja in niso več le preprosto iskanje in pridobivanje podatkov iz znanstvenih informacijskih virov. Ena od pomembnih novih dejavnosti je tudi omogočanje širšega dostopa do informacijskih virov v znanosti, zlasti odprtega dostopa ( OA ) . Uporaba podatkov iz obstoječih informacijskih virov za ustvarjanje izdelkov z dodano vrednostjo, pomeni, da je klasična podoba knjižnice preoblikoval v ponudnika storitev. Nove in inovativne knjižnične in informacijske storitve na področjih, kot so bibliometrijske analize ustvarjajo nove priložnosti za knjižničarje v knjižnic, saj najdejo nove vloge znotraj svojih ustanov in raziskovalne skupnosti.
Sistem vrednotenja objav raziskovalnega dela, kot je uveljavljen v Sloveniji, temelji na dveh povezanih sistemih SICRIS in COBISS. Slovenija ima centraliziran in enoten sistem bibliografij raziskovalcev, ki tvorijo del bibliografskega sistema in servisov COBISS. Bibliografije raziskovalcev so postale del sistema v letu 1994, in obvezna leta 1997. To ni nekaj edinstvenega v Evropi, saj so več manjših evropskih državah v zadnjih letih uvedli podobne celovite informacijske sisteme, ki temeljijo na popolnih podatkov objav raziskovalnih rezultatov na ravni države : Belgija (Flandrija ), Danska in Norveška. Obstajajo trije glavni razlogi za izbiro nacionalne baze podatkov kot platforme za podatke o objavi in bibliografskih kazalcev:
•	Popolnost : Vse objave so vključene in ni narejenega izbora, kot je to pri komercialnih bazah podatkov.
•	Uporabnost: Možna je večkratna uporaba podatkov (bio- in bibliografskih), povezave do celotnega besedila , in podobno
•	Transparentnost : vsak posameznik ali ustanova lahko vidi in preveri podatke drugih, baze podatkov so na spletu in odprt za širšo javnost.
Takšni informacijski sistemi so pritegnili pozornost bibliometrikov in drugih raziskovalcev znanosti. Študije kot so naše imajo, ko so objavljene v mednarodnih revijah, tudi dodaten »informacijski« pomen. Sistem je dosledno uporabljan v zadnjih dveh desetletjih, ter omogočajo analizo podatkov na v časovnih vrstah. Te podatke smo tudi uporabili pri napi analizi.
Seveda pa noben sistem ni in ne more biti popoln. Ker sta postopka ocenjevanja kakovosti, kvalitativna (peer review) in kvantitativna (bibliografski kazalci) je treba opazovati oba. V petem delu projekta smo se temu bolj posvetili. Raziskovalci in njihove organizacije se hitro prilagajajo na nove postopke in spremembe pravil, tudi če niso neposredno povezana s financiranjem in odobritvijo projektov, programov in podobno. Večja transparentnost raziskovalnih rezultatov je bil ukrep, katerega cilj je zagotoviti boljšo vključitev v mednarodne raziskave, hkrati pa ohranja slovensko raziskovalno prisotnost in pokritost na vseh znanstvenih področjih raziskav, in je izpolnjen ta cilj.
Ta del projekta je bil tudi objavljen v reviji Journal of Librarianship and Information Science, ki je po SCOPUSu v prvi četrtini revij s področja Bibliotekarske in informacijske znanosti in na mednarodni konferenci v Sloveniji.
2. Drugi del projekta se ukvarja z različnimi viri podatkov za namene vrednotenja in bibliometrijske analize. Web of Science in Scopus so do sedaj primerjali glede na različne kriterije, kot so uporabniški vmesnik, pokritost predmetnih skupin (predmetna področja), držav, avtor sklopov, itd, vendar le redko najdemo celovito primerjavo in oceno celotne nacionalne znanstvene produkcije. To je bil cilj te študije, da analiziramo celotno nacionalno proizvodnjo (pribl. 50.000 zapisov z 10.000 avtorjev) med 1996-2011, ki so prav tako del SICRISa in COBISSa, ki povezuje avtorje z podatki iz WoSa in Scopusa. Sistem omogoča natančno identifikacijo prek enotne identifikacijsko številko bibliografskih enot in enolično identifikacijo avtorja (iz Slovenije). Na osnovi teh podatkov smo poiskali razlike med WoS in Scopus na posameznih področjih. Edinstvena zmožnost SICRISa da zajeme, tudi spremlja trende objavljanja skozi leta, s stalnimi kontrolami na različnih ravneh, predstavlja izjemen pripomoček za sistematično ocenjevanje objavljenih dokumentov in posameznih citatov v Sloveniji kot celoti.
Analiza je torej zajemala obsežno zbirko podatkov z več deset tisoč zapisov. Na podlagi natančne analize in kontrole podatkov, je uspelo pojasniti nekatere razlike med obema podatkovnima bazama, kot tudi med raziskovalnimi področji. Razlike, ki temeljijo na različnih vzorcih objavljanja med znanstvenimi področji, lahko upošteva ARRS z nekaterimi novimi merili v prihodnje. Razlike v zajemanju so predvsem zanimiva z področje družboslovja, ter delna za področje tehnike in humanističnih ved.
Rezultati tega dela raziskave so bili predstavljeni v reviji Scientometrics, vodilni reviji na področju bibliometrije, ki je prav tako med najbolj citiranimi revijami na področju Bibliotekarske in informacijske znanosti. Pomemben praktičen rezultat pa je bil v tem, da smo skupaj s sodelavci iz IZUM postavili vse potrebno za enakovredno obravnavo obeh bibliografskih baz WoS in Scopus za potrebe spremljanja znanstvene produkcije slovenskih raziskovalcev.
3. V tretjem delu projekta smo analizirali financiranje raziskav iz javnih virov, raziskovalnega potenciala (število raziskovalcev), ter znanstvenih rezultatov (znanstvene objave). Raziskovalna področja medicine smo podrobneje analizirati in primerjali z nekaterimi drugimi raziskovalnih področij. Cilj je bil boljše razumevanje razlik, ki so lahko posledica dolgoročne znanstvenih politike v Sloveniji.
Cilj je bil ugotoviti, če se razmeroma velike razlike v raziskovalnega potenciala različnih raziskovalnih področij kaže tudi v številu znanstvenih člankov ter njihovega vpliva. Raziskovalni rezultati so bili analizirani in ocenjevani, kot objave ter njihov vpliv, merjen s številom citatov. Kvantitativni kazalci, ki se uporabljajo za vrednotenje raziskovalnih rezultatov so bili razdeljeni v dve skupini: kazalci znanstvene dejavnosti in kazalci znanstvene produktivnosti in vpliva.
Rezultati so pokazali, da razlike v raziskovalnem potencialu in financiranju le delno vplivajo na število znanstvenih člankov, ampak veliko več na njihov vplivom (citiranost). Rezultati kažejo, da se je število člankov, objavljenih s avtorstvu ali soavtorstvu z raziskovalci iz Slovenije hitro narašča. Preverili smo vpliv mednarodnega sodelovanja slovenskih avtorjev in status revije, kjer so bili članki objavljeni, ter njihov vpliv, merjen s številom citatov, ki jih prejmejo. Raziskovalni program skupine, ki delajo v Sloveniji v obdobju 2004-2008 na področjih fizike, kemije, biologije, biotehnologije in medicinske znanosti so bili izbrani za analizo. Učinki obeh dejavnikov razlikujejo med raziskovalnimi področji. Tudi vpliv OA se je po naših rezultatih pokazal kot pomemben dejavnik, ki pripomore k večji odmevnosti (večjem številu citatov), toda samo za kvalitetne revije (mi smo jih opredelili kot revije v prvem kvartilu določenega področja).
Osnovni rezultati so bili objavljeni v slovenski reviji Zdravstveni vestnik, posamezni deli pa še v dveh članki (v sodelovanju z drugimi raziskovalci) v reviji Scientometrics. Rezultati so pomembni saj kažejo na različne dejavnike, ki vplivajo na način objavljanja in odmevnost objav slovenskih raziskovalcev.
4. V četrtem delu projekta smo ocenili recenzentski postopek, ter analizirali odnos med bibliografskimi metodami in recenzentskim ocenjevanjem projektov, odziv recenzentov, ter stopnjo zanesljivosti recenzentskih ocen. Prijavitelji so bili razdeljeni po šestih vedah, kot jih opredeli ARRS (Naravoslovje in matematika, Tehnika, Medicinske vede, Biotehniške vede, Družboslovne vede in Humanistika), potem na raziskovalna področja in na koncu na tematsko sorodnih temah v "grozdih" do pet vlog. Vsak projekt je imel tri recenzente.
Glavno orodje za iskanje in izbor recenzentov je bil Reviewer Finder (Elsevier). Le-ta uporablja semantično iskanje, četudi je rezultat seznam potencialnih recenzentov s bibliometrijskimi kazalniki in prikaz morebitnih konfliktov strokovnega znanja in možnost iskanja recenzente za celoten »grozd« prijavljenih projektov. Seznami potencialnih recenzentov so filtrirani po bibliometrijskih merilih/kazalcih (h-indeks, objave in citiranost v zadnjih letih, avtorstvo), kakor tudi geografskega porekla (Evropa). S slednjim smo želeli povečati možnost pozitivnega odgovora na prošnjo po recenziji. Izbranih je bilo 544 recenzentov. Cilj je bil najti iste tri recenzente za oceno enega "grozda" podobnih projektov.
Z analizo smo želeli oceniti zanesljivost recenzentskih ocen. Cilj je bil primerjati zanesljivost ocen znotraj istega nabora ocenjevalcev. 313 predlogov projektov iz 61 znanstvenih področij je bili vključenih v analizo, v kateri je bila vsaka obravnavana kot samostojna enota analize. Glavni cilj tukaj je za merjenje usklajenosti med recenzenti na različnih znanstvenih področjih. Poleg koeficienta absolutne sporazuma, ki je skupen indeks zanesljivosti različnih ocenjevalcev v povprečju, smo izračunali še indeks zanesljivosti ocen za enega recenzenta, ki je običajno nižji.
Tu je bilo bistveno delo opravljeno prav na praktični uporabnosti takšnega iskanja recenzentov za potrebe ARRS, četudi smo osnovne rezultate prikazali tudi na mednarodni konferenci.
5. Peti del projekta se je ukvarjal z informacijskim vedenjem slovenskih znanstvenikov. Za raziskavo (spletna anketa) so bili uporabljeni podatki iz baze slovenskih raziskovalcev, ki jo vodi ARRS. Rezultati kažejo, da na večini področij, slovenski raziskovalci kažejo običajne lastnosti znanstvenikov drugje, z izjemo razmeroma šibke uporabo spletnih orodij za 2,0, za raziskovalne namene, in slabe uporabe informacijskih virov v odprtem dostopu. Raziskava potrjuje, da informacijske in komunikacijske tehnologije (IKT), močno vplivajo na profesionalne dejavnosti znanstvenikov pri izbiri oblik informacijskih virov, dostop do njih, orodij za izmenjavo informacij, organizacijo svojih lastnih virov, branje, pisanje in uporaba knjižničnih storitev. V naši raziskavi ni bilo moč ugotoviti razlik glede na starost ali spol, najbolj pogosti so bile razlike med posameznimi znanstvenimi področji, med raziskovalci v humanistiki in drugimi. Raziskovalci komaj še kaj uporabljajo tradicionalne knjižnične storitve in samo opravljajo nekatera dela, ki so jih včasih knjižnice . Namreč, več kot polovica anketiranih raziskovalcev bo več kot 200 elektronskih dokumentov v svojem arhivu, ki je v bistvu majhna zasebna knjižnico.
Večina znanstvenikov začenja iskanje (pogosto ali vedno) z Googlom. Toda to ne pomeni, da ima Google absoluten monopol nad iskanjem in da so nehali uporabljati druga orodja. Portali e-revij, ne zaostajajo veliko za uporabo Google-a, sledijo ji uporaba bibliografskih baz podatkov in, kar je presenetljivo, knjižnični OPAC. Slednje kaže na visoko uporabo COBISS/SICRIS kot informacijskega vira s strani slovenih raziksovalcev. Skoraj polovica raziskovalcev v naši raziskavi pogosto ali vedno začenja svoje iskanje z njim, kar je zanimiv rezultat. Premik od klasičnih tiskanih k elektronskim virom pa je opazen pri vseh anketirancih, z izjemo raziskovalcev na področju humanistike.
Tudi tu smo lahko rezultate uporabili pri usmerjanju politike ARRS na področju nabave informacijskih virov (znanstvenih revij in baz podatkov). Rezultate smo tudi prikazali na različnih uglednih mednarodnih konferencah.
Objave iz projekta 1
JUŽNIČ, Primož. Vpliv sodobnih tehnologij na razvoj bibliotekarjev in bibliotekarstva = The influence of modern technologies on the development of librarians and library profession. V: KAVČIČ-ČOLIČ, Alenka (ur.), VODOPIVEC, Ines (ur.). Izzivi sodobnih tehnologij : konkurenčna prednost knjižničnih storitev: zbornik referatov. Ljubljana: Zveza bibliotekarskih društev Slovenije, 2012, str. 53-62
DEMŠAR, Franci, JUŽNIČ, Primož. Transparency of research policy and the role of librarians. Journal of librarianship and information science, ISSN 1741-6477, 2013, vol.46 , no. 2 , str. 139-147
BARTOL, Tomaž, BUDIMIR, Gordana, DEKLEVA SMREKAR, Doris, PUŠNIK, Miro, JUŽNIČ, Primož. Assessment of research fields in Scopus and Web of Science in the view of national research evaluation in Slovenia. Scientometrics, ISSN 0138-9130, 2014, vol. 98, iss. 2, str. 1491-1504
BARTOL, Tomaž, DEKLEVA SMREKAR, Doris, PUŠNIK, Miro, MANDELJ, Tilen, ŽAUCER, Matjaž, PEČLIN, Stojan, VILAR, Polona, JUŽNIČ, Primož. Primerjava izbranih funkcij informacijskih sistemov Scopus in Web of Science. Knjižnica, ISSN 0023-2424, jul. 2012, 56, [št.] 1/2, str. 77-104
3
PEČLIN, Stojan, JUŽNIČ, Primož. Research in the fields of medicine in Slovenia - research potential, funding, and publications. Zdravniški vestnik, ISSN 1318-0347. [Tiskana izd.], sep. 2012, letn. 81, št. 9, str. 602-617
PEČLIN, Stojan, JUŽNIČ, Primož, BLAGUS, Rok, ČIŽEK-SAJKO, Mojca, STARE, Janez. Effects of international collaboration and status of journal on impact of papers. Scientometrics, ISSN 0138-9130, Dec. 2012, vol. 93, no. 3, str. 937-948
KOLER-POVH, Teja, JUŽNIČ, Primož, TURK, Goran. Impact of open access on citation of	
scholarly publications in the field of civil engineering.	Scientometrics, ISSN 0138-9130, 2014,
letn. 98, št. 2, str. 1033-1045
4
JUŽNIČ, Primož, MATOH, Robert, DEKLEVA SMREKAR, Doris. An experience of the inclusion a new methodology in selecting the reviewers for grant applications. V: 14th International Society of Scientometrics and Informetrics Conference, Vienna, Austria, GORRAIZ, Juan (ur.). Proceedings of ISSI 2013, (Proceedings of the ... International Conference on Scientometrics and Informetretrics, ISSN 2175-1935). Vienna: Austrian Institut of Technology, 2013, str. 1976-1978.
5
VILAR, Polona, BARTOL, Tomaž, PISANSKI, Jan, JUŽNIČ, Primož. Are librarians familiar with information seeking behaviour of teachers and researchers in their respective institutions?. V: Libraries in the digital age (LIDA) : Zadar, Croatia, 18 - 22 June 2012 : Proceedings, (LIDA 2012, Vol. 12 (2012)). [Online ed.]. Zadar: University of Zadar, 2012, [12]
VILAR, Polona, JUŽNIČ, Primož, BARTOL, Tomaž. Slovenian researchers : what influences their information behaviour?. V: KURBANOGLU, Serap (ur.). E-science and information management : third International Symposium on Information Management in a Changing World, IMCW 2012, Ankara, Turkey, September 19-21, 2012. Proceedings, (Communications in computer and information science, ISSN 1865-0929, 317). Berlin; New York: Springer, cop. 2012, str. 47-60
VILAR, Polona, JUŽNIČ, Primož, BARTOL, Tomaž. Information-seeking behaviour of Slovenian researchers : implications for information services. V: The Grey Circuit : from social networking to wealth in creation : Thirtheenth International Conference on Grey Literature, Library of Congress, Washington D.C. USA, 5-6 December 2011 : GL13 conference proceedings, (GL conference series, ISSN 2211-7199, No. 13). Online ed. Amsterdam: TextRelease, cop. 2012, str. 50-60.
VILAR, Polona, JUŽNIČ, Primož, BARTOL, Tomaž. Information-seeking behaviour of Slovenian researchers : implications for information services. The grey journal, ISSN 15741796, 2012, vol. 8, no. 1, str. 43-53