UNIVERZA V LJUBLJANI EKONOMSKA FAKULTETA CENTRALNA EKONOMSKA KNJIŽNICA Jure Brešar VREDNOTENJE RAZISKOVALNEGA DELA Z BIBLIOMETRIČNIMI ANALIZAMI V VISOKOŠOLSKI KNJIŽNICI: PRIMER CENTRALNE EKONOMSKE KNJIŽNICE Pisna naloga za bibliotekarski izpit Ljubljana, 2025 Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit ii Ključna dokumentacijska informacija Ime in PRIIMEK: Jure BREŠAR Naslov pisne naloge: Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice Kraj: Ljubljana Leto: 2025 Št. strani: 31 Št. slik: 21 Št. preglednic: 2 Št. prilog: 2 Št. strani prilog: 5 Št. referenc: 13 Strokovno usposabljanje za bibliotekarski izpit je potekalo v: Centralni ekonomski knjižnici Mentor v času strokovnega usposabljanja: Tomaž Ulčakar, Centralna ekonomska knjižnica UDK: 027.7:002:001.891(043.2) Ključne besede: bibliometrija, citiranje, raziskovalci, visokošolske knjižnice Izvleček Zaradi vse večje količine znanstvenih objav se je v 60. letih 20. stoletja začela uveljavljati bibliometrija, metoda, ki na podlagi citiranosti prikazuje in vrednoti povezave med znanstvenimi deli. V začetku se je uporabljala predvsem za identifikacijo sorodnih del in prikaz razvoja posameznih znanstvenih področij, nato pa so se s časom bibliometrične metode začele vse pogosteje uporabljati za vrednotenje raziskovalnega dela, posameznikov in revij. Takšno je stanje še danes. V nalogi smo analizirali odnos raziskovalcev na Univerzi v Ljubljani, Ekonomski fakulteti do bibliometrije, njihovo mnenje o njeni uporabnosti za vrednotenje raziskovalnega dela in izvedli evalvacijo storitev Centralne ekonomske knjižnice na tem in na drugih področjih. Izkazalo se je, da raziskovalci na bibliometrijo gledajo kot na metodo, posebej primerno za spoznavanje posameznih znanstvenih področij, zlasti uporabno za mlade raziskovalce na začetku kariere. Raziskava je pokazala tudi, da je za večino raziskovalcev metrika vrednotenja raziskovalne uspešnosti najpomembnejši faktor pri izbiri revije za objavo, čeprav se jih le približno 50 % strinja, da realistično prikaže kvaliteto revij. Na podlagi raziskave Centralna ekonomska knjižnica načrtuje tudi novo storitev, pripravo podatkov za raziskavo po želji raziskovalcev. Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit iii KAZALO VSEBINE 1 UVOD ................................................................................................................................. 1 1.1 METODOLOGIJA IN METODE ............................................................................... 1 1.2 RAZISKOVALNO OKOLJE ...................................................................................... 3 2 ZGODOVINSKI RAZVOJ BIBLIOMETRIJE ................................................................. 3 3 RAZISKAVA ..................................................................................................................... 6 3.1 REZULTATI ANKETE .............................................................................................. 6 3.1.1 Znanstvene objave raziskovalcev UL EF in vpliv bibliometrije .......................... 6 3.1.2 Mnenje raziskovalcev o kvantitativnem vrednotenju raziskovalne uspešnosti .. 10 3.1.3 Evalvacija storitev CEK ..................................................................................... 16 3.1.4 Demografske značilnosti .................................................................................... 17 3.2 STATISTIČNA ANALIZA ANKETNIH PODATKOV .......................................... 18 3.2.1 Vpliv akademskega naziva na anketne odgovore ............................................... 18 3.2.2 Vpliv starosti na anketne odgovore .................................................................... 20 3.3 REZULTATI INTERVJUJEV................................................................................... 22 3.3.1 Razumevanje pojma bibliometrija ...................................................................... 22 3.3.2 Uporaba bibliometrične metode ......................................................................... 23 3.3.3 Mnenje o metriki vrednotenja raziskovalne uspešnosti ...................................... 24 3.3.4 Bibliometrija in uporaba generativne umetne inteligence .................................. 26 3.3.5 Katere dodatne storitve naj bi raziskovalcem nudila knjižnica .......................... 27 4 RAZPRAVA IN ZAKLJUČKI ........................................................................................ 27 5 NAVEDENI VIRI IN LITERATURA ............................................................................. 30 KAZALO SLIK Slika 1: Odgovori raziskovalcev UL EF na vprašanje, ali so zanje pomembni trendi na področju znanstvenega objavljanja ............................................................................................................ 7 Slika 2: Elementi, ki pri raziskovalcih UL EF vplivajo na izbiro revije za objavo .................... 8 Slika 3: Odgovori raziskovalcev UL EF na vprašanje, ali pri lastnem raziskovalnem delu kdaj uporabljajo bibliometrične metode ............................................................................................. 9 Slika 4: Namen uporabe bibliometričnih metod med raziskovalci UL EF................................. 9 Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit iv Slika 5: Odgovori raziskovalcev UL EF, ki se ukvarjajo z bibliometrijo, na vprašanje, ali pri tem kdaj uporabljajo orodja generativne umetne inteligence ................................................... 10 Slika 6: Odgovori raziskovalcev UL EF na vprašanje, ali se strinjajo, da je raziskovalno uspešnost mogoče številčno vrednotiti ..................................................................................... 11 Slika 7: Mnenje raziskovalcev UL EF o metodah, na katerih bi morala biti zgrajena metrika vrednotenja raziskovalne uspešnosti ........................................................................................ 12 Slika 8: Mnenje raziskovalcev UL EF o trditvi Če je revija po metriki vrednotenja raziskovalne uspešnosti visoko ocenjena, je zelo verjetno res kvalitetna ...................................................... 12 Slika 9: Mnenje raziskovalcev UL EF o trditvi Če je revija po metriki vrednotenja raziskovalne uspešnosti nizko ocenjena, je zelo verjetno res manj kvalitetna............................................... 13 Slika 10: Mnenje raziskovalcev UL EF o trditvi Petletni faktor vpliva revij bolj realno prikaže kvaliteto revije kot trenutno uporabljen dvoletni ..................................................................... 13 Slika 11: Mnenje raziskovalcev UL EF o trditvi Pri določanju faktorja vpliva bi bilo primernejše še daljše obdobje kot pet let ................................................................................. 14 Slika 12: Mnenje raziskovalcev UL EF o trditvi Faktor vpliva je na nekaterih znanstvenih področjih manj zanesljiv kot na drugih .................................................................................... 15 Slika 13: Odgovori raziskovalcev UL EF na vprašanje, ali razen metrike JCR (faktor vpliva) spremljajo še katere druge ........................................................................................................ 15 Slika 14: Elementi dela CEK, s katerimi so raziskovalci UL EF zadovoljni ........................... 16 Slika 15: Elementi dela CEK, pri katerih si raziskovalci UL EF želijo več ............................. 17 Slika 16: Povezava med akademskim nazivom in odgovorom na vprašanje Ali pri raziskovalnem delu kdaj uporabljate bibliometrične metode? ................................................. 19 Slika 17: Povezava med akademskim nazivom in strinjanjem s trditvijo Če je revija po metriki vrednotenja raziskovalne uspešnosti visoko ocenjena, je zelo verjetno res kvalitetna. ........... 19 Slika 18: Povezava med akademskim nazivom in odgovorom na vprašanje Ali razen metrike JCR (faktor vpliva) spremljate še katere druge? ...................................................................... 20 Slika 19: Povezava med starostjo in odgovorom na vprašanje Ali pri raziskovalnem delu kdaj uporabljate bibliometrične metode? ......................................................................................... 21 Slika 20: Povezava med starostjo in strinjanjem s trditvijo Če je revija po metriki vrednotenja raziskovalne uspešnosti visoko ocenjena, je zelo verjetno res kvalitetna................................. 21 Slika 21: Povezava med starostjo in odgovorom na vprašanje Ali razen metrike JCR (faktor vpliva) spremljate še katere druge?.......................................................................................... 22 Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit v KAZALO PREGLEDNIC Preglednica 1: Akademski naziv in starost anketirancev ......................................................... 18 Preglednica 2: Število znanstvenih objav v celotni karieri ...................................................... 18 KAZALO PRILOG PRILOGA 1: ANKETNI VPRAŠALNIK ................................................................................... i PRILOGA 2: VPRAŠANJA S POTENCIALNIMI PODVPRAŠANJI ZA IZVEDBO INTERVJUJEV .......................................................................................................................... v Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit vi ZAHVALA Najlepše se zahvaljujem mentorju Tomažu Ulčakarju za ideje, pomoč in potrpežljivost pri izdelavi strokovne naloge in za podporo v času strokovnega usposabljanja. Hvala tudi raziskovalcem, ki so sodelovali pri anketi in intervjujih, ter vsem sodelavcem Centralne ekonomske knjižnice. Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 1 1 UVOD Po Karlu Popperju je ena izmed izmed ključnih lastnosti akademske skupnosti medsebojno deljenje raziskovalnih rezultatov (Ball, 2021, str. 1). V znanosti ne gre le za raziskovanje zase, temveč morajo biti rezultati tudi objavljeni. Od sredine 20. stoletja naprej število znanstvenih publikacij skokovito raste, viša se število različnih znanstvenih revij, monografij, konferenc, od začetka 21. stoletja dalje imamo tudi vedno več novih tipov elektronskih medijev. Vse to izredno pripomore k širjenju idej, vendar je zaradi velike količine objav veliko težje presoditi, katere so najbolj kvalitetne. Veliko težje kot v preteklosti je tudi dobiti celovit pregled nad posameznimi znanstvenimi področji. Tu pride v poštev bibliometrija, znanstvena metoda, ki kvaliteto objav in razvoj znanstvenih področij določa na podlagi števila citatov (Ball, 2021, str. 2). Bibliometrične metode so osnova tudi za merjenje raziskovalne uspešnosti v Sloveniji in po svetu. Na Univerzi v Ljubljani morajo raziskovalci za napredovanje v višji znanstveni naziv objaviti pomembno delo na svojem znanstvenem področju (Merila za volitve v nazive visokošolskih učiteljev, znanstvenih delavcev ter sodelavcev Univerze v Ljubljani št. 5, 2021). V primeru znanstvenih člankov se pomembnost ocenjuje na podlagi vključenosti revije v razne citatne indekse, kot so Social Sciences Citation Index (SSCI), Arts and Humanities Citation Index (AHCI) ali Scopus, ti pa so zgrajeni na podlagi bibliometričnih metod. Ker pa gre pri bibliometriji za posploševanje in kvantificiranje sicer kvalitativnih podatkov, so mnenja o merjenju raziskovalne uspešnosti deljena. V raziskavi smo preučili pogled raziskovalcev na Univerzi v Ljubljani, Ekonomski fakulteti (dalje UL EF) na trenutno implementacijo te metrike ter o mnenju o bibliometriji kot metodi v splošnem. Na podlagi rezultatov raziskave bo Centralna ekonomska knjižnica (dalje CEK) nadgradila obstoječe storitve, cilj pa je tudi potencialni razvoj novih. 1.1 METODOLOGIJA IN METODE V prvem delu naloge se bomo osredotočili na razvoj bibliometrije v Sloveniji in svetu od njenega začetka konec 19. stoletja do danes. S pomočjo strokovne literature bomo predstavili tudi najpomembnejše avtorje, teorije in spremembe na tem področju. Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 2 Sledi ugotavljanje odnosa raziskovalcev UL EF do bibliometrije. Pri tem nas bo zanimalo tako mnenje o bibliometriji kot metodološkem pristopu kot tudi mnenje o merjenju raziskovalne uspešnosti na UL EF. Nazadnje zaključimo z evalvacijo storitev knjižnice, tako na področju bibliometrije kot tudi v splošnem. Pri raziskavi smo skušali odgovoriti na naslednja raziskovalna vprašanja: • Kako raziskovalci UL EF gledajo na bibliometrijo in v čem vidijo njeno uporabnost? • Kakšno je mnenje raziskovalcev UL EF o metriki vrednotenja raziskovalne uspešnosti? • Na kakšen način lahko CEK izboljša svoje storitve za raziskovalce? Odnos raziskovalcev do bibliometrije in potencialno izboljšanje storitev smo analizirali s kombinacijo kvantitativne in kvalitativne metode. Po pregledu zgodovinskega razvoja bibliometrije, ki služi kot teoretično izhodišče naloge, smo med vsemi raziskovalci UL EF izvedli anketo z uporabo spletne aplikacije 1KA. Anketiranje je potekalo v februarju 2025. Na vabilo na anketo, ki smo ga po elektronski pošti poslali vsem raziskovalcem na UL EF, se je odzvalo 48 od 184 posameznikov, kar predstavlja 26 % vseh raziskovalcev na fakulteti. Rezultate ankete smo nato statistično analizirali. Izvedli smo torej anketo med celotno populacijo raziskovalcev UL EF, ki predstavlja kvantitativni del raziskave. Po anketi smo se lotili tudi kvalitativnega raziskovanja. Izvedli smo polstrukturirane intervjuje med člani vodstva fakultete in raziskovalci, ki se pri lastnem raziskovalnem delu ukvarjajo z bibliometrijo, in jih vsebinsko analizirali. Skupno smo intervjuvali osem posameznikov, ki smo jim zastavili vprašanja iz petih sklopov. Osredotočali smo se na njihovo mnenje o bibliometriji, na njihove izkušnje z uporabo bibliometričnih metod, mnenje o metriki vrednotenja znanstvene uspešnosti, njihov pogled o potencialni uporabnosti generativne umetne inteligence na tem področju in na mnenje o podpori raziskovalcem v CEK. V vzorec smo vključili raziskovalce, ki se pri lastnem delu ukvarjajo z bibliometrijo, ter člane vodstva fakultete. Intervjuje smo izvedli v februarju 2025. Dva izmed intervjujev smo izvedli spletno z uporabo orodja Zoom ter celoten pogovor posneli. Preostali intervjuji so bili izvedeni Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 3 v živo. Pri enem smo odgovore intervjuvanca beležili, pri preostalih petih pa smo intervju posneli. 1.2 RAZISKOVALNO OKOLJE Raziskava je bila izvedena na UL EF, ki je od svojega ustanovitve leta 1946 do danes postala edina poslovna šola v regiji s trojno akreditacijo (EQUIS, AACSB in AMBA). Na fakulteti so dejavni številni domači in tuji strokovnjaki ter raziskovalci na področju ekonomije in poslovnih ved. Del UL EF je tudi CEK, ustanovljen leta 1947, ki velja za osrednjo slovensko znanstveno in visokošolsko knjižnico na področju ekonomije in poslovnih ved. Poleg storitev, namenjenih študentom in zunanjim uporabnikom, CEK ponuja tudi podporo za raziskovalce. Te storitve obsegajo številna področja, kot so priprava bibliografij, podpora pri odprtodostopnem objavljanju z vnosom objav v Repozitorij Univerze v Ljubljani (RUL) in različne bibliometrične analize dela raziskovalcev. Na podlagi Pravilnika o znanstvenoraziskovalni dejavnosti Ekonomske fakultete Univerze v Ljubljani (2021) CEK pripravlja sezname znanstvenih objav, razvrščenih v kategorije glede na kvaliteto, ki so nato objavljeni v letnih raziskovalnih poročilih Ekonomske fakultete. Podobni seznami se pripravljajo tudi za akreditacijska poročila. Ta so odvisna od zahtev akreditacijske komisije, večinoma pa gre za statistike o kvaliteti znanstvenih objav fakultete, ki se določajo na podlagi različnih citatnih indeksov, kot so SSCI, AHCI ali Scopus. 2 ZGODOVINSKI RAZVOJ BIBLIOMETRIJE Kot prvo bibliometrično delo se običajno omenja Histoire des Sciences et des Savants Depuis Deux Siècles francoskega botanika Alphonsea de Candollea iz leta 1873. Njegov cilj je bil identifikacija faktorjev, ki privedejo do razlik med znanstvenim uspehom različnih narodov. Iz tega dela se je konec 19. in začetek 20. stoletja začela razvijati bibliometrija, ki je bila na začetku znana kot statistična bibliografija. Izraz bibliometrija je prvi uporabil belgijski knjižničar Paul Otlet, ki je znan tudi kot oče sistema Univerzalne decimalne kvalifikacije (UDK) (Danesh in Mardani-Nejad, 2021, str. 8–10). Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 4 Naslednji pomemben prelom v zgodovini bibliometrije je Institut za znanstvene informacije (Institute for Scientific Information), ki ga je leta 1960 ustanovil ameriški jezikoslovec Eugene Garfield. Prvi je prišel na idejo, da lahko s sledenjem citatov sklepamo o značilnostih znanstvenega področja. V 60. letih 20. stoletja je vzpostavil prvi citatni indeks Science Citation Index (SCI), kasneje pa je dodal še Social Sciences Citation Index (SSCI) in Arts &Humanities Citation Index (A&HCI). Leta 1997 so se vsi trije citatni indeksi združili v Web of Science (Pendlebury, 2021, str. 27–30). Garfield in njegov sodelavec Irving H. Sher sta v 60. letih 20. stoletja zasnovala tudi faktor vpliva (Impact Factor – IF). Faktor vpliva je še danes eden izmed najpopularnejših produktov Instituta za znanstvene informacije, je pa tudi med najbolj kontroverznimi. V osnovi je bil namenjen predvsem za knjižničarje za izgradnjo knjižničnih zbirk, za raziskovalce na področju informacijskih znanosti ali pa enostavno za lažje iskanje sorodnih objav na določenem področju, danes pa se uporablja kot merilo za kvaliteto znanstvenega dela. Garfield sam je večkrat opozoril, da faktor vpliva ni namenjen za takšno uporabo (Pendlebury, 2021, str. 30– 31). Je pa že v 50. letih 20. stoletja razmišljal, da bi se s slednjem citatov dalo ugotavljati tudi zgodovinski razvoj posameznih znanstvenih področij. Po njegovem mnenju bi bilo to možno doseči z diagrami, ki prikazujejo kronološke povezave med znanstvenimi objavami. V 70. letih 20. stoletja je Henry Small na podlagi te ideje predstavil znanstveno kartiranje (science mapping) (Pendlebury, 2021, str. 32–33). Znanstveno kartiranje je metoda, ki analizira povezave med avtorji, ključnimi besedami, temami in drugimi značilnostmi znanstvenih objav na podlagi citiranja. Z njo lahko določimo najodmevnejše objave na določenih področjih, odkrivamo njihov zgodovinski razvoj in sklepamo o nadaljnjem razvoju področja, kar dosežemo z metodami, kot so analiza citiranosti, analiza kocitiranosti, analiza bibliografskih parov in podobno (Donthu idr., 2021). V 70. letih 20. stoletja je bibliometrija, ki je bila do takrat večinoma omejena na ZDA, začela prodirati tudi v druge države. Leta 1978 je začela izhajati prva znanstvena revija na področju kvantitativnega raziskovanja znanosti Scientometrics pod glavnim urednikom Tiborjem Braunom iz Madžarske akademije znanosti. Leta 1979 pa se je zgodil še bolj ključen dogodek na področju bibliometrije. Vodstvo Univerze v Leidnu se je odločilo, da se morajo sredstva med oddelki univerze deliti ne le na podlagi števila študentov, temveč tudi kvalitete Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 5 raziskovalnega dela. Začele so se študije, ki so skušale ugotoviti, ali lahko raziskovanje citiranosti zanesljivo prikaže kvaliteto objave. Nazadnje je univerza leta 1989 ustanovila Centre for Science and Technology Studies (CWTS), ki je tudi eden prvih oddelkov za bibliometrijo v akademski instituciji (van Raan, 2021, str. 53–55). V Sloveniji se je bibliometrija začela resno vzpostavljati v 90. letih 20. stoletja. Južnič (1998, str. 190) opozarja, da se zaradi hitrega razvoja tehnologije zelo hitro spreminja način beleženja, hranjenja in posredovanja informacij. Ker je za bibliotekarstvo posebej pomembno, da se uporabniki naučijo iskanja informacij sami, se je takrat pojavljal problem deprofesionalizacije knjižničarske dejavnosti. Zato je pomembo uveljavljanje znanstvenih metod v bibliotekarstvu, še posebej na področju bibliometrije, saj ta obravnava hranjenje in posredovanje zapisanega znanja, kar je že od nekdaj osnovna naloga bibliotekarstva. Pomembne naloge bibliometrije, ki jih identificira Južnič (1998, str. 193), so merjenje vpliva znanstvenih objav, posameznikov ali institucij, merjenje vpliva znanstvenih revij, evalvacija različnih raziskovalnih politik in pomoč pri iskanju relevantnih virov. Slovensko terminologijo področja bibliometrije je definiral Ivan Kanič na podlagi pogostosti pojavljanja različnih izrazov v slovenskih besedilih o bibliometriji (Kanič, 2011, str. 241). Terminologija v nalogi sledi njegovim prevodom. Še danes je merjenje raziskovalne uspešnosti v veliki večini osnovano na faktorju vpliva in podobnih kvantitativnih metrikah. Na Univerzi v Ljubljani morajo raziskovalci na znanstvenih področjih za habilitacijo v višji naziv predložiti izdana pomembna dela, ki morajo biti v primeru člankov izdana v revijah s faktorjem vpliva nad 0, pri citatnih indeksih AHCI in Scopus pa v revijah s Source Normalized Impact per Paper (SNIP) nad 0 (Merila za volitve v nazive visokošolskih učiteljev, znanstvenih delavcev ter sodelavcev Univerze v Ljubljani št. 5, 2022). Izjema so dodatni seznami revij, ki jih članice same določajo. V primeru EF so sprejemljive tudi revije, ki so uvrščene na seznam Academic Journal Guide (AJG). Seznam AJG izdaja Chartered Association of Business Schools, vodilno združenje poslovnih šol v Veliki Britaniji. Vidimo torej, da je vrednotenje raziskovalne uspešnosti danes tesno povezano s citiranostjo objav, čeprav je Eugene Garfield, ki je sistem vzpostavil, sam trdil, da ni primeren za ta namen Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 6 (Pendlebury, 2021, str. 30). V nadaljevanju naloge bomo analizirali mnenje raziskovalcev na UL EF o bibliometriji v splošnem, o njihovem pogledu na merjenje raziskovalne uspešnosti in na podlagi rezultatov identificirali potencialne nove storitve CEK ter nadgradili prejšnje. 3 RAZISKAVA Odnos raziskovalcev UL EF do bibliometrije in storitev knjižnice smo analizirali z izvedbo ankete med vsemi raziskovalci in s polstrukturiranimi intervjuji z vodstvom in z raziskovalci, ki objavljajo na področju bibliometrije. 3.1 REZULTATI ANKETE Anketa je bila sestavljena iz štirih sklopov. V prvem smo se osredotočili na znanstvene objave raziskovalcev na UL EF in kako nanje vpliva bibliometrija, v drugem na mnenje o kvantitativnem merjenju raziskovalne uspešnosti, v tretjem na evalvacijo storitev CEK, v četrtem pa je sledilo še nekaj demografskih vprašanj. V nadaljevanju bomo grafično in opisno predstavili odgovore v anketi. 3.1.1 Znanstvene objave raziskovalcev UL EF in vpliv bibliometrije Najprej smo raziskovalce vprašali, ali so zanje pomembni trendi na področju znanstvenega objavljanja. Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 7 Slika 1: Odgovori raziskovalcev UL EF na vprašanje, ali so zanje pomembni trendi na področju znanstvenega objavljanja Kot vidimo iz odgovorov, ki so prikazani na Sliki 1, večina raziskovalcev spremlja trende na področju znanstvenega objavljanja, kar bo vplivalo tudi na nadaljnje odgovore. Nato smo raziskovalce vprašali, kaj upoštevajo, ko se odločajo, v kateri reviji bodo objavili prispevek. Ponudili smo jim več možnih odgovorov, ki so prikazani v Sliki 2. 46 2 0 10 20 30 40 50 Da Ne Število odgovorov Odgovor Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 8 Slika 2: Elementi, ki pri raziskovalcih UL EF vplivajo na izbiro revije za objavo Faktor vpliva je bil pri drugem anketnem vprašanju najpogosteje izbran odgovor. Iz odgovorov vidimo (Slika 2), da merjenje raziskovalne uspešnosti zares močno vpliva na objave raziskovalcev. Raziskovalca, ki sta podala odgovore pod drugo, sta izpostavila še seznam revij AJG in citatni indeks SSCI, izbran pa je tudi faktor vpliva, kar še dodatno dokazuje pomembnost citiranja za raziskovalce. V nadaljevanju smo raziskovalce vprašali, ali pri raziskovalnem delu kdaj uporabljajo bibliometrične metode. 41 22 39 31 40 14 11 2 2 0 10 20 30 40 50 faktor vpliva lastno mnenje o reviji ugled revije verjetnost sprejetja v objavo ustreznost področij, ki jih revija pokriva povprečen čas od pošiljanja prispevka do morebitne objave strošek objave (APC) nasvet sodelavcev CEK drugo: Število odgovorov Odgovor Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 9 Slika 3: Odgovori raziskovalcev UL EF na vprašanje, ali pri lastnem raziskovalnem delu kdaj uporabljajo bibliometrične metode Izkazalo se je, da pri lastnem raziskovalnem delu bibliometrične metode uporablja 58 % raziskovalcev na EF, kar je prikazano na Sliki 3. Raziskovalcem, ki so na tretje vprašanje odgovorili z da, smo ponudili še dve dodatni vprašanji. Najprej nas je zanimalo, s kakšnim namenom uporabljajo bibliometrične metode. Spet smo ponudili več možnih odgovorov. Slika 4: Namen uporabe bibliometričnih metod med raziskovalci UL EF 28 20 0 5 10 15 20 25 30 Da Ne Število odgovorov Odgovor 21 24 17 3 2 0 0 10 20 30 Za iskanje povezav med znanstvenimi področji, revijami, raziskovalci ali objavami Za določanje trendov na posameznih znanstvenih področjih Za analizo zgodovine razvoja znanstvene discipline Za lastno primerjavo z drugimi raziskovalci Za primerjavo EF z drugimi ustanovami Drugo: Število odgovorov Odgovor Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 10 Večina raziskovalcev, ki se tudi sami ukvarjajo z bibliometrijo, je izbirala prve tri kategorije, kar vidimo na Sliki 4. Pri vseh treh gre za znanstveno kartiranje (science mapping), ki smo ga omenili pri zgodovinskem pregledu bibliometrije. Veliko manj pogosto pa raziskovalci uporabljajo bibliometrične metode za primerjavo sebe ali UL EF z drugimi institucijami ali avtorji. Raziskovalce, ki se ukvarjajo z bibliometrijo, smo vprašali tudi, ali pri tem kdaj uporabljajo orodja generativne umetne inteligence. Slika 5: Odgovori raziskovalcev UL EF, ki se ukvarjajo z bibliometrijo, na vprašanje, ali pri tem kdaj uporabljajo orodja generativne umetne inteligence Velika večina raziskovalcev pri svojem delu na področju bibliometrije ne uporablja orodij generativne umetne inteligence (Slika 5). Oba raziskovalca, ki sta odgovorila pritrdilno, sta dobila še zadnje vprašanje v prvem sklopu. Vprašali smo ju, katera orodja generativne umetne inteligence uporabljata. Odgovor na to vprašanje sta anketiranca vnesla sama. Oba sta omenila ChatGPT, sicer pa še DeepSeek, Elicit, ResearchRabbit in Perplexity. 3.1.2 Mnenje raziskovalcev o kvantitativnem vrednotenju raziskovalne uspešnosti Drugi sklop vprašanj je bil najobsežnejši. Najprej smo raziskovalce vprašali, ali menijo, da je raziskovalno uspešnost mogoče številčno oceniti. 2 26 0 5 10 15 20 25 30 Da Ne Število odgovorov Odgovor Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 11 Slika 6: Odgovori raziskovalcev UL EF na vprašanje, ali se strinjajo, da je raziskovalno uspešnost mogoče številčno vrednotiti Kot je razvidno iz Slike 6, se je 60 % raziskovalcev strinjalo, da je raziskovalno uspešnost mogoče izraziti s številkami, 16 % pa misli, da to ni možno. Anketiranci, ki so vnesli lastni odgovor, so skoraj vsi izrazili stališče, da je za realistično merjenje raziskovalne uspešnosti pomembno kombiniranje z vsebinsko presojo. Nato nas je zanimalo, kako bi po mnenju raziskovalcev morala biti zgrajena najboljša možna metrika za merjenje raziskovalne uspešnosti. Izbirali so lahko med kvantitativnimi metodami, kvalitativnimi metodami ali kombinacijo obeh. 26 7 10 0 5 10 15 20 25 30 Da Ne Drugo: Število odgovorov Odgovor Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 12 Slika 7: Mnenje raziskovalcev UL EF o metodah, na katerih bi morala biti zgrajena metrika vrednotenja raziskovalne uspešnosti Skoraj vsi raziskovalci so se strinjali, da je kombinacija kvalitativnih in kvantitativnih metod najboljši način merjenja raziskovalne uspešnosti (Slika 7). Le dva (5 %) sta bila mnenja, da je kvalitativni del bolje popolnoma opustiti. Ker sta si naslednji dve vprašanji zelo podobni, ju bomo obravnavali hkrati. V prvem smo jih vprašali, ali se jim zdi, da so visoko ocenjene revije zelo verjetno zares kvalitetne, v drugem pa, ali se jim zdi, da so nizko ocenjene revije zelo verjetno res slabše kvalitete. Slika 8: Mnenje raziskovalcev UL EF o trditvi Če je revija po metriki vrednotenja raziskovalne uspešnosti visoko ocenjena, je zelo verjetno res kvalitetna 0 2 41 0 0 10 20 30 40 50 le na kvalitativnih metodah le na kvantitativnih metodah na kombinaciji kvalitativnih in kvantitativnih metod drugo: Število odgovorov Odgovor 24 19 0 5 10 15 20 25 30 Se strinjam Se ne strinjam Število odgovorov Odgovor Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 13 Slika 9: Mnenje raziskovalcev UL EF o trditvi Če je revija po metriki vrednotenja raziskovalne uspešnosti nizko ocenjena, je zelo verjetno res manj kvalitetna Iz Slike 8 in Slike 9 je razvidno, da raziskovalci v povprečju niso prepričani v natančnost faktorja vpliva pri ocenjevanju kvalitete revije. Pri visoko ocenjenih revijah je nekaj več zaupanja kot pri nizko ocenjenih, vendar je pri obeh vprašanjih delež raziskovalcev, ki metriki zaupajo, le okoli 50 %. V nadaljevanju nas je zanimalo, ali raziskovalci menijo, da petletni faktor vpliva bolj realno prikaže kvaliteto revije kot trenutno uporabljen dvoletni. Slika 10: Mnenje raziskovalcev UL EF o trditvi Petletni faktor vpliva revij bolj realno prikaže kvaliteto revije kot trenutno uporabljen dvoletni 19 24 0 5 10 15 20 25 30 Se strinjam Se ne strinjam Število odgovorov Odgovor 32 11 0 10 20 30 40 Se strinjam Se ne strinjam Število odgovorov Odgovor Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 14 Faktor vpliva revije se določa na podlagi citiranosti v zadnjih dveh letih in se spremeni vsako leto, pogosto pa je za primerjavo naveden tudi petletni faktor vpliva. Kot vidimo na Sliki 10, se večina raziskovalcev, in sicer 74 %, strinja, da je ta primernejši. Sledilo je vprašanje za anketirance, ki so se strinjali, da je petletni faktor primernejši od dvoletnega. Zanimalo nas je, ali menijo, da bi se moral faktor vpliva računati na podlagi še daljšega obdobja kot pet let. Slika 11: Mnenje raziskovalcev UL EF o trditvi Pri določanju faktorja vpliva bi bilo primernejše še daljše obdobje kot pet let Tukaj so bila mnenja bolj deljena. 41 % anketirancev, ki so odgovarjali na to vprašanje, meni, da bi bilo primernejše še daljše obdobje, 59 % pa se jih strinja s petletnim faktorjem vpliva (Slika 11). Nato smo anketirance vprašali, ali se strinjajo s trditvijo, da je faktor vpliva na nekaterih področjih bolj zanesljiv kot na drugih. 13 19 0 5 10 15 20 Se strinjam Se ne strinjam Število odgovorov Odgovor Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 15 Slika 12: Mnenje raziskovalcev UL EF o trditvi Faktor vpliva je na nekaterih znanstvenih področjih manj zanesljiv kot na drugih Iz Slike 12 vidimo, da se 51 % raziskovalcev strinja, da je faktor vpliva na določenih področjih manj zanesljiv kot na drugih. Te smo vprašali tudi, na katerih področjih je manj zanesljiv. Odgovori so bili tukaj raznoliki. Vseeno sta se pojavila dva trenda: 35 % anketirancev je bilo mnenja, da je faktor vpliva manj zanesljiv na področju humanistike in družboslovja, 20 % pa je odgovorilo, da različna področja ne bi smela uporabljati enake metrike. Zanimalo nas je tudi, ali raziskovalci razen metrike JCR spremljajo še katere druge. Slika 13: Odgovori raziskovalcev UL EF na vprašanje, ali razen metrike JCR (faktor vpliva) spremljajo še katere druge 22 21 0 5 10 15 20 25 Se strinjam Se ne strinjam Število odgovorov Odgovor 20 23 0 5 10 15 20 25 Da Ne Število odgovorov Odgovor Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 16 47 % anketirancev spremlja tudi druge metrike (Slika 13). Nazadnje so tisti, ki so odgovorili z da, dobili še zadnje vprašanje v sklopu. Vprašali smo jih, katere metrike še spremljajo, odgovor pa so anketiranci vnesli sami. Med anketiranci, ki spremljajo tudi druge metrike, jih je 47 % navedlo seznam AJG, ki smo ga že omenili. Tu velja še enkrat poudariti, da po Merilih za volitve v nazive visokošolskih učiteljev, znanstvenih delavcev ter sodelavcev Univerze v Ljubljani na UL EF (2022) za habilitacijo v višji naziv štejejo tudi objave v revijah na seznamu AJG. Med odgovori sta se sicer večkrat pojavila tudi citatni indeks Scopus in FT Research Rank. FT Research Rank je seznam 50 revij na področju ekonomskih in poslovnih ved, ki so po mnenju časnika Financial Times najkvalitetnejše (Ormans, 2016). Tako pri seznamu AJG kot tudi pri FT Research Rank gre torej za metriki, ki prideta v poštev le za raziskovalce na tem področju. 3.1.3 Evalvacija storitev CEK V tem sklopu smo v anketi sodelujočim raziskovalcem zastavili dve vprašanji. Najprej nas je zanimalo, na katerih področjih so zadovoljni s storitvami CEK. Slika 14: Elementi dela CEK, s katerimi so raziskovalci UL EF zadovoljni 20 9 6 37 28 25 5 0 10 20 30 40 Priprava seznamov znanstvenih objav po metrikah vrednotenja raziskovalne uspešnosti Svetovanje pri izbiri revije ob objavljanju (APC, predatorske revije, faktor vpliva) Podpora pri prijavi projektov in poročanju o rezultatih Skrb za dostop do e-virov Priprava bibliografij Shranjevanje objav v RUL Drugo: Število odgovorov Odgovor Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 17 Kot vidimo na Sliki 14, je CEK raziskovalce najbolj navdušil na področjih e-virov, bibliografij in odprtega dostopa. Nekaj manj pozitivnih ocen je prejel pri podpori pri prijavi projektov, pripravi seznamov znanstvenih objav in pri svetovanju pri izbiri revije ob objavljanju. Med anketiranci, ki so odgovor vnesli sami, sta dva povedala, da storitev CEK ne uporabljata, eden je napisal, da je s CEK zadovoljen na vseh področjih, kjer se z njim srečuje, en je poudaril pomoč pri uporabi podatkovne zbirke Bloomberg, zadnji pa na vprašanje ni odgovoril. Nato smo raziskovalce vprašali še, na katerih področjih bi si od CEK želeli več. Slika 15: Elementi dela CEK, pri katerih si raziskovalci UL EF želijo več Največ raziskovalcev si želi več podpore pri pripravi podatkov za izvedbo raziskave (Slika 15). Tu lahko omenimo, da takšne storitve CEK zaenkrat še ne izvaja, jo pa načrtuje v prihodnosti. Gre za iskanje podatkov za raziskave po finančnih podatkovnih bazah, kot sta Bloomberg in LSEG Workspace, ki jih UL EF najema za študente in raziskovalce. Pri pregledu objav avtorjev je knjižnica namreč ugotovila, da številni raziskovalci teh baz sami ne uporabljajo. 3.1.4 Demografske značilnosti Anketirancem smo zastavili tri demografska vprašanja. Zanimal nas je njihov akademski naziv, njihova starost in število znanstvenih objav. 2 12 8 16 13 4 21 8 0 5 10 15 20 25 Shranjevanje objav v RUL Priprava seznamov znanstvenih objav po metrikah vrednotenja raziskovalne uspešnosti Priprava bibliografij Podpora pri prijavi projektov in poročanju o rezultatih Svetovanje pri izbiri revije ob objavljanju (APC, predatorske revije, faktor vpliva) Skrb za dostop do e-virov Priprava podatkov za izvedbo raziskave ("Data on demand") Drugo: Število odgovorov Odgovor Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 18 Preglednica 1: Akademski naziv in starost anketirancev Vprašanje Kategorija Število odgovorov Akademski naziv Asistent 9 Višji predavatelj 0 Docent 5 Izredni profesor 12 Redni profesor 16 Starost do 30 let 2 30 do 50 let 30 nad 50 let 10 Preglednica 2: Število znanstvenih objav v celotni karieri Do 10 10 do 50 Nad 50 Znanstveni članek 12 21 7 Monografije ali poglavja v monografijah 28 10 1 Prispevek na konferenci 11 18 11 3.2 STATISTIČNA ANALIZA ANKETNIH PODATKOV Kot smo načrtovali, smo podatke obdelali v programski opremi SPSS z metodo binarne logistične regresije. Nato smo izračunali Nagelkerkejev R 2 , ki nam pove, kako močna je povezava med variabilnostjo odvisne spremenljivke in neodvisno spremenljivko. Po dobljenih izračunih se je izkazalo, da so Nagelkerjevi R 2 pri vseh primerih v naši anketi zelo nizki, kar pomeni, da je variabilnost večinoma naključna, zelo verjetno zaradi prenizkega števila anketirancev. Zato v nalogi ne bomo pisali o varianci odvisne spremenljivke, saj bi bili ti podatki nezanesljivi. Vseeno pa bomo prikazali povezave med akademskimi nazivi ter starostjo in odgovori na nekatera vprašanja v anketi. 3.2.1 Vpliv akademskega naziva na anketne odgovore Sledi prikaz povezave med akademskim nazivom in tremi vprašanji iz ankete. Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 19 Slika 16: Povezava med akademskim nazivom in odgovorom na vprašanje Ali pri raziskovalnem delu kdaj uporabljate bibliometrične metode? Iz Slike 16 vidimo, da je najvišji delež (67 %) trdilnih odgovorov med izrednimi profesorji, najnižji pa med asistenti (56 %). Vendar so te razlike majhne in najverjetneje lahko zaključimo, da akademski naziv pri uporabi bibliometričnih metod ne igra velike vloge. Slika 17: Povezava med akademskim nazivom in strinjanjem s trditvijo Če je revija po metriki vrednotenja raziskovalne uspešnosti visoko ocenjena, je zelo verjetno res kvalitetna. V zgornjem primeru pa so razlike med akademskimi nazivi kar precejšnje (Slika 17). Najvišje zaupanje je v faktor vpliva med docenti, 80 %, najnižji, 44 %, pa med rednimi profesorji. Med asistenti je delež sicer nekoliko nižji kot med docenti, vendar lahko vseeno rečemo, da je zaupanje v faktor vpliva obratno sorazmerno z napredovanji v višje nazive. 0% 20% 40% 60% 80% 100% Asistent Docent Izredni profesor Redni profesor Delež odgovorov Odgovor Da Ne 0% 20% 40% 60% 80% 100% Asistent Docent Izredni profesor Redni profesor Delež odgovorov Odgovor Se strinjam Se ne strinjam Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 20 Slika 18: Povezava med akademskim nazivom in odgovorom na vprašanje Ali razen metrike JCR (faktor vpliva) spremljate še katere druge? Najnižji delež raziskovalcev, ki so na zgornje vprašanje odgovorili z da, 40 %, je tokrat med docenti, najvišji, 56 %, pa med asistenti, kot je prikazano na Sliki 18. Predvidevamo, da ponovno ni statistično značilne korelacije, saj gre zaradi majhnega vzorca najverjetneje za naključje. 3.2.2 Vpliv starosti na anketne odgovore V nadaljevanju bomo predstavili vpliv starosti raziskovalcev na njihove odgovore v anketi. 0% 20% 40% 60% 80% 100% Asistent Docent Izredni profesor Redni profesor Delež odgovorov Odgovor Da Ne Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 21 Slika 19: Povezava med starostjo in odgovorom na vprašanje Ali pri raziskovalnem delu kdaj uporabljate bibliometrične metode? Pri skupinah do 30 let in nad 50 let je delež trdilnih odgovorov enak, čeprav je potrebno poudariti, da sta le dva anketiranca mlajša od 30 let (Slika 19). Bibliometrične metode sicer najbolj uporablja skupina starih od 30 do 50 let, kjer delež znaša 67 %. Slika 20: Povezava med starostjo in strinjanjem s trditvijo Če je revija po metriki vrednotenja raziskovalne uspešnosti visoko ocenjena, je zelo verjetno res kvalitetna. Iz Slike 20 je razvidno, da so deleži pri skupinah pod 30 in nad 50 let popolnoma enaki kot pri prejšnjem vprašanju. Pri obeh se je s trditvijo strinjalo 50 % anketirancev. Pri skupini med 30 in 50 let je delež nekoliko višji, in sicer 60 %. 0% 20% 40% 60% 80% 100% Do 30 let 30 do 50 let Nad 50 let Delež odgovorov Odgovor Da Ne 0% 20% 40% 60% 80% 100% Do 30 let 30 do 50 let Nad 50 let Delež odgovorov Odgovor Se strinjam Se ne strinjam Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 22 Slika 21: Povezava med starostjo in odgovorom na vprašanje Ali razen metrike JCR (faktor vpliva) spremljate še katere druge? Kot vidimo na Sliki 21, nobeden izmed raziskovalcev pod 30 let ne spremlja drugih metrik od JCR, čeprav ponovno poudarjamo, da sta takšna le dva. Tudi v skupini starih nad 50 let je delež raziskovalcev, ki razen metrike JCR spremljajo še druge, nizek, in sicer 30 %. Višji je v skupini starih od 30 do 50 let, kjer znaša 57 %. 3.3 REZULTATI INTERVJUJEV Poleg ankete smo izvedli tudi polstrukturirane intervjuje s člani vodstva in z nekaterimi raziskovalci, ki se pri lastnem delu ukvarjajo z bibliometrijo. Skupno je bilo osem intervjuvancev. Za izvedbo polstrukturiranih intervjujev smo pripravili pet širših sklopov vprašanj s potencialnimi podvprašanji. Seznam vprašanj se nahaja v Prilogi 2. Sedem intervjuvancev je odgovorilo na vsa vprašanja, eden pa le na zadnji dve. V nadaljevanju predstavljamo vsebinsko analizo odgovorov intervjuvancev. 3.3.1 Razumevanje pojma bibliometrija Najprej smo intervjuvance vprašali, kako dojemajo pojem bibliometrija. Odgovori na to vprašanje so si bili v večini podobni: v splošnem za raziskovalce na UL EF velja, da na bibliometrijo gledajo kot na tehniko oz. metodo, ki je primerna za spoznavanje določenega znanstvenega področja. 0% 20% 40% 60% 80% 100% Do 30 let 30 do 50 let Nad 50 let Delež odgovorov Odgovor Da Ne Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 23 Pri tem vprašanju so vsi intervjuvanci razen enega govorili predvsem o znanstvenem kartiranju. Splošno mnenje je bilo, da gre za uporabno orodje ali metodo, s katero se lahko v relativno kratkem času spoznamo z določenim področjem znanosti. Poudarili so, da je primerno bolj za raziskovalce na začetku kariere. Eden izmed intervjuvancev je omenil, da doktorskim študentom priporoča, da opravijo bibliometrično analizo lastnega raziskovalnega področja z uporabo metod, kot so analiza citiranosti, analiza kocitiranosti, identificiranje bibliografskih parov in podobno. Po njegovem mnenju lahko na tak način mlajši raziskovalci hitro identificirajo teme, ki jih znotraj področja zanimajo. Omenil je, da takšne raziskave omogočajo tudi napovedovanje trendov na določenem področju. Trije izmed intervjuvancev pa so tu poudarili, da je bibliometrija sicer uporabna, vendar se moramo zavedati tudi njenih omejitev. Dva sta bila mnenja, da je ob bibliometrični analizi zraven nujna tudi kvalitativna vsebinska analiza objav in ne le kvantitativno določanje, katera dela, avtorji ali ključne besede so najodmevnejši v določenem obdobju. Intervjuvanec, ki je omenil, da doktorskim študentom priporoča izvedbo bibliometrične analize, je povedal tudi, da so pred nekaj leti iz njih pogosto tudi objavili članke, danes pa le kvantitativna analiza večinoma ni dovolj in takšnih člankov kvalitetne revije praviloma ne sprejemajo več. Še en intervjuvanec je rekel, da po njegovem mnenju takšne analize z razvojem generativne umetne inteligence izgubljajo pomen v znanosti, saj se da pregled področja danes pridobiti na enostavnejše in hitrejše načine. Kot vidimo, raziskovalci na UL EF pod pojmom bibliometrija razumejo predvsem znanstveno kartiranje. Le eden izmed intervjuvancev je pri tem vprašanju omenil, da bibliometrija zanj pomeni tudi merjenje znanstvene uspešnosti. Ko smo intervjuvance sami vprašali, ali se jim zdi, da je tudi to del bibliometrije oz. je zgrajeno na bibliometričnih metodah, so se sicer strinjali, vendar so večinoma povedali, da sami ne bi uporabili takšnega izraza. Eden izmed intervjuvancev je omenil, da je to zanj scientometrija (scientometrics). Po strokovni literaturi je scientometrija sicer veja bibliometrije, ki na podlagi kvantitativnih podatkov o citiranju ocenjuje znanstveno uspešnost (Ansari idr., 2024, str. 523). 3.3.2 Uporaba bibliometrične metode Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 24 Naslednje vprašanje je bilo tesno povezano s prejšnjim, zato so bili odgovori intervjuvancev podobni. Intervjuvance smo vprašali, ali sami kdaj uporabljajo bibliometrične metode. Vsi intervjuvanci, ki se z bibliometrijo ukvarjajo, so govorili o znanstvenem kartiranju. Bibliometrične analize se sicer v splošnem delijo na dva tipa, znanstveno kartiranje, ki obravnava povezave med raziskovalnim delom, in analizo uspešnosti (performance analysis), ki se osredotoča na odmevnost raziskav (Donthu idr., 2021). Raziskovalci sicer niso uporabljali izraza analiza uspešnosti, vendar se je iz konteksta odgovorov dalo razbrati, da govorijo tudi o tem. 3.3.3 Mnenje o metriki vrednotenja raziskovalne uspešnosti V nadaljevanju nas je zanimalo mnenje intervjuvancev o metriki vrednotenja raziskovalne uspešnosti. Pri tem vprašanju so bila njihova mnenja zelo raznolika. Nobeden izmed intervjuvancev ni menil, da metrika nima nobenih težav, vendar so jo nekateri ocenili v splošnem kot bolj pozitivno kot negativno, drugi pa bolj ali manj negativno. Trije raziskovalci so vrednotenje raziskovalne uspešnosti ocenili v splošnem pozitivno, vseeno pa so imeli zadržke. Dva izmed njih sta bila mnenja, da se kvantitativnemu vrednotenju raziskovalne uspešnosti pripisuje prevelik pomen. Sicer sta oba tudi povedala, da se po njunem stvari obračajo v pravo smer, in to še posebej na UL EF. Tu je en izmed njiju izpostavil nagrade EF, ki se podeljujejo vsako leto. Delujejo na kombinaciji klasičnih kvantitativnih metrik in kvalitativne vsebinske analize. Kandidati za nagrade se določijo na podlagi podobnih metrik, kot veljajo za izvolitev v višje znanstvene nazive, gre torej predvsem za objavljanje v revijah, ki imajo visok faktor vpliva, ali so dobro ocenjene po sorodnih metrikah. Nato se objave še vsebinsko analizirajo in na podlagi tega se izbere najboljše članke. Tretji izmed intervjuvancev, ki je vrednotenje ocenil pozitivno, je poudaril, da je vseeno nujna tudi kombinacija s kvalitativnimi metodami. Preostali intervjuvanci so imeli o kvantitativnih metodah za merjenje raziskovalne uspešnosti bolj ali manj negativno mnenje. Eden je omenil, da v kombinaciji s kvalitativnim vrednotenjem še vedno deluje, samo pa zanj nikakor ni dovolj zanesljivo. Rekel je tudi, da so takšne metrike Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 25 uporabne za raziskovalce na začetku kariere, podobno kot znanstveno kartiranje, ko pa revije enkrat spoznajo, zanje niso več potrebne. Eden izmed intervjuvancev se je tukaj močno osredotočil na problem predatorskih revij. Gre za odprtodostopne revije, ki za procesiranje člankov praviloma zaračunavajo zelo visoke stroške (Article Processing Charge – APC), hkrati pa ne zagotavljajo kvalitetnih recenzij (Univerza v Ljubljani, Medicinska fakulteta, Centralna medicinska knjižnica, 2023). Po njegovem mnenju je preveliko zanašanje na kvantitativne metrike znanstvene uspešnosti privedlo do stanja, ko so že praktično vse odprtodostopne ali hibridne revije do neke mere predatorske, vprašanje je le, do kakšne. Rešitev je videl v pogostih spremembah metrike, saj po njegovem mnenju ljudje prej ali slej v vsakem sistemu ugotovijo, kako se ubira bližnjice. Omenil je tudi, da se najuglednejše šole na takšne metrike ne ozirajo, temveč imajo lastne sezname kvalitetnih revij. Še en problem, ki sta ga pri vrednotenju raziskovalne uspešnosti omenila preostala dva intervjuvanca, je v tem, da se po njunem mnenju ne bi smel upoštevati le raziskovalni vpliv članka. Eden izmed njiju se je osredotočal na dolžnosti založnikov. Po njegovem mnenju je neprimerno, da je neka revija ocenjena kot zelo vplivna, hkrati pa je uredništvo neodzivno, recenzenti predlagajo, naj dodajo citate iz revij istega založnika, in podobno. Sicer je bil mnenja, da iz vidika odmevnosti rezultatov objav metrike delujejo, motilo ga je le, da se nanje daje tako velik poudarek. Zadnji intervjuvanec je podal najbolj negativno mnenje o vrednotenju raziskovalne uspešnosti. Bil je mnenja, da je kvaliteto članka nemogoče številčno oceniti. Najbolj ga je motilo, da se kljub temu, da je delo predavateljev na visokih šolah v osnovi pedagoško, pri napredovanju v višje nazive upošteva predvsem raziskovalna uspešnost. Po njegovem mnenju ima namreč pedagoška plat njegovega dela višji družbeni vpliv kot raziskovalna. Ta intervjuvanec je bil tudi edini, ki je ocenil, da se je stanje pri vrednotenju raziskovalne uspešnosti v zadnjih 10 letih poslabšalo. Del vprašanja se je nanašal tudi na prakso odprtega dostopa. Po slovenski zakonodaji morajo javno financirane raziskave biti odprte za znanost (Uredba o izvajanju znanstvenoraziskovalnega dela v skladu z načeli odprte znanosti, 2023). V praksi to pomeni, da morajo raziskovalci ali ustanove založnikom pogosto plačati stroške APC. Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 26 Na tem področju so se raziskovalci strinjali. Vsi so bili mnenja, da so spremembe na področju odprtodostopnega objavljanja v zadnjih 10 letih negativne. Nekateri so sicer omenili, da se je stanje za javnost izboljšalo, prav vsi pa so bili močno proti stroškom APC. Po njihovem mnenju gre tu le za valjenje krivde s strani založnikov na raziskovalce, saj se stroški APC še vedno krijejo iz javnega denarja. Eden izmed intervjuvancev je tu omenil, da so ob začetku interneta v 80. letih 20. stoletja bili prepričani, da bodo založniki med prvimi ustanovami, ki bodo zaradi te nove tehnologije propadle. Danes pa je stanje ravno obratno, založniki imajo več moči, kot so jo imeli kadar koli. 3.3.4 Bibliometrija in uporaba generativne umetne inteligence Generativna umetna inteligenca se sicer neposredno ne povezuje z bibliometrijo, vseeno pa nas je zaradi njenega skokovitega razvoja zanimalo, kako bi lahko vplivala na to področje. Pri tem vprašanju so intervjuvanci govorili tudi o lastnem odnosu do generativne umetne inteligence in njeni uporabnosti na drugih področjih, niso se osredotočali le na bibliometrijo. Nobeden izmed raziskovalcev ni imel povsem negativnega mnenja o hitrem širjenju uporabe umetne inteligence, so pa nekateri izrazili mešane občutke tako v smislu trenutne uporabnosti kot tudi vpliva na družbo v prihodnosti. Dva izmed njih je skrbelo, da bo zaradi obstoja plenilskih revij in člankov, generiranih z umetno inteligenco, postalo kvantitativno vrednotenje raziskovalne uspešnosti manj zanesljivo. Druga dva intervjuvanca sta izrazila mnenje, da po njunih opažanjih študentom zanašanje na umetno inteligenco škoduje, saj zdaj svoje področje poznajo slabše kot v preteklosti, ker jim ga ni potrebno aktivno raziskovati. Več intervjuvancev je omenilo, da bo generativna umetna inteligenca na področju bibliometrije v kratkem času zagotovo v veliko pomoč. Eden je povedal, da jo je v ta namen že uporabil in da bistveno pospeši kvalitativno ocenjevanje, ki ga navadno izvedejo po uporabi bibliometričnih metod. En izmed raziskovalcev je poudaril tudi, da je v preteklosti za bibliometrično analizo bilo potrebno ogromno dela ali znanje programiranja. Danes lahko obe ti vlogi prevzame generativna umetna inteligenca in tako lahko bibliometrične metode uporablja več raziskovalcev kot v preteklosti. Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 27 3.3.5 Katere dodatne storitve naj bi raziskovalcem nudila knjižnica Pri vprašanju Katere dodatne storitve CEK bi vas zanimale? smo intervjuvancem najprej dali priložnost, da sami povejo, ali pri storitvah knjižnice kaj pogrešajo. Dva izmed njih sta omenila prijavo na projekte, ki so bili tudi pri anketi najbolj pogosto izbran odgovor, sta pa oba poudarila, da nista prepričana, ali je to res naloga visokošolske knjižnice. Sicer so raziskovalci večinoma odgovarjali, da so z delom knjižnice zadovoljni. Nato smo jim predstavili še dve potencialni novi storitvi, svetovanje pri izbiri revije za objavo in pripravo podatkov po meri raziskovalcev. Odziv na prvo idejo je bil pri vseh intervjuvancih mešan, saj so bili večinoma mnenja, da je ta naloga preveč kompleksna. Eden izmed njih nam je povedal, da je to izjemno zahtevno že za raziskovalce, ki dolga leta delujejo na določenem področju, zato nima smisla pričakovati, da lahko ena oseba svetuje vsem raziskovalcem na UL EF. Trije intervjuvanci so omenili, da bi bila storitev morda zanimiva za mlade raziskovalce, ki področja še ne poznajo, vendar so bili nekateri drugi mnenja, da se morajo teh spretnosti naučiti sami. Precej več zanimanja pa je bilo za pripravo podatkov za raziskavo na željo raziskovalcev. Nekateri so omenili, da oni take storitve ne potrebujejo za svoje raziskovalno področje, so pa ti tudi rekli, da bi bili vsaj nekateri njihovi kolegi te možnosti zelo veseli. Dva sta nas opozorila, da bo to delo verjetno zahtevno in kompleksno, sicer pa je bil predlog vsem intervjuvancem všeč. 4 RAZPRAVA IN ZAKLJUČKI V prvem delu naloge smo predstavili pregled zgodovinskega razvoja bibliometrije od njenega začetka konec 19. stoletja do danes. Ugotovili smo, da je vedno večje število znanstvenih objav privedlo do vse večje potrebe po vrednotenju njihove kvalitete. Nato je v 60. letih 20. stoletja ameriški jezikoslovec Eugene Garfield ustanovil prvi citatni indeks Science Citation Index (SCI). Garfield se je zavedal uporabnosti analize citiranosti za ugotavljanje lastnosti in povezav znanstvenih področij, se pa sam načeloma ni strinjal, da je to primeren način za vrednotenje znanstvene uspešnosti. Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 28 Kljub njegovim pomislekom pa se raziskovalna odličnost še danes določa predvsem na podlagi citiranosti. Glavni povod za večanje pomena takšnega vrednotenja je bila odločitev v akademskem svetu, da se začnejo sredstva med oddelki univerz deliti tudi na podlagi odmevnosti njihovega raziskovalnega dela. Na UL EF se danes za določanje kvalitete znanstvenih člankov uporabljajo citatni indeksi SCI, SSCI, AHCI in Scopus ter seznam AJG. Po zgodovinskem pregledu področja smo se lotili analize podatkov, pridobljenih iz ankete, ki smo jo izvedli med raziskovalci UL EF. Rezultati so pokazali, da je zanje faktor vpliva najpomembnejši razlog, zaradi katerega se odločijo za objavo v določeni reviji. Bil je pomembnejši od ugleda revije, lastnega mnenja o njej in od ustreznosti področij, ki jih pokriva. Kljub visokemu pomenu faktorja vpliva na izbiro revije pa se raziskovalci le v približno 50 % strinjajo z natančnostjo vrednotenja raziskovalne uspešnosti. Vidimo torej, da so raziskovalci vsaj do neke mere počutijo, da so prisiljeni v določen način znanstvenega objavljanja. Anketa je pokazala tudi, da bibliometrija za raziskovalce UL EF pomeni predvsem znanstveno kartiranje, torej iskanje povezav med avtorji, ključnimi besedami, ustanovami in drugimi elementi znanstvenega dela. Bibliometrične metode je pri lastnem raziskovalnem delu uporabilo 58 % raziskovalcev. V anketi smo raziskovalce prosili tudi za evalvacijo storitev CEK. V splošnem so bili z delom knjižnice zadovoljni. Raziskovalci so slabše ocenili pomoč CEK pri prijavi na projekte, čeprav so nekateri v anketi in pozneje tudi v intervjujih omenili, da to najverjetneje ni naloga visokošolske knjižnice. Anketiranci so bili najbolj zadovoljni z delom CEK pri skrbi za dostop do e-virov, pozitivno pa so ocenili tudi pripravo bibliografij in shranjevanje objav v Repozitorij Univerze v Ljubljani. Sledila je še izvedba intervjujev z osmimi raziskovalci. Kot pri anketi se je tudi v tem primeru izkazalo, da za raziskovalce na UL EF bibliometrija pomeni predvsem znanstveno kartiranje. Nanjo gledajo kot na metodo, posebej primerno za raziskovalce na začetku kariere, saj služi kot dobro orodje za spoznavanje z znanstvenim področjem. Mnenja intervjuvancev o vrednotenju raziskovalne uspešnosti so bila deljena. Z njo ni bil nihče izmed njih povsem zadovoljen. Štirje raziskovalci so menili, da je v kombinacijami s Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 29 kvalitativnimi merili dovolj dobra za realistično merjenje odmevnosti objav, preostali pa se s tem niso strinjali. Eden izmed njih je imel o sistemu povsem negativno mnenje in je menil, da se raziskovalni uspešnosti v primerjavi s pedagoško pripisuje veliko prevelik pomen. Bolj so se strinjali glede sprememb na področju odprte znanosti. Nekateri so omenili pozitiven vpliv na javnost, vendar se je sistem stroškov APC vsem zdel popolnoma neprimeren. Nazadnje smo jih prosili še za evalvacijo storitev CEK. Dva raziskovalca sta omenila pomoč pri prijavi na projekte, sicer pa so bili z delom knjižnice zadovoljni. Predstavili smo tudi dve potencialni novi storitvi, pomoč pri izbiri revije za objavo in pripravo podatkov za raziskavo po želji raziskovalcev. Nekateri intervjuvanci so bili mnenja, da bi prva storitev morda lahko bila primerna za raziskovalce na začetku karierne poti, vendar so v splošnem menili, da je ta naloga izjemno težka že za raziskovalce, ki svoje področje poznajo do potankosti. Eden je omenil, da je za eno samo osebo nemogoče dovolj dobro poznati vsa raziskovalna področja avtorjev UL EF. Možno storitev priprava podatkov za raziskavo po želji raziskovalcev so intervjuvanci ocenili kot zelo pozitivno. Tudi tisti, ki sami te storitve ne bi uporabljali, so menili, da bi koristila njihovim kolegom. Na osnovi rezultatov raziskave ugotavljamo, da bibliometrija za raziskovalce UL EF pomeni v prvi vrsti metodo za natančno spoznavanje z znanstvenim področjem. Uporabna se jim je zdela predvsem za mlade raziskovalce na začetku kariere. Mnogi so tudi poudarili pomen njenega kombiniranja s kvalitativnimi metodami. Mnenje raziskovalcev o metriki vrednotenja raziskovalne uspešnosti je bilo mešano. Čeprav je faktor vpliva zanje najpomembnejši dejavnik pri izbiri revije za objavo, je anketa pokazala, da mu zaupajo le v približno 50 %. V intervjujih so mnenja segala od rahlo pozitivnih do izjemno negativnih. Vsi intervjuvanci pa so imeli izrazito negativno mnenje o spremembah na področju odprtodostopnega objavljanja. Sicer so nekateri omenili, da je ideja v osnovi dobra za javnost, ni pa jim bila všeč implementacija stroškov APC. Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 30 Glede predlogov za izboljšanje ponudbe storitev knjižnice je bila vsem intervjuvancem blizu ideja o pripravi podatkov za raziskavo po želji raziskovalcev. Tudi anketa je pokazala podobne rezultate. V prihodnosti zato CEK načrtuje vzpostavitev te storitve za raziskovalce. Ker je bil naš raziskovalni vzorec pri anketi relativno majhen, bi se dalo raziskavo nadgraditi s ponovno izvedbo ankete. Lahko bi jo aplicirali tudi na drugačno populacijo kot le na raziskovalce UL EF, na primer na raziskovalce vseh članic Univerze v Ljubljani ali pa bi vključili še druge univerze. Na takšen način bi lahko povečali vzorec, kar bi omogočilo natančnejšo statistično analizo, razen tega pa bi lahko opazovali tudi razlike med raziskovalci različnih članic UL ali različnih univerz. Več bi izvedeli tudi o razliki v mnenjih raziskovalcev na različnih znanstvenih področjih. Razen tega bi lahko preučili tudi storitve, ki jih svojim raziskovalcem nudijo knjižnice ostalih ustanov, ki bi sodelovale v anketi. Na podlagi opravljene analize bi v CEK v prihodnje zasnovali dodatne storitve za podporo raziskovalcem in vodstvu ter službam fakultete pri bibliometričnih analizah in vrednotenju znanstvenoraziskovalne dejavnosti. 5 NAVEDENI VIRI IN LITERATURA Ansari, M. U., Nisha, Mir, J. M. in Vashishtha, B. (2024). Unlocking research excellence of Jamia Millia Islamia's from 2012 to 2021: a scientometrics study. V R. Singh in S. K. Sukula (ur.), Library and research ecosystem management framework and advocacy (str. 519–553). Arcler Education. Ball, R. (2021). Introduction. V R. Ball (ur.), Handbook bibliometrics (str. 1–3). De Gruyter Saur. Danesh, F. in Mardani-Nejad, A. (2021). A historical overview of bibliometrics. V R. Ball (ur.), Handbook bibliometrics (str. 7–17). De Gruyter Saur. Donthu, N., Kumar, S., Mukherjee, D., Pandey, N. in Lim, W. M. (2021). How to conduct a bibliometric analysis: an overview and guidelines. Journal of Business Research, 133, 285–296. https://doi.org/10.1016/j.jbusres.2021.04.070 Južnič, P. (1998). Bibliotekarstvo in bibliometrija. V J. Urbanija (ur.), Zbornik razprav: 10 let Oddelka za bibliotekarstvo: 1987-1997 (str. 189–200). Univerza v Ljubljani, Filozofska fakulteta. Kanič, I. (2011). Bibliometrija – terminološki pregled. Knjižnica, 55(2-3), 241–256. https://journals.uni-lj.si/knjiznica/article/view/14345 Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit 31 Merila za volitve v nazive visokošolskih učiteljev, znanstvenih delavcev ter sodelavcev Univerze v Ljubljani št. 5. (2022). Univerza v Ljubljani. Ormans, L. (12. 9. 2016). 50 journals used in FT research rank. Financial Times. https://www.ft.com/content/3405a512-5cbb-11e1-8f1f-00144feabdc0 Pendlebury, D. A. (2021). Eugene Garfield and the Institute for Scientific Information. V R. Ball (ur.), Handbook bibliometrics (str. 27–40). De Gruyter Saur. Pravilnik o znanstvenoraziskovalni dejavnosti Ekonomske fakultete Univerze v Ljubljani. (2021). Univerza v Ljubljani, Ekonomska fakulteta. Univerza v Ljubljani, Medicinska fakulteta, Centralna medicinska knjižnica. (13. 9. 2023). Odprti dostop za področje biomedicine: plenilski založniki in revije. https://libguides.mf.uni-lj.si/c.php?g=412371&p=4636864 Uredba o izvajanju znanstvenoraziskovalnega dela v skladu z načeli odprte znanosti. (2023). Uradni list RS, št. 59/2023. Van Raan, A. (2021). Coevolution of field and institute: the institutionalization of bibliometric research illustrated by the emergence and flourishing of the CWTS. V R. Ball (ur.), Handbook bibliometrics (str. 53–64). De Gruyter Saur. Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit i PRILOGA 1: ANKETNI VPRAŠALNIK • Ali so za vas pomembni trendi na področju znanstvenega objavljanja? o da o ne • Ko se odločam, v kateri reviji bi objavil/a prispevek, upoštevam: o faktor vpliva o lastno mnenje o reviji o ugled revije o verjetnost sprejetja v objavo o ustreznost področij, ki jih revija pokriva o povprečen čas od pošiljanja prispevka do morebitne objave o strošek objave (APC) o nasvet sodelavcev CEK o drugo: • Ali pri raziskovalnem delu kdaj uporabljate bibliometrične metode? o da o ne • S kakšnim namenom? (Možnih je več odgovorov) o Za iskanje povezav med znanstvenimi področji, revijami, raziskovalci ali objavami o Za določanje trendov na posameznih znanstvenih področjih o Za analizo zgodovine razvoja znanstvene discipline o Za lastno primerjavo z drugimi raziskovalci o Za primerjavo EF z drugimi ustanovami o Drugo: • Ali pri tem kdaj uporabljate orodja generativne umetne inteligence? o Da o Ne • Katera orodja generativne umetne inteligence uporabljate? • Ali se strinjate, da je raziskovalno uspešnost mogoče številčno vrednotiti? o Da o Ne o Drugo: Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit ii • Najboljša možna metrika za merjenje raziskovalne uspešnosti bi morala biti zgrajena: o le na kvalitativnih metodah o le na kvantitativnih metodah o na kombinaciji kvalitativnih in kvantitativnih metod o drugo: • Če je revija po metriki vrednotenja raziskovalne uspešnosti visoko ocenjena, je zelo verjetno res kvalitetna. o Se strinjam o Se ne strinjam • Če je revija po metriki vrednotenja raziskovalne uspešnosti nizko ocenjena, je zelo verjetno res manj kvalitetna. o Se strinjam o Se ne strinjam • Petletni faktor vpliva revij bolj realno prikaže kvaliteto revije kot trenutno uporabljen dvoletni. o Se strinjam o Se ne strinjam • Pri določanju faktorja vpliva bi bilo primernejše še daljše obdobje kot pet let. o Se strinjam o Se ne strinjam • Faktor vpliva je na nekaterih znanstvenih področjih manj zanesljiv kot na drugih. o Se strinjam o Se ne strinjam • Na katerih področjih je faktor vpliva manj zanesljiv? • Ali razen metrike JCR (faktor vpliva) spremljate še katere druge? o Da o Ne • Katere metrike še spremljate? • Na katerih izmed naštetih področij ste s podporo CEK zadovoljni? o Priprava seznamov znanstvenih objav po metrikah vrednotenja raziskovalne uspešnosti o Svetovanje pri izbiri revije ob objavljanju (APC, predatorske revije, faktor vpliva) Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit iii o Podpora pri prijavi projektov in poročanju o rezultatih o Skrb za dostop do e-virov o Priprava bibliografij o Shranjevanje objav v RUL o Drugo: • Na katerem izmed naštetih področij bi si od CEK želeli več? o Shranjevanje objav v RUL o Priprava seznamov znanstvenih objav po metrikah vrednotenja raziskovalne uspešnosti o Priprava bibliografij o Podpora pri prijavi projektov in poročanju o rezultatih o Svetovanje pri izbiri revije ob objavljanju (APC, predatorske revije, faktor vpliva) o Skrb za dostop do e-virov o Priprava podatkov za izvedbo raziskave ("Data on demand") o Drugo: • Akademski naziv: o Asistent o Višji predavatelj o Docent o Izredni profesor o Redni profesor • Starost: o Do 30 let o 30 do 50 let o Nad 50 let • Število znanstvenih objav v celotni karieri: o Znanstveni članek ▪ Do 10 ▪ 10 do 50 ▪ Nad 50 o Monografije ali poglavja v monografiji ▪ Do 10 Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit iv ▪ 10 do 50 ▪ Nad 50 o Prispevek na konferenci ▪ Do 10 ▪ 10 do 50 ▪ Nad 50 Brešar, J., Vrednotenje raziskovalnega dela z bibliometričnimi analizami v visokošolski knjižnici: primer Centralne ekonomske knjižnice. Pisna naloga za bibliotekarski izpit v PRILOGA 2: VPRAŠANJA S POTENCIALNIMI PODVPRAŠANJI ZA IZVEDBO INTERVJUJEV • Kako gledate na bibliometrijo? • Ali sami kdaj uporabljate bibliometrične metode? o S kakšnim namenom jih uporabljate? o Ali ste kdaj objavili članek, ki primarno obravnava bibliometrijo ali se osredotoča na bibliometrične metode? • Kakšno je vaše mnenje o metriki vrednotenja raziskovalne uspešnosti? o Ali menite, da se številčni evalvaciji znanstvenega dela pripisuje prevelik pomen? o Ali menite, da so spremembe na področju vrednotenja raziskovalne uspešnosti v zadnjih 10 letih pozitivne ali negativne? o Ali menite, da so spremembe na področju odprtodostopnega obljavljanja v zadnjih 10 letih pozitivne ali negativne? o Kako gledate na predatorske revije? • Ali menite, da bi lahko na področju bibliometrije prišla v poštev generativna umetna inteligenca? Če da, na kakšen način? o Mislite, da bi lahko umetna inteligenca pomagala pri vrednotenju znanstvene uspešnosti? o Mislite, da bi lahko umetna inteligenca pomagala pri znanstvenem kartiranju? o Ali ste že kdaj uporabili umetno inteligenco za pomoč pri delu na področju bibliometrije? • Katere dodatne storitve CEK bi vas zanimale?