9 Uporaba metode sledenja pogledu za načrtovanje in vrednotenje bibliografskih informacijskih sistemov 1 Use of the eye tracking method for designing and evaluating bibliographic information systems Maja Kuhar, Tanja Merčun Oddano: 31. 1. 2025 – Sprejeto: 22. 4. 2025 1.01 Izvirni znanstveni članek 1.01 Original scientific paper UDK 004.5:159.931 DOI https:/ /doi.org/10.55741/knj.69.2-3.1 Izvleček Namen: Metoda sledenja pogledu nam razkrije, kam sta med izvajanjem določene nalo- ge usmerjena uporabnikov pogled in s tem pozornost. Zaradi tega je metoda že dobro uveljavljena na področju testiranja komercialnih spletnih strani. Z našimi raziskava- mi smo želeli ugotoviti, kaj nam sledenje pogledu razkrije pri vrednotenju različnih biblio grafskih informacijskih sistemov ter kako se pridobljeni rezultati primerjajo z rezultati drugih, bolj konvencionalnih raziskovalnih metod. Metodologija/pristop: Na podlagi pregleda literature smo zasnovali seznam možnih vi- dikov vrednotenja in jim pripisali možne mere sledenja pogledu. Te smo preizkušali v treh uporabniških študijah, ki so bile izvedene med majem 2019 in majem 2022. Skupaj je v raziskavah sodelovalo 93 uporabnikov. V posameznih raziskavah so bile upora- bljene tudi metode retrospektivnega in sočasnega glasnega mišljenja, standardizirani vprašalniki o uporabniški izkušnji ter snemanje zaslona. Rezultati: Metoda je posebej uporabna pri opazovanju interakcije uporabnikov z ele- menti na posameznih straneh. Kot manj koristna se je izkazala pri scenariju eksplo- 1 Članek predstavlja glavne ugotovitve raziskave, opravljene v okviru doktorskega študija na Oddelku za bibliotekarstvo, informacijsko znanost in knjigarstvo Filozofske fakultete. Celotna raziskava je predstavljena v doktorski disertaciji Kuhar (2024). 10 Knjižnica, 2025, 69(2–3), 9–31 Maja Kuhar, Tanja Merčun   rativnega iskanja, kjer uporabniki brskajo po mnogo poljubnih straneh. Za odkrivanje potencialnih težav uporabniškega vmesnika se je sledenje pogledu, v kombinaciji z vprašalniki ali glasnim mišljenjem, izkazalo za optimalno. Omejitve raziskave: Raziskave s sledenjem pogledu se izvajajo na majhnem vzorcu upo- rabnikov. Omejitev predstavljata tudi način vzorčenja in omejenost analiz na posame- zne segmente strani ali nalog. Izvirnost/uporabnost raziskave: Na podlagi rezultatov raziskav smo predlagali teoretič- ni okvir, ki je lahko osnova in vodilo raziskovalcem pri odločanju o tem, katere vidike bibliografskih informacijskih sistemov vrednotiti z uporabo metode sledenja pogledu ter katere mere uporabiti glede na zastavljena vprašanja. Ključne besede: sledenje pogledu, bibliografski informacijski sistemi, uporabniški vmesniki, vrednotenje uporabniških vmesnikov Podatkovni set: Vsi raziskovalni podatki, na katerih temeljijo rezultati, so na voljo kot del članka in niso arhivirani v nobenem drugem viru. Abstract Purpose: The eye tracking method reveals where the user’s gaze, and therefore atten- tion is directed when performing a given task. This is one of the reasons why the meth- od is already well established in websites marketing research. Our research aimed to find out what eye tracking reveals when evaluating different bibliographic information systems and how the obtained results compare with the results obtained with other, more conventional, research methods. Methodology/approach: Based on the literature review, we designed a list of possible evaluation aspects with assigned eye tracking measures. We tested these in three user studies conducted between May 2019 and May 2022. 93 users participated in total. Ret- rospective and concurrent think-aloud, standardised user experience questionnaires and screen recording methods were also used in individual studies. Results: The method is particularly useful for observing how users interact with el- ements on individual pages. It proved less useful in an explorative search scenario, where users browse many arbitrary pages. For optimal detection of potential usability problems, eye tracking has been shown to work well in combination with question- naires or think aloud. Research limitation: Eye tracking research is carried out on a small sample of users. Other limitations include our sampling method and the analyses being done on indi- vidual pages or smaller task segments. Originality/practical implications: Based on the results of the research, we propose a framework that can serve as a basis and guide researchers when deciding which as- pects of bibliographic information systems to evaluate with eye tracking and which measures to answering the questions posed. Keywords: eye tracking, bibliographic information systems, user interfaces, user inter- face evaluation Knjižnica, 2025, 69(2–3), 9–31 11 Uporaba metode sledenja pogledu za načrtovanje in vrednotenje bibliografskih informacijskih sistemov   Data set: All research data underlying the results are available as part of the article and no additional source data are required. 1 Uvod Tehnologija sledenja pogledu, ki je postala široko dostopna na prelomu tisoč- letja, je kot raziskovalna metoda razmeroma nova (Bojko, 2013). S tem ko je po- trebna oprema postala dostopnejša tako z vidika stroškov kot tudi enostavnosti uporabe, se je metoda uveljavila na različnih raziskovalnih področjih, kjer razu- mevanje uporabnikovega pogleda lahko prinese pomembne vpoglede in koristi (npr. šport, medicina, branje) (Hüttermann idr., 2018; Rayner, 1998; Sodergren idr., 2018; Tien idr., 2014). Potencial metode je najizrazitejši v trženjskih raziska- vah, kjer lahko izboljšave, kot so optimizacija vmesnikov ali zasnove embalaže, močno povečajo dobiček organizacije (Chandon idr., 2007). Kot raziskovalna metoda se sledenje pogledu uvršča med metode opazovanja in se izvaja na dva glavna načina. Prvi je uporaba naprave, nameščene na računalniški zaslon, ki beleži premike in točke, kjer se uporabnikov pogled zadrži med določeno aktivnostjo, kot je brskanje po spletni strani. Drugi pristop pa je uporaba očal, ki snemajo pogled med uporabnikovim premikanjem po fizičnem prostoru, na primer ob obisku muzeja ali izbiri artiklov v trgovini. Metoda je edinstvena z vidika, da omogoča vpogled tudi v najmanjše, pogo- sto nezavedne premike pogleda, zaradi česar je zelo uporabna za ugotavljanje, katera področja uporabniškega vmesnika pritegnejo uporabnikovo pozornost (Holmqvist idr., 2011; Nielsen in Pernice, 2010). Razumevanje tega, kam je upo- rabnikova pozornost usmerjena med uporabo sistema ali izvajanjem naloge, je ključnega pomena v iterativnem procesu načrtovanja in vrednotenja sistema, katerega cilj je optimizirati učinkovitost uporabnikove interakcije (npr. skrajšati čas za dokončanje naloge, povečati stopnjo uspešnosti). Kot taka ima metoda tudi potencial za vključitev v razvoj bibliografskih informacijskih sistemov, da bi ti kar najbolje služili uporabnikom. Sledenje pogledu namreč z merjenjem premikov in osredotočenosti pogleda omogoča analizo vedênja uporabnikov pri interakciji z informacijami in oceno uspešnosti pri različnih uporabniških opravilih. V uporabniških študijah smo želeli raziskati različne možnosti uporabe meto- de sledenja pogledu v kontekstu bibliografskih informacijskih sistemov ter pri- merjati pridobljene rezultate z rezultati drugih, pogosteje uporabljenih metod v raziskavah informacijskih sistemov. Želeli smo bolje razumeti specifike metode sledenja pogledu v kontekstu obravnavanih sistemov ter ugotoviti, v katerih raziskovalnih scenarijih njena uporaba prinese kar največ koristi. 12 Knjižnica, 2025, 69(2–3), 9–31 Maja Kuhar, Tanja Merčun   2 Pregled teoretičnih izhodišč Na področju bibliografskih informacijskih sistemov si strokovnjaki, z namenom izboljšanja obstoječih vmesnikov, že desetletja prizadevajo razumeti, kako upo- rabniki iščejo informacije, kakšne strategije pri tem uporabljajo in kateri faktorji vplivajo na njihovo uspešnost (Lazonder in Rouet, 2008; Lewandowski in Kam- merer, 2021; Saracevic, 1991; Taylor in Joudrey, 2009). Prav tako se oblikujejo nove funkcionalnosti in modeli bibliografskih podatkov, na katerih temeljijo bibliografski informacijski sistemi (Riva idr., 2017). Obstoječi bibliografski in- formacijski sistemi sicer dobro podpirajo iskanje znanega gradiva, praviloma pa ne ponujajo funkcionalnosti za raziskovalno (eksplorativno) iskanje ali celo odkritje po srečnem naključju (ang. serendipity), ki ga je težje prenesti iz fizič- nega (npr. pregledovanje knjižnih polic) v digitalno okolje (Makri idr., 2019). Poleg tega so nove generacije uporabnikov informacijskih sistemov odraščale z uporabo sodobnih iskalnikov in so te funkcionalnosti začele pričakovati tudi v vmesnikih bibliografskih informacijskih sistemov. V raziskavi, ki so jo izvedli Thiele idr. (2010), so zdravniki odgovore na strokovne dileme hitreje in z večjo natančnostjo našli z uporabo Googla kot z uporabo baze PubMed. Tovrstni re- zultati nakazujejo zaskrbljujoče stanje v razvoju bibliografskih informacijskih sistemov in porajajo vprašanje konkurenčnosti drugim sistemom za iskanje in- formacij. V skladu z referenčnim knjižničnim modelom IFLA LRM (International Fede- ration of Library Associations and Institutions Library Reference Model) naj bi uporabniški vmesnik bibliografskega informacijskega sistema podpiral pet ključnih uporabniških opravil, ki zajemajo ključne aspekte celotnega proce- sa iskanja: najti, identificirati, izbrati, pridobiti, raziskovati (Riva idr., 2017; Žumer, 2017). Ob predpostavki, da so dokumenti v zbirki dobro opisani, lahko uporabniki uspešno uporabljajo sistem, če ima ta dobro informacijsko arhitek- turo, ki vključuje tako premišljeno navigacijsko strukturo kot grafično zasnovo vmesnika (Taylor in Joudrey, 2009). Shneiderman idr. (2017) menijo, da uporab- nikovi neuspešnosti pri uporabi sistema pogosto botruje pričakovanje razvijal- cev sistemov, da bodo uporabniki svoje navade in strategije iskanja prilagajali razpoložljivim funkcionalnostim sistema. Idealen vmesnik pa bi moral delovati obratno – načrtovan naj bi bil z mislijo na uporabnika in ponujal funkcional- nosti, ki so uporabnikom poznane, domače. Uporabniški vmesnik naj bi bil kar se da »neviden«, tj. omogočal, da uporabnik zadano nalogo uspešno opravi brez dodatnega razmišljanja o uporabi elementov vmesnika (Krug, 2014). Upo- rabniki bibliografskih informacijskih sistemov sicer elemente uporabniškega vmesnika opazijo, a le do mere, da jih lahko uporabljajo pri osredotočenem opravljanju naloge, ne razmišljajo pa zavestno o funkcionalnosti elementov (Vilar in Žumer, 2008). Knjižnica, 2025, 69(2–3), 9–31 13 Uporaba metode sledenja pogledu za načrtovanje in vrednotenje bibliografskih informacijskih sistemov   Pri načrtovanju vmesnikov po meri uporabnika je zatorej potrebno k uporab- niku usmerjeno vrednotenje sistema. Ker uporabniki med procesom izvajanja naloge niso osredotočeni na lastnosti vmesnika, je njihova zmožnost samoporo- čanja pri metodah spraševanja (npr. vprašalniki, intervjuji) lahko pomanjkljiva. Ena izmed metod, pri kateri nismo odvisni od uporabnikovega samoporočanja, je sledenje pogledu. Z njo lahko neopazno in v realnem času beležimo uporab- nikovo pozornost oziroma interakcijo z vmesnikom, medtem ko je uporabnik osredotočen le na izvajanje naloge. Sledenje pogledu je v raziskavah s pod- ročja informacijskih sistemov sicer vse pogosteje uporabljena metoda, a je bodisi uporabljena kot pomožna metoda bodisi so analize podatkov omejene zgolj na najosnovnejše mere (Lund, 2016). 3 Raziskovalni problem in raziskovalna vprašanja Kljub številnim prednostim uporaba sledenja pogledu pri načrtovanju in vred- notenju informacijskih sistemov še vedno prinaša negotovosti. Potenciali sle- denja pogledu v raziskavah informacijskega vedênja niso dovolj izkoriščeni (Bojko, 2013; Carevic idr., 2018). Pregled raziskav sledenja pogledu na področju informacijske znanosti kaže, da povezovanje različnih vidikov vrednotenja (npr. uporabnost, uporabniška izkušnja) z merami sledenja pogledu poteka brez splo- šno sprejetega okvira, kar ima za posledico raznolike interpretacije podobnih rezultatov, pridobljenih s to metodo (Groen in Noyes, 2010). Analize sledenja pogledu so pogosto opravljene brez vnaprejšnjega načrtovanja ter interpretira- ne površno (Bojko, 2013), z nezadostnim znanjem (Jacob in Karn, 2003) in brez splošno sprejetega teoretičnega okvira (Groen in Noyes, 2010). Naš glavni cilj je bil proučiti možnosti uporabe sledenja pogledu v okviru biblio- grafskih informacijskih sistemov s preizkušanjem različnih scenarijev uporabe in analizo pridobljenih podatkov. V uporabniške študije smo želeli vključiti raz- nolike sisteme in naloge ter na podlagi ugotovitev oblikovati teoretični okvir, ki bi usmerjal pri odločanju o uporabi metode sledenja pogledu za načrtovanje in vrednotenje bibliografskih informacijskih sistemov. Naše delo so vodila naslednja tri raziskovalna vprašanja: 1. Na kakšen način lahko sledenje pogledu uporabimo pri načrtovanju in vred- notenju bibliografskih informacijskih sistemov? 2. Kako se podatki, pridobljeni z metodo sledenja pogledu, dopolnjujejo ali pri- merjajo s podatki, pridobljenimi z drugimi metodami? 3. Kako lahko sledenje pogledu uporabimo za proučevanje vedênja uporabnikov bibliografskih informacijskih sistemov med iskanjem informacij? 14 Knjižnica, 2025, 69(2–3), 9–31 Maja Kuhar, Tanja Merčun   4 Metodologija 4.1 Metoda sledenja pogledu Vse faze našega raziskovanja so bile močno povezane z metodo sledenja pogle- du. Tehnologija sledenja pogledu temelji na načelu določanja položaja zenice na podlagi odboja svetlobe. Strojna oprema, v našem primeru sledilnik, nameščen pod zaslon prenosnika, projicira bližnjo infrardečo svetlobo proti uporabniku. Infrardeča svetloba človeku ni zaznavna ter je zatorej neopazna in nemoteča pri sledenju pogledu. Odboj infrardeče svetlobe od mrežnice in roženice v uporab- nikovem očesu je zajet s senzorjem strojne opreme. Na podlagi kotov odbojev sledilnik izračuna položaj zenice in v obliki koordinat x in y na zaslonu prikaže lokacijo pogleda v danem trenutku. Mere sledenja pogledu, s katerimi se srečujemo pri analizah, v grobem ločimo v dve skupini. Fiksacije so točke, kjer se pogled za določen čas ustavi, sakade pa so premiki med temi točkami. Sakade so v raziskavah sledenja pogledu red- keje analizirane, saj velja, da je uporabnik med premikanjem pogleda »slep«, s pogledom namreč ni osredotočen na vizualne dražljaje, ki bi se prenesli do možganov (Lorigo idr., 2008). Nasprotno pa so fiksacije pri analizah podlaga za številne mere, kot sta število ali trajanje fiksacij. Temu je iskati vzrok v po- membni premisi izpred skoraj 50 let (»The eye-mind hypothesis), ki zagovarja povezavo med točko, na kateri se pogled zadržuje, in podatki, ki jih v tem času uporabnik prejema iz dražljaja (Just in Carpenter, 1976). Podatke o fiksacijah najpogosteje analiziramo znotraj t. i. področij zanima- nja (ang. areas of interest, AOI). Gre za območja (na spletni strani ali drugem dražljaju), ki jih s pomočjo programske opreme izberemo, označimo in s tem omogočimo analize znotraj meja področja (slika 1). Enakovrstna področja lahko skupaj združujemo v skupine, četudi so sicer pozicionirana narazen. Največja prednost analiz fiksacij na podlagi področij zanimanja je zagotovo možnost pri- merjav med izbranimi elementi oz. območji. Omeniti velja, da ima programska oprema za sledenje pogledu poleg analize fiksacij na določenem območju ter z natančnim časovnim žigom vgrajeno tudi beleženje klikov miške in gumbov tipkovnice. Prav tako lahko raziskovalci označijo poljubne dogodke po meri (točke v času in območju), ki jih želijo beležiti za poznejšo analizo. Programska oprema za sledenje pogledu nam omogoča, da poleg statističnih analiz podatke o fiksacijah in sakadah prikažemo tudi z vizualizacijami. Naj- pogosteje uporabljena vizualna prikaza sta toplotni zemljevid, ki je koristen predvsem za razumevanje distribucije pozornosti (slika 2), ter pot pogleda, ki prikaže posamezne fiksacije, sakade, njihove dolžine in zaporedja (slika 3). Knjižnica, 2025, 69(2–3), 9–31 15 Uporaba metode sledenja pogledu za načrtovanje in vrednotenje bibliografskih informacijskih sistemov   Oba prikaza lahko kreiramo na podlagi podatkov enega ali več udeležencev na izbranem območju (v našem primeru spletna stran). Strani z identično po- stavitvijo elementov lahko tudi združujemo in podatke projiciramo na izbrano reprezentativno stran. Slika 1: Primer izdelanih področij zanimanja (AOI) 16 Knjižnica, 2025, 69(2–3), 9–31 Maja Kuhar, Tanja Merčun   Slika 2: Vizualizacija v obliki toplotnega zemljevida (heat map); zajem zaslona iz analize uporabniške študije na dLib.si Slika 3: Vizualizacija v obliki poti pogleda (scan path); zajem zaslona iz analize uporabniške študije na Emka.si Knjižnica, 2025, 69(2–3), 9–31 17 Uporaba metode sledenja pogledu za načrtovanje in vrednotenje bibliografskih informacijskih sistemov   4.2 Zasnova uporabniških študij Na podlagi analize obstoječih raziskav, ki so uporabile metodo sledenja pogledu na področju informacijske znanosti, smo pripravili pregled vidikov, ki so jih te raziskave proučevale, in mer, ki so jih pri tem uporabile. Pripravljeni okvir smo uporabili kot podlago za zasnovo treh uporabniških študij, ki smo jih izvedli med majem 2019 in majem 2022 (preglednica 1). Preglednica 1: Pregled treh uporabniških študij Uporabniška študija 1 Uporabniška študija 2 Uporabniška študija 3 Čas izvedbe maj in junij 2019 jesen 2021 april in maj 2022 Število udeležencev 30 33 30 Bibliografski informa- cijski sistem dLib, Europeana Emka.si prototipni knjižnični katalog Bibsurf 2 Pridružene metode vprašalnika UEQ in EWPL, retrospektiv- no glasno mišljenje snemanje zaslona, sočasno glasno mišljenje / Vsem trem študijam je bilo skupno zbiranje podatkov z uporabo metode sledenja pogledu, dodatno pa smo študijam pridružili še druge metode z namenom ugo- tavljanja morebitnih korelacij med podatki, pridobljenimi z različnimi metoda- mi. Študije smo zasnovali na raznolikih bibliografskih informacijskih sistemih, pri tem pa v izvedbo vključili tudi različne scenarije iskanja. Za zbiranje podat- kov smo uporabili sledilnik pogledu Tobii Pro X3-120, ki je bil nameščen pod zaslon prenosnika z ločljivostjo zaslona 1600 × 900 slikovnih točk. Frekvenca vzorčenja je bila nastavljena na 60 hercov, spodnja meja zaznave fiksacije pa na 60 milisekund. Prvi dve študiji sta bili zasnovani, izvedeni in analizirani s pomočjo programske opreme Tobii Pro Studio 3.4.8., tretja pa s programsko opremo Tobii Pro Lab 1.162. Dodatno smo za zbiranje podatkov uporabili še orodje za spletne ankete 1ka.si, za analizo in vizualizacijo rezultatov pa pro- gramsko opremo MAXQDA in SPSS. V prvi študiji smo ugotavljanje tega, kako je mogoče sledenje pogledu uporabiti za opazovanje vedênja uporabnikov, omejili na njihove interakcije ob začetku iskanja. Raziskavo smo izvedli na domačih straneh dveh digitalnih knjižnic, kar nam je omogočilo tudi primerjavo rezulta- tov sledenja pogledu ter tega, kaj nam povedo o uporabi vmesnikov in vedênju uporabnikov. Dodatno smo podatke sledenja pogledu primerjali s podatki dveh vprašalnikov o uporabniški izkušnji: EWPL (Emotion Prompt Word List) (Petrie in Precious, 2010) in UEQ-S (User Experience Questionnaire – Short) (Schrepp idr., 2017), ki so jih uporabniki izpolnili po interakciji s posamezno digitalno knjižnico. Izbrani digitalni knjižnici, dLib in Europeana, se razlikujeta v svoji 18 Knjižnica, 2025, 69(2–3), 9–31 Maja Kuhar, Tanja Merčun   zasnovi in zbirkah, ki jih ponujata. Po pregledu obeh domačih strani smo se na podlagi obstoječih možnosti brskanja odločili, da udeležencem zastavimo nalogo iskanja poljubne fotografije prve svetovne vojne. S priložnostnim vzor- čenjem smo k sodelovanju povabili 30 udeležencev, študentov Filozofske fakul- tete Univerze v Ljubljani. Do študentov smo pristopili na hodnikih fakultete, pri čemer se nismo omejevali na letnik ali smer študija. Nalogo je vsak udeleženec izvedel v obeh sistemih. S kontroliranjem vrstnega reda smo zagotovili, da sta bila oba sistema znotraj študije uravnoteženo prikazana kot prvi in kot drugi. Manjši vzorec, deset uporabnikov, smo po končani nalogi prosili za ponoven ogled in komentiranje posnetka njihove interakcije z metodo retrospektivnega glasnega mišljenja. Eksplorativno iskanje je zaradi raznolikosti načinov iskanja težko proučevati. Kaj lahko pri takšnem scenariju iskanja izvemo iz analiz sledenja pogledu, smo raziskali v drugi uporabniški študiji, ki smo jo izvedli na uveljavljeni spletni knjigarni Emka.si. Z vzorčenjem po načelu snežne kepe smo rekrutirali 33 ude- ležencev. Zajeli smo udeležence med 18. in 53. letom starosti iz različnih krajev v Sloveniji. Pogoj za sodelovanje je bil, da so v preteklem letu prebrali vsaj eno knjigo. Udeleženci so izvedli dve nalogi: iskanje poljubne knjige, ki bi jo vzeli na počitnice, in iskanje knjige za rojstnodnevno darilo, ki naj bo podobna vnaprej določeni knjigi. Poleg tega, da smo v okviru tretjega raziskovalnega vprašanja ugotavljali, kaj nam lahko sledenje pogledu razkrije o vedênju pri raziskoval- nem iskanju, smo s to uporabniško študijo naslavljali predvsem raziskovalno vprašanje o primerjavi metod. Načrtovanje in vrednotenje bibliografskih informacijskih sistemov lahko pote- kata zaporedno, lahko pa se prepletata v ponavljajočem se procesu, katerega cilj je ustvariti učinkovitejši sistem. Izsledke o obstoječih sistemih, ki smo jih pridobili v prvi in drugi raziskavi, bi tako lahko uporabili v procesu prenove nji- hovih vmesnikov. Da pa bi ugotovili, kako učinkovito je lahko sledenje pogledu v procesu načrtovanja, smo izvedli tretjo uporabniško študijo. Pri tem se torej nismo odločili za proučevanje že obstoječega sistema, temveč smo zasnovali lasten prototip spletnega knjižničnega kataloga, Bibsurf 2, kjer smo raziskovali interakcijo z novo obliko seznama rezultatov, ki temelji na entitetah referenč- nega knjižničnega modela (LRM). Posebnost prototipa je bila v tem, da je kot zadetke prikazoval izrazne oblike, pod vsako pa so bile navedene vse njene pojavne oblike (slika 4). Implementacije značilnosti referenčnega knjižničnega modela (LRM) zasledimo le v redkih obstoječih knjižničnih katalogih. Uvedba takšne oblike seznama rezultatov nam je omogočila drugačno perspektivo za odgovarjanje na tretje raziskovalno vprašanje, ki se osredotoča na vedênje uporabnikov med iskanjem Knjižnica, 2025, 69(2–3), 9–31 19 Uporaba metode sledenja pogledu za načrtovanje in vrednotenje bibliografskih informacijskih sistemov   informacij: s sledenjem pogledu smo proučili, kako udeleženci pregledujejo in izbirajo zadetke po drugačnem seznamu rezultatov – v obliki, ki še ni splošno uveljavljena v obstoječih spletnih knjižničnih katalogih. Slika 4: Primer seznama rezultatov v Bibsurf 2, kjer so pojavne oblike združene pod ustrezno izrazno obliko; metapodatki na nivoju izraznih oblik so grafično poudarjeni Na podlagi težav z analizami v drugi uporabniški študiji smo tokrat želeli me- todo preizkusiti na bolj statični strani. Tridesetim udeležencem, študentom bibliotekarstva, informacijske znanosti in arhivistike na univerzi Oslo Metro- politan, ki smo jih rekrutirali s priložnostnim vzorčenjem, smo prikazali tri sezname rezultatov. Seznami rezultatov v prototipnem knjižničnem katalogu so bili pripravljeni na podlagi obstoječe baze metapodatkov, ki jo za tovrstne namene vzdržuje prof. dr. Trond Aalberg, v sodelovanju s katerim smo tudi raz- vili prototip. Seznami so vsebovali gradivo na različnih nosilcih (npr. besedilni, zvočni), v različnih jezikih (npr. norveščina, angleščina), v različnih izdajah in zbirkah itd., s čimer smo želeli zagotoviti raznolikost izraznih in pojavnih oblik izbranega dela. Naloge so od udeležencev zahtevale, da označijo poljubno število rezultatov, ki bi si jih izposodili v knjižnici v podani situaciji (npr. izpo- soja knjige po priporočilu prijatelja; branje knjige pred ogledom istoimenskega filma). Udeleženci so rezultat označili kot izbran s klikom na naslov (bodisi na nivoju izrazne ali pojavne oblike), ob rezultatu pa se je pojavila ikona kljuki- ce. Seznamov rezultatov pri prvih dveh nalogah ni bilo mogoče spreminjati, medtem ko smo za tretjo nalogo pripravili daljši seznam rezultatov, ob katerem smo udeležencem ponudili možnosti filtriranja, ki jih prva in druga naloga ni- sta vključevali. S prvim seznamom rezultatov smo želeli udeležence seznaniti 20 Knjižnica, 2025, 69(2–3), 9–31 Maja Kuhar, Tanja Merčun   s sistemom in preveriti, ali jim je način izbiranja rezultatov razumljiv. Analize smo zato usmerili v drugo in tretjo nalogo. 5 Rezultati 5.1 Identificirani vidiki vrednotenja Na podlagi obsežnega pregleda literature smo zaznane vidike vrednotenja, ki so jih avtorji obravnavali z metodo sledenja pogledu, združili v tri večje kate- gorije. Na tem mestu smo v izogib napačnim interpretacijam ohranili poime- novanja, kot so jih uporabili avtorji v literaturi. Prva kategorija naslavlja ele- mente uporabniškega vmesnika, vključno z njihovo postavitvijo (ang. interface layout). Druga zajema koncepte vrednotenja, kjer se najpogosteje pojavljata termina uporabniška izkušnja in uporabnost, definicija slednje pa vključuje vi- dike, kot sta zadovoljstvo in učinkovitost (ISO 9241-11, 2018). V tretjo kategorijo smo združili študije, ki v ospredje proučevanja postavljajo uporabnika in nje- govo vedênje. Sočasno smo k posameznim vidikom pripisali tudi seznam mer sledenja pogledu, katerih analize so se v literaturi pojavljale pri naslavljanju identificiranih vidikov. Izdelani seznam smo v naslednjem koraku nadgradili z dodajanjem možnih mer, katerih uporabe v pregledani literaturi sicer nismo zaznali, a smo jih želeli preizkusiti v naših uporabniških študijah. Mere, ki smo jih tako identificirali kot uporabne v kontekstu posameznih vidikov vrednote- nja, so predstavljene v spodnjih treh preglednicah. Preglednica 2: Povzetek identificiranih elementov uporabniškega vmesnika in pripadajočih mer sledenja pogledu Element uporabniškega vmesnika Mere sledenja pogledu Seznam rezultatov Trajanje fiksacij, število fiksacij, čas do prve fiksacije, klik miške, toplotni zemljevid, zaporedje obiska področij zanimanja Metapodatki Trajanje fiksacij, število fiksacij, odstotek fiksacij, pot pogleda, trajanje naloge, obisk področja zanimanja, toplotni zemljevid Fasetna navigacija Trajanje fiksacij, število fiksacij, obisk področja zanimanja Postavitev elementov vmesnika Trajanje fiksacij, število fiksacij, čas do prve fiksacije, časovni graf fiksacij, toplotni zemljevid, klik miške, trajanje naloge, zaporedje obiska področij zanimanja Knjižnica, 2025, 69(2–3), 9–31 21 Uporaba metode sledenja pogledu za načrtovanje in vrednotenje bibliografskih informacijskih sistemov   Preglednica 3: Povzetek identificiranih konceptov vrednotenja ter pripadajočih mer sledenja pogledu Koncept vrednotenja Mere sledenja pogledu Estetika Trajanje fiksacij, število fiksacij, trajanje naloge, čas do prve fiksacije Uporabniška izkušnja Trajanje fiksacij, število fiksacij, trajanje naloge, čas do prve fiksacije, pot pogleda Uporabnost Trajanje fiksacij, število fiksacij, klik miške, pot pogleda, zaporedje obiska področij zanimanja, čas do prve fiksacije, trajanje naloge, toplotni zemljevid, število fiksacij pred analizirano fiksacijo Preglednica 4: Povzetek identificiranih vedênj uporabnikov ter pripadajočih mer sledenja pogledu Vedênje uporabnikov Mere sledenja pogledu Preoblikovanje poizvedbe Trajanje fiksacij, obisk področja zanimanja Presoja relevantnosti Obisk področja zanimanja, dolžina prebranega teksta, trajanje fiksacije, število regresij, dolžina sakad, število fiksacij, toplotni zemljevid, pot pogleda, trajanje naloge Navigacijsko vedênje Trajanje fiksacij, število fiksacij, odstotek fiksacij, toplotni zemljevid, pot pogleda, čas do prve fiksacije, obisk področja zanimanja, zaporedje obiska področij zanimanja Opazovanje strani/ elementov Trajanje fiksacij, število fiksacij, odstotek fiksacij, toplotni zemljevid, pot pogleda, trajanje naloge, čas do prve fiksacije Raziskovalno (eksplorativno) iskanje Trajanje fiksacij, število fiksacij, zaporedje obiska področij zanimanja, obisk področja zanimanja, toplotni zemljevid 5.2 Primerjava začetka iskanja v dveh digitalnih knjižnicah Rezultati prve študije so pokazali velike razlike v dojemanju in interakciji z obe- ma digitalnima knjižicama. Ob pogledu na toplotne zemljevide sledenja pogledu je bilo jasno, da je bila pozornost udeležencev na domači strani dLib veliko bolj razpršena. Pri uporabi Europeane so udeleženci hitro locirali in uporabili iskalno okno, medtem ko so pri uporabi dLiba potrebovali več časa do prvega koraka iskanja. Vprašalnika EWPL in UEQ-S sta pokazala izrazito bolj pozitiv- no uporabniško izkušnjo v Europeani (Kuhar in Merčun, 2022; Kuhar, 2024). Udeleženci so slednjo doživljali kot prijetnejšo, še posebej takrat, ko je bila pri- kazana kot druga po vrsti in je lahko na ocenjevanje vplivala primerjava obeh videnih sistemov. Primerjava rezultatov, pridobljenih s pomočjo vprašalnikov in sledenja pogledu, je pokazala implikacije vplivanja posameznih elementov uporabniškega vmesnika na uporabniško izkušnjo. Z uporabo Spearmanovega 22 Knjižnica, 2025, 69(2–3), 9–31 Maja Kuhar, Tanja Merčun   koeficienta korelacije smo odkrili več statistično pomembnih razlik, pri čemer je bil najmočnejši vpliv položaja iskalnega okna na občutke udeležencev. Hi- treje kot je udeležencem uspelo locirati iskalno okno, bolj so se počutili veselo, radovedno in zadovoljno. Daljši čas do prvega klika, večje število fiksacij in daljši čas opravljanja naloge pa so bili povezani z občutki frustracije in negoto- vosti. V tej študiji smo pri manjšem vzorcu udeležencev uporabili tudi metodo retrospektivnega glasnega razmišljanja. To smo izvedli ob predvajanju posnetka udeleženčevega izvajanja naloge. Takšna izvedba je rezultirala v retrospektiv- nih komentarjih, ki so v večji meri le povzemali informacije ali potek akcij, ki so bile vidne na posnetku sledenja pogledu. Ob tovrstni kombinaciji metod zato vidimo potrebo po veliki proaktivnosti raziskovalca, da udeleženca dodatno spodbuja k izražanju mnenj in občutkov. 5.3 Eksplorativno iskanje v spletni knjigarni Pridobljene podatke druge študije smo analizirali v treh ločenih korakih, za- čenši z analizo snemanja zaslona. Kreirali smo vizualizacije akcij in navigacije udeležencev med izvajanjem naloge, ki so med drugim razkrile več neučinkovi- tih korakov vračanja k enakim neproduktivnim načinom iskanja. V drugem ko- raku smo snemanju zaslona pridružili še analizo sočasnega glasnega mišljenja. Transkribirane posnetke smo kodirali s pomočjo programske opreme MAXQDA in kode združili v sedem kategorij. Izkazalo se je, da so udeleženci največkrat govorili o svojih čustvih, procesu iskanja in izbire, funkcijah sistema ter mne- njih, ki so vključevala tudi primerjave z drugimi sistemi. V zadnjem koraku smo analizirali še podatke sledenja pogledu ter rezultate, pridobljene s tremi metodami, primerjali med seboj. Tako metoda snemanja zaslona kot metoda sle- denja pogledu sta nam omogočili kvalitativni pregled nad tem, kako udeleženci navigirajo po spletni knjigarni in kako si sledijo posamezni koraki njihovega iskanja. Če bi se zanašali le na vizualizacije in kvantitativne podatke o merah sledenja pogledu, bi lahko sprejeli napačne sklepe o zanimanju udeležencev za posamezne elemente uporabniškega vmesnika. Metoda sočasnega glasnega razmišljanja je imela pomembno vlogo pri dodatnem pojasnjevanju, zakaj je bila pozornost udeležencev usmerjena na posamezne elemente vmesnika. Komen- tarji sočasnega glasnega razmišljanja so odražali mnenja o slabi uporabnosti spletne knjigarne. Sprva so se udeleženci iskanja lotili na raznolike načine, a je iskanje v sistemu mnogim izzvalo čustva zmede in nemoči, čemur so sledile bolj preproste in enolične strategije iskanja. Sočasno glasno razmišljanje je ude- ležence spodbudilo k prevpraševanju razpoložljivih funkcij brskanja, dosled- nosti metapodatkov, obstoječih priporočilnih seznamov, postavitve elementov in številnih dodatnih vidikov sistema. Slabost prejemanja teh bogatih mnenj v kombinaciji s sledenjem pogledu je, da se zaradi časa, ki ga udeleženci porabijo Knjižnica, 2025, 69(2–3), 9–31 23 Uporaba metode sledenja pogledu za načrtovanje in vrednotenje bibliografskih informacijskih sistemov   za govorjenje, njihov pogled brezciljno zadržuje na zaslonu, kar popači rezultate sledenja pogledu. Med analizo podatkov sledenja pogledu smo naleteli na izziv, da so udeleženci med raziskovalnim iskanjem odprli veliko različnih strani. To smo, kjer je bilo mogoče, delno rešili z združevanjem podobnih strani v skupine glede na njihovo postavitev. Nepričakovana težava, na katero smo naleteli, so bile oglasne pasice različnih velikosti, ki so popačile projekcijo točk pogleda na posamezna področja zanimanja. Kadar uporabljamo metodo sledenja pogledu, je zato z mislijo na analizo treba upoštevati prisotnost dinamičnih elementov na strani (npr. spustni seznami, pojavna okna, oglasne pasice). 5.4 Pregledovanje seznama rezultatov v prototipnem knjižničnem katalogu Na podlagi rezultatov tretje študije smo opazili, da je hierarhična struktura se- znama rezultatov pomagala usmerjati pozornost udeležencev. Udeleženci so več pozornosti posvetili pregledovanju (krovnih) izraznih oblik, nerelevantne rezul- tate hitreje preleteli in se lotili podrobnega pregledovanja posameznih pojavnih oblik le pri rezultatih, ki so jih prepoznali kot relevantne. Na začetek seznama smo načrtno dodali tudi zadetek, ki ni bil relevanten za nalogo. Analiza fiksacij je pokazala, da so mu udeleženci posvetili več pozornosti kot nižje umeščenim nerelevantnim rezultatom, kar potrjuje, da uporabniki pričakujejo, da se na vrhu seznama rezultatov prikažejo relevantni rezultati (ang. probability ranking principle, Robertson, 1977). Elemente na levi in skrajno desni strani vmesnika so udeleženci večinoma spregledali in tako v večini primerov niso vplivali na izbiro. Dodatno smo na podlagi podatkov o fiksacijah izračunali povprečno za- poredje obiska posameznih rezultatov, ki je pokazalo, da so udeleženci seznam rezultatov pregledovali linearno, od vrha proti dnu. Analiza izbranih rezultatov je pokazala, da se udeleženci niso zadovoljili le s hitrim pregledom prvih re- zultatov, temveč so večkrat izbirali tudi relevantne rezultate nižje na seznamu rezultatov (pri tretji nalogi so bili najpogosteje izbrani 8., 19. in 1. rezultat). 6 Razprava Na podlagi pregledane literature in ugotovitev naših uporabniških študij smo oblikovali okvir uporabe sledenja pogledu za načrtovanje in vrednotenje biblio- grafskih informacijskih sistemov, bistvo katerega je vizualizirano v modelu na sliki 5. Videli smo, da načrtovanje in vrednotenje le redko obravnavamo po- polnoma ločeno. Največkrat se prepletata v iterativnem procesu, katerega cilj je razvoj čim boljše različice novega ali obstoječega sistema. Čeprav mestoma govorimo zgolj o vrednotenju, je to neločljivo povezano tudi z načrtovanjem. 24 Knjižnica, 2025, 69(2–3), 9–31 Maja Kuhar, Tanja Merčun   Pri interpretaciji modela je ključno razumevanje, da je pri uporabi metode slede- nja pogledu bistveno uporabnikovo izvajanje nalog v izbranem sistemu. Vredno- tenje sistema v tem primeru temelji na analizi uporabnikovih interakcij (zgolj pogleda ali uporabe vhodnih naprav) z uporabniškim vmesnikom. Pri izdelavi okvira smo se osredotočali na bibliografske informacijske sisteme, ki morajo podpirati uporabnike pri izvajanju petih ključnih uporabniških opravil: najti, identificirati, izbrati, pridobiti in raziskovati (Riva idr., 2017). Slika 5: Model uporabe metode sledenja pogledu za načrtovanje in vrednotenje bibliografskih informacijskih sistemov Sprva smo v literaturi identificirali tri glavne skupine ciljev raziskovanja, na katere se osredotočajo raziskovalci. V ospredje postavljajo bodisi vrednotenje elementov uporabniškega vmesnika, vedênje uporabnikov ali splošne koncepte vrednotenja (preglednice 2, 3 in 4). Z izvedbo in analizo treh uporabniških študij smo ugotovili, da so identificirani cilji vrednotenja med seboj povezani in jih težko raziskujemo popolnoma ločeno. Z uporabo metode sledenja pogledu ne moremo vrednotiti konceptov ali vedênja uporabnikov brez upoštevanja ele- mentov uporabniškega vmesnika. Elementov samih (zunaj konteksta interakcije uporabnika z njimi) z dotično metodo ne vrednotimo, ti predstavljajo pomembno povezavo, prek katere opazujemo njihovo uporabo in z analizo uporabnikovih interakcij naslavljamo želeni cilj. Opazujemo npr., ali uporabnik v sistemu lahko izpolni zadane naloge, kako se pri tem vede, kako učinkovito uporablja sistem in kakšna je njegova izkušnja pri uporabi sistema. Vse to opazujemo prek sne- manja pogleda in interakcije z elementi uporabniškega vmesnika. V okviru, ki uporabo metode sledenja pogledu umešča v okolje bibliografskih informacijskih sistemov, predlagamo, da kot izhodišče za raziskovanje vidikov vrednotenja upoštevamo pet uporabniških opravil, ki naj bi jih podpiral tovrstni sistem. Knjižnica, 2025, 69(2–3), 9–31 25 Uporaba metode sledenja pogledu za načrtovanje in vrednotenje bibliografskih informacijskih sistemov   Pri zasnovi raziskave sledenja pogledu morajo raziskovalci identificirati elemen- te uporabniškega vmesnika, ki so ključni v kontekstu zastavljenih raziskovalnih vprašanj oz. ciljev vrednotenja. Ti elementi so podlaga za področja zanimanja pri analizi podatkov. Nekatere elemente (npr. fasetna navigacija, rezultati) lah- ko analiziramo v celoti ali jih razdelimo na manjše dele (npr. posamezne filtre, metapodatke). Prav tako lahko združeno analiziramo elemente, ki so sicer po- stavljeni na različnih mestih vmesnika. Šele ko na posnetkih zaslona ustrezno označimo izbrana področja zanimanja, lahko nanje apliciramo izbrane mere sledenja pogledu. Podatki nam skozi statistike, vizualizacije in primerjave med področji zanimanja pomagajo do ugotovitev o vedênju uporabnikov ali kon- ceptih vrednotenja, ki smo jih želeli nasloviti. Nekateri vidiki vrednotenja, kot npr. uporabniška izkušnja ali zadovoljstvo, so vseobsegajoči in jih ne moremo pripisati zgolj eni uporabniški nalogi ali vprašanju. Kljub temu smo v našem delu identificirali mere sledenja pogledu, ki lahko pripomorejo k raziskovanju teh vidikov. Izdelani okvir smo dodatno nadgradili tudi s seznamom mer sledenja pogle- du, za katere smo razložili možnosti uporabe pri proučevanju bibliografskih informacijskih sistemov ter uporabo povezali z vidiki vrednotenja, pri katerih je smiselna uporaba posamezne mere. Okvir je tako uporaben kot priporočilo ter vsebuje praktične smernice za raziskovalce in praktike, ki bi želeli vključiti sledenje pogledu v postopek načrtovanja ali vrednotenja. Čeprav v izvedenih uporabniških študijah nismo izrecno proučevali, kako se uporaba sledenja pogledu v bibliografskih informacijskih sistemih lahko raz- likuje od uporabe v drugih kontekstih, je mogoče naše izkušnje primerjati s prebranimi poročili obstoječih raziskav. Uporaba sledenja pogledu se v pro- učevanih bibliografskih informacijskih sistemih seveda razlikuje od uporabe v drugih kontekstih (trženje, učenje, mobilne aplikacije itd.). Različne vrste informacijskih sistemov služijo različnim namenom in imajo lahko edinstven način predstavitve informacij (npr. geografski informacijski sistemi). Menimo, da so naslednje značilnosti bibliografskih informacijskih sistemov pomembne za raziskave sledenja pogledu: uporabnik ima opravka predvsem (vendar ne izključno) z besedilnimi informacijami, poudarek je na procesu iskanja, pre- gledu rezultatov iskanja in oceni njihove relevantnosti. V večini bibliografskih informacijskih sistemov uporabniki ne iščejo končnega odgovora (vsebine) na svojo informacijsko potrebo, temveč iščejo metapodatke o objektu, ki jih nato uporabijo za identifikacijo, izbiro in pridobitev objekta (pet ključnih uporabni- ških opravil). Rezultati vseh treh študij so doprinesli tudi konkretne implikacije za morebit ne izboljšave obstoječih vmesnikov. Med drugim se je izpostavil pomen dosled nih 26 Knjižnica, 2025, 69(2–3), 9–31 Maja Kuhar, Tanja Merčun   metapodatkov pri identifikaciji bibliografskih enot in odločanju o izbiri. Me- nimo, da je metoda sledenja pogledu zelo primerna za raziskovanje vedênja uporabnikov in konceptov, ki jih je mogoče enostavno povezati z določenim elementom vmesnika (npr. opaznost metapodatkov v različnih korakih iska- nja, preverjanje procesa navigacije). Prav tako moramo razmisliti, v kakšnem kon tekstu želimo uporabiti metodo sledenja pogledu. Kot je pokazala naša dru- ga študija, ta metoda ni najboljša za proučevanje zelo odprtih, eksplorativnih scenarijev iskanja, kjer narava interakcije otežuje analizo podatkov sledenja pogledu. Oprema za sledenje pogledu zahteva velik časovni in finančni vložek. V vseh treh uporabniških študijah smo metodo sledenja pogledu primerjali z drugimi metodami, da bi ugotovili, kdaj sledenje pogledu prispeva neprecenljiv vpogled v vrednotenje sistema in ali je v katerih scenarijih metoda zamenljiva z drugimi metodami. Ugotovili smo podobnosti med vizualizacijo uporabnikove navigacije, ki smo jo kreirali na podlagi snemanja zaslona, in vizualizacijo poti pogleda, ki nam jo ponuja sledenje pogledu. Obe vizualizaciji ponujata vpogled v zaporedje obiskanih elementov oz. strani, iz katerih lahko razberemo morebitne nejasno- sti pri uporabi sistema. V drugi uporabniški študiji smo identifikacijo takšnih vedênj nadalje potrdili z rezultati metode sočasnega glasnega mišljenja, ki se je izkazala kot zelo uporabna tudi pri ugotavljanju težav z uporabnostjo vmes- nika ter za vpogled v uporabnikovo zaznavanje sistema in celostno uporabni- ško izkušnjo. Podobne rezultate smo pridobili tudi z uporabo standardiziranih vprašalnikov, ki jih uporabnik rešuje po opravljeni nalogi. Na podlagi rezultatov prve in druge študije smo opravili tudi primerjavo obeh vrst glasnega mišljenja. Retrospektivno glasno mišljenje je zaradi predvajanja posnetka pogleda izzvalo več komentarjev akcij, ki so že sicer vidne na posnetku. Sočasno glasno mišlje- nje je izvabilo številne omembe čustev, komentarje procesa iskanja in spontane vzklike »aha«. Slabost slednje metode v kombinaciji s sledenjem pogledu je, da se med sočasnim glasnim mišljenjem pogled zadržuje na zaslonu, kar lahko popači podatke sledenja pogledu. Pri izbiri oziroma kombinaciji metod ne smemo po- zabiti, da se raziskave z uporabo metode sledenja pogledu večinoma izvajajo na manjšem vzorcu uporabnikov (okoli 30), zato rezultatov ne moremo posploševati na širšo populacijo. Če je nepristranski zajem pogleda ena izmed največjih pred- nosti metode, je lahko pri interpretaciji rezultatov hkrati tudi past. Rezultatov določenih mer si ne moremo vedno razlagati nedvoumno, zato je za poglobljeno razumevanje nujna pridružitev rezultatov, pridobljenih z drugo metodo, med ka- terimi so najprimernejše metode spraševanja, s katerimi lahko iz uporabnikov iz- vabimo subjektivna mnenja, ki jih s sledenjem pogledu ne pridobimo. Za celostno vrednotenje vmesnika bibliografskega informacijskega sistema, poleg sledenja pogledu, je zagotovo smiselna uporaba vsaj ene izmed metod spraševanja. Knjižnica, 2025, 69(2–3), 9–31 27 Uporaba metode sledenja pogledu za načrtovanje in vrednotenje bibliografskih informacijskih sistemov   Ker je pri izvedbi raziskave sledenja pogledu neizbežna interakcija uporabnika s sistemom, so poleg vpogleda v vrednotenje uporabniškega vmesnika naši re- zultati prispevali tudi k razumevanju vedênja uporabnikov. Z analizo sledenja pogledu smo ugotovili, da mora med uporabnikovim iskanjem gradiva vmesnik bibliografskega informacijskega sistema omogočati in jasno predstaviti vse po- membnejše funkcionalnosti, ki jih uporabnik pričakuje od tovrstnega sistema, sicer bodo uporabniki zapravljali dragoceni čas za lociranje znanih funkcij (npr. lokacija iskalnega okna). Udeleženci naših uporabniških študij so namreč po- gosto izpostavljali dobre prakse v drugih iskalnih sistemih (npr. priporočilni seznami, kot jih poznajo na Netflixu ali Amazonu; uveljavljen sistem ocenjeva- nja kot na Goodreads). Podatki sledenja pogledu in vizualizacije poti pogleda so potrdile uporabniške poskuse iskanja znanih funkcionalnosti (npr. ocene z zvezdicami so preleteli, pogled pa se je hitro premaknil, ko te niso bile na voljo). Zato menimo, da je pomembno, da funkcionalnosti vmesnikov bibliograf- skih informacijskih sistemov prilagodimo pridobljenim veščinam navigacije na spletu, namesto da uporabnike silimo v učenje uporabe visokospecializiranega sistema. Na podlagi analiz sledenja pogledu poudarjamo pomen centralno ume- ščenega iskalnega okna, uporabnih in jasnih funkcij brskanja in navigacije ter bogatih in konsistentnih metapodatkov. Metoda sledenja pogledu poleg stroškovnih in časovnih ovir prinaša tudi pasti, na katere je treba biti pozoren med načrtovanjem, izvedbo ter analizo raziskav. Izpostavimo naj možnost slabega vzorčenja točk pogleda, kar je treba vračunati v vzorec udeležencev; pomembnost enakih svetlobnih razmer skozi vsa izve- dena snemanja udeležencev; zamudnost analiziranja in veljavnost rezultatov pri več unikatih straneh, ki jih je obiskala le peščica udeležencev, npr. pri razi- skovalnem iskanju; otežene analize ob prisotnosti dinamičnih elementov na spletnih straneh; odstopanja v podatkih, uporabljenih za statistične analize, vgrajene v programsko opremo. Pri uporabi programske opreme smo omejeni na privzete analize, ob morebitnih drugačnih raziskovalnih vprašanjih pa bi morali surove podatke analizirati z lastno programsko kodo. 7 Zaključek V prispevku smo prikazali tako prednosti kot slabosti, na katere moramo biti pozorni pri uporabi metode sledenja pogledu. V vsaki od opisanih uporabniških študij smo metodo uporabili v različnih scenarijih vrednotenja uporabniških vmesnikov bibliografskih informacijskih sistemov. 28 Knjižnica, 2025, 69(2–3), 9–31 Maja Kuhar, Tanja Merčun   Glede na zastavljena raziskovalna vprašanja smo ugotovili, da je uporaba sle- denja pogledu za vrednotenje bibliografskih informacijskih sistemov zagotovo smiselna v scenarijih, kjer lahko pregledovanje strani omejimo tako v smislu številnosti kot v smislu dinamičnosti elementov (npr. pregledovanje seznama rezultatov ali objekta z bibliografskimi metapodatki). Če sledenje pogledu posta- vimo ob bok drugim, primerljivim ali dopolnjujočim metodam, ugotovimo, da gre za edinstveno metodo, ki pa se je dobro izkazala v kombinaciji z vprašalniki za merjenje uporabniške izkušnje. Za odkrivanje težav z uporabnostjo vmesnika svetujemo pridružitev retrospektivnega ali sočasnega glasnega mišljenja. Pri proučevanju vedênja uporabnikov med iskanjem informacij nam koristijo vizualizacije in mere sledenja pogledu, ki med drugim razkrijejo, kje se uporab- niki zadržujejo in kako navigirajo med elementi strani. Predlagani okvir lahko koristi praktikom in raziskovalcem pri odločanju o izbiri primernih metod glede na zastavljen raziskovalni problem. Rezultati posameznih študij in izdelani se- znam predlaganih mer (Kuhar, 2024) pa lahko pomagajo kot dodatna usmeritev pri načrtovanju in izvedbi analiz. 7.1 Omejitve raziskave Refleksija izvedenih študij razkrije marsikatero omejitev. Posamezni rezultati temeljijo na majhnem vzorcu udeležencev, kar je sicer značilno za študije slede- nja pogledu; vseeno pa ugotovitev ne moremo nekritično posploševati na širšo populacijo, temveč bi bilo treba spoznanja preveriti na večjem vzorcu. Previdni moramo biti pri aplikaciji ugotovitev na različne sisteme, saj ti morda vsebuje- jo določene specifike. Čeprav je bil poudarek raziskovanja na metodi sledenja pogledu, smo med rezultati prejeli zanimive izsledke tudi z uporabo vprašalni- kov o uporabniški izkušnji in z metodo sočasnega glasnega razmišljanja, kar bi želeli nadalje nasloviti v bodočih raziskavah. Za utrditev in dodatno potrditev našega predlaganega okvira za sledenje pogledu za uporabo v bibliografskih informacijskih sistemih je treba opraviti dodatne raziskave, v katere bi vključili scenarije, ki jih v okviru naših raziskav ni bilo mogoče proučiti. Zahvala Zahvaljujemo se vsem udeležencem, ki so sodelovali v uporabniških študijah, in dr. Trondu Aalbergu z univerze Oslo Metropolitan za pomoč pri izdelavi pro- totipnega uporabniškega vmesnika v eni izmed študij. Knjižnica, 2025, 69(2–3), 9–31 29 Uporaba metode sledenja pogledu za načrtovanje in vrednotenje bibliografskih informacijskih sistemov   Navedeni viri Bojko, A. (2013). Eye tracking the user experience: A practical guide to research. Rosenfeld Media. Carevic, Z., Lusky, M., Van Hoek, W. in Mayr, P. (2018). Investigating exploratory search activities based on the stratagem level in digital libraries. International Journal on Digital Libraries, 19(2-3), 231–251. https://doi.org/10.1007/s00799-017-0226-6 Chandon, P., Hutchinson, J. W., Bradlow, E., in Young, S. H. (2007). Measuring the value of point-of-purchase marketing with commercial eye-tracking data. INSEAD Business School Research Paper, Article 2007/22/MK/ACGRD. http://doi.org/10.2139/ssrn.1032162 Groen, M., in Noyes, J. (2010). Using eye tracking to evaluate usability of user in- terfaces: is it warranted? IFAC Proceedings Volumes, 43(13), 489–493. https://doi. org/10.3182/20100831-4-FR-2021.00086 Holmqvist, K., Nyström, M., Andersson, R., Dewhurst, R., van de Weijer, J., in Jarod- zka, H. (2011). Eye tracking: A comprehensive guide to methods and measures. Oxford University Press. Hüttermann, S., Noël, B., in Memmert, D. (2018). Eye tracking in high-performance sports: Evaluation of its application in expert athletes. International Journal of Computer Science in Sport, 17(2), 182–203. https://doi.org/10.2478/ijcss-2018-0011 ISO 9241-11:2018. Slovenski standard. Ergonomija medsebojnega vpliva človek-sistem – 11. del: Uporaba: Definicije in pojmi. (2018). Slovenski inštitut za standardizacijo. Jacob, R. J. K., in Karn, K. S. (2003). Eye tracking in human-computer interaction and usability research: ready to deliver the promises. Mind, 2(3), 573–605. Just, M. A., in Carpenter, P. A. (1976). Eye fixations and cognitive processes. Cognitive Psychology, 8, 441–480. Krug, S. (2014). Don’t make me think, revisited: A common sense approach to web usabi- lity. (3. izd.). New Riders. Kuhar, M., in Merčun, T. (2022). Exploring user experience in digital libraries throu- gh questionnaire and eye-tracking data. Library & Information Science Research, 44(3), 101175. https://doi.org/10.1016/j.lisr.2022.101175 Kuhar, M. (2024). Uporaba metode sledenja pogledu za načrtovanje in vrednotenje biblio- grafskih informacijskih sistemov [Doktorska disertacija]. Univerza v Ljubljani, Filozofska fakulteta. Lazonder, A. W., in Rouet, J. F. (2008). Information problem solving instruction: some co- gnitive and metacognitive issues. Computers in Human Behaviour, 24(3), 753–765. https:// doi.org/10.1016/j.chb.2007.01.025 Lewandowski, D., in Kammerer, Y. (2021). Factors influencing viewing behaviour on search engine result pages: a review of eye-tracking research. Behaviour & Information Technology, 40(14), 1485–1515. https://doi.org/10.1080/0144929X.2020.1761450 Lorigo, L., Haridasan, M., Brynjarsdottir, H., Xia, L., Joachims, T., Gay, G., Granka, L. A., Pellacini, F., in Pan, B. (2008). Eye tracking and online search: lessons learned and 30 Knjižnica, 2025, 69(2–3), 9–31 Maja Kuhar, Tanja Merčun   challenges ahead. Journal of the Association for Information Science and Technology 59(7), 1041–1052. https://doi.org/10.1002/asi.20794 Lund, H. (2016). Eye tracking in library and information science: a literature review. Library Hi Tech, 34(4), 585-614. Makri, S., Chen, Y.-C., McKay, D., Buchanan, G., in Ocepek, M. (2019). Discovering the unfindable: the tension between findability and discoverability in a bookshop designed for serendipity. V Lamas, D., Loizides, F., Nacke, L., Petrie, H., Winckler, M., in P. Zaphi- ris (ur.), Human-Computer Interaction INTERACT 2019, LNCS vol. 11747, 3–23. Springer. https://doi.org/10.1007/978-3-030-29384-0_1 Nielsen, J., in Pernice K. (2010). Eyetracking web usability. New Riders. Petrie, H., in Precious, J. (2010). Measuring user experience of websites: think aloud protocols and an emotion word prompt list. V Proceedings of the 28th International Conference on Human Factors in Computing Systems, 3673–3678. ACM. https://doi. org/10.1145/1753846.1754037 Rayner, K. (1998). Eye movements in reading and information processing: 20 years of research. Psychological Bulletin, 124(3), 372–422. Riva, P., Le Bœuf, P., in Žumer, M. (2017). IFLA Library Reference Model: A concep- tual model for bibliographic information. IFLA. https://www.ifla.org/wp-content/up- loads/2019/05/assets/cataloguing/frbr-lrm/ifla-lrm-august-2017_rev201712.pdf Robertson, S. E. (1977). The probability ranking principle. Journal of Documentation, 33(4), 294–304. https://doi.org/10.1108/eb026647 Saracevic, T. (1991). Individual differences in organizing, searching and retrieving in- formation. V Proceedings of ASIS Annual Meeting 1991, 82–86. Schrepp, M., Andreas, H., in Thomaschewski, J. (2017). Design and evaluation of a short version of the user experience questionnaire (UEQ-S). International Journal of In- teractive Multimedia and Artificial Intelligence, 4(6), 103–108. https://doi.org/10.9781/ ijimai.2017.09.001 Shneiderman, B., Plaisant, C., Cohen, M., Jacobs, S., Elmqvist, N., in Diakopoulos, N. (2017). Designing the User Interface (6. izd.). Pearson Education. Sodergren, M. H., Mylonas, G., Merali, N., Ashraf, H., Darzi, A., in Singh, H. (2018). Eye-tracking technology in medical education: A systematic review. Medical Teacher, 40(1), 62–69. Taylor, A. G., in Joudrey, D. N. (2009). The organization of information (3. izd.). Libraries Unlimited. Thiele, R. H., Poiro, N. C., Scalzo, D. C., in Nemergut, E. C. (2010). Speed, accuracy, and confidence in Google, Ovid, PubMed, and UpToDate: Results of a randomised trial. Post- graduate Medical Journal, 86(1018), 459–465. https://doi.org/10.1136/pgmj.2010.098053 Tien, T., Pucher, P. H., Sodergren, M. H., Sriskandarajah, K., Yang, G. Z., in Darzi, A. (2014). Eye tracking for skills assessment and training: a systematic review. The Journal of Surgical Research 191(1), 169–178. https://doi.org/10.1016/j.jss.2014.04.032 Knjižnica, 2025, 69(2–3), 9–31 31 Uporaba metode sledenja pogledu za načrtovanje in vrednotenje bibliografskih informacijskih sistemov   Vilar, P., in Žumer, M. (2008). Uporabniški vmesniki sistemov za poizvedovanje in upo- rabniška prijaznost. Knjižnica, 52(1), 41–61. Žumer, M. (2017). IFLA Library Reference Model (IFLA LRM), pomemben korak k sodob- nim bibliografskim informacijskim sistemom. Knjižnica, 61(1-2), 9–22. dr. Maja Kuhar, asist. Filozofska fakulteta Univerze v Ljubljani, Aškerčeva cesta 2, 1000 Ljubljana e-pošta: maja.kuhar@ff.uni-lj.si dr. Tanja Merčun, izr. prof. Filozofska fakulteta Univerze v Ljubljani, Aškerčeva cesta 2, 1000 Ljubljana e-pošta: tanja.mercunkariz@ff.uni-lj.si