Maja Žumer, Tjaša Jug, Maja Kuhar, Tanja Merčun Kariž, Mihela Pauman Budanović, Jan Pisanski, Katarina Švab MERJENJE UPORABNIŠKE IZKUŠNJE V BIBLIOGRAFSKIH INFORMACIJSKIH SISTEMIH Ljubljana 2023 Merjenje uporabniške izkušnje v bibliografskih informacijskih sistemih Zbirka: Bibliothecaria; 18 Avtorice in avtor: Maja Žumer, Tjaša Jug, Maja Kuhar, Tanja Merčun Kariž, Mihela Pauman Budanović, Jan Pisanski, Katarina Švab Urednica: Katarina Švab Recenzentki: Ema Dornik in Alenka Šauperl Tehnično urejanje in prelom: Irena Hvala Lektura: Zala Mikeln Fotografija na naslovnici: Stock photo © Khanchit Khirisutchalual Založila: Založba Univerze v Ljubljani Za založbo: Gregor Majdič, rektor Univerze v Ljubljani Izdala: Znanstvena založba Filozofske fakultete Univerze v Ljubljani Za izdajatelja: Mojca Schlamberger Brezar, dekanja Filozofske fakultete Tisk: Birografika Bori d. o. o. Ljubljana, 2023 Prva izdaja Naklada: 150 izvodov Cena: 14,90 EUR To delo je ponujeno pod licenco Creative Commons Priznanje avtorstva-Deljenje pod enakimi pogoji 4.0 Mednarodna licenca (izjema so fotografije)./This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License (except photographs). Projekt Metodološki okvir merjenja uporabniške izkušnje v digitalnih knjižnicah, št. J5-8247, je sofinancirala Javna agencija za raziskovalno dejavnost Republike Slovenije iz državnega proračuna. Zahvaljujemo se vsem sodelujočim v raziskavah in tudi sodelavcem iz NUK-a in IZUM-a, ki so pomagali pri izvedbi spletnega anketiranja. Prva e-izdaja. Publikacija je v digitalni obliki prosto dostopna na: https://ebooks.uni-lj.si/zalozbaul/ DOI: 10.4312/9789612971380 Kataložna zapisa o publikaciji (CIP) pripravili v Narodni in univerzitetni knjižnici v Ljubljani Tiskana knjiga COBISS.SI-ID=159749635 ISBN 978-961-297-139-7 E-knjiga COBISS.SI-ID=159739395 ISBN 978-961-297-138-0 (PDF) Kazalo 3 Kazalo Uvod 5 1 Pregled in analiza dosedanjih raziskav in relevantne literature 1.1 Opredelitev uporabniške izkušnje . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.2 Pregledi objav s področja uporabniške izkušnje . . . . . . . . . . . . . . . . . . 11 1.3 Uporabniška izkušnja in digitalne knjižnice . . . . . . . . . . . . . . . . . . . . . 15 1.3.1 Vidiki uporabniške izkušnje . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.3.2 Metode. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2 Proces oblikovanja vprašalnikov za bibliografske informacijske sisteme 2.1 Pregled izbora člankov z izbranimi vidiki . . . . . . . . . . . . . . . . . . . . . . . 26 2.2 Pregled relevantnih instrumentov . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 2.2.1 Vprašalnik UEQ (User Experience Questionnaire) . . . . . . . . . . . . . 28 2.2.2 AttrakDiff . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.2.3 Vprašalnik SEO (SEO Evaluation form) . . . . . . . . . . . . . . . . . . . . 30 2.2.4 Vprašalnik SAM (Self-assessment Manikin) . . . . . . . . . . . . . . . . . 31 2.2.5 Kartice reakcij (Microsoft Product Reaction Cards) . . . . . . . . . . . . 32 2.2.6 Plutchikovo kolo čustev . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.2.7 Vprašalnik PANAS (The Positive and Negative Affect Schedule) 34 2.2.8 Vprašalnik PANAVA-KS (Positive Affect Negative Affect, Valence) 34 2.2.9 Vprašalnik EWPL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 2.2.10 Vprašalnik meCUE (Modular evaluation of Key components of user experience) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 2.2.11 Vprašalnik VisAWI (Visual Aestethics of Websites Inventory) . . . . . . 36 2.3 Prevod in prilagoditev vprašalnikov . . . . . . . . . . . . . . . . . . . . . . . . . . 37 2.4 Zasnova predloga vprašalnika za bibliografske informacijske sisteme 37 2.5 Izbira bibliografskih informacijskih sistemov za vrednotenje . . . . . . . . . . 39 3 Raziskave 3.1 Primerjava metode sledenja pogledu in vprašalnikov za merjenje uporabniške izkušnje . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.1.1 Opis raziskave . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.1.2 Rezultati z razpravo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4 Kazalo 3.2 Analiza dnevniških zapisov in testiranje vprašalnikov v magistrskih raziskavah. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 3.3 Preverjanje metode Plutchikovega kolesa čustev. . . . . . . . . . . . . . . . . . 53 3.4 Testiranje uporabnosti in uporabniške izkušnje dLib.si . . . . . . . . . . . . . . 54 3.4.1 Opis raziskave . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 3.4.2 Rezultati z razpravo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 3.5 Spletna anketa dLib.si . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 3.5.1 Opis raziskave . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 3.5.2 Rezultati z razpravo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 3.5.3 Primerjava rezultatov testiranja in spletne ankete dLib.si . . . . . . . . 75 3.6 Spletna anketa COBISS+. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 3.6.1 Opis raziskave . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 3.6.2 Rezultati z razpravo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 3.6.3 Primerjava rezultatov spletnih anket COBISS+ in dLib.si . . . . . . . . . 90 3.7 Pregled raziskav . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 4 Priporočila za raziskave uporabniške izkušnje v bibliografskih informacijskih sistemih 4.1 Čustva . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 4.1.1 Semantični diferenciali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 4.1.2 Stopnje intenzitete čustev. . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 4.2 Doživljanje lastnosti bibliografskega informacijskega sistema. . . . . . . . . 100 4.2.1 Seznam pridevnikov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 4.2.2 Semantični diferenciali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 4.2.3 Trditve s stopnjo strinjanja . . . . . . . . . . . . . . . . . . . . . . . . . . 104 4.2.4 Analiza lastnosti skozi vidike uporabniške izkušnje . . . . . . . . . . . 105 Bibliografija 109 Imensko kazalo 119 Uvod 5 Uvod Cilj vrednotenja informacijskih sistemov je izdelava sistema, ki je uspešen in učinkovit ter s katerim so uporabniki zadovoljni. Pri tem se je treba zavedati, da so različni vidiki vrednotenja med seboj neizbežno povezani. Merjenje uspešnosti in učinkovitosti ima že dolgo tradicijo, usmeritev v proučevanje uporabnikove izkušnje pri uporabi sistema pa je novejše. Ob veliki ponudbi alternativnih ali komplementarnih informacijskih sistemov je ravno uporabniška izkušnja tista, ki bo odločilno vplivala na uporabo (ali neuporabo) določenega sistema. Zato smo predvideli razvoj okvira za vrednotenje uporabniške izkušnje v digitalnih knjižnicah, ki bo po eni strani omogočal vrednotenje različnih bibliografskih informacijskih sistemov, po drugi strani pa je mišljen tudi kot teoretično utemeljen nabor orodij za specifično uporabo pri vrednotenju določenih sistemov. Že ob nastanku prvih bibliografskih informacijskih sistemov oziroma sistemov za poizvedovanje se je pojavilo zavedanje, da je njihovo vrednotenje pomembno, ne le za razumevanje delovanja, ampak tudi za izboljšanje sistemov, npr. z znamenitimi eks-perimenti v Cranfieldu (Cleverdon et al., 1966). V začetnem obdobju je bil poudarek predvsem na računanju odziva in natančnosti s stališča uporabe različnih kontroliranih slovarjev ter na tehnološki učinkovitosti delovanja sistemov, ki je bila tesno povezana z omejenimi tehnološkimi viri (predvsem se je osredotočalo na hitrost delovanja in učinkovito izrabljen prostor). Ko so v osemdesetih letih prejšnjega stoletja do sistemov v večjem številu začeli neposredno dostopati končni uporabniki, so se študije začele posvečati problemu funkcionalnosti in težavnosti uporabe sistemov (Borgman, 1986, 1996). S tem se je pozornost preusmerila z vrednotenja zmogljivosti sistema na njegovo uspešnost pri zadovoljevanju potreb uporabnikov. Z razširjenostjo spleta in poja-vom novih informacijskih sistemov so bibliografski informacijski sistemi prvič dobili konkurenco, vse kritičnejši uporabniki pa so v široki ponudbi začeli izbirati druge po-nudnike informacij. Ob izgubi monopola in položaja primarnega informacijskega vira so se knjižnice in razvijalci bibliografskih informacijskih sistemov postopoma začeli zavedati kompleksnega sklopa dejavnikov, ki vplivajo na uporabniško izbiro sistema, in se usmerili k proučevanju koncepta uporabniške izkušnje (znanega tudi pod kratico UX – angl. user experience), ki vključuje širok spekter dejavnikov od zaznane uporabnosti in enostavnosti uporabe sistema do estetike, pritegnitve uporabnika in drugih vidikov doživljanja interakcije s sistemom (Attfield et al., 2011; Hassenzahl in Tractinsky, 2006; O’Brien, 2011). Tudi v širšem kontekstu sistemov za poizvedovanje Yan 6 Maja Žumer et al. Zhang (2014) ugotavlja, da pri evalvaciji vse pomembnejšo vlogo dobivajo uporabni- ško usmerjene, holistične mere. Uporabniška izkušnja tako predstavlja posameznikove percepcije in odzive, ki se izoblikujejo pri njegovi interakciji s sistemom, pri čemer vključuje tako pragmatične kvalitete sistema (doživljanje učinkovitosti, uporabnosti) kot tudi hedonične kvalitete, kot so zabava, uživanje, pozitivne emocije (Hassenzahl, 2005; Mahlke, 2008). Pragmatična dimenzija posamezniku omogoča učinkovitost in funkcionalnost, ko v sistemu opravlja neko nalogo (Hassenzahl, 2008; Konstantakis et al., 2017). Obenem pa je pri uporabi sistemov pomembna tudi hedonična dimenzija, ki pri posamezniku zadovoljuje potrebe po zabavi, presenečenju in intimnosti (Hassenzahl in Tractinsky, 2006). Interakcija s sistemom lahko uporabniku vzbudi tudi pozitivna ali negativna čustva, ki vplivajo na njegovo percepcijo samega sistema (Beaudry in Pinsonneault, 2010; McCarthy in Wright, 2005). Eno izmed pomembnih kvalitet uporabniške izkušnje predstavlja tudi uporabnikova vpletenost (angl. user engagement), torej to, kako dobro sistem ali tehnologija prevzame uporabnika ter s tem motivira nadaljnjo uporabo (Attfield et al., 2011). Med atributi, ki tvorijo uporabniško vpletenost, so tako na primer usmerjena pozornost, pozitiven afekt, estetska privlačnost, novost, trajnost interakcije, občutek nadzora in tudi zaupanje v storitev ter njen sloves (Lalmas et al., 2014). Za digitalne knjižnice velja, da sta njihov razvoj in vzdrževanje razmeroma draga. Za zagotavljanje kvalitetnih sistemov, ki so v interesu tako uporabnikov kot proizvajal-cev, je potrebno ustrezno vrednotenje vseh vidikov sistemov z uporabo kombinacije tradicionalnih, sodobnih in popolnoma novih pristopov. Do sedaj so bile rešitve glede vrednotenja večinoma parcialne, kar se tiče vrednotenja uporabniške izkušnje, pa tudi nesistematične. Zato je treba oblikovati in tudi v praksi preizkusiti čim celovitejši okvir za vrednotenje uporabniške izkušnje. Del teoretične osnove za vrednotenje predvsem digitalnih knjižnic, enega izmed ključnih tipov bibliografskih informacijskih sistemov kot celote, je podal DELOS Network (Fuhr et al., 2007). Vendar pa je ta model teoretične narave in ni usmerjen v konkretno testiranje metod za vrednotenje, uporabniške izkušnje pa niti ne obravnava. Na osnovi obstoječih in z razvojem novih metod proučevanja uporabniške izkušnje smo v okviru projekta št. J5-8247 z naslovom »Metodološki okvir merjenja uporabni- ške izkušnje v digitalnih knjižnicah« izdelali metodološki okvir, primeren za vrednotenje digitalnih knjižnic in tudi drugih vrst bibliografskih informacijskih sistemov. Na podlagi teoretične in praktične analize dosedanjih pristopov k vrednotenju smo izdelali osnutek okvira, ki je identificiral različne vidike vrednotenja in je vseboval tudi nabor metod, primernih za evalvacijo čim širšega spektra različnih scenarijev v povezavi Uvod 7 z uporabniško izkušnjo v bibliografskih informacijskih sistemih. Ta okvir smo v po-stopnih korakih testirali ob vrednotenju določenih bibliografskih informacijskih sistemov ter ga sproti prilagajali na podlagi rezultatov analize. Okvir za vrednotenje uporabniške izkušnje v digitalnih knjižnicah oziroma bibliografskih informacijskih sistemih nasploh je v veliki meri novost v svetovnem merilu, saj se dosedanje vrednotenje usmerja predvsem v učinkovitost in uspešnost. Predlagani okvir za vrednotenje je kot tak potencialno uporaben povsod, kjer bi želeli ovrednotiti bibliografski informacijski sistem. V zadnjih nekaj letih je bilo izdanih več knjig, katerih naslov obljublja poglobitev v uporabniško izkušnjo, npr. Measuring the user experience (Albert in Tullis, 2013), Quantifying the User Experience: Practical Statistics for User Research (Sauro in Lewis, 2016) in User experience (UX) design for libraries (Schmidt in Etches, 2012). Vendar pa podroben pregled vseh teh publikacij pokaže, da večinoma govorijo o praktičnih vidikih k uporabniku usmerjenega načrtovanja sistemov ali pa predstavljajo različne metode za vrednotenje sistemov, pri čemer se še vedno večinoma osredotoča-jo le na uporabnost in uporabniško prijaznost, ne pa na kompleksnejši vidik uporabniške izkušnje in njenih dimenzij. Namen publikacije je tako na enem mestu povzeti, kar je bilo narejenega v okviru projekta. Poleg tega pa je ponujena metodologija vsem, ki bi se začeli ukvarjati s tematiko uporabniške izkušnje v bibliografskih informacijskih sistemih. Pregled in analiza dosedanjih raziskav in relevantne literature 9 1 Pregled in analiza dosedanjih raziskav in relevantne literature Tudi v okviru bibliografskih informacijskih sistemov ter digitalnih knjižnic ob nara- ščajoči ponudbi alternativnih virov informacij postaja vse bolj potrebno oblikovanje sistemov, ki niso le tehnološko ustrezni, ampak zmorejo vedno znova pritegniti uporabnika ter ustvariti pozitivno uporabniško izkušnjo (Attfield et al., 2011). Za razvoj takšnih sistemov pa je nujno razumevanje, kaj vse obsega uporabniška izkušnja, kako raziskovati, meriti in analizirati različne dimenzije oziroma vidike uporabniške izku- šnje ter kateri dejavniki lahko vplivajo na uporabniško izkušnjo. Pogosto sicer zasledimo uporabo besedne zveze uporabniška izkušnja, vendar se navadno izkaže, da je govor o funkcijah, ki bi lahko izboljšale uporabnikovo izkušnjo (Alvite-Díez, 2021), ali o uporabniški prijaznosti in testiranju uporabnosti sistema (Jaffy, 2020; Majors, 2012). 1.1 Opredelitev uporabniške izkušnje Effie Lai-Chong Law in sodelavci (2009) so proučevali, kako različni strokovnjaki razumejo uporabniško izkušnjo. Ugotavljali so, da je uporabniško izkušnjo težko de-finirati iz treh razlogov: • ker je uporabniška izkušnja sestavljena iz različnih mehkih in dinamičnih kon-ceptov in jo zato vsak avtor razume po svoje oziroma glede na področje, iz katerega izhaja, • ker so enote proučevanja lahko zelo različne in • ker so raziskave na področju uporabniške izkušnje razdrobljene in sledijo različ- nim teoretičnim modelom. Strokovnjakom, sodelovalo jih je 275, so Law in sodelavci (2009) ponudili pet vnaprej izbranih definicij, ki so ustrezale petim različnim perspektivam: perspektivi podje-tja, vrednotenja, uporabnika, vrednosti in dizajna. Največ strokovnjakov (31 %, med akademiki pa skoraj 40 %) je izbralo definicijo s perspektive vrednotenja. Ta je bila povzeta po Hassenzahlu in Tractinskem (2006) kot »posledica uporabnikovega notranjega stanja (predispozicij, pričakovanj, potreb, motivacije, razpoloženja …), značilnosti sistema (kompleksnosti, namena, uporabnosti, funkcionalnosti …) ter konteksta, v katerem pride do interakcije (organizacijskega/socialnega okolja, pomena dejavnosti, prostovoljnosti uporabe …)«. 10 Maja Žumer et al. Thüring in Mahlke (2007) sta poudarila dva tipa kvalitet uporabniške izkušnje, in sicer instrumentalne in neinstrumentalne kvalitete. Instrumentalne kvalitete se nanaša-jo na izkušeno pomoč in enostavnost uporabe sistema, medtem ko so neinstrumentalne povezane z videzom in občutenjem sistema. Razvila sta model CUE ( Components of user experience), ki postavlja zaznave obeh tipov v središče uporabniške izkušnje, pri čemer različni dejavniki (uporabnik, sistem, kontekst) vplivajo na interakcijo. Rezultat so čustvene reakcije, ki vplivajo na oceno sistema. Najsplošneje sprejeto definicijo uporabniške izkušnje najdemo v mednarodnem stan-dardu ISO 9241-210:2019. Po njem gre pri uporabniški izkušnji za »posameznikove zaznave in reakcije, ki so rezultat uporabe ali pričakovane uporabe nekega proizvoda, sistema ali storitve«. Pri tem uporabniška izkušnja vključuje »vsa uporabnikova čustva, prepričanja, preference, zaznave, fizične in psihološke reakcije, vedenja in dosež- ke pred in med uporabo ter po njej«. Uporabniška izkušnja je po eni strani posledica ugleda znamke, prezentacije, funkcionalnosti, delovanja sistema, interaktivnega vedenja in pomoči sistema, po drugi strani pa uporabnikovega notranjega in fizičnega stanja kot posledice predhodnih izkušenj, odnosov, spretnosti in osebnosti. Dodatno nanjo vpliva tudi kontekst uporabe. Rico-Olarte in sodelavci (2018) so med ključnimi značilnostmi sodobnega razumeva-nja uporabniške izkušnje navedli: • Uporabniška izkušnja presega oziroma razširja uporabnost in uporabniško prijaznost, ki se osredotočata predvsem na uporabnikovo sposobnost razumeti in uporabiti sistem ter uspešno dokončati naloge. • Uporabniška izkušnja je po naravi subjektivna in vključuje oziroma poudarja uporabnikova čustva, motivacijo in dejanja ter se osredotoča na to, kako uporabnik zaznava produkt in svojo interakcijo z njim, vključuje pa tudi težje opredeljive atribute, kot sta zabava in užitek. • Evalvacija uporabniške izkušnje je zanimiva tako za ocenjevanje končnega sistema kot tudi proces njegovega načrtovanja. Merimo jo lahko z dvema osrednjima dimenzijama: pragmatično in hedonično. Zaradi raznolikosti pogledov na uporabniško izkušnjo smo naredili pregledno raziskavo, v kateri nas je zanimalo, kako avtorji člankov gledajo na uporabniško izkušnjo. Za okvir smo vzeli članke v informacijskem servisu Web of Science s področja bibli-otekarstva in informacijske znanosti, ki so izšli v obdobju 2014−2019 in so imeli v naslovu besedno zvezo »user experience«. Zaradi razumljivosti so članki morali biti v angleščini. Pregled in analiza dosedanjih raziskav in relevantne literature 11 Od 29 člankov, ki so ustrezali pogojem, jih je le 16, torej dobra polovica, imela jasno definicijo ali dovolj podroben opis uporabniške izkušnje. Od teh je en članek (Kim in Lee, 2016) z uporabniško izkušnjo označeval izkušenost uporabnikov. Le 12 člankov je govorilo o konkretnih vidikih uporabniške izkušnje. Tu lahko jasno vidimo, da ugotovitev Law in sodelavcev (2009) glede raznolikosti proučevanih vidikov pri različnih avtorjih še vedno drži. Namreč, razen v primerih istih avtorjev, niti v dveh člankih niso navedeni enaki vidiki uporabniške izkušnje. Dodatno so Betz in Hall (2015), Hu (2019) ter Hu in sodelavci (2017) sicer v teoretičnem delu govorili o pragmatičnih in hedoničnih vidikih uporabniške izkušnje, a so se potem v empiričnem delu ukvarjali izključno z uporabnostjo. Da je uporabniška izkušnja besedna zveza, ki je občasno uporabljena brez globljega premisleka, kaže dejstvo, da dva izmed člankov v našem pregledu (Bardeen et al., 2017; Rennick, 2019) sploh nista uporabila te besedne zveze nikjer drugje kot v naslovu. Pri nekaterih drugih člankih, v katerih ni bilo jasne definicije, pa obstaja verjetnost, da so avtorji enačili pojma uporabniška izkušnja in uporabnost, a pomanjkanje dodatnih informacij otežuje jasno razlago. Čeprav so v raziskavi med strokovnjaki na področju uporabniške izkušnje Carine Lallemand in sodelavci (2015) ugotavljali, da z večjo izkušenostjo raziskovalcev ni več take potrebe po standardni definiciji uporabniške izkušnje, imajo bralci še vedno lahko težave z razumevanjem tovrstnih člankov. 1.2 Pregledi objav s področja uporabniške izkušnje Študij uporabniške izkušnje zahteva analizo posameznikovih emocionalnih, kogni-tivnih in vedenjskih vidikov, pri tem pa številni raziskovalci ugotavljajo, da je subjektivno izkušnjo težko meriti, tudi zato ker gre za preplet tako različnih dejavnikov (Law, 2011). Ker smo želeli ugotoviti predvsem, katere metode so bile uporabljene za proučevanje katerih vidikov uporabniške izkušnje, smo se osredotočili na pregledne članke, ki analizirajo objave s področja uporabniške izkušnje. Pomembno je poudariti, da se niti eden od proučevanih pregledov ne ukvarja eksplicitno z uporabljenimi metodami za proučevanje specifičnih vidikov. Bargas-Avila in Hornbaek (2011) ter Law in sodelavci (2014) sicer popisujejo tako metode kot vidike, a ločeno. Zato bomo v nadaljevanju najprej predstavili ugotovitve glede uporabljenih metod, potem pa še glede proučevanih vidikov uporabniške izkušnje. S stališča uporabljenih metod se podatki med preglednimi članki nekoliko razlikujejo. Kot primer naj navedemo, da npr. Law in sodelavci (2014) poročajo, da so vse publikacije, ki so jih proučevali, uporabljale ankete, prav tako Maia in Furtado (2016) poročata, da je kar 84 % raziskav uporabljalo ankete. Vermeeren in sodelavci (2010) 12 Maja Žumer et al. so v praksi našteli uporabo 123 metod, ki pa so jih kasneje skrčili na 96 metod zaradi podvajanja in vprašljive navezanosti na uporabniško izkušnjo. Pri tem so kot metode navajali tudi različne instrumente (npr. po njihovih podatkih 42 metod za zbiranje podatkov uporablja vprašalnike). Díaz-Oreiro in sodelavci (2019) so v sistematičnem preglednem članku ugotavljali, da so metode spraševanja še vedno pogosto uporabljene, poleg tega pa je jasen porast uporabe standardiziranih vprašalnikov za vrednotenje uporabniške izkušnje. V približno 40 % vključenih študij so bili vprašalniki edino orodje vrednotenja. V raziskavah, v katerih je bila uporabljena več kot ena metoda, je bila ena izmed njih metoda spraševanja, bodisi v obliki vprašalnika bodisi v obliki intervjuja. Díaz-Oreiro in sodelavci (2019) nadalje ugotavljajo »dolgi rep« preostalih vrst metod – 172 metod je takšnih, ki so bile v celotnem vzorcu zajetih raziskav opa- žene manj kot desetkrat, od tega je bilo 79 metod zabeleženih samo enkrat. Po drugi strani pa Alves in sodelavci (2014), ki niso pregledali objav, temveč so spraševali praktike na področju raziskav uporabniške izkušnje, ne navajajo anket med petimi najpogostejšimi metodami. Le približno tretjina sodelujočih je namreč navedla, da jih uporablja pogosto. Druge metode, kot so intervjuji, opazovanje ter glasno razmišljanje, naj bi bile uporabljene pogosteje. Pregledi kažejo, da je nabor vseh metod in instrumentov, ki se uporabljajo za vrednotenje uporabniške izkušnje, po eni strani subjektiven, po drugi pa preširok, da bi se lahko posvetili vsem, še posebej zaradi »dolgega repa«. Ker pa ima vsaka metoda določene prednosti in slabosti ter omogoča vpoglede v različne vidike in na različne načine (npr. v laboratorijskem okolju, v naravni situaciji), je za čim celovitejši vpogled priporočljiva uporaba kombinacije metod (Vermeeren et al., 2010). Poleg uporabljenih metod so nas, kot rečeno, zanimali tudi proučevani vidiki uporabniške izkušnje. Hkrati z dvema osrednjima dimenzijama (pragmatično in hedonično) uporabniško izkušnjo sestavlja širok spekter vidikov, na osnovi katerih lahko merimo ali ugotavljamo kvaliteto uporabniške izkušnje. Law in sodelavci (2014) so identificirali kar 42 različnih vidikov oziroma kriterijev (npr. estetika/lepota, čustva, užitek, vpliv, vzbuditev zanimanja, pritegnitev, privlačnost, zadovoljstvo, zaupanje, zabava), ki so bili uporabljeni v raziskavah uporabniške izkušnje. Maia in Furtado (2016) sta v pregledu raziskav, objavljenih med 2010 in 2015, ugotovila, da raziskave s področja uporabniške izkušnje najpogosteje analizirajo zaželenost, uporabniško prijaznost, vizualno privlačnost, vrednost, koristnost, občutek nadzora, zadovoljstvo uporabnikov in zanesljivost. Ob velikem številu možnih vidikov so se raziskovalci srečali tudi s težavo, v kolikšni meri je vidike sploh možno meriti in katere metode so zato najprimernejše za ugotavljanje teh subjektivnih vidikov izkušnje. Pregled in analiza dosedanjih raziskav in relevantne literature 13 Ker pa smo želeli ugotoviti, katere metode so bile uporabljene za proučevanje katerih vidikov uporabniške izkušnje, smo izvedli dodatno pregledno raziskavo, ki je obrav-navala članke iz Web of Science. Tokrat smo se omejili na članke, ki so citirali članek Hassenzahla in Tractinskega (2006), eno izmed temeljnih del na tem področju. S tem smo se želeli omejiti na članke, ki dejansko obravnavajo uporabniško izkušnjo, čeprav je predpostavljeno, da seznam ne vsebuje nujno vseh člankov, ki govorijo o uporabni- ški izkušnji. Tudi tu smo časovno omejili publikacije na obdobje med januarjem 2015 in majem 2019. Iz začetnega nabora smo izločili tiste članke, ki: • niso govorili o uporabniški izkušnji, • niso govorili o evalvaciji, • niso podali informacij o proučevanih vidikih in • niso navedli uporabljenih metod. Drugače povedano, od začetnega nabora 228 člankov je ostalo 110 člankov, ki so podajali dovolj informacij, da smo lahko ustvarili tabelo, ki je kombinirala vidike uporabniške izkušnje z metodami. To početje je do neke mere subjektivno. Včasih je bilo težko izluščiti, kaj oziroma kako se je proučevalo. Nekatere študije so uporabljale več metod, lahko tudi na različnih nivojih, npr. kot metodo so predstavile ne-poimenovane vprašalnike, druge običajno standardizirane poimenovane vprašalnike (v izvirni obliki ali spremenjene/kombinirane z drugimi), tretje spet le določena vprašanja. Dodaten problem je predstavljala terminologija. Občasno je bilo težko razbrati, ali gre npr. v dveh člankih za dva različna vidika ali za dve poimenovanji istega vidika in obratno. Tudi razdrobljenost vidikov je variirala med članki in celo v istem članku. Vse to pomeni, da je vsak kvantitaven pregled publikacij v osnovi subjektiven. Po drugi strani pa je tak širok pregled dobra osnova za naše nadaljnje korake. Ob upoštevanju poimenovanj, ki so jih v obravnavanih člankih podali avtorji, smo pripravili tabelo, ki je vsebovala 179 različnih vidikov in 52 različnih metod na različnih nivojih. Po dodatni analizi smo z združevanjem in izločanjem prišli do 28 vidikov, ki so bili proučevani več kot enkrat, ter šestih metod, ki so bile uporabljene več kot enkrat. Slika 1 prikazuje deleže posameznih metod med vsemi raziskavami določenega vidika. 14 Maja Žumer et al. Slika 1: Nabor obravnavanih metod in vidikov Pregled in analiza dosedanjih raziskav in relevantne literature 15 Na podlagi te delitve smo ugotovili, da so bili pri veliki večini vidikov pretežno uporabljeni anketni vprašalniki (kar 77 % izmed vseh zabeleženih primerov; nobena druga metoda ni presegla 10 %). Pri tem je bilo ponekod navedeno, da so bili uporabljeni določeni standardizirani vprašalniki, njihovi deli ali variante, ponekod pa ni bilo jasno, kateri vprašalniki so bili uporabljeni. Kot je razvidno iz Slike 1, je bila interaktivnost edini vidik, pri katerem vprašalniki niso bili uporabljeni pri večini raziskav, vendar pa interaktivnost predstavlja zelo specifičen in razmeroma redko proučevan vidik uporabniške izkušnje. Prav tako je razvidno, da pri večini vidikov ni jasnih alternativ vpra- šalnikom. Po drugi strani kot metoda tu izstopa krivulja uporabniške izkušnje (angl. UX Curve), ki v nasprotju z vsemi drugimi ni skupek več variacij ene širše metode, temveč predstavlja specifičen način ugotavljanja spremembe v različnih vidikih uporabniške izkušnje skozi čas. Slika 1 glede metod merjenja uporabniške izkušnje pri naši analizi v veliki meri odse-va ugotovitve, o katerih sta poročala Maia in Furtado (2016): glavne skupine metod so anketni vprašalniki, intervjuji, opazovanje in psihofiziološke meritve, pri čemer so vprašalniki daleč najpogostejši, psihofiziološke meritve pa niso pogosto uporabljene. Dejstvo je, da avtorji člankov le redko komentirajo primernost uporabljenih metod za proučevanje posameznega vidika/situacije, predvidoma zato ker jemljejo metodologijo kot dano. Seveda pa niso vsi rezultati raziskav objavljeni v znanstvenih člankih. Predvidevamo, da obstajajo raziskave, ki so uporabile redkeje uporabljene pristope, vendar pa nam niso znane. 1.3 Uporabniška izkušnja in digitalne knjižnice Toms in sodelavci so že leta 2004 pisali o vprašanju merjenja uporabniške izkušnje v kontekstu digitalnih knjižnic. Med drugim so ugotavljali, da se je digitalne knjižnice običajno ocenjevalo s pomočjo mer, kot so natančnost, priklic ali neke vrste relevantnost, učinkovitost in uspešnost iskalnega procesa, v nekaterih primerih tudi uporabni- ška prijaznost sistema, pri čemer pa ima digitalna knjižnica tudi izkustveno vrednost, ki navadno ni analizirana. Uporabniki digitalnih knjižnic (podobno kot uporabniki fizič- nih knjižnic) ne iščejo le informacij − ob brskanju in raziskovanju knjižnice se namreč poglabljajo v gradivo in prehajajo v sfero zabave, zaradi česar bi bilo treba upoštevati tudi vidike, ki niso vezani le na praktičnost in funkcionalnost, ampak tudi na igrivost, užitek in zadovoljstvo, ki jih lahko prinese interakcija s sistemom. Čeprav v dosedanjih raziskavah digitalnih knjižnic in drugih bibliografskih informacijskih sistemov zasledimo tudi nekatere vidike uporabniške izkušnje (npr. Hong et al., 2002), te ne prinašajo celostne in sistematične analize vseh dimenzij, ki skupaj 16 Maja Žumer et al. tvorijo uporabniško izkušnjo. V zadnjem desetletju so številni avtorji (Appleton, 2016; Barifah et al., 2020; Massis, 2018) opozorili, da tradicionalne mere uporabnosti, kot sta učinkovitost in celo zadovoljstvo, ne ponudijo zadostnega in celostnega razumeva-nja uporabniške izkušnje, kakršno bi bilo potrebno za optimalni razvoj in vrednotenje digitalnih knjižnic. Med redkimi bolj poglobljenimi raziskavami uporabniške izkušnje v kontekstu digitalnih knjižnic tako na primer najdemo študijo Yan Zhang (2014), ki je analizo vedenja uporabnikov pri iskanju informacij v bazi Medline združila s proučevanjem uporabniške izkušnje preko vprašalnika, ki je meril zaznavno izkušnjo, kognitivno izkušnjo in emocionalno izkušnjo. Prav tako so Barifah in sodelavci (2020) uporabili model CUE (predstavljen v 1.1) v kontekstu digitalnih knjižnic. Ob reševanju nalog so snemali zaslon udeležencev in uporabili tehniko »pick-a-mood« (izbira razpoloženja), poleg tega so uporabili tudi vprašalnike, ki so obsegali sedem dimenzij uporabniške izkušnje (uporabnost, enostavnost uporabe, zaželenost, najdljivost, vero-dostojnost, dostopnost, vrednost). Za potrebe ugotavljanja uporabniške izkušnje v digitalnih knjižnicah in drugih okoljih, ki so polna informacij, pa so Toms in sodelavci (2004) zasnovali orodje DLues (Digital Library User Experience Scale), ki je vključevalo devet indikatorjev, vključno z zabav-nostjo, inovativnostjo in vizualno privlačnostjo sistema, uporabnikovim dojemanjem zanimivosti ipd., a na žalost ni bilo preizkušeno v nadaljnjih študijah. Ob tem se postavlja tudi vprašanje, če in koliko bi bilo treba mere, ki se uveljavljajo v širšem kontekstu evalvacije uporabniške izkušnje, prilagoditi za uporabo v okviru digitalnih knjižnic. 1.3.1 Vidiki uporabniške izkušnje V naši analizi pregleda člankov smo najprej skrčili seznam proučevanih vidikov na 28 (glej Sliko 1), kasneje pa smo z dodatnim združevanjem in tudi izpuščanjem za bibliografske informacijske sisteme manj pomembnih vidikov na koncu identificirali najpomembnejše vidike, ki tvorijo temelj proučevanja uporabniške izkušnje. Pragmatična dimenzija Uporabnost je najosnovnejša značilnost sistema tudi z vidika uporabniške izkušnje. Po ISO 9241-11:2018 je uporabnost obseg, do katerega lahko uporabniki uspešno, učinkovito in z zadovoljstvom uporabljajo sistem, proizvod ali storitev za dosego svojih ciljev v določenem kontekstu uporabe. Lahko proučujemo tudi pričakovano uporabnost (npr. Triberti et al., 2016), torej pričakovanja glede uporabnosti na podlagi omejenega poznavanja, a je precej pogostejše proučevanje zaznane uporabnosti. Lee in sodelavci (2018) v kontekstu uporabniške izkušnje uporabnost povezujejo z Pregled in analiza dosedanjih raziskav in relevantne literature 17 enostavnostjo, učljivostjo, neposrednostjo, informativnostjo in podporo uporabniku. Minge in Thüring (2018) vidita uporabnost kot tipično instrumentalno kvaliteto, ki močno vpliva na dokončanje naloge. Obstajajo tudi drugačni pogledi, npr. Othman in sodelavci (2018) menijo, da splošna uporabnost kaže le, ali je funkcionalnost sistema ustrezna. Po ISO 9241-11:2018 učinkovitost predstavljajo »porabljeni viri v odnosu do do-seženih rezultatov«. Mi smo zaznano učinkovitost definirali kot subjektivno oceno uporabnika, da sistem deluje učinkovito in omogoča učinkovito delo. Enostavnost za uporabo v kontekstu uporabniške izkušnje Peters in sodelavci (2016) razumejo kot stopnjo, do katere se lahko sistem uporablja brez napora. Običajno proučujemo enostavnost za uporabo, kot jo zaznajo uporabniki (zaznano enostavnost za uporabo). Dirin in Laine (2018) omenjata, da predvsem v kompleksnih sistemih dosežemo enostavnost uporabe s pomočjo kontekstno odvisnih pristopov, ki olajšajo kognitivne obremenitve pri zahtevnejših nalogah. Hedonična dimenzija Estetika vključuje prikaz in razporeditev vizualnih elementov sistemov ter zaznavanje lepote. Wu in sodelavci (2016) pravijo, da vizualni atributi (estetika) ključno vplivajo na uporabniško izkušnjo in uporabnikove pozitivne občutke. Podobno tudi Bhandari in sodelavci (2019) ugotavljajo, da zaznana vizualna estetika (npr. simetrija, kreativnost) lahko vpliva na uporabnikovo zaznavanje kvalitete, saj pozitivna izkušnja z estetiko vodi do pozitivne interakcije z vmesnikom. Li in sodelavci (2019) opredeljujejo estetski užitek kot bistveno čustvo, ki izhaja iz cenjenja določenega predmeta. Čustva so tako tesno povezana z estetiko in so ključna pri snovanju sistemov (Bhandari et al., 2019). Pritegnitev/stimulacija/privlačnost odražajo lastnost, da sistem privabi uporabnika, ga motivira, da obdrži pozornost, in stimulira uporabo. Greussing in Boomgaarden (2019) jo opisujeta kot stanje, ko uporabnik preseže svojo običajno raven uporabe. Pri tem doživlja povečano kognitivno in čustveno stimulacijo. Winckler in sodelavci (2016) stimulacijo razumejo kot hedonični atribut produkta, ki vodi v nove vtise, mo- žnosti in vpogled. Inovativnost predstavlja nekonvencionalnost (novost, drugačnost) sistema. Ta vidik je še posebej pomemben za uporabnika in njegovo izkušnjo v začetni fazi uporabe nekega proizvoda ali storitve (Rutten et al., 2020). Novost namreč lahko na začetku pritegne pozornost uporabnika, kasneje pa so pomembnejši drugi vidiki, učinek novo-sti pa zbledi. Inovativnosti se po poročanju Parka in Juna (2003) posvečajo predvsem na področju raziskovanja kupcev. 18 Maja Žumer et al. Čustva Čustva razumemo kot občutke, ki se pojavijo ob uporabi sistema. Heidig in sodelavci (2015) čustva obravnavajo kot kratke epizode, ki so odgovor na določen stimulus. Po drugi strani pa afekt vidijo kot širšo kategorijo, ki vsebuje tako čustva kot tudi razpoloženje. 1.3.2 Metode Predvsem na spletu najdemo nekaj pregledov metod uporabniške izkušnje, ki pa so z vidika našega izhodišča vsak po svoje pomanjkljivi. Tako npr. stran All UX Evaluation methods,1 pri kateri sodelujejo tudi priznani avtorji s področja uporabniške izkušnje (Law, Roto, Vermeeren …), podaja enega izmed najsistematičnejših pregledov metod za evalvacijo uporabniške izkušnje. Čeprav vsebuje informacije o tipih študije, fazi razvoja, obdobju proučevanja, evalvatorju, podatkih, aplikacijah in zah-tevah, pa ne vsebuje konsistentnih podatkov o vidikih uporabniške izkušnje, ki jih obravnava. Seznam zajema 86 metod, a gre v veliki meri za »variacije na temo« (npr. tako pri »Emocards« kot pri »Emofaces« gre za obliko neverbalnega pridobivanja informacij o čustvih s pomočjo narisanih obrazov). Ob tem je treba poudariti, da uporaba velike večine teh metod ni bila zaznana pri našem pregledu literature, kar pa ne pomeni nujno, da se ne uporabljajo za interne raziskave uporabniške izkušnje. Rohrer (2014) je ponudil pregled, katero izmed 20 »priljubljenih« metod uporabiti kdaj z vidika vprašanja odnosa/vedenja, kvalitativnosti, konteksta uporabe ter faze v razvoju proizvoda. Nekateri drugi pregledi, npr. UX Planet,2 se posvečajo predvsem metodam za načrtovanje uporabniške izkušnje. Kot smo lahko razbrali iz preglednih člankov in pravkar predstavljenih pregledov metod, je razdelitev metod merjenja na splošno in tudi metod merjenja uporabniške izkušnje lahko problematična. Po eni strani obstajajo različice istega pristopa, po drugi pa obstajajo tehnike, ki jih nekateri imenujejo tudi metode. Za izvedbo raziskave je pogosto treba pripraviti naloge, ki jih izvajajo udeleženci raziskave, česar pa ne moremo šteti kot posebno metodo. Še en razmeroma pogost pristop k raziskovanju uporabniške izkušnje je eksperiment, ki ga v tem kontekstu težko razumemo kot metodo, saj običajno predvideva uporabo določene druge metode (ali kombinacije metod) za zbiranje podatkov. 1 Dostopno na: http://www.allaboutux.org/all-methods. 2 Dostopno na: https://uxplanet.org/. Pregled in analiza dosedanjih raziskav in relevantne literature 19 Ob razpršenosti in nesistematični uporabi metod, ki se uporabljajo za razumevanje uporabniške izkušnje, pa Attfield in sodelavci (2011) ugotavljajo, da je pomemben korak v razvijanju okvira za merjenje uporabnikove vpletenosti in uporabniške izkušnje integracija subjektivnih in objektivnih mer v različnih kontekstih. Poraja se vprašanje, kje so meje zaznavanja celostne uporabniške izkušnje ter katere metode uporabiti, da bi subjektivnost uporabniške izkušnje kar najbolje zajeli (Partala in Kallinen, 2012). Tudi O’Brien (2011) in Kelly (2009) poudarita potrebo po triangulaciji samoocen in objektivnih podatkov, pri tem pa ugotavljata, da bo treba več raziskav posvetiti razumevanju, kako analizirati različne plasti podatkov, da bi ustvarili celovito in bogato sliko izkušnje. Maia in Furtado (2016) pravita, da je pred načrtovanjem raziskav uporabniške izku- šnje treba posvetiti pozornost: • uporabi ene metode ali kombinaciji več metod, • trenutku zajema podatkov (pred in med interakcijo s sistemom ali po njej), • okolju, v katerem se raziskava izvaja (resnično ali laboratorijsko), • načinu pridobivanja podatkov (ročno ali strojno). Vermeeren in sodelavci (2010) pa so kot ključne razvojne točke na področju meto-dologije med drugim navedli potrebo po validaciji, potrebo po metodah za merjenje skupinske izkušnje, večji poudarek na praktičnosti metod ter večji poudarek na kombinaciji metod, s slednjim se strinjata tudi Law in Sun (2012). V samo evalvacijo uporabniške izkušnje je treba vključiti tudi različne dejavnike, ki lahko vplivajo na uporabniško izkušnjo in jih je zato treba upoštevati pri razvoju metod in mer. Niso namreč odločilne le lastnosti sistema (naj bodo pragmatične ali hedonične), ampak tudi sam kontekst uporabe, uporaba skozi daljše časovno obdobje in tudi osebnostne karakteristike posameznika (Bargas-Avila in Hornbæk, 2011). Karapanos (2013) je recimo ugotavljal, da se uporabniška izkušnja razvija in spreminja skozi čas in da so lahko vidiki, kot so novost, lepota in hitrost učenja, pomembni na začetku uporabnikove interakcije s sistemom, vendar dolgoročno ne motivirajo uporabe tako močno kot nekatere druge, bolj pragmatične lastnosti. Vendar pa se je v dosedanjih raziskavah (npr. van der Heijden, 2004) pokazalo tudi, da ta ugotovitev ni splošno veljavna in se razlikuje glede na to, ali je sistem uporabljen za namen prosto- časnih aktivnosti in zabave ali za potrebe dela. V nadaljevanju bomo predstavili metode, ki so najpogosteje uporabljene pri merjenju uporabniške izkušnje. 20 Maja Žumer et al. 1.3.2.1 Vprašalniki Kot smo videli iz pregledov raziskav, so anketni vprašalniki najpogostejše orodje za pridobivanje mnenj udeležencev o uporabniški izkušnji. Običajno jih udeleženci v raziskavah rešujejo po interakciji s sistemom. Sicer se vsebina in vidiki, ki jih vpra- šalniki proučujejo, razlikujejo, a obstaja tudi nekaj splošno sprejetih vprašalnikov oziroma vsaj naborov vprašanj. Vprašalniki (nekateri so predstavljeni v poglavju 2.2) so lahko vezani na posamezen vidik ali pa na različne kombinacije vidikov. Kot primer naj navedemo, da so med širše uporabljenimi vprašalniki PANAS − The Positive and Negative Affect Schedule (poglavje 2.2.7), PANAVA − Positive Affect Negative Affect, Valence (poglavje 2.2.8) in EWPL − Emotion Word Prompt List, ki se osredotočajo samo na čustva (poglavje 2.2.9), ter VISAWI − Visual Aesthetics of Websites Inventory (poglavje 2.2.11), ki se posveča samo vizualni estetiki. Drugi znani vprašalniki se nanašajo na kombinacije vidikov. Tako npr. AttrakDiff (poglavje 2.2.2) in UEQ − User Experience Questionnaire (poglavje 2.2.1) prou- čujeta pragmatično kvaliteto, hedonično kvaliteto ter privlačnost, pri čemer UEQ deli pragmatično kvaliteto na učinkovitost, jasnost in zanesljivost ter hedonično kvaliteto na stimulacijo in novost. Vprašalnik USE se osredotoča na uporabnost, zadovoljstvo in enostavnost za uporabo, vprašalnik meCUE (poglavje 2.2.10) pa ima 5 modulov vprašanj: zaznavanje instrumentalnih in neinstrumentalnih kvalitet, čustva, posledice uporabe ter skupno evalvacijo. Vendar pa so vprašalniki pogosto lahko sestavljeni le za potrebe ene študije, sprašujejo le po nekaterih vidikih uporabniške izkušnje in testirajo različne pristope, kako najlažje preko vprašalnika pridobiti vpogled v uporabnikovo izkušnjo. Saariluoma in Jokinen (2014) se v svojem vprašalniku na primer osredotočata predvsem na emocionalno izkušnjo in primerjata čustva med samim izvajanjem naloge ter po celotni interakciji, rezultate pa analizirata s pomočjo večdimenzionalne skale. Nurkka in sodelavci (2009) pa so s pristopom dokončevanja stavkov poskušali zajeti uporabnikovo videnje vrednosti in dragocenosti izkušnje. V praksi raziskovalci pogosto kombinirajo različne vprašalnike oziroma njihove dele, odvisno od potreb raziskave. Tako sta npr. Aranyi in van Schaik (2015) navedla, da sta v svoji raziskavi odnosov med 13 široko definiranimi vidiki uporabniške izku- šnje neposredno uporabila, preoblikovala ali vzela elemente kar 9 različnih obstoječih vprašalnikov. Znana prednost vprašalnikov je, da z njimi v primerjavi z drugimi metodami razmeroma hitro pridobimo podatke in so tudi razmeroma lahki za obravnavo. Glavna slabost vprašalnikov pa je, da podajo le poročanje udeležencev raziskave in zato ne Pregled in analiza dosedanjih raziskav in relevantne literature 21 zajamejo nujno celotne slike o uporabniški izkušnji. Poleg tega zaradi jedrnatosti pogosto ne moremo ugotoviti razlogov, zakaj prihaja do nekega pojava. Zato jih je priporočljivo uporabljati v kombinaciji z metodami, ki se po eni strani globlje po-svetijo raziskovanemu problemu (npr. intervjuji), po drugi pa tudi realneje predsta-vijo dejansko stanje (npr. opazovanje). Čeprav se morda zdi, da je edini pravi način, da ugotovimo, kako uporabniki doživljajo uporabniško izkušnjo, spraševanje, pa je tudi v tem primeru možen pojav družbeno zaželenih odgovorov, torej da udeleženci podajajo odgovore, za katere pričakujejo, da bi jih raziskovalci radi dobili. Vprašanja so lahko postavljena na različne načine. Ob proučevanju uporabniške iz-kušnje so med pogostejšimi uporabljena vprašanja v obliki trditev (oziroma različnih stopenj strinjanja s trditvami), semantičnih diferencialov (omogočajo izbiro intenzitete med nasprotujočimi si opcijami) ter izbire pridevnikov, ki opisujejo zaznane vidike sistema oziroma izkušnje z njegovo uporabo. Ob tem je treba omeniti tudi težave s prevajanjem vprašalnikov. Pogosto namreč v drugem jeziku ne najdemo prave ustre-znice in se tako pomen spremeni. 1.3.2.2 Intervjuji Ozko gledano je intervju vrsta ankete, pri kateri se postavlja vprašanja ustno, ustno pa pridobivamo tudi odgovore (Ambrožič, 2005), širše pa gre za dvosmerno komunikaci-jo, pri kateri se sledi protokolu intervjuja (Hunt in McHale, 2007). Pod širšo definicijo sodijo tudi npr. vedno bolj priljubljeni intervjuji preko elektronske pošte. Intervjuji so v primerjavi z anketami običajno globlji, daljši in tudi razmeroma zah-tevni, saj običajno zahtevajo tudi večjo izkušenost in angažma raziskovalca, čeprav jih npr. Pernice (2018) še vedno opisuje kot precej hitre in enostavne. Z njimi pridobimo globlji vpogled v proučevani pojav in pogosto lahko odkrijemo tudi razloge, zakaj je prišlo do nekega pojava. Po drugi strani pa gre še vedno za samoporočanje, ki ne odraža nujno realnega stanja, saj lahko npr. udeleženci raziskave kaj zamolčijo … Zato je intervjuje priporočljivo uporabljati v kombinaciji z drugimi neposrednejšimi metodami, npr. opazovanjem. Lahko se uporabljajo pred uporabo ali po njej za ugotavljanje konteksta, okoliščin in predznanja ter refleksije uporabnikov o izkušnji. Magnusson in sodelavci (2010) v kontekstu proučevanja uporabniške izkušnje priporočajo predvsem uporabo polstruk-turiranih intervjujev, pri katerih so vprašanja pripravljena vnaprej, a je glede na potek intervjuja možno postavljati tudi dodatna vprašanja za razjasnjevanje. 22 Maja Žumer et al. 1.3.2.3 Glasno razmišljanje Pristop, pri katerem uporabnika pozovemo, da glasno komentira svojo uporabo nekega proizvoda ali storitve, ima prednost, da lahko neposredno povežemo določeno dejanje ali reakcijo z vzrokom zanj. Slabost je v tem, da lahko udeleženec raziskave zaradi potrebe po komentiranju svojo nalogo opravi z manj koncentracije, nekateri udeleženci pa (kljub morebitnim spodbudam s strani raziskovalcev) niso navajeni glasno komentirati svojih dejanj. Kot poudarja Nielsen (2012), gre za nepogrešljivo metodo na področju uporabnosti in uporabniške izkušnje, ki s seboj prinaša določeno tveganje in ne odpravlja vseh težav. Po drugi strani pa ta pristop opisuje kot poceni, robusten in fleksibilen. 1.3.2.4 Opazovanje Pri opazovanju v kontekstu uporabniške izkušnje lahko spremljamo uporabnikovo interakcijo ob uporabi nekega proizvoda ali storitve in tudi uporabnikove reakcije na to interakcijo. Da pri tem ne gre za samoporočanje, je velika prednost tega pristopa, vendar pa ravno zato obstaja možnost napačne interpretacije. Opazujemo lahko potek dela in/ ali obrazno mimiko, pri čemer je lahko težavno identificirati vrsto reakcije in njen vzrok. Poleg tega kvalitetna izvedba in analiza opazovanja zahtevata temeljito pripravo. Kot poudarja Datig (2015), lahko s kombinacijo npr. opazovanja in intervjuja ugotavljamo razlike med opazovanim in poročanim vedenjem ter iščemo razloge za nastale vrzeli. 1.3.2.5 Fiziološki pristopi V literaturi srečamo tudi uporabo (psiho)fizioloških pristopov, pri katerih raziskovalci opravijo določene telesne meritve (npr. srčnega utripa, potenja …) ob uporabi določenega proizvoda ali storitve. Ena izmed pomembnejših psihofizioloških metod, kot jih imenujejo Ding in sodelavci (2020), je tudi elektroencefalografija (EEG), ki velja za ne-invaziven način zapisovanja aktivnosti možganov. Yao in sodelavci (2014) poročajo, da so fiziološke mere dobri pokazatelji kognitivne vpletenosti in čustvene vznemirjenosti. Seveda to velja le za primere, ko dejansko pride do močnejše čustvene vznemirjenosti. Podobno kot pri opazovanju pa tudi tukaj lahko pride do napačne interpretacije (npr. pri identifikaciji dejanskega vzroka neke reakcije), zato je fiziološke pristope smiselno uporabljati v kombinaciji z drugimi metodami, predvsem tistimi, ki omogočajo zbiranje subjektivnih ocen (Ding et al., 2020). Poleg tega je uporaba tovrstne opreme razmeroma draga in zahteva posebna znanja, zato ni najprimernejša za osnovne raziskave uporabni- ške izkušnje pri uporabi bibliografskih informacijskih sistemov. Pregled in analiza dosedanjih raziskav in relevantne literature 23 1.3.2.6 Sledenje pogledu Pri sledenju pogledu lahko raziskovalci s pomočjo posebne opreme objektivno ugo-tovijo, kam na zaslonu uporabniki gledajo, koliko časa in v kakšnem zaporedju. Guan in sodelavci (2006) so pri primerjavi rezultatov sledenja pogledu in rezultatov vpra- šalnika o opaženih elementih ugotovili, da so uporabniki samoporočali le o polovici elementov, ki so jih dejansko opazili glede na rezultate sledenja pogledu. Sledenje pogledu se kot nevsiljiva in neopazna metoda tako ponuja kot primeren kontrast in dopolnitev v raziskavah uporabniške izkušnje (Gerea in Herskovic, 2015; Maia in Furtado, 2016). 1.3.2.7 Kartice reakcij Verjetno ena izmed prvih metod, ki se je izrecno osredotočila na uporabnikovo izku- šnjo ali t. i. željo po uporabi (angl. desirability) je bila metoda kartic reakcij oziroma odzivov (angl. Product Reaction Cards Method), ki so jo razvili Microsoftovi raziskovalci. V prvotni zasnovi iz leta 2002 (Benedek in Miner, 2002) je metoda vključevala 118 kartic s pridevniki (pozitivnimi in negativnimi), vsak uporabnik pa je po delu s sistemom izbral poljubno število kartic in z njimi opisal svoje videnje sistema. Skozi leta pa so različni raziskovalci metodo prilagajali svojim potrebam, tako z uporabo manjšega števila pridevnikov, z drugačno izbiro pridevnikov (npr. Doyle et al., 2010; Hastings et al., 2010) in spremenjenim načinom izvedbe (De Guzman in Schiller, 2011) kot tudi z novimi pristopi k analizi rezultatov (Merčun, 2014). 1.3.2.8 Dnevniki Pri dnevnikih gre za uporabniško študijo, pri kateri udeleženci v daljšem obdobju (npr. en teden ali tudi več tednov) zapisujejo svoja opažanja pri uporabi informacijskih sistemov (npr. Salazar, 2016). Metoda se uporablja predvsem pri analizi uporabniških potreb in kontekstov ter tudi informacijskega vedenja. S primernimi navodili udele- žence lahko tudi spodbudimo k opisovanju vtisov in občutkov, a se pogosto pokaže, da pri tem niso dosledni, kar otežuje kvalitetno analizo. Proces oblikovanja vprašalnikov za bibliografske informacijske sisteme 25 2 Proces oblikovanja vprašalnikov za bibliografske informacijske sisteme Ker smo iz pregledov literature ugotovili, da se za vrednotenje uporabniške izkušnje najpogosteje uporabljajo vprašalniki, smo zasnovali načrt procesa oblikovanja vprašalnika za bibliografske informacijske sisteme. Z namenom vpogleda v tri glavne komponente uporabniške izkušnje v bibliografskih informacijskih sistemih, in sicer hedonično kvaliteto, pragmatično kvaliteto ter čustva, smo uporabili kombinacijo različnih orodij in elementov že obstoječih vpra- šalnikov. Ker obstoječi vprašalniki niso bili posebej zasnovani za raziskave uporabniške izkušnje v bibliografskih informacijskih sistemih, je bila naša naloga izbrati najbolj smiselne elemente za to in z njimi oblikovati celovit vprašalnik, ki zajema vse vidike uporabniške izkušnje in je oblikovan z mislijo na interakcijo v bibliografskih informacijskih sistemih. Po pregledu literature in procesu določitve vidikov uporabniške izkušnje smo zasnovali načrt v petih fazah, ki je obsegal aktivnosti od pregleda člankov in standardiziranih vprašalnikov do zasnove vprašalnikov in protokola ter konkretnih izvedb raziskav in evalvacije zasnovanih orodij (Slika 2). Slika 2: Proces načrtovanja in oblikovanja vprašalnikov 26 Maja Žumer et al. 2.1 Pregled izbora člankov z izbranimi vidiki Na podlagi pregleda znanstvene literature smo identificirali pomembnejše vidike uporabniške izkušnje, ki jih izbrani članki pogosteje opisujejo in proučujejo: uporabnost, estetika, pritegnitev, varnost, čustva, zaznana učinkovitost, zadovoljstvo, zabava, zaznana enostavnost, privlačnost, zaupanje, novost, interaktivnost, uporabnost. Za vsak vidik smo nato izbrali od tri do šest člankov, ki so na čim bolj različne načine obravnavali določeni vidik. V 58 člankih smo proučili, na kakšen način avtorji defi-nirajo uporabniško izkušnjo, katere vidike identificirajo, kakšni so namen raziskave, uporabljene metode in instrumenti. Primer analize članka prikazuje Tabela 1. Tabela 1: Obrazec za analizo članka Rubrika Zapiski Bibliografski citat članka Definicija uporabniške izkušnje Definicija vidika Kontekst, v katerem članek obravnava vidik Metoda, uporabljena v članku Primernost metode za obravnavo vidika, kot ga komentirajo avtorji članka Uporabljeni standardizirani vprašalniki za merjenje uporabniške izkušnje Moj komentar Na podlagi natančne analize pridobljenih podatkov in opisov smo oblikovali konč- ni nabor vidikov. Nekatere prej omenjene vidike smo združili in identificirali sedem vidikov, za katere smo ocenili, da so najpomembnejši za proučevanje bibliografskih informacijskih sistemov in jim pripisali definicije: 1. Čustva: Občutki, ki se pojavijo ob uporabi sistema. 2. Zaznana uporabnost: Subjektivna ocena uporabnika, da sistem vključuje vse potrebne funkcije in da opravlja tisto, čemur je namenjen. 3. Estetika: Zaznavanje lepote sistema, ki se odraža v prikazu in razporeditvi vizualnih elementov sistema. 4. Pritegnitev: Lastnost sistema, da privabi in motivira uporabnika, da obdrži pozornost in spodbuja uporabo. 5. Zaznana učinkovitost: Subjektivna ocena uporabnika, da sistem deluje učinkovito in omogoča učinkovito delo. Proces oblikovanja vprašalnikov za bibliografske informacijske sisteme 27 6. Zaznana enostavnost: Subjektivna ocena uporabnika, da je sistem jasen, razumljiv in pregleden. 7. Inovativnost: Nekonvencionalnost (novost, drugačnost) sistema. Rezultat analize člankov je tudi nabor instrumentov za merjenje uporabniške izku- šnje, ki smo jih proučili v naslednji fazi. Najpogosteje uporabljene vprašalnike smo izbrali glede na vidike, ki smo jih želeli proučevati v okviru uporabniške izkušnje. Na kratko so predstavljeni v naslednjem podpoglavju. 2.2 Pregled relevantnih instrumentov V člankih smo identificirali različne uporabljene vprašalnike in tudi vprašanja, ki bi bila potencialno zanimiva v kontekstu proučevanja uporabniške izkušnje v bibliografskih informacijskih sistemih. Pregledali smo večje število vprašalnikov, nazadnje pa smo izbrali in natančneje proučili naslednje vprašalnike, ki so jih uspešno uporabili v predhodnih raziskavah, s posebnim poudarkom na pričakovani uporabnosti za bibliografske informacijske sisteme, splošni sprejetosti in/ali nišnemu proučevanju: • AttrakDiff, • EWPL (Emotion Word Prompt List), • kartice reakcij (Microsoft Product Reaction Cards), • MeCUE (Modular Evaluation of Key Components of User Experience), • PANAS (The Positive and Negative Affect Schedule), • PANAVA-KS (Positive Affect Negative Affect Valence), • Plutchikovo kolo čustev, • SAM (Self-assessment Manikin), • SEO Evaluation Form, • UEQ (User Experience Questionnaire), • VisAWI (Visual Aestethics of Websites Inventory). Razvrstili smo jih v tri kategorije, kot prikazuje Tabela 2. Tabela 2: Razdelitev vprašalnikov glede na obliko Semantični diferenciali Seznami pridevnikov ali Trditve s stopnjo strinjanja (nasprotujoči si pridevniki čustev oz. pojmi) UEQ Kartice reakcij MeCUE (izbira s seznama) AttrakDiff Plutchikovo kolo čustev VisAWI-S (izbira s seznama) 28 Maja Žumer et al. Semantični diferenciali Seznami pridevnikov ali Trditve s stopnjo strinjanja (nasprotujoči si pridevniki čustev oz. pojmi) SEO PANAS SEO (opredelitev intenzitete) SAM PANAVA-KS (opredelitev intenzitete) EWPL (opredelitev intenzitete) 2.2.1 Vprašalnik UEQ (User Experience Questionnaire)3 Slika 3: Prevod vprašalnika UEQ (vir: User Experience Questionnaire, b. d) 3 Dostopno na: https://www.ueq-online.org/. Proces oblikovanja vprašalnikov za bibliografske informacijske sisteme 29 Vprašalnik UEQ je standardiziran vprašalnik, ki je na voljo v daljši in krajši različici. Struktura vprašalnika zajema šest vidikov uporabniške izkušnje, ki se izraža skozi atraktivnost in pragmatično ter hedonično kvaliteto sistema (Tabela 3). Vprašalnik je preveden v več kot 30 jezikov. Daljša različica je sestavljena iz 26 semantičnih diferencialov, krajša verzija vprašalnika (UEQ-S) pa iz osmih semantičnih diferencialov (prvi štirje predstavljajo pragmatični vidik, nadaljnji štirje pa hedonični vidik). Vsako izmed teh postavk sestavljata dva, nasprotujoča si pojma (t. i. semantična diferenciala). Uporabnik na 7-stopenjski lestvici med pojmoma izbere ustrezno stopnjo intenzivnosti (Slika 3). Na podlagi povprečne vrednosti teh osmih diferencialov se lahko izračuna splošna ocena uporabniške izkušnje (Schrepp et al., 2017). Tabela 3: Elementi UEQ glede na vidike atraktivnosti, na vidike pragmatičnosti in hedonične vidike VIDIKI PRAGMATIČNI VIDIKI HEDONIČNI VIDIKI ATRAKTIVNOSTI nadležen/razveseljiv hiter/počasen dragocen/brez vrednosti dober/slab ni učinkovit/učinkovit dolgočasen/ vznemirljiv odbijajoč/všečen učinkovitost nepraktičen/praktičen stimulativnost nezanimiv/ zanimiv neprijeten/prijeten pregleden/natrpan povečuje/ zmanjšuje motivacijo grd/lep nerazumljiv/razumljiv kreativen/pust simpatičen/ enostaven za učenje/ domiseln/običajen nesimpatičen težak za učenje jasnost originalnost kompliciran/enostaven klasičen/moderen jasen/zmeden tradicionalen/ inovativen nepredvidljiv/ predvidljiv se ne da upravljati/se z zanesljivost lahkoto upravlja zanesljiv/nezanesljiv izpolnjuje/ne izpolnjuje pričakovanj 30 Maja Žumer et al. 2.2.2 AttrakDiff Avtorji Hassenzahl, Burmester in Koller so leta 2003 ustvarili vprašalnik AttrakDiff, ki je najpogosteje uporabljeni standardizirani vprašalnik za merjenje uporabniške iz-kušnje pri uporabi sistema (Kocaballi et al., 2019). Vprašalnik vključuje 28 semantičnih diferencialov s 7-stopenjsko lestvico (Slika 4). Vprašanja oziroma semantični diferenciali se bolj kot na atraktivnost in pragmatični vidik osredotočajo na hedonične lastnosti − identiteto in stimulacijo, ki imata skupaj kar 14 semantičnih diferencialov (Kocaballi et al., 2019). Slika 4: Izsek iz vprašalnika AttrakDiff (vir: Attrakdiff, b. d.) 2.2.3 Vprašalnik SEO (SEO Evaluation form) Avtorji Seo, Lee, Chung in Park (Seo et al., 2015) so zasnovali dvodelni vprašalnik, s katerim so merili uporabniško izkušnjo na spletnih straneh. Prvi del sestavlja 20 trditev, ki merijo vidika zaznane uporabnosti in zaznane estetike. V drugem delu pa s 15 semantičnimi pari merijo občutja, vznemirjenost in pritegnitev. Uporabnik se na 7-stopenjski lestvici odloča za stopnjo strinjanja s trditvami in točko med dvema nasprotnima pridevnikoma oziroma prislovoma (Slika 5). Proces oblikovanja vprašalnikov za bibliografske informacijske sisteme 31 Slika 5: Vprašalnik SEO (vir: Seo et al., 2015) 2.2.4 Vprašalnik SAM (Self-assessment Manikin) Peter Lang je leta 1980 razvil vprašalnik SAM, ki temelji na modelu PAD (pleasure, arousal, dominance)4 in ne vsebuje besed, temveč vsaka dimenzija vključuje piktograme oziroma sličice, ki predstavljajo razpoloženje na 5-stopenjski lestvici (Slika 6). Vprašalnik je uporaben za mnoga področja, predvsem pa v psihologiji in za raziskave trga. Kot omejitev bi poudarili, da lahko uporabniki vprašalnik dojemajo kot zastarelega zaradi videza pikogramov (Counting what counts, 2021), vendar pa se vprašalnik SAM še vedno uporablja za proučevanje uporabniške izkušnje (npr. Voigt-Antons, 2000). 4 Havlena in Holbrook (1986) sta ugotovila, da je PAD model v nekaterih okoliščinah bolj uporaben od Plutchikovega kolesa čustev. 32 Maja Žumer et al. Slika 6: Vprašalnik SAM (vir: Bradley in Lang, 1994) 2.2.5 Kartice reakcij (Microsoft Product Reaction Cards) Slika 7: Kartice reakcij (vir: Barnum, 2020) Proces oblikovanja vprašalnikov za bibliografske informacijske sisteme 33 Kartice reakcij oziroma odzivov sta leta 2002 zasnovala Joey Benedek in Trish Miner (2002) v okviru orodja, poimenovanega Microsoft Desirability Toolkit. V izvirni obliki vsebujejo 118 besed (Slika 7), obstaja pa tudi skrajšana verzija, ki obsega 64 besed oziroma kartic (Turner, b. d). Na podlagi predhodnih izkušenj z uporabniškimi študijami je v naboru kartic 60 % pozitivnih in 40 % negativnih oznak. Udeleženci raziskave pri tem vprašalniku izberejo poljubno število kartic oziroma oznak (negativnih ali pozitivnih), ki po njihovem mnenju z vidika zaznavanja in doživljanja najbolje opišejo produkt. V drugi fazi uporabniki zožijo nabor izbranih kartic na pet in ob vsaki podajo razlago, zakaj so jo izbrali. Kartice reakcij poleg kvantitativnega vidika raziskave (število izbranih kartic) do-dajo tudi kvalitativen vidik, saj udeleženci podajo komentar in razlago za svojo odločitev. 2.2.6 Plutchikovo kolo čustev Instrument ki ga imenujemo Plutchikovo kolo čustev, je razvil Robert Plutchik leta 1958 (Plutchik, 2001). Model temelji na osmih osnovnih čustvih: jezi, strahu, žalosti, gnusu, presenečenju, pričakovanju, zaupanju in veselju. Kolo čustev tudi na vizualen način predstavlja intenziteto teh čustev in vsebuje kar 32 različnih čustev, kot prikazuje Slika 8 (Plutchik, 2001). Instrument je zanimiv, čeprav, podobno kot večina drugih, ki se osredotočajo na čustva, ni nastal neposredno za potrebe proučevanja uporabniške izkušnje. Po eni strani se osredotoča na pomembno komponento uporabniške izku- šnje (npr. Bejarano et al., 2017), po drugi strani pa gre tudi za razmeroma intuitiven vizualen pristop k pridobivanju podatkov. Slika 8: Plutchikovo kolo čustev (vir: Plutchik, 2001) 34 Maja Žumer et al. 2.2.7 Vprašalnik PANAS (The Positive and Negative Affect Schedule) Vprašalnik PANAS so leta 1988 zasnovali Lee Clark, Auke Tellegen in David Watson (Watson et al., 1988). Na 5-stopenjski lestvici meri intenziteto čustev, izbranih v 20 pridevnikih, med katerimi je 10 pozitivnih in 10 negativnih (Slika 9). Obstaja več verzij vprašalnikov PANAS, ki se razlikujejo po številu pridevnikov oziroma obsegu, času reševanja in predvidenih uporabnikih (PANAS-C, PANAS-SF, I-PANAS-SF in PANAS-X). Pridevniki si sledijo izmenjaje, tako da pozitivnemu sledi negativni vidik. Slika 9: Izsek vprašalnika PANAS (vir: Watson et al., 1988) 2.2.8 Vprašalnik PANAVA-KS (Positive Affect Negative Affect, Valence) Vprašalnik PANAVA je razvil Urs Schallberger (2005) na podlagi modela PANA5 (Positive Affect Negative Affect). PANAVA-KS je nekoliko predelan vprašalnik PANAS (Slika 10). Zasnovan je kot semantični diferencial na 7-stopenjski lestvici (Schreiber in Jenny, 2020). Obstaja tudi verzija vprašalnika LE-PANAVA (Lebender Emoticon PANAVA), ki namesto pridevnikov, zapisanih v besedi, uporablja ilustra-cije kot emotikone. 5 Vprašalnik PANA temelji na semantičnem diferencialu pozitivnih in negativnih čustev. Proces oblikovanja vprašalnikov za bibliografske informacijske sisteme 35 Slika 10: Vprašalnik PANAVA-KS (Vir: Schreiber in Jenny, 2020) 2.2.9 Vprašalnik EWPL Seznam čustev v vprašalniku EWPL je bil oblikovan na podlagi raziskav z metodo glasnega mišljenja pri uporabi spletnih strani. Avtorji vprašalnika priporočajo uporabo metode takoj po udeleženčevi interakciji s sistemom. Vprašalnik EWPL sestoji iz 16 izbranih čustev, katerih moč občutenja udeleženec oceni na 7-stopenjski lestvici od 1 (šibko čustvo) do 7 (močno čustvo). Od čustev, navedenih na lestvici, jih ima 9 pozitivno konotacijo, 6 negativno, eno pa je nevtralno (Petrie in Precious, 2010). 2.2.10 Vprašalnik meCUE (Modular evaluation of Key components of user experience)6 Manfred Thüring, Michael Minge in Laura Riedel so v okviru projekta na berlinski Tehniški univerzi zasnovali vprašalnik, ki temelji na analitičnem komponentnem modelu uporabniške izkušnje (Minge et al., 2016). Vprašalnik je na začetku vključeval 67 elementov, končna verzija pa le 33 trditev na 7-stopenjski lestvici strinjanja (del 6 Dostopno na: http://mecue.de/english/home.html. 36 Maja Žumer et al. vprašalnika prikazuje Slika 11). Vprašalnik temelji na petih ločenih modulih, ki se nanašajo na zaznavanje različnih značilnosti produkta (uporabnost, koristnost, vizualna estetika, položaj in predanost), na pozitivna in negativna čustva uporabnikov, na posledice uporabe (zvestoba produktu in namen uporabe) ter splošno oceno, ki pa se jo ocenjuje na 10-stopenjski lestvici (Minge et al., 2016). Slika 11: Primer trditev z lestvico strinjanja v vprašalniku meCUE (vir: meCUE 2.0, b. d.) 2.2.11 Vprašalnik VisAWI (Visual Aestethics of Websites Inventory) Vprašalnik sta 2013 pripravila raziskovalca Morten Moshagen in Meinald T. Thielsh. Prvotno je bil zasnovan za ocenjevanje spletnih mest, saj se osredotoča na zaznavanje estetike uporabniških vmesnikov z vidika enostavnosti, raznolikosti, barvitosti in iz-delanosti. Temelji na sedmih raziskavah, ki so vključevale več kot 2000 udeležencev. Prvotna verzija je imela 96 trditev, kasneje pa se je ta nabor zmanjšal na 18 trditev, obstaja pa tudi verzija s samo štirimi trditvami, ki obsegajo vsa štiri izbrana področja (Moshagen in Thielsch, 2015). Strinjanje s trditvijo se izraža na 7-stopenjski lestvici (Slika 12). Proces oblikovanja vprašalnikov za bibliografske informacijske sisteme 37 Slika 12: Izsek vprašalnika VisAWI (vir: Moshagen in Thielsch, 2015) 2.3 Prevod in prilagoditev vprašalnikov Vprašalnike smo iz angleščine prevedli v slovenščino in pri tem pazili, da smo našli najustreznejše izraze. Prevajanje je bilo zahtevno in dolgotrajno, saj smo želeli, da so prevodi korektni in ustrezni za slovenski kulturni prostor. Za potrebe raziskovanja uporabniške izkušnje v bibliografskih informacijskih sistemih smo ustrezno prilago-dili tudi nekatera poimenovanja (npr. izraz produkt smo zamenjali z izrazom sistem ali vmesnik). Ker smo želeli vprašalnike prilagoditi za vrednotenje informacijskih sistemov, smo izločili pridevnike in trditve, ki ne ustrezajo temu kontekstu ali bi bili nerazumljivi (npr. »Ne morem živeti brez tega sistema«, »Komaj čakam, da produkt ponovno uporabim«). 2.4 Zasnova predloga vprašalnika za bibliografske informacijske sisteme V naslednji fazi smo pregledovali, koliko in v čem se obravnavani vprašalniki pre-krivajo glede na proučevane vidike, saj so avtorji lahko isti vidik proučevali tudi na nekoliko različne načine. Identificirali smo trditve in pridevnike, ki se dobesedno ali smiselno podvajajo (Tabela 4) za različne vidike. Pri teh smo potem izbrali najustreznejšo obliko in poskrbeli za prevod. 38 Maja Žumer et al. Tabela 4: Primer prekrivanja za čustvo zadovoljstva in veselja Skupina čustev Vprašalnik Izvirna verzija Prevod meCUE The product exhilarates me. Produkt me razveseljuje. meCUE The product makes me feel Zaradi produkta se počutim euphoric. evforično. meCUE The product makes me feel happy. Produkt me razveseljuje. meCUE When using this product, I Ob uporabi produkta se zadovoljstvo feel cheerful. počutim vedro. veselje PANAVA-KS sad − happy žalosten − vesel navdušenje SAM, SEO unhappy − happy nesrečen − srečen AttrakDiff, UEQ, SEO pleasant − unpleasant prijetno − neprijetno SEO disappointed − satisfied razočaran − zadovoljen Plutchikovo kolo sadness Žalost Plutchikovo kolo joy Veselje Na podlagi nabora vseh pridevnikov, semantičnih diferencialov in trditev smo se od-ločili, da bomo nekatere vidike združili v nove ali razširjene kategorije: 1. Čustva: Občutki, ki se pojavijo ob uporabi sistema. 2. Zaznana uporabnost: Subjektivna ocena uporabnika, da sistem vključuje vse potrebne funkcije, da opravlja tisto, čemur je namenjen. 3. Zaznana učinkovitost in enostavnost: Subjektivna ocena uporabnika, da sistem deluje učinkovito in omogoča učinkovito delo ter da je sistem jasen, razumljiv in pregleden. 4. Pritegnitev in inovativnost: Lastnost sistema, da privabi in motivira uporabnika. Nekonvencionalnost (novost, drugačnost) sistema, da obdrži uporabnikovo pozornost in stimulira uporabo. 5. Estetika: Zaznavanje lepote sistema, ki se odraža v prikazu in razporeditvi vizualnih elementov sistema. Zasnovali smo vprašanja, ki se nanašajo na čustva pred in med delom v sistemu in na doživljanje lastnosti bibliografskega informacijskega sistema. Tako za čustva kot za doživljanje lastnosti bibliografskega informacijskega sistema smo predvideli več različnih oblik vprašanj, ki smo jih želeli preizkusiti: • seznam pridevnikov in čustev (doživljanje lastnosti bibliografskega sistema − poglavje 4.2.1; stopnje intenzitete čustev − poglavje 4.1.2), • semantični diferencial (čustva − poglavje 4.1.1; doživljanje lastnosti bibliografskega sistema − poglavje 4.2.2), Proces oblikovanja vprašalnikov za bibliografske informacijske sisteme 39 • trditve s stopnjo strinjanja (doživljanje lastnosti bibliografskega sistema − poglavje 4.2.3). Zasnovali smo vprašalnik, ki meri čustva in razpoloženje pred delom v sistemu skozi 9 semantičnih parov oz. 9 pridevnikov na 5-stopenjski lestvici. Vprašalnik, ki je bil oblikovan za merjenje čustev in razpoloženja med delom v sistemu, vsebuje 15 semantičnih parov in 15 pridevnikov na 5-stopenjski lestvici. Vsi pridevniki, ki nastopajo v semantičnih parih, so uporabljeni tudi v seznamu pridevnikov. Naslednji sklop vprašalnikov je bil zasnovan za raziskavo o drugih vidikih uporabni- ške izkušnje s sistemom: zaznana uporabnost, zaznana učinkovitost in zaznana enostavnost, estetika, pritegnitev in inovativnost. V vprašalniku smo pripravili nabor 26 semantičnih parov, pri katerih uporabnik izbere stopnjo na 5-stopenjski lestvici med dvema nasprotnima poloma. Vprašalnik, oblikovan v obliki seznama pridevnikov, vsebuje 61 pridevnikov, med katerimi je 32 pozitivnih in 28 negativnih, enega pa smo označili za nevtralnega, kar se nekoliko razlikuje od sicer priporočenega razmerja 60 : 40. Naše razmerje izhaja tudi iz odločitve, da se vse pridevnike iz semantičnega diferenciala vključi tudi v nabor pridevnikov, saj smo želeli primerjati rezultate pri uporabi obeh oblik. Uporabnik pri ocenjevanju bibliografskega informacijskega sistema izbere poljubno število pozitivnih in negativnih pridevnikov ter med izbranimi označi tri do pet najpomembnejših. Vprašalnik s trditvami temelji na izboru 25 najustreznejših trditev, ki obsegajo vidike uporabniške izkušnje v bibliografskih informacijskih sistemih. Za trditve smo uporabili 5-stopenjsko lestvico in vključili možnost »vidik ni pomemben«. S tem smo sicer dodali novo dimenzijo, vendar smo želeli omogočiti udeležencu, da mu ni treba na vsak način izraziti strinjanja ali nestrinjanja s trditvijo. Smiselno je, da je vrstni red semantičnih parov, pridevnikov in trditev, kot so predstavljeni uporabnikom v raziskavi, tak, da ne vpliva na verjetnost izbire. Najprimernejši je torej naključen ali pa tak, da se sistematično spreminja. 2.5 Izbira bibliografskih informacijskih sistemov za vrednotenje Vrednotenje in testiranje instrumentov smo želeli opraviti na slovenskih sistemih COBISS (Kooperativni online bibliografski sistem in servisi; v sodelovanju s par-tnersko organizacijo IZUM, ki je razvijalec sistema COBISS) in dLib.si (Digitalna knjižnica Slovenije). Z vključitvijo takega nabora bibliografskih informacijskih sistemov smo želeli preveriti, ali je okvir uporaben v slovenskem prostoru in v različnih 40 Maja Žumer et al. informacijskih sistemih. Dodana vrednost raziskave je še, da smo s tem dobili tudi konkreten vpogled v uporabniško izkušnjo ob uporabi teh dveh sistemov. Digitalna knjižnica Slovenije (dLib.si) je spletni informacijski vir, ki omogoča dostop do raznovrstnih digitalnih vsebin slovenske kulturne dediščine v digitalni obliki. Za razvoj in vzdrževanje portala skrbi Narodna in univerzitetna knjižnica Ljubljana, ki vanj prispeva tudi največ gradiva. DLib.si je vključena tudi v Europeano, ki je bila proučevana z metodo sledenja pogledu. COBISS+ je slovenski nacionalni, vzajemni knjižnični katalog, ki ga uporabljajo in soustvarjajo v vseh splošnih, visokošolskih in šolskih knjižnicah ter mnogih specialnih knjižnicah. Raziskave 41 3 Raziskave V tem poglavju so v kronološkem redu opisane raziskave, ki smo jih opravili za potrebe projekta. Z namenom testiranja različnih orodij smo izvedli več manjših raziskav. V prvi smo ugotavljali, kaj o uporabniški izkušnji izvemo z metodo sledenja pogledu in vprašalniki. Primerjavo smo izvedli na primeru dveh digitalnih knjižnic (Europeana in dLib.si). Z mislijo na projekt sta bili zasnovani in izvedeni tudi dve raziskavi v okviru magistrskih nalog – v prvi so bili analizirani dnevniški zapisi ob uporabi bibliografskih informacijskih sistemov, v drugi pa so bili sočasno testirani posamezni vprašalniki (instrumenti so opisani v poglavju 2.2). S tretjo raziskavo smo preverjali Plutchikovo kolo čustev, pri čemer so udeleženci poročali o svojih čustvih pred interakcijo s sistemom dLib.si in po njej. V četrti raziskavi smo aplicirali lastni nabor vprašanj, ki smo ga izdelali na podlagi pregleda obstoječih orodij. Raziskovance smo spraševali o počutju pred in med uporabo sistema ter jih prosili za oceno lastnosti sistema. Vprašalniki so jim bili naključno prikazani v eni izmed dveh različnih oblik (čustva) oziroma treh (lastnosti sistema). Sledili sta še dve, po številu udeležencev obsežnejši spletni raziskavi. Instrumente, ki smo jih v četrti raziskavi uporabili v laboratorijskem okolju, smo s peto raziskavo na enak način želeli testirati v naravnem okolju. Spletni anketni vprašalnik je bil prikazan vsem uporabnikom portala dLib.si, zaradi okoliščin pa smo iz njega izvzeli del o počutju pred uporabo sistema. Zadnja, šesta raziskava je bila izvedena znotraj sistema COBISS+ in nam je zagotovila dovolj velik vzorec za zanesljivejše statistične analize. Tokrat smo po oceni lastnosti sistema spraševali z dvema oblikama vprašalnika, dodali pa smo kratko vprašanje o namenu uporabe. 3.1 Primerjava metode sledenja pogledu in vprašalnikov za merjenje uporabniške izkušnje 3.1.1 Opis raziskave V naši raziskavi smo z uporabo sledenja pogledu in vprašalnikov preverjali, kako se lahko ti med seboj dopolnjujeta ter pri katerih vidikih uporabniške izkušnje je bolje uporabiti posamezno metodo. Ugotovitve, predstavljene v tem poglavju, so izčrpneje opisane v posebnem članku (Kuhar in Merčun, 2022). Uporabili smo vprašalnika UEQ-S (Schrepp et al., 2017) in EWPL (Petrie in Precious, 2010), ki izhajata iz obstoječe literature in skupaj zajameta ocenjevanje hedoničnega in pragmatičnega vidika uporabniške izku- šnje ter intenzivnost čustev. Vzporedno smo uporabili tudi metodo sledenja pogledu, ki 42 Maja Žumer et al. je v nasprotju z vprašalniki pri zbiranju podatkov za uporabnika neopazna in nemoteča. Rezultate obeh metod smo želeli primerjati s testiranjem v dveh digitalnih knjižnicah (Europeana in dLib.si), pri čemer so nas vodila tri raziskovalna vprašanja: • Kakšna je primerjava uporabniške izkušnje v dveh digitalnih knjižnicah glede na podatke, pridobljene s sledenjem pogledu in vprašalniki? • Kakšen vpogled v uporabniško izkušnjo lahko dobimo na podlagi vprašalnikov in kakšnega na podlagi podatkov sledenja pogledu? • Ali obstajajo korelacije med rezultati vprašalnikov in sledenja pogledu, ki bi nam omogočile boljšo interpretacijo uporabniške izkušnje v dveh digitalnih knjižnicah? Raziskava je bila izvedena v mesecu maju in juniju 2019. Uporabljeno je bilo priložnostno vzorčenje, za udeležbo v raziskavi je bilo izbranih 30 študentov različnih smeri študija na Filozofski fakulteti Univerze v Ljubljani. Izbrani sta bili dve digitalni knjižnici, ki na svojih straneh ponujata nabor objektov kulturne dediščine tako v tekstovni kot multimedijski obliki. Kljub podobni vsebini se razlikujeta glede na geografsko območje, ki ga zajemata, saj je Europeana mednarodna digitalna knjižnica, dLib.si pa slovenska. Zaradi izpostavljene tematike v obeh digitalnih knjižnicah smo za nalogo določili iskanje poljubne fotografije, ki prikazuje dogajanje iz prve svetovne vojne. Vsak od udeležencev je zastavljeno nalogo opravil v obeh digitalnih knjižnicah, ki sta mu bili predstavljeni v naključnem vrstnem redu. Po interakciji z vsako od digitalnih knjižnic sta bila udeležencu prikazana dva vprašalnika o uporabniški izkušnji znotraj dotične digitalne knjižnice. Za spremljanje pogleda smo uporabili strojno opremo sledilnik pogledu Tobii Pro X3-120. Resolucija računalniškega zaslona je bila nastavljena na 1600 × 900 pikslov. Frekvenca vzorčenja je bila 60 Hz, spodnja meja zaznavanja fiksacij je bila 60 milise-kund. Po zaključenem zbiranju podatkov smo na elementih uporabniških vmesnikov oblikovali področja zanimanja (angl. areas of interest), ki so kasneje omogočala primerjavo mer. Glavne mere, ki smo jih upoštevali pri analizah, so bile: • število udeležencev, ki je opazilo posamezen element, • čas do prve fiksacije, • število fiksacij pred prvo fiksacijo v želenem področju zanimanja, • skupen čas pogleda na področju zanimanja, • klik miške, • skupno število fiksacij. Raziskave 43 Podatki sledenja pogledu so bili analizirani s programsko opremo Tobii Pro, medtem ko je bila za kvantitativne analize uporabljena programska oprema SPSS. Vprašalnik UEQ-S je bil dodatno analiziran z uporabo brezplačnega orodja,7 ki so ga pripravili razvijalci tega vprašalnika. 3.1.2 Rezultati z razpravo V obeh digitalnih knjižnicah so udeleženci kot najintenzivnejša občutja poudarili radovednost, zavzetost in zadovoljstvo, medtem ko so bila negativna čustva v obeh knjižnicah v povprečju manj intenzivna (Slika 13). Ugotovljene so bile statistično pomembne razlike v ocenah intenzitete posameznih čustev, in sicer v prid Europeani, kar je prvi pokazatelj bolj pozitivne uporabniške izkušnje v tej digitalni knjižnici. Primerjava rezultatov pa je pokazala, da so pri Europeani udeleženci občutili močnejša pozitivna čustva in poročali o manj negativnih občutjih kot pri dLib.si. Pri zadnji so udeleženci poročali tudi o nekoliko bolj prisotnih občutkih frustriranosti, dolgočasja in negotovosti. Slika 13: Povprečne ocene pri vprašalniku EWPL za Europeano in dLib.si (1 = šibko čustvo, 7 = močno čustvo) 7 Dostopno na: https://www.ueq-online.org/. 44 Maja Žumer et al. Rezultati vprašalnika UEQ-S kažejo statistično pomembne razlike tudi v percepciji hedoničnih in pragmatičnih vidikov pri obeh digitalnih knjižnicah (Slika 14). Digitalna knjižnica dLib.si je bil ocenjena precej nevtralno, medtem ko je Europeana prejela visoko pozitivne ocene na vseh področjih. Poudariti velja, da so udeleženci Europeano videli kot veliko zanimivejšo, modernejšo in učinkovitejšo. Slika 14: Povprečne ocene pri vprašalniku UEQ-S za dLib.si in Europeane Dodatna analiza vprašalnika UEQ-S (Slika 15)8, je pokazala največjo razliko med ocenami sistema v hedoničnih vidikih uporabniške izkušnje. Prednost omenjene opreme je tudi ta, da oceno vrednotenega sistema umesti znotraj obstoječe baze že analiziranih sistemov (primerjalna oz. benchmark analiza), kar vrednotenje postavi v širši kontekst. Europeana se je pri tem odrezala dobro do nadpovprečno, dLib.si pa se na tej primerjalni lestvici umešča nekoliko slabše. 8 Za analizo UEQ-S je bila uporabljena namenska brezplačna programska oprema. Na sliki je prikazan le relevanten izsek vrednosti lestvice. Raziskave 45 Slika 15: Primerjalna (benchmark) analiza pragmatičnih in hedoničnih vidikov UEQ-S ocen dLib.si in Europeane Nadalje ugotavljamo, da je interakcija z dvema sistemoma vplivala na rezultate vpra- šalnikov tako, da so se ocene sistemov razlikovale tudi glede na vrstni red, v katerem sta bili digitalni knjižnici prikazani udeležencem (Tabela 5). Portal dLib.si je bil ocenjen nekoliko bolje, kadar so ga udeleženci videli prvega. Če je bil udeležencem prikazan za Europeano, pa je prejel slabše povprečne ocene. Tudi povprečne ocene pri Europeani so se razlikovale glede na vrstni red prikaza in so bile boljše, ko so udeleženci pred tem že imeli izkušnjo interakcije z dLib.si. Primerjava ocen dLib. si in Europeane je pokazala statistično pomembne razlike, kadar sta bila sistema prikazana kot druga, medtem ko so bile te razlike nepomembne, ko sta bila prikazana kot prva. Iz tega je razvidno, da na uporabniško izkušnjo vplivajo tudi pričakovanja uporabnikov in njihove pretekle izkušnje. Analiza rezultatov vprašalnikov kaže, da so udeleženci doživljali bolj pozitivno interakcijo med uporabo Europeane. Tabela 5: Primerjava povprečnih UEQ-S ocen glede na vrstni red prikazanega sistema Semantični par Vrstni red dLib.si Europeana ovira − podpira 1. 5.3 5.1 2. 3.9  6.1  okoren − enostaven 1. 4.9 5.6 2. 4.3  5.7  neučinkovit − učinkovit 1. 4.9 5.7 2. 4.0  6.3  zmede – jasen 1. 4.7 4.5 2. 3.7  5.9  dolgočasen − vznemirljiv 1. 4.1 4.7 2. 3.3  5.7  46 Maja Žumer et al. Semantični par Vrstni red dLib.si Europeana nezanimiv − zanimiv 1. 4.5 5.3 2. 3.5  6.2  običajen − izviren 1. 3.3 4.5 2. 3.7  5.5  tradicionalen − moderen 1. 4.2 5.0 2. 3.0  5.7  Rezultati sledenja pogledu nakazujejo, da k pozitivni izkušnji prispeva hitra in učin-kovita orientacija na spletni strani. Obe obravnavani digitalni knjižici sta za rešitev dane naloge zelo jasno ponujali dva načina dostopa do objektov: z iskanjem ali brska-njem znotraj relevantne kategorije. Tabela 6 prikazuje izbrane mere sledenja pogledu, ki kažejo na značilnosti interakcije z domačo stranjo digitalnih knjižnic in prvimi koraki v procesu iskanja. Dokazana je bila statistično pomembna razlika pri času do prve fiksacije na iskalno okno ter pri številu vseh fiksacij pred prvo fiksacijo na iskalno okno. Čeprav so bili udeleženci nasploh veliko zadovoljnejši z učinkovitostjo svojega iskanja v Europeani, sta bili povprečni trajanji opravljanja naloge pri obeh sistemih zelo podobni. Zato smo opravili podrobnejšo analizo, ki je razkrila srednjo vrednost trajanja opravljanja naloge, in sicer pri Europeani 39,5 sekund, pri portalu dLib.si pa 73 sekund. To kaže, da je večina udeležencev nalogo opravila bistveno hitreje v Europeani in da so na višje povprečne vrednosti vplivali posamezniki z daljšim časom opravljanja naloge. Tabela 6: Primerjava izbranih mer sledenja pogledu za Europeano in dLib.si Mann-Področje Whitneyjev zanimanja Mera sledenja pogledu Europeana dLib.si U-test, p < 0,01 ISKALNO število fiksacij pred Povprečje 0,8 8,0 * OKNO čas do prve fiksacije (s) Povprečje 2,4 5,9 * skupno število fiksacij Povprečje 11,3 10,3 skupen čas trajanja (s) Povprečje 2,6 2,1 udeleženci s Število fiksacijami na 25 23 KATEGORIJA čas do prve fiksacije (s) Povprečje 5,7 15,5 BRSKANJA udeleženci s Število fiksacijami na 13 12 DOMAČA čas do prvega klika (s) Povprečje 6,1 7,3 STRAN skupno število fiksacij Povprečje 34,2 38,3 Raziskave 47 SKUPAJ skupno število fiksacij Povprečje 206,3 245,7 skupen čas trajanja (s) Povprečje 78,0 89,1 Mediana 39,5 73,0 Sliki 16 in 17 prikazujeta toplotna zemljevida domačih strani obeh digitalnih knji- žnic, izdelana upoštevajoč število fiksacij. Primerjava obeh slik kaže večjo razpršenost pozornosti na domači strani dLib.si, medtem ko so osrednji elementi strani (iskalno okno, ikona za iskanje, osrednji tekst) pritegnili največ pozornosti. Takšna vizuali-zacija rezultatov dopolni podatke iz Tabele 6 in prikaže jasno sliko elementov, ki so jim udeleženci namenili pozornost. Primerjava toplotnih zemljevidov kaže tudi, da udeleženci skoraj niso posvečali pozornosti fotografijam na domačih straneh, kar je mogoče posledica narave delegirane naloge. Slika 16: Toplotni zemljevid domače strani Europeane 48 Maja Žumer et al. Slika 17: Toplotni zemljevid domače strani dLib.si 3.1.2.1 Primerjava rezultatov sledenja pogledu in vprašalnikov Pred izvedbo raziskave smo se spraševali, ali lahko najdemo povezave med rezultati sledenja pogledu in rezultati, pridobljenimi z vprašalniki uporabniške izkušnje. Odgovore smo iskali z iskanjem možnih korelacij, da bi ugotovili, ali lahko značilnosti določenih mer sledenja pogledu dodatno pojasnijo rezultate, pridobljene z vprašalniki. Spearmanov koeficient korelacije je pokazal naslednje statistično pomembne razlike (Tabela 7): • Udeleženci, ki so potrebovali več časa do prve fiksacije na iskalno okno, so se počutili bolj zmedene, negotove ter manj radovedne, kreativne, vesele, zavzete, zadovoljne. Sistem so ocenili kot manj zanimiv in manj moderen. • Udeleženci, ki so potrebovali več časa do prve fiksacije na relevantno kategorijo brskanja, so se počutili manj radovedne in so dojemali digitalno knjižnico kot težjo za uporabo. Daljši skupni čas fiksacij na relevantno kategorijo brskanja pa je sovpadal z višjimi ocenami sistema kot vznemirljivega, zanimivega in podpirajočega. Raziskave 49 • Več časa ko so udeleženci potrebovali za prvi klik na domači strani digitalne knjižnice, bolj negotove so se počutili. • Če je bilo skupno število fiksacij med opravljanjem naloge višje, so udeleženci poročali o čustvih jeze in razočaranja. Sam sistem so ocenili kot manj podpirajoč. • Udeleženci, ki so potrebovali več časa za dokončanje naloge, so poročali o jezi in negotovosti. Sistem so dojemali kot manj jasen. Tabela 7: Statistično pomembne razlike povezav rezultatov sledenja pogledu in vprašalnikov SLEDENJE POGLEDU VPRAŠALNIK EWPL UEQ-S r p r p s s ČAS DO PRVE FIKSACIJE zmedeno  .31 .03 na iskalno okno  negotovo  .29 .05 radovedno  -.35 .02 kreativno  -.34 .02 veselo  -.35 .02 zavzeto  -.32 .03 zanimiv  -.30 .04 zadovoljno  -.33 .02 moderen  -.29 .05 ČAS DO PRVE FIKSACIJE zmedeno  .41 .04 enostaven  -.50 .01 na relevantno kategorijo brskanja  razočarano  .49 .01 negotovo  .42 .04 radovedno  -.44 0.3 SKUPEN ČAS POGLEDA podpira  .50 .03 na relevantni kategoriji brskanja  vznemirljiv  .61 .01 zanimiv  .50 .03 ČAS DO PRVEGA KLIKA na domači strani  negotovo  .29 .02 SKUPNO ŠTEVILO jezno  .44 .00 podpira  -.27 .04 FIKSACIJ  razočarano  .27 .04 SKUPEN ČAS TRAJANJA jezno  .39 .00 jasen  -.29 .03 NALOGE  negotovo  .27 .04 Pri tej analizi opazimo zanimiv pojav. Skupen čas trajanja naloge statistično pomembno korelira s pragmatični vidiki uporabniške izkušnje. Čas do prve fiksacije na iskalno okno pa korelira s hedoničnimi vidiki uporabniške izkušnje oziroma vpliva nanje. Primerjava obeh metod nam pomaga odgovoriti na zastavljena raziskovalna vprašanja. Naše prvo raziskovalno vprašanje se je nanašalo na razliko med uporabniško izkušnjo 50 Maja Žumer et al. v obeh digitalnih knjižnicah. Rezultati anketnih vprašalnikov jasno kažejo, da so udeleženci doživljali boljšo uporabniško izkušnjo v eni izmed obeh knjižnic, kar se je kazalo v intenzivnejših pozitivnih čustvih in šibkih negativnih čustvih. Pokazatelj dobre uporabniške izkušnje ob uporabi Europeane so tudi visoke vrednosti hedoničnih in pragmatičnih vidikov uporabniške izkušnje, še posebej takrat, kadar je bila Europeana udeležencu prikazana druga zapovrstjo. Rezultati sledenja pogledu so pomagali identificirati bolj razpršeno pozornost na domači strani portala dLib.si, kar gre pripisati (ne) intuitivnosti strani in razporeditvi elementov na njej. Iskalno okno na dLib.si je manjše in umaknjeno na skrajni zgornji rob strani, kar bi lahko bil razlog, da so se uporabniki pri portalu dLib.si posluževali bolj raznolikih načinov brskanja. Čeprav so v povprečju udeleženci zaključili nalogo v obeh digitalnih knjižnicah v podobnem času, je sledenje pogledu pokazalo, da se je interakcija s stranjo, še posebej začetna orientacija na njej, med sistemoma razlikovala. Drugo raziskovalno vprašanje smo si zastavili, da bi ugotovili, kaj nam o uporabni- ški izkušnji v digitalni knjižnici pove vsaka od uporabljenih metod. Rezultati obeh vprašalnikov so nam ponudili vpogled v intenziteto pozitivnih in negativnih čustev, ki so jih udeleženci občutili med interakcijo s sistemom, ter v uporabniško percepcijo hedoničnih in pragmatičnih vidikov uporabniške izkušnje. Z rezultati vprašalnikov izvemo, kako se uporabnik počuti, ne moremo pa ugotoviti, zakaj je tako. Manjka nam razlaga, kateri element ali funkcija sistema je tista, ki je izzvala tako intenzivna čustva. Metoda sledenja pogledu nam po drugi plati prikaže potek uporabnikove interakcije in informacijskega vedenja znotraj sistema, a nam ne ponudi eksplicitnih razlag uporabniške izkušnje. Opirajoč se na obstoječe študije (Djamasbi et al., 2011), lahko sklenemo, da odsotnost izstopajočega centralno postavljenega iskalnega okna in v povprečju več skupnih fiksacij v sistemu dLib.si prispeva k mnenju, da je takšna digitalna knjižnica manj privlačna za uporabnika, to dejstvo pa vpliva na hedonično kvaliteto uporabniške izkušnje, ki je posledično slabša. Raziskovanje potencialnih povezav med rezultati obeh metod je bil glavni motiv za tretjim raziskovalnim vprašanjem, s katerim smo se spraševali, ali lahko rezultate sledenja pogledu uporabimo za dopolnitev in dodatno razlago kvantitativnih rezultatov vprašalnikov. Na splošno sta obe metodi vsaka zase pokazali jasne razlike med obema digitalnima knjižnicama. Obe metodi sta pokazali, da so udeleženci uporabniško izkušnjo pri uporabi Europeane dojemali kot bolj pozitivno. Korelacije med rezultati obeh metod, dokazane z analizo, ponujajo nov vpogled v uporabniško izkušnjo v digitalnih knjižnicah. Kot je razvidno iz Tabele 7, sta začetna interakcija s sistemom in orientacija na domači strani pomembno prispevali k temu, kako so se udeleženci počutili glede opravljene naloge in sistema samega. Počasnejša Raziskave 51 identifikacija iskalnega okna in slabša intuitivnost strani sta se odrazili predvsem v manj pozitivnih čustvih, delno pa tudi v percepciji sistema kot manj zanimivega, modernega in enostavnega. Raziskovanje uporabniške izkušnje v digitalnih knjižnicah pridobiva pomembnost, saj lahko ponudi vpogled v dojemanje in izkušnjo uporabnikove interakcije s sistemom. Rezultati nam pomagajo identificirati elemente, ki uporabnika pritegnejo ali spodbu-dijo k interakciji. Naša raziskava predstavlja študijo primera treh orodij za vrednotenje uporabniške izkušnje v digitalnih knjižnicah: vprašalnika o intenzivnosti čustev, vpra- šalnika za ocenjevanje hedoničnega in pragmatičnega vidika uporabniške izkušnje ter tehnologije za sledenje pogledu. Vsako od treh orodij (sledenje pogledu in dva vprašalnika) je prispevalo k razumevanju uporabniške izkušnje, ki je bilo še boljše, ko so bili individualni rezultati postavljeni v kontekst primerjave sistemov med seboj. Z mislijo na celoten postopek vrednotenja digitalnih knjižnic lahko trdimo, da so vprašalniki precej praktično orodje za pridobivanje splošnega vtisa o uporabniški izkušnji. V naši raziskavi se je izkazalo, da je uporaba izbranih vprašalnikov za vrednotenje primerna tudi v okolju digitalnih knjižnic, čeprav orodji nista bili razviti za tovrstne sisteme. Oba vprašalnika bi lahko dopolnili še z vprašanji o zaznani estetiki sistema, ta vidik smo namreč pri interpretaciji rezultatov pogrešali. V primerjavi z vprašalniki je sledenje pogledu z vidika analize precej bolj časovno zamudna in zahtevna metoda, zlasti za ocenjevanje uporabniške izkušnje. Zdi se, da je sledenje pogledu najuporabnejše za identifikacijo specifičnih težav, tudi na stopnji razvoja uporabniške izkušnje. Ta študija je pripomogla k začetkom raziskovanja uporabniške izkušnje v digitalnih knjižnicah, vendar so v prihodnje potrebne raziskave z različnimi vrstami nalog ter raznolikimi metodami, da bi lahko jasno identificirali najuporabnejše v kontekstu digitalnih knjižnic. Ta raziskava ima nekaj omejitev, med katerimi izstopajo kratek čas udeleženčeve interakcije s sistemom, velikost vzorca in način vzorčenja, laboratorijsko okolje z delegi-rano nalogo in vprašljiva zanesljivost metod samoporočanja. Vendarle pa namen raziskave ni bil vrednotiti obravnavani digitalni knjižnici, temveč z metodološkega vidika razumeti prednosti in slabosti posameznih orodij in metod, primernih za vrednotenje sistemov, kot so digitalne knjižnice. 3.2 Analiza dnevniških zapisov in testiranje vprašalnikov v magistrskih raziskavah Pod mentorstvom dr. Tanje Merčun Kariž, članice raziskovalne skupine, sta nastali tudi dve bolonjski magistrski deli, ki sta bili motivirani z namenom projekta in sta prav tako proučevali primernost posameznih metod za vrednotenje uporabniške izkušnje. 52 Maja Žumer et al. Magistrsko delo Ane Cvek (2019) je ugotavljalo, kako na uporabniško izkušnjo vplivajo lastnosti sistema ter kontekst uporabnika. V raziskavi, ki je bila opravljena leta 2018, je sodelovalo devet študentov, uporabljeno je bilo priložnostno vzorčenje. Vsak udeleženec je ob treh različnih interakcijah z bibliografskimi informacijskimi sistemi podal dnevniški zapis, v katerem je opisal svoja čustva in mnenja glede izkušnje, ter izpolnil vprašalnik, ki je bil namenjen predvsem boljšemu razumevanju konteksta uporabe (npr. izkušenost pri uporabi sistema, jasnost informacijske potrebe). Po vseh opravljenih interakcijah je bil z vsemi udeleženci opravljen še polstrukturirani intervju, ki je služil kot podpora pri razumevanju vsebine dnevniških zapisov. Razlog za uporabo je bil večinoma študij. Iz dnevniških zapisov so bile ustvarjene tabele, ki vsebujejo število pojavitev za kombinacije čustev, element vmesnika, na katerega se te nanašajo, ter opredelitev, ali gre za funkcionalni ali estetski vidik. Slednji kategoriji v veliki meri soupadata z drugje ome-njenima pragmatičnim in hedoničnim vidikom. S tem je podana osnova za nadaljnjo kvantitativno analizo. Primerjava dnevniških zapisov ter splošnih ocen uporabniške izkušnje, ki so jih podali udeleženci, jasno kaže, da obstaja korelacija med ocenami in čustvi oziroma njihovo intenziteto. Od vseh zbranih opisov čustev v dnevniških zapisih (n = 259) sta bili slabi dve tretjini (62 %) pozitivnih. Poleg uspešnosti interakcije so bili med pomembnejšimi elementi, ki spodbujajo pozitivno uporabniško izkušnjo, z vidika funkcionalnosti zaznani: relevantnost zadetkov, filtriranje, razvrščanje zadetkov, samopopravljanje in predvidevanje besedila ter kako-vostni metapodatki. Z vidika estetike sta pomembna vizualna jasnost in preprostost. Magistrsko delo Petre Jarkovič (2021) se je eksplicitno ukvarjalo z ocenjevanjem uporabniške izkušnje v bibliografskih informacijskih sistemih s pomočjo različnih vprašalnikov. Uporabljene so bile prevedene in ponekod prirejene verzije vprašalnikov UEQ, Wammi, VisAWI, AttrakDiff, meCUE ter kartic reakcij (Microsoft Product Reaction Cards). Pri izboru instrumentov je bil poudarek na raznolikosti in standar-diziranosti. Vsak izmed 48 udeležencev raziskave, ki je bila izvedena leta 2019 v eni izmed splošnih knjižnic, je ocenjeval uporabniško izkušnjo ob uporabi sistema dLib. si z dvema izmed navedenih instrumentov, tako da je bilo na koncu z vsakim izmed instrumentov zbranih 16 odgovorov. Izkazalo se je, da je vse proučevane instrumente možno razmeroma uspešno uporabiti v kontekstu bibliografskih informacijskih sistemov. Vendar se je treba zavedati, da različni vprašalniki obsegajo različne vidike uporabniške izkušnje (npr. čustva ob-segata od uporabljenih le vprašalnik meCUE ter delno kartice reakcij). Udeleženci raziskave so tudi odločali, kateri izmed obeh ponujenih instrumentov jim je ljubši. Raziskave 53 Tukaj so bile kot najbolj priljubljene zaznane kartice reakcij. Kot poudarja avtorica magistrskega dela, je verjetno razlog v hitrosti in enostavnosti. Na drugem mestu sta bila vprašalnika UEQ in AttrakDiff, ki uporabljata semantične diferenciale, drugi vprašalniki, ki uporabljajo trditve, so se izkazali slabše, predvidoma zaradi večje zah-tevnosti izpolnjevanja. Na splošno so imeli udeleženci pozitivne izkušnje s sistemom. Kadar so imeli možnost izbire, so pozitivno opisovali predvsem pragmatično dimenzijo uporabniške izkušnje. 3.3 Preverjanje metode Plutchikovega kolesa čustev Leta 2019 smo izvedli pilotno raziskavo v okviru seminarja pri predmetu Načrtovanje in vrednotenje sistemov za poizvedovanje na magistrskemu študiju Oddelka za bibliotekarstvo, informacijsko znanost in knjigarstvo. Študentje so s priložnostnim vzorcem pridobili odgovore 40 odraslih glede uporabniške izkušnje pri uporabi sistema dLib.si. Vsi udeleženci so sistem dLib.si uporabljali prvič. Raziskovanci so najprej po kratkem pregledu sistema podali svoja čustva v tabeli (glej Tabelo 8), ki je bila izpe-ljanka Plutchikovega kolesa (Plutchik, 2001), ter izbrali pridevnike za opis sistema s seznama desetih uravnoteženih parov pridevnikov (zabaven − dolgočasen, prijazen − neprijazen, logičen − nelogičen, lahek za uporabo − težek za uporabo, učinkovit − neučinkovit, informativen − neinformativen, uporaben − neuporaben, zanimiv − nezanimiv, moderen − zastarel, privlačen − neprivlačen). Nato je sledilo reševanje petih vnaprej pripravljenih nalog. Ob koncu so udeleženci še enkrat podali svoja čustva in izbrali pridevnike za opis sistema. Izpolnili so tudi kratko anketo. V anketi so lahko tudi podali svoje mnenje o metodologiji. Pri tem smo ugotovili, da so nekateri imeli težave z izbiranjem čustev s seznama ob uporabi sistema, saj so na seznamu težko našli primerno čustvo za opis svojega stanja. Tabela 8: Tabela s čustvi, ki so jo udeleženci izpolnili pred izvedbo nalog in po njej mirnost sprejemanje zaskrbljenost vznemirjenje otožnost dolgčas nadležnost interes veselje zaupanje strah presenečenje žalost gnus jeza pričakovanje ekstaza občudovanje groza osuplost potrtost prezir bes budnost V sami predpripravi na izvedbo raziskave smo preizkusili tudi metodo krivulje uporabniške izkušnje oz. UX Curve (Kujala et al., 2011), pri kateri ocenjujemo različ- ne vidike uporabniške izkušnje skozi čas. V predavalnici smo jo testirali na primeru uporabniške izkušnje pri uporabi prenosnih telefonov študentov skozi čas. Sicer ima metoda potencial za zbiranje podatkov o uporabniški izkušnji skozi čas, a je za čim 54 Maja Žumer et al. natančnejši odraz izkušnje po eni strani potrebna čim večja koncentracija udeležencev, po drugi pa dovolj časa za spremljanje, da zaznamo potencialne spremembe. Ker smo pilotno študijo izvajali v zelo kratkem času, se potem nismo odločili za uporabo te metode v sami študiji. Smo pa vsaj delno dinamiko uporabniške izkušnje, predvsem čustev, skozi čas spremljali preko ponavljanja vprašanj pred izvedbo nalog in po njej. Raziskava je bila zasnovana kot razmeroma majhna eksplorativna raziskava, pri kateri smo bili bolj kot na konkretne rezultate osredotočeni na nekoliko bolj nekonvencio-nalen pristop. Kljub temu pa smo z njo pridobili pomembne izkušnje, ki so pomagale pri oblikovanju širših raziskav, opisanih v nadaljevanju. Med drugim so služile kot osnova za naloge in protokol, ki so predstavljeni v podpoglavju 3.4.1. 3.4 Testiranje uporabnosti in uporabniške izkušnje dLib.si 3.4.1 Opis raziskave Cilj • testiranje prve verzije pripravljenih vprašanj • identifikacija morebitnih nejasnih ali nepotrebnih elementov v vprašanjih • vpogled v vpliv uspešnosti in težavnosti naloge na uporabniško izkušnjo Pristop uporabniška študija z nalogami sodelovanje prostovoljcev Populacija računalniško pismeni odrasli (izkušnje z uporabo računalnika, z iskanjem po spletu) Vzorec priložnostni, 69 udeležencev Izvedba trajanje raziskave: en mesec trajanje posamezne seje: okvirno 25 minut 69 testiranj: 43 sej v živo, 26 preko Zooma Zbrani podatki uporabniška počutje pred uporabo semantični diferencial izkušnja seznam čustev − lestvica intenzivnosti občutja ob uporabi semantični diferencial seznam čustev − lestvica intenzivnosti doživljanje lastnosti semantični diferencial portala seznam pridevnikov − izbira pridevnikov trditve − Likertova lestvica strinjanja splošni podatki poznavanje in uporaba portala starostna skupina spol naloge ocena uspešnosti pri nalogi ocena težavnosti naloge Raziskave 55 Cilji testiranja uporabnosti in uporabniške izkušnje pri dLib.si so bili naslednji: • preveriti nabor in obliko vprašanj, ki smo jih pripravili na podlagi pregleda obstoječih orodij, • identificirati morebitne nejasne ali nepotrebne elemente v vprašanjih in • pridobiti vpogled v vpliv uspešnosti in težavnosti naloge na uporabniško izkušnjo. Uporabniško študijo je po enotnem protokolu vodilo več moderatorjev, posamezna seja je v povprečju trajala 25 minut, podatki pa so bili zbrani v obdobju enega meseca. Od 69 testiranj jih je 43 potekalo v živo, 26 pa po spletu z uporabo aplikacije Zoom. Da bi lahko testirali več različnih oblik vprašanj, je bila vsakemu udeležencu v raziskavi naključno (ali v papirnati obliki ali preko spletnega orodja 1KA) dodeljena ena oblika vprašalnika – ali s semantičnimi diferenciali ali s seznami pridevnikov in čustev. Ob začetku so udeleženci dobili pojasnilo, da je fokus raziskave na izkušnji s sistemom in ne na njihovem znanju ali uspešnosti pri iskanju. Najprej so izpolnili vprašalnik o svojem počutju (ali v obliki semantičnega diferenciala ali z opredelitvijo intenzivnosti čustev), o starosti ter o poznavanju oziroma pogostosti uporabe portala, nato pa so pre-jeli naslednje tri naloge, s katerimi so dobili primerljivo izkušnjo interakcije z dLib.si: • Kaj se je zgodilo z avstrijskim parnikom Deak leta 1902? Pomagajte si z iskanjem po celotnem besedilu. • Prijateljevemu dedu bi radi pripravili presenečenje za njegov 90. rojstni dan. Ro-dil se je 26. 6. 1930. Poiščite (vsaj tri) glavne novice na ta dan v časniku Slovenec. • Najdite fotografijo katerega koli spomenika Rudolfa Maistra. Kdaj je bila fotografija posneta? Moderator pri reševanju nalog ni smel pomagati niti se opredeliti glede pravilnosti odgovorov. Za vsako nalogo so imeli udeleženci na voljo do 5 minut, po vsaki nalogi so zabeležili svojo rešitev ter na 3-stopenjski lestvici izrazili svoje mnenje o tem, ali so nalogo uspešno opravili, in se opredelili glede težavnosti naloge. Na koncu so odgovorili na tri vprašanja o uporabniški izkušnji – na eno o občutjih med uporabo in dve o doživljanju lastnosti portala: • vprašanje, ki se je nanašalo na občutja med uporabo in je bilo podano ali v obliki semantičnega diferenciala ali v obliki seznama čustev, za katere so udeleženci opredelili stopnjo intenzitete; • vprašanje o doživljanju portala, ki je bilo prikazano ali v obliki semantičnega diferenciala ali v obliki seznama pridevnikov, izmed katerih so udeleženci izbrali poljubno število pozitivnih in negativnih pridevnikov; 56 Maja Žumer et al. • seznam trditev, pri katerem je udeleženec z izbiro na 5-stopenjski lestvici strinjanja izrazil oceno oziroma zaznavo posameznih značilnosti portala. Za raziskavo smo pripravili protokol, ki lahko služi tudi kot vzorec za podobne raziskave. 1. UVOD Raziskovalec udeleženca prosi, naj odpre uvod v anketo, in mu prebere navodila. V okviru projekta, pri katerem razvijamo metodologijo za vrednotenje uporabniške izkušnje bibliografskih informacijskih sistemov, izvajamo raziskavo o uporabniški iz-kušnji pri uporabi sistema dLib.si. Najprej boste izpolnili anketo, nato boste v sistemu dLib.si reševali 3 kratke naloge, na koncu pa boste odgovarjali še na vprašanja o vaši uporabniški izkušnji. Pravilnosti vaših rešitev ne bomo ocenjevali, ker nas zanima samo vaša uporabniška izkušnja pri interakciji s sistemom. Raziskava bo trajala največ 30 minut. Vsi zbrani podatki se bodo uporabili le za potrebe raziskave, prav tako pa jamčimo za zaupnost podatkov, pridobljenih v raziskavi. Prosimo, da se o podrobnostih raziskave ne pogovarjate z drugimi potencialnimi udeleženci, saj s tem lahko vplivate na njihove odgovore. 2. ZBIRANJE PODATKOV PRED NALOGAMI Raziskovalec udeleženca pozove, naj nadaljuje z anketo in izpolni stran z demograf-skimi podatki in vprašanjem o počutju. 3. NAVODILO ZA REŠEVANJE NALOG Raziskovalec udeležencu prebere nagovor oziroma navodila za reševanje nalog. Zdaj boste dobili tri naloge, za katere boste uporabili sistem dLib.si. Preberite nalogo, nato jo rešite s pomočjo portala dLib.si v novem zavihku. Svoje rešitve zabeležite v nadaljevanju te ankete in odgovorite na dodatni vprašanji. Čeprav se bodo vaši odgovori zabeležili, je treba poudariti, da predmet raziskave ni vaše znanje ali uspešnost pri reševanju nalog, temveč vaša uporabniška izkušnja. Prosimo, da na vprašanja odgovarjate v danem zaporedju in odgovore na njih iščete le znotraj dLib.si. Da raziskava ne bo trajala predolgo in ker nam pravilnost rezultatov ni pomembna, imate za vsako izmed nalog na voljo 5 minut. Če bo potekel čas za posamezno nalogo, vas bomo na to opozorili. Raziskave 57 4. NALOGE Raziskovalec udeleženca vpraša, ali bo naloge glasno bral sam ali naj mu jih prebere raziskovalec. Ko udeleženec začne z reševanjem naloge, raziskovalec začne meriti čas (za vsako nalogo ima udeleženec na voljo 5 minut). Ko udeleženec reši posamezno nalogo, napiše odgovore ter oceni uspešnost pri nalogi in težavnost naloge, ga raziskovalec takoj usmeri na naslednjo nalogo, tudi če je reševanje trajalo manj kot 5 minut. Tudi če udeleženec le misli, da je nalogo rešil, nadaljujemo po tem postopku. Po zaključku vsake naloge raziskovalec v obrazec zabeleži objektivno uspešnost naloge ( uspešen, delno uspešen, neuspešen), zabeležiti pa mora tudi vrstni red nalog. Ko mine 5 minut, raziskovalec obvesti udeleženca. Ta zabeleži odgovore na vsa tri vprašanja pod nalogo. Nato nadaljuje z naslednjo nalogo. Če ne sledi tem korakom, ga raziskovalec ustrezno usmeri. 5. VPRAŠALNIK PO ZAKLJUČKU NALOG Raziskovalec udeleženca prosi, naj reši še nekaj vprašanj o občutjih med uporabo sistema in doživljanju sistema, s katerim so reševali naloge. 6. ZAKLJUČEK RAZISKAVE Raziskovalec se udeležencu zahvali za sodelovanje. Ciljna populacija raziskave so bili računalniško pismeni odrasli, torej posamezniki z izkušnjami z uporabo računalnika ter iskanjem po spletu. Kot je razvidno iz Tabele 10, smo s priložnostnim vzorcem 69 sodelujočih prostovoljcev v raziskavi zajeli predvsem mlajše, ki portala ne uporabljajo oziroma ga le redko uporabljajo. Med neuporabniki je bilo 26 takšnih, ki portala sploh niso poznali, ter 18 takšnih, ki so ga sicer poznali, vendar ga niso uporabljali. Tabela 10: Značilnosti vzorca sodelujočih v uporabniški študiji dLib.si (n = 69) STAROST POGOSTOST UPORABE SPOL do 35 46 66,7 % ne uporabljam 44 63,8 % ženski 47 68,1 % 36−50 10 14,5 % redko 21 30,4 % moški 22 31,9 % nad 50 13 18,8 % pogosto 4 5,8 % 58 Maja Žumer et al. 3.4.2 Rezultati z razpravo 3.4.2.1 Čustva pred interakcijo in po njej V nasprotju s spletnimi anketami, pri katerih so uporabniki že v interakciji s sistemom, je bilo v uporabniški študiji preko testiranja mogoče udeležence povprašati po njihovem počutju pred začetkom uporabe sistema in s tem pridobiti osnovo za razumevanje morebitnih sprememb v občutjih, ki bi bile odraz uporabniške izkušnje s sistemom. Združene ocene obeh oblik vprašanja pokažejo predvsem večjo prisotnost negativnih čustev ter nekoliko nižje občutke samozavesti in umirjenosti po reševanju nalog s sistemom (Slika 18). Zaradi značilnosti vzorca, ki predstavlja predvsem neuporabnike, bi lahko rekli, da rezultat v večji meri odraža izkušnjo ob prvi interakciji s sistemom, zagotovo pa je imela vpliv na intenziteto občutij tudi izvedba raziskave v laboratorijskem okolju – torej z danimi nalogami, pri čemer je angažma in interes udeležencev običajno manjši kot pri uporabnikih, ki s sistemom poskušajo najti odgovore na lastne informacijske potrebe. Slika 18: Primerjava povprečnih ocen počutja pred in po interakciji (n = 69) Raziskave 59 S testiranjem dveh oblik vprašanja smo želeli ugotoviti tudi morebitne razlike v odgovorih, ki bi bile rezultat načina, na katerega je vprašanje zastavljeno. Primerjava odgovorov pri seznamu čustev s 5-stopenjsko lestvico intenzitete (od sploh ne do zelo) ter odgovorov, podanih na 5-stopenjski premici med semantičnimi pari, pokaže, da do razlik prihaja predvsem v primerih, ko na seznamu čustev uporabimo negativne pridevnike (Slika 19). Ta trend je skladen z opažanji v naših drugih raziskavah na področju uporabniške izkušnje (npr. Obiskovalci prireditev …, 2018; Merčun in Žumer, 2014), pri čemer udeleženci redko oziroma neradi izražajo kritiko. Predvidevamo, da vprašanje v obliki semantičnih diferencialov, ko ima anketiranec ves čas na voljo lestvico med dvema poloma, pomaga pri premagovanju te težave in omogoča pridobitev realnejše ocene. Slika 19: Primerjava ocene počutja pred interakcijo glede na vrsto vprašalnika (seznam − lestvica, n = 34; semantični diferencial, n = 35) Primerjava glede na obliko vprašalnika kaže manjše razlike med ocenami počutja po interakciji (Slika 20) kot pred interakcijo (Slika 19). Udeleženci so skozi semantični diferencial, na primer, izrazili močnejše občutenje zavzetosti, nezadovoljstva, 60 Maja Žumer et al. razočaranja in nemoči ter manjše občutenje uspešnosti. Razlog za manjše razlike glede na obliko vprašanje je morda tudi v umestitvi odgovorov na sredino lestvice. Slika 20: Primerjava povprečnih ocen počutja po interakciji glede na vrsto vprašalnika (semantični diferencal, n = 35; seznam – lestvica, n = 34) 3.4.2.2 Zaznavanje lastnosti sistema Udeleženci testiranja so svoj pogled na sistem izrazili skozi strinjanje s podanimi trditvami ter z opredelitvijo pridevnikov (ali v obliki semantičnega diferenciala ali s prosto izbiro pridevnikov). Pri obeh tipih vprašanj (Slika 21 in Slika 22) so kot pozitivne poudarili koristnost in organiziranost, višje na lestvici so uvrstili tudi zanimivost kot značilnost hedoničnega vidika portala. V obeh primerih se tudi kaže, da udeleženci v raziskavi sistema niso videli kot intuitivnega oziroma lahkega za uporabo: pri pridevnikih je skoraj polovica udeležencev izbirala možnost »me zmede« Raziskave 61 in dobra četrtina »težek za uporabo«, pri semantičnih diferencialih pa so ocene parov, ki predstavljajo enostavnost uporabe, med slabše ocenjenimi. V povprečju so udeleženci sicer izbrali 7 ali 8 pozitivnih pridevnikov (povprečje 7,3) ter 3 ali 4 negativne pridevnike (povprečje 3,4). Slika 21: Ocena lastnosti dLib.si skozi semantične pare (n = 35) 62 Maja Žumer et al. Slika 22: Ocena lastnosti dLib.si skozi najpogosteje izbrane pridevnike (delež udeležencev, ki je izbral kartico, n = 33) Pri tretjem tipu vprašanj − trditvah o lastnostih sistema – pa je v ospredju strinjanje s trditvami, ki se nanašajo na hedonične vidike (čas je ob uporabi hitro minil, všečnost prikazov in slik, želja po ponovni uporabi in priporočilu sistema drugim), le nekaj pa je takšnih, ki se nanašajo na koristnost (prihrani čas) in uporabnost (ustreznost podatkov in njihovega prikaza; Slika 23). Tako kot pri drugih dveh tipih vprašanj o doživljanju sistema pa se tudi v teh rezultatih zrcali videnje portala kot neintuitivnega in težkega za uporabo. Raziskave 63 Slika 23: Strinjanje s trditvami o portalu dLib.si (delež udeležencev, razvrstitev po povprečni oceni, n = 69) 3.4.2.3 Vpliv občutka uspešnosti in težavnosti naloge na uporabniško izkušnjo Da bi lahko bolje razumeli vpliv uporabnikovega občutka glede težavnosti in uspešnosti naloge na oceno uporabniške izkušnje, smo iskali korelacije med povprečnimi ocenami težavnosti in uspešnosti pri nalogah ter odgovori na vprašanja o občutjih in lastnostih sistema. Analize so pokazale, da je občutek težavnosti in uspešnosti vplival predvsem na občutja med interakcijo s sistemom in po njej, manjši pa je bil vpliv na oceno lastnosti sistema (Tabela 11). Občutek težavnosti je tako pomembno vplival na oceno čustvenega stanja pri kar 9 od 15 občutjih, občutek uspešnosti pa na 4 od 15. Zanimivo je, da skorajda ni bilo pomembnih korelacij med občutkom uspešnosti in oceno lastnosti sistema, medtem ko je občutek težavnosti naloge vplival predvsem na oceno lastnosti sistema, ki so povezane z lahkostjo uporabe in intuitivnostjo, kot tudi na željo po ponovni uporabi sistema. 64 Maja Žumer et al. Tabela 11: Statistično pomembne povezave med občutkom težavnosti in uspešnosti ter elementi uporabniške izkušnje OBČUTEK TEŽAVNOSTI OBČUTEK USPEŠNOSTI ČUSTVA ZDRUŽENE OCENE (9 od 15 čustev) (4 od 15 čustev) OBEH TIPOV poln energije** poln energije* VPRAŠALNIKOV samozavestno** uspešno** sproščeno* nezadovoljno** nezadovoljno** razočarano** razočarano** jezno* zdolgočaseno** neprijetno** nemočno** LASTNOSTI SISTEMA SEMANTIČNI (5 od 26 lastnosti) (0 od 26 lastnosti) DIFERENCIAL enostaven* predvidljiv* razumljiv** lahko učljiv** preprost za uporabo** TRDITVE (6 od 25 trditev) (4 od 25 trditev) Ob uporabi sistema sem občutil Ob uporabi sistema sem občutil frustracijo.* frustracijo.* Z veseljem bi ta sistem ponov- Sistem je vzbudil mojo no uporabil.* radovednost.* Z lahkoto navigiram po Z lahkoto navigiram po sistemu.** sistemu.* Iskanje v sistemu je Iskanje v sistemu je razumljivo.* razumljivo.** Uporaba sistema od mene ne zahteva velikega napora.* S sistemom lahko hitro opra- vljam zadane naloge.** Opomba: Pearsonov koeficient korelacije: * p < 0,05; ** p < 0,01. Raziskave 65 3.5 Spletna anketa dLib.si 3.5.1 Opis raziskave Cilj • vpogled v uporabniško izkušnjo uporabnikov dLib.si med njihovo interakcijo s sistemom • ovrednotenje ustreznosti oblikovanih vprašanj za uporabo pri spletnem anketiranju • primerjava rezultatov glede na obliko vprašanja o uporabniški izkušnji Pristop spletna anketa povabilo k reševanju ankete na prvi strani dLib.si ter na vrhu seznama z rezultati iskanja Populacija dejanski uporabniki portala dLib.si Izvedba trajanje raziskave: 14 dni čas reševanja: 4 min 24 s (povprečje) način izpolnjevanja: 88 % preko računalnika, drugi preko prenosnega telefona odziv: 122 klikov na anketo, 117 v celoti ali delno izpolnjenih anket (96 %) Zbrani podatki uporabniška izkušnja občutja ob uporabi semantični diferencial lestvica intenzivnosti doživljanje lastnosti sistema semantični diferencial izbira pridevnikov (+/−) trditve (Likertova lestvica strinjanja) splošni podatki pogostost uporabe spol starostna skupina komentar prosti zapis komentarjev o delovanju in uporabi portala Po testiranju uporabnosti in uporabniške izkušnje v laboratorijskem okolju smo želeli vprašalnike preizkusiti tudi v naravnem okolju pri dejanskih uporabnikih bibliografskih informacijskih sistemov in tako: • pridobiti vpogled v uporabniško izkušnjo uporabnikov dLib.si med njihovo interakcijo s sistemom, • ovrednotiti ustreznost oblikovanih vprašanj za uporabo pri spletnem anketiranju, • primerjati rezultate glede na obliko vprašanja o uporabniški izkušnji in glede na okolje raziskovanja. Zbiranje podatkov je potekalo 14 dni v obliki ankete v spletnem orodju 1KA. S po-močjo sodelavcev v NUK-u se je povabilo k reševanju ankete pojavilo na vstopni strani dLib.si in tudi na vrhu spletne strani z rezultati iskanja ter tako dva tedna na-govarjalo dejanske uporabnike portala, da sporočijo svoje mnenje in ovrednotijo svojo uporabniško izkušnjo. Izrazito majhno število nedokončanih ali delno izpolnjenih 66 Maja Žumer et al. vprašalnikov nakazuje na ustreznost pripravljenega vprašalnika, verjetno pa tudi na interes oziroma željo anketirancev, da poročajo o svoji izkušnji s sistemom. Anketiranci so odgovarjali na 7 vprašanj, pri čemer so bila: • tri obsežnejša vprašanja o uporabniški izkušnji:  občutja ob uporabi (oblika semantičnega diferenciala ali oblika seznama čustev z lestvico intenzitete),  doživljanje portala skozi oceno lastnosti portala (oblika semantičnega diferenciala ali izbira s seznama pridevnikov),  doživljanje portala skozi trditve o lastnostih portala (5-stopenjska lestvica strinjanja); • tri kratka, demografska vprašanja (pogostost uporabe, spol, starostna skupina); • odprto vprašanje za prosti zapis komentarjev o delovanju in uporabi portala. Pri dveh vprašanjih o uporabniški izkušnji (doživljanje portala skozi oceno lastnosti in občutja ob uporabi) so anketiranci s pomočjo posebne funkcije orodja 1KA naključno dobili eno od dveh možnih oblik vprašanja, kar nam je služilo za kasnejšo primerjavo podatkov o uporabniški izkušnji, ki jih pridobimo z različnimi oblikami vprašanj. V vseh primerih pa so se pridevniki in trditve razvrščali naključno, s čimer smo želeli zagotoviti, da prikazani vrstni red pridevnikov ni vplival na rezultat. Populacija sodelujočih pri raziskavi so bili torej dejanski uporabniki dLib.si, kot je razvidno iz Tabele 13, pa smo v priložnostnem vzorcu v večji meri zajeli predvsem iz-kušenejše uporabnike, ki portal uporabljajo na tedenski ravni, manj pa je bilo takšnih, ki se s portalom srečujejo občasno, redko ali celo prvič. V nasprotju s tem je bil vzorec enakomerneje zastopan glede na starost in spol. Tabela 13: Značilnosti vzorca sodelujočih v spletni anketi dLib.si STAROST POGOSTOST UPORABE SPOL n = 111 n = 117 n = 113 do 35 41 36,9 % prvič, redko 15 12,8 % ženski 60 46,9 % 36−50 32 28,8 % občasno (mesečno) 25 21,4 % moški 53 53,1 % nad 50 38 34,2 % pogosto (tedensko) 77 65,8 % Na anketo je kliknilo 122 anketirancev, od tega jih je 117 (96 %) v celoti ali delno izpolnilo vprašalnik, za kar so v povprečju potrebovali 4 min 24 s. Vprašalnik jih je 88 % izpolnjevalo preko računalnika, drugi preko prenosnega telefona. Raziskave 67 3.5.2 Rezultati z razpravo 3.5.2.1 Počutje ob uporabi Približno polovica anketirancev je svoje počutje ob uporabi portala dLib.si izrazila z označevanjem stopnje med dvema nasprotnima počutjema (t. i. semantični diferencial), medtem ko je druga polovica anketirancev opredelila svoje počutje preko seznama čustev, pri katerem so na 5-stopenjski lestvici opredelili intenziteto občutja. Rezultati pokažejo, da so pri obeh oblikah vprašanja udeleženci podobno opredelili svoje počutje ob uporabi sistema (Slika 24), saj so v obeh primerih prevladovali pozitivni občutki, negativni občutki pa so bili v povprečju izraženi šibko. Ob uporabi portala so se tako udeleženci počutili precej uspešne, sproščene in zavzete. Slika 24: Povprečne ocene počutja med uporabo portala dLib.si − primerjava odgovorov v dveh tipih vprašanj (semantični diferencial, n = 63; seznam – lestvica, n = 52) Statistična analiza podatkov (Tabela 14) pokaže, da ni pomembnih razlik med ocenami pozitivnih občutij, večje razlike med vprašalnikoma pa se kažejo predvsem pri negativnih občutjih, saj so anketiranci na seznamu čustev z lestvico intenzivnosti v manjši meri označili prisotnost negativnih čustev. To nakazuje, da različna oblika vprašanja lahko spremeni način odgovarjanja, je pa zanimivo, da se ta razlika v ve- čji meri pojavlja ravno pri negativnih občutjih. To lahko povežemo z opažanji, da 68 Maja Žumer et al. večina uporabnikov v tovrstnih raziskavah nerada izraža negativna mnenja, oblika vprašanja s semantičnim diferencialom pa jim morda bolj kot na negativni usmeri pozornost na pozitivni vidik. Tabela 14: Razlike med povprečnimi ocenami počutja pri uporabi dLib.si glede na tip vprašanja SEMANTIČ- SEMANTIČ- NI DIFEREN- SEZNAM – NI DIFEREN- SEZNAM – CIAL LESTVICA CIAL LESTVICA n = 63 n = 52 n = 63 n = 52 poln energije 3,6 3,4 nezadovoljno/ vznejevoljeno* 2,1 1,7 zavzeto 4,0 3,7 razočarano* 2,4 1,8 uspešno 3,8 3,9 slabe volje* 2,3 1,4 samozavestno 3,9 3,5 jezno* 2,3 1,3 umirjeno 3,7 3,6 zdolgočaseno* 2,4 1,5 sproščeno 3,7 3,9 neprijetno* 2,2 1,3 brezskrbno 3,6 3,3 nemočno* 2,4 1,6 veselo 3,7 3,4 Opomba: * = statistično pomembne razlike, p < 0,05 (Mann-Whitneyjev U-test). Za potrebe izračuna so bile povprečne ocene pri negativnih čustvih semantičnega diferenciala rekodirane. Rezultate obeh vprašanj o počutju je zaradi enakega nabora občutij in 5-stopenjske lestvice mogoče združiti v enotno oceno, ki pokaže, da so bila vsa navedena negativna čustva prisotna, vendar zelo šibka, medtem ko so bili pozitivni občutki bistveno moč- nejši (Slika 25). Zanimivo pa je, da so bila nekatera pozitivna čustva manj intenzivna, na primer občutek uspešnosti, zavzetosti ali energičnosti. Slika 25: Združene povprečne ocene negativnih občutij (levo) in pozitivnih občutij (desno) pri uporabi portala dLib.si (n = 115) Raziskave 69 Natančnejša analiza rezultatov glede na spol, starost ali pogostost uporabe ni pokazala bistvenih razlik, ki bi kazale na vpliv teh faktorjev na oceno občutij ob uporabi portala dLib.si. Tri razlike so se pokazale le pri najmlajši skupini anketirancev (do 35 let), ki se je v primerjavi s starejšimi počutila bolj brez energije, nezadovoljno in zdolgočaseno. Seveda je možen vzrok za odsotnost večjega števila razlik tudi v slabi zastopanosti določenih skupin uporabnikov, na primer tistih, ki dLib.si redkeje ali prvič uporabljajo. 3.5.2.2 Zaznavanje lastnosti sistema Poleg občutij ob uporabi pomemben vidik uporabniške izkušnje predstavlja tudi do- življanje oziroma zaznavanje sistema tako s pragmatičnega kot hedoničnega vidika, ki smo ga ugotavljali s tremi načini: • trditvami z Likertovo lestvico strinjanja (vsi anketiranci), • izbiro stopenj med semantičnimi pari oziroma diferenciali (dobra polovica anketirancev) ter • izbiro poljubnega števila pozitivnih in negativnih pridevnikov (slaba polovica anketirancev). Ocena lastnosti s semantičnim diferencialom Analiza ocen lastnosti skozi semantične pare pokaže, da je mnenje sodelujočih uporabnikov (n = 67) o portalu pozitivno, saj ga vidijo kot izrazito koristnega, zelo zanimivega, portal pa jih tudi pritegne k nadaljnji uporabi (Slika 26). Zanimivo je, da je med najbolje ocenjenimi vidiki veliko takšnih, ki predstavljajo hedonične kvalitete sistema, predvsem pritegnitev, kar ni povsem običajno pri bibliografskih informacijskih sistemih. Poleg koristnosti sistema so ravno pritegnitev k nadaljnji uporabi, zanimivost in zaznavanje sistema kot profesionalnega in prijetnega ključni za oblikovanje pozitivne uporabniške izkušnje in vračanje uporabnikov. Nekoliko nevtralnejše ocene sta dobila vidika estetike in inovativnosti, izmed pragmatičnih lastnosti pa izstopajo slabše ocene za fleksibilnost in intuitivnost portala. Primerjava rezultatov glede na starost, pogostost uporabe in spol sicer pokaže manjše razlike med skupinami, vendar te niso statistično pomembne, kar je verjetno tudi posledica razmeroma majhnih vzorcev v določenih skupinah. 70 Maja Žumer et al. Slika 26: Zaznavanje lastnosti dLib.si: povprečne ocene pri semantičnih diferencialih (n = 67) Ocena lastnosti z izbiro s seznama pridevnikov Slaba polovica anketirancev (n = 50) je oceno lastnosti podala z izbiro s seznama pridevnikov (Slika 27). Običajno so izbrali 7 ali 8 pozitivnih pridevnikov (povprečje 7,6) ter 2 negativna pridevnika (povprečje 2,0). Podobno kot pri vprašanju s semantičnimi diferenciali se tudi tu kot najpomembnejša lastnost kaže koristnost oziroma uporabnost portala, polovica sodelujočih pa je tudi poudarila, da jih pritegne k nadaljnji uporabi. Pri vprašanju z izbiro pridevnikov vidimo, da so anketiranci pogosteje izbirali pridevnike, ki kažejo na pragmatične kvalitete portala (poleg koristnosti še Raziskave 71 na enostavnost uporabe), nekoliko redkeje pa pridevnike, ki so izražali hedonično kvaliteto. Kljub vsemu pa so tudi tu najpogosteje izbrani isti vidiki kot pri vprašanju s semantičnimi pari: pritegnitev, zanimivost, profesionalnost, vabljivost. Pri tem vprašanju prav tako manjši vzorec otežuje analizo in tudi omejuje zanesljivost primerjave odgovorov glede na različne značilnosti anketirancev. Slika 27: Ocena lastnosti dLib.si skozi najpogosteje izbrane pridevnike (n = 50) Ocena lastnosti skozi stopnjo strinjanja s trditvami V nasprotju s pridevniki, ki splošneje povzemajo izkušnje in zaznave uporabnikov, so trditve usmerjene na točno določen vidik delovanja ali na jasno opredeljeno lastnost sistema. Kljub temu pa tudi tu analiza rezultatov (Slika 28) pokaže podobne rezultate kot pri drugih dveh načinih odgovorov o zaznavanju lastnosti dLib.si, saj so se anketiranci najbolj strinjali s trditvami, ki predstavljajo vidik pritegnitve (želja po ponovni uporabi portala, priporočilo portala drugim), koristnosti (pomaga pri opravljanju 72 Maja Žumer et al. nalog, prihrani čas) ter zanimivosti (vzbudi radovednost). Iz odgovorov izvemo tudi konkretnejše informacije, kot je na primer to, da približno 80 % anketirancev s sistemom uspešno opravlja zadane naloge in da se jim zdijo podatki o dokumentih predstavljeni na razumljiv način. Uporaben je predvsem pogled na nestrinjanje s trditvami, pri čemer izstopa podatek, da sistem (po mnenju več kot petine anketirancev) ne omogoča vsega, kar bi pričakovali. Prav tako je več anketirancev poudarilo težavo z vidika intuitivnosti oziroma enostavnosti uporabe (ne navigirajo z lahkoto, uporaba sistema zahteva napor in čas, iskanje ni vedno razumljivo). Zanimivo je, da analiza odgovorov glede na lastnosti uporabnikov ne pokaže pomembnih razlik glede na pogostost uporabe sistema, ampak le glede na starost anketirancev. Mlajši so tako slabše ocenili zadovoljstvo z videzom in koncept oblikovanja, ob uporabi občutijo večjo frustracijo, čas pa jim pri uporabi sistema ne mine hitro. Slednji dve zna- čilnosti sta morda v večji meri povezani z nalogami oziroma namenom uporabe sistema kot s sistemom samim, zato smo v novo verzijo vprašalnika vključili tudi ta vidik. Slika 28: Strinjanje s trditvami o portalu dLib.si (n = 113) Raziskave 73 3.5.2.3 Primerjava rezultatov s prostimi komentarji Kar 54 (oziroma skoraj polovica) sodelujočih je uporabila tudi možnost, da na koncu vprašalnika zapiše komentar, povezan z delovanjem in uporabo portala. Svoje mnenje so zapisali predstavniki vseh skupin anketirancev (tako mlajši kot starejši, tako redni uporabniki kot tisti, ki se s portalom srečujejo prvič ali redko). Odgovore smo kodirali na podlagi sentimenta, ki je prevladoval v komentarju, in sicer tako, da smo ustvarili tri kategorije odgovorov: • kritika (prevladuje negativen komentar, izraženo razočaranje, frustracija, nezado-voljstvo, v večini je tudi opredeljen vzrok te frustracije), • predlog/težava (komentar je večinoma zapisan v nevtralnem tonu, prevladuje želja po izboljšanju določene funkcije ali dostopnosti gradiva, pogosto so dodani tudi predlogi izboljšav), • pohvala (prevladuje zadovoljstvo, izražena je pohvala za opravljeno delo ali hva-ležnost za storitev). Slika 29: Primerjava povprečnih ocen odgovorov o občutjih s sentimenti v komentarju 74 Maja Žumer et al. Primerjava sentimenta v komentarjih z rezultati odgovorov o občutjih in doživljanju lastnosti sistema kaže na močno ujemanje odgovorov. Pri udeležencih, ki so zapisali kritičen komentar, so bila tako negativna kot pozitivna občutja približno enako intenzivna, medtem ko so pri drugih prevladovala pozitivna občutja (Slika 29). To nakazuje, da uporabljena vprašanja, povezana z občutji, lahko zajamejo čustva posameznika ob interakciji s sistemom. Podobno ujemanje komentarjev z rezultati lahko vidimo tudi pri trditvah o doživljanju lastnosti portala. Podobno ujemanje komentarjev z rezultati lahko vidimo tudi pri odgovorih o doživljanju lastnosti sistema. Tu se še jasneje kažejo razlike glede na tri skupine komentarjev, statistično pomembne razlike med njimi ni le pri mnenju o koristnosti (vprašanje s semantičnimi diferenciali – Slika 30) in nekaterih vidikih oblikovanja (trditvah »Barve v sistemu niso primerne.« in »Oblikovanje je brez koncepta.« − Slika 31). Slika 30: Primerjava povprečnih ocen posameznih lastnosti portala dLib.si in sentimenta komentarja (primer vprašanja s semantičnimi diferenciali) Raziskave 75 Slika 31: Primerjava povprečnih ocen strinjanja s trditvami in sentimenta komentarjev (1 = nika-kor se ne strinjam, 5 = popolnoma se strinjam) 3.5.3 Primerjava rezultatov testiranja in spletne ankete dLib.si Primerjava rezultatov dveh raziskav na portalu dLib.si dobro pokaže odvisnost rezultatov, pridobljenih z vprašalniki uporabniške izkušnje, od načina izvedbe raziskave in tudi zajetega vzorca, ki je pri testiranju v večji meri zajel neuporabnike, pri spletni anketi pa redne uporabnike portala. Na žalost razlike v značilnostih vzorca sodelujočih pri testiranju z uporabniki ter spletni anketi preprečujejo jasno identifikacijo vplivov na rezultate: ni namreč mogoče ugotoviti, v kolikšni meri je manj pozitivna 76 Maja Žumer et al. uporabniška izkušnja pri testiranju uporabnosti posledica nepoznavanja sistema (ve- čina udeležencev testiranja je prvič uporabljala sistem, medtem ko so bili udeleženci spletne ankete večinoma redni uporabniki) in v kolikšni meri je posledica okoliščin izvedbe (torej »laboratorijskega« okolja z danimi nalogami, ki ne predstavljajo informacijskih potreb oziroma interesov udeleženca). Ravno pričakovane razlike v rezultatih obeh raziskav pa pravzaprav kažejo na zanesljivost merjenja uporabniške izkušnje z uporabo testiranega vprašalnika. Bolj pozitivna uporabniška izkušnja udeležencev spletne ankete se kaže tako pri izra- ženih občutjih ob uporabi sistema kot tudi oceni oziroma zaznavanju lastnosti sistema. Slika 32 kaže, da so udeleženci spletne ankete občutili negativna občutja v veliko manjši meri kot udeleženci testiranja, hkrati pa so tudi izražali intenzivnejša pozitivna čustva. Zanimivo je, da tako pri pozitivnih kot pri negativnih čustvih lahko opazimo enako obliko grafa, ki kaže na to, da ne prihaja do bistvenih razlik pri posameznih čustvih, ampak se bolj pozitivna oziroma bolj negativna izkušnja odraža na vseh čustvih v podobni meri. Slika 32: Primerjava povprečnih ocen občutij (negativna levo, pozitivna desno) pri uporabi portala dLib.si pri spletni anketi in testiranju uporabnosti (združeni podatki obeh vprašanj o čustvih) Podoben trend je opaziti tudi pri zaznavanju lastnosti sistema (Slika 33), pri čemer so udeleženci testiranja ocenili posamezno lastnost z oceno, ki je bila v povprečju za pol ocene do eno oceno slabša kot ocena udeležencev spletne ankete. Nekoliko večje vsebinske razlike se kažejo pri trditvah, pri katerih se zaradi natanč- nejše definicije značilnosti sistema izraža tudi večja razlika pri oceni značilnosti, ki so v večji meri povezane s poznavanjem sistema in njegove uporabnosti, medtem ko razlik skoraj ni pri trditvah o videzu sistema. Skozi vse analize se tako potrjuje ena Raziskave 77 od ključnih značilnosti uporabniške izkušnje, in sicer vpliv pričakovanj, izkušenj in motivacije na čustva in zaznavanje značilnosti sistema. Slika 33: Primerjava povprečnih ocen lastnosti portala dLib.si pri spletni anketi in testiranju uporabnosti (semantični diferencial) 78 Maja Žumer et al. 3.6 Spletna anketa COBISS+ 3.6.1 Opis raziskave9 Cilj • vpogled v uporabniško izkušnjo uporabnikov COBISS+ med njihovo interakcijo s sistemom (različica 7.11) • pridobitev dovolj velikega vzorca za natančnejše statistične analize (analiza uporabniške izkušnje tudi glede na značilnosti uporabnikov, primerjava rezultatov različnih tipov vprašalnikov) • primerjava rezultatov glede na obliko vprašanja o uporabniški izkušnji • primerjava z rezultati spletnega anketiranja na dLib.si Pristop spletna anketa Povabilo k reševanju ankete se je ob iskanju prikazalo v obliki pojavnega okna. Populacija dejanski uporabniki COBISS+ Izvedba trajanje raziskave: 10 dni čas reševanja: 2 min 40 s (povprečje) način izpolnjevanja: 88 % preko računalnika, drugi preko prenosnega telefona odziv: 658 klikov na anketo, 418 v celoti ali delno izpolnjenih anket (63,5 %) Zbrani podatki uporabniška občutja ob uporabi semantični diferencial izkušnja lestvica intenzivnosti doživljanje lastnosti sistema semantični diferencial izbira pridevnikov (+/−) splošni podatki pogostost uporabe namen uporabe spol starostna skupina komentar prosti zapis komentarjev o delovanju in uporabi sistema V zadnji fazi smo želeli pripravljeni vprašalnik uporabniške izkušnje testirati še s spletnim anketiranjem uporabnikov aplikacije COBISS+, in sicer z namenom: • vpogleda v uporabniško izkušnjo uporabnikov COBISS+ med njihovo interakcijo s sistemom (različica 7.11), • pridobitve dovolj velikega vzorca za natančnejše statistične analize (npr. analizo uporabniške izkušnje tudi glede na značilnosti uporabnikov, primerjava rezultatov različnih tipov vprašalnikov), • primerjave rezultatov glede na obliko vprašanja o uporabniški izkušnji, • primerjave z rezultati spletnega anketiranja na dLib.si. Anketni vprašalnik je bil namenoma zasnovan v najkrajši možni obliki, saj smo želeli čim manj posegati v uporabnikovo interakcijo s katalogom in pridobiti večje število 9 Poglavje temelji na članku: Švab, K. in Merčun, T. (2021). Uporabniška izkušnja v COBISS+. Organizacija Znanja, 26(1/2). https://doi.org/10.3359/oz2126003. Raziskave 79 odgovorov ter v celoti izpolnjenih vprašalnikov. Iz vprašalnika smo tako izključili trditve, saj smo za njih že pridobili razmeroma velik vzorec odgovorov v predhodnih raziskavah. V nasprotju s predhodnimi raziskavami pa smo dodali še kratko vpra- šanje o namenu uporabe, saj je ta vidik manjkal pri interpretaciji rezultatov spletne ankete na dLib.si. Anketiranci so v anketnem vprašalniku tako odgovarjali na 7 vpra- šanj, in sicer: • dve širši vprašanji o uporabniški izkušnji: • občutjih ob uporabi (oblika semantičnega diferenciala ali oblika seznama čustev z lestvico intenzitete), • doživljanju portala skozi oceno lastnosti portala (oblika semantičnega diferenciala ali izbira s seznama pridevnikov), • štiri kratka, demografska vprašanja (pogostost in namen uporabe, starostna skupina, spol), • odprto vprašanje, pri katerem so imeli možnost prosto zapisati morebitne komentarje o delovanju in uporabi COBISS+. Vsakemu anketirancu je orodje 1KA naključno dodelilo eno od dveh verzij obeh vpra- šanj o uporabniški izkušnji, prav tako naključno so se razvrščali pridevniki in čustva znotraj vprašanj. Povabilo k reševanju ankete se je prikazalo uporabnikom COBISS+ ob iskanju, in sicer v obliki pojavnega okna. Povprečni čas reševanja ankete je bil 2 min 40 s, v 10 dneh zbiranja podatkov pa smo zabeležili 658 klikov na anketo ter 418 v celoti ali delno izpolnjenih anket (63,5 %). Vprašalnik je 88 % anketirancev izpolnjevalo preko računalnika, drugi pa preko prenosnih telefonov. Tako kot pri spletni anketi dLib.si smo tudi pri tej anketi v večji meri pridobili odgovore bolj izkušenih uporabnikov, največji delež anketirancev namreč COBISS+ uporablja tedensko (Tabela 16). Sodelovalo je več žensk kot moških, vendar med spoloma ni bistvenih razlik pri namenu in pogostosti uporabe COBISS+ ali pri porazdelitvi v starostnih skupinah. Starostna struktura udeležencev raziskave razkrije, da smo pridobili odgovore nekoliko starejših uporabnikov, saj so skoraj polovico vprašalnikov rešili starejši od 50 let. Dve tretjini anketirancev je ta dan obiskalo COBISS+ z namenom iskanja gradiva za prosti čas, manjši delež pa za službo in študij ali šolo. Ker nobeno od vprašanj ni bilo obvezno in so lahko anketiranci vprašanja tudi preskočili, se numerusi pri posameznih kategorijah nekoliko razlikujejo. 80 Maja Žumer et al. Tabela 16: Značilnosti vzorca sodelujočih v spletni anketi COBISS+ STAROST POGOSTOST SPOL NAMEN n = 396 UPORABE n = 387 n = 403 n = 403 do 35 24,7 % prvič, redko 4,2 % ženski 73,1 % za študij, šolo 8,9 % 36−50 31,6 % občasno 26,8 % moški 26,9 % za službo 17,9 % nad 50 43,7 % pogosto 69,0 % za prosti čas 67,7 % drugo 5,5 % 3.6.2 Rezultati z razpravo 3.6.2.1 Počutje ob uporabi Splošen pregled rezultatov pokaže, da smo z obema vprašalnikoma (semantični diferencial in seznam čustev s 5-stopenjsko lestvico intenzitete) pridobili podoben rezultat glede počutja ob uporabi COBISS+ (Slika 34). Pri obeh oblikah vprašanja so v odgovorih prevladovali bolj pozitivni občutki, negativni občutki so bili v povprečju izraženi šibko, večjih odstopanj oziroma nasprotujočih si rezultatov ni bilo. Slika 34: Povprečne ocene počutja med uporabo COBISS+, primerjava odgovorov glede na tip vprašanja (semantični diferencial, n = 198; seznam – lestvica, n = 192) Raziskave 81 Z obema vprašalnikoma so anketiranci izrazili enako stopnjo občutkov zavzetosti, uspešnosti, umirjenosti in sproščenosti. Statistična analiza (Tabela 17) pa pokaže, da so se pojavile tudi določene razlike v povprečnih ocenah čustev med enim in drugim vprašalnikom: anketiranci so na seznamu čustev z lestvico intenzivnosti (od sploh ne do zelo) podali nižje povprečne ocene pri pozitivnih občutjih kot s semantičnim diferencialom, predvsem pa se kaže razlika pri negativnih čustvih, saj so na lestvici intenzivnosti anketiranci v manjši meri označili prisotnost negativnih čustev. Slednje na večjem vzorcu potrjuje opažanje predhodne spletne ankete na dLib.si. Tabela 17: Razlike med povprečnimi ocenami počutja pri uporabi COBISS+ glede na tip vprašanja SEMANTIČ- SEMANTIČ- NI DIFEREN- SEZNAM – NI DIFEREN- SEZNAM – CIAL LESTVICA CIAL LESTVICA n = 198 n = 192 n = 198 n = 192 poln energije* 3,7 3,3 nezadovoljno/ vznejevoljeno* 2,0 1,5 zavzeto 3,9 3,7 razočarano* 2,3 1,6 uspešno 3,9 3,7 slabe volje* 2,0 1,4 samozavestno* 4,0 3,7 jezno* 2,1 1,4 umirjeno 3,9 3,8 zdolgočaseno* 2,5 1,5 sproščeno 4,0 3,9 neprijetno* 2,0 1,4 brezskrbno* 3,9 3,6 nemočno* 2,3 1,5 veselo* 3,8 3,4 Opomba: * = statistično pomembne razlike, p < 0,05 (Mann-Whitneyjev U-test). Za potrebe izračuna so bile povprečne ocene pri negativnih čustvih semantičnega diferenciala rekodirane. Slika 35: Združene povprečne ocene negativnih občutij (levo) in pozitivnih občutij (desno) pri uporabi COBISS+ (n = 390) 82 Maja Žumer et al. Rezultate obeh vprašanj o počutju lahko združimo v enotno oceno, razlika v intenzi-teti pozitivnih in negativnih čustev pa je še bolje vidna preko vizualizacije podatkov (Slika 35). Ta pokaže, da so se anketiranci v povprečju ob uporabi COBISS+ počutili le malo zdolgočaseno, razočarano, nemočno, jezno in nezadovoljno ter precej sprošče-no, samozavestno, umirjeno, uspešno, zavzeto in brezskrbno. Združene povprečne ocene občutij lahko analiziramo tudi z vidika splošnih in demo-grafskih vprašanj, ki smo jih anketirancem postavili ob koncu ankete z željo, da raziščemo morebitne vplive teh dejavnikov na čustva in doživljanje sistema (Tabela 18). Predpostavko, da pogostost uporabe vpliva na občutja pri interakciji s sistemom, lahko potrdimo le delno: med anketiranci, ki občasno ali pogosto uporabljajo COBISS+, ni bilo bistvenih razlik v opredelitvi počutja. Nižje so bile predvsem povprečne ocene občutij pri anketirancih, ki so COBISS+ uporabljali prvič ali ga uporabljajo redko. Zaradi majhnega vzorca te skupine uporabnikov pa se statistično pomembne razlike pokažejo le pri manjšem občutju uspešnosti in večji intenzivnosti jeze in nemoči. Predvidevali smo tudi, da okoliščine uporabe COBISS+ lahko vplivajo na uporabni- ško izkušnjo. Zanimivo je, da je le nekaj razlik med ocenami počutja, ko so anketiranci uporabljali COBISS+ za študij, šolo ali prosti čas. Anketiranci, ki so COBISS+ uporabljali v službene namene, so se tako ob uporabi počutili manj polni energije, uspešni, sproščeni, brezskrbni in veseli ter bolj zdolgočaseni in nezadovoljni. Ta rezultat in tudi rezultat primerjave glede na spol kažeta, da na vsa čustva, ki jih doživlja uporabnik, seveda ne vpliva samo sistem kot tak, temveč nanje v določeni meri vplivajo tudi druge spremenljivke, kot so morda zahtevna tematika, nezainteresiranost za tematiko, splošno počutje pred uporabo, osebnostne značilnosti posameznika ipd. Zanimivo je, da največje razlike pri oznakah občutja vidimo ravno pri spolu, saj so moški anketiranci izražali nižjo stopnjo skoraj vseh pozitivnih občutij in višjo stopnjo nekaterih negativnih občutij. Raziskave 83 Tabela 18: Razlike povprečnih ocen občutij pri uporabi glede na pogostost in namen uporabe COBISS+ ter spol POGOS- TOST UPO- PRVIČ, OBČAS- POGOS- PRVIČ, OBČAS- POGOS- RABE REDKO NO TO REDKO NO TO n = 16 n = 101 n = 269 n = 16 n = 101 n = 269 poln energije 2,9 3,5 3,5 nezadovoljno 2,5 1,6 1,8 zavzeto 3,6 3,9 3,7 razočarano 2,5 1,9 1,9 uspešno* 3,0 4,0 3,8 slabe volje* 2,5 1,6 1,7 samozavestno 3,3 4,0 3,9 jezno* 2,7 1,6 1,7 umirjeno 3,5 3,9 3,8 zdolgočaseno 2,7 2,0 2,0 sproščeno 3,6 4,1 3,9 neprijetno 2,5 1,6 1,7 brezskrbno 3,5 3,9 3,8 nemočno* 2,6 1,9 1,8 veselo 3,3 3,7 3,6 NAMEN PROSTI PROSTI UPORABE SLUŽBA ŠTUDIJ, ŠOLA ČAS SLUŽBA ŠTUDIJ, ŠOLA ČAS n = 34 n = 70 n = 257 n = 34 n = 70 n = 257 poln energije* 3,1 3,5 3,6 nezadovoljno* 2,0 1,8 1,7 zavzeto 3,7 3,8 3,8 razočarano 2,1 1,9 1,8 uspešno* 3,6 3,9 3,9 slabe volje 1,9 1,8 1,7 samozavestno 3,7 3,9 4,0 jezno 1,9 1,9 1,7 umirjeno 3,6 3,9 3,9 zdolgočaseno* 2,2 2,3 1,9 sproščeno* 3,5 4,0 4,1 neprijetno 1,8 1,8 1,6 brezskrbno* 3,5 3,8 3,9 nemočno 1,9 1,9 1,8 veselo* 3,1 3,4 3,8 SPOL MOŠKI ŽENSKI MOŠKI ŽENSKI n = 99 n = 270 n = 99 n = 270 poln energije 3,3 3,6 nezadovoljno 2,0 1,7 zavzeto* 3,5 3,9 razočarano* 2,2 1,9 uspešno* 3,6 3,9 slabe volje 1,9 1,7 samozavestno 3,8 3,9 jezno 2,0 1,7 umirjeno 3,7 3,9 zdolgočaseno* 2,2 1,9 sproščeno* 3,7 4,1 neprijetno 1,9 1,6 brezskrbno* 3,5 3,9 nemočno 2,0 1,8 veselo* 3,3 3,7 Opomba: * = statistično pomembne razlike, p < 0,05 (Kruskal-Wallisov test za pogostost in namen uporabe, Mann-Whitneyjev U-test za spol) 84 Maja Žumer et al. 3.6.2.2 Zaznavanje lastnosti sistema Ocena lastnosti s semantičnim diferencialom Rezultati kažejo, da so anketiranci kot najbolj pozitivne ocenili pragmatične kvalitete sistema, torej zaznano koristnost, učinkovitost in preprostost uporabe, s slabšo oceno izstopajo intuitivnost, fleksibilnost in predvidljivost (Slika 36). Na drugi strani pa so nevtralneje ocenili hedonične vidike, ki se nanašajo na zaznavanje pritegnitve in inovativnosti sistema ter na estetiko vmesnika. Tu v pozitivnem smislu izstopata doživljanje sistema kot profesionalnega in pritegnitev k nadaljnji uporabi. Ravno pritegnitev k nadaljnji uporabi velja za enega izmed pomembnejših vidikov uporabniške izkušnje. Slika 36: Zaznavanje lastnosti COBISS+: povprečne ocene pri semantičnih diferencialih (n = 198) Raziskave 85 Čeprav je bilo v navodilu zapisano, da anketirancu ni treba izbrati stopnje pri vidikih, ki jih ne vidi kot pomembne, se jih je večina opredelila pri vsakem diferencialu. Zanimivo je, da je največ anketirancev (23) izpustilo oceno pri semantičnem paru intuitiven – neintuitiven, iz česar lahko sklepamo, da pojem intuitivnosti sistema ni splošno razumljiv. Čisto vsi anketiranci pa so se opredelili pri paru koristen – nekoristen, kar kaže na to, da gre za kriterij, ki je ključen za vse anketirance. Primerjava rezultatov treh starostnih skupin anketirancev kaže, da so vse tri skupine podobno doživljale hedonične kvalitete sistema (Slika 37). Pri pragmatičnih kvalitetah se sicer nakazujejo nekatere razlike (nekoliko slabše ocene starostne skupine 36–50), vendar te niso dovolj velike, da bi bile tudi statistično pomembne. Prav tako ni bilo pomembnih razlik glede na namen uporabe. Slika 37: Zaznavanje lastnosti COBISS+: primerjava povprečnih ocen semantičnih parov glede na starost anketirancev 86 Maja Žumer et al. Na drugi strani pa podrobnejša analiza pokaže razlike v ocenah sistema glede na spol in glede na pogostost uporabe. Moški so bili v povprečju kritičnejši in so predvsem pragmatične lastnosti sistema ocenili nekoliko slabše kot ženske. COBISS+ so moški tako označili kot bolj nepredvidljiv, težji za učenje in uporabo, manj fleksibilen, manj jasen in slabši v podpori njihovih potreb, nevtralneje kot ženske so se opredelili pri parih lep – grd, prijeten – nadležen in moderen – zastarel. Bolj kot razlike v doživljanju glede na spol je za razumevanje in opredelitev uporabniške izkušnje pomembno, kako sistem doživljajo občasni in redni uporabniki in kako tisti, ki sistem uporabljajo prvič ali redko. Rezultati (Tabela 19) tu kažejo velike razlike, predvsem izstopa dejstvo, da je tistih nekaj anketirancev, ki se redko ali prvič srečujejo s COBISS+, sistem doživljalo bolj negativno. Zaradi majhnega vzorca (5 anketirancev) je pri zaključkih potrebna previdnost, vendar so to razlike, ki jih ne gre prezreti. Zanimivo je, da so novi uporabniki videli COBISS+ kot razmeroma lahko naučljiv in preprost za uporabo, vendar pa tudi kot precej počasen in neučinkovit. Ocenili so, da jih ovira pri doseganju ciljev ter ga označili za bolj odbijajočega, nadle- žnega, neinovativnega, amaterskega in zastarelega. Tabela 19: Razlike v povprečnih ocenah zaznavanja lastnosti glede na pogostost uporabe COBISS+ (oblika vprašanja: semantični diferencial, 1 = pozitiven pridevnik, 5 = negativen pridevnik, nižja povprečna ocena je bolj pozitivna) PRVIČ/ OBČAS- POGOS- PRVIČ/ OBČAS- POGOS- REDKO NO TO REDKO NO TO n = 5 n = 53 n = 138 n = 5 n = 53 n = 138 pritegne k enostaven 3,6 2,3 2,2 nadaljnji 3,6 2,1 2,1 uporabi predvidljiv 2,6 2,2 2,4 zanimiv 3,4 2,4 2,3 razumljiv 3,0 2,3 2,0 vabljiv* 3,8 2,7 2,3 hiter* 3,8 2,0 2,1 prijeten* 4,0 2,4 2,2 učinkovit* 3,6 2,0 2,0 inovativen* 4,4 2,6 2,6 organiziran 3,2 2,2 2,2 izviren 3,4 2,8 2,6 lahko učljiv 2,4 2,1 2,1 me prevzame 3,2 2,9 2,7 fleksibilen 3,6 2,5 2,5 lep 3,3 2,8 2,5 intuitiven 4,0 2,8 2,6 privlačen 3,3 2,7 2,4 jasen 2,8 2,5 2,2 kreativen 3,4 2,7 2,5 preprost za uporabo 2,2 2,2 2,1 eleganten 3,2 2,5 2,4 koristen 3,2 1,6 1,7 profesionalen* 3,8 2,2 2,1 podpira* 3,8 2,2 2,1 moderen* 4,0 2,5 2,4 Opomba: * = statistično pomembne razlike, p < 0,05 (Kruskal-Wallisov test) Raziskave 87 Ocena lastnosti z izbiro s seznama pridevnikov Vsi vidiki iz vprašanja s semantičnimi pari so bili zajeti tudi v obliki vprašanja s sezna-mom pridevnikov. Anketiranci so v povprečju izbrali približno 8 pozitivnih pridevnikov (povprečje 7,8) in 2 negativna (povprečje 1,7). Ti rezultati v veliki meri sovpadajo z rezultati vprašanja s semantičnim diferencialom: tudi pri seznamu pridevnikov se nakazujeta slabša ocena anketirancev starostne skupine 36–50 in večja kritičnost anketirancev moškega spola, ponovi se tudi negativna ocena s strani tistih, ki prvič ali redko uporabljajo COBISS+ (Slika 38). Edina razlika, ki jo opazimo v primerjavi z vprašanjem v obliki semantičnih parov, je pri namenu uporabe: tu vidimo, da so anketiranci, ki so uporabljali COBISS+ za prosti čas, izbrali več pozitivnih in manj negativnih pridevnikov kot anketiranci, ki so sistem uporabljali v okviru službe ali za šolo oziroma študij. Slika 38: Analiza povprečnega števila izbranih pozitivnih in negativnih pridevnikov glede na starost, spol, namen in pogostost uporabe Pregled izbire posameznih pridevnikov pokaže, da je več kot polovica anketirancev izbrala pridevnike koristen (63 %), uporaben (60 %), praktičen (55 %) in preprost za uporabo (50 %). Med pogosteje izbranimi so bili še organiziran (44 %), razumljiv (43 %), učinkovit (41 %), enostaven (39 %) in jasen (36 %). Podobno kot pri različici vprašanja s semantičnimi pari se tudi tu vsi najpogosteje izbrani pridevniki navezujejo na pragmatični vidik sistema. Pridevniki, ki opisujejo hedonične kvalitete, so bili izbrani nekoliko redkeje. Več kot tretjina anketirancev je označila, da jih sistem pritegne k nadaljnji uporabi, več kot petina pa je poudarilo, da je sistem prijeten, profesionalen 88 Maja Žumer et al. in zanimiv ter moderen. Le nekaj anketirancev je izbralo zelo močne pozitivne pridevnike (razburljiv, fascinanten, lep, navdušujoč) ali močne negativne pridevnike (ki- čast, odbijajoč, grd, nekoristen, nadležen, neuporaben). Zanimivo je, da je tudi pri tem vprašanju zelo malo anketirancev izbralo vidik intuitivnosti (12 anketirancev je označilo sistem kot intuitiven, 12 pa kot neintuitiven). V nasprotju z verzijo vprašanja s semantičnimi pari so se pri prosti izbiri iz seznama pridevnikov pokazale jasne razlike glede na pogostost in namen uporabe COBISS+ v času reševanja ankete (Tabela 20). Anketiranci, ki so sistem uporabljali za študij ali šolo, so sistem videli kot manj koristen, uporaben in učinkovit kot drugi dve skupini uporabnikov, prav tako so v večji meri izpostavili, da jih ovira pri nalogah, ki so jih želeli rešiti z uporabo COBISS+. Anketiranci, ki so uporabljali COBISS+ v okviru službe, so sistem sicer opisali kot koristen, uporaben in podpirajoč pri reševanju njihovih nalog, hkrati pa so bili tudi bolj kritični in so v manjši meri kot drugi so sistem opredelili kot enostaven in hiter, v večji meri pa kot počasen in zastarel. Anketiranci, ki so iskali gradivo za prosti čas, so v večji meri izbirali pozitivne pridevnike, v primerjavi z drugima dvema skupinama je ta skupina anketirancev videla sistem tudi kot zanimivejši. Razlike se kažejo tudi pri izbiri pridevnikov med anketiranci, ki pogosteje uporabljajo COBISS+, in tistimi, ki so se z njim srečali redko ali prvič. Zaradi majhnega vzorca te skupine udeležencev (n = 9) je pri zaključkih potrebna previdnost, kljub vsemu pa rezultati potrjujejo tiste iz vprašanja s semantičnimi diferenciali. Uporabniki, ki so uporabili COBISS+ prvič (4,2 %) ali ga uporabljajo le redko (26,8 %), so v večji meri izbrali negativne pridevnike, kot so težek za uporabo, nerazumljiv, težko naučljiv, me zmede, ter v precej manjši meri preostale pridevnike, kot so enostaven, preprost za uporabo, uporaben in koristen. Redni uporabniki (69 %) negativnih pridevnikov skorajda niso uporabili, večina pa je izbrala pridevnika koristen in uporaben. Tabela 20: Izbira pridevnikov glede na namen in pogostost uporabe COBISS+ ZA ŠTUDIJ ALI NAMEN UPORABE ZA PROSTI ČAS ZA SLUŽBO n = 139 n = 36 ŠOLO n = 15 koristen 69 % 58 % 27 % uporaben 67 % 53 % 33 % razumljiv 51 % 25 % 27 % učinkovit 46 % 33 % 13 % enostaven 44 % 19 % 47 % Raziskave 89 ZA ŠTUDIJ ALI NAMEN UPORABE ZA PROSTI ČAS ZA SLUŽBO n = 139 n = 36 ŠOLO n = 15 hiter 38 % 11 % 27 % zanimiv 29 % 8 % 13 % me podpira pri reševanju … 17 % 39 % 7 % počasen 5 % 25 % 7 % zastarel 2 % 17 % 0 % me ovira pri reševanju naloge 1 % 3 % 13 % PRVIČ ALI POGOSTOST UPORABE REDKO OBČASNO POGOSTO n = 9 n = 51 n = 130 težek za uporabo 11 % 2 % 0 % nerazumljiv 22 % 4 % 1 % težko naučljiv 22 % 2 % 2 % me zmede 22 % 2 % 3 % enostaven 11 % 51 % 37 % preprost za uporabo 11 % 51 % 54 % uporaben 11 % 55 % 68 % koristen 33 % 53 % 70 % 3.6.2.3 Primerjava rezultatov s prostimi komentarji Močna čustva (pozitivna ali negativna) morajo biti prisotna pri anketirancu, da se po končani anketi odloči napisati tudi komentar. Pomenski odgovor je zapisalo 120 anketirancev, pri tem je bilo 49 odgovorov namenjenih kratki pohvali (»hvala za vse!«, »s katalogom sem zelo zadovoljna«, »Baza podatkov COBISS-a je meni najdragocenejša baza podatkov«), 11 odgovorov splošni negativni oceni (»Nefleksi-bilni!!!«, »Stara verzija je bila boljša«), 60 anketirancev pa je v odgovoru poudarilo konkretne težave in predloge za izboljšave. Tako kot pri spletni anketi dLib.si tudi tu komentarji dobro odražajo izkušnjo oziroma doživljanje sistema, ki so ga anketiranci opredelili v zaprtih vprašanjih. Slika 39 na primeru enega vprašanja jasno pokaže ujemanje ocen lastnosti sistema pri vprašanju s semantičnimi diferenciali in vsebino komentarja. 90 Maja Žumer et al. Slika 39: Primerjava povprečnih ocen posameznih kriterijev in vrste komentarja (primer vprašanja s semantičnimi diferenciali, nižja povprečna ocena pomeni boljši rezultat), n = 120 3.6.3 Primerjava rezultatov spletnih anket COBISS+ in dLib.si Primerjava občutij, ki so jih ob uporabi COBISS+ in dLib.si zaznali anketiranci, po-kaže podobne vzorce, saj prevladujejo predvsem pozitivna čustva, negativna čustva pa so šibkeje izražena (Slika 40). Zanimivo je, da se pri posameznem tipu vprašanja vrednosti pri posameznih občutjih med sistemoma skorajda ne razlikujejo (v povprečju so malenkost nižje tiste pri portalu dLib.si), pri obeh sistemih je tudi razvidno, da so pri ocenjevanju preko seznama čustev z lestvico intenzitete negativni občutki izraženi manj intenzivno kot negativni občutki, opredeljeni v obliki semantičnega diferenciala. Poleg tega je v večini primerov pri ocenjevanju na seznamu z lestvico intenzitete opaziti tudi šibkeje izražena pozitivna čustva. Raziskave 91 Združena ocena obeh tipov vprašanj o počutju pa kaže še večje ujemanje občutij ob uporabi v obeh raziskavah, čeprav smo raziskovali dva pravzaprav precej različna bi-bliografska informacijska sistema. Slika 40: Primerjava povprečnih ocen občutij ob uporabi dLib.si in COBISS+ 92 Maja Žumer et al. Analiza ocen, podanih na podlagi semantičnih parov, nakazuje na precej pozitivno mnenje uporabnikov glede lastnosti obeh sistemov (Slika 41). Pri obeh je izpostavljena koristnost sistema, opazimo pa, da so pri dLib.si hedonične kvalitete (torej zanimivost, pritegnitev k nadaljnji uporabi, profesionalnost, vabljivost in prijetnost) ocenjene zelo visoko. Medtem pri COBISS+ izstopajo predvsem pozitivne ocene pragmatičnih kvalitet, na primer preprostost za uporabo, učinkovitost, hitrost, podpora, lahka naučljivost in razumljivost. Razliko bi lahko pripisali predvsem naravi sistemov, saj v dLib.si najdemo več slikovnega gradiva, v COBISS+ pa prevladujejo predvsem bibliografski podatki. To je verjetno tudi razlog, da lastnosti kataloga COBISS+ uporabnike pustijo bolj ravno-dušne in da imajo sistem za običajnejšega in tradicionalnejšega. Uporabniki sistemov so bili sicer najnevtralnejši do fleksibilnosti in intuitivnosti obeh portalov. Slika 41: Primerjava povprečnih ocen lastnosti sistemov dLib.si in COBISS+ (semantični diferencial) Raziskave 93 Slika 42 kaže primerjavo izbranih pridevnikov, s katerimi so udeleženci obeh spletnih anket opisali COBISS+ in dLib.si. Pri obeh sistemih se je, podobno kot pri ocenjevanju s semantičnim diferencialom, koristnost izkazala kot najizrazitejša kvaliteta oziroma značilnost. Čeprav je ocenjevanje na podlagi semantičnih diferencialov pokazalo, da uporabniki cenijo tudi hedonične kvalitete obravnavanih sistemov, so pri izbranih pridevnikih v ospredju pragmatične lastnosti. Kljub splošnemu poudarku na pragmatičnih kvalitetah pa je podobno kot pri ocenjevanju s semantičnimi diferenciali razvidno, da so za portal dLib.si uporabniki v večji meri izbirali pridevnike, ki izražajo tudi hedonične kvalitete (npr. pritegne k nadaljnji uporabi, zanimiv, profesionalen, privlačen, vabljiv). Negativni pridevniki so bili pri ocenjevanju obeh sistemov izbrani redkeje. Poleg okornosti se na podlagi obeh metod sistemoma občasno pripisuje tudi neintuitivnost, nepredvidljivost, nefleksibilnost in zastarelost. Slika 42: Primerjava izbranih pridevnikov, s katerimi so anketiranci izrazili svoje zaznavanje lastnosti posameznega sistema (delež udeleženih, ki so izbrali pridevnik). 94 Maja Žumer et al. E - v - - lu a - cij OŠK azlike ob nejši z ma v OL v iz P or VE ne r ezultato imer OD UGE UGO T rst metod vega kolesa vanje biblio T ane statistično VI skih inf O kaz memb vezavi r hiko ouče af ME IN DR T do po po obeh v nabor čuste tc ni najpr pr gr skih sistemo - - a ane odja z ane UGO e, upo na e cijskih sistemihma DR delegir nalog raba or sledenje pogle du in snemanje zaslo delegir nalog or - U L VA A i ED vo skih inf WP ncu AZN af GL encial) ČUST K UEQ-S er K E K hiko K Z anih mer) v) EMA (par NI NI NI lutc NI v) NJE PO a izbr ODJA vniko EDE RAŠAL RAŠAL znam čuste RAŠAL ačetku in ob ko irejeno P RAŠAL ide OR SL (analiz VP (semantični dif VP (se VP na z (pr kolo) VP VANJE SIST pr - - va LO niški izkušnji v bibliograb SODE VANJE študenti bib liotekarst - - - - C ž- zof ž- .si ilo ilo niki aziskav o upor VZO RE pr nostni, študenti Filo ske fakul tete UL pr nostni, neupo rab dLib a- a o ljenih r - eh azlik - vezav av ov vega ljenih v poglavju 2.2. ljenih v poglavju 2.2. a merjenje v aznav N cija r nosti DBE v z niške iz hiko ljanje po ab edstav edstav lutc vniko otav ane metode , pr , pr regled opr AME imerjava dv ide N IZVE pr različnih metod, identifika in podob test obstoječih vpr šalniko upor kušnje pilotni test nabor iz P kolesa in par pr ug izkušnje z uspeš nostjo vpogled v z izbr P odij odij - - - - av ovan ijska ovan ijska Tabela 19: N DBE niška štu niška štu ab ator ab ator ih obstoječih or ih obstoječih or AČI ed razisk N IZVE upor dija z opaz jem in nalogami (labor raziskava) upor dija z opaz jem in nalogami (labor raziskava) gl ·10 · anje nekater anje nekater Pre .si EM 11 opeana .si Testir Testir 3.7 SIST Eur in dLib dLib 10 11 Raziskave 95 - E - ed ejo - manj vanje niške kaž udne OŠK e ab azna am OL žavnosti in kolju) azume VE o lastnosti ijska ali v OD UGE UGO T aziskav vanje T ator VI aznav abe sistema ve slabše po vito sliko z vno bolj z eše O isten bi bil tudi avnem o ezultat upor ME IN DR T občutek te uspešnosti vpliva pr vsem na občutja, na z sistema kor podatek o namenu upor oblika r (labor nar vpliva na r in r izkušnje trdit celo vanja sistema in so časo za r - - tala ani ostost ane spol, , odpr ašanje UGO e, vsak ženec žavnost pog abe vabilo k vanju se ani por ugi zbr ostna sku DR delegir nalog udele oceni uspešnost in te po reše je pojavilo na str dr podatki: star pina, upor to vpr - - A ABI E- ve) E- ve) dit ABI dit a inten encial, encial, v, tr encial, encial, v, tr RED Z vic er er er er vniko vniko JE P lest OB UPOR T VA ide ide a intenzivnosti) AVANJE SIST VA OB UPOR a intenzivnosti) AVANJE SIST ODJA KOM (semantični ČU T encial, a pr a pr er vic AZN vic AZN OR PO ČE dif zivnosti) ČUST (semantični dif lest Z MA (semantični dif izbir ČUST (semantični dif lest Z MA (semantični dif izbir - - va LO SODE VANJE študenti bib liotekarst NUK . - asli, ma - ma - C ž- .si ab ilo niki - niki osti VZO RE pr nostni, študenti in odr večino neupo rab dLib dejanski upo rab sistema, večino pog upor niki dLib si - , - - - - D - - l- ab or ašanj or av a ab ipr ezulta žavnosti ašalnika azličnih skih inf N IZVE ske infaf ašanj af ojenih z a vpliva uspeš e na upor anje pr azličnimi tipi vpr eh r cijskih sistemih AME ilag cijske sisteme z r imerjava r v glede na obliko ašanja o upor niški izkušnji imerjava izkušnje v dv N BE pilotni test vpr pr bibliogr ma analiz nosti in te nalog niško izkušnjo testir jenega vpr pr to vpr pr bibliogr ma - - ašalnika. ašalnika. ovan ijska N DBE niška štuab ator vanega vpr vanega vpr AČIN IZVE upor dija z opaz jem in nalogami (labor raziskava) spletna anketa asno asno anje z anje z EM 12 13 .si .si Testir Testir SIST dLib dLib 12 13 96 Maja Žumer et al. E - v l- - - av abi or v ter ipr OŠK azlične nikoab ezultati azlike v OL a r e na po i upor VE skih inf ašalnika af OD UGE UGO T niška izkušnja eznost pr T VI ab .si kaž nosti in r O azlična z imerjava z r cijskih sistemo ME IN DR T upor je r skupine upor pr dLib dob izkušnji pr bibliogr ma na ustr jenega vpr - - ani to spol, ostost , UGO pog abe , odpr ugi zbr ostna sku ašanje DR dr podatki: star pina, upor namen upo rabe vpr ABI E- encial, encial, v) er er vniko VA OB UPOR ide a intenzivnosti) AVANJE SIST ODJA vic a pr AZN OR ČUST (semantični dif lest Z MA (semantični dif izbir - LO SODE VANJE IZUM - C - niki VZO RE dejanski upo rab sistema - - - e - D lje or avipr cu ečjega čilnosti v N IZVE ašalnika na or v v a natančnej skih inf niko azličnih af anje pr ca z ab eh r AME idobite or imerjava izkušnje cijskih sistemih N BE testir nega vpr večjem vz pr vz še statistične analiz glede na zna upor pr v dv bibliogr ma ašalnika. N DBE vanega vpr AČIN IZVE spletna anketa asno 14 anje z EM Testir OBISS+ SIST C 14 Priporočila za raziskave uporabniške izkušnje v bibliografskih informacijskih sistemih 97 4 Priporočila za raziskave uporabniške izkušnje v bibliografskih informacijskih sistemih V raziskavah, ki smo jih opravili, smo testirali različne metode in kombinacije metod (Tabela 19). Tudi fokus raziskav je bil različen, saj smo v nekaterih primerih proučevali tudi funkcionalnost, uspešnost poizvedovanja (zaznano in dejansko), način uporabe informacijskega sistema in podobno. V priporočilih, ki sledijo, se omejujemo le ozko na merjenje uporabniške izkušnje, saj je bil to tudi osnovni namen našega projekta. Pri tem seveda ne želimo zmanjševati pomena drugih raziskav, nasprotno, želimo spodbuditi take študije, saj le široke uporabniške študije lahko vodijo k uporabnim in uporabniško prijaznim informacijskim sistemom. Poudariti moramo tudi, da so priporočila pripravljena posebej za vrednotenje bibliografskih informacijskih sistemov (na primer digitalnih knjižnic, knjižničnih katalogov in podobnih sistemov) in niso namenjena širši uporabi. Ob načrtovanju raziskave moramo jasno postaviti vprašanja, na katera želimo s študijo odgovoriti. Na ta način bomo identificirali vidike, ki so nam pomembni, saj bodo ti bistveno določali, katere metode bomo uporabili pa tudi katere dodatne podatke moramo še pridobiti (na primer starost, izkušenost, vnaprejšnje poznavanje sistema). Raziskave, opisane v poglavju 3, nakazujejo nekaj možnih scenarijev. 4.1 Čustva Čustva močno vplivajo na doživljanje informacijskega sistema. Najpogosteje ob koncu udeleženec v raziskavi oceni svoje čustveno stanje med uporabo sistema. Ker pa na čustveno doživljanje lahko vpliva tudi človekovo dnevno razpoloženje, je včasih primerno, da udeleženec tudi pred delom oceni svoje razpoloženje. Ob analizi se tako usmerimo predvsem na razlike pred in med uporabo (oziroma po uporabi). Za ta namen smo torej razvili dva vprašalnika. Pri naših raziskavah smo uporabili dve obliki sicer identičnih naborov čustvenih stanj. Pri prvi gre za semantični diferencial (tudi imenovan semantični par), pri katerem udeleženec svoje razpoloženje določi kot točko med dvema skrajnost-ma. Pri drugi obliki pa določa stopnjo intenzivnosti posameznega občutka. V naših raziskavah nismo opazili bistvenih razlik med obema oblikama, bolj pa priporočamo semantični diferencial, ker so pri njem zaradi navajanja obeh skrajnosti čustvena stanja morda bolje definirana in razumljiva. 98 Maja Žumer et al. V nadaljevanju so navedena navodila udeležencem, ki smo jih uporabili pri naših raziskavah. V obeh primerih priporočamo menjavanje vrstnega reda, saj se udeleženci pogosto bolj usmerjajo v možnosti, navedene na vrhu. 4.1.1 Semantični diferenciali Pred pričetkom reševanja nalog v bibliografskem informacijskem sistemu se postavi vprašanje o razpoloženju (Slika 43). Kako bi označili svoje današnje razpoloženje? Slika 43: Semantični diferenciali za čustva pred uporabo bibliografskega informacijskega sistema Sledijo vprašanja po uporabi. Po končani uporabi bibliografskega sistema se postavijo vprašanja o počutju med uporabo bibliografskega sistema (Slika 44). Med uporabo bibliografskega informacijskega sistema se počutim oz. sem se počutil/a: Pri vsakem paru izberite eno stopnjo med obema poloma. Ne razmišljajte predolgo, ampak se odločajte spontano. Priporočila za raziskave uporabniške izkušnje v bibliografskih informacijskih sistemih 99 Slika 44: Semantični diferenciali čustev po uporabi bibliografskega informacijskega sistema 4.1.2 Stopnje intenzitete čustev Pred pričetkom reševanja nalog v bibliografskem informacijskem sistemu se postavi vprašanje o razpoloženju (Slika 45). Kako bi označili svoje današnje razpoloženje? Slika 45: Stopnje čustev pred uporabo bibliografskega informacijskega sistema 100 Maja Žumer et al. Sledijo vprašanja po uporabi. Po končani uporabi bibliografskega sistema se postavijo vprašanja o počutju med uporabo bibliografskega sistema (Slika 46). Med uporabo bibliografskega informacijskega sistema se počutim oz. sem se počutil/a: Slika 46: Stopnje čustev po uporabi bibliografskega informacijskega sistema 4.2 Doživljanje lastnosti bibliografskega informacijskega sistema Tudi pri opisovanju zaznanih lastnosti informacijskega sistema je najpogostejša uporaba ustreznih pridevnikov, med katerimi udeleženec izbira ali jim dodeljuje utež. Tudi tu smo preizkušali dve obliki, preprost nabor pridevnikov (Slika 47) in semantični diferencial (Slika 48). Pri prvem udeleženec s seznama izbere (oziroma na njem označi) tiste pridevnike, ki primerno opisujejo sistem. Pridevniki so pozitivni in negativni (slednjih je po priporočilih malo manj) in izražajo tudi lastnosti različnih intenzivnosti. Nanašajo se na vidike uporabniške izkušnje, opisane v teoretičnem delu. Ta metoda, ki smo jo preizkušali tudi že v prejšnjih raziskavah, omogoča veliko različnih analiz: od razmerja med izbranimi in neizbranimi, pozitivnimi in negativnimi, pridevniki za določene vidike (na primer estetiko, zaznano uporabnost) in podobno. Pri osebnem stiku z udeležencem raziskave lahko to metodo izvedemo kot izbiro med fizičnimi karticami, v spletni obliki pa gre za označevanje na seznamu. V obeh pristopih je treba vrstni red menjati. Priporočila za raziskave uporabniške izkušnje v bibliografskih informacijskih sistemih 101 Druga oblika so semantični diferenciali, torej izbira točke med dvema skrajnima mo- žnostma. Tudi tu je treba vrstni red menjati. Po naših izkušnjah udeleženci večinoma ocenijo vse (ali vsaj večino) vidikov pri semantičnih diferencialih (čeprav to ni obvezno), pri izbiri s seznama pa praviloma izberejo manjše število pridevnikov. Po drugi strani pri semantičnih diferencialih pogosto dobimo srednje vrednosti, izbrani pridevniki pa močneje izražajo mnenje udeležencev. Opozoriti je treba, da je pri spletni izvedbi seznam pridevnikov zelo dolg in zato manj pregleden, kar je argument v prid semantičnim diferencialom za to obliko. Tretja oblika izražanja mnenja o sistemu je predstavitev trditev (Slika 49), pri katerih udeleženec označuje stopnjo strinjanja. V nasprotju s pridevniki ta način omogoča izražanje kompleksnejših mnenj. Trditve se nanašajo na sistem kot celoto (na primer »Uporaba sistema od mene ne zahteva velikega napora«) ali na posamezne vidike (na primer »Barve v sistemu niso primerne«). Posamezne trditve omogočajo tudi triangu-lacijo s čustvenimi stanji in izbranimi pridevniki. S trditvami lahko jasneje opredelimo značilnosti sistema in uporabnikove interakcije s sistemom, vendar pa je v takšnem primeru za celovit vpogled v vse vidike uporabniške izkušnje potrebno večje število trditev. Ker so trditve precej bolj zamudne za reševanje kot semantični diferencial ali izbira s seznama, je potreben premislek, kdaj jih je smiselno uporabiti. Priporočamo uporabo predvsem v primerih, ko nas zanimajo konkretne značilnosti, medtem ko je za splošno oceno doživljanja lastnosti sistema bolj smiselno in učinkoviteje uporabiti nabor pridevnikov ali semantični diferencial. 4.2.1 Seznam pridevnikov Izberite poljubno število pozitivnih in negativnih pridevnikov, ki po vašem mnenju opisujejo bibliografski informacijski sistem. Pri izbiri ne razmišljajte predolgo, ampak se odločajte hitro in spontano. 102 Maja Žumer et al. Slika 47: Nabor uporabljenih pridevnikov Priporočila za raziskave uporabniške izkušnje v bibliografskih informacijskih sistemih 103 4.2.2 Semantični diferenciali Bibliografski informacijski sistem vidim kot: Pri vsakem paru izberite eno stopnjo med obema poloma. Ne razmišljajte predolgo, ampak se odločajte spontano. Če vam kriterij ni pomemben, pustite vrstico prazno. Slika 48: Nabor uporabljenih semantičnih diferencialov 104 Maja Žumer et al. 4.2.3 Trditve s stopnjo strinjanja Trditve − Označite stopnjo strinjanja s posamezno trditvijo. Slika 49: Nabor uporabljenih trditev Priporočila za raziskave uporabniške izkušnje v bibliografskih informacijskih sistemih 105 4.2.4 Analiza lastnosti skozi vidike uporabniške izkušnje Razvrstitev seznama pridevnikov, semantičnih parov in trditev v različne vidike (dimenzije) uporabniške izkušnje ponuja dodatne možnosti prilagoditev predlaga-nih orodij in tudi kasnejših analiz ter interpretacij rezultatov. Pragmatična kvaliteta vključuje zaznano uporabnost, zaznano enostavnost in zaznano učinkovitost sistema, medtem ko hedonično kvaliteto sistema predstavljajo vidiki pritegnitve, inovativnosti in estetike. Že pri pripravi raziskave se lahko odločimo, da nas zanimajo le določe-ni vidiki uporabniške izkušnje oziroma kvalitete sistema, in tako namesto celotnega nabora vzamemo le elemente, ki se nanašajo na izbrani vidik. Tabela 21 prikazuje razvrstitev seznama pridevnikov, semantičnih parov in trditev, uporabljenih v zgoraj predstavljenih orodjih. Poleg uporabe v fazi priprave raziskave je opredelitev vidikov uporabniške izkušnje, ki nas zanimajo, koristna tudi pri analizi in interpretaciji rezultatov. Za posamezno raziskavo uporabniške izkušnje tako lahko dobimo boljši vpogled v to, katere vidike sistema uporabniki doživljajo bolj pozitivno in katere manj pozitivno. Rezultate lahko analiziramo le širše skozi pragmatično in hedonično kvaliteto ali ožje z uporabo podrobnejših vidikov. Slika 50 prikazuje primer analize vprašanja s semantičnimi diferenciali skozi vseh 6 vidikov (levo) ter možnost združitve nekaterih sorodnih vidikov (desno). Slika 50: Primer prikaza rezultatov spletne ankete skozi vidike uporabniške izkušnje (analiza vprašanja s semantičnim diferencialom) Analiza skozi vidike pa je uporabna tudi pri primerjavi uporabniške izkušnje v različ- nih verzijah sistema ali različnih sistemih (Slika 51). 106 Maja Žumer et al. Slika 51: Primer analize izbranih pridevnikov skozi vidike uporabniške izkušnje ter primerjave rezultatov dveh sistemov Priporočila za raziskave uporabniške izkušnje v bibliografskih informacijskih sistemih 107 - - e. a. kumen e. . azumljiv na . adane nalog elikega napor kumentih. acijo idobivanju do va v iran. ustr adane nalog VE ljanju nalog ljam z T v o do i pr av ugim. av ahte o. ljam z u. uktur kumentih na r DI av R as pr o str T ičakujem. ani č azumljiv o opr volj podatko i lažjem opr očil tudi dr ihr u je r en. am po sistem v je dobr e do , kar prse ipor ikaž maga pr m lahko uspešno opr abi sistema sem občutil fr m lahko hitr ezultato edstavi podatke o do aba sistema pr aba sistema od mene ne z b upor Sistem pr Sistem po Sistem dela v Ta sistem bi pr S sistemo Upor tov. Upor Iskanje v sistem Sistem je intuitiv O S sistemo Z lahkoto navigir Seznam r Sistem pr čin. niške izkušnjeab abo ENCIAL a upor R ljiv FE žek z an en ljiv vit žko nauč v po vidikih upor isten en abo/te edvid IČNI DI a kor azumljiv ljiv/te rstite T vir a upor en/o asen en/neintuitiv an/neorganizir ljiv/nepr azv a/o ost z vit/neučinko R MAN isten/nekor SE epr edvid kor podpir enostav intuitiv jasen/me zmede lahko nauč pr razumljiv/ner fleksibilen/nefleksibilen hiter/poč organizir pr učinko V e Tabela 21: OK e VNI vanju nalog IDER eše vanju nalog abo i r eše abo i r ljiv ljiv an AM P a pr a upor en ljiv a pr an vit aben en en a upor ljiv ZN vit aben isten vir ost z en edvid SE isten aktičen epr žko nauč žek z azumljiv edvid asen kor me podpir upor pr nekor me o neupor enostav intuitiv jasen lahko nauč pr razumljiv okor neintuitiv me zmede te te ner fleksibilen hiter organizir pr učinko zmogljiv nefleksibilen poč neorganizir nepr neučinko - TIČ TETA ost ALI vit abnost avnost or PRAGMA NA KV zaznana up zaznana enost zaznana učinko 108 Maja Žumer et al. v. na. . imer abil. nih sistemo aznoliko v je pr u. VE o minil. T zom sistema. . DI vednost. vno upor ijetno r ne R as hitr no T ado ugih podob irani. imer ncepta. anih elemento ikazi v sistem uktur ikaz ez ko o str u niso pr v pr abi sistema mi je č vanje vmesnika je pr edite vanje je br voljen sem s splošnim vide eseljem bi ta sistem po ve v sistem ado bliko azpor bliko Sistem je vzbudil mojo r Pri upor Z v Ta sistem je boljši od dr Z O R Prikazi so dobr Všeč so mi slike in pr Bar O rača ENCIALR abi/odv avnodušnega FE abe nalen asen el lačeniv IČNI DI daljnji upor oč adicio ast T dležen ajen ame/me pusti r astar en/tr en/pust en/z nalen/amaterski MAN daljnje upor evz d vativ en/obič lačen/nepr esio SE itegne k na ijeten/na eativ iv of pr od na me pr pr vabljiv/odbijajoč zanimiv/dolg ino izvir kr moder lep/gr eleganten/kič pr pr VOK abi abe VNI IDER daljnji upor daljnje upor AM P ame avnodušnega en nalen nalen pan ZN evz ljiv en asen en en lačen oč en ajen el lačen esio iv SE itegne k na ijeten dušujoč rača od na dležen vativ eativ iv of ast enatr pr me pr pr vabljiv zanimiv fascinanten nav razbur zabav odv me pusti r na odbijajoč dolg ino izvir kr moder tradicio obič pust zastar lep eleganten pr pr grd kič nepr amaterski pr TETA ev vnost DONIČNA ALI itegnit vati etika HE KV pr ino est Bibliografija 109 Bibliografija Albert, B. in Tullis, T. (2013). Measuring the user experience: Collecting, analyzing, and presenting usability metrics. Morgan Kaufmann. Alves, R., Valente, P. in Nunes, N. J. (2014). The state of user experience evaluation practice. V Proceedings of the 8th Nordic Conference on Human-Computer Interaction: Fun, Fast, Foundational (str. 93–102). Association for Computing Machinery. Alvite-Díez, M. L. (2021). Linked open data portals: Functionalities and user experience in semantic catalogues. Online Information Review, 45(5), 946–963. Ambrožič, M. (2005). Anketna metoda. V M. Ambrožič, M. Žumer, P. Južnič, M. Kovač, V. Zabukovec in A. Šauperl (ur.), Raziskovalne metode v bibliotekarstvu, informacijski znanosti in knjigarstvu (str. 23–52). Univerza v Ljubljani, Filozofska fakulteta, Oddelek za bibliotekarstvo, informacijsko znanost in knjigarstvo. Appleton, L. (2016). User experience (UX) in libraries: Let’s get physical (and digital). Insights the UKSG Journal, 29(3), 224–227. Aranyi, G. in van Schaik, P. (2015). Modeling user experience with news websites. Journal of the Association for Information Science and Technology, 66(12), 2471–2493. Attfield, S., Kazai, G., Lalmas, M. in Piwowarski, B. (2011). Towards a science of user engagement (position paper). V WSDM Workshop on User Modelling for Web Applications, ACM International Conference on Web Search And Data Mining. AttrakDiff. (b. d.). eSURVEY. http://attrakdiff.de/index-en.html Bardeen, A., Spurgin, K., Triumph, T. in Wilcher, L. (2017). Data-informed ebook disco-very: An analytical approach to the user experience. Serials Review, 43(3-4), 231–238. Bargas-Avila, J. A. in Hornbæk, K. (2011). Old wine in new bottles or novel challenges: A critical analysis of empirical studies of user experience. V Proceedings of the SIGCHI conference on human factors in Computing Systems (str. 2689–2698). Association for Computing Machinery. Barifah, M., Landoni, M. in Eddakrouri, A. (2020). Evaluating the user experience in a digital library. Proceedings of the Association for Information Science and Technology, 57(1), e280. Barnum, C. M. (2020). Usability testing essentials: ready, set... test! . Morgan Kaufmann. Beaudry, A. in Pinsonneault, A. (2010). The other side of acceptance: studying the direct and indirect effects of emotions on information technology use. MIS Quarterly, 34(4), 689–710. 110 Maja Žumer et al. Bejarano, M., Ceballos, L. M. in Maya, J. (2017). A user-centred assessment of a new bicycle sharing system in Medellin. Transportation research part F: Traffic psychology and behaviour, 44, 145–158. Benedek, J. in Miner, T. (2002). Measuring desirability: New methods for evaluating desirability in usability lab setting.V Proceedings of Usability Professionals Association 2002 Conference (str. 8–12). UPA. Betz, S. in Hall, R. (2015). Self-archiving with ease in an institutional repository: Microinteractions and the user experience. Information Technology and Libraries, 34(3), 43–58. Bhandari, U., Chang, K. in Neben, T. (2019). Understanding the impact of perceived visual aesthetics on user evaluations: An emotional perspective. Information & management, 56(1), 85–93. Borgman, C. (1986). Why are online catalogs hard to use?: Lessons learned from information-retrieval studies. Journal of the American Society for Information Science, 37(6), 387–400. Borgman, C. (1996). Why are catalogs still hard to use. Journal of the American Society for Information Science, 47(7), 493–503. Bradley, M. M. in Lang, P. J. (1994). Measuring emotion: The self-assessment ma-nikin and the semantic differential. Journal of behavior therapy and experimental psychiatry, 25(1), 49–59. Cleverdon, C., Mills, J. in Keen, E. (1966). Factors determining the performance of indexing systems: Volume 1, Design. Royal Aeronautical College. https://dspace.lib. cranfield.ac.uk/handle/1826/861 Counting what counts. (2021). Impact & insight toolkit: Sentiment framework research report recommendation report identifying existing sentiment frameworks suitable for the impact & insight toolkit. https://impactandinsight.co.uk/wp-content/uplo-ads/2021/10/CWC_SentimentFrameworkRecommendationReport_20210825. pdf Cvek, A. (2019). Elementi uporabniške izkušnje v bibliografskih informacijskih sistemih [Magistrsko delo]. Univerza v Ljubljani, Filozofska fakulteta. Datig, I. (2015). Walking in your users’ shoes: An introduction to user experience research as a tool for developing user-centered libraries. College & Undergraduate Libraries, 22(3-4), 234–246. De Guzman, E. S. in Schiller, J. (2011). How does this look? Desirability methods for evaluating visual design. V C. Stephanidis (ur.), HCI International 2011. Commu-nications in Computer and Information Science (str. 123–127). Springer. Bibliografija 111 Díaz-Oreiro, I., López, G., Quesada, L. in Guerrero, L. A. (2019). Standardized questionnaires for user experience evaluation: A systematic literature review. Proceedings, 31(1), 14. Ding, Y., Cao, Y., Qu, Q. in Duffy, V. G. (2020). An exploratory study using electro-encephalography (EEG) to measure the smartphone user experience in the short term . International Journal of Human–Computer Interaction, 36(11), 1008–1021. Dirin, A. in Laine, T. H. (2018). User experience in mobile augmented reality: Emotions, challenges, opportunities and best practices. Computers, 7(2), 33. Djamasbi, S., Siegel, M., Skorinko, J. in Tullis, T. (2011). Online viewing and aesthetic preferences of generation Y and the baby boom generation: testing user web site experience trough eye-tracking. International Journal of Electronic Commerce, 15(4), 121–157. Doyle, J., Quigley, A., Nixon, P. in Caulfield, B. (2010). Towards a pattern language approach to sharing experiences in healthcare technology evaluation. V G. Lein-ter, M. Hitz in A. Holzinger (ur.), USAB 2010: HCI in Work and Learning, Life and Leisure (str. 124−137). Springer. Fuhr, N., Tsakonas, G., Aalberg, T., Agosti, M., Hansen, P., Kapidakis, S., Klas, C. P., Kovacs, L., Landoni, M., Micsik, A., Papatheodorou, C., Peters, C. in Sølvberg, I. (2007). Evaluation of digital libraries. International Journal on Digital Libraries, 8(1), 21–38. Gerea, C. in Herskovic, V. (2015). Measuring user experience in Latin America: An exploratory survey. V Proceedings of the Latin American conference on human computer interaction (str. 1−4). Association for Computing Machinery. Greussing, E. in Boomgaarden, H. G. (2019). Simply bells and whistles? Cognitive effects of visual aesthetics in digital longforms. Digital Journalism, 7(2), 273–293. Guan, Z., Lee, S., Cuddihy, E. in Ramey, J. (2006). The validity of the stimulated retrospective think-aloud method as measured by eye tracking. V Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (str. 1253–1262). Association for Computing Machinery. Hassenzahl, M. (2005). The thing and I: understanding the relationship between user and product. V Funology: From usability to enjoyment (str. 31–42). Springer. Hassenzahl, M. (2008). User experience (UX): Towards an experiential perspective on product quality. V E. Brangier, G. Michel, J. M. C. Bastien in N. Carbonell (ur.), IHM 08: Proceesings of the 20th Conference on l’Interaction Homme-Machine (str. 11–15). Association for Computing Machinery. Hassenzahl, M. in Tractinsky, N. (2006). User experience – a research agenda. Behaviour and Information Technology, 25(2), 91–97. 112 Maja Žumer et al. Hassenzahl, M., Burmester, M., in Koller, F. (2003). AttrakDiff: Ein Fragebogen zur Messung wahrgenommener hedonischer und pragmatischer Qualität. V J. Zie-gler in G. Szwillus (ur.), Mensch & computer 2003 (str. 187–196). Vieweg. Hastings, J. D., Mirasano, A., Latchininsky, A. in Schell, S. P. (2010). CARMA: Assessing usability through a non-biased online survey technique. V HICSS: 43rd Hawaii International Conference on System Sciences (str. 1–10). IEEE. Havlena, W. J. in Holbrook, M. B. (1986). The varieties of consumption experience: Comparing two typologies of emotion in consumer behavior. Journal of consumer research, 13(3), 394–404. Heidig, S., Müller, J. in Reichelt, M. (2015). Emotional design in multimedia learning: differentiation on relevant design features and their effects on emotions and learning. Computers in Human Behavior, 44, 81–95. Hong, W., Thong, J. Y. in Wai-Man Wong, K. Y. T. (2002). Determinants of user acceptance of digital libraries: An empirical examination of individual differen-ces and system characteristics. Journal of Management Information Systems, 18(3), 97–124. Hu, X. (2019). Evaluating mobile music services in China: an exploration in user experience. Journal of Information Science, 45(1), 16–28. Hu, X., Lee, J. H., Bainbridge, D., Choi, K., Organisciak, P. in Downie, J. S. (2017). The MIREX grand challenge: A framework of holistic user‐experience evaluation in music information retrieval. Journal of the Association for Information Science and Technology, 68(1), 97–112. Hunt, N. in McHale, S. (2007). A practical guide to the e-mail interview. Qualitative health research, 17(10), 1415–1421. ISO 9241-11:2018. International standard. Ergonomics of human-system Interaction — Part 11: usability: definitions and concepts. (2018). International Oranization for Standardization. ISO 9241-210:2019. International standard. Ergonomics of human-system interaction — Part 210: Human-centred design for interactive systems. (2019). International Organization for Standardization. Jaffy, M. (2020). Bento-Box user experience study at Franklin University. Information Technology and Libraries, 39(1). Jarkovič, P. (2021). Ocenjevanje uporabniške izkušnje v bibliografskih informacijskih sistemih s pomočjo vprašalnikov [Magistrsko delo]. Univerza v Ljubljani, Filozofska fakulteta. Karapanos, E. (2013). Modeling users’ experiences with interactive systems. Springer. Bibliografija 113 Kelly, D. (2009). Methods for evaluating interactive information retrieval systems with users. Foundations and Trends in Information Retrieval, 3(1-2), 1–224. https://doi. org/10.6017/ital.v39i1.11581 Kim, D. H. in Lee, H. (2016). Effects of user experience on user resistance to change to the voice user interface of an in vehicle infotainment system: Implications for platform and standards competition. International Journal of Information Management, 36(4), 653–667. Kocaballi, A. B., Laranjo, L. in Coiera, E. (2019). Understanding and measuring user experience in conversational interfaces. Interacting with computers, 31(2), 192–207. Konstantakis, M., Michalakis, K., Aliprantis, J., Kalatha, E. in Caridakis, G. (2017). Formalising and evaluating cultural user experience. V 2017 12th International Workshop on Semantic and Social Media Adaptation and Personalization (SMAP) (str. 90–94). IEEE. https://doi.org/10.1109/SMAP.2017.8022675 Kuhar, M. in Merčun, T. (2022). Exploring user experience in digital libraries through questionnaire and eye-tracking data. Library & Information Science Research, 44(3), 101175. Kujala, S., Roto, V., Väänänen-Vainio-Mattila, K., Karapanos, E. in Sinnelä, A. (2011). UX Curve: A method for evaluating long-term user experience. Interacting with computers, 23(5), 473–483. Lallemand, C., Gronier, G. in Koenig, V. (2015). User experience: a concept without consensus? Exploring practitioners’ perspectives through an international survey. Computers in Human Behavior, 43, 35–48. Lalmas, M., O’Brien, H. in Yom-Tov, E. (2014). Measuring user engagement . Synthe-sis Lectures on Information Concepts, Retrieval, and Services, 6(4), 1–132. Law, E. L. C. (2011). The measurability and predictability of user experience. V Proceedings of the 3rdACM SIGCHI symposium on Engineering interactive computing systems (str. 1–10). Association for Computing Machinery. Law, E. L. C. in Sun, X. (2012). Evaluating user experience of adaptive digital educa-tional games with Activity Theory. International journal of human-computer studies, 70(7), 478–497. Law, E. L. C., Roto, V., Hassenzahl, M., Vermeeren, A. P. in Kort, J. (2009). Understanding, scoping and defining user experience: A survey approach. V Proceedings of the SIGCHI conference on human factors in computing systems (str. 719–728). Association for Computing Machinery. Law, E. L. C., van Shaik, P. in Roto, V. (2014). Attitudes towards user experience (UX) measurement. International Journal of Human-Computer Studies, 72(6), 526–541. 114 Maja Žumer et al. Lee, H. J., Lee, K. H. in Choi, J. (2018). A structural model for unity of experience: Connecting user experience, customer experience, and brand experience. Journal of Usability Studies, 11(1), 8–34. Li, X., Xia, B., Lusk, A., Liu, X. in Lu, N. (2019). The humanmade paradise: exploring the perceived dimensions and their associations with aesthetic pleasure for Liu Yuan, a Chinese Classical Garden. Sustainability, 11(5), 1350. Magnusson, C., Rassmus-Gröhn, K. in Szymczak, D. (2010). Methods for understanding the mobile user experience. V B. Poppinga (ur.), Observing the mobile user experience: Proceedings of the 1st International Workshop (str. 1–4). Mahlke, S. (2008). User experience of interaction with technical systems: Theories, methods, empirical results and their application to the development of interactive systems. VDM Publishing. Maia, C. L. B. in Furtado, E. S. (2016). A systematic review about user experience evaluation. V A. Marcus (ur.), International conference of design, user experience, and usability (str. 445−455). Springer. Majors, R. (2012). Comparative user experiences of next-generation catalogue interfaces. Library Trends, 61(1), 186–207. Massis, B. (2018). The user experience (UX) in libraries . Information and Learning Sciences, 119(3-4), 241–244. McCarthy, J. in Wright, P. (2005). Putting »felt-life« at the centre of human–computer interaction (HCI). Cognition, technology & work, 7(4), 262–271. meCue 2.0. (b. d.). Home. http://mecue.de/english/home.html Merčun, T. (2014). Evaluation of information visualization techniques: Analysing user experience with reaction cards. V Proceedings of the Fifth Workshop on Beyond Time and Errors: Novel Evaluation Methods for Visualization (str. 103–109). Association for Computing Machinery. Merčun, T. in Žumer, M. (2014). Dimensions of user experience and reaction cards. V International Conference on Asian Digital Libraries (str. 365–370). Springer. Minge, M. in Thüring, M. (2018). Hedonic and pragmatic halo effects at early stages of user experience. International Journal of Human-Computer Studies, 109, 13–25. Minge, M., Thüring, M., Wagner, I. in Kuhr, C. V. (2016). The meCUE questionnaire: A modular evaluation tool for measuring user experience. V M. Soares, C. Falcão in T. Z. Ahram (ur.), Proceedings of the 7th applied human factors and ergonomics society conference 2016 (str. 115–128). Springer. Moshagen, M. in Thielsch, M. (2015). VisAWI Manual: Visual asthetics of websites in-ventory. http://www.thielsch.org/download/VisAWI/VisAWI_Manual_EN.pdf Bibliografija 115 Nielsen, J. (15. 1. 2012). Thinking aloud: the #1 usability tool. Nielsen Norman Group. https://www.nngroup.com/articles/thinking-aloud-the-1-usability-tool/ Nurkka, P., Kujala, S. in Kemppainen, K. (2009). Capturing users’ perceptions of valuable experience and meaning. Journal of Engineering Design, 20(5), 449–465. O’Brien, H. L. (2011). Weaving the threads of experience into human information interaction (HII): Probing user experience (UX) for new directions in information behaviour. V A. Spink in J. Heinström (ur.), New directions in information behaviour (str. 69–92). Emerald. Obiskovalci prireditev za odrasle in njihova izkušnja: analiza anket. (2018). Mestna knjižnica Ljubljana. https://www.mklj.si/informacije-javnega-znacaja/ Othman, M. K., Idris, K. I., Aman, S. in Talwar, P. (2018). An empirical study of visitors’ experience at Kuching orchid garden with mobile guide application. Advances in Human-Computer Interaction. https://doi.org/10.1155/2018/ 5740520 Park, C. in Jun, J. K. (2003). A cross‐cultural comparison of Internet buying behavior: Effects of Internet usage, perceived risks, and innovativeness. International Mar-keting Review. 20(5), 534–553. Partala, T. in Kallinen, A. (2012). Understanding the most satisfying and unsatisfying user experience: Emotions, psychological needs, and context. Interacting with Computers, 24(1), 25−34. https://doi.org/10.1016/j.intcom.2011.10.001 Pernice, K. (7. 10. 2018). User Interviews: How, when, and why to conduct them. Nielsen Norman Group. https://www.nngroup.com/articles/user-interviews/ Peters, T., Işık, Ö., Tona, O. in Popovič, A. (2016). How system quality influences mobile BI use: the mediating role of engagement. International Journal of Information Management, 36(5), 773–783. Petrie, H. in Precious, J. (2010). Measuring user experience of websites: Think aloud protocols and an emotion word prompt list. V Proceedings of the 28th international conference on human factors in computing systems (str. 3673–3678). Association for Computing Machinery. https://doi.org/10.1145/1753846.1754037 Plutchik, R. (2001). The nature of emotions: human emotions have deep evolutionary roots, a fact that may explain their complexity and provide tools for clinical practice. American Scientist, 89(4), 344–350. Rennick, B. (2019). Library services navigation: Improving the online user experience. Information Technology and Libraries, 38(1), 14–26. Rico-Olarte, C., López, D. M. in Kepplinger, S. (2018). Towards a conceptual framework for the objective evaluation of user experience. V A. Marcus in W. Wang 116 Maja Žumer et al. (ur.), International Conference of Design, User Experience, and Usability: theory and practice (str. 546–559). Springer. Rohrer, C. (12. 10. 2014). When to use which user-experience research method s. Nielsen Norman Group. https://www.nngroup.com/articles/which-ux-research-methods/ Rutten, I., Van den Bogaert, L. in Geerts, D. (2020). From initial encounter with mid-air haptic feedback to repeated use: The role of the novelty effect in user experience. IEEE Transactions on Haptics, 14(3), 591–602. Saariluoma, P. in Jokinen, J. P. (2014). Emotional dimensions of user experience: A user psychological analysis. International Journal of Human-Computer Interaction, 30(4), 303–320. Salazar, K. (5. 6. 2016). Diary Studies: Understanding long-term user behavior and experiences. Nielsen Norman Group. https://www.nngroup.com/articles/diary-studies/ Sauro, J. in Lewis, J. R. (2016). Quantifying the user experience: Practical statistics for user research (2. izdaja). Elsevier. Schallberger, U. (2005). Kurzskalen zur Erfassung der Positiven Aktivierung, Negativen Aktivierung und Valenz in Experience Sampling Studien (PANAVA-KS). Forschun-gsberichte aus dem Projekt: Qualität des Erlebens in Arbeit und Freizeit. Universität Zürich. Schmidt, A. in Etches, A. (2012) . User experience (UX) design for libraries. American Library Association. Schreiber, M. in Jenny, G. J. (2020). Development and validation of the »Lebender emoticon PANAVA« scale (LE-PANAVA) for digitally measuring positive and negative activation, and valence via emoticons. Personality and Individual Diffe-rences, 160, 109923. Schrepp, M., Hinderks, A. in Thomaschewski, J. (2017). Design and evaluation of a short version of the user experience questionnaire (UEQ-S). International Journal of Interactive Multimedia and Artificial Intelligenc e, 4(6), 103–108. https://doi. org/10.9781/ijimai.2017.09.001 Seo, K. K., Lee, S., Chung, B. Do, Park, C. (2015). Users’ emotional valence, arousal, and engagement based on perceived usability and aesthetics for web sites. International Journal of Human-Computer Interaction, 31(1), 72–87. Thüring, M. in Mahlke, S. (2007). Usability, aesthetics and emotions in human–technology interaction. International journal of psychology, 42(4), 253–264. Toms, E. G., Dufour, C. in Hesemeier, S. (2004). Measuring the user’s experience with digital libraries. V Proceedings of the 2004 joint ACM/IEEE conference on digital libraries (str. 51–52). Association for Computing Machinery. Bibliografija 117 Triberti, S., Gaggioli, A. in Riva, G. (2016). Using and Intending: how personal intentions can influence the user experience of interactive technologies. Annual Rewiew of Cybertherapy and Telemedicine, 14, 130–135. Turner, N. (b. d.). Product reaction cards reduced list. http://www.uxforthemasses.com/ product-reaction-cards/ Van der Heijden, H. (2004). User acceptance of hedonic information systems. MIS Quarterly, 28(4), 695–704. Vermeeren, A. P., Law, E. L. C., Roto, V., Obrist, M., Hoonhout, J. in Väänänen-Vainio-Mattila, K. (2010). User experience evaluation methods: current state and development needs. V Proceedings of the 6th Nordic Conference on Human-Computer Interaction: Extending Boundaries (str. 521−530). Association for Computing Machinery. Voigt-Antons, J. N., Kojic, T., Ali, D. in Möller, S. (2020). Influence of hand tracking as a way of interaction in virtual reality on user experience. V 2020 Twelfth International Conference on Quality of Multimedia Experience (QoMEX) (str. 1–4). IEEE. Watson, D., Clark, L. A. in Tellegen, A. (1988). Development and validation of brief measures of positive and negative affect: The PANAS scales. Journal of personality and social psychology, 54(6), 1063–1070. Winckler, M., Bernhaupt, R. in Bach, C. (2016). Identification of UX dimensions for incident reporting systems with mobile applications in urban contexts: A longi-tudinal study. Cognition, Technology & Work, 18(4), 673–694. Wu, O., Zuo, H., Hu, W. in Li, B. (2016). Multimodal web aesthetics assessment based on structural SVM and multitask fusion learning. IEEE Transactions on Multimedia, 18(6), 1062–1076. Yao, L., Liu, Y., Li, W., Zhou, L., Ge, Y., Chai, J. in Sun, X. (2014). Using physiolo-gical measures to evaluate user experience of mobile applications. V International conference on engineering psychology and cognitive ergonomics (str. 301–310). Springer. Zhang, Y. (2014). Searching for specific health-related information in MedlinePlus: Behavioral patterns and user experience. Journal of the Association for Information Science and Technology, 65(1), 53–68. Imensko kazalo 119 Imensko kazalo A D Albert, Bill 7 Datig, Ilka 22 Alves, Rui 12 De Guzman, Edward S. 23 Alvite-Diez, María Luisa 9 Diaz-Oreiro, Ignacio 12 Ambrožič, Melita 21 Ding, Yi 22 Appleton, Leo 16 Dirin, Amir 17 Aranyi, Gabor 20 Djamasbi, Soussan 50 Attfield, Simon 5, 6, 9, 19 Doyle, Julie 23 B E Bardeen, Angela 11 Etches, Amanda 7 Bargas-Avila, Javier 11, 19 Barifah, Maram 16 F Barnum, Carol M. 32 Fuhr, Norbert 6 Beaudry, Anne 6 Furtado, Elizabeth Sucupira 11, 12, 15, Bejarano, Mauricio 33 19, 23 Benedek, Joey 23, 33 Betz, Sonya 11 G Bhandari, Upasna 17 Gerea, Carmen 23 Boomgaarden, Hajo G. 17 Greussing, Esther 17 Borgman, Christine L. 5 Guan, Zhiwei 23 Bradley, Margaret M. 32 Burmester, Michael 30 H Hall, Robyn 11 C Hassenzahl, Marc 5, 6, 9, 13, 30 Chung, Byung Do 30 Hastings, John D. 23 Cleverdon, Cyril 5 Havlena, William J. 31 Clark, Lee Anna 34 Heidig, Steffi 18 Cvek, Ana 52 Heijden, Hans van der 19 Holbrook, Morris B. 31 120 Maja Žumer et al. Hong, Weiyin 15 M Hornbaek, Kasper 11, 19 Mahlke, Sascha 6, 10 Herskovic, Valeria 23 Maia, Camila Loiola Brito 11, 12, 15, Hu, Xiao 11 19, 23 Hunt, Nigel 21 Maister, Rudolf 55 Majors, Rice 9 J Magnusson, Charlotte 21 Jaffy, Marc 9 Massis, Bruce 16 Jarkovič, Petra 52 McCarthy, John 6 Jenny, Gregor J. 34, 35 McHale, Sue 21 Jokinen, Jussi P. 20 Merčun Kariž, Tanja 23, 41, 51, 59, 78 Jun, Jong-Kun 17 Miner, Trish 23, 33 Minge, Michael 17, 35, 36 K Moshagen, Morten 36, 37 Kallinen, Aleksi 19 Kelly, Diane 19 N Kim, Dong-hyu 11 Nielsen, Jakob 22 Kocaballi, Ahmet Baki 30 Nurkka, Piia 20 Koller, Franz 30 Konstantakis, Markos 6 O Kuhar, Maja 41 O’Brien, Heather Lynn 5, 19 Kujala, Sari 53 Othman, Mohd Kamal 17 L P Laine, Teemu H. 17 Park, Changsoon 30 Lallemand, Carine 11 Park, Cheol 17 Lalmas, Mounia 6 Partala, Timo 19 Lang, Peter J. 31, 32 Pernice, Kara 21 Law, Effie Lai-Chong 9, 11, 12, 18, 19 Peters, Twan 17 Lee, Heejin 11 Petrie, Helen 35, 41 Lee, Sangwon 16, 30 Pinsonneault, Alain 6 Lewis, James R. 7 Plutchik, Robert 31, 33, 53 Li, Xin 17 Precious, John 35, 41 Imensko kazalo 121 R V Rennick, Brian 11 Vermeeren, Arnold P. O. S. 11, 12, Rico-Olarte, Carolina 10 18, 19 Riedel, Laura 35 Voigt-Antons, Jan-Niklas 31 Rohrer, Christian 18 Roto, Virpi 18 W Rutten, Isa 17 Watson, David 34 Winckler, Marco 17 S Wright, Peter 6 Saariluoma, Pertti 20 Wu, Ou 17 Salazar, Kim 23 Sauro, Jeff 7 Z Schaik, Paul van 20 Zhang, Yan 5, 6, 16 Schiller, Julie 23 Schmidt, Aaron 7 Ž Schreiber, Marc 34, 35 Žumer, Maja 59 Schrepp, Martin 29, 41 Seo, Kwang-Kyu 30 Sun, Xianghong 19 Š Švab, Katarina 78 T Tellegen, Auke 34 Thielsh, Meinald T. 36, 37 Thüring, Manfred 10, 17, 35 Toms, Elaine G. 16 Tractinsky, Noam 5, 6, 9, 13 Triberti, Stefano 16 Tullis, Tom 7 Turner, Neil 33