ERK'2022, Portorož, 138-141 138 Kvaliteta uporabniške izkušnje Katjuša Jaklič , Urban Burnik Univerza v Ljubljani , Fakulteta za elektrotehniko Tržaška cesta 25, 1000 Ljubljana . E -pošta: kj3561@student.uni -lj.si , urban.burnik@fe.uni -lj.si Abstract . Quality of Experience (QoE) is becoming an important aspect of user -oriented multimedia services. In the research, we present selected aspects of t he quality of user experience, examples of good practice, methods of user experience evaluation and effectiveness of these metrics. We focus on analysing quality of user experience of mobile services for on -demand video content viewing. 1 Uvod S povečevanje m kompleksnosti multimedijskih storitev narašča tudi potreba po celovitem in objektivnem ovrednotenju zadovoljstva uporabnika z izbrano storitvijo [1] . Pojem kvalitete storitev ( Quality of Service, krajše QoS) ne pokriva več celovitih zahtev na komunikacijskem tržišču , saj rezultati ne izražajo celovitega vtisa uporabnikov pri uporabi storitve . Skladno s priporočili Rec. ITU -T P.10/G.100 kvalitet o uporabniške izkušnje (Quality of Experience, QoE) opredeljujemo z zadovoljstvo m ali pa nejevoljo uporabnika nad storitvijo , pri čemer je vrednotenje QoE še predmet razvoja in ni enoznačno opredeljeno [2] . Z osredotoč enjem na kvaliteto uporabniške izkušnje mobilnih aplikacij , ki ponujajo video vsebin e na zahtevo, v prispevku primerjamo nekatere globalno naj po- membnejše ponudnike tovrstnih storitev . Na podlagi rezultatov predstavlj amo tudi primer e dobre prakse in izpostavljamo, na katere dejavnike moramo biti pozorni pri razvoju takšnih aplikacij . 2 Orodja in postopki Področje kvalitete uporabniške izkušnje je široko in ustreznost njenega vrednotenja je pogojena z dejavniki, vezanimi na področje storitve . Na razpolago imamo številne modele vrednotenja QoE [3] . Meritev kvalitete uporabniške izkušnje video vsebin lahko izvajamo z objektivnim ovrednotenjem posameznih elementov ogleda in na podlagi subjektivnih ocen uporabnikov pridobljenih z vprašalniki. Pri objektivnem merjenju največjo vlogo igrajo vizualna kvaliteta vseb ine, avdio -video sinhronizacija, časovna interakcija , časovna sinhronizacija in vpliv omrežja. Vizualno kvaliteto vsebine lahko razdelimo v več področij, navadno preverjamo ponujeno in dejansko resolucijo, popačenje slike, zvoka, zamegljenost ter ustreznos t barv. Časovna interakcija zajema merjenja odzivnosti sistema pri različnih interakcijah uporabnika in jo merimo od pritiska na gumb do izvedbe dejanja [4] . Subjektivno oceno dejavnikov QoE običajno pridobimo z uporabo vprašalnikov. Takšna je na primer uporaba ocene MOS [5] . Danes ocenjevanje QoE povzema tudi holistične metode, kot jih poznamo v analizi uporabniške izkušnje (UX) v domeni komunikacije človek-stroj [6] . Vprašalniki lahko predstavlja jo odličen vir povratnih informacij, saj so uporabniki ključn i del storitve . Vprašalniki so lahko standardizirani, lahko pa so prilagojeni in ustvarjeni samost ojno. Med najpogosteje uporabljane standardizirane vprašalnike spada vprašalnik UEQ, ki je sestavljen iz med seboj nasprotujočih si lastnosti, ki jih dotična storitev vsebuje. Pri tem ni pravilnih in napačnih odgovorov, uporabnik le izrazi svoje mnenje [ 3]. V študiji mobilnih aplikacij z video vsebinami na zahtevo smo najprej podali analizo njihovih uporabniških vmesnikov. Nato smo izbrali dve področji vrednotenja, pri čemer prv o podaja objektivno povratno informacijo o storitv i in drug o subjektivno. V skl opu prvega smo zajeli merjenje vizualne kvalitete vsebine in časovne interakcije različnih akcij, ki so skupne vsem ponudnikom . V drugem sklopu smo z ustvarjenim vprašalnikom preverili uporabniško izkušnjo med uporabniki posameznih storitev. V raziskavi je sodelovalo 22 uporabnikov storitev, v starostni skupini 19-26 let, od tega 1 0 oseb moškega in 1 2 ženskega spola . Na podlagi rezultatov smo skušali določit i mobilno aplikacijo, ki ponuja najboljšo kvaliteto uporabniške izkušnj e. Študijo smo zaključili z navedbo primerov dobre prakse . 3 Rezultati Za primerjavo smo izbrali 4 globalne ponudnike video vsebin na zahtevo, in sicer Netflix, Amazon Prime Video, HBO Max ter Apple TV+. Zaradi specifičnosti slovenskega trga s mo v raziskavo vključili tudi Voyo . 3.1 Uporabniški vmesnik S primerjavo uporabniških vmesnikov smo preverili samo delovanje, funkcionalnosti in število korakov za posamezne akcije pri vseh 5 ponudnikih. Gre za pomembne faktorje, ki odločilno vplivajo na uporabo aplikacij in samo kvaliteto uporabniške izkušnje. Netflix uporabniku ponuja pregledno in nekoliko nasičeno domačo stran, kjer mu predlaga vsebine, ki ustrezajo njegovim preferencam glede na pretekle ogledane vsebine. Domača stran je razdeljena na več 139 smiselnih delo v, kjer so vsebine kategorizirane po različnih kriterijih. Vsebine različnih kategorij so različno izpostavljene, imajo različne velikosti naslovne slike in pripadajočih podatkov. Naslovi vsebin so napisani na naslovnih slikah, kar razbije monotonost seznama. Netflixov predvajalnik vsebine je pregleden, smiselno razporejen in uporabniku prikazuje vse funkcije, ki jih v danem trenutku lahko uporabi. Elementi niso skriti v menijih, temveč so logično prikazani in ponekod opremljeni tudi z besedilom z razlago. Predvajalnik se ob začetku predvajanja avtomatsko o brne v ležečo orientacijo in s tem ponudi velikost predvajalnika, ki uporabniku nudi optimalno izkušnjo ogleda. Uporabnik ima nad samo uporabo precejšen nadzor, tukaj je predvsem pomemben gumb za preskok uvodne špice video vsebine. Slika 1: Domače strani mobilnih aplikacij ponudnikov HBO Max ima pregledno domačo stran, ki uporabniku najprej ponudi vsebine, ki jih še ni pogledal do konca. Sledijo različne kategorije vsebin, ki jih uporabnik lahko pregleduje horizontalno in vertikalno. Domača stran je bolj preprosta in umirjena. Naslovi vsebin so prav tako napisani na naslovnih slikah, kar razbije monotonost prikaza in vpelje nekaj dinamike. Predvajalnik je pri HBO Max preprost in eleganten, vendar nudi manj funkcionalnosti kot Netflix, prav tako pa ne vsebuje besedilih razlag posameznih ikon. Tudi pri tej aplikaciji se predvajalnik avtomatsko zasuče v ležečo orientacijo, s čimer uporabniku takoj omogoči optimalno velikost ogleda. Prav tako ima možnost preskoka uvodne špice, kar uporabniku omogoča nadzor nad aplikacijo. Velika pomanjkljivo st predvajalnika je, da ne ponuja hitrega vrtenja video vsebine naprej in nazaj z dvojnim pritiskom na levo oziroma desno stran zaslona. Uporabniški vmesnik aplikacije Prime Video sestoji iz preproste in pregledne domače strani, ki prikazuje vsebine po ra zličnih kategorijah, nekaj izmed teh je tudi animiranih, na kar je uporabnik bolj pozoren. Velikost posameznih naslovnih slik vsebin je tekom domače strani konstantna, kar vpelje konsistenco v sam uporabniški vmesnik. Tudi tukaj so naslovi vsebin napisani na samih naslovnih slikah, ki ustrezajo vsebini filma ali serije. Predvajalnik aplikacije je pregleden, nudi manj funkcionalnosti kot Netflix ter vsebuje ikone, ki pa niso opremljene z dodatnim besedilom. Tudi tu se orientacija zaslona avtomatsko spremeni ob začetku predvajanja. Uporabniku je ponujen gumb za preskok uvodne špice , nima pa možnosti hitrega preskoka z dvojnim pritiskom na levo oziroma desno stran zaslona, ima pa hitro začasno ustavitev, ki jo uporabnik sproži s pritiskom v sredino zaslona med predvajanjem. Apple TV+ nudi preprosto domačo stran, ki je oblikovana v stilu Applovega sistema iOS. Vsebine so kategorizirane v horizontalne sezname , ki so različnih velikosti in oblik . Ponekod so naslovne slike precej majhne in so naslovi, napisani na n jih, težje berljivi. Predvajalnik je običajen Applov predvajalnik vsebin, ki pa ne nudi avtomatskega zasuka predvajalnika v ležečo orientacijo, za kar mora uporabnik poskrbeti sam (ob zaklenjeni rotaciji zaslona se poveča število korakov ). Zaslon uporabnik u nudi običajne funkcionalnosti, nekatere pa so skrite še v meniju, kar nekoliko podaljša pot do izvedbe teh akcij. Vmesnik ne omogoča hitrih akcij vrtenja vsebine naprej z dvojnimi pritiski na zaslon ter prav tako ne omogoča hitre začasne ustavitve vsebin e. V primerjavi z globalnimi ponudniki, Voyo uporabniku ponuja preprosto in pregledno domačo stran, kjer so na vrhu izpostavljene vsebine, sledijo vsebine v živo ter nato ostale vsebine v različnih kategorijah. Velikost slik posameznih video vsebin je konstantna, nekoliko večja je le pri izpostavljenih kategorijah. Predvajalnik video vsebin je preprost in sicer običajen sistemski predvajalnik vsebin , sestavljen iz treh vrsti c , ki lebdijo na zaslonu. Ikone niso dopolnjene z besedilom, saj jasno nakazujejo s vojo akcijo. Pomanjkljivost predvajalnika je, da ne omogoča vrtenja video vsebine naprej in nazaj z dvojnim pritiskom na levo oziroma desno stran zaslona, prav tako pa se predvajalnik ne obrne avtomatsko v ležečo orientacijo ob začetku predvajanja. 3.2 Časov na interakcija in vizualna kvaliteta Prve m eritve, ki smo jih opravili , so bile del merjenj časovne interakcije, in sicer zamik pri začetku predvajanja, pri začasni ustavitvi predvajanja, pri vrtenju s pomočjo osi, pri vrtenju z gumbi za +/ - 10 oz. 15 sekund, pri dokončni prekinitvi predvajanja te r začetno popačenje videa , ki spada v vizualno kvaliteto vsebine . Za vsakega ponudnika smo naključno izbrali 5 video vsebin, za katere smo iz merili zastavljene parametre in beležili njihove rezultate. Vsi ponudniki so bili testirani v enakem okolju , priključeni na enako domače brezžično omrežje. Na grafu 1 so grafično predstavljene povprečne vrednosti zamikov pri začetku predvajanja ter pri začasni in popolni ustavitvi za posameznega ponudnika storitve . Zamik na začetku predvajanja smo merili od trenutka, ko je uporabnik sprožil predvajanje željene vsebine pa do trenutka, ko se je vsebina začela predvajati. Najbo ljši rezultat je imela aplikacija Prime Video, kjer se komajda zazna zakasnitev. Sledila sta Netflix in HBO Max. Pri merjenju je izstopal le Apple TV+, ki je imel nekoliko večjo zakasnitev (4 sekunde), kar pa je za uporabnika lahko moteče. 140 Grafikon 1: Povprečne vrednosti zamikov [s] Zamik pri začasni ustavitvi predvajanja smo merili od trenutka, ko uporabnik pritsne na gumb in do trenutka, ko vsebina preneha s predvajanjem. Pri tem ni bilo posebn o izstopajočih rezultatov, vsi ponudniki so imeli podobne čase zakasnitev, ki se izkažejo kot primeri dobre prakse, saj je akcija izvršena takoj. Dokončna ustavitev predvajanja se je merila od trenutka, ko uporabnik pritisne na gumb za izhod in do trenutka, ko se predvajal nik zapre. Pri tem je časovna meritev presenetila pri ponudniku Apple TV+, saj je napram začetnemu zamiku (4 sekunde) za izhod potreboval manj kot polovico sekunde . Tudi ostali ponudniki so imeli konkurenčne rezultate, nekoliko dlje zapiranje predvajanja traja pri ponudniku HBO Max. Voyo je v primerjavi z ostalimi ponudniki glede na pridobljene rezultate kar precej konkurenčen in je pri meritvah časovnih interakcij v sredini. Nekoliko slabši rezultat je dobil pri začetnem zamiku, ko je aplikacija za to v povprečju potrebovala 4 sekunde, podobno kot Apple TV+. Rezultati so pokazali, da izredno hitro izvede akcije za začasno in popolno ustavljanje . Na grafu 2 so predst avljena še preostala tri merjenja, in sicer povprečne vrednosti zamikov pri hitrem vrtenju video vsebine z gumbi in s pomočjo časovne osi ter trajanje popačenj a na začetku predvajanja. Grafikon 2: Povprečne vrednosti zamikov i n popačenja [s] Vsak izmed ponudnikov svojemu uporabniku ponuja gumbe za hitro premikanje naprej in nazaj po video vsebini . Merjenje smo izvedli od trenutka, ko uporabnik pritisne na pripadajoči gumb ter do trenutka, ko se video vsebina premakne na željen i čas. Nekoliko izstopajoč je bil premik pri aplikaciji Prime, ki premik izvede v manj kot pol sekunde, ter na drugi strani pri aplikaciji HBO Max, ki si za to vzame skoraj sekundo in pol. Pri vseh, razen pri slednjem, je ta premik eleganten in komaj opazen. Vrtenje video vsebine je možno tudi s premikanjem časovne osi, kjer je najslabši rezultat dosegel Apple TV+, ki za premik potrebuje nekaj manj kot 3 sekunde, to pa predstavlja že precejšen zamik za uporabnika. HBO Max je takoj za njim, preostala d va, Netflix in Prime video pa nudita dobro izkušnjo z vrtenjem video vsebin in je ta premik hiter in eleganten. Ob začetku vsakega predvajanja, predvajalnik potrebuje nekaj sekund, da izostri sliko in začne popoln prenos. Popačenje slike smo merili od tre nutka, ko se predvajanje vsebine začne pa do trenutka, ko se popačenje posameznih slik stabilizira in je slika čista. Popačenje je bilo pri treh ponudnikih minimalno, pri HBO Max pa je v povprečju trajalo 3 sekunde . Voyo je pri drugi polovici merjenj v pr imerjavi z ostalimi ponudniki nekje v sredini, z izjemo vrtenja s pomočjo časovnice, ki traja dlje časa . Popačenje na začetku je kratko , komaj opazno in med izmerjenimi ni največje. 3.3 Ocene dejanskih uporabnikov Uporabniška izkušnj a je predvsem doživljanje dejanskih uporabnikov, kako se ob določeni storitvi počutijo, kako so z njo zadovoljni, kakšn e se jim zdijo posamezn e funkcionalnosti in podobno. Za ta namen smo pripravili in izvedli vprašalnik, kjer so uporabniki podali povratne inf ormacije o posameznih mobilnih aplikacijah izbranih ponudnikov. Za vsakega izmed teh je bilo pripravljenih 10 trditev o uporabniškem vmesniku, kjer so se opredelili med dvema poloma. Rezultati so prikazani na grafu 3 . Grafikon 3: Rezultati vprašalnika o zadovoljstvu (v odstotkih) Kot najbolj pregledno in preprosto so uporabniki označili aplikacijo Netflix, najmanj pregledno in komplicirano pa Amazon Prime Video. Ostali ponudniki so nekje v sredini. V razumljivosti vmesnika so si ponudniki blizu, najboljše ocene so namenili Netflixu. Kot najbolj dolgočasen je bil ocenjen HBO Max, ostali ponudniki uporabnikom ponujajo zanimive vmesnike. HBO Max in Amazon Prime Video sta bila označena kot nekoliko 141 težja za učenje napram ostalim. HBO Max prav tako spada med nekoliko počasnejše in tudi nekoliko bolj zastarele vmesnike, kot ostali ponudniki. Kot najbolj raznolik vmesnik so izbrali Apple TV+, pri ostalih pa so razlike med raznolikostjo in enoličnostjo zelo majhne. HBO Max je bil prav tako označen za vmesnik, ki deluje najbolj zatikajoče, med tem ko so bili ostali ocenjeni veliko bolj pozitivno. Vmesniki so bili, z izjemo aplikacije Amazon Prime Video, ki se je znašla nekje v sredini, ocenjeni kot privlačni. Če povzamemo meritve pregledanih aplikacij ter prejete povratne informacije o uporabniški izkušnji, lahko opazimo, da mobilna aplikacija Netflix uporabniku zagotavlja hiter, odziven in moderen vmesnik, ki vsebuje vse pomembne funkcionalnosti in še nekaj dodatnih, ob tem pa uporabni ku nudi dobro uporabniško izkušnjo, saj je izmed vseh v povprečju dobil najboljše ocene. Na drugi strani imamo HBO Max, ki na meritvah ni dosegal konkurenčnih rezultatov, prav tako pa je pri uporabniških ocenah dobil ene izmed slabših ocen. Preostal a ponudnika sta nekje v sredini . Prime Video je navdušil le na meritvah, med tem ko uporabniki z uporabniško izkušnjo niso najbolj zadovoljni. Ravno obratno je pri ponudniku Apple TV+, kjer so bili izmerjeni rezultati slabši in ocene uporabnikov boljše. Najboljše razmerje med obojim nam torej nudi aplikacija Netflix. 3.4 Primeri dobre prakse Z izvedeno raziskavo o uporabniških izkušnjah aplikacij in pridobljenimi rezultati ter povratnimi informacijami, lahko izpostavimo elemente, ki so ključnega pomena pri tovrstnih a plikacijah . Pri načrtovanju uporabniškega vmesnika je pomembno, da je ta čim bolj preprost, čim manj kompliciran in preprost za učenje. To se kaže pri aplikaciji Netflix, ki ji uporabniki ostajajo zvesti, saj je vmesnik preprost , pregleden in razumljiv , ob tem pa ni kompliciran ih elementov, oziroma se določenih stvari lahko tudi hitro nauči. Prav tako moramo poskrbeti, da so časovni zamiki do izvedbe neke akcije čim manjši, sicer uporabnik dobi občutek »slabega delovanja«, kar vpliva na njegovo uporabo apli kacije. Dober primer hitrega delovanja sta aplikaciji Netflix in Amazon Prime Video, ki sta pri testiranju dobili precej boljše rezultate, kot preostale aplikacije. Poskrbeti je treba, da je število korakov do izvršitve neke akcije čim manjše, da uporabnik u neka preprosta operacija ne vzame preveč časa, ob tem pa zamudi vsebino. S tem uporabnik dobi občutek nadzora nad vmesnikom in ga posledično raje uporablja. Glede na prejete povratne informacije s strani uporabnikov lahko izpostavimo, da je dober vmesnik moderen, privlačen, hiter in deluje tekoče. Pri načrtovanju tovrstne aplikacije lahko torej več časa in sredstev namenimo v izdelavo hitrega, odzivnega in preglednega vmesnika , ob tem pa poskrbimo, da bo število korakov za izvedbo posameznih funkcij čim m anjše. 4 Zaključek Z raziskavo o uporabniških izkušnjah mobilnih aplikacij, ki ponujajo video vsebine na zahtevo smo pridobili konkretne povratne informacije in smernice, kako tovrstno aplikacijo načrtovati in oblikovati. S prikazom primerov dobre prakse na tem področju smo zagotovili dober pregled nad zahtevami uporabnikov in kako so jih realizirali pri konkurenci. Z ocenami uporabnikov smo dobili dejanske povratne informacije, ki nudijo dobro subjektivno oceno o uporabniški izkušnji. Uporabniška izkušnja je pomemben del s toritve oziroma aplikacije, saj je od nje odvisno, ali se bodo uporabniki vračali k nam, kar posledično določa naš zaslužek. Poskrbeti moramo, da uporabniku ponudimo preprost, privlačen in moderen vmesnik, ki pa mora delovati dovolj hitro, da ga uporabnik dojema kot »tekoče delujočega«. Prav tako mora uporabnik imeti občutek nadzora nad samo uporabo, ponujene mu morajo biti funkcije, ki jih v danem trenutku lahko izvede . T e morajo biti jasne in preproste. Vsekakor je pomembno, da se sistem ves čas posodablj a, predvsem pa da se pri tem upošteva povratne informacije samih uporabnikov, saj imajo oni največ izkušenj z dobrimi in slabimi lastnostmi aplikacije. Literatura [1] C. Hewage in E. Ekmekcioglu, „Multimedia Quality of Experience (QoE): Curr ent Status and Future Direction,“ Future Internet, Izv. 12, št. 7, p. 121, 2020. [2] “Recommendation ITU -T P.10/G.100: Vocabulary for performance, quality of service and quality of experience,” 2019. [3] K. U. R. Laghari in K. Connelly, „Toward total quality of experience: A QoE model in a communication ecosystem,“ IEEE Communications Magazine, Izv. 50, št. 4, pp. 58 - 65, 2012. [4] F. Kuipers, R. Kooij, D. De Vleeschauwer in K. Brunnström, „Techniques for Measuring Quality of Experience,“ v Wired/Wireless Internet Communications , Berlin, Heidelberg, 2010. [5] T. Hoßfeld, C. Keimel, M. Hirth, B. Gardlo, J. Habigt, K. Diepold in P. Tran -Gia, „Best Practices for QoE Crowdtesting: QoE Assessment With Crowdsourcing,“ IEEE Transactions on Multimedia, Izv. 16, št. 2, pp. 541 -558, 2014. [6] N. Hussain in G. Ghinea, „Guidelines for evaluating wearables’ quality of experience in a mulsemedia context,“ Multimedia Tools and Applications, 2022.