ERK'2019, Portorož, 53-56 53 Taktilno-vizualni uporabniški vmesnik za voznikov prevzem upravljanja vozila pri prekinitvi avtonomne vožnje Timotej Gruden, Matevž Hribernik, Erik Keš, Jaka Sodnik, Grega Jakus Univerza v Ljubljani, Fakulteta za elektrotehniko, Tržaška cesta 25, Ljubljana, Slovenija E-pošta: timotej.gruden@fe.uni-lj.si Tactile-visual output user interface for driver take-over after autonomous driving Abstract. In this paper we present the development and evaluation procedure of a tactile-visual output user interface for take-over request during autonomous driving. A brief literature overview showed us the optimal position of tactile interface output (seat) and that the different output information level – notifications or patterns is not statistically significant. The tactile interface consists of an Arduino nano microcontroller and a 2x3 matrix of vibration motors, placed on the seat of driving simulator. The visual interface is implemented using an RGB LED strip placed at the bottom of the driving simulator’s middle screen and controlled with the same microcontroller as tactile output. A pilot study was conducted to compare the tactile-visual interface with a more common audio- visual output user interface. The results showed that the developed interface is less time demanding, more attractive and more perspicuitive, but requires more effort. 1 Uvod Razvoj avtonomne vožnje je interdisciplinaren izziv, ki vključuje razvoj zanesljive in varne strojne in programske opreme, algoritmov, komunikacijske infrastrukture, pa tudi pravne, etične in sociološke vidike. V članku se bomo osredotočili na interakcijo med voznikom in avtonomnim vozilom, ko se to znajde v okoliščinah, za katere ni usposobljeno, in zato prekine avtonomno vožnjo ter preda upravljanje vozila vozniku. Takšne okoliščine na primer vključujejo dogodke na cesti, obnašanje soudeležencev v prometu ali vremenske razmere. Učinkovita interakcija med vozilom in voznikom je v teh trenutkih zelo pomembna, saj mora voznik čim hitreje oceniti prometno situacijo in se ustrezno odzvati. Interakcija med napravo in njenim uporabnikom poteka preko medsebojnega stičnega področja, ki mu pravimo "uporabniški vmesnik". S pomočjo uporabniškega vmesnika naprava posreduje uporabniku informacije o svojem stanju, ta pa lahko na njihovi podlagi z napravo upravlja. Zasnovati smo želeli tak taktilno-vizualni uporabniški vmesnik, ki bi omogočil učinkovito in varno predajo upravljanja vozila vozniku. Raziskava različnih modalnosti uporabniških vmesnikov med avtonomno vožnjo je pokazala, da se vozniki na zahtevo za prevzem nadzora občutno hitreje odzovejo v primeru taktilnega ali zvočnega vmesnika kot vizualnega, saj prva dva omogočata hipen odziv [1]. Obenem so izvajalci pokazali še, da vrsta sekundarne naloge (poleg vožnje) statistično ne vpliva na odzivne čase voznikov. V preteklih raziskavah so Borojeni idr. želeli s spreminjanjem oblik volana in dodatnimi vibracijskimi vzorci v volanu sprožiti učinkovitejši prevzem nadzora nad vozilom, saj so predpostavljali, da je človekov taktilni kanal med vožnjo manj obremenjen, kot vizualni ali zvočni [2]. Izkazalo se je, da taka informacija voznikom bolj podaja neko dodatno zaupanje v svojo odločitev, kot pa pripomore k sami odločitvi. Za pomoč pri odločitvi naj bi se bolje obnesli dražljaji direktno na voznikovem telesu. Znano je tudi, da multimodalni uporabniški vmesniki pri uporabnikih sprožijo hitrejši odziv kot enomodalni. Ker ima že praktično vsak avtomobil vsaj en zaslon, lahko predpostavljamo, da bo zahteva za prevzem nadzora nad vožnjo zagotovo posredovana tudi preko vizualnega kanala. Študije navajajo še, da se z nadzorovano spremembo ambienta lahko izboljšajo (skrajšajo) odzivni časi voznikov pri prevzemu nadzora [3]. V navedenem primeru navajajo tudi, da se uporaba različnih vzorcev (npr. statična in premikajoča rdeča svetloba) ne izkaže za statistično pomembno. Melcher idr. so poskusili podati zahtevo za prevzem nadzora preko taktilnega kanala tudi z nenadnim hipnim trzajem oziroma zaviranjem [4]. Pri tem so ugotovili, da v primeru, ko ima voznik na voljo dovolj časa za prevzem nadzora, način podajanja informacije nima vpliva na odzivni čas voznika. Nedavna raziskava vpliva različnih vibracijskih vzorcev [5] na čas do prevzema nadzora nad vozilom je pokazala, da je najučinkovitejši položaj taktilnih aktuatorjev v sedežu vozila in v spodnjem delu naslonjala (hrbet). Izmed različnih taktilnih vzorcev, posredovanih z vibracijskimi motorji, nameščenimi v mrežah 2x2 (levo - desno, spredaj - zadaj) v voznikovem sedežu in na naslonjalu, se je najbolje izkazal vzorec, ki dvakrat zaporedoma vibrira na naslonjalu in nato še dvakrat zaporedoma v sedežu. Z obzirom na navedeno, smo si postavili dve raziskovalni vprašanji: 1. Kako zasnovati taktilno-vizualni izhodni uporabniški vmesnik za učinkovito predajo nadzora nad avtonomnim vozilom? 2. Kako oceniti uporabnost in uporabniško izkušnjo zasnovanega vmesnika? V naslednjem poglavju so predstavljene uporabljene naprave tako za taktilni kot vizualni del uporabniškega vmesnika, sledeči dve poglavji predstavljata postopek načrtovanja taktilnega vmesnika (metodologijo) in 54 možen način ocenjevanja uporabniške izkušnje (ovrednotenje). V 5. poglavju so na kratko povzeti rezultati zasnove in pilotnega ocenjevanja, v zadnjem poglavju pa smo na kratko povzeli delo in predstavili ključne ugotovitve, ki nas bodo vodile v nadaljnjem raziskovanju. 2 Uporabljene naprave Ker je potrebno taktilno-vizualni uporabniški vmesnik upravljati iz simulatorja vožnje, smo za njegovo krmiljenje uporabili krmilnik Arduino nano (s procesorjem ATmega328), ki ima vgrajen USB (Universal Serial Bus) priključek [6]. Signalne priključke taktilnega in vizualnega vmesnika smo priključili neposredne na krmilnikove večnamenske vhode in izhode (GPIO – General-Purpose Input/Output). 2.1 Taktilno-vizualni uporabniški vmesnik Za izvedbo taktilnega vmesnika smo uporabili šest enosmernih vibracijskih motorčkov (3 V / 70 mA) z 12000 obrati na minuto (RPM – Roots per Minute), ki so namenjeni za uporabo v mobilnih telefonih. Primer uporabljenega motorčka je prikazan na Sliki 1. Slika 1. Vibracijski motor v taktilnem vmesniku. Vizualni del uporabniškega vmesnika smo izvedli z LED trakom, dolžine cca. 35 cm, s 26 integriranimi svetlobnimi viri LED WS2812B. Vsak vir vključuje rdečo, modro in zeleno LED diodo in mu je mogoče nastavljati barvo in svetlost. 2.2 Simulator vožnje Uporabniški vmesnik smo integrirali v simulator vožnje Nervtech TM [7] (Slika 2). Simulator sestoji iz treh ekranov, nastavljivega sedeža, volana in stopalk. Slika 2. Simulator vožnje Nervtech TM 3 Integracija v simulator vožnje 3.1 Taktilni vmesnik Wan in Wu sta v svoji študiji pokazala, da je najboljši položaj za postavitev vibracijskih motorjev sedalo ali spodnji del naslonjala sedeža [5]. Tudi sami smo ugotovili, da taktilnih dražljajev v avtomobilskem sedežu na hrbtu skoraj ne čutimo. Verjetno je k temu botrovala tudi oblika naslonjala – v uporabljenem simulatorju je nameščen športni sedež, ki ima trše stranice, obrnjene naprej (Slika 2). Vibracijske motorje smo zato namestili le v sedalo, in sicer razporejene v dveh vrstah s po tremi motorji. Eno vrsto smo namestili ob levi, drugo pa ob desni strani sedala (Slika 3). Tako lahko z različnimi vzorci ločeno krmilimo vibratorje v levi ali desni vrsti oziroma vse hkrati. Slika 3. Integracija taktilnega izhodnega uporabniškega vmesnika v sedalo simulatorja vožnje (traka piezoelektričnih aktuatorjev na levi in desni strani sedala). 3.2 Vizualni vmesnik Trak svetlečih diod za ambientalno svetlobo oz. informacijo o stanju avtonomnega vozila, smo namestili na spodnji rob sredinskega zaslona simulatorja (Slika 4). V vozilu je to tik pod armaturno ploščo, kamor je pogosto usmerjen voznikov pogled. Slika 4. Integracija vizualnega uporabniškega vmesnika v simulator vožnje (LED trak pod osrednjim zaslonom). Zelena svetloba nakazuje vključeno avtonomno vožnjo, rdeča svetloba pa zahtevo za prevzem nadzora. 55 Ugasnjene svetleče diode nakazujejo, da ima uporabnik nadzor nad vozilom. Zahteva za prevzem nadzora (rdeča svetloba) se podobno kot pri taktilnem vmesniku lahko pojavi na levem delu, desnem delu ali po celotnem LED traku. 3.3 Krmiljenje Oba vmesnika krmili isti krmilnik, ki je nameščen pod naslonjalom sedeža (Slika 5). Krmilnik je z računalnikom, na katerem se izvaja programska oprema simulacije, povezan preko vodila USB 2.0. Vibracijski motorji so na krmilnik priključeni neposredno kot vhodno/izhodne enote krmilnika, LED trak je povezan preko daljše sukane parice, napajanje svetlečih diod pa prek lastnega napajalnika. Slika 5. Krmilnik taktilno-vizualnega izhodnega uporabniškega vmesnika, nameščen pod naslonjalom sedeža. Stopnjo informacije dražljaja razdelimo v tri kategorije:  opozorilo: preprost enkraten dražljaj (npr. pisk), katerega učinek je zgolj pritegnitev pozornosti,  vzorec: zaporedje ali kombinacija več različnih preprostih dražljajev, ki skupaj poleg pritegnitve pozornosti lahko podajajo še preprosto informacijo,  opis: kompleksna oblika informacije, podana v obliki naravnega jezika, npr. besedila ali govora. Načrtovani uporabniški vmesnik omogoča tako posredovanje opozoril, kot tudi vzorcev. Z obliko in proženjem dražljajev upravlja programska oprema simulacije vožnje preko namensko razvitega modula. V njem smo implementirali protokol komunikacije programske opreme s krmilnikom preko zaporednega komunikacijskega vodila. 4 Ovrednotenje uporabniškega vmesnika Za prvi preizkus delovanja taktilno-vizualnega uporabniškega vmesnika smo izvedli pilotno študijo, v kateri smo sodelujoče povprašali po obremenitvi (NASA Task Load Index [8]) in uporabniški izkušnji (UEQ – User Experience Questionnaire [9]). Sodelovale so štiri osebe moškega spola, stare med 20 in 30 let. 4.1 Tehnična postavitev pilotne študije Pilotno študijo smo izvedli kot primerjavo med taktilno- vizualnim in avdio-vizualnim izhodnim uporabniškim vmesnikom. Oba (taktilni in zvočni) kanala imata pri uporabniku možnost vzbuditi hipen odziv, zato ju lahko primerjamo med sabo. Zvočni dražljaj je predstavljal pisk iz levega, desnega ali obeh zvočnikov. 4.2 Naloge Vozilo je bilo avtonomno (nivo 3 po lestvici SAE [10]), a je med vožnjo naletelo na nekaj nepredvidenih situacij. Od polovice uporabnikov je zahtevalo prevzem nadzora s taktilno-vizualnim vmesnikom, od druge polovice pa z avdio-vizualnim vmesnikom. Voznikova primarna naloga je bila varna vožnja. V danem primeru je to pomenilo, da mora zagotovo prevzeti nadzor nad vozilom, ko vozilo to zahteva. Med avtonomno vožnjo so vozniki na mobilnem telefonu igrali igro tetris. Na ta način smo simulirali voznikovo nepozornost na dogajanje med avtonomno vožnjo. 4.3 Postopek Vsakemu udeležencu smo najprej obrazložili namen študije, nato je podpisal soglasje za sodelovanje. Prikazali smo mu delovanje simulatorja, avtonomne vožnje in načine, kako lahko prevzame nadzor nad vozilom. Vse omenjeno je lahko udeleženec tudi sam preizkusil. Nato smo mu pokazali še možna opozorila taktilno-vizualnega oz. avdio-vizualnega izhodnega uporabniškega vmesnika in pričeli s cca. 20 minutno vožnjo. 5 Rezultati Iz odgovorov udeležencev na vprašalnik o uporabniški izkušnji (Graf 1) lahko razberemo, da se jim je taktilno- vizualni izhodni uporabniški vmesnik zdel bolj atraktiven in pregleden kot avdio-vizualni. Kljub temu so avdio-vizualnega ocenili za učinkovitejšega kot taktilno-vizualnega. Ostalih kategorij zaradi prevelikih odstopanj (premajhnega števila uporabnikov) ni mogoče primerjati. -4 -3 -2 -1 0 1 2 3 4 Taktilno-vizualni Avdio-vizualni Graf 1. Rezultati vprašalnika o uporabniški izkušnji (UEQ) Odgovori na vprašalnik o obremenitvi med izvajanjem naloge (NASA TLX) so v dveh vrstah obremenitve očitno razdeljeni v dva pola, kjer en predstavlja uporabo taktilno-vizualnega, drugi pa avdio- vizualnega vmesnika (Graf 2). Razberemo lahko, da se je uporabnikom taktilno-vizualni vmesnik zdel manj časovno zahteven kot avdio-vizualni, a so morali za prevzem nadzora očitno vložiti več truda kot uporabniki 56 avdio-vizualnega vmesnika. Povprečna vrednost obremenitve po NASA TLX vprašalniku je bila za obe skupini uporabnikov enaka. 0 50 100 150 200 250 300 350 400 Taktilno-vizualni Avdio-vizualni Graf 2. Rezultati vprašalnika o obremenitvi med izvajanjem naloge (NASA TLX). 6 Razprava in zaključek Uspešno smo torej izdelali taktilno-vizualni uporabniški vmesnik. Eksperimentalno smo ugotovili, da je za položaj vibracijskih motorjev najboljši položaj sedalo. Stopnjo podane informacije smo tokrat omejili na opozorila, a smo pustili tudi možnost za uporabo vzorcev. Verjetno bi bilo smiselno preveriti še, kakšne so razlike v odzivnih časih med vzorci in opisom situacije, a predvidevamo, da je razumevanje opisa situacije (besedila oz. govora) pogojeno s časom, ki ga ima uporabnik na voljo. Če bi uporabnik vedel, da ima dovolj časa za prevzem upravljanja vozila, bi verjetno iz opisa razbral več informacij in bi se lahko bolj pravilno odločil. Vsekakor bi morali to najprej preveriti z obsežnejšo študijo. Iz testiranja uporabniškega vmesnika (odgovorov na vprašalnike) smo lahko razbrali, da se novi vmesnik uporabnikom zdi manj časovno obremenjujoč ter bolj atraktiven in pregleden kot avdio-vizualni vmesnik. Manjšo časovno obremenitev povezujemo predvsem z manjšo zasedenostjo taktilnega kanala pri uporabniku. Nekoliko več truda je bilo verjetno potrebno vložiti v obvladanje zaradi novosti oz. »nenavajenost« na tak vmesnik. Vsak uporabnik ima v vozilu ogromno zvočnih dražljajev, zato je nanje navajen in verjetno nanje lažje reagira, kot na zanj novi taktilni dražljaj. Tudi pripisovanje večje učinkovitosti avdio-vizualnem vmesniku je najverjetneje prav tako posledica nenavajenosti na taktilnega. Vsekakor smo s taktilnim vmesnikom dosegli ne samo večjo atraktivnost, ampak tudi večjo preglednost nad situacijo, kar je za obravnavani problem ključnega pomena. Zahvala Prispevek je nastal v okviru projekta »Razvoj uporabniškega vmesnika za voznikov prevzem upravljanja vozila pri prekinitvi avtonomne vožnje«. Projekt sta v okviru javnega razpisa »Projektno delo z gospodarstvom in negospodarstvom v lokalnem in regionalnem okolju – po kreativni poti do znanja 2017- 2020« sofinancirala Republika Slovenija in Evropska unija iz Evropskega socialnega sklada. Literatura [1] S. Petermeijer, F. Doubek, in J. de Winter, „Driver response times to auditory, visual, and tactile take- over requests: A simulator study with 101 participants“, v 2017 IEEE International Conference on Systems, Man, and Cybernetics (SMC), 2017, str. 1505–1510. [2] S. S. Borojeni, T. Wallbaum, W. Heuten, in S. Boll, „Comparing Shape-Changing and Vibro- Tactile Steering Wheels for Take-Over Requests in Highly Automated Driving“, v Proceedings of the 9th International Conference on Automotive User Interfaces and Interactive Vehicular Applications, New York, NY, USA, 2017, str. 221–225. [3] S. S. Borojeni, L. Chuang, W. Heuten, in S. Boll, „Assisting Drivers with Ambient Take-Over Requests in Highly Automated Driving“, v Proceedings of the 8th International Conference on Automotive User Interfaces and Interactive Vehicular Applications, New York, NY, USA, 2016, str. 237–244. [4] V. Melcher, S. Rauh, F. Diederichs, H. Widlroither, in W. Bauer, „Take-Over Requests for Automated Driving“, Procedia Manuf., let. 3, str. 2867–2873, jan. 2015. [5] J. Wan in C. Wu, „The Effects of Vibration Patterns of Take-Over Request and Non-Driving Tasks on Taking-Over Control of Automated Vehicles“, Int. J. Human–Computer Interact., let. 34, št. 11, str. 987–998, nov. 2018. [6] „Arduino Nano“. [Na spletu]. Dostopno na: https://store.arduino.cc/arduino-nano. [Pridobljeno: 18-jul-2019]. [7] „Nervtech Simuation Technologies“, Nervtech. [Na spletu]. Dostopno na: https://www.nervtech.com. [Pridobljeno: 29-apr-2019]. [8] S. G. Hart in L. E. Staveland, „Development of NASA-TLX (Task Load Index)“, v Advances in Psychology, let. 52, P. A. Hancock in N. Meshkati, Ur. North-Holland, 1988, str. 139–183. [9] M. Schrepp, „User Experience Questionnaire Handbook“, sep. 2015. [10] „SAE International Releases Updated Visual Chart for Its “Levels of Driving Automation” Standard for Self-Driving Vehicles“. [Na spletu]. Dostopno na: https://www.sae.org/. [Pridobljeno: 19-jul- 2019].