ERK'2022, Portorož, 154-157 154 Delen in postopen prevzem vodenja pogojno avtonomnega vozila Timotej Gruden, Grega Jakus Univerza v Ljubljani, Fakulteta za elektrotehniko, Tržaška c. 25, 1000 Ljubljana, Slovenija E-pošta: timotej.gruden@fe.uni-lj.si Partial and Gradual Take-Over of a Conditionally Autonomous Vehicle Abstract. A conditionally autonomous vehicle, as defined by the Society of Automotive Engineers (SAE), is a vehicle that is capable of driving autonomously in a predefined environment (e.g., highway), but requires the driver to intervene in limited time, i.e., takeover (TO), in situations beyond the scope of the vehicle's algorithms. Before they become part of our everyday life, the human-vehicle interaction during TO needs to be improved in terms of safety and driving continuity. With a user study in a driving simulator, we evaluated two novel approaches to TO procedures: a) a partial take- over (PTO) approach, in which the longitudinal coordination of the vehicle remains automatic when the TO is performed by steering only, and b) a gradual take-over (GTO) approach with additional warnings and automatic braking maneuvers. The results showed that only when PTO and GTO approaches are used in combination, the TO procedure is improved (less collisions, longer minimal time to collision (TTC), smaller maximal lateral acceleration). 1 Uvod Da je avtonomna vožnja že pred vrati, dandanes ni več nobena skrivnost. Pred prihodom brezpogojne avtonomije vozil v vsakršnem okolju in prednosti, ki jih ponuja (npr. izboljšane možnosti mobilnosti, nižji izpusti ogljikovega dioksida, izboljšana varnost v cestnem prometu), pa nas čaka še vrsto preizkušenj in vmesnih stopenj tako imenovane »pogojno avtonomne« vožnje. Glede na šeststopenjski prehod iz ročne k avtonomni vožnji, kot ga določa združenje SAE [1], trenutna tehnologija po skoraj vseh merilih omogoča prehod iz druge v tretjo stopnjo avtomatizacije. V okviru te zmore vozilo avtonomno voziti v določenih okoliščinah (npr. na avtocesti v lepem vremenu), voznik pa mora biti vseskozi pripravljen prevzeti vodenje vozila ob podani zahtevi (ang. Take-over request – TOR). Med vožnjo lahko sicer svojo pozornost posveti drugim opravilom, npr. telefonskemu pogovoru ali uporabi zabavno-informacijskega sistema. Velja torej, da je za učinkovit prevzem vodenja vozila in tekoč prehod voznika od sekundarne naloge nazaj k primarni (vožnja) nujna zelo dobra interakcija med voznikom in vozilom (ang. human-vehicle interaction – HVI). Morales-Alvarez idr. so v nedavnem pregledu literature ugotovili, da ima trenutno stanje voznika ključno vlogo v procesu prevzema vodenja [2]. Gold idr. so s strojnim učenjem modelirali in preučevali voznikove odzive [3], Zhou idr. pa so s sledenjem pogledu in modeli strojnega učenja napovedovali situacijsko zavedanje voznikov [4]. Da bi izboljšali situacijsko zavedanje po opravljanju sekundarne naloge, so Ma idr. poskusili z zahtevami za postopni prevzem vodenja, pri čemer je bila nekaj sekund pred zahtevo za prevzem podana še zahteva za »pozornost« [5]. Yun in Yang sta poročala, da je med večmodalnimi vmesniki najučinkovitejša kombinacija vizualne, zvočne in taktilne modalnosti [6]. Zaradi varnosti sodobna vozila v kritičnih situacijah izvajajo različne varnostne manevre, npr. zaviranje v sili. Vozilo v teh primerih poda opozorilo, ko niso več izpolnjeni pogoji za uporabo določenega avtomatiziranega sistema (npr. ko voznik med uporabo sistema ohranjanja voznega pasu predolgo nima rok na volanu) in se ustavi po približno 20 sekundah [7]. Glede na raziskavo Reschke, se večina vozil samo ustavi, le naprednejša poskušajo zaviti na odstavni pas in se popolnoma izločiti iz prometa [8]. V prejšnjih študijah smo se osredotočali predvsem na prevzeme vodenja vozila, kjer so bile vse informacije, ki bi vozniku pri tem pomagale, podane v enem samem zahtevku. A izkaže se, da je treba ubrati pristop postopne predaje: morali bi upoštevati in aktivno spremljati stanje in zavedanje voznikov vsaj do dejanskega prevzema, po možnosti pa še dlje – dokler se vozne okoliščine ne stabilizirajo. V tem času mora biti vozilo sposobno prilagoditi svoje vedenje voznikovim sposobnostim. Predlagamo torej uporabo postopnega pristopa z dodatnimi opozorili tudi po dejanskem prevzemu. V predhodnjih raziskavah smo namreč ugotovili, da bi v nekaterih primerih zgolj znižanje stopnje avtomatizacije verjetno privedlo do boljših reakcij kot pri popolnem prevzemu vodenja, saj se je izkazalo, da nekateri vozniki prevzamejo le prečno ali vzdolžno koordinacijo vozila namesto obeh [9]. Delni prevzemi bi torej lahko voznikom omogočili, da prevzamejo le prečno ali vzdolžno koordinacijo vozila, odvisno od tega, za kaj se počutijo sposobne, medtem ko drugo puščajo pod samodejnim nadzorom vozila. Glede na navedeno v tem prispevku predstavljamo tristopenjski pristop k prevzemom vodenja, ki vključuje: 1. večmodalno zahtevo za prevzem vodenja (TOR), 2. možnost delnega prevzema vodenja (le prečne ali vzdolžne koordinacije vozila) in 3. izboljšane manevre za postopen prevzem vodenja (dodatna opozorila in avtomatsko zaviranje). Raziskovalno vprašanje prispevka je: »Ali izboljšave prevzema vodenja pogojno avtonomnega vozila v smislu 155 delnih in postopnih prevzemov pripomorejo k izboljšanju – varnosti in uporabnosti – pogojno avtonomnih vozil?« 2 Metodologija V simulatorju vožnje smo izvedli uporabniško študijo, v kateri je vsak voznik preizkusil štiri različne pristope k prevzemu vodenja: enega, ki je omogočal delni prevzem vodenja (DPV); enega, ki je omogočal postopni prevzem vodenja (PPV); enega, ki je omogočal tako DPV kot PPV; ter enega, kjer je bila podana le zahteva za prevzem vodenja, brez možnosti delnega ali postopnega prevzema. Vrstni red je bil pri vsakem vozniku naključen. 2.1 Tehnična postavitev Uporabili smo visokozmogljiv simulator vožnje Nervtech TM (Slika 1), ki sestoji iz treh ukrivljenih zaslonov, voznikovega sedeža, volana, armaturne plošče in premične platforme s štirimi prostostnimi stopnjami (4-DOF). Vozni scenariji so bili načrtovani v okolju SCANeR Studio (AVSimulation, Pariz, Francija). Slika 1. Nervtech TM simulator vožnje s 4-DOF premično platformo na Univerzi v Ljubljani, Fakulteti za elektrotehniko. Vsak voznik je v pogojno avtonomnem vozilu prevozil okoli 30 km po tripasovni avtocesti, na poti se je srečal z osmimi naključno razporejenimi kritičnimi situacijami, kjer je moral prevzeti vodenje. Vožnja je potekala pri zelo slabi vidljivosti – v dežju ob mraku. V avtonomnem načinu je vozilo vozilo po srednjem pasu s hitrostjo 110 km/h. Vsak voznik je vsakega izmed pristopov k prevzemu vodenja izkusil dvakrat, enkrat je bila ovira na sredinskem in levem voznem pasu, drugič pa na sredinskem in desnem voznem pasu. Zahteva za prevzem vodenja je bila podana 6 s pred kritično situacijo ob predpostavki stalne hitrosti vozila. Voznik je prevzel prečno vodenje vozila z zasukom volana za več kot 2 stopinji in/ali vzdolžno vodenje vozila s pritiskom na zavoro za več kot 10% hoda stopalke [10]. Osnovni (tradicionalni) pristop k prevzemu vodenja predvideva le podajanje zahteve za prevzem (TOR). Glede na priporočila [9], [11], smo zahtevo podali s prostorskim zvočnim dražljajem (opozorilni zvok z leve ali desne strani), taktilnim opozorilom (vibracije v sedežu vozila) ter prikazom ikone na armaturni plošči. Pristop z DPV je poleg tega predvidel, da je v primerih, ko je voznik bil prevzel vodenje le z zavijanjem (prečna koordinacija vozila), upravljanje hitrosti ostalo samodejno (vzdolžna koordinacija). Avtonomna vožnja se je torej izključila, vključil pa se je aktivni (radarski) tempomat. Pristop s PPV je predvidel dodatna opozorila in dejanja potem, ko je voznik vodenje že prevzel, in sicer: • samodejno postopno zaviranje skupaj z zahtevo za prevzem vodenja; • zvočno in taktilno opozorilo, če predvideni čas do trka (ang. Time to Collision – TTC) pade pod kritično mejo 3 s; • zaviranje v sili, ki vozilo popolnoma ustavi, če pade TTC pod 1,5 s. Pristop z DPV in PPV je vključeval vse zgoraj naštete mehanizme. 2.2 Meritve (odvisne spremenljivke) Da bi ovrednotili omenjene pristope k prevzemu vodenja, smo ob vsakem prevzemu izmerili oz. izračunali naslednje spremenljivke: 1. Najmanjši čas do trka (TTC), ki je uveljavljena mera za ocenjevanje varnosti v cestnem prometu. Trenutni čas do trka je definiran kot čas, ki bi ga vozilo potrebovalo od trenutnega položaja do ovire pri predpostavki konstantne smeri in pospeška (pojemka). Najmanjši čas do trka je najmanjši izmed izmerjenih trenutnih časov do trka po podani zahtevi ta prevzem. 2. Največji prečni pospešek se poleg klasičnih mer pogosto uporablja za ocenjevanje kvalitete prevzema. 3. Trk predstavlja neuspešen prevzem vodenja. 4. Odzivni čas je merjen od trenutka podane zahteve za prevzem vodenja do voznikove prve reakcije (zasuka volana ali pritiska stopalke). 5. Pravilna smer prvega zavoja je pokazala, ali je voznik razbral smernost zvočnega dražljaja in pravilno odvil v smeri stran od ovire. 2.3 Postopek V uporabniški študiji je sodelovalo 43 voznikov z veljavnim vozniškim dovoljenjem, od teh 12 žensk (28%), povprečna starost je bila 28,7 ± 10,3 let. Pred vožnjo smo voznikom na kratko obrazložili namen in predviden potek študije. Vsak voznik je podpisal obveščeno soglasje za sodelovanje. Najprej je voznik le testiral simulator, pri tem je lahko preizkusil vse možne načine prevzema vodenja (z zavijanjem ali zaviranjem). Sledila je približno 25 minut dolga vožnja z osmimi prevzemi vodenja. Voznikova primarna naloga je bila skrb za varno in čim bolj tekočo vožnjo. V času avtonomne vožnje je voznik igral Tetris na mobilnem telefonu. Skupaj je študija trajala približno 45 min. 156 2.4 Analiza rezultatov Ker je vsak voznik opravil dva prevzema vodenja po vsakem izmed pristopov, smo za analizo TTC, največjega prečnega pospeška ter reakcijskega časa naredili mešane linearne modele, kjer smo pristop k prevzemu vodenja obravnavali kot kontrolirani (fiksni) faktor vpliva in zaporedno št. ponovitve kot ponovljeno meritev (ang. repeated measure). Za analizo trka in pravilne smeri prvega zavoja (binarnih spremenljivk) smo uporabili test hi-kvadrat. 3 Rezultati V pričujoči študiji je 43 voznikov opravilo po dva prevzema vodenja z vsakim izmed štirih predvidenih pristopov k prevzemu vodenja, kar daje skupaj 344 prevzemov vodenja. Rezultate primerjav prikazuje Tabela 1. Tabela 1. Rezultati statističnih testov. Meritev Rezultat testa p-vrednost TTC F(3, 299,97) = 4,499 0,004* Največji prečni pospešek F(3, 65,13) = 4,725 0,005* Trk χ 2 (3) = 13,45 0,004* Odzivni čas F(3, 139,9) = 0,964 0,412 Pravilna smer prvega zavoja χ 2 (3) = 1,196 0,754 *Razlike med podatki so statistično pomembne. Primerjava parov je pokazala, da je bil najmanjši čas do trka pri uporabi pristopa DPV + PPV v povprečju 0,434 s daljši kot pri osnovnem pristopu (p = 0,026) ter v povprečju 0,487 s daljši kot pri DPV (p = 0,009), rezultate prikazuje Slika 2. Podobno je primerjava parov pokazala, da je bil največji prečni pospešek pri uporabi pristopa DPV + PPV v povprečju 0,65 m/s 2 manjši kot pri osnovnem pristopu (p = 0,090) ter v povprečju 1,05 m/s 2 manjši kot pri pristopu DPV (p = 0,017). Največji prečni pospešek pri pristopu PPV je bil v povprečju 0,89 m/s 2 manjši kot pri pristopu DPV (p = 0,073). Rezultate prikazuje Slika 3. V potrditev prejšnjima navedbama je primerjava parov pokazala tudi, da je bilo število trkov pri uporabi pristopa DPV + PPV statistično pomembno manjše kot pri uporabi osnovnega pristopa k prevzemu vodenja (p < 0,05). Rezultate prikazuje Slika 4. Med odzivnimi časi in pravilnimi smermi prvega zavoja ni bilo statistično pomembnih razlik glede na uporabljeni pristop. Slika 2. Povprečen najmanjši čas do trka pri posameznem pristopu k prevzemu vodenja. Slika 3. Povprečen največji prečni pospešek pri posameznem pristopu k prevzemu vodenja. Slika 4. Število trkov pri posameznem pristopu k prevzemu vodenja. 157 4 Razprava in zaključek Rezultati študije so jasno pokazali, da je predlagani tristopenjski pristop k prevzemu vodenja, ki vključuje DPV in PPV, najboljši izmed preizkušenih. Presegel je tradicionalni (osnovni) pristop, ki je predvideval le podajo zahteve za prevzem vodenja, v kar treh vidikih, in sicer glede na najmanjši čas do trka, največji prečni pospešek in število trkov. Poleg tega lahko opazimo, da samo znižanje stopnje avtomatizacije DPV ali samo zagotavljanje dodatnih opozoril oziroma ukrepov PPV ni bilo dovolj za izboljšanje osnovnega pristopa. Šele z združitvijo obeh mehanizmov se izboljšave, statistično gledano, izplačajo. To je do neke mere v skladu z raziskavo Maja idr. [5], kjer se je dvostopenjski sistem opozarjanja izkazal za boljšega od enostopenjskega. Z vidika odzivnega časa in pravilne smeri prvega zavoja so se vsi postopki izkazali za enako dobre. Za odzivni čas smo take rezultate nekako pričakovali, saj je bila zahteva za prevzem vodenja v vsakem preizkusu enaka (zvočni dražljaj, taktilno opozorilo in vizualni znak na armaturni plošči). Lahko bi torej sklepali, da so bili prvi odzivi voznikov enaki, kljub samodejnemu zaviranju vozila v nekaterih primerih. Omeniti velja še, da je skoraj vsak voznik po končani vožnji spraševal o razliki med testiranimi pristopi. Skoraj nihče ni opazil, da je vozilo počasi samodejno zaviralo, ko je vzdolžna koordinacija vozila ostala samodejna. Posledično bi lahko domnevali, da preizkušene različice interakcije niso zasedle voznikovih kognitivnih zmogljivosti bolj, kot bi jih sama zahteva za prevzem vodenja. V zvezi s pristopoma DPV in PPV je potrebno omeniti še eno omejitev. Čeprav je vozilo v načinu, ki omogoča DPV ali PPV, je mogoče učinke teh mehanizmov z določenimi ukrepi voznika onemogočiti. Medtem ko bi DPV prišel prav voznikom, ki so le obvozili oviro brez zmanjšanja hitrosti, pa voznikom, ki že sami zavirajo, DPV ne pomaga. Podobno voznik, ki vozi z dovolj nizko hitrostjo, ne potrebuje PPV. V prihodnje imamo namen analizirali še fiziološke signale voznikov pri vsakem izmed pristopov. Takšna analiza bi nam lahko omogočila globlje razumevanje voznikov med postopkom prevzema. S številnimi izmerjenimi podatki in simulatorja (npr. največji pospešek, največji trzaj, najmanjša hitrost, vijuganje, preverjanje ogledal, …) in metodami strojnega učenja bi bilo zelo verjetno možno ustvariti model, ki bi pojasnil, kateri parametri imajo največji vpliv na uporabnost posameznih pristopov k prevzemu vodenja. Zahvala Raziskavo je delno financirala ARRS v okviru raziskovalnega programa ICT4QoL – Informacijsko komunikacijske tehnologije za kakovostno življenje (P2-0246). Literatura [1] SAE International, „J3016B: Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles“, 2018. https://www.sae.org/standards/content/j3016_201806/ (pridobljeno 20. februar 2020). [2] W. Morales-Alvarez, O. Sipele, R. Léberon, H. H. Tadjine, in C. Olaverri-Monreal, „Automated Driving: A Literature Review of the Take over Request in Conditional Automation“, Electronics, let. 9, št. 12, Art. št. 12, dec. 2020, doi: 10.3390/electronics9122087. [3] C. Gold, R. Happee, in K. Bengler, „Modeling take- over performance in level 3 conditionally automated vehicles“, Accident Analysis & Prevention, let. 116, str. 3–13, jul. 2018, doi: 10.1016/j.aap.2017.11.009. [4] F. Zhou, X. J. Yang, in J. C. F. de Winter, „Using Eye- Tracking Data to Predict Situation Awareness in Real Time During Takeover Transitions in Conditionally Automated Driving“, IEEE Transactions on Intelligent Transportation Systems, str. 1–12, 2021, doi: 10.1109/TITS.2021.3069776. [5] S. Ma idr., „Take over Gradually in Conditional Automated Driving: The Effect of Two-stage Warning Systems on Situation Awareness, Driving Stress, Takeover Performance, and Acceptance“, International Journal of Human–Computer Interaction, let. 37, št. 4, str. 352–362, feb. 2021, doi: 10.1080/10447318.2020.1860514. [6] H. Yun in J. H. Yang, „Multimodal warning design for take-over request in conditionally automated driving“, Eur. Transp. Res. Rev., let. 12, št. 1, str. 34, dec. 2020, doi: 10.1186/s12544-020-00427-5. [7] D. Vanderwerp, „It’s Not Just Tesla: All Other Driver- Assist Systems Work without Drivers, Too“, Car and Driver, 11. avgust 2021. https://www.caranddriver.com/news/a37260363/driver- assist-systems-tested/ (pridobljeno 23. junij 2022). [8] A. Reschka, „Safety Concept for Autonomous Vehicles“, v Autonomous Driving: Technical, Legal and Social Aspects, M. Maurer, J. C. Gerdes, B. Lenz, in H. Winner, Ur. Berlin, Heidelberg: Springer, 2016, str. 473–496. doi: 10.1007/978-3-662-48847-8_23. [9] T. Gruden, S. Tomažič, J. Sodnik, in G. Jakus, „A user study of directional tactile and auditory user interfaces for take-over requests in conditionally automated vehicles“, Accident Analysis & Prevention, let. 174, str. 106766, sep. 2022, doi: 10.1016/j.aap.2022.106766. [10] J. Radlmayr, C. Gold, L. Lorenz, M. Farid, in K. Bengler, „How Traffic Situations and Non-Driving Related Tasks Affect the Take-Over Quality in Highly Automated Driving“, Proceedings of the Human Factors and Ergonomics Society Annual Meeting, let. 58, št. 1, str. 2063–2067, sep. 2014, doi: 10.1177/1541931214581434. [11] F. Naujoks, K. Wiedemann, N. Schömig, S. Hergeth, in A. Keinath, „Towards guidelines and verification methods for automated vehicle HMIs“, Transportation Research Part F: Traffic Psychology and Behaviour, let. 60, str. 121–136, jan. 2019, doi: 10.1016/j.trf.2018.10.012.