ERK'2022, Portorož, 167-170 167 Zasnova haptičnega uporabniškega vmesnika za biomehansko povratno vezavo v vodnih športih Matevž Hribernik, Anton Umek in Anton Kos Univerza v Ljubljani, Fakulteta za elektrotehniko, Tržaška 25, Ljubljana E-pošta: matevz.hribernik@fe.uni-lj.si Design concept of haptic user interface for biomechanical feedback in water sports Abstract. Biomechanical feedback is an important tool in augmented learning. In this paper, we focus on providing real-time biomechanical feedback using a haptic interface during swimming. The interface presented is part of a custom wearable device used during swimming with biomechanical feedback. Wearable devices have been shown to be very effective for providing feedback during various activities, including swimming. We reviewed several scientific papers comparing modalities for this interface and concluded that the haptic modality has not been studied in this context and should provide promising results. The proposed haptic biomechanical feedback interface consists of a wearable device attached to the swimmer's lower back and equipped with sensors, a processor, and vibrotactile motors. The selected hardware configuration provides multiple modes of operation, depending on the requirements of the application. The wearable device is designed either as part of a larger biomechanical feedback system or as an independent application. 1 Uvod Za merjenje in ocenjevanje človeškega gibanja je mogoče uporabiti različne senzorje. Eno od novejših področij raziskav za učenje gibanja v športu in rehabilitaciji je biomehanska povratna vezava (BPV). Sistemi z biomehansko povratno vezavo vsebujejo uporabnika, senzor(je), naprave za obdelavo signalov in aktuator(je) [1]. Osnovna ideja BPV je uporabniku nuditi dodatne informacije o njegovem gibanju, ki jih ni zmožen zaznati s svojimi čutili. Delovanje sistema z BPV je predstavljeno na sliki 1. Podatki iz senzorjev se pošljejo v procesno napravo, kjer se obdelajo in pretvorijo v uporabne informacije. Te se preko izbranih aktuatorjev in človeških čutil predstavijo uporabniku in tako omogočajo prilagoditev njegovega gibanja. Povratne informacije, ki so posredovane uporabniku, morajo biti smiselne in razumljive ter so odvisne od modalnosti (čutov, ki jih stimulirajo). Povratno informacijo lahko posredujemo vizualno, slušno ali haptično. Na primer, zasloni ali prikazovalniki zagotavljajo vizualne povratne informacije, slušalke in zvočniki zagotavljajo slušne povratne informacije, medtem ko vibrotaktilni motorji ali električni dražljaji zagotavljajo haptične povratne informacije. Kompleksnost informacij, ki jih lahko posredujemo uporabniku, je odvisna od izbrane modalnosti ter uporabnikovih izkušenj in znanja. Na podlagi naših izkušenj smemo trditi, da sta slušna in haptična povratna informacija najbolj uporabni za enostavne nosljive naprave, medtem ko je vizualna povratna informacija uporabna za večino laboratorijskih sistemov. Za dejavnosti na prostem se zdita optimalni zvočna ali haptična povratna informacija, saj potrebujemo vid predvsem za orientacijo v prostoru [2]. Izvedli smo obširen pregled področja in ugotovili, da primanjkuje študij z uporabo haptičnih aktuatorjev za zagotavljanje povratne informacije v različnih športih. Nosljive naprave s haptičnimi aktuatorji so zato velika priložnost za nove uporabniške študije [2]. Napredek pri uporabi različnih aktuatorjev v BPV in pomanjkanje nosljivih aktuatorskih naprav sta nas spodbudila k razvoju novega koncepta za nosljive naprave v vodnih športih, ki pa se lahko uporablja tudi na drugih področjih in drugačnih okoljih. Glavni raziskovalni cilj tega projekta se osredotoča na sposobnost zagotavljanja povratne informacije plavalcu v realnem času s pomočjo haptičnega uporabniškega vmesnika. Naša raziskovalna skupina je predhodno že preučevala gibanje plavalca in različne plavalne tehnike [3]. Kot naslednji korak pri razvoju aplikacije z BPV v realnem času nas zanima predvsem sposobnost zagotavljanja ustrezne povratne informacije plavalcu z uporabo vibracijskih motorjev na spodnjem delu uporabnikovega hrbta ali na drugem delu telesa. Senzor(ji) Uporabnik Aktuator(ji) Odziv uporabnika Procesna enota Povratna informacija Podatki senzorjev Slika 1 Shema biomehanske povratne vezave. Senzorji merijo uporabnikovo gibanje, podatki senzorjev so obdelani v procesni enoti. Povratna informacija je lahko uporabniku predstavljena na različne načine s pomočjo različnih aktuatorjev. Povratna vezava se sklene, ko se uporabnik odzove s spremembo svojega gibanja glede na sprejeto povratno informacijo z aktuatorja. 168 2 Pregled področja Glavni izziv pri razvoju aplikacij z biomehansko povratno vezavo je posredovanje ustrezne in uporabne povratne informacije uporabniku ter izbira najustreznejše modalnosti. Na voljo so trije načini modalnosti, vendar se njihova učinkovitost in primernost razlikuje pri različnih aplikacijah. Uporaba BPV v vodi predstavlja dodaten izziv, saj navadno naprave, ki delujejo na prostem, ne deluje v vodi. Več študij se je ukvarjalo s podvodnimi športi. Večinoma uporabljajo vizualno [4]–[6] in zvočno modalnost [7], [8]. Gandolla et al. [4] uporablja obleko z integriranimi senzorji, ki so razporejeni po celem telesu in posreduje vizualno povratno informacijo s pomočjo zaslona nameščenega izven vode. Njihova študija temelji na vajah za rehabilitacijo, ki se izvajajo v vodi, zato je za njihove namene vizualna povratna informacija primerna. Na zaslonu uporabniku prikazujejo položaj njegovega telesa in hkrati posredujejo navodila ob izvajanju vaje v vodi. Santos et al. [5] se osredotoča predvsem na delovanje kinematične naprave pod vodo s komunikacijo LoRa (ang. long range). V napravo so vključili tudi haptične aktuatorje. Zagotavljajo pa vizualno povratno vezavo trenerju, v prihodnjih študijah pa predvidevajo tudi možnost zagotavljanja enostavne haptične povratne informacije uporabniku. Ta ideja in izvedba v prispevku nista podrobneje opisana. Kos et al. [6] predstavi osnovni koncept aplikacije za terapevte, ki izvajajo rehabilitacijo s pacienti, ali trenerje, ki trenirajo s športniki v vodnem okolju. Predstavljeni so bistveni parametri, ki jih je mogoče pridobiti s kinematičnimi senzorji za različne tehnike plavanja. Cesarini et al. [7] predstavi nosljivo plavalno napravo, opremljeno s senzorji pritiska na okončinah in podvodnimi slušalkami. Plavalcu v realnem času posredujejo povratno informacijo s pomočjo sonifikacije. Podobno Schaffert et al. [8] predstavljajo nosljivo napravo z vgrajenim kinematičnim senzorjem, ki plavalcu zagotovi zvočno povratno informacijo z uporabo sonifikacije. Sistematično testirajo različne vrste zvočnih povratnih informacij, ki jih posredujejo uporabniku. Razlikujejo med zvezno in diskretno sonifikacijo. Rezultati kažejo, da imajo športniki in trenerji raje diskretno sonifikacijo. Za posredovanje povratne informacije v realnem času sta v vodnem okolju uporabni predvsem haptična in zvočna modalnost. Kljub temu je v obeh primerih izvedba težavna. Medtem, ko so drugi avtorji pokazali, da je zvočna povratna vezava izvedljiva pod vodo [7], [8], se v tem prispevku ukvarjamo z drugo možnostjo, torej haptično povratno vezavo. Haptični uporabniški vmesniki se redno uporabljajo v aplikacijah z BPV, čeprav je njihova uporaba nekoliko manj pogosta kot vizualna in zvočna [2]. Najprej smo preučili zasnove naprav s haptičnim vmesnikom, ki so jih predlagali drugi avtorji. Dve zanimivi študiji [9], [10] sta izvedli haptično povratno vezavo za uporabnike med hojo. Obe študiji uporabljata haptične aktuatorje na nogah za posredovanje informacijo o simetriji koraka. Za zagotavljanje povratne informacije uporabljajo vibracijske motorje. V [9] uporabljajo centralno enoto s krmilnikom in žično povezavo do vsakega vibracijskega motorja. V nasprotju s tem Chen et al. [10]uporablja brezžično haptični obroč okoli gležnja s štirimi vibracijskimi motorji. Povratno informacijo zagotavljajo s pomočjo več motorjev, kar omogoča zagotavljanje več oblik haptične povratne informacije, za razliko od [9], kjer lahko spreminjajo samo amplitudo v eni točki. Z več motorji je tako mogoče ustvariti različne vzorce haptične povratne vezave, ki uporabniku omogočajo sprejemanje več informacije. Zanimiv koncept so nedavno predstavili Ashapkina et al. [11]. Ustvarili so uporabniški vmesnik s haptičnim vmesnikom z uporabo več vibromotorjev v obliki zapestnice. Predstavljena naprava vključuje kinematične senzorje, brezžično komunikacijo in vmesnik z vibromotorji. To omogoča drugačen koncept interakcije z uporabnikom z uporabo raznovrstnih haptičnih dražljajev. Naprava je sposobna predstavitve haptične informacije različnih amplitud, frekvenc in spremembe vzorcev vibracij. Med procesom načrtovanja smo preučili tudi ciklično naravo gibanja med plavanjem [3], [6]. Iz te študije je mogoče pridobiti pomembne spremenljivke in vzorce, ki razlikujejo različne plavalne tehnike. 3 Načrtovanje naprave Glavna komponenta predlaganega sistema s PV je senzorska naprava z mikrokrmilnikom in kinematičnim senzorjem, ki je že bila uporabljena v prejšnjih študijah [3]. To nosljivo napravo smo nadgradili z vključitvijo brezžične komunikacije in vibracijskih motorjev za haptično BPV. Po natančnem pregledu povezanih študij smo lahko določili glavni koncept in gradnike našega prototipa. Želeli smo zagotoviti povratne informacije med različnimi vodnimi aktivnostmi, kar omejuje možnost pritrditve nosljive naprave na uporabnika. Naš cilj je bila izboljšava trenutne zasnove, kjer je senzorska naprava pritrjena na uporabnika s pomočjo plavalnega pasu [3], [6]. Zato smo haptične aktuatorje vključili v plavalni pas kot prikazuje slika 3. Pri naši zasnovi deloma sledimo pristopoma Ashapkina et al. [11] in Chen et al. [10], ki uporabljata več haptičnih aktuatorjev, razporejenih kot trak okoli zapestja ali gležnja. Obstoječi plavalni pas s senzorji smo nadgradili z dodatnimi šestimi vibrotaktilnimi aktuatorji. Aktuatorji so nameščeni na notranji strani pasu, da zagotovijo najboljši možni stik s kožo. Pomembno je, da so vsi priključki, aktuatorji, senzorji in naprava sama vodotesni. Naša zasnova temelji na Adafruit Feather M0 [12] razvojnem okolju v kombinaciji s kinematičnimi senzorji [13], [14] in neodvisno krmiljenimi vibracijskimi motorji. Arhitektura naše nosljive naprave je prikazana na sliki 3. Vključili smo tudi možnost 169 uporabe zunanje pomnilniške enote v obliki flash pomnilnika za shranjevanje senzorskih podatkov. Tovrstna arhitektura omogoča različne načine delovanja glede na potrebe aplikacije, bodisi kot senzorska/aktuatorska naprava brez omrežne povezave ali kot povezano napravo, ki je del širše aplikacije ali sistema z BPV. S to nosljivo napravo je mogoče meriti in obdelovati signale gibanja ter hkrati zagotavljati povratno informacijo z uporabo procesorske zmogljivosti naprave. Po drugi strani pa je mogoče napravo povezati tudi z naprednejšo procesno napravo (npr. zmogljiv računalnik) s pomočjo brezžične komunikacije. Slika 2 Lokacija plavalnega pasu na spodnjem delu hrbta športnika. Krmilno vezje in senzorji so nameščeni na sredini, na vsaki strani so trije vibracijski motorji. Kinematični senzorji FLASH pomnilnik WIFI WINC 1500 Gonilnik Vibro motor Gonilnik Vibro motor Gonilnik Vibro motor MCU . . . Slika 3 Arhitektura nosljive naprave z BPV. Mikrokrmilniška plošča Adafruit Feather M0 je povezana z brezžičnim modulom, kinematičnimi senzorji in zunanjim pomnilnikom. Mikrokrmilnik preko gonilnikov krmili vibromotorje za haptično povratno vezavo. Vibracijski motorji, trije na vsaki strani spodnjega dela hrbta, so povezani s centralno enoto. Na sliki 4 je predstavljen prototip predlagane naprave. Posebej izpostavljena je postavitev vibracijskih motorjev v napravi. Gonilniki so povezani z mikrokrmilnikom znotraj vodotesne škatle, medtem ko je vsak gonilnik z izbranim motorjem povezan žično. Posamezni motorji so amplitudno krmiljeni, kar omogoča spreminjanje jakosti motorja, frekvence vibracij in generiranje različnih vibracijskih vzorcev. Intenzivnost vibracij motorja je nadzorovana s pomočjo PWM (pulzno- širinska modulacija). Sprememba toka vibromotorja spremeni frekvenco vrtenja, ki se nato zazna kot sprememba intenzivnosti vibracije. Z menjavo različnih intenzivnosti je mogoče spreminjati vibriranje motorjev, uporabnik pa to zazna kot različne vzorce, ki se uporabljajo kot povratne informacije. 4 Razprava Predstavljeni nosljivi vmesnik z BPV bo del večjega in bolj zapletenega sistema ali aplikacije v plavanju. V tej konceptualni raziskavi se osredotočamo na izvedbo strojne opreme in zasnovo vmesnika za BPV. Zasnova naprave je podobna nosljivi taktilni napravi iz [11], ki pa je sposobna zagotoviti povratno informacijo v vodnem okolju. Pri razvoju te haptične naprave z BPV smo bili še posebej pozorni na možnost neodvisnega krmiljenja vsakega vibromotorja. To omogoča razvoj različnih aplikacij, pri katerih lahko položaj aktuatorja na telesu in amplituda vibracij uporabniku zagotovita edinstveno povratno informacijo. Prav tako je mogoče ustvariti zaporedje dogodkov in spremenljivih amplitud za ustvarjanje vzorcev s še večjo informacijsko vrednostjo za uporabnika. Po naših raziskavah, je ta tip haptičnega uporabniškega vmesnika prvič predlagan kot naprava v BPV za šport. Zaradi tega bo naša celovita raziskava sestavljena iz več delov in študij. Eden izmed prvih izzivov je dokazati, da je haptični vmesnik sploh sposoben zagotoviti koristno povratno informacijo športniku. To pomeni načrtovanje in razvoj nosljivega haptičnega vmesnika, uporabnega v različnih okoljih. Za potrditev uspešnost morajo biti uporabniki sposobni razlikovati med različnimi položaji, amplitudami in vzorci aktuatorjev. Začetni test bo vključeval več profesionalnih športnikov, ki bodo napravo med mirovanjem nosili na hrbtu. Naprava bo brezžično povezana s krmilno aplikacijo, kar bo omogočalo neposredno kontrolo vibracijskih vzorcev. Cilj je preizkusiti, ali lahko uporabniki razlikujejo med lokacijami aktuatorjev in spremembami intenzitet vibracij. Športni trenerji bodo skupaj s športniki izrazili svoje strokovno mnenje, kar bo osnova za nadaljnje študije in raziskave. Drugi korak v razvoju tega haptičnega vmesnika je izvedba podobnega testa uporabnosti v vodnem okolju med športno aktivnostjo. Ta test pa bo omogočil oceno učinkovitost predlaganega haptičnega uporabniškega Slika 4 Zgodnji prototip haptičnega vmesnika za biomehansko povratno vezavo. Zgornja slika prikazuje razpored motorjev in povezavo s krmilno enoto. Spodnja pa predstavlja končen izgled, pripravljen za testiranje. 170 vmesnika v ciljnem okolju. Haptične dražljaje lahko uporabniki zaznajo drugače, ko so fizično aktivni. Zadnja faza testiranja haptičnega uporabniškega vmesnika bo implementacija te naprave v preprosti aplikaciji z BPV. Gre za teste, ki so podobni tistim v [8], kjer je bil zvočni vmesnik testiran s sonifikacijo podatkov iz kinematičnih senzorjev. Preverjene so bile razlike med kontinuiranim in diskretnim sonificiranjem. Podobno predlagamo testiranje haptičnega vmesnika z enostavno pretvorbo senzorskih podatkov v haptični vmesnik. Po uspešnih testih načrtujemo, do bo haptični vmesnik uporabljen v kompleksnejših aplikacijah z biomehansko povratno vezavo [6]. Predstavljena naprava nam bo omogočala razvoj različnih aplikacij za plavanje. Na primer, za motorično učenje ali športno usposabljanje. Z uporabo več senzorjev na uporabniku in bazenu je mogoče ustvariti kompleksno povratno informacijo vključno s trenerjevim posredovanjem. Strojna oprema je v obeh primerih na splošno enaka, medtem ko se za različne aplikacije spremenijo zahteve glede obdelave signalov in algoritmov ter podajanje povratne informacije. Prav tako se zavedamo, da ima naša zasnova nekatere omejitve, ki jih bo v prihodnosti potrebno razrešiti. Plavalni pas je trenutno oblikovan s šestimi enakomerno porazdeljenimi vibracijskimi motorji. Prihodnje študije bodo morda pokazale, da bi bila drugačna razporeditev aktuatorjev koristna za posredovanje drugačne informacije. Prav tako so aktuatorji nameščeni le na hrbtu uporabnika. Obstaja možnost, da bi bila namestitev teh aktuatorjev na trebuhu ali kje drugje na telesu bolj smiselna, in podobno. 5 Zaključek V tem prispevku predstavljamo postopek razvoja vmesnika s haptično povratno vezavo, ki se lahko uporablja v aplikacijah z BPV. Natančno smo proučili zasnove strojne opreme in delovanje različnih naprav in vmesnikov za BPV, ki so jih predstavili drugi avtorji. To znanje nam je omogočilo oblikovanje koncepta haptične BPV, ki lahko deluje v realnem času med izvajanjem vodnih športov. Izdelali smo tudi konceptni prototip, ki ima omejene zmogljivosti in je namenjen osnovnemu testiranju. Pričakujemo, da bo ta tip vmesnika s haptično BPV uporaben pri športnem treningu, rekreativnem plavanju in vodni rehabilitaciji ali kot eden od gradnikov bolj zapletene aplikacije z BPV. Zahvala Raziskavo je delno financirala ARRS v okviru raziskovalnega programa ICT4QoL – Informacijsko komunikacijske tehnologije za kakovostno življenje (P2-0246). Literatura [1] A. Kos and A. Umek, Biomechanical Biofeedback Systems and Applications. Springer, 2018. [2] M. Hribernik, A. Umek, S. Tomažič, and A. Kos, ‘Review of Real-Time Biomechanical Feedback Systems in Sport and Rehabilitation’, Sensors, vol. 22, no. 8, Art. no. 8, Jan. 2022, doi: 10.3390/s22083006. [3] A. Umek and A. Kos, ‘Wearable sensors and smart equipment for feedback in watersports’, vol. 2018. Elsevier science BV, pp. 496–502, 2018. doi: 10.1016/j.procs.2018.03.030. [4] M. Gandolla et al., ‘Wearable Biofeedback Suit to Promote and Monitor Aquatic Exercises: A Feasibility Study’, IEEE Transactions on Instrumentation and Measurement, vol. 69, no. 4, pp. 1219–1231, 2020, doi: 10.1109/TIM.2019.2911756. [5] M. O. Santos, J. Costa, T. R. Fernandes, C. Silva, and S. M. M. Faria, ‘Wearable Inertial and Bio-signal Device for Real-time Swimmer’s Monitoring’, in 2021 Telecoms Conference (Conf℡E), Feb. 2021, pp. 1–6. doi: 10.1109/Conf℡E50222.2021.9435472. [6] A. Kos and A. Umek, ‘Wearable Sensor Devices for Prevention and Rehabilitation in Healthcare: Swimming Exercise With Real-Time Therapist Feedback’, Ieee Internet of Things Journal, vol. 6, no. 2, pp. 1331–1341, Apr. 2019, doi: 10.1109/JIOT.2018.2850664. [7] D. Cesarini et al., ‘MEDIATION: an eMbEddeD system for auditory feedback of hand-water InterAcTION while swimming’, Engineering of Sport 11, vol. 147. ELSEVIER SCIENCE BV, pp. 324–329, 2016. doi: 10.1016/j.proeng.2016.06.301. [8] N. Schaffert, A. Engel, S. Schlüter, and K. Mattes, ‘The sound of the underwater dolphin-kick: developing real- time audio feedback in swimming’, Displays, vol. 59, pp. 53–62, Sep. 2019, doi: 10.1016/j.displa.2019.08.001. [9] M. Fiorentino, A. E. Uva, and M. M. Foglia, ‘Self Calibrating Wearable Active Running Asymmetry Measurement and Correction’, Control Engineering and Applied Informatics, vol. 13, no. 2. Romanian Soc Control Tech Informatics, pp. 3–8, Jun. 2011. [10] D. K. Y. Chen, M. Haller, and T. F. Besier, ‘Wearable lower limb haptic feedback device for retraining Foot Progression Angle and Step Width’, GAIT & POSTURE, vol. 55. Elsevier Ireland Ltd, pp. 177–183, Jun. 2017. doi: 10.1016/j.gaitpost.2017.04.028. [11] M. S. Ashapkina, A. V. Alpatov, V. A. Sablina, and O. V. Melnik, ‘Vibro-tactile Portable Device for Home- base Physical Rehabilitation’, in 2021 10th Mediterranean Conference on Embedded Computing (MECO), Jun. 2021, pp. 1–4. doi: 10.1109/MECO52532.2021.9460218. [12] A. Industries, ‘Adafruit Feather M0 WiFi - ATSAMD21 + ATWINC1500’. https://www.adafruit.com/product/3010 (accessed Nov. 05, 2019). [13] ‘Pololu - MinIMU-9 v5 Gyro, Accelerometer, and Compass (LSM6DS33 and LIS3MDL Carrier)’. https://www.pololu.com/product/2738 (accessed Mar. 31, 2020). [14] ‘BNO055’, Bosch Sensortec. https://www.bosch- sensortec.com/products/smart-sensors/bno055.html (accessed Sep. 23, 2020).