ERK'2022, Portorož, 224-227 224 Popolnoma zaznavno eksperimentalno okolje za biomehansko opazovanje vstajanja ˇ cloveka Adrijana Savevska 1;2 , Rebeka Kropivˇ sek Leskovar 1 , Tilen Brecelj 1 , Luka Miˇ skovi´ c 1 , Tadej Petriˇ c 1 1 Inˇ stitut ”Joˇ zef Stefan” 2 Univerza v Mariboru, Fakulteta za Elektrotehniko, Raˇ cunalniˇ stvo in Informatiko E-poˇ sta: frebeka.leskovar, tilen.brecelj, luka.miskovic, tadej.petricg@ijs.si Fully Sensorized Experimental Environment for Biomechanical Observation of Human Standing-up Motion Although opinions may vary, humanoid robots may prove to become a great asset in the area of physical assis- tance for the motor-impaired people. However, before such a scenario can occur, the dexterity and social skills of humanoid robots still need to be improved. In this pa- per, we introduce the equipment and the setup of a fully sensorized evironment that will be used in future stud- ies on human-robot collaboration. Here, the goal is to develop novel technologies, which would allow robots to accurately predict human whole-body movements, so that robots can act as physical assistants to people when they’re standing up. Furthermore we showcase a prelim- inary experiment in which we test the functionality of the newfound setup. 1 Uvod Ljudje smo sami po sebi zelo spretna bitja in smo spo- sobni izvajati ˇ stevilo kompleksnih, dinamiˇ cnih in spre- tnih gibov z relativno enostavnostjo – hoja, skakanje in ples so le eni izmed mnogih primerov. Vstajanje s stola je na primer eno od vsakodnevnih opravil, ki se na prvi pogled zdi enostavno, a je v resnici precej kompleksno in dinamiˇ cno. Uspeˇ sno izvajanje te naloge namreˇ c zah- teva koordinacijo celotnega telesa, balansiranje in zelo natanˇ cen nadzor gibanja, s staranjem pa lahko postane zahtevno in nevarno dejanje. Zaradi tega je nujno zago- toviti fiziˇ cno asistenco ljudem, katerih fiziˇ cne spretnosti upadajo, pri ˇ cemer je lahko fiziˇ cna pomoˇ c robotov kori- stna. Vendar se pri uporabi robotov za fiziˇ cno asistenco pojavi teˇ zava, saj zaenkrat roboti ˇ se ne dosegajo nivoja ˇ cloveˇ skih spretnosti [1]. Eden izmed glavnih problemov pri nadzoru gibanja robotov je njihova posturalna stabil- nost. Ta problem je ˇ se posebej oˇ citen pri humanoidnih robotih, ki so zasnovani za posnemanje ˇ cloveˇ skih gibov. Zaradi njihovega relativno velikega telesa v primerjavi z njihovo majhno in ozko podporno povrˇ sino, so namreˇ c zelo nestabilni. Tako postane tudi na videz preprosta na- loga, kot je hoja, velik izziv za nadzor njihovega gibanja [2, 3]. Razumevanje ˇ cloveˇ skih gibov, kot je vstajanje, tako postane za podroˇ cje robotike ˇ se posebej zanimiv izziv zaradi njihove kompleksnosti. Z razumevanjem gibanja ˇ cloveka lahko namreˇ c izboljˇ samo obstojeˇ ce humanoidne robotske sisteme in njihove spretnosti pribliˇ zamo ˇ cloveˇ s- kim. Tradicionalni roboti od uporabnikov zahtevajo zna- nje programiranja, zaradi ˇ cesar so roboti ˇ sirˇ si javnosti ne- dostopni [4]. Po drugi strani se od prihodnjih generacij robotov za dom in storitve, vkljuˇ cno s humanoidnimi ro- boti, priˇ cakuje, da bodo opravljali naloge v bolj naravnih in zelo dinamiˇ cnih okoljih, ki so ustvarjena za ljudi, zato je nujno, da preuˇ cimo naravno ˇ cloveˇ sko gibanje in kako ga implementirati v kontrolne sisteme robotov. Cilj projekta SWITCH je izboljˇ sati trenutno stanje na raziskovalnem podroˇ cju fiziˇ cnega sodelovanja med ˇ clove- kom in robotom z izkoriˇ sˇ canjem tako imenovanega po- polnoma zaznavnega okolja. To je laboratorijsko okolje, v katerem zaznavamo vse spremembe v okolju – od giba- nja do interakcijskih sil z okoljem ter celo miˇ siˇ cne aktiv- nosti, ˇ ce je prisoten ˇ clovek. Pri tem ˇ zelimo razviti novo tehnologijo, ki robotom omogoˇ ca natanˇ cno napovedova- nje gibanja celotnega ˇ cloveˇ skega telesa, tako da lahko ro- boti bolje pomagajo ljudem pri njihovih nalogah, kot je prikazano na sliki 1. Tega smo se lotili ˇ ze v predhodnjih raziskavah [5, 6], vendar zgolj v simulacijskem okolju. Da bi lahko dose- danje znanje prenesli v resniˇ cen svet, pa moramo najprej postaviti zanesljivo popolnoma zaznavno okolje, v kate- rem lahko preuˇ cujemo razliˇ cne interakcije med ljudmi in roboti. V tem prispevku bomo predstavili opremo in po- stavitev popolnoma zaznavnega okolja, ki ga bomo upo- rabljali v prihodnjih ˇ studijah. Poleg tega bomo predstavili testne meritve, kjer smo preizkusili funkcionalnost novo postavljenega eksperimentalnega okolja. 2 Postavitev sistema Kot omenjeno v uvodu, je cilj predstavljenega sistema za izvajanje meritev med vstajanjem ˇ cloveka vzpostaviti eksperimentalno okolje, kjer lahko pridobimo ˇ cim bolj ponovljive meritve. Pri tem je cilj poveˇ cati ponovljivost predvsem zaˇ cetnega sedeˇ cega poloˇ zaja merjenega ˇ cloveka, saj le-ta naredi posamezne poskuse primerljive med se- boj. 2.1 Sledenje gibanja Kljuˇ cen del pri analizi ˇ cloveˇ skega vstajanja je zajem gi- banja ˇ cloveka med razliˇ cnimi tipi vstajanja. Ta podatek 225 Slika 1: Koncept humanoidnega robota, ki pomaga ˇ cloveku pri vstajanju. je ˇ se posebej pomemben, kadar ˇ zelimo prenesti ˇ cloveˇ sko gibanje na humanoidnega robota. Za sledenje gibanja v realnem ˇ casu smo uporabili sis- tem OptiTrack [7]. Ta zajema gibanje teles v prostoru s pomoˇ cjo infrardeˇ cih kamer in reflektivnih markerjev in sicer tako, da kamere oddajajo infrardeˇ co svetlobo in beleˇ zijo njene odboje od reflektivnih markerjev ter na ta naˇ cin sledijo poziciji markerjev v prostoru. Te po navodi- lih proizvajalca namestimo na ˇ cloveka, ki ga ˇ zelimo me- riti (glej sliko 2a). Ker nas med zajemanjem podatkov Slika 2: Sistem za merjenje gibanja ˇ cloveka in njegove miˇ siˇ cne aktivnosti. a) Subjekt s pravilno nameˇ sˇ cenimi markerji in EMG senzorji. b) Pribliˇ zan pogled pritrjenih markerjev in EMG-jev. c) Ustvarjen 3D skelet subjekta v programu Motive. zanimajo pozicije in orientacije sklepov ˇ cloveˇ skega te- lesa v doloˇ cenem ˇ casu, markerji pa se ne nahajajo toˇ cno na sklepih, smo morali ustvariti ˇ se 3D skelet ˇ cloveka, ki ga merimo. To smo storili v programu Motive [8], kjer se 3D model skeleta, prikazan na sliki 2c, ustvari samo- dejno. Motive tako poleg lokacije markerjev beleˇ zi tudi podatke o poziciji in orientaciji sklepov 3D skeleta. 2.2 Merjenje miˇ siˇ cne aktivnosti Poleg samega gibanja ˇ cloveka med razliˇ cnimi oblikami vstajanja, nas zanima tudi njegova miˇ siˇ cna aktivnost. Ta nam namreˇ c pokaˇ ze, koliko napora je ˇ clovek potrebo- val za izvedbo doloˇ cenega giba. Tako lahko primerjamo kako lahko pomoˇ c pri vstajanju s strani robota ali dru- gega ˇ cloveka pomaga pri zmanjˇ sanju napora vstajanja. Za merjenje miˇ siˇ cne aktivnosti smo izbrali Delsys Tringo Avanti EMG senzorje [9], katerih podatke odˇ citavamo s 1000 Hz s pomoˇ cjo Matlab programa. 2.3 Merjenje sil Pomemben faktor pri raziskovanju gibanja ˇ cloveka med vstajanjem so tudi interakcijske sile med ˇ clovekom in oko- ljem, v katerem se nahaja. V primeru naˇ sih eksperimen- tov se te sile delijo na dve kategoriji - sile med ˇ clovekom in podlago (t.j. tla in klop na kateri sedi) ter sile med ˇ clovekom in njegovim partnerjem (t.j. ˇ clovek ali robot, ki pomaga pri vstajanju). Interakcijske sile med ˇ clovekom in njegovim partner- jem nam povejo, kolikˇ sna sila je potrebna za uspeˇ sen dvig ˇ cloveka iz sedeˇ cega poloˇ zaja. Za merjenje teh smo izde- lali 2 roˇ caja, prikazana na sliki 3a. V sredini obeh roˇ cajev Slika 3: Oprema za merjenje interakcijskih sil. a) 3-D nati- snjena roˇ caja z merilniki sil za merjenje interakcijskih sil med ˇ clovekom in njegovim partnerjem. b) Ploskovna merilnika sil nameˇ sˇ cena na klop in tla. se nahaja senzor sile, ki meri tako sile, kot tudi navore v vseh treh prostorskih dimenzijah [10], drˇ zala pa so nati- skana s 3D tiskalnikom. Interakcijske sile med ˇ clovekom in podlago nam omo- goˇ cajo vpogled v stabilnost ˇ cloveka med vstajanjem, kot je predstavljeno v [6]. Le-te lahko v predstavljenem sis- temu spremljamo preko ploskovnih senzorjev sil (ang. force plate) [11], ki nam podajo vrednosti izmerjenih sil in navorov v vseh treh prostorskih dimenzijah in smo jih namestili na tla in klop (glej sliko 3b). Tako kot pri EMG senzorjih lahko tudi podatke iz pro- grama Motive in vseh senzorjev sil spremljamo in beleˇ zi- mo v realnem ˇ casu preko Matlab programa; podatke iz 226 programa Motive in senzorjev sil, pritrjenih med roˇ caji, smo beleˇ zili s 100 Hz, podatke iz ploskovnih senzorjev sil nameˇ sˇ cenih na tleh in na klopi pa smo beleˇ zili s 500 Hz. Same vrednosti interakcijskih sil pa niso dovolj za nji- hovo razumevanje. Te smo morali tudi umestiti v pro- stor, kjer se ˇ clovek nahaja, kar smo storili preko sledenja poloˇ zajev in orientacij posameznih merilnikov sil. Da bi lahko sledili prijemaliˇ sˇ cem vseh sil, ki delujejo na vsta- jajoˇ cega ˇ cloveka, smo ponovno uporabili sistem Optitrack, ki nam omogoˇ ca, da sledimo tudi poloˇ zaju ter orientaciji togih teles, ˇ ce nanje namestimo reflektivne markerje ter v programu Motive ustvarimo njihove modele. Zato smo namestili reflektivne markerje ˇ se na roˇ caje in ploskovne merilnike sil, kot je prikazano na sliki 3. 2.4 Sinhronizacija sistema Ker je za izvedbo eksperimentov potrebna uporaba veˇ c naprav za merjenje, je ena izmed veˇ cjih problematik po- stavitve sistema za eksperiment sinhronizacija vseh me- rilnih naprav. Do asinhronega zapisa podatkov iz razliˇ cnih naprav je prihajalo zato, ker je fiziˇ cno nemogoˇ ce vse naprave zagnati naenkrat – tudi, ko smo uspeli izdelati virtualni gumb, ki naj bi zagnal vse meritve istoˇ casno, je namreˇ c priˇ slo do zamikov med vzpostavljanjem povezave med razliˇ cnimi merilnimi napravami in raˇ cunalnikom, kjer smo brali podatke. Problem sinhronizacije smo reˇ sili tako, da smo za vsa- ko merilno napravo posebej zabeleˇ zili ˇ cas, ob katerem je vzpostavila povezavo z raˇ cunalnikom. To nam omogoˇ ca, da lahko med analizo upoˇ stevamo zamik med posame- znimi zaˇ cetnimi ˇ casi. 3 Uporabniˇ ski vmesnik Za dobro ponovljivost eksperimentov je pomembno raz- viti tudi uporabniˇ ski vmesnik. Z njim smo namreˇ c ˇ zeleli omogoˇ citi, da se lahko oseba, ki izvaja eksperiment, vrne v enak zaˇ cetni poloˇ zaj vsako ponovitev. Delovanje razvitega uporabniˇ skega vmesnika je slede- ˇ ce: na ekranu pred osebo, ki izvaja eksperiment, se izriˇ seta dva skeleta – en za levi in en za desni profil osebe, kot je prikazano na sliki 4. Prvi skelet (sive barve) predstavlja ˇ zelen zaˇ cetni poloˇ zaj ˇ cloveka, drugi skelet (ˇ crne barve) pa predstavlja trenutni poloˇ zaj ˇ cloveka v realnem ˇ casu. Uporabniˇ ski vmesnik preverja, ˇ ce se trenutni poloˇ zaj ˇ cloveka ujema z ˇ zelenim tako, da primerja kote med za- porednimi segmenti skeleta v trenutnem in idealnem polo- ˇ zaju. ˇ Ce se ti med seboj razlikujejo za najveˇ c 15, se ˇ clen med segmenti obarva zeleno (glej sliko 4). Ko so vsi ˇ cleni skeleta obarvani zeleno se oseba nahaja znotraj ˇ zelenega zaˇ cetnega poloˇ zaja. Tako dobi ˇ clovek, ki izvaja ekspe- riment, povratno informacijo ali je v pravilnem poloˇ zaju ali ne, preden zaˇ cne z vstajanjem. Zaradi teˇ znje k poenotenem sistemu je tudi uporabniˇ ski vmesnik narejen v MATLAB programu, podatke o trenu- tni poziciji in orientaciji ˇ clenov pa prejema direktno iz programa Motive. Slika 4: Uporabniˇ ski vmesnik za spremljanje poloˇ zaja ˇ cloveka. 4 Testne meritve Ker smo ˇ zeleli preveriti, ˇ ce celoten sistem, ki smo ga opi- sali v poglavjih 2 in 3 deluje, smo izvedli testno meritev vstajanja. To smo storili tako, da je moral testni subjekt 5- krat vstati samostojno ter 5-krat s pomoˇ cjo druge osebe, kot je prikazano na sliki 5. Pri tem je moral s pomoˇ cjo Slika 5: Simulacija eksperimenta, kjer ˇ clovek vstaja samostojno (zgoraj) in s pomoˇ cjo ˇ cloveˇ skega partnerja (spodaj). uporabniˇ skega vmesnika skrbeti, da se vsakiˇ c postavi v enak zaˇ cetni poloˇ zaj. Med testnimi meritvami smo spre- 227 mljali delovanje uporabniˇ skega vmesnika v realnem ˇ casu ter sinhronizacijo vseh merilnih naprav. 5 Rezultati Na sliki 6 lahko vidimo primer signalov, ki jih predsta- vljen sistem lahko beleˇ zi. In sicer lahko vidimo miˇ siˇ cno aktivnost stegna, pozicijo kolka, interakcijsko silo med stopali osebe in tlemi ter interakcijsko silo v roˇ caju. Vi- dimo lahko, da se vrednosti vseh ustreznih signalov (t.j. miˇ siˇ cna aktivnost stegna in sile tal ali miˇ siˇ cna aktivnost podlahti in sile roˇ cajev) odzovejo v enakem trenutku, kar potrjuje, da so vsi merilni sistemi med seboj sinhronizi- rani. 6 Zakljuˇ cek V tem prispevku smo predstavili merilni sistem, ki ga bomo uporabil za nadaljnje raziskovanje kinematike vsta- janja ljudi – naj si bo to kadar ljudje vstajajo sami ali ka- dar vstajajo s pomoˇ cjo drugega ˇ cloveka, robota, ali pritr- jenega drˇ zala. S testnimi meritvami smo pokazali, da je predstavljen sistem dobro zasnovan, saj omogoˇ ca sinhronizirano mer- jenje razliˇ cnih veliˇ cin med vstajanjem. Sinhronizacija razliˇ cnih merilnih naprav je namreˇ c nujna, ˇ ce ˇ zelimo do- biti kar se da realistiˇ cno sliko procesa vstajanja. To pa je ˇ se dodatno pomembno, ˇ ce ˇ zelimo v prihodnosti prenesti samo veˇ sˇ cino vstajanja in pobiranja ˇ cloveka na humano- idnega robota. Acknowledgement: This work was supported by Slovenian Research Agency grant N2-0153. Literatura [1] NASA, “Nasafacts - robonaut facts,” tech. rep., 2011. [2] A. J. Ijspeert, “Central pattern generators for locomotion control in animals and robots: A review,” Neural Ne- tworks, vol. 21, no. 4, pp. 642 – 653, 2008, robotics and Neuroscience. [3] T. Petriˇ c, A. Gams, J. Babiˇ c, and L. ˇ Zlajpah, “Reflexive stability control framework for humanoid robots,” Auto- nomous Robots, vol. 34, 05 2013. [4] Z. Zhu and H. Hu, “Robot learning from demonstration in robotic assembly: A survey,” Robotics, vol. 7, no. 2, 2018. [5] L. Miˇ skovi´ c, R. Kropivˇ sek Leskovar, A. Gams, and T. Petriˇ c, “Optimizing end-effector force during the sit-stand task on the talos humanoid bipedal robot,” 2021, p. 175–178. [Online]. Available: https://erk.fe.uni- lj.si/2021/erk21.pdf [6] T. Brecelj and T. Petriˇ c, “Angular dependency of the zero moment point,” in Advances in Service and Industrial Ro- botics. Springer International Publishing, 2021, pp. 135– 144. [7] “Optitrack,” https://optitrack.com/, August 2022. [8] “Motive,” https://optitrack.com/software/motive/, August 2022. [9] “Emg,” https://delsys.com/trigno/, August 2022. [10] “Merilnik sil,” https://www.ati- ia.com/products/ft/ft models.aspx?id=Nano25, August 2022. [11] “Ploskovni merilniki sil,” http://www.btsbioengineering.com/products/infini-t- force-platform/, August 2022. Slika 6: Primer izmerjenih veliˇ cin med vstajanjem. Vsak izrisan graf prikazuje primerjavo razliˇ cnih veliˇ cin, ki bi se morale v teoriji spreminjati sinhrono.