ERK'2019, Portorož, 351-354 351 Naprava za vizualno-kinestetiˇ cno navigacijo slepih in slabovidnih Kristjan Stopar 1 1 Fakulteta za elektrotehniko, raˇ cunalniˇ stvo in informatiko, Univerza v Mariboru (UM FERI) Koroˇ ska cesta 46, 2000 Maribor, Slovenija E-poˇ sta: kristjan.stopar@student.um.si Abstract. We introduce a device for kinesthetic naviga- tion of the blind and visually impaired. The device was designed and implemented by following the recommenda- tions of 39 blind or visually impaired persons. It consists of ergonomically shaped glasses with ten time-of-flight sensors that detect obstacles at the maximal distance of 4 m in the field of view of about 87.5 horizontally and 67 vertically. The information about the detected obstacles is wirelessly transmitted to the medical belt with fifteen flat vibration motors distributed in 3 rows covering the abdominal area of about 28 20 cm. The intensity of vibrations is modulated by the information about the ob- stacle’s size, direction and distance, as detected by the glasses and corrected by the belt orientation. The closer the obstacle, the more intensive the vibrations of a given motor. The bigger the obstacle, the larger the number of vibrating motors. The device was tested on 12 healthy persons with no previous experiences with the navigation systems for the blind. In their first attempt, the individuals detected 2:8 0:4 out of 4 obstacles and spent 80 31:5 seconds to successfully walk through 11 m long custom- built polygon in56:2 15:7 steps. In the second attempt, they significantly improved their performance as they de- tected 2:92 0:3 obstacles and spent 56 18:7 seconds and 48:3 10:7 steps to complete the walk. 1 Uvod Slepi in slabovidni se vsakodnevno sreˇ cujejo s ˇ stevilnimi izzivi. Ritem modernega ˇ zivljenja se je v zadnjih le- tih moˇ cno dvignil. Prav tako se poveˇ cujeta gostoti na- seljenosti in prometa. Zaradi omenjenih demografskih sprememb se za slepe in slabovidne poveˇ cujejo izzivi vkljuˇ cevanja v sodobno druˇ zbo. Navigacija skozi vrveˇ z ljudi in spreminjajoˇ cih se prostorskih ovir je le eden iz- med teh izzivov. Obvladanje tega izziva pa pogosto doje- mamo kot znak samostojnosti in neodvisnosti, ˇ se posebno v krogu slepih in slabovidnih. Problem, ki ga reˇ suje naˇ sa naprava je navigacija slepih in slabovidnih mimo vsa- kodnevnih ovir, ki se pojavijo v notranjih prostorih in na prostem. Za problem navigacije slepih ˇ ze obstajajo reˇ sitve kot so bela palica, pes vodnik [1], oˇ cala z umetno inteligenco, vibracijske priponke [2], robotizirane palice [1], ter vibracijske zapestnice, a izziv je bil narediti na- pravo, ki bi reˇ sevala tovrstne navigacijske probleme in bila hkrati cenovno dostopna, intuitivna za uporabo ter preprosta za izdelavo. Naprava zaznano okolje uporab- niku predstavi v obliki vibracij polja vibracijskih elemen- tov, kar je kljuˇ cnega pomena za intuitivno uporabo, saj slepi in slabovidni dokazano zaznavajo vibracije veliko bolje kot ljudje brez teˇ zav z vidom [3]. Vendar pa ta feno- men prestrukturiranja centralnega in perifernega ˇ zivˇ cnega sistema ˇ se ni povsem razumljen. Poslediˇ cno je tudi ra- zvoj navigacijskih naprav za slepe in slabovidne precej dinamiˇ cen in ˇ se daleˇ c od globalno optimalne reˇ sitve. 2 Opis delovanja naprave Napravo sestavljata dva glavna dela, in sicer oˇ cala za za- znavanje okolja ter pas za interpretacijo le-tega. Oˇ cala povzemajo obliko smuˇ carskih oˇ cal in so izde- lana s postopkom 3D tiskanja, kar omogoˇ ca veˇ cjo sto- pnjo prilagajanja posamezniku ter estetski nivo, ki je priˇ cakovan glede na rezultate naˇ se ankete na 39 slepih in slabovidnih osebah. Na oˇ calih so dodani dodatki iz gume in pene za bolj udobno uporabniˇ sko izkuˇ snjo, ki je bila po podatkih ankete slepim in slabovidnim ena izmed naj- pomembnejˇ sih lastnosti oˇ cal. Celotna teˇ za oˇ cal je 172 g, kapaciteta enoceliˇ cne litij-polimer (LiPo) baterije znaˇ sa 2000 mAh, poraba toka pa znaˇ sa 406 mA. Predviden ˇ cas delovanja naprave do izpraznitve je 4,5 h. Procedura zaznavanja okolice se priˇ cne na oˇ calih z meritvami desetih razliˇ cno usmerjenih senzorjev ˇ casa preleta svetlobnega ˇ zarka (angl. time-of-flight - ToF) VL53L1X [4]. Ti vrnejo podatek o absolutni razdalji do ovire. Zaznavno obmoˇ cje oˇ cal je 87,5 horizontalno in 67 vertikalno. Istoˇ casno se izvajajo meritve inercijske merilne enote (IME) MPU-9250 [5], ki se kasneje upo- rabijo za ugotavljanje usmerjenosti uporabnikovega po- gleda (Slika 1). Vse pridobljene informacije so s pomoˇ cjo 32 bitnega mikroprocesorja Xtensa LX6 zapakirane v lasten podat- kovni format in preko povezave bluetooth (BT) poslane vibracijskemu pasu. Tudi na pasu se izvajajo meritve z enoto IME, ki se skupaj z meritvami orientacije oˇ cal uporabijo za na- tanˇ cen izraˇ cun usmerjenosti pogleda oˇ cal in pasu ozi- roma kotne razlike njunih usmerjenosti. Glede na pri- dobljene informacije o oddaljenosti zaznanega predmeta in usmerjenosti uporabnikovega pogleda mikrokrmilnik 352 ESP-WROOM-32 [6] vkljuˇ cuje in izkljuˇ cuje vibracijske motorje Seeed Studio 0834 na izbranem delu pasu (Slika 2) ter prilagaja njihovo intenzivnost vibriranja. Bliˇ zje kot je zaznan predmet, intenzivnejˇ sa je vibracija. Ko naprava ne zaznava niˇ cesar, so vsi vibracijski motorji izklopljeni (Slika 3). Slika 1: Shema oˇ cal za navigacijo. Slika 2: Shema mreˇ ze vibratorjev na pasu. Pas vsebuje petnajst vibracijskih motorjev ter vˇ sito mikrokrmilniˇ sko enoto ESP-WROOM-32 z enoceliˇ cno litij-polimer (LiPo) baterijo kapacitete 10.000 mAh. Ce- lotna poraba toka znaˇ sa 800 mA, pas pa tehta 486 g. Pred- viden ˇ cas delovanja do izpraznitve je 12 h. Na uporab- niku je nameˇ sˇ cen tako, da vibracijski motorji pokrivajo trebuh ter obmoˇ cji nad zunanjimi poˇ sevnimi trebuˇ snimi miˇ sicami. V ta namen smo uporabil medicinski pas za oporo hrbtu znamke Mueller [7]. Izbrali smo ga, ker je ˇ sirok, dobro prilagodljiv telesu in se na telo namesti z ela- stiˇ cnimi jeˇ zki. Tako je primeren za veˇ c razliˇ cnih obsegov pasu konˇ cnih uporabnikov. Slika 3: Shema delovanja naprave. 3 Zaznavanje okolja Informacije o obliki prostora in o ovirah v njem so po- sredovane konˇ cnim uporabnikom v obliki vibracij pasu. Izbira je utemeljena na podlagi raziskav v [3], ki ugota- vljajo, da imajo slepi zaradi izgube vida izboljˇ sana druga ˇ cutila. Poleg ˇ cutil za vonj, sluh in otip se jim izboljˇ sajo tudi spominske in lingvistiˇ cne sposobnosti, kar je mogoˇ ce zaradi plastiˇ cnosti ˇ cloveˇ skih moˇ zganov. Izboljˇ save ko- gnitivnih sposobnosti, predvsem spominskih, bistveno pripomorejo k uporabi naprave, saj slepi ali slabovidni uporabniki v povpreˇ cju laˇ zje prepoznavajo vzorce vibra- cij [3]. Tekom razvoja naprave smo testirali veˇ c vrst vibra- cijskih motorjev. Najprej smo izbrali vibracijske motorje odprtega tipa. Ti niso bili ustrezni, saj jih je bilo za- radi njihove prosto vrteˇ ce se glave potrebno ograditi s po- sebno oblikovanimi 3D natisnjenimi kapsulami. Kapsule in omenjen tip vibracijskih motorjev so bili izloˇ ceni za- radi pregrevanja in poslediˇ cne toplotne deformacije kap- sul. Nato smo testirali ploˇ sˇ cate vibracijske motorje. Ti so bili primernejˇ si, saj so zaprtega tipa, kar je omogoˇ cilo naˇ crtovanje enostavnejˇ sih in bolj odprtih kapsul, ki se iz- datno ne pregrevajo. Sam pas je elastiˇ cen, kar omogoˇ ca dobro prilagaja- nje telesu ter konstanten stik vseh vibracijskih motor- jev. Uporabnik ga namesti nad pasom, vibracijski mo- torji pa pokrivajo predel trebuha od leve do desne zunanje poˇ sevne trebuˇ sne miˇ sice. Za namestitev pasu smo iskali veˇ cje toge povrˇ sine telesa, ki bi omogoˇ cile razporeditev vseh vibracijskih motorjev na enem mestu, ti pa bi bili vseeno dovolj narazen, da uporabnik razloˇ ci med posa- meznimi vibracijami oziroma smermi iz katerih prihajajo ovire. Pri tem smo upoˇ stevali ˇ zeljo anketiranih uporabni- kov, da so pas in vibracije ˇ cim manj moteˇ ci. Pri naˇ sem zaˇ cetnem prototipu pasu so vibratorji po- krivali hrbet. Povrˇ sina in poslediˇ cno loˇ cljivost zaznava- nja vibracij sta bili ustrezni, pas pa je bil nemoteˇ c. Po testiranju smo ugotovili, da sama uporabniˇ ska izkuˇ snja ni bila najbolj naravna, saj si je uporabnik moral prostor, ki je bil preko vibracij posredovan hrbtu, preslikati v pro- stor pred sabo [8]. Zato so bili vibracijski motorji presta- vljeni na trebuh, ki premore tudi veˇ c senzoriˇ cnih ˇ zivcev. S tem naprava omogoˇ ca intuitivno in natanˇ cnejˇ se zazna- vanje ovire v pravilni smeri brez dodatnih zahtev po pre- slikavanju prostorov. Povrˇ sina, ki jo pokriva vseh petnajst vibracijskih mo- torjev [9] tvori pravokotno mreˇ zo velikosti 28 20 cm (Slika 2). Vsak vibracijski motor predstavlja del vidnega polja uporabnika. Razporejeni so v tri vrste po pet motor- jev. Takˇ sna oblika je bila izbrana, ker je tudi razporeditev senzorjev na oˇ calih podobna (zaznavajo veˇ cji horizon- talni kot vertikalni kot). Mreˇ za na pasu z izbrano obliko dovoljuje pogled levo in desno, kar omogoˇ ca premikanje srediˇ sˇ ca vibracij po mreˇ zi v odvisnosti od usmerjenosti pogleda in pasu uporabnika. To pripomore k bolj naravni uporabniˇ ski izkuˇ snji, saj se obmoˇ cje vibriranja prilagaja usmerjenosti pogleda in telesa. Naprava z uporabo pulzne modulacije nadzoruje in- tenziteto vibriranja motorjev, kar omogoˇ ca interpretacijo 353 oddaljenosti do ovir. Minimalna zaznana oddaljenost je 4 cm, maksimalna pa pribliˇ zno 4 m, vendar meritve blizu maksimalne razdalje niso natanˇ cne. Intenziteta vibracij se poveˇ cuje z bliˇ zino ovir. Lestvica intenzivnosti vibra- cij je linearna. Testirali smo tudi logaritemsko lestvico, a se le-ta zaradi prepoˇ casnega naraˇ sˇ canja logaritma in po- slediˇ cno slabˇ sega zaznavanja oddaljenosti od ovir izka- zala kot manj primerna. 4 Testiranje Napravo smo testirali na 12 prostovoljcih (3 ˇ zenske, 9 moˇ skih, povpreˇ cna starost 34;2 11;4 let). Iz- vedba testa je temeljila na predhodno opravljeni anketi o priˇ cakovanih funkcijah naprave za navigacijo. Testiranje je bilo izvedeno v notranjem prostoru (avla objekta G2, UM FERI), ki je bil dovolj velik, da je simuli- ral zunanje razmere. V zunanjih razmerah so ovire razpo- rejene na veˇ cjih razdaljah, poleg tega pa ni sten, ki bi jih uporabnik ves ˇ cas zaznaval. Test je potekal v dveh delih. V prvem delu smo prostovoljce seznanili z delovanjem naprave. Poleg tega smo testirali spreminjanje intenzitete vibracij z bliˇ zanjem in oddaljevanjem od stene. Drugi del je potekal na poligonu (Sliki 4 in 5), ki je simuliral ovire na razliˇ cnih viˇ sinah. Ovire so bile narejene iz lahke polisterenske pene in so predstavljale razliˇ cne predmete kot so miza, visok in ozek steber ter vrata. Te ovire smo izbrali, ker so po mnenju slepih anketirancev za njih naj- bolj zahtevne. Posebej je bila testirana tudi viseˇ ca ovira, saj se jo z belo palico ne da zaznati. Drugi del testiranja so testiranci opravili dvakrat, saj smo ˇ zeleli preveriti, ˇ ce se natanˇ cnost in hitrost zaznavanja ovir veˇ cata s ˇ casom uporabe. Slika 4: Fotografija poligona v velikosti 11 X 3 m. Viˇ sina ste- brov in vrat je 2,3 m. Slika 5: Fotografija tlorisa poligona. Uspeˇ snost navigacije po poligonu smo merili s ˇ casom prehoda, ˇ stevilom zaznanih ovir ter ˇ stevilom korakov. Na koncu so uporabniki podali njihove obˇ cutke ter opisali njihovo uporabniˇ sko izkuˇ snjo. 5 Rezultati Od ˇ stirih ovir so testiranci v prvem prehodu v povpreˇ cju zaznali 2;8 0;39 ovire, v drugem pa 2;92 0;29 ovire. Med obema prehodoma ni bilo statistiˇ cno znaˇ cilnih razlik (Friedmanov test z Bonferronijevo ko- rekcijo, p>0,05). Oviro, ki je bila pod viˇ sino pasu (naj- bolj leva ovira na sliki 5) je zaznal le en testiranec. Pri drugih ovirah v veˇ cini primerov ni bilo teˇ zav z zaznava- njem. Povpreˇ cen ˇ cas prvega prehoda testirancev je znaˇ sal 80;0 31;5 sekund, povpreˇ cen ˇ cas drugega prehoda pa 56;0 18;3 sekund. Pri prvem prehodu so merjenci naredili 56;2 15;7, pri drugem pa 48;3 10;7 kora- kov. Obe razliki sta statistiˇ cno znaˇ cilni (Friedmanov test z Bonferronijevo korekcijo, p< 0,01). Slika 6: Rezultati meritev prvega prehoda poligona. Slika 7: Rezultati meritev drugega prehoda poligona. Iz rezultatov je razvidno, da so testiranci v drugem prehodu skozi poligon porabili manj ˇ casa, naredili manj korakov ter zaznali veˇ c ovir. Viseˇ ca ovira, ki je bila testi- rana posebej, je bila zaznana v vseh poskusih. 354 6 Diskusija in zakljuˇ cek Razvili smo napravo za vizualno-kinestetiˇ cno navigacijo slepih in slabovidnih in jo testirali na zdravih preisko- vancih. Vsi preiskovanci so bili mnenja, da je naprava nemoteˇ ca in dovolj lahka ter udobna za vsakodnevno uporabo. Poleg tega so bili vsi preiskovanci uspeˇ snejˇ si in hitrejˇ si v drugem prehodu poligona, kar nakazuje na izboljˇ sanje zaznavanja ovir oziroma ˇ cutenja prostora z veˇ canjem ˇ casa uporabe. Opazili smo, da se je s ˇ casom uporabe veˇ cala odloˇ cnost oziroma hitrost hoje. Po mnenju veˇ cine prei- skovancev se je izboljˇ sal obˇ cutek za zaznavo bliˇ zine ovir. Slednjega bi lahko ˇ se dodatno izboljˇ sali s piskaˇ cem, ki bi opozarjal na neposredno bliˇ zino ovire, na primer, ko je ovira bliˇ zje od 0,5 m. Hitrost uˇ cenja preiskovancev je bila odvisna od njihove izbire strategije hoje po prostoru. Upoˇ stevati je treba tudi, da testiranci niso imeli izkuˇ senj s slepo hojo, zato je potrebno pri meritvah upoˇ stevati nji- hovo zaˇ cetno negotovost. Ugotovili smo, da naprava v primeru, ko uporab- nik gleda naravnost, slabˇ se zaznava ovire, ki so niˇ zje od viˇ sine pasu. Na razdaljah, daljˇ sih od 2 m slabˇ se zaznava tudi ovire, oˇ zje od 20 cm. Oba problema bi lahko reˇ sili z uporabo veˇ c senzorjev, drugaˇ cno usmeritvijo le teh in zoˇ zitvijo izhodnega laserskega snopa svetlobe posame- znega senzorja, ki trenutno meri 36,5 . ˇ Ce to ne bi za- dostovalo, bi lahko senzorje dodali tudi na pas in na ta naˇ cin omogoˇ cili zaznavanje ovire na viˇ sini uporabniko- vega pasu in pod njim. Samo natanˇ cnost zaznavanja ovir pa bi lahko poveˇ cali tudi s kombinacijo senzorjev preleta svetlobnega ˇ zarka in dveh kamer. Zaradi njene energet- ske potratnosti, te reˇ sitve nismo izbrali. V prihodnje ˇ zelimo izboljˇ sati tudi uˇ cinkovitost de- lovanja naprave z uporabo piezoelektriˇ cnih vibracijskih motorjev. Ti so uˇ cinkovitejˇ si od trenutno uporabljenih, a za upravljanje zahtevajo dodaten gonilnik in so manj do- stopni. Potreben je ˇ se test, s katerim bomo ugotovili ali je naˇ cin vibriranja omenjenih vibracijskih motorjev primer- nejˇ si. Pri treh od dvanajstih testirancev se je pojavil pro- blem pri prenosu vibracij oziroma informacij o obliki okolice na uporabnika, saj se jim pas in vibracijski motorji na njem zaradi njihovega specifiˇ cno oblikova- nega telesa niso prilegali dovolj dobro. S tem se je zmanjˇ sala enakomernost zaznavanja vibracij, kar je vo- dilo do zmede pri oviri, ki je predstavljala vrata, saj so bile vibracije interpretirane napaˇ cno. Problem sla- bega prileganja vibracijskih motorjev na telo uporabnika bi lahko reˇ sili z razliˇ cnimi velikostmi medicinskih pa- sov in dodatno peno okoli vibracijskih motorjev, ki bi omogoˇ cila enakomernejˇ si in tesnejˇ si stik le-teh z uporab- nikovim telesom. 7 Zahvala Hvala Urbanu Koˇ saletu in Pii ˇ Znidarˇ siˇ c za sodelovanje pri izdelavi in testiranju celotne naprave. Hvala tudi Sre- dnji elektro ˇ soli in tehniˇ ski gimnaziji Novo mesto in men- torju Tomaˇ zu Ferbeˇ zarju za ideje in vztrajno podporo, Medobˇ cinskemu druˇ stvu slepih in slabovidnih v Novem mestu ter Mariboru za sodelovanje pri anketi in oblikova- nju specifikacij naprave. Hvala mentorjema na UM FERI Jerneju Kranjcu in red. prof. Aleˇ su Holobarju. Literatura [1] M. A. Hersh, M. A. Johnson: Assistive Technology for Visually Impaired and Blind PeopleSpringer Sci- ence & Business Media : Springer Science & Busi- ness Media, 2010. str. 142. [2] C. Sylvain, D. Thalmann, F. Vexo: Weara- ble Obstacle Detection System for visually im- pared people. (dostopano dne: 30. 6 2019). < https ://infoscience.epfl.ch/record/99014/files/ haptex05.pdf>. [3] C. M. Bauer, G. V . Hirsch, L. Zajac, B. Koo, O. Collignon, L. B. Merabet: Multi- modal MR-imaging reveals large-scale struc- tural and functional connectivity changes in profound early blindness, 22. marec 2017, < https ://journals.plos.org/plosone/article?id=10.1371 /journal.pone.0173064> [4] STMicroelectronics: A new generation, long dista- nce ranging Time-of-Flight sensor, 22. - 24. Novem- ber 2018, [5] InvenSense: MPU-9250 Product Specification Revi- sion 1.0, 17. 1. 2014, [6] Adafruit learning system: Adafruit HUZZAH32 - ESP32 Feather. 22. 8 2018, (dostopano dne: 1. 7. 2019). [7] Mueller sports medicine: Adjustable Back Brace, 2019, [8] K. Stopar, U. Koˇ sale, P. ˇ Znidarˇ siˇ c: Oˇ cala za slepe (Raziskovalna naloga s podroˇ cja Aplikacijski inova- cijski predlogi in projekt), april 2018, Novo mesto: ZOTKS [9] Seeed studio: Mini vibration motor 2.0mm, 12. 2. 2015,