REPUBLIKA SLOVENIJA MINISTRSTVO ZA IZOBRAŽEVANJE, ZNANOST IN ŠPORT
Identifikacija varne pristajalne cone
Aljaž Blažič1, Klemen Kotnik1, Kristina Nikolovska1, Miha Ožbot1, Martin Pernuš1, Uroš Petkovič1, Nika Hrušovar2, Matic Verbič2, Irena Ograjenšek2, Andrej Zdešar1, Matevž
Bošnak1, Tine Tomažič3, Gregor Klančar1
1 Fakulteta za elektrotehniko, Univerza v Ljubljani
2	Ekonomska fakulteta, Univerza v Ljubljani
3	PIPISTREL VERTICAL SOLUTIONS d.o.o
Identification of a safe landing zone
Abstract. Recently, there has been a growing interest in developing autonomous lending systems which is the greatest challenge of the whole autonomous flight mission. This paper presents market research results of currently available sensors for environment recognition during landing. Main focus is given to development of algorithms for the safe-landing zone estimation using LIDAR and stereo-camera sensors. And finally, the paper highlights challenges in this research field.
1 Uvod
Ob pojavu revolucionarne inovacije, kot je bil v preteklosti npr. avtomobil, ki je omogočil razvoj množične mobilnosti, se sedaj bliža nova inovacija na področju transporta, ki bo omogočala potovanje po zraku in občutno zmanjšala tako stroške kot porabljen čas. Eden ključnih izzivov avtonomnega delovanja letala VTOL (vertical take off and landing) je avtomatizacija pristajanja. Tu je potrebno identificirati primerno površino oziroma območje, na katerem lahko letalo zanesljivo pristane. Ta ne more biti odvisno samo od pilotovega pogleda iz kabine, ki lahko ima nepopolne informacije. Zato smo razvili predlog senzorskega sistema, ki bo sprva pilotu v pomoč v prihodnje pa omogočal avtonomno delovanje. Odločili smo se za povezovanje in nadgradnjo obstoječih rešitev zaradi ekonomije obsega, kjer se cena končnega izdelka s povpraševanjem zmanjšuje. Namreč vizija vključenega podjetja je izdelek tržiti na globalnem trgu.
Predstavljeno delo je nastalo v okviru PKP projekta (po kreativni poti do znanja) katerega osnovni cilj je vključitev študentov v reševanje konkretnih problemov katere definira sodelujoče podjetje. Sodelovalo je osem študentov iz Fakultete za elektrotehniko in Ekonomske fakultete Univerze v Ljubljani, ter pet mentorjev iz omenjenih fakultet in podjetja PIPISTREL VERTICAL SOLUTIONS d.o.o.
V prispevku je najprej predstavljena raziskava trga obstoječih zmogljivih senzorjev za namen razpoznavanja pristajalne cone. Nato sledi opis razvoja algoritmov, ki so uporabljeni za obdelavo podatkov, identifikacijo pristajalne cone iz meritev in ustrezne
predstavitve rezultatov uporabniku. Pri razvoju smo se osredotočili na 3D LIDAR in stereo kamero, ki sta se izkazala za najprimernejša. Vrednotenje delovanja predlaganih sistemov je izvedeno na realističnih meritvah. Na koncu so izpostavljeni bodoči izzivi na tem področju raziskav.
2 Opis problema in predstavitev uporabljenih orodij
Cilj projekta je predlog avtonomnega sistema za pristajanje letala VTOL. Predlog vključuje izbiro ustreznih senzorjev, njihove primerne postavitve na letalo, obdelavo podatkov in izvedba osnovnih algoritmov. Najprej smo definirali osnovne predpostavke, izhodišča in omejitve. Sistem mora delovati od višine 50 metrov in manj. Končna odločitev za pristanek naj bo podana iz višine vsaj 15 metrov. Senzorji naj ne vsebujejo vrtečih delov zaradi robustnosti, njihov vpetje naj bo fiksno oz. je dovoljena le rotacija v eni smeri. Lahko se uporabi več senzorjev po trupu. Celotna cena senzorskega sistema naj ne preseže 10000€.
Pri delu smo uporabili sledeča orodja.
Matlab, kjer je potekal osnovni razvoj algoritmov. Okolje je primerno v fazi razvoja, saj vsebuje številne knjižnice, omogoča enostavno delo z matrikami, hitro implementacijo algoritmov, enostavne prikaze, digitalno obdelavo signalov, ipd. To programsko okolje je bilo uporabljeno za implementacijo algoritmov in obdelavo podatkov LIDARja in slik.
PCL (Point cloud library) je odprta knjižnica za obdelavo 2D in 3D slik in točk oblakov. Vsebuje algoritme za filtriranje, rekonstrukcije površine (modeliranje in segmentiranje), razpoznavanje objektov iz oblik. Celotna knjižnica je sestavljanja iz manjših knjižnic. Podpira stereo kamere, 3D skenerji, Kinect itd. PLC knjižnica je bila uporabljena pri obdelavi slik, ki so bile dobljene iz kamer.
Fusion 360 je program za 3D risanje. To je prvo 3D orodje, ki povezuje celoten proces razvoja izdelka (CAD, CAM in CAE) v eno platformo. Je odprt program za študente. Uporabljen je bil pri risanju predlaganih 3D modelov in postavitev kamer na 3D model letala.
ERK'2018, Portorož, 190-193
190
3 Pregled senzorjev za namen avtonomnega pristajanja
-	radar kombiniran s stereo kamero ter
-	ToF kamera kombinirana s stereo kamero.
Senzorji so glavni gradniki za izvedbo avtonomnega pristajanja letala. Pri izberi so imeli prednost senzorji, ki imajo vsaj 30 metrov dometa, nimajo vrtljivih mehanskih delov ter so dovolj robustni.
Cilj opravljene analize je bil ugotoviti, kaj trg senzorjev ponuja, katere tipe, kaj od tega je za nas uporabno, kaj je že v prodaji in kaj šele v razvoju. Pregledana je bila celotna ponudba (3D, 2D in 1D LIDAR, kamere, stereo kamere, IR kamere, radarji, ToF kamere, ultrazvočni senzorji itd.) od teh pa izbran najbolj primeren nabor za naš problem (glej Tabelo 1).
Ugotovljeno je bilo, da veliko ponudnikov trži rešitve, ki so še v razvoju in zato dejansko nedostopne in s pomanjkljivimi specifikacijami. Tovrstno razočaranje so bili Solid-State LIDARji, saj nimajo mehansko premikajočih delov in so zato bolj robustni in bi posledično bili najprimernejša izbira. Poleg nedostopnosti jim trenutno večinoma uporabo omejuje še majhno vidno polje, domet, resolucija in cena.
Zelo velik potencial imajo kamere (stereo), zaradi dostopnosti in informativnosti meritve oz. slik. Večji izziv pa predstavlja kakovostno obdelava slik in pridobivanje zanesljivih 3D slik oziroma oblaka točk na večjih razdaljah.
Delovanje IR kamer je odvisno od temperaturnega kontrasta okolice, ki lahko zelo niha v določenem območju. A kljub vsemu vrne 2D sliko, primerno za obdelavo in hitro analizo potencialnih objektov.
ToF kamere delujejo le na (pre-) kratkih razdaljah in v dobrih razmerah (lepo vreme). Dobra stran pa je, da neposredno meri 3-D informacijo.
Radarji lahko delujejo tako na kratkih, kot tudi dolgih razdaljah, a so omejeni s slabo resolucijo.
Izbira trenutno najprimernejših senzorjev za našo rešitev in dostopnih na trgu prikazuje Tabela 1.
Tabela 1. Izbrani senzorji
Tip senzorja	Senzor
Solid-State LIDER Stereo kamere Infrardeca kamera Time of Flight Radar	Cepton HR80W MultiSense S2 NightHawk 2 03D303 Continental ARS4-A
Predlagani so štiri različni scenariji za zaznavanje okolice pristanka. Vsem je skupna osnovna ideja v pridobitvi 3D oblaka točk prostora, katerega nato obdelamo z namenom identificiranja dobrih in slabih ravnin oz. območij. Pri klasifikaciji ravnin se je za najprimernejšo izkazala metoda RANSAC (RANdom SAmple Consenses). Vsak scenarij vsebuje kombinacijo dveh različnih principov senzorjev, kjer slabosti enega odpravijo prednosti drugega. Narejene so naslednje kombinacije senzorjev:
-	solid-state LIDAR kombiniran s stereo kamero,
-	IR kamera kombinirana s stereo kamero,
Vsi možni pristopi temeljijo na postopnem merjenju, kjer je uporaba senzorja namenjena za različne višine, s tem se izboljša natančnost in zanesljivost zajete meritve. Večje število senzorjev doda k redundanci, s tem se poveča varnost ob okvari in se pridobi več virov informacij za primerjavo z drugimi viri informacij.
Nekateri senzorji, npr. solid state LIDAR, imajo zelo ozko področje merjenja (FoV) kot je npr. 60°x24° pri modelu Cepton HR80W (Wide angle). Možna rešitev (manj robustna) je mehanski mehanizem, ki bi senzor pomikal v krožnem loku pri tem posnel več posameznih slik, katere naknadno združimo v globalno sliko terena. Druga rešitev (dražja in izvedbeno zahtevnejša) je postavitev več enakih senzorjev, ki hkrati pokrivajo večjo površino.
Slika 1. Postavitev senzorjev na letalu (LIDAR senzor na sredini in par stereo kamer na krilih)
4 Ocena varne pristajalne cone 4.1 Osnovni pristop
Bločni diagram potega obdelave podatkov od zajema meritev do grafičnega prikaza je podan na sliki 2. Le-ta je osnovan tako, da je skupen tako meritvam LIDARja kot stereo kamere s katerima je bila izvedena konstrukcija globinske slike.
Uvoz podatkov		Priprava		RANSAC		Glavna
V MATLAB		podatkov				ravnina
Pristajalna		Dobre in
cona		slabe točke
Grafični prikaz
Slika 2: Shema poteka obdelava podatkov 4.2 Izvedba meritev
Razvoj in delovanje algoritmov smo izvajali izključno na realnih podatkih. Zajeti so bili z dveh različnih senzorjev LIDAR (Velodyne VLP-16) in stereo kamera (2x ACME VR06 na razdalji 1m). Meritve smo posneli iz okna v drugem nadstropju Fakultete za elektrotehniko (pogled na parkirišče, Slika 3).
191
Slika 3: Prikaz območja, ki je bilo merjeno.
4.3 Pristop z senzorjem LIDAR
Podatki iz LiDAR Velodyne VLP-16 so bili dobljeni v obliki pcap, katere se s programom VeloView preoblikuje v format csv (comma-separated values). Podatke uvozimo v MATLAB s pomočjo funkcije csvread, kjer je rezultat oblak točk v kartezičnem koordinatnem sistemu LIDAR senzorja (Slika 4). Velodyne VLP-16 meri 360° vidnega polja, a zanimivo je le specifično področje, tako da odstranimo nepomembne točke.
Slika 4: 3D globinska slika meritve LIDARja
Iz meritve določimo meje območja in ga razdelimo na podobmočja. V posameznem podobmočju iščemo ravnino, ki se najbolj prilega točkam z RANSAC metodo. RANSAC je iterativni postopek za oceno parametrov matematičnega modela iz podatkov, ki vsebujejo osamelce, za katere ne želimo, da vplivajo na oceno parametrov. V algoritmu se najprej preveri, če je dovolj točk, sicer je podobmočje označeno za nedefinirano območje, nato se naključno izbere tri točke, katere eksaktno določajo eno ravnino. V naslednjem koraku se izračunajo razdalje vseh točk podobmočja do ravnine, kjer se shranijo vse točke, ki so v določeni bližini (npr. vsaj 10 cm) ploskve, te smatramo kot dobre točke. Opisani postopek se «-krat ponovi. Seznam točk shranimo le, ko je teh več kot v vseh prejšnjih poskusih. Dobre točke se lahko klasificira tudi kot točke katere so bile več kot m-krat označene za dovolj blizu naključno najdene ravnine. Po končanih iteracijah je shranjen največji seznam dobrih točk in po metodi najmanjših kvadratov se določi ravnino, katera se najbolj prilega dobrim točkam. Dobljeno ravnino se oceni na podlagi njene vodoravnosti oz. poravnanosti normale ravnine z z-osjo ter skupno oddaljenostjo dobrih točk do nje. Na podlagi odstopanja se dobljeno ravnino oceni za spremenljivo ali nespremenljivo, torej dobra ali slaba cona.
V naslednjem koraku se z upoštevanjem vseh dobrih ravnin podobmočij lahko določi glavno ravnino (na Sliki 5-6 označeno s temno zeleno) na več različnih načinov. Težave povzročajo dobre ravnine na različnih višinah.
Sledi klasificiranje vseh točk na podlagi oddaljenosti od glavne ravnine, kjer prag (npr. 10 cm) določa točko kot dobro ali slabo. Dodatno se preveri okolico vseh slabih točk, kjer se išče prvo dobro točko okoli dane slabe, katero se naknadno interpretira tudi kot slabo točko. S tem se pridobi informacija o robovih ovir. Vse dane točke se preslika na glavno ravnino, kjer se na področjih, kjer so točke preveč oddaljene med seboj, doda nove "nedefinirane" točke, katere v radiju R ne vsebujejo nobene druge točke.
Nato poiščemo največji radij dobrih točk za potencialno najboljšo pristajalno površino. Le-ta ne sme zajeti nobene slabe ali "nedefinirane" točke, dodatno mora biti celotno iskano področje znotraj mej glavne ravnine in ne sme biti v kontaktu z nedefiniranim področjem. Iskanje je iterativni postopek, kjer se iskano področje premika po x- in >"-osi in se shrani najbolj uspešno področje.
Končni rezultat razpoznave je grafični prikaz (Slika 5, prva metoda) glavne ravnine z osvetljenim krogom najprimernejše cone pristajanja, malo temnejša zelena barva na ravnini prikazuje dobre točke in rdeča barva prikazuje izbočene ovire. Za drugi način (slika 5) predstavitve rezultatov se najprej v vsakem podobmočju poračuna mediana srednje vrednosti točk, v nedoločenih območjih se ta vrednost določi z mediano sosednjih vrednosti median, ter se vse te točke poveže in oblikuje nepretrgano in nezvezno površino.
Slika 5: Prikaz rezultatov s prvo metodo
Slika 6:Predstavitev rezultatov po drugo metodi
4.4 Pristop s stereo kamero
S stereo kamero, sestavljeno iz dveh kamer ACME VR06, so bili tako kot s senzorjem LIDAR, zajeti zunanji posnetki. Z uporabo kalibriranih stereo kamer se je lahko nato pridobilo ustrezno globinsko sliko. Izkazalo se je, da je kvalitetno izvedena kalibracija izrednega pomena za pridobitev ustrezne globinske slike. V nadaljevanju je opisan postopek pridobivanja globinskih slik.
192
Prvi korak pri obdelavi posnetkov je kalibracija stereo kamere. Z njo se pridobi parametre, ki opisujejo notranje parametre kamere in zunanje parametre kamere. Notranji parametri predstavljajo optični center in goriščno razdaljo kamere. Zunanji parametri predstavljajo orientacijo in oddaljenost med obema kamerama. Zaradi uporabe kamer, ki imata širok zorni kot, je pomembna uporaba radialnih koeficientov distorzije, ki upoštevajo večje lomljenje svetlobnih žarkov ob robovih leče kot ob optičnem centru. Kalibracijo se lahko izvede s pomočjo slike šahovnice, ki je v zornem kotu obeh kamer. Na vsaki sliki se poišče oglišča šahovnice. Z uporabo več slik šahovnic z označenimi oglišči in informacije o resnični razdalji med posameznimi oglišči se lahko izračuna potrebne notranje in zunanje parametre kot tudi parametre distorzije z algoritmom, opisanim po članku [1].
Z uporabo kalibracijskih parametrov se lahko odpravi distorzijo na slikah in jih izravna. Z izravnavo slik se doseže, da pripadajoče točke iz obeh slik ležijo v isti vrstici, oziroma isti vrednosti y koordinate slike. Za dosego tega se uporabi transformacijo slike, ki doseže, da se zdi, kot da sta kameri poravnani paralelno. S pridobitvijo izravnanih slik se lahko na teh izračuna sliko disparitete med obema slikama. Dispariteta predstavlja razliko v slikovnih točkah med stolpcema korespondenčnih točk na levi in desni sliki. Računanje disparitete je potekalo s pol-globalno metodo prileganja (angl. Semi-global matching) [2], ki se od običajnih metod računanja disparitete razlikuje po tem, da zahteva podobno dispariteto med bližnjimi bloki slikovnih elementov, zaradi česar se lahko delno znebimo šuma, ki nastane zaradi neujemanja slikovnih elementov pri iskanju disparitete.
Oblak točk iz najdenih parov slikovnih elementov dobimo preko enačbe:
0 0 0
-l/T»
-cv
—c„
- cx)T
-X-		-x
y		Y
d		Z
-1-		-W
Slika 7: Prikaz dobrih (zelenih), slabih (rdečih) in nedoločenih (črnih) con na sliki leve kamere
5 Zaključek
V delu je predstavljen predlog zasnove avtonomnega sistema za pristajanje letala in avtomatične ocene varne cone pristanka, ki temelji na 3D LIDARju in stereo-kameri. Opravljen pregled senzorjev je pokazal, da je veliko senzorjev, ki bi bili primerni (npr. solid-state LIDAR) še v fazi razvoja. Iz opravljene študije vidimo predvsem omejitve in prednosti senzorjev, ki so trenutno na trgu.
Rezultati, dobljeni pri vrednotenju delovanja predlaganih algoritmov so dobri, glede na pričakovane težave strojnega vida celo nad pričakovanji. Algoritmi trenutno ne delujejo v realnem času, saj je bil primarni cilj potrditev predlaganih konceptov, algoritmov in nabora senzorjev. Opravljene raziskave nakazujejo, da je mogoče z dostopnimi in cenovno sprejemljivimi senzorji ter obstoječimi algoritmi razviti zanesljiv sistem samostojnega zaznavanja cone pristajanja.
Nadaljnje izboljšave in koraki bodočega razvoja bi bili sledeči. Preizkus metodologij na bolj kvalitetnih senzorjih, predvsem kamerah. Nadgradnje algoritmov v smislu večje robustnosti, izbira zanesljivejših značilk pri določanje disparitet slike in delovanje v realnem času. Izvedba meritev na dejanskem letalu s predlaganimi scenariji senzorjev ter izvedba izboljšav v postavitvi senzorjev, njihovi izbiri ter v algoritmih.
kjer cx ter cy predstavljata središče senzoija leve kamere, / je goriščna razdalja leve kamere, r je razdalja med kamerama, cx je x-koordinata središča desne kamere, d je dispariteta na koordinatah x ter y. Ker imamo opravka s homogenimi koordinatami, je pozicija slikovne točke v 3D koordinatah enaka (X/W. F/ W, Z /W).
Ko je oblak točk dobljen ga obdelujemo na enak način kot z LIDAR podatki (Slika 2 in podpoglavje 4.3). Rezultat obdelave je prikazan na Sliki 7. Vsaka točka na Sliki 7 predstavlja 10x10 pikslov na originalni sliki. Glede na to ali je dobra ali slaba so točka obarva zeleno ali rdeče. V primeru, ko točka ni določena pa na Sliki 7 pripadajoče slikovne elemente prikažemo s črno barvo.
Zahvala
Delo je nastalo v okviru PKP projekta, ki ga sofinancirata Evropska unija iz Evropskega socialnega sklada in Republika Slovenija.
Literatura
[1]	Z., Zhengyou. A flexible new technique for camera calibration. IEEE Transactions on pattern analysis and machine intelligence, vol. 22 , str.1330-1334, 2000.
[2]	H. Hirschmuller. Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information. International Conference on Computer Vision and Pattern Recognition, vol. 2, str. 807-814, 2005.
193