ERK'2021, Portorož, 378-381 378 Zaznavanjeterasiranihpokrajinkotsemantiˇ cnasegmentacija digitalnegamodelavišin AnžeGlušiˇ c ∗ ,RokCigliˇ c + inLuka ˇ CehovinZajc ∗ ∗ UniverzavLjubljani,Fakultetazaraˇ cunalništvoininformatiko + ZnanstvenoraziskovalnicenterSlovenskeakademijeznanostiinumetnosti,GeografskiinštitutAntonaMelika E-pošta: anze.glusic@gmail.com,rok.ciglic@zrc-sazu.si,luka.cehovin@fri.uni-lj.si Abstract Wepresentourpreliminarystudyonapplyingasemantic segmentation model to the problem of detecting terraced landscapes from LIDAR data. The study is conducted on south-west region of Slovenia, we are using digital ele- vation model and reference annotations that were manu- ally identified by experts. These annotations are incom- plete and the main question of our study is if they can still be used to bootstrap our predictive model. We pro- videdetailsaboutdatapre-processingandtrainingsetup. Our results show that the model can help identify ter- races even using noisy training data, providing further opportunitiesforweaklysupervisedandinteractivetrain- ingscenarios. 1 Uvod Globoki modeli konvolucijskih nevronskih mrež nam o- mogoˇ cajo, da v slikovnih podatkih odkrivamo komple- ksne vzorce. Taki modeli se lahko uspešno uporabijo v nalogah, ki bi drugaˇ ce zahtevale veliko zamudnega roˇ c- negadelainbilepodvrženepristranskostiinspremenljivi pozornosti. Primertakenalogejepregledovanjepodatkov daljinskegazaznavanjapovršja. Vnašištudijismoseos- redotoˇ cili na digitalni model višin, pridobljen s tehnolo- gijo LIDAR, na katerem hoˇ cemo nauˇ citi globoki model, kibodoloˇ cilpodroˇ cjaterasiranihpokrajin,boljnatanˇ cno seosredotoˇ camonakulturneterase. Kulturneterasesozgradilizaradilažjegakmetovanja, zmanjšane erozije prsti in uravnavanja koliˇ cine vode [1, 2]. Na seznam svetovne kulturne dedišˇ cine je uvršˇ cenih že nekaj terasiranih pokrajin [3, 4]. Kulturne terase pa ponekod izginjajo zaradi zarašˇ canja ali neustrezne ob- delave. Leta2010jebilanaglobalniravnisprejetaHong- hejskadeklaracija 1 . TerasesotudivSlovenijižeprepoz- nane kot dragocen element pri ohranjanju pokrajine 2 , a zaenkrat Slovenija še nima povsem ustreznega kriterija zaidentifikacijoterastersistemaupravljanja[5]. Teraso sestavljata ravna ali rahlo nagnjena, razliˇ cno širokaterasnaploskev,namenjenaobdelavi,inboljstrma, razliˇ cno visoka terasna brežina. Bolj je poboˇ cje strmo, 1 Deklaracija je bila sprejeta z namenom, da opozori na pomen kmetijskih (kulturnih) teras ter pripomore k zašˇ citi in razvoju terasi- ranihobmoˇ cijpocelemsvetu. 2 Uredbaonavzkrižniskladnosti,UradnilistRS97/2015. Slika 1: Primer terasirane pokrajine v Goriških Brdih (fo- tografija: Matjaž Lenarˇ ciˇ c) ter njenega digitalnega modela višin, prikazanega kot senˇ cen relief. Na modelu višin so terase dobrovidnekot ˇ crtastvzorec. ožjesoterasneploskve[6,5]. Pretekleraziskavesopoka- zale na raznolikost kulturnih teras in njihov pomen za prebivalstvo,nisopauspeleizpeljatinatanˇ cnihpostopkov za njihovo objektivno samodejno prepoznavanje. Danes je to, zaradi novih podatkovnih virov in razvoja metod strojnega uˇ cenja bolj izvedljivo, kot pred nekaj leti. V ˇ clanku predstavljamo trenutne rezultate razvoja globo- kega modela za zaznavanje terasiranih pokrajin na os- novi digitalnega modela višin. Priˇ cakujemo, da bo napo- vedni model pripomogel k izboljšani metodologiji pre- poznavanja kulturnih teras. Detajlna doloˇ citev teras bi izboljšalarazumevanjeinvrednotenjenjihovihokoljskih, socialnih in ekonomskih pomenov [7]. Evidenca teras je pomemben temelj vseh nadaljnjih raziskav in izvajanja uradnihpostopkovterimatudiširšipomen(npr. zaohran- janjekulturnepokrajine,prehranskovarnost). 2 Sorodnadela Kersodigitalnimodelivišinzaveˇ cjaobmoˇ cjadokajnovi, njihov zajem pa drag, so prve metode za samodejno pre- poznavanje terasiranih pokrajin delovale na analizi bolj dostopnih satelitskih slik [8, 9]. Metode delujejo na sli- kovnihpreslikavahinanalizisignala[8]terosnovnihkon- ceptih strojnega uˇ cenja [9]. Za obmoˇ cja, kjer je na voljo digitalni modelvišin, prinese njegovauporabaprednosti, saj je mogoˇ ce dobre rezultate dobiti z relativno prepros- timiekspertnimisistemiizpeljanimiizanalizepovršja[7, 10, 11]. Dodatno informacijo je mogoˇ ce dobiti s kombi- nacijoveˇ cihvirov(višine,ortofoto,slojrabetal)[12]. Ponašemvedenjuglobokouˇ cenjevkontekstudetek- 379 Slika 2: Prikaz obravnavanega obmoˇ cja v obliki digitalnega modela reliefa, na katerem so obmoˇ cja, ki so v referenˇ cnih po- datkihoznaˇ cenakotterase,prikazanazrdeˇ cobarvo. Sturkizno barvojeprikazanamejaSlovenije. cijeterasiranihpokraijnšenibilouporabljeno,šeposebej ne na digitalnem modelu višin. Kot najbolj sorodno delo bi tako opredelili nedavno uporabo globokega uˇ cenja za prepoznavanjevrtaˇ cvSloveniji[13],kisosicerenaizmed boljpogostoanaliziranihreliefnihoblik. 3 Podatki V letih 2011, 2014 in 2015 se je z laserskim skeniran- jem posnela celotna Slovenija, pripravljeni so bili sloji višinreliefainpovršjavoblikioblakatoˇ ckterkotrastrski digitalni model višin v loˇ cljivosti 1m [14], ki ga bomo uporabili kot vhodni podatek v naš model 3 . Kot referen- co za uˇ cenje in vrednotenje smo uporabili podatke, pri- dobljene v okviru projekta Terasirane pokrajine v Slove- niji kot kulturna vrednota [5, 15, 16]. V okviru projekta se je v obdobju 2011 do 2014 z roˇ cno analizo letalskih posnetkov (ortofoto) zabeležilo kulturne terase za obmo- ˇ cjecelotneSlovenije. Vokvirunašeanalizesmoseosre- dotoˇ cili na jugozahodni del Slovenije, ki vsebuje najveˇ c terasiranih pokrajin. Obravnavano obmoˇ cje je prikazano na Sliki 2. Obmoˇ cje je veliko približno 80× 50 km (79561× 50960 celic). Del pravokotnega obmoˇ cja, za kateregasicerimamodigitalnimodelreliefazaradinaˇ cina zajema sega izven meja Slovenije. Zaradi omejitve be- leženja teras na Slovensko ozemlje, smo se za naše delo omejilinaobmoˇ cjeznotrajdržave(68.5%celicpravokot- negaobmoˇ cja). Glede na referenˇ cne podatke je delež terasiranih po- krajin relativno majhen glede na celotno obravnavano o- zemlje, zgolj 5.9%. Zato govorimo o neuravnoteženih podatkih,kisoobenemšegeografskoneenakomernopo- 3 SurovepodatkehraniAgencijaRSzaokolje. razdeljeni. Poleg tega smo že pred zaˇ cetkom eksperi- mentovvedeli,dajeseznamteraspomanjkljiv,predvsem ne obsega teras, ki so zapušˇ cene in zarašˇ cene, zato jih pri pregledu letalskih posnetkov pogosto ni bilo mogoˇ ce opaziti,možnapajetudi ˇ cloveškanapaka. 4 Metodologija Kljub izzivom, omenjenim v prejšnjem poglavju, smo raziskavo zaˇ celi s predpostavko, da je zaradi naˇ cina u- ˇ cenja odpornost globokih modelov na šum v oznakah v doloˇ cenihprimerihvelika[17]. Problemzaznavanjatera- siranih pokrajin zaradi raznolikih oblik teras v raziskavi obravnavamo kot klasiˇ cen problem semantiˇ cne segmen- tacije. Na tem podroˇ cju je zelo pogosto uporabljena glo- boka arhitektura UNet [18], ki je prikazana na Sliki 3. Grezapolnokonvolucijskisamokodirnik,kiprekoplasti konvolucij in združevalnih slojev z maksimizacijo opiše lastnostiveˇ cjegaobmoˇ cjavposamezniceliciozkegagrla. V drugem delu se podatki postopoma spet rekonstruirajo na izvorno velikost slike v ciljno obliko za vsak slikovni element–klasifikacijavenegaizmedciljnihrazredov. Model UNet smo prilagodili za uporabo na naših po- datkih. Število parametrov modela zmanjšali na 25% s sorazmernimzmanjšanjemštevilakanalovvvsakiplasti. Podatkeprocesiramovoblikizaplatvelikosti512×512, izrezanih iz celotnega digitalnega modela višin. Vhod v modeljedvo-kanalnamatrikaparcialnihodvodovzaplate, kisonormaliziranizdeljenjemzmaksimalnovrednostjo odvoda znotraj znanih teras (19 m). Taka predstavitev nam omogoˇ ci, da je porazdelitev vrednosti podobna na vseh izsekih podatkov. Izhod iz modela je dvo-kanalna matrika verjetnosti, da posamezna celica vsebuje terase ali ne. Tekom uˇ cenja se napovedana dvo-kanalna verje- tnost primerja z referenco. Za to smo uporabili veˇ cra- zredno Dice-ovo funkcijo napake [19], ki je primerna za uˇ cenjesegmentacijenaneuravnoteženihpodatkih. 5 Eksperimentalnirezultati Dasmomodeleksperimentalnoovrednotili,smopodatke razdelili na uˇ cni in testni del. Ker je porazdelitev po- datkovzeloneenakomerna,smouporabilidelitevobmoˇ c- ja v obliki šahovnice (obmoˇ cja velikosti: 2048× 2048 celic). Liha podroˇ cja šahovnice so namenjena uˇ cenju, nato pa se vertikalno in diagonalno izmenjujejo obmoˇ cja namenjenauˇ cenjuinvrednotenju. Stemsmodoseglisko- rajenakomernozastopanostterasvobehmnožicah. Iz ustreznega dela šahovnice smo nakljuˇ cno vzorˇ cili vzorce,kisovcelotiznotrajletega. Kerveˇ cinapodatkov nepripadaterasam,smovzorˇ cenjetekomuˇ cenjapogojili spripadnostjovsaj1%vzorcaterasam(gledenareferen- ˇ cne podatke). Uˇ cno množico smo naknadno obogatili z nakljuˇ cnimikombinacijamizrcaljenjaterrotacije. ModelsmooptimiziralizmetodoAdam[20]v40000 korakih v paketih po 16 vzorcev. Hitrost uˇ cenja je bila 0.001. Nauˇ ceni model smo najprej kvantitativno ovre- dnotili na celotni testni polovici zbirke z natanˇ cnostjo in priklicem. Rezultati so povzeti v Tabeli 1, za referenco smovzelinakljuˇ cnibinarniklasifikator. 380 1616 512 32 32 256 64 64 128 128 128 64 256 256 32 Ozko grlo 128 64 128 64 128 64 128 64 64 128 64 128 64 128 64 128 32 256 32 256 32 256 32 256 16 512 16 512 16 512 16 512 512 softmax Slika 3: Uporabljeni model za semantiˇ cno segmentacijo. Vhod v model sta parcialna odvoda, pridobljena iz digitalnega modela višin,izhodpabinarnamaskaprisotnostiterasiranihpokrajin. Natanˇ cnost Priklic F1 Nakljuˇ cno 0.06 0.50 0.10 Model 0.54 0.67 0.52 Tabela 1: Kvalitativno vrednotenje dobljenega modela na test- nem delu podatkov. Prikazane so mere natanˇ cnost, priklic in F1. Slika 4: Napake na celotnem obravnavanem obmoˇ cju (rdeˇ ci kanal) skupaj z deležem teras v referenˇ cnih podatkih (zeleni kanal). Kvantitativnirezultatisicerpotrjujejo,dasejemodel neˇ cesa nauˇ cil, vendar pa so slabši od priˇ cakovanj. Zato smo podatke in napako ovrednotili tudi kvalitativno. Na Sliki4jeprikazananapaka,povpreˇ cenapopodroˇ cjih 512×512 celic skupaj z deležem teras na teh podroˇ cjih. Vidimo lahko, da se veliko napak pojavlja na podroˇ cjih, kjer se tudi drugaˇ ce pojavljajo terase. Ob podrobnem pregledu smo ugotovili, da so referenˇ cni podani podatki bolj šumni, kot smo priˇ cakovali. Najveˇ c napak prihaja iz neoznaˇ cenih(terasesovidnenasenˇ cenemreliefu,vendar niso oznaˇ cene), napaˇ cno oznaˇ cenih (so oznaˇ cene vendar jih tam ni) in nenatanˇ cno oznaˇ cenih obmoˇ cij (oznaˇ ceno ninatanˇ cnoobmoˇ cje,terasesenadaljujejoizvenobmoˇ cja ali pa je obmoˇ cje oznake preširoko). Vse to v prvi vrsti negativnovplivanafunkcijonapake,kiseoptimiziramed uˇ cenjeminvmodelvnašašum,podrugistranipaizkrivi tudirezultatevrednotenja. V Sliki 5 je zbranih nekaj primerov najbolj pogostih odstopanjmedreferenˇ cnimioznakamiinnapovedmimo- dela, ki smo jih odkrili med kvalitativnim pregledom. V prvi vrstici so primeri ne-zaznanih teras. V nekaterih primerih so terase enostavno preozke, da bi jih model zaznal (A-1). V doloˇ cenih primerih so referenˇ cne ozna- ke, vsaj glede na digitalni model višin, napaˇ cne (B-1) ali pa vsaj vprašljive (C-1). V drugi vrstici so primeri delnih referenˇ cnih oznak, kljub širšemu obsegu teras so oznaˇ cena samo doloˇ cena zemljišˇ ca (A-2), oznake so na- paˇ cne, vendar je poleg njih model pravilno zaznal terase (B-2). V doloˇ cenih primerih (C-2) referenˇ cne oznake samonisonatanˇ cne,napakevmejahpaprispevajoksku- pni napaki. V tretji vrstici so najprej prikazani primeri oˇ citnih teras, ki jih je model našel, pa niso bile med ref- erenˇ cnimipodatki(A-3inB-3),kotzadnjisoprimerido- bregaujemanjareferenˇ cnihpodatkovinnapovedimodela (C-3). 6 Zakljuˇ cek V ˇ clanku smo predstavili delne rezultate naše raziskave na temo zaznavanja terasiranih pokrajin v Sloveniji. V okviruraziskavesmouporabilipodatkedigitalnegamod- elavišinterreferenˇ cnepodatke,pridobljenezroˇ cnoanal- izoletalskihposnetkov. Problemsmozastavilikotuˇ cenje modela za semantiˇ cno segmentacijo. Referenˇ cni podatki niso bili uravnoteženi, poleg tega smo že vnaprej vedeli, da referenˇ cne oznake najverjetneje niso popolne in vse- bujejo napake. Kljub temu smo pri analizi rezultatov ugotovili, da je, kljub nadzorovanemu naˇ cinu uˇ cenja in slabšim kvantitativnim kazalnikom, model robusten na napakevreferenˇ cnihpodatkih. Vnadaljevanjubomozato model poskusili izboljšati z upoštevanjem dodatnih mo- dalnosti, npr. letalski posnetki, ter upoštevanjem konte- ksta kot je informacija o parcelaciji. Zaradi šumnih po- datkov bomo celoten postopek uˇ cenja modela poskusili zastavitikotdelno-nadzorovanoaliinteraktivnouˇ cenje. Zahvala: Raziskava je bila delno financirana v okviru ARRS projektov L6-4038 in Z2-1866 ter ARRS progra- movP6-0101inP2-0214. 381 Slika5: Izbraniprimeriujemanjazreferenˇ cnimipodatki. Zelena-ujemanje,Rdeˇ ca-samonapoved,Modra-samoreferenca. References [1] M. Varotto, L. Bonardi, and P. Tarolli. World terraced landscapes: history, environment, quality of life, vol- ume9. Springer,2018. [2] T. Berˇ ciˇ c and L. Ažman Momirski. Parametric terracing as optimization of controlled slope intervention. Water, 12(3):634,2020. [3] L. Ažman Momirski and T. Berˇ ciˇ c. Ignored regions: Slovenian terraced landscapes. Annales, 26(3):399–418, 2016. [4] D. Kladnik, R. Cigliˇ c, M. Geršiˇ c, B. Komac, D. Perko, andM.Zorn. Diversityofterracedlandscapesinslovenia. Annales,26(3):469–486,2016. [5] D. Kladnik, D. Perko, R. Cigliˇ c, and M. Geršiˇ c, editors. Terasiranepokrajine. ZaložbaZRC,2016. [6] L. Ažman Momirski, D. Kladnik, B. Komac, F. Petek, P.Repolusk,andM.Zorn. TerasiranapokrajinaGoriških brd,volume17. ZaložbaZRC,2008. [7] F. Ferrarese, S. Eugenio Pappalardo, A. Cosner, S. Brug- naro, K. Alum, A. Dal Pozzo, and M. De Marchi. Map- ping agricultural terraces in italy. methodologies applied in the mapter project. In World Terraced Landscapes: History, Environment, Quality of Life, pages 179–194. Springer,2019. [8] Y. Zhang, M. Shi, X. Zhao, X. Wang, Z. Luo, et al. Methodsforautomaticidentificationandextractionofter- races from high spatial resolution satellite data (china-gf- 1). International Soil and Water Conservation Research, 5(1):17–25,2017. [9] W.Sun,Y.Zhang,X.Mu,J.Li,P.Gao,G.Zhao,T.Dang, and F. Chiew. Identifying terraces in the hilly and gully regionsoftheloessplateauinchina. LandDegradation& Development,30(17):2126–2138,2019. [10] A. Ninfo. An assessment of the threat to the terraced ar- eas along the brenta canal: an approach based on lidar. Terraced landscapes of the Alps. Atlas. Project Alpter– Interreg iiib Alpine Space Programme Co-funded by the EuropeanUnion,pages28–30,2008. [11] D. Godone, D. Giordan, and M. Baldo. Rapid mapping application of vegetated terraces based on high resolu- tionairbornelidar. Geomatics,NaturalHazardsandRisk, 9(1):970–985,2018. [12] T.Berˇ ciˇ c. Discoveringterracedareasinslovenia: reliable detectionwithLIDAR. Annales,26(3):449–468,2016. [13] A. Mihevc and R. Mihevc. Morphological characteristics and distribution of dolines in slovenia, a study of a lidar- based doline map of slovenia. Acta Carsologica, 50(1), May2021. [14] M. ˇ Cekada Triglav and V. Bric. Konˇ can je pro- jekt laserskega skeniranja slovenije. Geodetski vestnik, 59(3):586,2015. [15] D. Kladnik, D. Perko, R. Cigliˇ c, and M. Geršiˇ c, editors. TerracedLandscapes. ZaložbaZRC,2016. [16] M.ŠmidHribar,M.Geršiˇ c,P.Pipan,P.Repolusk,J.Tiran, M. Topole, et al. Cultivated terraces in slovenian land- scapes. ActageographicaSlovenica,57(2):83–97,2017. [17] D. Rolnick, A. Veit, S. Belongie, and N. Shavit. Deep learning is robust to massive label noise. arXiv preprint arXiv:1705.10694,2017. [18] O. Ronneberger, P. Fischer, and T. Brox. U-net: Convo- lutional networks for biomedical image segmentation. In Medical Image Computing and Computer-Assisted Inter- vention(MICCAI),volume9351ofLNCS.Springer,2015. (availableonarXiv:1505.04597[cs.CV]). [19] C. H. Sudre, W. Li, T. Vercauteren, S. Ourselin, and M. Jorge Cardoso. Generalised dice overlap as a deep learning loss function for highly unbalanced segmenta- tions. In Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, pages240–248.Springer,2017. [20] D. P. Kingma and J. Ba. Adam: A method for stochastic optimization. arXivpreprintarXiv:1412.6980,2014.