ERK'2021, Portorož, 83-86 83 Regresivna nevronska mreˇ za za ocenjevanje vlaˇ znosti tal Blaˇ z Pongrac 1 , Duˇ san Gleich 1 , Peter Planinˇ siˇ c 1 1 Univerza v Mariboru, Fakulteta za elektrotehniko, raˇ cunalniˇ stvo in informatiko, Slomˇ skov trg 15, Maribor, Slovenija E-poˇ sta: blaz.pongrac1@um.si Regression Neural Network for Soil Moisture Estimation Over the past few years image categorization using deep learning became very popular, because it can handle large databases and has shown good recognition results. This paper presents the complex valued convolutional network (CV-CNN) for Synthetic Aperture Radar (SAR) soil mois- ture estimation. The CV-CNN consist in general of a real or complex valued input layer, output layer and one or more hidden layers. Hidden layers represent any combi- nation of convolutional layers, pooling layers, activation functions, and are fully defined within complex valued do- main. This paper proposes a deep Convolutional Neural Network (CNN) for soil moisture parameter estimation. A 9 layer convolutional neural network was used, consist- ing of convolutional, pooling, dropout, fully connected and regression layers. We used 1000 ground measure- ments for each SAR acquisition using L-band fully po- larimetric SAR data. The experimental results were veri- fied using 100 ground points. The accuracy of volumetric moisture was around 13%. 1 Uvod Radar z umetno odprtino (ang. Synthetic Aperture Radar, SAR) je aktivni senzor, ki lahko zajema podatke neodvi- sno od vremena, podnevi in ponoˇ ci. Zaradi tega lahko SAR slike uporabimo v ˇ stevilnih aplikacijah, od meritev vlaˇ znosti, spremljanja stanja gozdov in ocenjevanja bi- omase, za aplikacije v kmetijstvu, spremljanje urbanega okolja, v aplikacijah za spremljanju potresov in zemelj- skih plazov, itd. SAR je nadvse primeren za klasifikacijo zemeljske povrˇ sine, zaznavanje tarˇ c na povrˇ sini zemlje in nadzor ter spremljanje zemeljskih procesov (npr. drse- nje, tektonske premike, vlaˇ znost, itd.). Interpretacija slik SAR se zaradi mehanizmov sipanja in pegastega ˇ suma v SAR slikah razlikuje od foto-vizualne analize. Ana- liza in interpretacija SAR slik sta bili v zadnjih desetletjih deleˇ zni obseˇ znih raziskav. V zadnjih letih so predlagali uporabo veˇ c razliˇ cnih globokih konvolucijskih nevronskih mreˇ z (ang. Convolu- tional Neural Network, CNN). Obstaja veˇ c struktur glo- bokih konvolucijskih mreˇ z oz. modelov, npr. AlexNet [1], VGG-S [2], Places-CNN [3], polno konvolucijski se- mantiˇ clo segmentacijski model (ang. Fully Convolutio- nal Semantic Segmetation Model) [4], modeli CNN za salientno objektno subitiranje (ang. CNN Models for Sa- lient Object Subitizing) [5], Places-CNDS modeli za sek- cijsko prepoznavo [6], modeli za doloˇ cevanja starosti in spola [7], GoogLeNet [8], itd. Vsi, v zadnjih letih upo- rabljeni modeli, se ukvarjajo s toˇ cno doloˇ cenim proble- mom, kot je to prekomerno prilagajanje, povezave med vozliˇ sˇ ci sosednjih slojev, veˇ cja kapaciteta uˇ cenja, itd. CNN s kompleksnimi vrednostmi so ˇ ze bile upora- bljene, in sicer v veˇ cih pristopih klasifikacije realnih in kompleksnih problemov [9]-[10]. Avtorji so v [9] pred- stavili model CNN s kompleksnimi vhodnimi podatki in uteˇ zmi. Predlagan kompleksni model je bil posploˇ sitev realnega modela. Ena izmed prvih raziskav CNN s kom- pleksnimi vrednostmi (ang. Complex Value CNN, CV- CNN) za prepoznavo objektov iz polarimetriˇ cnih SAR (Pol-SAR) podatkov je bila predstavljena v [11]. Upo- rabljena je bila struktura z enim samim konvolucijskiim slojem, ki je dala obetavne rezultate. CV-CNN je bila predstavljena v [12], kjer je spust po naklonu (ang. Gra- dient Descent) v polnosti uporabljen za uˇ cenje tega tipa nevronskie mreˇ ze. Primerjava razliˇ cnih modelov CNN z realnimi podatki (ang. Real-Valued CNN, RV-CNN) za klasifikacijo slik se je razˇ sirila tudi na CV-CNN. Avtorji v [13] so predstavili pristop avtomatske prepoznave tarˇ c s pomoˇ cjo CV-CNN. Klasifikacija Pol-SAR podatkov s CV-CNN je bila predstavljena v [14]. Avtorji so v [10] predstavili primerjavo med RV-CNN in CV-CNN. Pol-SAR sistemi imajo veˇ c potenciala pri izboljˇ sanju radarskih zmoˇ znosti opazovanja parametrov zemljinega povrˇ sja. Lahko reˇ cemo, da je polno polarimetriˇ cni SAR obetavno orodje za poveˇ canje natanˇ cnosti pridobljenih po- datkov v razliˇ cnih vremenskih pogojih pri doloˇ cevanju poraˇ sˇ cenosti in topografije terena. Opravljenih je bilo tudi veˇ c raziskav, ki kaˇ zejo na to, da lahko s polarime- triˇ cnimi podatki uspeˇ sno ocenimo parametre zemljinega povrˇ sja, kot sta npr. vlaˇ znost in razgibanost [16][17][18]. V tem prispevku je predstavljeno ocenjevanje para- metrov zemljine povrˇ sine s pomoˇ cjo polno polarimetriˇ cnih SAR podatkov. Vlaˇ znost zemlje je ocenjena z uporabo nevronske mreˇ ze s kompleksnimi podatki in uteˇ zmi, ki ima realne vhodne podatke, in je uˇ cena z dvema uˇ cnima mnoˇ zicama, ki sta bili pridobljeni ob dveh razliˇ cnih letnih ˇ casih. Predstavljena sta kompleksna nevronska mreˇ za in regresivni model ocenjevanja parametrov. S pomoˇ cjo eksperimentalnih podatkov je prikazana uˇ cinkovitost in 84 toˇ cnost predstavljene metode ocenjevanja vlaˇ znosti. 2 Struktura nevronske mreˇ ze s kompleksnimi podatki CNN je predstavljena z veˇ c sloji nevrosnke mreˇ ze. Struk- tura CNN se deli na vhodni sloj, kateremu lahko sle- dita sloja podvzorˇ cenja in regularizacije, zakljuˇ ci pa se s polno povezanim slojem. Vhod v CNN je slika, ki jo obdelamo z veˇ c siti. Odziv sita pridobimo s konvolucijo - konvolucijski odziv kodira vhodne podatke in doloˇ ci znaˇ cilke z zmanjˇ sanjem dimenzionalnosati vhodne slike. Odzivi sit predstavljajo vhod v nenasiˇ cene aktivacij- ske funkcije, kar lahko drastiˇ cno pospeˇ si uˇ cenje CNN. Najveˇ ckrat uporabljena sktivacijska funkcija je ReLU, ki jo uporabimo za izloˇ cevanje nelinearnih procesov. Ak- tivacijska funkcija ReLU je bila uporabljena za vsakim konvolucijskim in polno povezanim slojem. Zadnji sloj predlagane konvolucijske mreˇ ze uporablja sofmax aktiva- cijsko funkcijo, s katero zagotovimo maksimalno multi- nominalno logistiˇ cno regresijo. Izhod iz konvolucijskega sita je po navadi podvzorˇ cen, saj ˇ zelimo zmanjˇ sati di- menzije znaˇ cilk, s ˇ cimer pa naredimo znaˇ cilke neodvi- sne od premikov. Ko uporabimo 2× 2 max-pool sloj podvzorˇ cenja, se izhod razdeli v celice dimenzij 2× 2, ki se med seboj ne prekrivajo. V vsaki 2× 2 celici ohra- nimo le najviˇ sjo vrednost, s tem pa smo dimenzijo izho- dne slike zmanjˇ sali za faktor 2, detektirane znaˇ cilke pa so neobˇ cutljive na premik objekta. Tako kot pri RV-CNN, tudi pri CV-CNN vhod teme- lji na 2D multikanalnem vhodu, t.i. polju kanalov (ang. channel maps). Najveˇ cja razlika med RV-CNN in CV- CNN je, da je vsak vhodni kanal predstavljen v komple- ksni domeni, v kompleksni domeni pa so tudi skriti sloji, ki so predstavljeni s konvolucijski siti, sloji podvzorˇ cenja in aktivacijskimi funkcijami. Konvolucijski sloj izvaja konvolucijo med drseˇ cim oknom in kompleksno vhodno delno sliko, kjer le-ta sluˇ zi kot polje sit. Razultat je matrika, kjer je vsaka izhodna vrednost seˇ stevek skalarnega produkta kompleksnih vre- dnosti drseˇ cega okna in vhodne delne slike. Za iskanje veˇ c znaˇ cilk v vhodni delni sliki uporabimo veˇ c polj sit. Izhod iz veˇ c polj sit lahko oznaˇ cimo tudi kot izhodno po- lje, ki ga poveˇ zemo na sigmoid ali tanh aktivacijske funk- cije. V primeru predlagane reˇ sitve je bila uporabljena si- gmoid aktivacijska funkcija, s pomoˇ cja katere se ustvari polje znaˇ cilk. Rezultat konvolucije, ki vkljuˇ cuje izhod prejˇ snjega skritega sloja, lahko opiˇ semo kot O (l+1) i ∈ ℑ W2× H2× I in ga lahko izraˇ cunamo kot O (l+1) i = 1 1 +exp(−ℜ V (l+1) i ) + j 1 1 +exp(−ℑ (V (l+1) i )) V (l+1) i = w (l+1) ik ⋆O (l) k +b (l+1) i (1) kjer je polje sit opisano kot ω (l) ik ∈ ℑ F× F× K× I , vho- dno polje znaˇ cilk kotO (l) i ∈ℑ W1× H1× K , odmik pa kot b l+1 i ∈ℑ I . Spremeljivka l predstavlja ˇ stevilo trenutnih slojev, kjer ⋆ predstavlja konvolucijski operator. V (l+1) i predstavlja uteˇ zeno vsoto vhodnih podatkov vse do i-tega izhodnega polja znaˇ cilkv slojul+1. Konvolucijski sloj je doloˇ cen s ˇ stevilom znaˇ cilkI, velikostjo sitaF× F× K, korakovS in dodanih niˇ celP . Namen sloja podvzorˇ cenja je, da zmanjˇ samo dimen- zije delne slike. V predstavljeni reˇ sitvi je doseˇ zena pro- storska nespremenljivost, kar pomeni, da je predlagana CNN neobˇ cutljiva na manjˇ se spremembe in premike [14]. V veˇ cini to doseˇ zemo z max-pool funkcijo. Funkcija podvzorˇ cenja povpreˇ ci vrednosti v oknu, max-pool funk- cija pa nato izbere najviˇ sjo vrednost, ki se ohrani. Iz- brana funkcija povpreˇ cenja v kompleksni obliki je bila doloˇ cena kot O (l+1) i (x,y) = ave u,v =0,...,g − 1 O (l) i (x· s +u,y· s +v) (2) kjer je g faktor podvzorˇ cenja, s pa korak. (x,y) pred- stavlja lokacijo znaˇ cilke na i-tem elementuO (l+1) i (x,y). Polno povezana plast je namenjena klasifikaciji po izraˇ cu- nanem izhodu iz zadnje konvolucijske plasti in plasti podv- zorˇ ceja. V primeru CV-CNN je uporabljenih veˇ c polno povezanih svojev, saj je s tem zagotovljena povezava med posameznimi nevroni v prejˇ snji plasti [14]. Izhod lahko ocenimo kot O (l+1) i = f(ℜ (V (l+1) i )) + jf(ℑ (V (l+1) i )) V (l+1) i = K X k=1 ω (l+1) ik · O (l) k +b (l+1) i (3) kjer K predstavlja ˇ stevilo nevronov v l-ti plasti. Izho- dna plastje predstavljena kot 1× C vektor, kjer nam C predstavlja ˇ stevilo razredov in hkrati dolˇ zino izhodnega vektorja. Izhodni vektor je kompleksen, zato moramo v prejˇ snjem izrazu zamenjati skalar 1 s kompleksno vre- dnostjo (1 + 1j). Delna slika pripada tistemu razredu, od katerega je razdalja v izhodnem vektorju najkrajˇ sa. 3 Globoka regresivna mreˇ za za detekcijo vlaˇ znosti tal V predstavljeni metodi je uporabljen regresivni model z CNN za ocenjevanje parametrov. Sestavljen je iz vho- dnega sloja, ki mu sledi kopica skritih slojev. Posamezni skriti sloj je sestavljen iz konvolucijskega sloja, podv- zorˇ cenja in polno povezanega sloja. Zadnji sloji v re- gresivni CNN doloˇ cijo velikost in tip izhodnega podatka. Kadar imamo opravka z regresivnim problemom, moramo na koncu strukture nevronske mreˇ ze pred regresivni sloj postaviti polno povezan sloj. Regresivni sloj izraˇ cuna srednji kvadratiˇ cni pogreˇ sek (ang. Mean Squared Error, MSE), ki jo doloˇ cimo kotMSE = P R i=1 1 R (t i − Θ i ) 2 , kjer jeR ˇ stevilo odzivov,t i je ciljni izhod, in Θ i je napo- vedan izhod za odzivi. V izhodnem vektorju velikostin vsaka vrednost predstavlja ustrezni element Θ in je odvi- sna od reda porazdelitve verjetnosti. Na izhodih konvolucijskih slojev je bila izvedena nor- malizacijska funkcija, s katero smo skrajˇ sali ˇ cas uˇ cenja. 85 ReLU plast je bila uporabljena za dodajanje nelinearno- sti in za zmanjˇ sanje problema z zmanjˇ sanjem gradienta. ReLU in normalizacijska funkcija sta prav tako pripomo- gla k zmanjˇ sanju ˇ stevila aktiviranih nevronov med inter- ferenco. Za zmanjˇ sanje dimenzionalnosti je bilo upora- bljeno podvzorˇ cenje s povpreˇ cenjem in faktorjem 2 ter korakom 2 piksla. Prvi skriti nivo v CNN je obiˇ cajno konvolucijski sloj in sluˇ zi za izloˇ canje znaˇ cilk. Sito veli- kosti 7× 7 je bilo uporabljeno v vseh skritih slojih, ˇ stevilo sit pa je bilo med 4 in 32. Pri izloˇ canju znaˇ cilk v optiˇ cnih slikah je po navadi uporabljeno sito 3× 3. Z uporabo sita velikosti 7× 7 so bile zajete veˇ cje prostorske infor- macije, kar je izboljˇ salo prepoznavo za 0, 5%. S tem smo tudi zmanjˇ sali ˇ stevilo parametrov CNN, hkrati pa ohranili enako potencialno povrˇ sino detekcije. Za zadnjim kon- volucisjkim slojem je uporabljen osipni sloj z vrednostjo 0, 1, s katerim prepreˇ cimo prekomerno prilagajanje. Za uˇ cenje CNN sta bili uporabljeni metoda vzratnega razˇ sirjanja in stohastiˇ cni gradientni spust ob naslednji kon- figuraciji uˇ cenja: velikost mini-batch je bila 22 z 30 epo- hami. Konfiguracija hitrosti uˇ cenja igra pomembno vlogo. Pri uˇ cenju predlagane CNN je bila hitrost uˇ cenja konfigu- rrirana z: hitrost inicializacije je bila 10 − 5 , faktor hitrosti osipanja je bil 0, 01, delna hitrost naˇ crtovanja s periodo osipanja pa 10. Uˇ cenje je potekalo s pomoˇ cjo grafiˇ cnega procesorja oz. grafiˇ cne kartice Geforce GTX 1080 proi- zvajalca Nvidia. Najboljˇ si rezultati so bili z delnimi sli- kami velikosti 31× 31, kjer je bil koren povpreˇ cne kvadra- tne napake RMSE (ang. Root Mean Square Error) okrog 0, 55 pri uˇ cenju in 0, 48 pri validaciji. 3.1 Obdelava SAR podatkov v L-pasu Blokovna shema obdelave podatkov je prikazana na sliki 1. SAR sliki, pridobljeni z ALOS-2 v decembru 2018 in juniju 2021, sta bili obdelani. Sliki sta bili radiome- triˇ cno kalibrirani, odstranjene so bile pege, izvedena je bila Doppler-jeva korekcija terena in izluˇ sˇ cene to bile T3 matrike. T3 matrike so bile uporabljene v procesu glo- bokega uˇ cenja nevronske mreˇ ze, s pomoˇ cjo katere smo ˇ zeleli doloˇ citi vlaˇ znost zemlje. Da smo lahko doloˇ cili vlaˇ znost, smo morali izluˇ sˇ citi volumetriˇ cno sipanje na iz- branem podroˇ cju. Slika 1: Potek obdelave podatkov za ocenjevanje vlaˇ znosti iz SAR podatkov, pridobljenih z radarjem v L frekvenˇ cnem pasu. 4 Eksperimentalni rezultati SAR slike so bile zajete nad mestom Maribor, Slovenija. Cilj eksperimenta je bil oceniti vlaˇ znost zemlje na SAR sliki dimenzije 7000 x 4000 slikovnih toˇ ck, ko to prika- zuje slika 2. Predstavljena metoda ocenjevanja vlaˇ znosti zemlje je bila uporabljena s SAR slikami, zajetimi v letu 2018 in 2021. Na sliki 3 je ocenjena volumetriˇ cna vlaˇ znost za SAR sliko, zajeto v letu 2018, na sliki 4 pa je ocenjena volumetriˇ cna vlaˇ znost za SAR sliko istega terena, zajeto v letu 2021. Slika 5 prikazuje primerjavo med ocenje- nima vrednostima s pomoˇ cjo predlagane metode in med izmerjeno vrednostjo vlaˇ znosti na zemeljski povrˇ sini. RMSE med izmerjeno in ocenjenima volumetriˇ cnima vla- ˇ znostima v letu 2018 in 2021 znaˇ sa 10, 4% in 13, 4%. Uporabljenih je bilo 1000 podatkov za uˇ cenje nevronske mreˇ ze in 100 podatkov za verificiranje. Natanˇ cnost oce- njene vlaˇ znosti zemlje je za obe uˇ cni mnoˇ zici (SAR slike iz leta 2018 in SAR slike iz leta 2021) podobna. Na- tanˇ cnost za uˇ cno mnoˇ zico iz leta 2018 znaˇ sa 13, 1%, za uˇ cno mnoˇ zico iz leta 2021 pa 10, 4%. Slika 2: SAR slika pridobljena v letu 2018 z ALOS-2 predsta- vljena s Pauli RGB. Slika 3: S pomoˇ cjo predlagane metode in SAR slike zajete v letu 2018 ocenjena volumetriˇ cna vlaˇ znost zemlje. 5 Sklep V tem prispevku je pradlagana uporaba globoke konvolu- cijske nevronske mreˇ ze za ocenjevanje vlaˇ znosti zemlje 86 Slika 4: S pomoˇ cjo predlagane metode in SAR sliko zajeto v letu 2021 ocenjena volumetriˇ cna vlaˇ znost zemlje. Slika 5: Primerjava med ocenjeno volumetriˇ cno vlaˇ znostjo za podatke pridobljene v letu 2018 in 2021 z meritvijo na zemeljski povrˇ sini. s pomoˇ cjo podatkov, pridobljenih iz SAR, ki deluje v L frekvenˇ cnem pasu. Predstavljena nevronska mreˇ za je se- stavljena iz devet konvolucijskih slojev, ReLU in aktiva- cijskih slojev. Zadnji je regresivni sloj, ki je uporabljen za zmanjˇ sanje dimenzij podatkov. Eksperimentalni re- zultati so pokazali, da se je v tem prispevku predstavljena metoda zmoˇ zna pribliˇ zati realnim vrednostim vlaˇ znosti zemlje, kjer pride do volumetriˇ cnega sipanja. S pomoˇ cjo podatkov iz razliˇ cnih ˇ casovnih obdobij lahko sklepamo, da predstavljena metoda dobro oceni vlaˇ znost z vegeta- cijo poraˇ sˇ cenih obmoˇ cij. S pomoˇ cjo primerjave eksperi- mentalnih rezultatov z meritvijo vlaˇ znosti na zemeljskem povrˇ sju, vidimo, da s predlagano metodo lahko ocenimo vlaˇ znost zemlje do okrog 13% natanˇ cno. S tem smo po- kazali, da lahko s pomoˇ cjo radarja, ki deluje v L fre- kvenˇ cnem pasu, ocenimo vlaˇ znost tal. Literatura [1] A. Krizhevsky, I. Sutskever, and G. E. Hinton: Image- net classification with deep convolutional neural networks, Advances in neural information processing systems, pp. 1097–1105, 2012 [2] K. Chatfield, K. Simonyan, A. Vedaldi, and A. Zisserman: Return of the devil in the details: Delving deep into convo- lutional nets, arXiv preprint arXiv:1405.3531, 2014 [3] B. Zhou, A. Lapedriza, J. Xiao, A. Torralba, and A. Oliva: Learning deep features for scene recognition using places database, Advances in Neural Information Processing Sy- stems, pp. 487–495, 2014 [4] E. Shelhamer, J. Long, and T. Darrell: Fully convoluti- onal networks for semantic segmentation, arXiv preprint arXiv:1605.06211, 2015 [5] J. Z. at all: Salient object subitizing, in 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, pp. 4045–4054 [6] L. Wang, C.-Y . Lee, Z. Tu, and S. Lazebnik: Target classi- fication using the deep convolutional networks for sar ima- ges, arXiv preprint arXiv:1505.02496, 2015 [7] G. Levi and T. Hassncer: Age and gender classification using convolutional neural networks, in 2015 IEEE Con- ference on Computer Vision and Pattern Recognition Wor- kshops (CVPRW), 2015, pp. 34–42 [8] P. C. Z. Ge, C. Mccool: Content specific feature learning for finegrained plant classification, in Working notes of CLEF 2015 con, 2015 [9] N. Guberman: On complex valued convolutional neural ne- tworks, CoRR, vol. abs/1602.09046, 2016. [Online]. Avai- lable: http://arxiv.org/abs/1602.09046 [10] H. G. Zimmermann, A. Minin, and V . Kusherbaeva: Com- parison of the complex valued and real valued neural ne- tworks trained with gradient descent and random search al- gorithms, in European Symposium on Artificial Neural Ne- tworks, Computational Intelligence and Machine Learning. Bruges (Belgium), 2011 [11] R. Haensch and O. Hellwich: Complex-valued convolu- tional neural networks for object detection in polsar data, in 8th European Conference on Synthetic Aperture Radar, June 2010, pp. 1–4 [12] C. A. Popa: Complex-valued convolutional neural ne- tworks for realvalued image classification, in 2017 Interna- tional Joint Conference on Neural Networks (IJCNN), May 2017, pp. 816–822 [13] M. Wilmanski, C. Kreucher, and A. Hero: Complex in- put convolutional neural networks for wide angle sar atr, in 2016 IEEE Global Conference on Signal and Information Processing (GlobalSIP), Dec 2016, pp. 1037–1041 [14] Z. Zhang, H. Wang, F. Xu, and Y . Q. Jin: Complex-valued convolutional neural network and its application in polari- metric sar image classification, IEEE Transactions on Geo- science and Remote Sensing, pp. 1–12, 2017 [15] A. K. Fung, Microwave Scattering and Emission Models and their Applications,. Boston: Artech House, 1994 [16] N. Baghdadi, P. Dubois-Fernandez, X. Dupuis, and M. Zribi: Sensitivity of main polarimetric parameters of multi- frequency polarimetric sar data to soil moisture and surface roughness over bare agricultural soils, IEEE Geoscience and Remote Sensing Letters, vol. 10, no. 4, pp. 731–735, 2013 [17] I. Hajnsek, E. Pottier, and S. Cloude: Inversion of sur- face parameters from polarimetric sar, IEEE Transactions on Geoscience and Remote Sensing, vol. 41, no. 4, pp. 727–744, 2003 [18] N. Pierdicca, L. Pulvirenti, and G. Pace: A prototype soft- ware package to retrieve soil moisture from sentinel-1 data by using a bayesian multitemporal algorithm, IEEE Jour- nal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 7, no. 1, pp. 153–166, 2014