G
V
GEODETSKI VESTNIK | letn. / Vol. 60 | št. / No. 2 |
9
|60/2|
modeliranje 3d-ploskev z nevronskimi mrežami z radialnimi baznimi aktivacijskimi funkcijami
the employment of a radial basis function network for 3d surface modelling
Polona Pavlovčič Prešeren, Bojan Stopar, Oskar Sterle
UDK: 528.22:004.032.26 Klasifikacija prispevka po COBISS.SI: 1.01 Prispelo: 21. 3. 2016 Sprejeto: 10. 6. 2016
DOI: 10.15292/geodetski-vestnik.2016.02.241-255 SCIENTIFIC ARTICLE Received: 21. 3. 2016 Accepted: 10. 6. 2016
_ IZVLEČEK
Določitev matematičnega modela ploskve temelji na naboru diskretno pridobljenih prostorskih podatkov, ki jih nadalje uporabimo za predstavitev zvezne ploskve. Za določitev funkcij za opis ploskev navadno uporabljamo različne interpolacijske ali aproksimacijske metode. V prispevku opisujemo modeliranje ploskev z nevronskimi mrežami z radialnimi baznimi aktivacijskimi funkcijami. Pri reševanju problema z nevronskimi mrežami je pristop nekoliko drugačen. Tu gre za učenje mreže na znanih diskretnih vhodno-izhodnih parih podatkov, da mreža določi lastno funkcijo za modeliranje ploskve. To uporabimo za izračun višin tudi v točkah, ki niso bile vključene v fazo učenja. V prispevku opisujemo, kako smo za rešitev problema aproksimacije zvezne ploskve uporabili nevronsko mrežo z enim skritim slojem nevronov, in uporabo različnih radialnih baznih funkcij za aktivacijo nevronov skritega sloja. Na študijskem primeru podatkov smo pokazali, da obstajajo razlike v kakovosti modeliranja višinske ploskve ob uporabi različnih aktivacijskih funkcij nevronske mreže. Medtem ko nam z nevronsko mrežo z Gaufiovo aktivacijsko funkcijo ni uspelo modelirati ploskve z želeno natančnostjo, smo bili z izborom poliharmoničnega zlepka za aktivacijsko funkcijo veliko uspešnejši.
KLJUČNE BESEDE
višinska ploskev, interpolacija, aproksimacija, nevronske mreže, radialne bazne aktivacijske funkcije, vzvratno razširjanje napake,
psevdoinverzija
ABSTRACT _
Determination of the mathematical model of elevation computation is based on a discrete data set, which could be used for elevation modelling. Usually, interpolation or approximation techniques are used for function determination. We describe an aspect of radial basis function networks employment in a smooth surface representation using a sample of discrete 3D positional input-output data pairs. In this article we present a different solution using a neural network, which is trained upon given discrete input-output data pairs and uses radial basis functions for activation in hidden layer. Radial basis function network surface approximation is based on a single hidden-layer structure and uses pseudo-inversion as an alternative to back-propagation learning algorithm to obtain optimal weights. Radial basis function network determines its own specific model for continuous function representation. In case study, we have shown that differences in quality surface modelling upon several activation functions exist. While using Gaussian activation function we have not reached desired results, the use of poly-harmonic lead to much more successful surface modelling results.
KEY WORDS _
elevation model, interpolation, approximation, neural networks, radial basis activation functions, back-propagation, pseudo-inversion
Polona Pavlovčič Prešeren, Bojan Stopar, Oskar Sterle | MODELIRANJE 3D-PLOSKEV Z NEVRONSKIMI MREŽAMI Z RADIALNIMI BAZNIMI AKTIVACIJSKIMI
FUNKCIJAMI | THE EMPLOYMENT OF A RADIAL BASIS FUNCTION NETWORK FOR 3D SURFACE MODELLING | 241-255 |	| 241 |
|60/2|
GEODETSKI VESTNIK
^ 1 UVOD
sg Določitev funkcij, ki opisujejo razmerje med danimi diskretnimi vhodno-izhodnimi pari podatkov, S je splošna težava pri modeliranju katere koli vrste podatkov. Čeprav današnje tehnologije omogočajo i pridobivanje diskretnih podatkov z vedno višjo gostoto, te še vedno obravnavamo kot diskretne sprejo menljivke, ki jih z različnimi postopki modeliranja uporabimo za določitev zveznih funkcij. V danem •Ei primeru smo se omejili na določitev funkcije za izračun višinske ploskve iz diskretnih podatkov, da ¡s lahko na obravnavanem definicijskem območju z ustrezno natančnostjo izračunamo višino katere koli == točke z znanim položajem v horizontalni ravnini. Opredelitev kakovosti izračuna s posamezno metodo zunaj točk celične mreže je pomembna, kar navaja tudi Kosmatin-Fras (2004) v povezavi z digitalnim modelom višin (DMV).
Predstavitev modela višin lahko poteka z determinističnimi metodami, pri katerih se za izračun vrednosti funkcij na posameznih lokacijah uporabljajo matematične funkcije. Lokalne metode se uporabljajo za interpolacijo vrednosti glede na stopnjo podobnosti med sosednjimi točkami (Šumrada, 2005). Med te uvrščamo metodo naravnih sosedov, metodo z inverzno razdaljo, metodo trenda in kriginga kot tudi radialne bazne funkcije, ki jih ne smemo enačiti z nevronsko mrežo z radialnimi baznimi aktivacijskimi funkcijami. Model površja lahko nadalje predstavimo s pravilno kvadratno ali pravokotno mrežo, tako kot je predstavljen digitalni model višin (kvadratna mreža) ali model geoida (pravokotna mreža). Vse ss navedene metode temeljijo na matematični razrešitvi problema modeliranja zveznih ploskev in so že vključene v programske pakete (npr. ArcGis, Surfer ...). Če je območje razgibano in so točke naključno razpršene, ga lahko predstavimo s trikotniško mrežo (Thiessenovi poligoni in Delaunayev algoritem za določitev trikotnikov). Šumrada (2005) govori o uporabnosti Thiessonovih poligonov in Delauneyeve triangulacije za primere razpršenih točk, saj metodi omogočata enostavno vzpostavitev povezave položaja točke z njenim vplivnim območjem. Vse navedene metode se ne izkažejo najbolje, ko je na posameznih območjih manj podatkov oziroma so podatki slabše kakovosti. Metode namreč temeljijo na geometričnem pristopu razrešitve problema, kjer postavimo zahtevo, da imamo na voljo dovolj kakovostnih podatkov za modeliranje.
Že nekaj časa je znano tudi drugačno modeliranje funkcij, in sicer z uporabo umetnih nevronskih mrež. Različni avtorji (McCulloch in Pitts, 1943; Hebb 1949; Rosenblatt, 1958; Hopfield, 1982, Hornik et al., 1989) so utemeljili in empirično pokazali prednost uporabe umetnih nevronskih mrež pri reševanju problema določitve zveznih funkcij. Pokazali so, da nevronske mreže obdržijo lastnost univerzalne aproksi-macije (Cybenko,1989; Hornik et al. 1989). Koncept določitve zvezne ploskve z uporabo nevronskih mrež temelji na preprostem preslikovanju vhodno-izhodnih parov podatkov, kjer preslikovanje poteka po vnaprej določeni strukturi. Struktura in način učenja posamezne nevronske mreže sta opredeljena s tipom nevronskih mrež. Pri uporabi nevronske mreže eksplicitno enačbo za izračun funkcijef (na primer pri determinističnih metodah) nadomešča model, ki ga pridobimo z učenjem. Na danih vhodno-izhodnih parih podatkov umetne nevronske mreže ne programiramo po algoritmih, ampak jo učimo. Če izberemo pravilno strukturo in način učenja, lahko z uporabo nevronske mreže pridobimo model izračuna funkcije, v našem primeru višinske ploskve, ki prav tako kot lokalne deterministične metode temelji na upoštevanju podobnosti podatkov med sosednjimi točkami. Z uporabo umetnih nevronskih mrež modele ploskev pridobimo z aproksimacijo in le v posebnih strukturah z interpolacijo. Kot zelo uspešen primer mode-
Polona Pavlovčič Prešeren, Bojan Stopar, Oskar Sterle | MODELIRANJE 3D-PLOSKEV Z NEVRONSKIMI MREŽAMI Z RADIALNIMI BAZNIMI AKTIVACIJSKIMI
250 | FUNKCIJAMI | THE EMPLOYMENT OF A RADIAL BASIS FUNCTION NETWORK FOR 3D SURFACE MODELLING | 241-255 |
GEODETSKI VESTNIK 
| 60/2 |
liranja zvezne ploskve naj omenimo modeliranje geoida z večslojno nevronsko mrežo (angl. multilayer	^
feed-forward network) (Ambrožič et al., 1999), kasneje je Derenda (2007) z nevronsko mrežo uspešno	¡= '
aproksimiral referenčno višinsko ploskev. Nevronsko mrežo z radialnimi baznimi funkcijami smo uspešno	^
uporabili pri aproksimaciji zvezne tirnice gibanja umetnih satelitov (Pavlovčič Prešeren in Stopar, 2009).	^
V	prispevku želimo pokazati, da je mogoče tudi z drugačnimi strukturami nevronskih mrež modelirati g zvezno ploskev iz diskretnih podatkov. Pri tem rešujemo problem aproksimacije ploskve z nevronsko '¿i mrežo z radialnimi baznimi funkcijami (angl. radial basis function networks). Nevronske mreže so se iz- g kazale kot učinkovito orodje, ko so podatki obremenjeni s šumom. Izbor nevronske mreže z radialnimi baznimi funkcijami v skritem sloju ni bil naključen, ampak je potekal na optimizaciji postopka učenja, najprej, da bi pospešili hitrost učenja, nadalje, da bi zmanjšali možnost neuspešnega učenja, in nazadnje,
da bi lahko modelirali ploskev, tudi če so podatki obremenjeni s šumom.
V	drugem poglavju podrobno opišemo nevronske mreže z radialnimi baznimi aktivacijskimi funkcijami, s poudarkom na drugačnem učnem algoritmu, kot je zelo pogosto uporabljeno vzvratno razširjanje napake (angl. backpropagation). Podrobno predstavimo nekatere radialne bazne funkcije, ki izpolnjujejo pogoj uporabe v skritem sloju nevronske mreže. V tretjem poglavju predstavimo uporabo različnih radialnih nevronskih mrež na primeru diskretnih podatkov, za katere želimo pridobiti zvezno funkcijo. Predstavimo učinkovitost uporabe posameznega tipa radialnih nevronskih mrež na primeru istih vhodno-izhodnih parov podatkov. V četrtem poglavju podrobneje komentiramo rezultate različnih testov, ki smo jih naredili ^E na študijskem primeru podatkov. Nazadnje v petem poglavju predstavimo bistvene značilnosti uporabe radialnih nevronskih mrež v dani situaciji s kritično oceno uporabe posamezne metode.
2 NEVRONSKE MREŽE
Za lažje razumevanje delovanja umetnih nevronskih mrež in predvsem zato, da bo v nadaljevanju lažje izpostaviti prednosti nevronskih mrež z radialnimi baznimi aktivacijskimi funkcijami, opisujemo osnovno strukturo katere koli umetne nevronske mreže. V splošnem z umetnimi nevronskimi mrežami matematično opisujemo računski model, ki deluje podobno, a precej bolj preprosto kot človeški možgani (Ambrožič et al., 1999). Model sestavljajo sloji nevronov, ki so med seboj zaporedno povezani. Vsak nevron naslednjega sloja je povezan z vsemi nevroni prejšnjega sloja. Povezave matematično predstavljamo s sinaptičnimi utežmi. Model med učenjem na izbranih učnih podatkih in rezultatih (znani so vhodni podatki in izhodni rezultati) pridobiva znanje, ki je izhodišče, da lahko kasneje pridobi rezultate za poljubne podatke. Strukturo nevronske mreže s sloji nevronov predstavljamo na sliki 1. V vhodnem sloju so vhodni podatki (x1, ... xn) in v izhodnem rezultati (y , ... ym). Na sliki 1 predstavljamo delovanje enega nevrona z enim izhodom , čeprav jih je lahko tudi več. Vhodi v nevronsko mrežo x,, ki predstavljajo dendrite biološkega nevrona, so ojačani z utežmi w.. Če obstaja več vhodov in več nevronov v skritem sloju, uteži različnih povezav nevrona zapišemo kot wij. Vsota vhodov, ki jih pomnožimo z ustreznimi utežmi, predstavlja vhod v aktivacijsko funkcijo, ki določi jakost izhoda nevrona.
Umetni nevron opišemo z enačbama (Ambrožič et al., 1999):
uk =X ",=1wk,x, > jk =${uk ~dt) > za k = 1 2 ..., m	(1)
kjer je uk aktivacija, ((•) aktivacijska funkcija in dk pragovna vrednost, ko se sproži nevron.
Polona Pavlovčič Prešeren, Bojan Stopar, Oskar Sterle | MODELIRANJE 3D-PLOSKEV Z NEVRONSKIMI MREŽAMI Z RADIALNIMI BAZNIMI AKTIVACIJSKIMI
FUNKCIJAMI | THE EMPLOYMENT OF A RADIAL BASIS FUNCTION NETWORK FOR 3D SURFACE MODELLING | 241-255 |	| 251 |
|60/2|
GEODETSKI VESTNIK
Slika 1: Osnovna struktura nevronske mreže in analogija z biološkim nevronom (vhodni dendriti, nevron in izhodni akson).
Nevronske mreže se po strukturi ločijo po številu vmesnih ali skritih slojev nevronov. Govorimo o večslojnih nevronskih mrežah, pri čemer ima trislojna mreža le en skriti sloj. Nevronske mreže ločimo tudi glede na uporabljeno aktivacijsko funkcijo. Ko določimo strukturo nevronske mreže, jo v nadaljevanju učimo. Poznamo več vrst učenja, na primer prilaganje uteži določeni strukturi nevronske mreže, prilagajamo lahko obliko izbrane aktivacijske funkcije ali spreminjamo število nevronov v posameznem skritem sloju. V nekaterih primerih učenje poteka s povratnimi zankami, kar pomeni, da poteka od vhodnega prek skritih do izhodnega sloja, čemur sledi popravljanje uteži v nasprotni smeri. Pri specifičnih strukturah nevronskih mrež učenje poteka le od vhodnega prek skritih slojev do izhodnega sloja, kar imenujemo učenje brez povratne zanke. Tako učenje vključujejo tudi nevronske mreže z radialnimi baznimi aktivacijskimi funkcijami.
Nevronska mreža temelji na preslikovanju znanih vhodno-izhodnih parov podatkov. Če so v vektorju x vključeni vhodni podatki in v vektorju y izhodni podatki ter je n število vhodno-izhodnih parov podatkov, ki so vključeni v učenje:
e M" in y £ M1, kjer je: i = 1, 2, ..., n, z nevronsko mrežo iščemo neznano funkcijo, ki se v vsaki točki skuša približati pogoju:
f X) = y.	(2)
Splošno ob uporabi nevronskih mrež pogoja (2) ne moremo izpolniti, zato govorimo o aproksimaciji funkcij z nevronsko mrežo. Light (1992) in Powell (1987) pa so dokazali, da nekatere nevronske mreže, tudi RBFN, problem lahko rešijo tudi z interpolacijo. Podrobneje o tem govorimo v opisu enačbe (9).
Oceno kakovosti učenja določimo z izračunom napake (angl. error function) na nizu učnih podatkov n, medtem ko ustreznost uporabe aproksimacijske funkcije preverimo na nizu testnih podatkov N. Pogostokrat v izračunih uporabimo funkcijo (Zainuddin in Pauline, 2008):
E (f ) =2 S L (y - f (-I ))2
(3)
kjer jey. dejanska vrednost izhodnega nevrona inf (x) z nevronsko mrežo izračunana vrednost. Določitev strukture in učenja umetne nevronske mreže poteka podobno kot pri drugih metodah. Cilj je določiti
Polona Pavlovčič Prešeren, Bojan Stopar, Oskar Sterle | MODELIRANJE 3D-PLOSKEV Z NEVRONSKIMI MREŽAMI Z
| 244 | FUNKCIJAMI | THE EMPLOYMENT OF A RADIAL BASIS FUNCTION NETWORK FOR 3D SURFACE MODELLING | 241-255 |
AKTIVACIJSKIMI
GEODETSKI VESTNIK 
| 60/2 |
najmanjšo napako aproksimacije na nizu učnih/testnih podatkov. Velikokrat uporabljajo tudi druge funkcije izračuna napake (razdelek 3).
Najprej so poizkušali probleme reševati z nevronsko mrežo z več skritimi sloji nevronov (Rumelhart et al., 1986). Kasneje so Cybenko (1989) ter Hornik et al. (1989) pokazali, da obstaja nevronska mreža z le enim skritim slojem nevronov, ki je zmožna aproksimirati poljubno nelinearno funkcijo f z ustrezno natančnostjo. Nevronska mreža z enim skritim slojem nevronov ima prednost, da med učenjem ne zaide tako hitro v lokalni minimum, kot se to lahko zgodi pri večslojni nevronski mreži. Broomhead in Lowe (1988) sta pokazala, da lahko globalno aktivacijsko funkcijo, kot je na primer sigmoidna, nadomestimo z lokalizirano radialno bazno funkcijo v strukturi z enim skritim slojem in brez povratne povezave (slika 2). V tem primeru govorimo o nevronski mreži z radialnimi baznimi aktivacijskimi funkcijami RBFN (angl. radial basis function network). Velja poudariti, da bi radialne bazne funkcije lahko uporabili tudi pri večslojni nevronski mreži in povratni strukturi. Pri RBFN mreža od vhodnega sloja k skritemu sloju določi centre, ki pravzaprav predstavljajo uteži, in v drugem koraku uteži od skritega proti izhodnemu sloju. Večslojna nevronska mreža in mreža z radialnimi baznimi funkcijami brez povratne strukture se razlikujeta tudi v uporabi. Prvo uporabimo, ko imamo na voljo manj podatkov in želimo določiti globalno aproksimacijsko funkcijo. Drugo pa, ko imamo na voljo več podatkov in želimo s funkcijo predstaviti tudi lokalne značilnosti. Medtem ko so RBFN hitrejše pri učenju, so pri nadaljnji uporabi naučene strukture velikokrat počasnejše kot večslojne nevronske mreže.
Če primerjamo sigmoidno funkcijo, ki je velikokrat uporabljena v nevronski mreži z več kot enim skritim slojem, in Gaußovo funkcijo (uporabljena v RBFN) kot predstavnici različnih aktivacijskih funkcij, ima slednja bistvene prednosti. Glavna slabost sigmoidne funkcije je, da njeno definicijsko območje pokriva celotno območje vhodnih podatkov. Tako izboljšava uteži in ostalih parametrov med učenjem poteka z vsemi nevroni, zato je učenje dolgotrajno in lahko vključuje precej napak. Bolj učinkovita pri generalizaciji funkcij je nevronska mreža z radialnimi baznimi aktivacijskimi funkcijami, vendar le, ko imajo podatki lastnosti, ki bi jih predstavili z enostavnimi matematičnimi funkcijami (na primer z eksponentno). Pomanjkljivost nevronskih mrež z Gaußovo aktivacijsko funkcijo se pokaže v obdelavi podatkov, katerih vrednosti se ne spreminjajo zvezno, ampak so med seboj zelo različne (oscilacije). Zato namesto Gaußove funkcije v skriti sloj vključujemo tudi druge radialne bazne funkcije, ki se bolje odzovejo na lokalno območje podatkov. To vpliva na določitev manjšega števila uteži kot pri nevronski mreži, ko so spremembi podvržene vse uteži. Sprememba števila uteži povzroči hitrejše učenje nevronske mreže in boljšo aproksimacijo.
2. 1 Nevronske mreže z radialnimi baznimi funkcijami
Pri nevronski mreži z radialnimi baznimi aktivacijskimi funkcijami rešujemo problem v prostoru višjih dimenzij, čeprav je v osnovi vezan na območje nižjih dimenzij. Ob tem nevronska mreža še vedno obdrži lastnost univerzalne aproksimacije (Park in Sandberg, 1991). Še več, glede na to, da problem prevedemo v večdimenzionalen prostor, je mreža sposobna reševati probleme tudi s podatki, ki so obremenjeni s šumom (Carozza in Rampone, 2001).
Polona Pavlovčič Prešeren, Bojan Stopar, Oskar Sterle | MODELIRANJE 3D-PLOSKEV Z NEVRONSKIMI MREŽAMI Z RADIALNIMI BAZNIMI AKTIVACIJSKIMI
FUNKCIJAMI | THE EMPLOYMENT OF A RADIAL BASIS FUNCTION NETWORK FOR 3D SURFACE MODELLING | 241-255 |	| 251 |
| 60/2 | GEODETSKI VESTNIK
~ 2.1.1 Radialne bazne funkcije
=i Radialna bazna funkcija, ki je zvezna funkcija v prostoru Q c M™ , je odvisna od razdalje med x e M™ ¡j in dano točko xj e M™, kar zapišemo kot:
$(x ) = ^(||x - xj| |)-	(4)
s V skritem sloju RBFN za aktivacijske funkcije lahko uporabimo različne bazne funkcije (preglednica 1), g vendar je najbolj pogosto v uporabi GauKova. Predvsem zato, ker ima lokalne lastnosti, kar pomeni, da spremembe parametrov nekega nevrona ne vplivajo bistveno na vrednosti, ki so zelo oddaljene od centra tega nevrona:
lim x — xj 11) = 0	(5)
V preglednici 1 podajamo matematične izraze za nekatere radialne bazne funkcije, ki jih lahko uporabimo v vmesnem sloju nevronske mreže (Buchmann, 2003). Pri tem z r označimo Evklidsko razdaljo med katerim koli parom točk v prostoru Q : r = ||x — x. 11.
Preglednica 1: Matematični izrazi za radialne bazne funkcije. Parameter o > 0 določa širino funkcije (Fornberg in Flyer, 2014).
GauKova funkcija	<(r ) = exp j-J j	
multikvadratično (angl. multi-quadratic)	<(r) = TJ r2 + (J1	
inverzno kvadratično (angl. inversequadratic)	<(r ) = (2+ 2 ( +r	
inverzno multikvadratično (angl. inverse multi-quadratic	:> <(r )= /^TT V J + r	(6)
poliharmonični zlepek	<(r ) = rk, k = 1, 3, 5,... <(r ) = rk ln (r ),k = 2, 4,6,.	
tanek gladek zlepek (angl. thin-plate spline)	<(r) = r 2ln (r)
2.1.2 Nevronske mreže z radialnimi baznimi funkcijami
Nevronska mreža z radialnimi baznimi aktivacijskimi funkcijami je v obliki, ki sta jo predstavila Bro-omhead in Lowe (1988), vezana na trislojno strukturo. Vhodni sloj ima toliko nevronov, kot je vhodnih podatkov, skriti (vmesni) sloj ima h nevronov. Število nevronov skritega sloja lahko določimo vnaprej oziroma ga med učenjem spreminjamo. Nevroni skritega sloja pri radialni nevronski mreži delujejo nekoliko drugače kot pri nevronskih mrežah s sigmoidno aktivacijsko funkcijo. Vsak nevron skritega sloja izračuna Evklidsko razdaljo med vektorjema x in x. V danem primeru še ne govorimo o utežeh med vhodnim in skritim slojem, kot to velja pri običajnih strukturah umetnih nevronskih mrež. Pojem uteži tokrat privzamejo centri ali središča aktivacijske funkcije (x^ = c). Pri nevronskih mrežah z radialnimi baznimi funkcijami načeloma o utežeh govorimo le pri povezavah med skritim in izhodnim slojem nevronov. Aktivacijska funkcija f ima nalogo preračunati razdaljo med vhodnim vektorjem x in vektorjem posameznega nevrona x. v aktivacijo. Manjša je razdalja, večja je aktivacija. Tako nevronska mreža pridobi vrednost, ki jo uporabi naprej za izračun vrednosti nevronov izhodnega sloja y in je linearna kombinacija vrednosti nevronov skritega sloja. Optimizacija strukture nevronske mreže temelji na
Polona Pavlovčič Prešeren, Bojan Stopar, Oskar Sterle | MODELIRANJE 3D-PLOSKEV Z NEVRONSKIMI MREŽAMI Z RADIALNIMI BAZNIMI AKTIVACIJSKIMI
248 | FUNKCIJAMI | THE EMPLOYMENT OF A RADIAL BASIS FUNCTION NETWORK FOR 3D SURFACE MODELLING | 241-255 |
GEODETSKI VESTNIK
|60/2|
izboru ustreznega števila nevronov skritega sloja in določitvi primernih vrednosti vektorjev ali c, ki so vključeni v nevrone.
dendriti	nevroni	aksoni
centri ^—w uteži vhod	skriti sloj
Slika 2: Struktura nevronske mreže z radialnimi baznimi funkcijami.
Vsak nevron ima svoj center in radij, ki se med nevroni razlikujeta. Velja pravilo, da nevroni z večjim radijem bolj vplivajo na spremembo vrednosti funkcije na večjih razdaljah kot nevroni z manjšim radijem.
Za aktivacijsko funkcijo v skritem sloju niso primerne vse radialne bazne funkcije. Najbolj pomembno je, da jih lahko matematično eksplicitno predstavimo. Nadalje iz sistema normalnih enačb določimo vrednosti uteži w,, ..., w :
1	n
W1 ■ ( (|| "«1 - X1 ||) + ' ' ' + Wn ( (|| X1 - X 11) = Ji W1 ■ ( (||X2 - X1 ||) + * " + Wn ■ ( (||X2 - Xn 11) = Ji
(7)
X.
-xj|) + ••• + wn-((|| x„ -x||) = yn
Dokler velja x. ^ x za i ^ j, bo matrika za izračun uteži, velikosti n x n, obrnljiva. Povedano drugače, mogoča bo interpolacija:
f (x) = w -((||X-xj) + ••• + w„-((||X-x„\\).
(8)
V enačbi (8) lahko uporabimo manj centrov, kot je vhodnih podatkov k < n (to je: c1, ..., c,), da pridobimo bolj enostavno funkcijo:
f (x ) = Wi x - cj) +... + wn ((| x - c\ I).	(9)
Paziti je treba, da določimo optimalno število in vrednosti centrov. Z manjšim številom centrov, kot je vhodnih nevronov, nadalje zapišemo preslikovanje vhodnih podatkov v izhodne kot:
I AKTIVACIJSKIMI
Polona Pavlovčič Prešeren, Bojan Stopar, Oskar Sterle | MODELIRANJE 3D-PLOSKEV Z NEVRONSKIMI MREŽAMI Z
FUNKCIJAMI | THE EMPLOYMENT OF A RADIAL BASIS FUNCTION NETWORK FOR 3D SURFACE MODELLING | 241-255 |
I 247 |
| 60/2 | GEODETSKI VESTNIK
f	IIX - cj	>		\\ x — ci		yi
	IIx — C2 II			H X — C2	■ W =	ji
V	J X — Ck\\_	V		x — Ck\\_		J y
(10)
2.1.3 Določitev centrov in uteži v RBFN
Določitev strukture RBFN poteka v dveh korakih. Najprej določimo centre in velikosti vplivnega območja (radija) posameznega nevrona skritega sloja, zatem izračunamo uteži.
Določitev centrov lahko poteka povsem naključno, vendar je veliko bolje, da vhodne podatke razdelimo v skupine, ki jim priredimo centre. Velikost območja, na katero ima posamezni nevron še vpliv, določimo z razdaljo podatkov posamezne skupine od centra. Razdelitev podatkov v skupine, imenovano grozdenje, poteka s tehniko nenadzorovanega združevanja podatkov v skupine (grozde), ki imajo skupne značilnosti. Velikokrat pri RBFN za ta namen uporabimo algoritem K-means (MacQueen, 1967). Algoritem K-means podatke razdeli v skupine in skupini priredi središče oziroma center. Ko so centri določeni, jih v nadaljevanju učenja z RBFN ne spreminjamo več, ampak spreminjamo le vplivno območje (radij) in uteži nevronske mreže.
Ker so izhodi linearni, uteži določimo z reševanjem enačbe (11). To pomeni, da nevronska mreža lahko privzame nepovratno strukturo. Učenje za vsak vhodno-izhodni par poteka po postopku določitve linearnih enačb (enačba 8), ki jih rešimo z metodo najmanjših kvadratov.
Če enačbo (10) poenostavimo, dobimo:
®-W = Y	(11)
kjer velja:

(12)
® je izhodna matrika skritega sloja nevronov, pri čemer je ¿-ti stolpec matrike ® pravzaprav ¿-ti nevron skritega sloja. Večinoma je število nevronov skritega sloja manjše od števila vhodnih podatkov. To pomeni, da je ® navadno pravokotna in lahko zato za določitev uteži uporabimo postopek metode najmanjših kvadratov, kjer minimiziramo kvadratno formo Ef) = ||®W - Y||2. Na podlagi metode najmanjših kvadratov določimo uteži kot:

W = ®+ Y, ®+=(®r®)-1 ®r	(13)
Ko je matrika ® regularna, obstaja samo en vektor W, ki reši enačbo (11). Rešitev je torej vedno enolična. Če je ® singularna, ne moremo enolično določiti uteži. Rešitev temelji na najmanjši izračunani normi vseh možnih rešitev po metodi najmanjših kvadratov. V tem primeru za linearni sistem Y = ® • W velja, da ob poznanem vektorju Y neskončno mnogo različnih uteži W reši problem. Do posamezne (partikularne) rešitve pridemo z uporabo ustrezne generalizirane inverzije (®r®)-®r. Če uporabimo psevdoinverzijo (®r®)+®r, ima vektor W = (®r®)+®r Y lastnost, da ima najmanjšo normo. Tudi norma diagonalnih elementov matrike (®r®)+ je najmanjša možna.
Polona Pavlovčič Prešeren, Bojan Stopar, Oskar Sterle | MODELIRANJE 3D-PLOSKEV Z NEVRONSKIMI MREŽAMI Z RADIALNIMI BAZNIMI AKTIVACIJSKIMI
248 | FUNKCIJAMI | THE EMPLOYMENT OF A RADIAL BASIS FUNCTION NETWORK FOR 3D SURFACE MODELLING | 241-255 |
GEODETSKI VESTNIK | 60/2 |
Manjša kot je norma za uteži, boljšo aproksimacijo funkcije lahko dosežemo z uporabo konkretne strukture nevronske mreže. Pri tem je pomembno vedeti, da pri nevronski mreži z enim skritim slojem pri nadzorovanem učenju vhodnih vrednosti uteži ni treba prilagajati, ampak jih lahko izberemo poljubno. To pomeni, da v danem primeru pri nadzorovanem učenju izhodne vrednosti uteži obravnavamo kot rešitev linearnega sistema enačb, ki ima analitično rešitev ob predpostavki, da nevroni skritega sloja vključujejo eksplicitno izražene funkcije, ki so zvezno odvedljive (Huang, 1999). Te trditve ponujajo najbolj enostavno, najhitrejšo in najbolj učinkovito možnost učenja nevronske mreže z enim skritim slojem nevronov.
2.1.3.1 Dodatna izboljšava učenja RBFN
Še boljšo rešitev so pokazali Chen et al. (1991) in Zhao in Huang (2002), ki so določitev uteži povezali s postopkom optimalnega izbora števila nevronov skritega sloja. Tu zaporedno dodajamo nove centre in posledično nevrone, računamo napako ter postopek ustavimo, ko je napaka aproksimacije manjša od dopustne. Postopek lahko opišemo s koraki:
1.	začnemo z n kandidati za centre, pri čemer prvega še nismo izbrali (M = 0);
2.	za vse preostale kandidate za centre p = n — M ravnamo takole: p-ti center dodamo že izbranim centrom M, izračunamo uteži (enačba 13) in nazadnje napako aproksimacije (enačba 3) ;
3.	izberemo center z najmanjšo napako aproksimacije in povečamo: M = M + 1;
4.	ponovimo vse od točke 2.
Ker moramo z vsakim na novo dodanim nevronom ponovno izračunati uteži, je postopek zamuden. Chen et al. (1991) so predlagali, da centre izbiramo iz niza ortogonalnih vektorjev iz matrike ®. Tako se izognemo večkratnemu izračunu uteži, ker je produkt ®r® diagonalna matrika. Določitev uteži v vsaki novi strukturi še vedno poteka s psevdoinverzijo (enačba (13)), vendar je zaradi ohranjanja ortogonalnosti centrov eden od najhitrejših načinov učenja.
3 uporabljene metode z danimi podatki
V prispevku prikazujemo prednosti uporabe nevronskih mrež z radialnimi baznimi aktivacijskimi funkcijami pri določitvi zveznih funkcij iz diskretnih podatkov. Grafično in numerično predstavljamo razlike v delovanju nevronskih mrež, če v skritem sloju uporabimo različne aktivacijske funkcije.
3.1 ocena kakovosti aproksimacije
Pri oceni kakovosti aproksimacije zvezne ploskve s posamezno strukturo nevronske mreže bomo določili:
1.	oceno aproksimacije na primeru učnih vhodno-izhodnih parih podatkov, kar je vezano na oceno uspešnosti učenja, in
2.	oceno aproksimacije na primeru testnih podatkov, ki jih nismo vključili v učenje, kar je vezano na oceno uporabnosti aproksimacijske funkcije.
Pri tem bomo določili normirano napako aproksimacije E(f):
E ( f ) =
Z ¡=i( j« - f (*))2	(14)
S ,=! ( J« - J )2
Polona Pavlovčič Prešeren, Bojan Stopar, Oskar Sterle | MODELIRANJE 3D-PLOSKEV Z NEVRONSKIMI MREŽAMI Z RADIALNIMI BAZNIMI AKTIVACIJSKIMI
FUNKCIJAMI | THE EMPLOYMENT OF A RADIAL BASIS FUNCTION NETWORK FOR 3D SURFACE MODELLING | 241-255 |	| 251 |
|60/2|
GEODETSKI VESTNIK
kjer je y — — ^ _ yi. Koren srednjega kvadratnega odstopanja (angl. root mean squared error) izračunamo kot:
^- f ))2	(15)
Dodatno bomo predstavili največje in najmanjše odstopanje aproksimirane vrednosti funkcije na primeru testnih podatkov. Pri učnem nizu nimamo težav, ker je učenje vezano na določitev najmanjšega odstopanja v aproksimaciji.
3.2 Struktura nevronske mreže za obravnavani primer
V dani situaciji imamo dva vhoda v nevronsko mrežo in en izhod. Vsak vhod je vezan na eno položajno komponento horizontalnega položaja v koordinatnem sistemu D96/TM (x ^ e, n). Izhod vključuje podatek o višini (y . ^ H). Cilj učenja je iz diskretnih podatkov pridobiti model višinske ploskve, iz katerega bo v poljubni točki mogoče določiti višino z ustrezno natančnostjo.
Nevronska mreža deluje po naslednjih korakih:
1.	vzpostavitev začetnih vrednosti aktivacijske funkcije,
2.	izračun produkta vmesnega sloja nevronske mreže (enačba 10),
3.	določitev matrike uteži (enačba 13) oziroma,
4.	določitev izhodnih vrednosti RBFN (enačba 11),
5.	ocena, ali je aproksimacija za vse razpoložljive podatke v želenih mejah (enačba 3), pri čemer predhodno določimo dopustno odstopanje. Če ne ustreza zahtevanemu, program usmerimo nazaj v drugi korak, kjer dodamo nevrone skritemu sloju nevronske mreže (enačba 10). Tu velja omeniti, da tako tudi tvegamo, da bo mreža prenaučena.
3.3 Testiranje učinkovitosti aproksimacije z različnimi aktivacijskimi funkcijami
V danem primeru imamo na obravnavanem območju na voljo 1399 vhodno-izhodnih parov podatkov. Gre za koordinate točk v koordinatnem sistemu D96/TM z danimi nadmorskimi višinami (slika 3), ki smo jih privzeli naključno iz digitalnega modela višin DMV 5. Podatke iz digitalnega modela višin smo pridobili le zato, da smo lahko pokazali primernost uporabe posamezne metode na razgibanem območju, medtem ko bi v nadaljevanju potek terena lahko prikazali na podlagi veliko več podatkov. Višina najnižje točke obravnavanega primera znaša 299,965 m in najvišje 378,426 m. Čeprav ocene kakovosti določitve višin iz DMV 5 nismo naredili, smo v izračun privzeli vrednosti, da bi lahko primerjali kakovost aproksimacije z različnimi metodami. Različne nevronske mreže smo testirali na enakih učnih in testnih parih podatkov, pri čemer smo nevronsko mrežo učili na 874 učnih parih, medtem ko smo na preostalih 525 podatkih testirali učinkovitost aproksimacije. Nadalje smo rezultate učenja primerjali z rezultati modeliranja ploskev z metodo kriging. Primerjavo smo naredili v poljubno izbranih točkah na ploskvi, za katere smo poznali višine, vendar jih nismo uporabili za modeliranje. V učenje nevronskih mrež smo vključili različno število podatkov tudi zato, da smo pokazali prednosti aproksimacije ploskve, ko na posameznih območjih nimamo dovolj podatkov.
Polona Pavlovčič Prešeren, Bojan Stopar, Oskar Sterle | MODELIRANJE 3D-PLOSKEV Z NEVRONSKIMI MREŽAMI Z RADIALNIMI BAZNIMI AKTIVACIJSKIMI
250 | FUNKCIJAMI | THE EMPLOYMENT OF A RADIAL BASIS FUNCTION NETWORK FOR 3D SURFACE MODELLING | 241-255 |
GEODETSKI VESTNIK | 60/2 |
Slika 3: Obravnavano območje. Poljubno razporejeni podatki so predstavljeni točkovno. Učni podatki so na ploskvi označeni z belimi krogci, s črnimi kvadratki so označeni testni podatki.
V danem primeru smo v program vgradili možnost uporabe Gaufiove, multikvadratične, inverzne kvadratične in inverzne multikvadratične funkcije ter poliharmoničnega zlepka. Uspešnost učenja smo preverili na testnih podatkih, kjer smo ocenili:
—	najmanjše odstopanje od danih testnih vrednosti 8mn = min (y - f(x));
—	največje odstopanje na danih testnih vrednostih 8mx = max (y - f(x));
—	sredino odstopanja 5 = ^ 5. / N, kjer je Nštevilo testnih podatkov;
—	koren srednjega kvadratnega odstopanja RMSE.
Preglednica 2: Razlika med testnimi podatki in podatki, pridobljenimi z nevronskimi mrežami, ki vključujejo različne aktivacijske
funkcije. V vsakem učenju smo uporabili enake učne in testne podatke.
	Gaufiova	Multikvadratična	Inverzna	Inverzna	Poliharmonični
	funkcija	funkcija	kvadratična funkcija	multrikvadratična f.	zlepek
8 . [m] min	-50,189	-2,348	-2,072	-2,066	-1,113
8max [m]	35,257	2,003	1,328	1,773	0,904
8 [m]	-0,324	-0,011	-0,016	-0,013	-0,008
RMSE [m]	4,663	0,523	0,387	0,447	0,204
V danem prispevku smo se omejili na uporabo manjšega števila podatkov za učenje nevronske mreže zato, da bi pokazali večjo oziroma manjšo učinkovitost aproksimacije z različno strukturo nevronske mreže. Treba je poudariti, da bi manjšo razliko med aproksimiranimi in danimi vrednostmi lahko določili, če bi imeli več vhodno-izhodnih parov podatkov. Številu podatkov nismo posvečali večje pozornosti, ker smo ugotavljali, katera radialna bazna funkcija je v danem primeru najboljša izbira za aktivacijsko funkcijo. Ker veliko programskih paketov v povezavi z RBFN vključuje le GauEovo radialno funkcijo (tudi v MATLAB vgrajena funkcija), bi v danem primeru lahko rekli, da RBFN niso primerna izbira za
Polona Pavlovčič Prešeren, Bojan Stopar, Oskar Sterle | MODELIRANJE 3D-PLOSKEV Z NEVRONSKIMI MREŽAMI Z RADIALNIMI BAZNIMI AKTIVACIJSKIMI
FUNKCIJAMI | THE EMPLOYMENT OF A RADIAL BASIS FUNCTION NETWORK FOR 3D SURFACE MODELLING | 241-255 |	| 251 |
| 60/2 | GEODETSKI VESTNIK
aproksimacijo ploskve, saj so odstopanja na testnih podatkih prevelika (50 m, preglednica 2). Če pojem RBFN razširimo na uporabo različnih aktivacijskih funkcij, kot smo jih uporabili tudi mi, vidimo, da so RBFN zelo učinkovite pri aproksimaciji višinske ploskve. Iz rezultatov učenja in nadaljnjega testiranja, ki so predstavljeni v preglednici 2, vidimo, da je bila v danem primeru najboljša za aktivacijsko funkcijo izbira poliharmoničnega zlepka. V tem primeru se izračunane višine od dejanskih podatkov, ki niso bili vključeni v fazo učenja, razlikujejo le za približno en meter. Na sliki 4 prikazujemo histogram odstopanj na testnih podatkih za primer, ko smo v RBFN uporabili različni aktivacijski funkciji. Videti je, da so odstopanja najmanjša in najbolje razporejena pri izboru poliharmoničnega zlepka (desna slika).
Slika 4: Histogram odstopanj na testnih podatkih za RBFN, ko smo uporabili inverzno multikvadratično aktivacijsko funkcijo (levo) in poliharmonični zlepek (desno).
Želeli smo preveriti tudi učinkovitost aproksimacije z RBFN glede na ostale metode. Kot izhodišče za primerjavo smo uporabili stohastično metodo kriging in postopek linearne interpolacije, kjer smo ploskev, enako kot pri RBFN, določili na podlagi učnih podatkov, testni podatki pa so se uporabljali za določitev kakovosti modeliranja. Za analizo učinkovitosti modeliranja smo uporabili točke, ki so bile le znotraj območja danih podatkov.
Preglednica 3: Razlika med testnimi podatki in podatki, pridobljenimi z linearno interpolacijo in krigingom - računano le znotraj robov definicijskega območja podatkov.
Linearna interpolacija
8min [m]
8max [m] 8 [m] RMSE [m]
-2,480 3,488 0,001 0,523
-1,643 1,110 -0,015 0,311
Izračuni (preglednici 2 in 3) so na danem primeru podatkov pokazali prednost uporabe nevronske mreže pred drugimi metodami. Največje odstopanje z RBFN modeliranih od danih vrednosti v absolutnem smislu znaša približno en meter. Rezultati uporabe radialne nevronske mreže s poliharmoničnim zlepkom za aktivacijsko funkcijo (6. stolpec v preglednici 2) so zelo podobni rezultatom kriginga (3. stolpec v
I 252 I
Polona Pavlovčič Prešeren, Bojan Stopar, Oskar Sterle | MODELIRANJE 3D-PLOSKEV Z NEVRONSKIMI MREŽAMI Z RADIALNIMI
FUNKCIJAMI | THE EMPLOYMENT OF A RADIAL BASIS FUNCTION NETWORK FOR 3D SURFACE MODELLING | 241-255 |
BAZNIMI AKTIVACIJSKIMI
GEODETSKI VESTNIK | 60/2 |
preglednici 3). Histogram odstopanj na testnih podatkih za RBFN s poliharmoničnim zlepkom in za metodo kriging prikazujemo na sliki 5. Porazdelitev odstopanj je obakrat podobna, večina odstopanj je med -0,5 in 0,5 metra.
Slika 5: Levo - histogram odstopanj na testnih podatkih za RBFN (poliharmonični zlepek); desno - histogram odstopanj za kriging.
4 RAZPRAVA O REZULTATIH
Na podlagi pridobljenih rezultatov lahko rečemo, da je uporaba nevronskih mrež z radialnimi baznimi funkcijami smiselna izbira aproksimacije za višinsko ploskev. Iz rezultatov v preglednici 2 je razvidno, da ni vsaka struktura nevronske mreže primerna za reševanje posameznega problema. V dani situaciji smo z nevronsko mrežo z GauEovo aktivacijsko funkcijo dobili rezultate, na podlagi katerih smo lahko ugotovili, da RBFN niso primerne za uporabo. Šele nadaljnja analiza različnih uporab aktivacijskih funkcij je privedla do ocene primernosti uporabe RBFN. V našem primeru se je kot najbolj učinkovita izkazala uporaba poliharmioničnega zlepka za aktivacijsko funkcijo. Različni avtorji navajajo, da splošnega pravila, katero aktivacijsko funkcijo v posameznem primeru uporabiti, ni, zato je treba aproksimaacijo z RBFN narediti z različnimi aktivacijskimi funkcijami. O povezavi med obliko vhodnih podatkov (na primer podatki z velikimi/manjšimi spremembami v vrednostih) in uporabo aktivacijske funkcije lahko le sklepamo, praktične rešitve še ne poznamo. Kakovost aproksimacije je še vedno pogojena s količino podatkov, ki jih imamo na voljo. Če bi na testnem območju določili več vhodno-izhodnih parov podatkov za učenje, bi bila tudi kakovost aproksimacije v smislu največjega/najmanjšega odstopanja boljša. Vendar se to praviloma nanaša na vse metode modeliranja ploskev. Tako pri uporabi RBFN kot pri drugih metodah je treba imeti na voljo tudi podatke, ki jih ne uporabimo za modeliranje, ampak jih uporabimo naknadno za oceno kakovosti modeliranja. V nadaljevanju bi bilo dobro preveriti delovanje nevronske mreže zunaj definicijskega območja danih podatkov in opredeliti kakovost aproksimacije še z drugimi metodami (na primer kolokacija po metodi najmanjših kvadatov).
Polona Pavlovčič Prešeren, Bojan Stopar, Oskar Sterle | MODELIRANJE 3D-PLOSKEV Z NEVRONSKIMI MREŽAMI Z RADIALNIMI BAZNIMI AKTIVACIJSKIMI
FUNKCIJAMI | THE EMPLOYMENT OF A RADIAL BASIS FUNCTION NETWORK FOR 3D SURFACE MODELLING | 241-255 |	| 251 |
| 60/2 | GEODETSKI VESTNIK
5 SKLEP
V prispevku smo želeli prikazati lastnosti uporabe nevronskih mrež z različnimi radialnimi baznimi aktivacijskimi funkcijami na praktičnem primeru aproksimacije višinske ploskve. Nevronske mreže v zadnjem času uporabljajo kot alternativo že znanim in preizkušenim metodam, in izkazale so se za učinkovito orodje, predvsem tam, kjer nimamo na voljo dovolj podatkov oziroma so ti obremenjeni s šumom. Pokazali smo, da je nevronska mreža, čeprav ne temelji na upoštevanju zaporednih matematičnih korakov modeliranja, primerno orodje za določitev zveznih funkcij, ki jih potrebujemo za grafične izrise, izračun točk med diskretnimi podatki ali za nadaljnje računanje prostornin z določenim naborom podatkov.
Kljub dobri aproksimaciji v povezavi z RBFN še vedno ostajajo nerazrešena vprašanja. Naprej se navezujejo na izbor aktivacijske funkcije v skritem sloju. Tako kot navajajo drugi avtorji, smo tudi v danem primeru prišli do ugotovitve, da je najboljši izbor strukture nevronske mreže vezan na večkratno uporabo različnih nevronskih mrež (z različnimi aktivacijskimi funkcijami) na istem nizu podatkov in na oceni, s katero strukturo pridobimo najboljše rezultate. Predvidevamo, da je izbor aktivacijske funkcije v skritem sloju odvisen tudi od podatkov, ki jih obdelujemo. Enako velja za predstavitev učinkovitosti nevronske mreže na primeru »problematičnih podatkov«, ki lokalno odstopajo od drugih podatkov.
Kakovost aproksimacije je zelo odvisna od izbora oziroma razdelitve podatkov na učne in testne. Če izbor delamo naključno, kar je navadno vezano na večje število podatkov, je dobro učenje ponoviti na različnih kombinacijah učnih in testnih podatkov, saj včasih razdelitev podatkov vodi do problematike neupoštevanja lokalnih značilnosti poteka ploskev. Izbor lahko naredimo tudi naključno ob predhodnem hitrem pregledu podatkov, kjer postavimo zahtevo, da pri večjih odstopanjih podatkov glede na prehodne vrednosti izberemo del podatkov, ki bo vedno vključen v skupino učnih podatkov.
Uporaba nevronske mreže z radialnimi baznimi funkcijami na danem primeru se je izkazala kot učinkovito orodje aproksimacije, ki ima zaradi nepovratne strukture prednosti v hitrosti učenja. V prihodnosti bi bilo morda smiselno učni algoritem povezati s še bolj kompleksnimi aktivacijskimi funkcijami in narediti analizo, katero aktivacijsko funkcijo uporabiti, ko imamo na voljo različno število in različno razporeditev diskretnih podatkov.
Literatura in viri:
Ambrožič, T., Kuhar, M., Stopar, B., Turk, G. (1999). Modeliranje lokalnega geoida z umetnimi nevronskimi mrežami. Geodetski vestnik, 43(2), 118-129.
Broomhead, D. S., Lowe, D. (1988). Multivariable functional interpolation and adaptive networks. Complex Systems 2, 321-355. https://www.complex-systems.com/ pdf/02-3-5.pdf, pridobljeno 15. 3. 2016.
Buchmann, M. D. (2003). Radial Basis Functions: Theory and Implementations. Cambridge University Press. DOI: http://dx.doi.org/10.1017/cbo9780511543241
Carozza, M., Rampone, S. (2001). An incremental multivariate regression method for function approximation from noisy data. Pattern Recognition, 34(3), 179-186. DOI: http://dx.doi.org/10.1016/j.neunet.2005.07.008
Chen, S., Cowan, C. F. N., Grant, P M. (1991). Orthogonal least squares algorithm for radial basis function networks. IEEE Transactions on Neural Networks, 2(2),
302-309. DOI: http://dx.doi.org/10.1109/72.80341 Cybenko, G. (1989). Approximation by superpositions of a sigmoidal function. Mathematics of control Signals Systems 2, 303-314. DOI: http://dx.doi. org/10.1007/BF02134016 Derenda, I. (2007). Aproksimacija višinske referenčne ploskve z nevronskimi mrežami. Diplomsko delo. Ljubljana: Fakulteta za gradbeništvo in geodezijo. http://drugg.
fgg.uni-lj.si/834/3/GEU_0731_Derenda.pdf, pridobljeno 29. 2. 2016.
Fornberg, B., Flyer, N. (2014). Solving PDEs with Radial Basis Functions.
https://amath.colorado.edu/sites/default/files/2014/09/.../Paper_04.pdf,
pridobljeno 29. 2. 2016. Hebb, D. O. (1949). The Organization of Behavior. Wiley, NewYork. DOI: http://dx.doi. org/10.1002/1097-4679(195007)6:3<307::aid-jclp2270060338>3.0.co;2-k
Polona Pavlovčič Prešeren, Bojan Stopar, Oskar Sterle | MODELIRANJE 3D-PLOSKEV Z NEVRONSKIMI MREŽAMI Z RADIALNIMI BAZNIMI AKTIVACIJSKIMI
248 | FUNKCIJAMI | THE EMPLOYMENT OF A RADIAL BASIS FUNCTION NETWORK FOR 3D SURFACE MODELLING | 241-255 |
GEODETSKI VESTNIK | 60/2 |
Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of National Academy of Sciences USA, 79(8), 2554-2558. DOI: http://dx.doi.org/10.1073/ pnas.79.8.2554
Horn ik, K., Stinchcombe, M., White, H. (1989). Multilayer feedforward networks are universal approximators. Neural Networks, 359-366. DOI: http://dx.doi. org/10.1016/0893-6080(89)90020-8 Huang, D. S. (1999). Radial Basis Probabilistic Neural Networks: Model and Applications. International Journal of Pattern Recognition and Artificial Intelligence, 13, 1083-1101. DOI: http://dx.doi.org/10.1142/S0218001499000604 Light, W. A., Cheney, W. W. (1992). Interpolation by periodic radial basis functions. Journal of Mathematical Analysis and Applications, 168(1), 111-130. DOI http://dx.doi.org/10.1016/0022-247x(92)90193-h Kosmatin-Fras, M. (2004). Vpliv kakovosti vhodnih podatkov na kakovost ortofota. Geodetski vestnik, 48(2). 167-178. http://www.geodetski-vestnik.com/48/27 gv48-2_168-178.pdf, pridobljeno 15. 3. 2016. McCulloch, W. S., Pitts, W. (1943). A Logical Calculus of the Ideas Immanent ir Nervous Activity. Bulletin of Mathematical Biophysics, 5, 115-133. Ponovni natis v Anderson & Rosenfeld, 1988, 18-28. DOI: http://dx.doi.org/10.1007/ bf02478259
Pavlovčlč Prešeren, P, Stopar, B. (2009). GPS orbit approximation using radial basis function networks. Computers & Geosciences, 35(7), 1389-1396. DOI: http:// dx.doi.org/10.1016/j.cageo.2008.02.038 Powell, M. (1987). Radial basis functions for multivariate interpolation. V: J. Mason,
M. Cox (ur.) Algorithms and Approximation. Clarendon Press, Oxford. Rosenblatt, F. (1958). The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain, Cornell Aeronautical Laboratory, Psychological Review, 65(6), 386-408. DOI: http://dx.doi.org/10.1037/h0042519. Rumelhart, D. E., Hinton, G. E.,Williams, R. J. (1986). Learning internal representations by error propagation. V: Readings in Cognitive Science, 399-421. DOI: http:// dx.doi.org/10.1016/b978-1-4832-1446-7.50035-2 Šumrada, R. (2005). Strukture podatkov in prostorske analize. Ljubljana, Univerza v
Ljubljani, Fakulteta za gradbeništvo in geodezijo. Zainuddin, Z., Pauline, O. (2008). Function approximation using artificial neura
networks. WSEAS Transactions on Mathematics, 7(6), 333-338. http://www.naun.org/main/UPress/saed/saed-23.pdf, pridobljeno 10. 3. 2016. Zhao, W. B., Huang, D. S. (2002). Application of Recursive orthogonal Least Squares Algorithm to The Structure Optimization of Radial Basis Probabilistic Neural networks. ICSP, 1211-1214. DOI: http://dx.doi.org/10.1109/ icosp.2002.1
Pavlovčič Prešeren P, Stopar B., Sterle O. (2016). Modeliranje 3D-ploskev z nevronskimi mrežami z radialnimi baznimi aktivacijskimi funkcijami.
Geodetski vestnik, 60 (2): 241-255. DOI: 10.15292/geodetski-vestnik.2016.02.241-255
doc. dr. Polona Pavlovčič Prešeren, univ. dipl. inž. geod.
Univerza v Ljubljani, Fakulteta za gradbeništvo in geodezijo Jamova cesta 2, SI-1000 Ljubljana e-naslov: polona.pavlovcic@fgg.uni-lj.si
prof. dr. Bojan Stopar, univ. dipl. inž. geod.
Univerza v Ljubljani, Fakulteta za gradbeništvo in geodezijo Jamova cesta 2, SI-1000 Ljubljana e-naslov: bojan.stopar@fgg.uni-lj.si
asist. dr. Oskar Sterle, univ. dipl. inž. geod.
Univerza v Ljubljani, Fakulteta za gradbeništvo in geodezijo Jamova cesta 2, SI-1000 Ljubljana e-naslov: oskar.sterle@fgg.uni-lj.si
Polona Pavlovčič Prešeren, Bojan Stopar, Oskar Sterle | MODELIRANJE 3D-PLOSKEV Z NEVRONSKIMI MREŽAMI Z RADIALNIMI BAZNIMI AKTIVACIJSKIMI
FUNKCIJAMI | THE EMPLOYMENT OF A RADIAL BASIS FUNCTION NETWORK FOR 3D SURFACE MODELLING | 241-255 |	| 251 |