TEHNIKE DIGITALNE OBDELAVE POSNETKOV~ ORODJE VROKAHFOTOGRAMETRA Marjan čeh, dipl.inž.geod. in Tomaž Gvozdanovic, dipl.inž.geod. Fakulteta za arhitekturo,gradbeništvo in geodezijo, Ljubljana Mojca Kosmatin-Fras, dip!.inž.geod. Geodetski zavod SRS, Ljubljana junij 1989, Ljubljana, YU AVTORSKI IZVLEČEK Tehnike (Jigitalne obdelave posnetkov se uspešno uporabljajo v vseh fazah digitalne fotogrametrije. V članku smo podali opis uporabe teh tehnik v fotogrametriji. Razložili smo nekatere osnovne pojme s področja digitalne obdelave posnetkov, na slikovnih primerih pa smo predstavili učinke nekaterih enostavnih operacij na sivih vrednostih digitalnega posnetka. - AUTHOR'S ABSTRACT The techniques of digital image processing are efficient implemented in ali the stages of digital photogrammetry. The paper dea/s with the usage of this techniques in photogram- metry. Some terminology used in image processing is exp/ained. The effects of some simple grey value operations are presented. 1. UVOD Nobena veda se danes ne more uspešno razvijati brez upoštevanja izsledkov drugih bolj ali manj sorodnih ved. To velja tudi za fotogrametrijo, ki vedno bolj postaja inter- disciplinarna veda. Razvoj tehnik digitalne obdelave slik ne spada v osnovno področje fotogra- metrovega zanimanja. S tem se ukvarjajo predvsem matematiki, elektrotehniki, raču­ nalnikarji idr. Na področju digitalne fotogrametrije ima fotogrameter opravka z digitalnimi posnetki, razvite metode in teh- nike digitalne obdelave posnetkov zato lahko uporabi kot učinkovito orodje za svoje potrebe. Digitalna obdelava posnetkov" (angl. digital image processing) pove, da posnetke ob- delujemo v računalniku. Fotolaboratorij, v katerem analogne posnetke obdelujemo na analogen način, je zamenjal računalnik. Rezultati računalniške obdelave pa so veliko bolj učinkoviti. Včasih dobimo občutek, da računalnik kot "čarovnik' na sliki pričara tisto, kar je bilo očem prej skrito. Vendar računalniška obdelava v resnici ne more prikazati tistih informacij, ki v osnov- nem posnetku niso vsebovane (Hoeksma et al. 88). Uporaba tehnik digitalne obdelave posnet- kov v fotogrametriji omogoča av- tomatizacijo nekaterih fotogrametričnih procesov, ki so bili še do nedavnega izključno odvisni od človeka. Av- tomatiziramo lahko enostavne operacije s filtri za izboljšanje slikovne kvalitete, ojačanje kontrasta, poostritve robov, itd., geometrične transformacije (npr. digitalni ortofoto) in veliko bolj zapletene postopke, kot so slikovna korelacija, avtomatizirana analiza in razumevanje posnetkov (inter- pretacija) ter ekstrakcija semantične infor- macije (Makarovič, ta edicija). V fotogrametriji je uporaba teh tehnik tako raznovrstna in obsežna, da je na kratko ni možno predstaviti. Pri nas te tehnike malo Geodetski vestnik 3/1989 122 poznamo, zato smo se v čla,,ku omejili na predstav,tev nekaterih enostavnih operacij s posnetki, katerih rezultati so vizoalno zelo učinkovit) in dajejo slutiti praktično neomejene možnosti uporabe tehnik digitalne obdelave posnetkov. Vsebinsko smo članek razdelili v dva dela V prvem razlagamo nekatere osnovnF pojme s področja digitalne obdelave pos netkov, v drugem delu pa na slikovni, primerih predstavljamo "učinke" nek,ate," operacij na sivih vrednostih slikovnih elementov. Rezultat posamezne operacije na vhodnem posnetku je zelo odvisen od karakteristike posnetka. Ker smo želeli prikazati predvsem učinke posameznih operacij, žal pa na razpolago nismo imeli ustreznih_ fotogrametričnih posnetkov, smo uporabili posnetke z "nefotogrametrično" vsebino. Slikovne primere obdelave digitalnih po- snetkov smo izdelali s programskim paketom za digitalno obdelavo posnetkov AIM (Atari lmage Manager). Ta programski paket je rezultat večletnega razvoja "skupine za prepoznavanje vzorcev" na univerzi v Delftu (Delft University ofTechnol- ogy, Faculty of Applied Physics) in med drugim služi za vaje študentov na tej fakul- teti. 2. OSNOVNI POJMI IN DELITVE POS- TOPKOV V DIGITALNI OBDELAVI POS- NETKOV Digitalni posnetek (angl. digital image) je v numerični obliki kodiran zapis metričnih in semantičnih informacij, ki jih lahko ob- delujemo z digitalnim računalnikom, Naj- bolj preprosto si digitalni posnetek lahko predstavljamo kot matriko, v kateri njeni členi predstavljajo nivoje sivine oz. sive vrednosti (angl. grey level) slikovnih elementov (pikslov), položaj posameznega člena v matriki pa definira njegovo geometrično lokacijo, Definirati moramo še koordinate izhodišča matrike (npr. prvega elementa) in velikost piksla, s tem pa je zagotovljena metričnost informacij. Če na digitalni posnetek gledamo z mate- matičnega vidika, je vsak digitalni pos- netek matrika, obratno pa ni nujno. Vse op,,, ~cije, ki jih lahko izvajamo l'la r"c1trikan, lahhu izvajamo tudi na digitalnih posnetkih (Ro;,enfeld 69). Digitaini posnetek, ki ga želimo obdelovati v računalniku, imenujemo vhodni posnetek (anyi. input image). Rezultat računalniške obdc-1:we je izhodni posnetek (angL output im,.--,u~~1. N- .,r,odnem posnetku izvajamo različne , c0•e>matične operacije. V splošnem operacije delimo na (Goepfort 87): operacije na sivih vrednostih, - geometrične operacije, - frekvenčne operacije. Operacije na sivih vrednostih so operacije, ki posameznim slikovnim elementom spremenijo le sivo vrednost Geometrični odnosi pri tem ostanejo nespremenjeni, Geometrične operacije spremenijo geome- trične odnose med posameznimi slikovnimi elementi. Frekvenčne operacije so operacije v frek- venčnem prostoru posnetka. V članku se bomo omejili na opis nekaterih operacij na sivih vrednostih. Ena izmed geometričnih transformacij (digitalni or- tofoto) je podrobneje obdelana v posebnem članku (Kosmatin-Fras, ta edicija), frek- venčne operacije pa so za razlago zelo zah- tevne in jih zato tu izpuščamo. Glede na število slikovnih elementov v eni operaciji delimo operacije na (Hoeksma et al. 88): - točkovne, - lokalne, globalne. · Točkovne operacije so prostorsko neod- visne in so definirane samo s sivo vred- nostjo slikovnega elementa. Na vrednost izhodnega slikovnega elementa vpliva le en sam vhodni slikovni element (slika 1). Pri lokalnih operacijah upoštevamo okolico slikovnega elementa. Izhodni slikovni ele- ment tako izračunamo iz sivih vrednosti več vhodnih slikovnih elementov (slika 2). 123 DIGITALNA FOTOGRAMETRIJA 'JHODN I POSNETE K IZHODNI POSNETEK ... Točkovne operacije Slika 1 Okolica slikovnega elementa (angl. neigh- bourhood) je določeno število slikovnih elementov, ki obkrožajo slikovni element in je lahko v obliki "okna" (npr. podmatrika3x3, 5x5, itd. elementov), križa, ipd. Pri globalnih operacijah pa na rezultat iz- hodnega slikovnega eleme,nta vplivajo vsi slikovni elementi vhodnega posnetka. Točkovne operacije so računsko najhitrejše operacije, računalniške algoritme pa ni težko izdelati. Lokalne operacije zahtevajo hitrejše algoritme, število potrebnih operacij pa je med drugim odvisno od velikosti izbrane okolice. Računsko najbolj inten- zivne operacije so globalne operacije . Digitalno obdelavo posnetkov običajno raz- delimo v faze, ki so hierarhično razporejene od spodaj navzgor takole: zapis slike v digitalno obliko (analogno digitalna pret- vorba), pred procesiranje, segmentacija, postprocesiranje, analiza in interpretacija (Hoeksma et al. 88). Z analogno digitalno pretvorijo dobimo "surovo" digitalno sliko. Le-ta vsebuje popačenja, ki jih je v posnetek vnesel sistem za analogno digitalno pretvorbo. S postopki predprocesiranja običajno želimo posnetek obnoviti in izboljšati. Namen obnavljanja posnetka je dobiti čim bolj verno obliko njegovega originala. Pri postopkih iz- boljšanja pa gre za bolj hevristične pos- topke, s katerimi posnetek obdelamo tako, da nam bolj ugaja (Paveši6 88). Med pos- ...---_.,..--......-----------~---~~ ....... ~. /' ' 1...'HODt-! I POSNETE K IZHODNI POSNETEK Lokalne operacije Slika2 Geodetski vestnik 3/1989 124 topke izboljšanja posnetkov štejemo med drugim izločanje šuma iz posnetka, povečavo kontrasta, poudarjanje robov itd. S postopki segmentacije slikovne elemente vhodnega posnetka grupiramo v področja podobnih atributov. Osnovni atributi so sive vrednosti, barva in tekstura. Če za osnovo segmentiranja vzamemo sivo vrednost slikovnih elementov, govorimo o amplitudni segmentaciji (Ribari6 88). Področje seg- mentiranja posnetkov sega tudi na področje psihologije, ki daje odgovore na to, kako človek izločuje sliko iz ozadja. Postopki seg- mentacije posnetka so zelo pomembni za uspešno nadaljevanje postprocesiranja, analize in interpretacije posnetka. Postprocesiranje izboljšuje rezultate seg- menta cij e. Najvišji nivo predstavljata analiza in interpretacija posnetka, ki Bit8 · Bit5 Bit 3 Bit2 vsebujeta elemente umetne· inteligence. Zadovoljiva avtomatizacija analize in inter- pretacije posnetkov bo najbrž še dolgo trd oreh za raziskovalce. 3. OPERACIJE NA SIVIH VREDNOSTIH SLIKOVNIH ELEMENTOV Količina informacije, ki jo digitalni posnetek vsebuje, je odvisna od velikosti slikovnih elementov (vzorčenje) in od števila različnih nivojev sivine (kvantizacija). Število različnih stopenj sivine izražamo s številom bitov računalniškega zapisa. Običajno je zapis enega slikovnega elementaghranjen v osmih bitih (en byte), to je 2 = 256 različnih nivojev sivine. V tem primeru je količina potrebnega računalniškega Bit 1 Posnetek prikazan v osmih bitnih ravninah Slika3 125 DIGITALNA FOTOGRAMETRIJA spomina v bytih enaka številu slikovnih elementov posnetka. Digitalni posnetek lahko predstavimo z binarnimi posnetki po posameznih bitnih ravninah (za gornji primer je osem bitnih ravnin - slika 3). Če posnetek "razstavimo" na tak način, opazimo, da niso vse bitne ravnine enako pomembne za končni pos- netek. Običajno je v nižjih bitnih ravninah opazen šum posnetka, ki njegovo infor- macijo popolnoma "zamegli". Semantična vsebina digitalnih posnetkov je lahko zelo različna. Eden izmed pomembnih pokazateljev značilnosti raz- poreditve sivih vrednosti na posnetku je njegov histogram. le-ta je definiran kot porazdelitev pogostosti posameznih sivih vrednosti na posnetku. HistoQ_ram lahko prikažemo s tabelo ali grafom. Ce je iz his- tograma posnetka razvidno, da niso vsi nivoji sivine izrabljeni, to pomeni, da infor- macijska vsebina posnetka ne izkorišča vseh možnih bitov zapisa. Kvantitativno vsebino informacije posnetka objektivno ocenimo z entropijo posnetka (Goepfert 87) 255 E =: - L. hr(s) -11, log2 hr(s) s:o E ........ entropija hr(s) .... relativna pogostost sive vrednosti s Če z analizo histograma ugotovimo, da niso vse razpoložljive sive vrednosti izkoriščene (slika 4), lahko na posnetku z operacijo iz- ravnave histograma (angl. histogram equalization) sive vrednosti raztegnemo na vse razpoložljive vrednosti. S tem delno povečamo kontrast posnetka (slika 5). Ta operacija spada med točkovne operacije. Med točkovne operacije spada tudi t.i. pos- topek primerjanja s pragom (angl. treshold- ing). Sicer pa ta postopek spada med enostavne primere amplitudne segmen- tacije. Osnovni namen postopka je binarizacija vhodnega posnetka. Rezultat je torej posnetek, ki ima samo dve različni vrednosti (O in 1) slikovnih elementov. Ta postopek je uspešen le takrat, če se objekt na posnetku pojavlja kot relativno uniformno področje in če je tudi ozadje uniformno ali z drugimi besedami, če je histogram posnetka bimodalen (ima dva vrha) (Ribaric 88). Izbrati moramo prag T, ki predstavlja določeno sivo vrednost. Vsak slikovni element primerjamo s tem pragom. Postavimo pogoj: če je siva vrednost slikov- nega elementa manjša od T, se spremeni v O, če je večja od T, se spremeni v 1 (ali obratno). Rezultat binarizacije je precej od- Vhodni posnetek s histogramom Slika4 Posnetek z izravnanim histogramom Slika5 Geodetski vestnik 3/1989 126 visen od izbire praga T. Prag T najbolj enos- tavno določimo iz histograma, če je. le-ta bimodalen. Za prag T izberemo sivo vred- nost v "dolini" med vrhoma. Rezultati pos- topka primerjanja s pragom so prikazani na slikah 6, 7 in 8. Vhodni posnetek, ki je prikazan na sliki 3, je binariziran s tremi različnimi. vrednostmi T. Na sliki 6 je na osnovi analize histograma izbran optimalni prag (T = 132), na sliki 7 je prag postavljen prenizko (T = 80), na sliki 8 pa previsoko (T = 180). Lokalne operacije običajno izvajamo s Primerjava s pragom,T=80 Slika? pomočjo filtrov. Le-ti so lahko linearni ali nelinearni, nespremenljive velikosti in oblike ali pa spremenljive velikosti in oblike. Filtre, ki so mešanica linearnih in nelinear- nih filtrov, imenujemo adaptivni filtri (Hoeksma 88). Filtri imajo v splošnem nalogo, da ločujejo željene in neželjene in- formacije in neželjene odstranijo (Baehr85). Linearno filtriranje posnetka običajno iz- vedemo s konvolucijo filtrirne matrike in okolice slikovnega elementa. To storimo tako, da množimo elemente okolice z is- Primerjava s pragom,T=132 Slika6 Primerjava s pragom,T=180 Slika8 127 DIGITALNA FOTOGRAMETRIJA toležnimi členi filtrirne matrike in produkte seštejemo. Primeri nekaterih najbolj pogos- tih koeficientov za posamezne linearne filtre so: 2 4 2 - Gaussov filter za glajenje ~ -1 5 -1 - filter za p_oudarjanje detajlov t 2 1 o o o - horizontalni gradientni filter r-: Ll -2 o -2 - vertikalni gradientni filter --~1 -2 -1 Posebn~ značilnost t.i. gradientnih filtrov je, da detajle na posnetku ostrijo. Gradient slikovne funkcije G(s(x,y)) je definiran kot odvod slikovne funkcije po x in odvod slikovne funkcije po y. Usmerjen je v smeri največje spremembe funkcije, njegova dolžina pa pove velikost spremembe. z gradientom torej prepoznavamo ostre prehode sivih vrednosti na posnetku, ki jih nato lahko poudarimo. Na sliki 9 je prikazan učinek horizontalnega gradientnega filtra, na sliki 1 O pa R~bertsovega filtra na posnetek, ki je prikazan na sliki 3. S horizontalnim gra- dientnim filtrom dobimo psevdo-plastičen efekt v horizontalni smeri. Robertsov gradientni filter pa za vsak slikovni element vzame tisti delni gradient (horizontalni ali vertikalni), ki je večji. Učinek horizontalnega gradientnega filtra Slika9 Učinek Robertsovega gradientnega filtra Slika 10 Na vhodnem posnetku je iz različnih raz- logov lahko prisoten šum, ki se kaže v obliki temnih in svetlih točk posutih po posnetku (angl. salt-and-pepper noise). Takšen šum lahko učinkovito odstranimo s posnetka z medianinim filtrom, ki je nelinearni filter. Si- vo vrednost izhodnega slikovnega elemen- ta nadomestimo z mediano elementov okolice. Mediana diskretnega zaporedja je definirana kot tisti člen zaporedja, od ka- terega je pol členov zaporedja večjih ali Geodetski vestnik 3/1989 128 Posnetek s šumom Slika i 1 enakih, pol pa manjših ali enakih. Na sliki 11 je prikazan posnetek, na katerem je prisoten šum. Rezultat mediani nega filtra je prikazan na sliki 12, kjer ni več belih in črnih "pik". Na tako očiščeni sliki smo poudarili detajle z linearnim filtrom, rezultat je prikazan na sliki 13. Zelo učinkovita nelinearna filtra sta tudi t.i. lokalni minimum filter in lokalni maksimum filter. S prvim filtrom določimo lokalni mini• mum okolice na vhodnem posnetku in ga priredimo slikovnemu elementu izhodnega posnetka. S tem dosežemo razširitev temnih področij posnetka (slika 14). Z drugim fil. trom pa določimo lokalni maksimum okolice na vhodnem posnetku in ga priredimo sli· kovnemu elementu izhodnega posnetka. Rezultat je posnetek, ki ima razširjena svetla območja (slika 15). Za fotogrametrijo je zelo zanimiva operacija izločevanja robov detajlov na posnetku. Učinek takšne operacije je ta, da iz posnetka dobimo črtno "risbo" (npr. iz posnetka fasade dobimo načrt fasade). Vendar te operacije niso tako zelo enostavne. Težko je namreč definirati, kaj je rob detajla. Učinek je tako odvisen od kriterijev, ki jih postavimo in pa tudi od operacije oz. zaporedja operacij, ki jih izberemo. Na sliki 16 je prikazan rezultat določenega zapored• ja operacij, ki izločijo robove detajlov iz Učinek medianinega filtra Slika 12 Učinek filtra za poudarjanje detajla Slika 13 posnetka na sliki 3, ki pa bi bile na tem mestu preobsežne za razlago. Zgoraj prikazane operacije na posnetkih so le nekatere izmed osnovnih, enostavnih, a vendar učinkovitih operacij na sivih vred• nostih. Običajno pa željen učinek dosežemo šele z določenim zaporedjem različnih operacij. Splošnega pravila za ob- delavo digitalnih posnetkov ni, zato se moramo za posamezne operacije odločati 129 DIGITALNA FOTOGRAMETRIJA Razširitev temnih območij na posnetku Slika 14 Izločeni robovi detajla Slika 16 na konkretnem posnetku. To delo je zelo kreativno, saj imamo na voljo praktično neomejeno število kombinacij različnih operacij. Za ilustracijo, kako pomembno je pravilno izbrano zaporedje posameznih operacij, navajamo še naslednji, zadnji primer. Razširitev svetlih območij na posnetku Slika 15 Osnovni posnetek Slika 17 Na posnetku (slika 17) želimo izvesti pos- topek primerjanja s pragom (binarizacija slike), da bi izločili risbo. Rezultat je prikazan na sliki i 8 in očitno ne zadovoljuje naših pričakovanj. Na osnovnem posnetku smo nato izvedli lokalni maksimum filter in dobili novo sliko, na kateri smo izvedli še lokalni minimum filter (s tem smo določili ozadje na posnetku). Tako dobljeno sliko Geodetski vestnik 3/1989 130 Binariziran osnovni posnetek . . Slika 18 smo· nato odšteli od osnovnega posnetka (posnetku smo "odšteli" ozadje) in na tako obdelanem posnetku izvedli še postopek primerjanja s pragom. Rezultat je presenetljiv (slika 19). 4. ZAKLJUČEK Uporaba tehnik digitalne obdelave posnet- kov v digitalni fotogrametriji je zelo razšir- jena in sega· praktično v vse njene faze. Nekaj osnovnih tehnik, ki so prikazane vtem članku, le nakazuje široke možnosti, ki jih tak način obdelave posnetkov ponuja. Danes želimo fotogrametri uporabnikom r,."-------- Binariziran posnetek po izločitvi ozadja na osnovni sliki Slika 19 posredovati informacije v čim krajšem času. Uporaba digitalnih tehnik sicer omogoča avtomatizacijo številnih fotogrametričnih postopkov, vendar še vedno ostaja problem obdelave v realnem času (real-tirne). Os- novna problema sta ogromna količina podatkov in kompleksnost procesnih al- goritmov. Na tržišču že obstajajo specialni slikovni procesorji, ki imajo določene operacije realizirane na strojnem nivoju (Fras, tabela 3.1, ta edicija). Reševanje posebnih fotogrametričnih nalog, kot so slikovna korelacija, analiza in interpretacija posnetkov idr., pa spada na področje razis- kav fotogrametrov. 131 DIGITALNA FOTOGRAMETRIJA LITERATURA Baehr, H.P. (1985): "Digitale Bild-verarbeitung, Grundlagen der Digitalen bildverarbeitung", Herbert Wichmann Verlag, Karlsruhe Goepfert, W. (1987): "Raumbezogene lnformationssysteme", Herbert Wichmann Verlag, Karlsruhe Hoeksma, T., Herweijer, A. (1988): "AIM Tutorial" Milder, N.J, Kostwinder, H.R. (1988): "Remote Sensing Digital lmage Processing, Patern Recognition", lnternatio1qal Institute for Aerospace Survey and Earth Sciences (skripta) Paveši6, N. (1988): "Postopki izboljšanja in obnavljanja slik', Seminar Digitalna o brada slike, Zagreb Ribari6. S. (1988): "Segmentacija slike', Seminar Digitalna o brada slike, Zagreb Rosenfeld, A. (1969): "Picture Processing by Computer", Academic Press, London Geodetski vestnik 3/1989 132