SAMODEJNA KOREGISTRACIJA TRIRAZSEZNIH MODELOV STAVB Z GRAFIČNIMI GRADNIKI NA PODOBAH AUTOMATIC COREGISTRATION OF THREE-DIMENSIONAL BUILDING MODELS WITH IMAGE FEATURES Janja Avbelj, Dorota Iwaszczuk, Uwe Stilla, Krištof Oštir UDK: 528.7/.8 IZVLEČEK Namen naše raziskave je samodejna določitev tekstur streh in fasad stavb z infrardečih (IR) posnetkov za teksturiranje obstoječega trirazsežnega (3D) modela stavb. Za to je treba izboljšati natančnosti neposredno izmerjenih parametrov zunanje orientacije IR-kamere, pritrjene na mobilno platformo. Ta prispevek opisuje metodo, razvito za izboljšanje parametrov zunanje orientacije, ki temelji na ujemanju točk samodejno zaznanih grafičnih gradnikov z IR-videoposnetka in žičnega modela stavb. Najprej proučimo zaznavo različnih tipov grafičnih gradnikov na testnem IR-posnetku. Förstnerjeve in presečiščne točke izberemo kot primerne grafične gradnike za predstavitev obravnavanih značilnosti stavb na IR-posnetku. 3D-model stavb projiciramo na vsak posamezen posnetek videosekvence ob upoštevanju orientacijskih parametrov, od katerih so parametri zunanje orientacije podani s približnimi vrednostmi. Nato izvedemo samodejno koregistracijo 3D-modela stavb, projiciranega na videoposnetek, in grafičnih gradnikov, zaznanih z istega IR-videoposnetka. Samodejno ujemanje 3D-modela stavb in zaznanih grafičnih gradnikov poteka iterativno in skupaj z izravnavo parametrov zunanje orientacije z metodo najmanjših kvadratov. Razvito metodologijo za koregistracijo in izravnavo zunanjih orientacijskih parametrov smo preizkusili na strnjenem poseljenem območju. Kakovost metodologije ocenimo s petimi parametri: učinkovitostjo metodologije, popolnostjo in pravilnostjo algoritmov za ujemanje in zaznavo grafičnih gradnikov. KLJUČNE BESEDE Klasifikacija prispevka po COBISS-u: 1.01 ABSTRACT The aim of this article is to investigate methods for the automatic extraction of the infrared (IR) textures for the roofs and facades of existing building models. We focus on the correction of the measured exterior orientation parameters of the IR camera mounted on a mobile platform. The developed method is based on point-to-point matching of the features extracted from IR images with a wire-frame building model. Firstly, the extraction of different feature types is studied on a sample IR image; Förstner and intersection points are chosen for a representation of the image features. Secondly, the three-dimensional (3D) building model is projected into each frame of the IR video sequence using orientation parameters; only coarse exterior orientation parameters are known. Then the automatic co-registration of a 3D building model projection into the image sequence with image features is carried out. The matching of a model and extracted features is applied iteratively, and exterior orientation parameters are adjusted with least square adjustment. The method is tested on a dataset of a dense urban area. Finally, an evaluation of the developed method is presented with five quality parameters, i.e. efficiency of the method, completeness and correctness of matching and extraction. KEY WORDS 3D-model stavb, digitalna, obdelava podob, koregistracija podob, zaznava, grafičnih gradnikov, infrardeč spekter 3D building model, digital image processing, image coregistration, feature extraction, infrared spectrum vo iš iT 1 UVOD V zadnjih desetletjih - izvzemši leto 2009 - svetovna poraba energije narašča (Statistical Review of World Energy 2009, 2010). V državah Evropske unije (EU) zgradbe porabijo 40 % energije in povzročijo 36 % emisij CO2 (Direktiva 2010/31/EU, 2010). Izboljšanje energetske učinkovitosti zgradb je nujno za zmanjšanje porabe energije in izpustov toplogrednih plinov. Energetska učinkovitost zgradb in njen vpliv na okolje sta pogosto obravnavani temi na različnih področjih znanosti in raziskav ter tudi v politiki. Številni standardi, predpisi, zakoni in drugi pravni akti urejajo področje porabe energije in kažejo na aktualnost te problematike (Direktiva 2010/31/ EU, 2010; ISO/TC 163, 2010). Učinkovit nadzor stavb lahko prispeva k razvoju strategij za zmanjšanje energetske potrošnje, za kar je treba pridobiti in redno dopolnjevati podatke o zgradbah. Veliko število stavb pomeni tudi veliko količino podatkov, ki morajo biti zajeti, obravnavani in analizirani. Za ekonomsko in časovno učinkovitost zajema tovrstnih podatkov so primerni senzorji na mobilnih platformah v zraku in vesolju (Oštir, 2006, 37-38) ali mobilne terestrične platforme. Obstoječi 3D-modeli mest vsebujejo podatke o stavbah, ki jih lahko dopolnimo z analizami posnetkov, zajetih z mobilnih platform. Za lažjo interpretacijo vsebine posnetkov si lahko pomagamo z obstoječimi trirazsežnimi (3D) modeli (Stilla et al., 2000) in dele posnetkov uporabimo za teksturiranje modela. Nadirni posnetki so primerni za pridobivanje podatkov o strehah, medtem ko so terestrični posnetki primerni za pridobivanje podatkov o fasadah zgradb. Iz poševnih posnetkov lahko pridobimo podatke tako za strehe kot za fasade stavb (Frueh et al., 2004; Stilla et al., 2009). Nekateri pojavi in/ali strukture so zaznani tako v vidnem (VIS) kot infrardečem (IR) spektru, medtem ko so drugi, na primer sistemi za centralno ogrevanje ali toplotni mostovi, zaznani le na posnetkih, zajetih v IR-delu spektra. Mestne toplotne otoke lahko opazujemo v IR-spektru v manjših merilih, termalne lastnosti stavb pa zahtevajo zajem v večjih merilih (Weng, 2009; Kajfež-Bogataj, 2005). Aeroposnetki imajo višjo prostorsko ločljivost v primerjavi s posnetki, zajetimi iz vesolja, zato so primernejši za lociranje termalnih izgub stavb v večjih merilih. Termalne lastnosti fasad in streh so karakteristike stavb, ki jih opazujemo z namenom zmanjšanja porabe energije. Teksturiranje obstoječega 3D-modela stavb z IR-posnetki povečuje informacijsko vrednost baze podatkov in omogoča analize termalnih izgub stavb. 65 1.1 Pregled stanja Osnovni pogoji za natančno teksturiranje 3D-modelov stavb iz digitalnih podob so: kalibrirana kamera z znanimi parametri notranje orientacije (NO), georeferenciran model stavb in znani parametri zunanje orientacije (ZO), to je položaj kamere v trenutku zajema posnetkov (Stilla et al., 2009). Na platformah, ki zajemajo posnetke iz zraka, so poleg snemalnega sistema pogosto tudi naprave za zajem trajektorije leta, in sicer sta to najpogosteje sistem za globalno določanje položaja (angl. Global Navigation Satellite System, GNSS) in inercialna merilna enota (angl. Inertial Measurement Unit, IMU). GNSS in IMU merita podatke, potrebne za določitev ■ približnih parametrov ZO. Poleg prej omenjenih osnovnih pogojev za natančno teksturiranje modela stavb mora biti znan ali s kalibracijo določen relativen položaj vseh merilnih naprav na platformi. Vsi navedeni parametri morajo biti upoštevani pri projekciji 3D-modela stavb na posnetek za določitev izseka digitalne slike za teksturo, ki ustreza izbrani ploskvi stavbe. Parametri ZO, pridobljeni z enoto GNSS/IMU, pogosto ne dosegajo natančnosti, zahtevane za visokokakovostno teksturiranje. Številni avtorji v raziskavah za samodejno povezavo 3D-modela s slikami uporabljajo metode digitalne obdelave podob. Hsu et al. (2000) določijo položaj kamere v času zajema posnetka na podlagi ujemanja linijskih grafičnih gradnikov in projiciranih 3D-daljic modela stavb. Grafične gradnike najprej zaznajo in jim sledijo skozi zaporedne posnetke videosekvence, nato pa te grafične gradnike uporabijo za določitev približnih parametrov ZO med posameznimi posnetki. Zatem daljice 3D-modela stavb projicirajo s približnimi parametri ZO na posnetke. Položaj kamere izboljšajo z določitvijo stopnje ujemanja projiciranih daljic in usmerjenih gradientov energijskih piramid posnetka (angl. oriented image gradient energy pyramids). Frueh et al. (2004) za določitev položaja kamere uporabijo metodo zaznavanja linij na visokoločljivih poševnih posnetkih v VIS-spektru, in sicer s Cannyjevim detektorjem robov. Zaznane robove nato razdelijo v daljice z rekurzivnim algoritmom delitve končnih točk (angl. recursive endpoint subdivision algorithm). Položaj kamere določijo z registracijo projekcije modela stavb na posnetek z zaznanimi daljicami in ga ocenijo z vrednostjo korelacije, ki temelji na ujemanju »linije na linijo« (angl. line-to-line matching). Tian et al. (2008) predlagajo ujemanje robov skozi videoposnetke z uporabo geometrijskih vezi, določenih na podlagi zanesljivih točk. Zanesljive točke določijo z analizo koncev zaznanih robov, ki jih kvalitativno ocenijo. Z uporabo zanesljivih točk bistveno zmanjšajo prostor iskanja za ujemanje točk in s tem tudi zmanjšajo čas izračuna. Eden od pristopov za določitev položaja kamere je uporaba enega ali več bežišč. Lee et al. (2002) uporabljajo dve ali tri bežišča ter ujemanje 3D- in dvorazsežnih (2D) daljic za določitev parametrov ZO terestrične kamere. Ding et al. (2008) predlagajo dvostopenjski proces za določitev položaja kamere. V prvem koraku določijo približne parametre ZO z uporabo bežišč in podatkov, pridobljenih iz GNSS/INS. V drugem koraku izboljšajo natančnost približnih ^^ parametrov ZO, določenih v prvem koraku z ujemanjem pravokotnih vogalov, zaznanih s poševnih posnetkov in modela stavb, pridobljenega z lidarjem (angl. Light detection and ranging, LIDAR). 1.2 Cilj raziskave Hoegner in Stilla (2008) uporabita IR-videoposnetke, zajete z mobilne terestrične platforme za samodejno teksturiranje 3D-modelov stavb. Stilla et al. (2009) in Kolecki et al. (2010) opisujejo neposredno georeferenciranje s podatki GNSS/INS in razširjeno kalibracijo merilnega sistema. Poudarijo problem vibrirajoče platforme, na primer helikopterja, ki lahko povzroči neskladje projiciranega modela z njegovo podobo na posnetku. C3 —' Parametre ZO mobilne platforme določimo iz neposrednih meritev GNSS/INS, ki so podvrženi s» različnim vplivom. Če natančnost parametrov ZO ne zadostuje za namen uporabe, na primer H samodejno teksturiranje 3D-modela stavb, lahko vplive na meritve GNSS/INS modeliramo in jih tako popravimo. Nasproten pristop k rešitvi te težave je uporaba vsebine posnetka za izboljšanje ^^ ' natančnosti parametrov ZO. V tej raziskavi z uporabo metod obdelave podob zaznamo grafične n^^ SS iis -äS- gradnike na IR-posnetkih videosekvence in jih samodejno povežemo s 3D-modelom stavb. Glavni namen raziskave je samodejna določitev tekstur za strehe in fasade stavb z IR-posnetkov za teksturiranje obstoječega 3D-modela stavb. V študiji razvijemo metodologijo za izboljšanje določitve parametrov ZO z metodo ujemanja »točke na točko« (angl. point-to-point). Zanima nas, ali lahko s koregistracijo zaznanih grafičnih gradnikov z IR-videoposnetkov in 3D-modela stavb parametre ZO izboljšamo tako, da se model stavb bolje prilega stavbam na posnetku. 2 METODOLOGIJA 2.1 Primerjava grafičnih gradnikov, zaznanih z infrardečih posnetkov Na testnem IR-videoposnetku zaznamo različne vrste grafičnih gradnikov (točke, linije, daljice). Uporabimo različne standardne operatorje za zaznavo grafičnih detektorjev: Förstnerjev operator, Cannyjev detektor robov in druge. Namen primerjave zaznave različnih grafičnih gradnikov je izbira tistih, ki ustrezno predstavljajo robove stavb in omogočajo samodejno ujemanje s 3D-modeli stavb. Izbira ustreznih grafičnih gradnikov in parametrov za njihovo zaznavo zahteva podrobno obravnavo, ki smo jo izvedli v okviru te raziskave. Posnetki v IR-spektru imajo nižjo ločljivost in drugačne lastnosti od posnetkov v VIS-spektru, kar upoštevamo pri izbiri primernih grafičnih gradnikov. Zgradbe so najpogosteje pravokotnih oblik, z ravnimi slemeni in drugimi sestavnimi deli, kot so: dimniki, frčade in okna, zato jih je mogoče opisati z enostavnimi geometrijskimi oblikami. Pri obravnavi 3D-modela stavb s stopnjo podrobnosti 2 po standardu CityGML (angl. Level of Detail, LOD2; CityGML, 2008; Albert et al. 2003) so stavbe dovolj dobro predstavljene z daljicami in bolj kompleksni gradniki, kot so krivulje ali loki, običajno niso potrebni. 2.2 Razvita metodologija Na sliki 1 je razvita metodologija shematsko prikazana in kasneje v tem podpoglavju podrobneje razložena. Na podlagi podatkov GNSS/INS in razširjene kalibracije snemalnega sistema po postopku, predlaganem v Stilla et al. (2009) in Kolecki et al. (2010), projiciramo v vsak posnetek IR-videosekvence prilagojen 3D-model stavb s približnimi parametri ZO. Na IR-posnetkih samodejno zaznamo grafične gradnike in nato iščemo ujemanje med projiciranim 3D-modelom in zaznanimi grafičnimi gradniki. Na podlagi koregistriranih točk izravnamo parametre ZO snemalnega sistema po metodi najmanjših kvadratov (MNK) za trenutek zajema posnetka. Z izravnanimi parametri ZO 3D-model ponovno projiciramo v isti posnetek. Ujemanje projiciranega modela in zaznanih grafičnih gradnikov iščemo iterativno. Metodo ocenjujemo kot uspešno, če se ^^ projiciran model stavb vizualno bolje prilega zgradbam na IR-posnetku, kar omogoča določitev teksture za posamezno površino zgradbe. IS o Slika 1: Shematski prikaz poteka razvite metodologije Najprej obravnavamo izbiro vrste grafičnih gradnik^'/ in metode za njihovo zaznavo z IR-posnetkov. Za ujemanje zaznanih daljic in projiciranih poligonov 3D-modela stavb na posnetek je potrebna korelacijska funkcija. Časovna potratnost izračuna ujemanja »linije na linijo« je visoka (Frueh et al., 2004) in zaznane daljice (linije) se pogosto ne začnejo in končajo v vogalih zgradb. Pri samodejnem zaznavanju robov s posnetkov se pojavlja težava, da je zaznanih več robov, čeprav je v prostoru prisoten le en (angl. non single edge response), kar otežuje postopek ujemanja. V primerjavi z ujemanjem »linije na linijo« je ujemanje »točke na točko« časovno izrazito manj potratno. Zato se omejimo na točke kot primerno vrsto grafičnih gradnikov in izberemo dva algoritma za njihovo zaznavo. Za zaznavo grafičnih gradnikov uporabimo program Halcon MVTec1 (Halcon, 2010). Uporabljena sta Förstnerjev algoritem (Förstner, 1994) in algoritem 1 Halcon je komercialna programska oprema za aplikacije računalniškega vida, ki ga razvija MVTec. vo ik ni iT iiš -äS- Q za določitev presečiščnih točk, izračunanih iz zaznanih daljic s posnetka (slika 2). Förstnerjev operator zazna na posnetku značilne točke, ki se razlikujejo od okolice. Obstajata dve vrsti Förstnerjevih točk (Förstner in Gülch, 1987), in sicer tako imenovane »stične točke«, ki predstavljajo presečišča robov na posnetku, in »točke ploskve«, ki označujejo spremembo barve ali svetlosti glede na okolico. »Stične Förstnerjeve točke« uporabimo pri iskanju ujemanja med točkami in projiciranim modelom, saj »točke ploskev« ne predstavljajo značilnih točk objektov, ki bi jih lahko povezali z modelom stavb. Slika 2: Zaznani grafični gradniki. »Stične Förstnerjeve točke« so označene z zvezdicami (*), središča krogov prestavljajo presečiščne točke, določene na podlagi zaznanih ravnih robov, predstavljenih z daljicami. Presečiščne točke, določene iz daljic, izračunamo z vmesnim korakom zaznave ravnih robov (slika 2). Izračunamo razdaljo d med končnimi točkami vseh zaznanih ravnih robov (daljic). Postavimo mejo, ki določa največjo dovoljeno oddaljenost med končnimi točkami d^^^ v pikslih. Za vse pare končnih točk daljic, ki izpolnjujejo pogoj d < dmax, izračunamo presečiščni kot a pripadajočih daljic. Presečiščni kot mora biti med vrednostmi in amax = n - am.n, kjer je a e [0, nj. Ti meji določimo, ker je presečiščni kot med bližnjimi zgradbami redko zelo oster ali zelo top. Skoraj vzporednim daljicam (linijam), ki ležijo blizu skupaj, se izogibamo, saj so najverjetneje rezultat večkratne zaznave istega robu ali pa ne dovolj natančne zaznave dveh vzporednih robov. Za vse pare točk, ki zadostijo pogojema: d < d in a. < a < a , izračunamo presečiščne točke. Z ^ r min max ^ določitvijo obeh mej, kotne in dolžinske, algoritem za določitev presečiščnih točk omeji določitev manj zanesljivih točk. Nato prilagodimo 3D-model stavb, ki ga v nadaljevanju uporabimo kot vhodni podatek. 3D-modeli stavb se med seboj razlikujejo po vsebini, načinu shranjenih podatkov in po stopnji podrobnosti. Zaradi tega je treba 3D-model prilagoditi, preden ga uporabimo in z njim preizkusimo razvito metodologijo. Slika 3: Žični prikaz prilagojenega 3D-modela stavb (LOD2) glede na kot gledanja kamere (Avbelj, 2010) Iz modela najprej odstranimo zakrite robove in ploskve, torej tiste ploskve in njihove dele, ki so nevidni glede na položaj gledišča in smer gledanja kamere. Posnetki v IR-spektru imajo majhne razlike radiometričnih vrednosti med nizkimi deli fasad, blizu tlom in pločnikom, zato iz nadaljnje obravnave izločimo vse tiste robove 3D-modela stavb, ki ne pripadajo streham stavb (slika 3). Točke 3D-modela stavb določimo kot presečišča sosednjih robov v žičnem modelu stavb. Zatem vzpostavimo povezavo med točkami modela in zaznanimi točkami z IR-posnetka na podlagi njihove medsebojne lege ter uporabimo ujemanje »točka na točko« - samodejno iščemo ujemanje grafičnih gradnikov s projiciranim 3D-modelom stavb. Za vsako točko modela določimo krožno območje iskanja z radijem R (izražen v pikslih), v katerem iščemo zaznane točke z IR-posnetka. Nastopajo različni odnosi med točkami modela in zaznanimi točkami. Če zaznana točka leži v vo ik ni iT območju iskanja, jo povežemo z modelno točko, saj sklepamo, da se točki ujemata (določimo ju za homologni točki). Če nobena zaznana točka ne leži v območju iskanja, modelna točka nima povezave. Če več zaznanih točk leži v območju iskanja modelne točke, vse povežemo z njo. Če ena zaznana točka leži v več območjih iskanja modelnih točk, je povezana le z najbližjo modelno točko. Koregistrirane oziroma ujemajoče se točke potrebujemo za izravnavo parametrov ZO po metodi najmanjših kvadratov (MNK). Vhodni podatki izravnave po MNK so opazovanja, to so slikovne koordinate zaznanih točk, ki se ujemajo s točkami projiciranega 3D-modela, 3D-modelne koordinate ujemajočih točk v globalnem koordinatnem sistemu in približni orientacijski parametri. Parametri NO so konstante v izravnavi, parametri ZO so neznanke. Izravnava parametrov ZO je interativna, iteracije ustavimo, ko je absolutna razlika med izravnanimi parametri ZO iz /-te iteracije in i-1-ve iteracije manjša od določenega praga(\ZO-ZO| r popravljenimi parametri ZO. Na posnetke najprej projiciramo dva podmodela, torej posamezno stavbo izbrano in celotnega 3D-modela stavb, in zatem celoten model. Postopek ujemanja projiciranega 3D-modela stavb in zaznanih presečiščnih točk z IR-posnetka dodatno preizkusimo na 95 zaporednih posnetkih četrtega snemalnega pasu. Na te posnetke projiciramo podmodel s popravljenimi parametri ZO, nato pa popravljene parametre ZO ročno premaknemo za 3 m po položaju. Premik popravljenih parametrov ZO pomeni večje začetno neujemanje projiciranega podmodela in pripadajoče stavbe na posnetku, torej opazujemo kakovost metode ob manj natančnih začetnih parametrih ZO. Začetno območje iskanja ujemanja projiciranega 3D-modela in zaznanih točk je določeno z radijem R = 15 pikslov. I? 3.3 Rezultati ^^ Rezultate preizkusa razvite metodologije (poglavje 2.2) si ogledamo na izbranih podatkih strnjeno poseljenega območja (poglavji 3.1 in 3.2). p5 Za zaznavo točk uporabimo dva algoritma, in sicer Förstnerjev algoritem in algoritem za določitev presečiščnih točk. Na vseh izbranih dvanajstih posnetkih je število zaznanih Förstnerjevih točk veliko, vendar relativno malo točk leži na vogalih zgradb, zaradi česar se tudi malo točk ujema s I« projiciranim modelom. V primerjavi s številom zaznanih Förstnerjevih točk je število določenih presečiščnih točk majhno (slika 2), vendar se jih relativno veliko pravilno ujema z modelom. Majhni objekti na strehah, na primer dimniki in frčade, so v 3D-modelu stavb prikazani s kratkimi [i^ daljicami ali poligonskimi stranicami. Pri povezavi teh majhnih objektov z zaznanimi točkami || pogosto nastopi napačno ujemanje. Vendar pa je napačno ujemanje z vogali majhnih objektov ^^ na strehah bistveno zmanjšano, če so zaznane točke izračunane na podlagi dolgih robov in ^ ne neposredno kot Förstnerjeve točke. Da zmanjšamo verjetnost napačnega ujemanja modela t? in presečiščnih točk, je treba skrbno izbrati mejno vrednost za najmanjšo dovoljeno dolžino ^SS" zaznanega ravnega robu d . H Pri projekciji dveh podmodelov na dvanajst izbranih posnetkov ugotavljamo, da je ujemanje ig zaznanih točk in točk modela močno odvisno od relativnega položaja zgradbe na posnetku. || ^^^ Metodologija je uspešna, če obravnavana zgradba leži v sredini posnetka glede na levi in desni t^l o IT rob posnetka, ter v območju od spodnjega roba do sredine. Zaradi poševnega kota gledanja kamere v smeri leta so objekti ob zgornjem robu bolj popačeni in so na posnetku relativno manjši v primerjavi z objekti ob spodnjem robu. Vpliv distorzij leč kamere je večji na robovih posnetka, kar povzroči še dodatno popačenje ob robovih posnetka. Obravnavana zgradba ne sme biti prekrita (angl. occluded) z okoliškimi objekti ali sencami; prekrivanje lahko povzroči manjše število zaznanih grafičnih gradnikov ali nepravilno zaznane vogalne točke, kar oteži postopek ujemanja modela in zaznanih točk. Kakovost ujemanja celotnega projiciranega modela z zaznanimi točkami (Förstnerjevimi in presečiščnimi) na posnetke je nezadovoljiva. Številne zgradbe projiciranega modela na posnetke ležijo ob robovih in prikrivajo druge zgradbe v posnetku. Ugotavljamo, da razvita metoda za dane podatke ni učinkovita in bi za objektivno oceno učinkovitosti potrebovali primernejši model stavb, saj ima uporabljeni model stavb številne pomanjkljivosti. Večina stavb TUM, na podlagi katerih je narejen model, se med seboj stika, vendar se v modelu nekatere izmed teh stavb med seboj prekrivajo ali pa se pojavljajo med njimi špranje. Ravno tako v modelu ni povezave med strehami in preostalimi deli zgradb. Nepovezanost ploskev v modelu pomeni, da je posamezen rob predstavljen z več robovi v modelu, kar povzroča nepravilno in napačno ujemanje modelnih točk z zaznanimi (Iwaszczuk et al., 2010). Na 95 zaporednih posnetkih zaznamo presečiščne točke, nanje projiciramo podmodel s popravljenimi parametri ZO ter premaknjenimi parametri ZO in preizkusimo razvito metodologijo. Rezultat, ki je podrobneje obravnavan v podpoglavju 3.4 Ovrednotenje metodologije, je visoka popolnost zaznave presečiščnih točk in njihovega ujemanja z modelom. 3.4 Ovrednotenje metodologije Razvito metodologijo ovrednotimo na podlagi projekcije podmodela v 95 posnetkov četrtega pasu snemanja. Najprej ocenimo učinkovitost metode, nato še popolnost in pravilnost algoritma za zaznavo ter algoritma za ujemanje za zaznane presečiščne točke. Vrednotenje metode z določitvijo teh petih parametrov kakovosti naredimo z vizualno analizo vsakega posnetka. 3.4.1 Učinkovitost metode Metoda je učinkovita, če se ponovno projiciran model z izravnanimi parametri ZO bolje prilega položaju stavbe na posnetku od projekcije z začetnimi vrednostmi parametrov ZO in je dana z izrazom (1). , Število pravilno premaknjenih in rotiranih modelov Učinkovitost metode =-^-. (1) Število posnetkov dX = dY = dZ [m] Premik +1 +2 +3 +4 +5 Učinkovitost 1,00 1,00 0,92 0,65 0,16 dnaklon = dnagib = dzasuk['] Premik +10 +20 +30 +40 +50 Učinkovitost 1,00 1,00 0,97 0,93 0,61 Preglednica 1: Povprečna učinkovitost metode pri uporabljenih premaknjenih začetnih vrednostih ZO (Avbelj et al., 2010) Če za projekcijo uporabimo začetne parametre ZO, ki so glede na vrednosti popravljenih parametrov ZO premaknjeni za 3 m po položaju (preglednica 1, dX = dY = dZ = 3 m), ocenjujemo učinkovitost metode na 92 % (preglednica 1). Učinkovitost metode ni odvisna le od natančnosti začetnih vrednosti parametrov ZO, ampak tudi od kakovosti zaznave grafičnih gradnikov in relativnega položaja stavbe na posnetku. V testnem primeru je algoritem ujemanja zelo občutljiv za kotne spremembe (preglednica 1). Za začetne vrednosti parametrov ZO morajo biti znane koordinate projekcijskih centrov z natančnostjo vsaj 4 m in vsaj 0,5° za kotne vrednosti (nagib, naklon in zasuk). Z DGNSS-meritvami, ki pa niso bile dostopne v času zajema uporabljenega IR-videoposnetka, je takšno položajno natančnost mogoče doseči (Grewal et al., 2007). Nerešena ostaja težava natančnosti določitve kotnih vrednosti. Učinkovitost metode preverimo še za popravljene vrednosti orientacijskih parametrov kot začetnih vrednosti neznank v izravnavi. Ker so popravljeni parametri ZO zelo blizu pravim vrednostim, za ta primer podrobneje obravnavamo učinkovitost metode. Uvedemo tri kategorije za vrednotenje učinkovitosti metodologije, in sicer je prileganje modela glede na položaj objekta na posnetku lahko: • izboljšano, algoritem je učinkovit; • z majhno spremembo, projekcija modela je malo premaknjena in/ali rotirana glede na prvo projekcijo modela in položaj objekta na posnetku; • slabše, projekcija z začetnimi parametri ZO je boljša od projekcije modela z izravnanimi parametri ZO. Projiciran model z izravnanimi parametri ZO je glede na model, projiciran s popravljenimi parametri ZO, rotiran in/ali premaknjen. Premik Učinkovitost Popravljeni parametri ZO Izboljšana 0,64 Majhna sprememba 0,22 Slabša 0,14 Preglednica 2: Povprečna učinkovitost metode pri uporabljenih popravljenih parametrih ZO za začetne vrednosti v izravnavi (Avbelj et al., 2010) vo ik ni Za uporabljene popravljene parametre ZO ocenjujemo učinkovitost metode na 64 %, kar je manj od učinkovitosti metode pri uporabi manj natančnih začetnih vrednosti parametrov ZO (preglednica 2). 22 % izravnanih parametrov ZO je z majhnimi spremembami in jih še vedno iT lahko uporabimo za samodejno določitev tekstur iz IR-posnetka, medtem ko je za 14 % metoda neučinkovita. 3.4.2 Popolnost in pravilnost algoritma za zaznavo grafičnih gradnikov Za oceno kakovosti algoritma za samodejno zaznavo presečiščnih točk uporabimo dva kazalnika, in sicer popolnost in pravilnost. Popolnost algoritma za zaznavo točk je kvocient med številom pravilno zaznanih točk in številom modelnih točk ter znaša 88 %. Pravilnost algoritma za zaznavo točk je 74 % in je določena s kvocientom števila pravilno zaznanih točk in številom vseh zaznanih točk. 3.4.3 Popolnost in pravilnost algoritma za ujemanje Algoritem za ujemanje projiciranega modela in zaznanih točk na IR-posnetkih ovrednotimo analogno kot algoritem za zaznavo grafičnih gradnikov. Uporabimo istih 95 zaporednih IR-posnetkov in algoritem za zaznavo presečiščnih točk. Popolnost ujemanja samodejno zaznanih točk na posnetku in projiciranega 3D-modela stavb je dana s kvocientom števila pravilno ujemajočih točk in številom točk modela; pravilnost algoritma je določena s kvocientom števila pravilno ujemajočih točk in številom vseh ujemajočih točk (preglednica 3). Parametra kakovosti algoritma za ujemanje ocenimo za projekcijo podmodela na posnetke s popravljenimi in premaknjenimi parametri ZO. Metodologijo uporabimo iterativno, za vsak posnetek v treh iteracijah. Premaknjeni začetni parametri ZO so popravljeni parametri ZO, ročno premaknjeni za 3 m po položaju (X, Y, Z) in 30' za kotne vrednosti (nagib, naklon, zasuk). Začetne vrednosti ZO Ujemanje Popolnost Pravilnost iteracija 1 2 3 1 2 3 Popravljene 0,75 0,75 0,75 0,90 0,90 0,90 Premaknjene 0,73 0,74 0,74 0,87 0,87 0,90 Preglednica 3: Povprečna popolnost in pravilnost algoritma za ujemanje. Vzorec 95 posnetkov, ujemanje je iskano v treh iteracijah za popravljene in premaknjene parametre ZO (Avbelj et. al, 2010). Kakovost algoritma za ujemanje, podana s parametroma popolnosti in pravilnosti ujemanja, je visoka (preglednica 3). Za popravljene parametre ZO se popolnost in pravilnost algoritma za ujemanje ne zvišuje z iteracijami, saj so popravljeni parametri zelo blizu pravim vrednostim. Pri projekciji modela s premaknjenimi parametri ZO se popolnost in pravilnost ujemanja zaznanih točk z modelom povečujeta s številom iteracij. -äS- Q 3.5 Razprava S podrobno študijo smo pokazali, da je izboljšanje parametrov zunanje orientacije s postopkom ujemanja zaznanih presečiščnih točk in projiciranega 3D-modela stavb učinkovito. Zaradi poševnega kota gledanja kamere so nekateri objekti na tleh in spodnji robovi stavb navidezno blizu robovom streh. Posledica tega so nepravilna ujemanja modela z zaznanimi točkami, kar je bolj očitno pri Förstnerjevih točkah. Förstnerjev operator zazna številne majhne objekte, medtem ko je postopek za določitev presečiščnih točk manj občutljiv za značilne majhne točkaste objekte na posnetku. Ugotovili smo, da mora obravnavana stavba na posnetku ležati v sredini glede na levi in desni rob posnetka ter v območju od spodnjega roba do sredine. Metoda je neučinkovita, če obravnavana zgradba leži ob robovih, posebej izrazito neprimerna je lega ob zgornjem robu posnetka. Iz vpliva relativnega položaja zgradbe na posnetku na učinkovitost metode sklepamo, da parametri NO in distorzije leč pri postopku kalibracije morda niso bili določeni z dovolj visoko natančnostjo ter da je razvita metoda občutljiva za te nenatančnosti. Preizkus metode smo naredili s projekcijo celotnega 3D-modela stavb in dvema podmodeloma v IR-videoposnetek. Za oceno kakovosti metode ujemanja smo projiciran model premaknili glede na ocenjeno pravilno lego in šele nato uporabili metodo ujemanja. Ugotovili smo, da morajo biti začetne vrednosti parametrov ZO znane z natančnostjo položajnih parametrov, boljšo od 4 m, in natančnostjo za kotne vrednosti, boljšo od 0,5°. Z metodologijo, ki smo jo razvili, je mogoče izboljšati položaj in orientacijo snemalne naprave na mobilni platformi za celoten videoposnetek, za vsak trenutek zajema posnetka, pod pogojem, da obravnavana stavba ne leži ob zgornjem robu posnetka. Neskladje projiciranega modela z njegovo podobo na posnetku, ki ga povzroči vibriranje platforme (Kolecki et al., 2010), lahko zmanjšamo in tako izboljšamo tudi določitev položaja teksture IR-posnetka za posamezno zgradbo ali del zgradbe. 4 SKLEP IN NADALJNJE RAZISKAVE V raziskavi obravnavamo popravo parametrov ZO IR-kamere na mobilni platformi z metodami samodejne obdelave podob. Razvita metoda temelji na ujemanju »točke na točko« (angl. point- ^^ to-point matching) grafičnih gradnikov, zaznanih z IR-videoposnetka in 3D-žičnega modela ji^ stavb. Glavni namen opravljene raziskave je razviti metodologijo, ki jo je mogoče razširiti za samodejno določitev tekstur za strehe in fasade stavb iz IR-posnetkov za teksturiranje obstoječih 3D-modelov stavb. I!; Rezultati preizkusa metode za dane podatke in projiciran podmodel, torej pri obravnavi ^^ posamezne stavbe, so obetajoči. Učinkovitost razvite metodologije je več kot 90-odstotna za uporabljene začetne parametre ZO s položajno natančnostjo vsaj 4 m in natančnostjo kotnih I? vrednosti vsaj 0,5°. Parametra kakovosti, to je popolnost in pravilnost zaznanih presečiščnih točk, sta 88 % oziroma 75 %. Popolnost ujemanja modela s presečiščnimi točkami ocenjujemo na 73 % za iterativen postopek ujemanja, pravilnost ujemanja pa na več kot 90 %. Vendar ugotavljamo, da dana metoda ni učinkovita, če obravnavamo celoten model hkrati. Mogoči vzroki za to so: ^^ zaznava grafičnih gradnikov s premajhno natančnostjo, ločljivost IR-posnetkov in lastnosti IR- I |5 spektra, distorzije leč, nezadostna natančnost parametrov ZO ter vpliv poševnega pogleda kamere. is Pri preizkusu smo opazili pomanjkljivosti metodologije in uporabljenih vhodnih podatkov, zlasti 3D-modela stavb, na primer večkratno pojavljanje istega roba v modelu. Nepravilnosti uporabljenega 3D-modela so podrobneje opisane v Iwaszczuk et al. (2010). Za nadaljnje raziskave in izboljšanje metodologije v nadaljevanju predlagamo nekaj možnosti. Izračun presečiščnih točk IT iz zaznanih ravnih robov, kot smo ga predlagali, lahko izboljšamo s spremembo oblike krožnega ^^ območja iskanja. In sicer, z območjem iskanja v obliki elipse ali pravokotnika utežimo vpliv določenih mejnih vrednosti za najmanjši in največji dovoljen presečiščni kot ter oddaljenost med obravnavanima daljicama. Dodatno lahko zaznane daljice klasificiramo v razrede glede na dolžino in jim glede na razred, ki mu pripadajo, določimo ustrezno utež v matriki uteži za izravnavo po MNK (daljše daljice imajo večjo utež). Ujemanje med zaznanimi grafičnimi gradniki in modelnimi točkami lahko dosežemo v več korakih, in sicer najprej na posnetkih z zmanjšano ločljivostjo in nato s polno ločljivostjo, ter s tem povečamo zanesljivost določitve ujemajočih točk in zmanjšamo časovno potratnost izračuna. Določitev parametrov ZO lahko izboljšamo s povezavo zaznanih grafičnih gradnikov med posnetki. Namesto izravnave po metodi najmanjših kvadratov lahko uporabimo metodo RANSAC (Fischler in Bolles, 1981), s čimer se izognemo velikemu vplivu grobo pogrešenih opazovanj na izravnavo parametrov ZO. Zahvala Vse uporabljene podatke in programsko opremo je omogočila Katedra za fotogrametrijo in daljinsko zaznavanje Tehniške Univerze München (Fachgebiet Photogrammetrie und Fernerkundung, Technische Universität München). Uporabljene IR-posnetke so priskrbeli v podjetju FGAN-FOM, Ettlinger. Od oktobra 2009 do konca maja 2010 - v času te raziskave - je bila Janja Avbelj štipendistka Sklada dr. Otta Likarja, dipl. inž., in Karle Likar na TUM. Literatura in viri: Albert,!., Bachmann, M., Helimeier, A. (2003). Zielgruppen und Anwendungen für Digitale Stadtmodelle und Digitale Geländemodelle. Erhebungen im Rahmen der SIG 3D der GDI NRW. Institut für Geodäsie und Geoinformation, Universität Bonn, Germany. http://www.ikg.uni-bonn.de/fileadmin/sig3d/pdf/Tabelle_Anwendungen_Zielgruppen.pdf. (dostop: 9. 6.2010). Avbelj,!., Iwaszczuk D., Stilla, U. (2010). Matching of 3D wire-frame building models with image features from infrared video sequences taken by helicopters or UAVs. V: ISPRS Commission III symposium on Photogrammetric Computer Vision and Image Analysis, Pariz, Francija, 1.-3. september 2010:6 str. Avbelj, I. (2010). Co-registration of three-dimensional building models with image features from infrared video sequences. Diplomska, naloga. Ljubljana: Fakulteta, za. gradbeništvo in geodezijo, Oddelek za geodezijo. Ding, M., Lyngbaek, K., Zakhor, A. (2008). Automatic registration of aerial imagery with untextured3D LiDAR models. V: Proceedings of the 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition CVPR, Anchorage, Alaska, June 2008:6 str. Direktiva 2010/31/EU Evropskega parlamenta in Sveta, z dne 19. maja. 2010. (2010). Energetska učinkovitost stavb (prenova). http://eur-lex.europa.eu/I0Html.do?uri=0I:L:2010:153:S0M:EN:HTML (dostop: 7. 6.2010). Fischler, M. A., Bolles, R. C. (1981). Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM 24(6), 381-395. Förstner, W. (1994). A framework for low level feature extraction. V: Computer Vision - ECCV94, 383-394. Förstner, W., Gülch, E. (1987). A Fast Operator for Detection and Precise Location of Distinct Points, Corners and Circular Features. V: Proceedings of the Intercommission Conference on Fast Processing of Photogrammetric Data, Interlaken, 281-305. Frueh, C., Sammon, R., Zakhor, A. (2004). Automated Texture Mapping of 3D City Models With Oblique Aerial ^S Imagery. V: Proceedings of the 2nd International Symposium on 3D Data. Processing, Visualization and Transmission 3DPVT, Thessaloniki, Greece, September2004, 396-403. ! Grewal, M. S., Weill, L. R., Andrews, A. P. (2007). Global Positioning Systems, Inertial Navigation, and Integration. 'S Wiley-Interscience, A John Wiley & Sons, Inc., Publication, 382-424. ^ k Halcon MVTecsoftware(2010). http://www.mvtec.com/halcon/(dostop 23. 3.2010). Hoegner, L., Stilla, U. (2009). Thermal leakage detection on building facades using infrared textures generated by mobile mapping. IEEE V: 2009Joint Urban Remote Sensing Event JURSE2009, Shanghai, China: 6 str. http:// www.bp.com/liveassets/bp_internet/globalbp/globalbp_uk_english/reports_and_publications/statistical_energy_ review_2008/STAGING/local_assets/2009_downloads/statistical_review_of_world_energy_full_report_2009.pdf. (dostop 02.03.2012). Hsu, S., Samarasekera, S., Kumar, R., Sawhney H. S. (2000). Pose estimation, model refinement, and enhanced visualization using video. V: IEEE Proceedings of Computer Vision and Pattern Recognition CVPR00, Hilton Head, South Carolina, 488-495. ISO/TC 163 (2010). International Organization for Standardization, Technical committee 163: Thermal performance and energy use in the built environment. http://isotc.iso.org/livelink/livelink/open/tc163 (dostop 7. 6. 2010). Iwaszczuk, D., Avbelj, J, Stilla, U. (2010). Matching von 3D Gebäudemodellen mit Wärmebildern einer flugzeuggetragenen IR-Kamera. V: 3-Ländertagung DGPF - OVG - SGPBF, Technische Universität Wien, 1. -3. julij 2010, 8 str. Kajfež-Bogataj, L. 2005. Climate change impacts on quality of human live = Podnebne spremembe in njihovi vplivi na kakovost življenja ljudi. Acta, agriculturae Slovenica (Slovenia), 85, 41-54. Kolecki, j., Iwaszczuk, D., Stilla, U. (2010). Calibration of an IR camera, system for automatic texturing of 3D building models by direct geo-referenced images. V: Proceedings of Calibration and Orientation Workshop EuroCOW. Castelldefels, Spain February 2010:6 str. Lee, S. C., Jung, S. K., Nevatia, R. (2002). Automatic Pose Estimation of Complex 3D Building Models. V: Sixth IEEE Computer Society Workshop on Applications of Computer Vision WCAV, 3.-4. December2002, Orlando, Florida, 148-152. OpenGIS City Geography Markup Language (CityGML) (2008). Encoding Standard, Open Geospatial Consortium (OGC). http://www.opengeospatial.org/standards/citygml(dostop 20. 8.2008). Oštir, K. (2006.) Daljinsko zaznavanje. Ljubljana, Založba ZRC: 250 str. Statistical Review of World Energy2009, British Petroleum June 2010 (2010). http://www.bp.com/liveassets/ jl] bp_internet/globalbp/globalbp_uk_english/reports_and_publications/statistical_energy_review_2008/STAGING/ local_assets/2009_downloads/statistical_review_of_world_energy_full_report_2009.pdf (dostop 2.3.2012). ^^ Stilla, U., Soergel, U., Jaeger, K. 2000. Generation of 3D-city models and their utilization in image sequences. V: International archives of photogrammetry and remote sensing, 33, part B2, 518-524. Stilla, U., Kolecki J., Hoegner, L. 2009. Texture mapping of 3D building models with oblique direct geo-referenced J^^ airborne IR image sequences. V: ISPRS Hannover Workshop 2009: High-resolution earth Imaging for geospatial ^^ information, 38, 1-4-7/W5:6 str. Tian, Y., Gerke, M., Vosselman, G., Zhu, Q. (2008). Automatic Edge Matching Across an Image Sequence Based on ^^ Reliable Points. V: Chen J., (ur.), Jiang J., (ur.), Förstner W., (ur.). The International Archives of the Photogrammetry, Ja Remote Sensing and Spatial Information Science, Beijing, 657-662. "f^, Weng, Q. 2009. Thermal infrared remote sensing for urban climate and environmental studies: Methods, applications, :^ and trends. ISPRS Journal of Photogrammetry and Remote Sensing, 64, 4, 335-344. s$ C3 —' is IT CS Prispelo v objavo: 20. november 2010 Sprejeto: 4. marec 2012 Janja. Avbelj, univ dipl. inž. grad. in univ dipl. inž. geod. FGG - Oddelek za geodezijo, Jamova 2, SI-1000 Ljubljana Technische Universitaet Muenchen, Photogrammetry and Remote Sensing, Arcisstrasse 21, D-80333 Muenchen, Germany e-pošta: janja.avbelj®bv. tum.de Dorota Iwaszczuk, M.Sc. (mgr-inz.) Technische Universitaet Muenchen, Photogrammetry and Remote Sensing, Arcisstrasse 21, D-80333 Muenchen, Germany e-pošta: iwaszczuk@bv.tum.de ik tni ts ev o Prof. Dr.-Ing. Uwe Stilla Technische Universitaet Muenchen, Photogrammetry and Remote Sensing, Arcisstrasse 21, 80333 Muenchen, Germany e-pošta: :stilla@tum.de izr. prof. dr. Krištof Oštir, univ. dipl. fizik Znanstvenoraziskovalni center SAZU, Novi trg 2, SI-1000 Ljubljana e-pošta: kristof@zrc-sazu.si