Elektrotehniški vestnik 80(3): 92-97, 2013 Izvirni znanstveni (članek Zlivanje informacij za zanesljivo in robustno razpoznavanje obrazov Vitomir Štruc1, Jerneja Žganec-Gros2, Nikola Pavešic1, Simon Dobrišek1 1 Univerza v Ljubljani Fakulteta za elektrotehniko Tržaška 25, SI-1000 Ljubljana, Slovenija 2Alpineon d.o.o., Ulica Iga Grudna 15, SI-1000 Ljubjana, Slovenija E-pošta: vitomir.struc@fe.uni-lj.si Povzetek. Obstoječi postopki biometričnega razpoznavanja obrazov so že dosegli raven, ko jih je mogoče uporabiti v različnih aplikacijah, ki pri svojem delovanju zagotavljajo nadzorovane razmere za zajem vhodnih slik. Žal ti postopki v nenadzorovanih razmerah, kjer se srečajo s spremenljivimi svetlobnimi razmerami, različnimi zornimi koti opazovanja obraza ali spremenljivo obrazno mimiko, še vedno ne dosegajo želenih rezultatov. V članku predstavljamo nov pristop k razpoznavanju obrazov, ki je namenjen razpoznavanju v prav teh nenadzorovanih razmerah. Predlagani pristop temelji na ideji zlivanja informačij, pri čemer so viri informačij različni barvni prostori, v katerih je mogoče predstaviti slike obrazov, različni prostori značilk ipd. Predlagani pristop smo nedavno uvrstili na seznam udeleženčev mednarodnega tekmovanja v razpoznavanju obrazov, ki je potekalo v okviru IAPR konferenče o biometriji. Naš pristop je dosegel najboljši skupni rezultat razpoznavanja med vsemi udeleženči tekmovanja. V članku tako predstavljamo osnovne značilnosti našega pristopa, povzemamo rezultate tekmovanja in predstavimo nekaj (za širšo raziskovalno srenjo) zanimivih ugotovitev, do katerih smo prišli pri svojem razvojno-raziskovalnem delu. Ključne besede: razpoznavanje obrazov, zlivanje informačij, tekmovanje v razpoznavanju obrazov, robustno razpoznavanje Information fusion for robust and reliable face recognition The existing face recognition technology has reached a performance level where it is possible to deploy it in various applications providing they are capable of ensuring controlled conditions for the image acquisition procedure. However, the technology still struggles with its recognition performance when deployed in uncontrolled and unconstrained conditions. In this paper, we present a novel approach to face recognition designed specifically for these challenging conditions. The proposed approach exploits information fusion to achieve robustness. In the first step, the approach crops the facial region from each input image in three different ways. It then maps each of the three crops into one of four color representations and finally extracts several feature types from each of the twelve facial representations. The described procedure results in a total of thirty facial representations that are combined at the matching score level using a fusion approach based on linear logistic regression (LLR) to arrive at a robust decision regarding the identity of the subject depicted in the input face image. The presented approach was enlisted as a representative of the University of Ljubljana and Alpineon d.o.o. to the 2013 face-recognition competition that was held in conjunction with the IAPR International Conference on Biometrics and achieved the best overall recognition results among all competition participants. Here, we describe the basic characteristics of the approach, elaborate on the results of the competition and, most importantly, present some interesting findings made during our development work that are also of relevance to the research community working in the field of face recognition. Prejet 3. julij, 2013 Odobren 9. september, 2013 1 Uvod Kljub izjemnim napredkom, ki smo jim bili priča na področju samodejnega razpoznavanja obrazov v zadnjih desetletjih, obstoječa tehnologija še vedno ne zagotavlja zanesljivega razpoznavanja obrazov v nenadzorovanih okoljih. Uspešnost razpoznavanja v teh okoljih namreč še vedno bistveno zaostaja za uspešnostjo, ki jo je mogoče doseči v nadzorovanih razmerah. Kot glavni razlog lahko navedemo variabilnost vhodnih podatkov (slik obrazov) zaradi različnih svetlobnih razmer, mimike obraza ali zornega kota opazovanja obraza, ki je v nenadzorovanih razmerah bistveno večja od variabilnosti v nadzorovanih okoljih. Z namenom izboljšanja delovanja obstoječih postopkov razpoznavanja obrazov tudi v najzahtevnejših razmerah raziskovalči tipično uporabljajo enega od dveh pristopov. Pri prvem poskušajo iz dane vhodne slike obraza izluščiti kar se da nespremenljive, a hkrati še vedno dovolj diskriminatorne značilke, ki jih je mogoče uporabiti v navezi z robustnimi razvrščevalniki. Tako želijo zagotoviti robustnost razvitih postopkov na spremembe videza obraza na sliki, ki nastajajo zaradi sprememb v zunanji osvetlitvi, spremenljivem zornem kotu pri zajemu slike obraza ali spremenljivi obrazni mimiki. Primeri takšnih postopkov so med drugim predstavljeni v [1], [2] ali [3]. Pri drugem pristopu k robustnemu razpoznavanju obrazov raziskovalči poskušajo združiti (oz. zliti) različne predstavitve obraza in s tem Podatki za normiranje podobnost Viri informaci Vhodna slika L^ Iskanje značilnih delov m m Registracija Slika 1: Poenostavljena shema predlaganega postopka upoštevati različne vire komplementarnih informacij za dosego učinkovitega razpoznavanja v zahtevnih razmerah. Primeri postopkov, ki temeljijo na tem pristopu, so predstavljeni v [4], [5] in [6]. V članku predstavimo nov pristop k razpoznavanju obrazov, ki ga lahko uvrstimo v skupino postopkov, ki robustno razpoznavanje dosežejo z zlivanjem informacij. Predstavljeni pristop iz vhodne slike obraza izlušči trideset različnih predstavitev, ki jih ločeno uporabi za izračun podobnosti z ustreznimi predstavitvami dane biometrične predloge (angl. template). Dobljene mere podobnosti nato združi na ravni mer podobnosti s postopkom za zlivanje informacij, ki temelji na linearni logistični regresiji (LLR). Na tem mestu velja poudariti, da smo se s predstavljenim pristopom udeležili tekmovanja v razpoznavanju obrazov, ki je potekalo v okviru priznane mednarodne IAPR konference o biometriji [7], Tekmovanje je temeljilo na podatkovni zbirki MOBIO [8], ki vsebuje slike obrazov, zajete z različnimi mobilnimi napravami v izrazito nenadzorovanih razmerah. Naš pristop je dosegel najboljši skupni rezultat razpoznavanja med vsemi udeleženci, hkrati pa je pokazal tudi izjemno robustnost pri svojem delovanju. V nadaljevanju želimo predstaviti pristop, s katerim smo se udeležili tekmovanja, in poudariti najpomembnejše ugotovitve in sklepe, do katerih smo prišli pri svojem razvojno-raziskovalnem delu. Preostanek besedila je strukturiran takole: v drugem razdelku predstavimo svoj pristop k robustnemu razpoznavanju, ki temelji na zlivanju informacij. Pri tem opis pristopa nekoliko prilagodimo specifikam tekmovanja v razpoznavanju obrazov. V tretjem razdelku opišemo rezultate našega razvojnega dela in predstavimo najpo- membnejše ugotovitve in sklepe. Hkrati na tem mestu povzamemo še potek tekmovanja in pokažemo nekaj kvantitativnih rezultatov. Članek zaključimo v četrtem poglavju z nekaj dodatnimi komentarji. 2 Predlagana metodologija 2.1 Pregled Preden se posvetimo predstavitvi predlaganega postopka, poudarimo, da so organizatorji tekmovanja v razpoznavanju obrazov skupaj z zbirko MOBIO zagotovili tudi sezname koordinat oči za vse slike zbirke. Zato se pri razvoju našega postopka nismo ukvarjali s postopki detekcije obraza in lokalizacije oči. Poenostavljena shema predlaganega postopka je prikazana na sliki 1. Kot lahko vidimo, postopek v prvem koraku na podlagi ročno označenih koordinat oči in samodejno določene lege ust na vhodni sliki obraza izvede postopek geometrijskega normiranja. Postopku normiranja sledi izrezovanje ožjega obraznega področja, ki v okviru našega postopka privede do: i) ozkega izreza, v katerem je zajeto zgolj ožje obrazno področje brez spremenljivih delov, kot so lasje, vrat ali ozadje, ii) normalnega izreza, kjer je zajeto ožje obrazno področje skupaj s konturami obraza in manjšimi deli las oz. ozadja, in iii) širokega izreza, kjer je zajeto širše obrazno področje skupaj z večjim delom las in konturami obraza. Vsak od treh izrezov se nato predstavi z barvnimi komponentami YCbCr barvnega prostora, pri čemer se na podlagi svetilnosti Y s pomočjo posebnega postopka svetlobnega normiranja [9] pridela še četrta "barvna" komponenta, ki jo bomo v nadaljevanju označevali s Pn. Rezultat do zdaj predstavljenega postopka je dvanajst Slika 2: Geometrijsko normiranje: ilustracija postopka (levo), primeri izrezanih obrazov (desno) različnih predstavitev obraza, ki so hkrati tudi podlaga za proces luščenja značilk. V tem procesu predlagani postopek iz vseh dvanajstih predstavitev izračuna različne deskriptorje oz. značilke, vsem dobljenim vektorjem značilk pa nato še zmanjša razsežnost s pomočjo analize glavnih komponent (angl. prinčipal čomponent analysis - PCA). V zadnjem koraku se vsi izračunani vektorji značilk vhodne slike ločeno primerjajo z ustreznimi vektorji značilk čiljne identitete, dobljene mere podobnosti se normirajo s postopkom zt-normiranja in na konču združijo s postopkom časovnega zlivanja [10], nedavno predlaganim pristopom k zlivanju informačij. 2.2 Predobdelava slik Kot smo omenili že v prejšnjem razdelku, obsega postopek predobdelave slik v našem primeru dve ločeni nalogi: detekčijo lege ust v sliki in geometrijsko normiranje obraznega področja. Prvo nalogo smo v našem postopku razpoznavanja rešili s pomočjo namenskega algoritma, ki ga je v svoji doktorski disertačiji razvil Pozne [11]. Z algoritmom smo dosegli prečej dobre rezultate, saj je na naši testni množiči kljub zahtevnosti razmer zagotovil, da je najdena y-koordinata ust od referenčne odstopala za zgolj ±5 slikovnih elementov v kar 99, 8% primerov testnih slik. Na podlagi ročno označenih koordinat oči in samodejno določene y-koordinate ust smo rešili še drugo nalogo, geometrijsko normiranje obraznega področja. Ilustračija postopka geometrijskega normiranja je prikazana na sliki 2 levo. Obraz se torej najprej zavrti tako, da je daljiča, ki povezuje središča obeh oči, v vodoravni legi. Na poravnani sliki se nato določijo meje obraza v skladu z medočesno razdaljo, slikovno področje obraza pa se normira na standardno velikost 128 x 128 slikovnih elementov. Pri tem je treba določiti vrednosti štirih koe-fičientov (ki, k2, k3, k4), ki določajo velikost izrezanega obraznega področja. V našem primeru smo vrednosti koefičientov določili na podlagi preteklih izkušenj, in sičer: k1 = k2 = 0,8, k3 = 0,4, k4 =0, 3 za ozek izrez, k1 = k2 = 1,0, k3 =0,6, k4 =0,7 za normalni izrez in k1 = k2 = 1,25, k3 = 1,0, k4 = 1,0 za širok izrez. Nekaj primerov tako izrezanih obraznih področij je prikazanih tudi na sliki 2 desno. 2.3 Viri informacij Po postopku predobdelave je vhodna slika obraza predstavljena na tri načine: z ozkim, normalnim in Slika 3: Predstavitev obraznega področja z barvnimi komponentami (od leve proti desni): Y, Cb, Cr in Pn Tabela 1: Izračun značilk iz barvnih komponent Y Cb Cr Pn Svetilnosti • • • • Ampl. odzivi Gaborjevih filtrov • - - • Krajevni dvojiški vzorči (LBP) • • • • širokim izrezom obraza. Ker želimo v okviru našega postopka uporabiti čim več diskriminatorne informačije, izreze pretvorimo iz vhodnega RGB barvnega prostora v kromatski YCbCr barvni prostor, ki se je v preteklosti že izkazal za primernega pri razpoznavanju obrazov [12]. Vsakega od treh obraznih izrezov tako predstavimo s tremi barvnimi komponentami izbranega barvnega prostora. Se več, komponento svetilnosti slike Y obdelamo s postopkom svetlobnega normiranja iz [9] in rezultat normiranja Pn uporabimo kot našo četrto "barvno" komponento. Rezultat opisanega postopka je dvanajst "barvnih" predstavitev obraznega področja (3 izrezi x 4 barvne komponente), ki so osnova za pročes luščenja značilk (glej sliko 3). V pročesu luščenja značilk iz vsake od dvanajstih "barvnih" predstavitev obraznega področja izračunamo/izpeljemo vrsto značilk, kot so amplitudni odzivi Gaborjevih filtrov [13], krajevni dvojiški vzorči (angl. Ločal Binary Patterns - LBP) [14] ali surove svetilnosti slikovnih elementov slike. Na tem mestu velja poudariti, da vse tri vrste značilk določimo zgolj iz sivih in svetlobno normiranih izrezov obraza (Y in Pn), medtem ko pri kromatskih komponentah Cr in Cb uporabimo le svetilnosti izreza in značilke LBP (glej tudi sliko 1). Za vsakega od treh vrst izrezov obraza torej določimo deset različnih prostorov značilk, kot je povzeto tudi v tabeli 1. Zadnji korak pročesa luščenja značilk je projek-čija v PCA podprostor, s katero zmanjšamo razsežnost izluščenih vektorjev značilk. 2.4 Izračun podobnosti, normiranje podobnosti in zlivanje informacij Vsak od tridesetih vektorjev značilk, izluščen iz vhodne slike obraza na podlagi postopka, predstavljenega v prejšnjem razdelku, se uporabi neodvisno od vseh drugih v postopku izračuna mere podobnosti. V tem postopku se značilke, izluščene iz vhodne slike, primerjajo z značilkami, ki pripadajo domnevni identiteti uporabnika na vhodu.* Rezultat primerjanja je trideset * Poudarimo, da smo predstavljeni postopek preizkušali v verifika-čijskem načinu delovanja. —Siva slika - PCA, normalni, mahcos ™PN - PCA, normalni, mahcos -Cr - PCA, normalni, mahcos Cb - PCA, normalni, mahcos "Zlivanje - PCA, normalni, mahcos " Siva slika - PCA, sirok, mahcos "Zlivanje - PCA, mahcos 0 2 Gabor na sivi sliki- PCA, n 01 | ^"Zlivanje - PCA, mahcos 0.10.2 0.5 1 2 5 10 20 40 Verjetnost napake napačnega sprejema (v %) (c) Zlivanje po vrsti znacilk (a) Barvne komponente (b) Izrezovanje obraza (b) Izbira značilk Slika 4: DET-krivulje naših poizkusov. Rezultati prikazujejo vpliv uporabe barvne informačije, načina izrezovanja obrazov, izbire vrste značilk in zlivanja postopkov v odvisnosti od vrste značilk na uspešnost razpoznavanja 4U 40 4U 2U 20 2U U.1U.2 U.5 1 2 5 1U 2U 4U Verjetnost napake napačnega sprejema (v %) 0.10.2 0.5 1 2 5 10 20 40 Verjetnost napake napačnega sprejema (v %) U.1U.2 U.5 1 2 5 1U 2U 4U Verjetnost napake napačnega sprejema (v %) mer podobnosti, izračunanih na osnovi Mahalanobis-kosinusne mere podobnosti (mahcos). Vseh trideset mer podobnosti se normira s pomočjo zt--normiranja [15] in na koncu zlije v skupno mero podobnosti s pomočjo časovnega zlivanja informacij iz [10] (angl. temporal fusion). 3 Preverjanje delovanja in RAZPRAVA Vse preizkuse predstavljenega postopka smo izvajali na podatkovni zbirki MOBIO [8]. Slike v zbirki so bile zajete v izrazito nenadzorovanih razmerah z različnimi mobilnimi napravami, kot so mobilni telefoni in prenosni računalniki. V skladu z eksperimentalnim protokolom tekmovanja smo slike zbirke razdelili v tri ločene mno-žiče: i) učno množico, ki smo jo uporabili v učnih postopkih našega pristopa (npr. učenje PCA transforma-čijskih matrik) in za namene normiranja mer podobnosti; ii) razvojno množico, ki smo jo namenili optimizačiji odprtih parametrov (kot je razsežnost PCA podprostorov, parametri postopka zlivanja ipd.) našega pristopa; in iii) testno množico, na podlagi katere so organizatorji tekmovanja generirali primerjalne kvantitativne rezultate tekmovanja. Poudariti velja, da smo informačije o identiteti oseb na slikah imeli na voljo le za učno in razvojno množičo slik, za testno množičo slik pa teh podatkov nismo imeli. Primerjalne rezultate razpoznavanja med udeleženči tekmovanja na tej množiči so torej generirali organizatorji tekmovanja. Preizkuse delovanja smo v okviru tekmovanja izvajali ločeno na slikah, ki pripadajo ženskam, in slikah, ki pripadajo moškim. Skupaj smo izvedli okrog 95.000 poskusov verifikačije (pristnih in lažnih) na razvojni množiči in nekje 190.000 poskusov verifikačije (pristnih in lažnih) na testni množiči. Omenimo še, da smo med razvojnim delom, kjer smo uporabljali zgolj učno in razvojno množičo zbirke MOBIO, poizkuse za ženske in moške izvajali združeno, ločene eksperimente pa smo izvedli zgolj na testni množiči. Za merjenje učinkovitosti našega pristopa smo uporabili klasične mere napak sistemov za biometrično verifi-kačijo: delež napačnih sprejemov (angl. false aččeptanče rate - FAR) in delež napačnih zavrnitev (angl. false as ® 40 20 10 5 2 1 0.5 0.2 0.1 Zlivanje informacij " Referencni sistem - IDIAP 0.10.2 0.5 1 2 5 10 20 40 Verjetnost napake napačnega sprejema (v %) Slika 5: Primerjalne DET-krivulje med predlaganim postopkom zlivanja informacij in referenčnim sistemom rejection rate - FRR). Poudarimo, da obe meri napak predstavljata funkciji tako imenovanega odločitvenega praga in sta torej odvisni druga od druge. Poskus zmanjšanja ene vrste napake privede do povečanja druge in obratno. Na podlagi mer FAR in FRR smo pri preizkusih na razvojni množici generirali DET-krivulje (angl. detection error trade-off curves), ki prikazujejo funkcijsko odvisnost med FRR in FAR pri razlicnih vrednostih odlocitvenega praga. Organizatorji tekmovanja pa so na podlagi teh mer generirali tudi Ro(-krivulje (angl. reci-ever operating characteristic curves) za testno množico, ki prikazujejo odvisnost deleža pravilnih sprejemov (t. j., 1-FRR) in FAR pri razlicnih vrednostih odlocitvenega praga. Kot kvantitativne mere ucinkovitosti smo pri naših preizkusih izracunavali tudi vrednosti napak v dolocenih operacijskih tockah krivulj DET in ROC. Tako smo za poizkuse na razvojni množici dolocali še mero enakosti napak (angl. equal error rate - EER), ki je definirana kot povprecna napaka med FAR in FRR pri odlocitvenem pragu, ki zagotavlja FAR=FRR na razvojni množici. Na testni množici pa so organizatorji tekmovanja izracunavali polovicno skupno napako verifikacije (angl. half total error rate - HTER), ki je prav tako definirana kot povprecna napaka med FAR in FRR tudi tokrat pri odlocitvenem pragu, ki zagotavlja EER na razvojni množici. Napaka HTER torej nekako Tabela 2: Povzetek sodelujočih institucij Institucija (naziv v tujem jeziku) Oznaka Država Uporabljeni pristop Referenčni sistem Baseline Šviča PCA+LDA Centre de Développement des Technologies Avancées CDTA Alžirija LBP značilke University of Campinas - Harvard University UC-HU Brazilija - ZDA Hierarhična konvolučijska nevronska mreža Tempere University of Technology TUT Finska Histogrami LBP-jev Gaborjevih značilk Idiap Research Institute Idiap Šviča Gaborjeve značilke + LBP University of Technology Sydney UTS Avstralija Fazne Gaborjeve značilke + kvantizačija faze Galician R&D Center in Advanced Telecommunication GRAD Španija Gaborjeve značilke + POEM CPqD CPqD Brazilija Štiri vrste LBP značilk + SVM Univerza v Ljubljani in Alpineon d.o.o. UNILJ-ALP Slovenija Zlivanje informačij 10 10 10 Delez napačnih sprejemov (a) Testna množica - ženske Slika 6: Primerjalne ROC-krivulje, generirane na testni množici 10 10 10 Delez napačnih sprejemov (b) Testna množica - moški meri umerjenost našega pristopa oz. njegovo sposobnost posploševanja na nevidene podatke. Pri svojem razvojnem delu smo preizkušali vpliv različnih dejavnikov na uspešnost razpoznavanja z našim pristopom, pri čemer smo na tej ravni za vse udejanjene postopke zlivanja informacij uporabili postopek LLR. Rezultati teh preizkusov so prikazani na sliki 4. Kot lahko vidimo na sliki 4(a), različne barvne komponente privedejo do različnih rezultatov razpoznavanja, pri čemer siva slika zagotavlja najboljše posamične rezultate, zlivanje vseh barvnih predstavitev (z LLR) pa zagotovi daleč najboljši rezultat. Podobno lahko opazimo tudi za različne načine izrezovanja obrazov, izbiro značilk in zlivanje postopkov v odvisnosti od uporabljene vrste značilk. V vseh primerih zlivanje informačij privede do bistvenih napredkov v uspešnosti razpoznavanja. Na konču si oglejmo še primerjavo med predlaganim pristopom in referenčnim sistemom tekmovanja, ki ga je zagotovil inštitut Idiap in predstavlja sistem, temelječ na postopku PCA+LDA. Primerjava je prikazana na sliki 5. Kot vidimo, predlagani pristop bistveno izboljša učinkovitost razpoznavanja v primerjavi z referenčnim sistemom. Po končanem razvojnem delu na razvojni množiči zbirke MOBIO smo izračunali še mere podobnosti za testno množičo zbirke in jih posredovali organizatorju, daje lahko generiral ROC-krivulje in kvantitativne mere napak razpoznavanja. Podoben postopek pa je izvedlo še sedem drugih institučij, ki so sodelovale v tekmovanju. Kratek povzetek vseh sodelujočih institučij, skupaj z državo porekla in osnovnimi značilnostmi uporabljenega pristopa razpoznavanja, je predstavljen v tabeli 2. Rezultati tekmovanja so v obliki ROC-krivulj, proizvedenih na testni množiči zbirke MOBIO, prikazani na sliki 6. Kvantitativne mere napak razpoznavanja tako za razvojno kot tudi za testno množičo slik pa so ločeno za slike žensk (označeno z f) in moških (označeno z m) povzeti v tabeli 3. Ce se za trenutek osredotočimo zgolj na kvantitativne rezultate, opazimo, da je naš pristop dosegel daleč najboljši rezultat razpoznavanja na razvojni množiči slik. Na testni množiči je prav tako dosegel najboljše rezultate za slike žensk in drugi najboljši rezultat razpoznavanja na testne slike moških. Ce si ogledamo ROC-krivulje na sliki 6 pa lahko hitro vidimo, da je naš pristop najučinkovitejši tako za moške kot za ženske slike testne množiče prek večine operačijskih točk ROC-krivulj. Do zanimive ugotovitve pridemo, če primerjamo rezultate, dobljene na razvojni in testni množiči slik zbirke MOBIO. Vsi preizkušeni pristopi so dosegli bistveno Tabela 3: Rezultati na testni množici (vzeti iz [7]) Institucija EER/ HTER/ EERm HTERm Baseline 14.7 % 20.9 % 14.8 % 17.1 % CDTA 10.7 % 28.5 % 7.7 % 11.9 % UC-HU 4.7 % 10.8 % 3.5 % 6.2 % TUT 8.6 % 13.9 % 7.3 % 11.5 % IDIAP 6.2 % 12.5 % 6.6 % 10.3 % UTS 7.5 % 13.6 % 6.1 % 12.0 % GRAD 5.4 % 12.3 % 3.1 % 9.5 % CPqD 6.3 % 11.2 % 5.5 % 7.7 % UNILJ-ALP 2.8 % 10.5 % 1.7 % 7.5 % slabši rezultat razpoznavanja na testni množici, kar kaže na dejstvo, da uporabljeni postopki ucenja slabo posplošujejo na nevidene podatke. Pojav je posebej izrazit pri našem pristopu, kar kaže na dejstvo, da bi s preprostejšim postopkom zlivanja informacij lahko dosegli celo boljše rezultate razpoznavanja na testni množici. 4 SKLEP V Članku smo predstavili nov pristop k robustnemu razpoznavanju obrazov, ki temelji na zlivanju informacij. Pokazali smo vpliv uporabe barvne informacije na uspešnost razpoznavanja, ilustrirali pomen izbire pravilne vrste obraznih znacilk ter poudarili doprinos, ki ga lahko postopek zlivanja informacij ima na robustnost razpoznavanja obrazov. Prav tako smo predstavili rezultate nedavnega tekmovanja iz razpoznavanja obrazov, kjer je postopek, opisan v clanku, dosegel najboljši skupni rezultat razpoznavanja. Zahvala Raziskave, predstavljene v prispevku, so omogocili raziskovalni program P2-0250(C): Metrologija in biome-tricni sistemi, podoktorski projekt BAMBI (ARRS šifra Z2-4214), Evropska unija skozi Evropski sklad za regionalni razvoj v okviru operativnega programa krepitve regionalnih razvojnih potencialov za 2007-2013, pogodba št. 3211-10-000467 (kompetencni center KC Class) in sedmi okvirni program Evropske unije (FP7-SEC-2011.20.6) prek pogodbe št. 285582 (RESPECT). LITERATURA [1] J. Wright, A. Yang, A. Ganesh, S. Sastry, and Y. Ma, "Robust Face recognition via sparse representation," IEEE TPAMI, vol. 31, no. 2, pp. 210-227, 2009. [2] M. Yang, L. Zhang, S. Shui, and D. Zhang, "Robust Kernel Representation With Statistical Local Features for Face Recognition," IEEE TNNLS, vol. 24, no. 6, pp. 900-912, 2013. [3] D. Zhang, M. Yang, and X. Feng, "Sparse representation or collaborative representation: Which helps face recognition?" v Proceedings of ICCV. [4] Y. Su, S. Shan, X. Chen, and W. Gao, "Hierarchical Ensemble of Global and Local Classifiers for Face Recognition," IEEE TIP, vol. 18, no. 8, pp. 1885-1896, 2009. [5] X. Tan and B. Triggs, "Enhanced Local Texture Feature Sets for Face Recognition Under Difficult Lighting Conditions," IEEE TIP, vol. 19, no. 6, pp. 1635-1650, 2010. [6] Z. Liu and C. Liu, "Fusing frequency, spatial and color features for face recognition," v Proceedings of the Second IEEE International Conference on Biometrics: Theory, Applications and Systems (BTAS), Arlington, Virginia, USA, 2008, pp. 1-6. [7] M. Günther, A. Costa-Pazo, C. Ding, E. Boutellaa, G. Chia-chia, H. Zhang, M. de Assis Angeloni, V. Struc, E. Khoury, E. Vazquez-Fernandez, D. Tao, M. Bengherabi, D. Cox, S. Ki-ranyaz, T. de Freitas Pereira, J. Zganec-Gros, E. Argones-Rúa, N. Pinto, M. Gabbouj, F. Simoes, S. Dobrisek, D. González-Jiménez, A. Rocha, M. Uliani Neto, N. Pavesic, A. Falcao, R. Vi-olato, and S. Marcel, "The 2013 face recognition evaluation in mobile environment," v The 6th IAPR International Conference on Biometrics, Jun. 2013. [8] C. McCool, S. Marcel, A. Hadid, M. Pietikainen, P. Matejka, J. Cernocky, N. Poh, J. Kittler, A. Larcher, C. Levy, D. Matrouf, J.-F. Bonastre, P. Tresadern, and T. Cootes, "Bi-modal person recognition on a mobile phone: using mobile phone data," v IEEE ICME Workshop on Hot Topics in Mobile Multimedia, 2012. [9] N. Vu and A. Caplier, "Illumination-robust face recognition using retina modeling," v Proc. ofICIP, vol. 1, 2009, pp. 3289-3292. [10] N. Poh, J. Kittler, and F. Alkoot, "A discriminative parametric approach to video-based score-level fusion for biometric authentication," v Proc. of ICPR 2012, vol. 1, 2012, pp. 2335-2338. [11] A. Pozne, "Pridobivanje vizualnih znacilk za samodejno razpoznavanje govora," PhD Thesis, Univerza v Ljubljani, Fakulteta za elektrotehniko, 2005. [12] J. Yang, C. Liu, and J. Yang, "What Kind of Color Spaces Is Suitable for Color Face Recognition?" Neurocomputing, vol. 73, pp. 2140-2146, 2010. [13] V. Štruc and N. Pavešic, "The complete gabor-fisher classifier for robust face recognition," EURASIP JASP, 2010. [14] T. Ahonen, A. Hadid, and M. Pietikainen, "Face recognition with local binary patterns," in In Proc. of ECCV, 2004, pp. 469-481. [15] R. Auckenthaler, M. Careya, and H. Lloyd-Thomas, "Score normalization for text-independent speaker verification systems," DSP, vol. 10, no. 1-3, pp. 42-54, 2000. Vitomir Štruc je diplomiral leta 2005 na Fakulteti za elektrotehniko Univerze v Ljubljani. Na isti fakulteti je leta 2010 tudi doktoriral in leto pozneje za svoje doktorsko delo prejel Vodovnikovo nagrado. Po doktoratu se je zaposlil v podjetju Alpineon razvoj in raziskave, d.o.o., kjer je delal kot razvijalec programske opreme. Trenutno je zaposlen na podoktorskem projektu na Fakulteti za elektrotehniko v Ljubljani. Raziskovalno se ukvarja z razpoznavanjem vzorcev, obdelavo signalov in biometricnimi sistemi. Jerneja Žganec-Gros je leta 1997 doktorirala na Fakulteti za elektrotehniko Univerze v Ljubljani. Trenutno vodi visokotehnološko podjetje Alpineon d.o.o., v okviru katerega se raziskovalno ukvarja s področjem govornih in slikovnih tehnologij. Nikola Pavešic je doktoriral leta 1976 na Fakulteti za elektrotehniko Univerze v Ljubljani. Za doktorsko delo je leta 1976 prejel tudi nagrado Vratislava Bedjanica. Trenutno je zaposlen kot redni profesor na Fakulteti za elektrotehniko v Ljubljani. Podrocje njegovega raziskovalnega dela zajema razpoznavanje vzorcev, obdelavo slik, razpoznavanje, razumevanje govora, teorijo o informacijah in biometricne sisteme. Simon Dobrišek je leta 1990 diplomiral na Fakulteti za elektrotehniko v Ljubljani. Leta 1994 je na isti fakulteti magistriral in leta 2001 še doktoriral na podrocju tehnologij govorjenega jezika. Od leta 1990 je zaposlen na Fakulteti za elektrotehniko v Ljubljani, kjer je trenutno docent na delovnem mestu asistenta. Raziskovalno deluje na podrocju razpoznavanja vzorcev in inteligentnih sistemov. Posebno pozornost namenja samodejnemu razpoznavanju govora in biometricnim nadzornim sistemom. Je avtor ali soavtor vec kot 100 znanstvenih prispevkov na omenjenih podrocjih.