Oznaka poročila:ARRS-RPROJ-ZP-2014/3 ZAKLJUČNO POROČILO RAZISKOVALNEGA PROJEKTA A. PODATKI O RAZISKOVALNEM PROJEKTU 1.Osnovni podatki o raziskovalnem projektu Šifra projekta J2-3607 Naslov projekta Učenje velikega števila vizualnih kategorij objektov za poizvedovanje v slikovnih in video podatkovnih zbirkah Vodja projekta 5896 Aleš Leonardis Tip projekta J Temeljni projekt Obseg raziskovalnih ur 8430 Cenovni razred B Trajanje projekta 05.2010 - 04.2013 Nosilna raziskovalna organizacija 1539 Univerza v Ljubljani, Fakulteta za računalništvo in informatiko Raziskovalne organizacije -soizvajalke Raziskovalno področje po šifrantu ARRS 2 TEHNIKA 2.07 Računalništvo in informatika 2.07.07 Inteligentni sistemi - programska oprema Družbenoekonomski cilj Naravoslovne vede - RiR financiran iz drugih virov (ne iz SUF) Raziskovalno področje po šifrantu FOS 1 Naravoslovne vede 1.02 Računalništvo in informatika B. REZULTATI IN DOSEŽKI RAZISKOVALNEGA PROJEKTA 2.Povzetek raziskovalnega projekta1 SLO V zadnjem desetletju smo priča velikemu povečanju števila in obsega digitalnih slikovnih in video zbirk. Vendar pa je izkoriščenost slikovnih zbirk še daleč pod mejo optimalnosti. Dosedanji pristopi temeljijo pretežno na nizkonivojskih značilnicah in klasifikaciji celotnih slik oz. video segmentov. Taki pristopi so relativno neučinkoviti, pa tudi pogosto neintuitivni za uporabnika, saj interakcijo med strojem in uporabikom ovira t.i. "semantični prepad", torej pomanjkanje smiselnih povezav med nizkonivojskimi značilnicami, kot jih z osnovno obdelavo slike izračuna računalnik, in semantiko slikovne vsebine, kot jo dojema uporabnik. Zato so potrebni novi pristopi, ki z modeliranjem neposredno na nivoju objektov in konteksta premoščajo semantični prepad. V okviru projekta smo razvijali in uporabljali hierahične modele kategorij objektov, ki temeljijo na intuitivni kompozicionalni predstavitvi, za poizvedovanje po slikovnih in video zbirkah. Preliminarno delo v smeri hierarhičnih predstavitev je bilo opravljeno v okviru EU projekta POETICON, kjer smo razvili računske modele za samodejno učenje kompozicionalnih predstavitev za manjše število kategorij objektov. V tem projektu smo nadgradili hierarhično kompozicionalno predstavitev oblike objektov za modeliranje večjega števila vizualnih kategorij. Analizirali smo problem velike stopnje negativnih detekcij v obstoječi hierarhiji in ga naslovili z dvema pristopoma: z geometrijskim preverjanjem oblike in s klasifikacijo histogramljenih značilnic delnih oblik. Algoritme smo pohitrili tako na algoritmični kot implementacijski ravni. S tvorbo taksonomije razredov objektov s principom "coarse-to-fine" (grobofino) smo dosegli algoritmično pohitritev. Implementacijsko pohitritev smo dosegli z implementacijo delov sistema na vzporednih sistemih in vzporednih strojnih arhitekturah. Hierarhične modele smo dodatno izboljšali s pomočjo modeliranja variabilnosti posameznih delnih oblik v hierarhičnem slovarju oblik. Slednja izboljšava še posebej izboljša stopnjo pravilnega opisa in detekcije artikuliranih kategorij objektov. Razvili smo algoritme za sprotno in dolgoročno učenje kategorij v interakciji z uporabnikom ter uporabili naučeno predstavitev za vizualno poizvedovanje v slikovnih in video zbirkah. Razvili smo teoretične pristope in implementacije za sprotno generativno in diskriminativno posodabljanje modelov. Poglavitno delo v projektu je bilo torej usmerjeno k modeliranju in učenju večjega števila vizualnih kategorij objektov s hierarhično predstavitvijo, ki omogoča računsko učinkovito razpoznavo, sprotno učenje objektov ter semantično poizvedovanje po vizualni informaciji. Tak način modeliranja omogoča dolgoročno učenje novih objektov ter samodejno indeksiranje velikega števila kategorij v slikah. Hkrati podpira nove vidike uporabniške interakcije, kot so možnosti semantično usmerjenih povratnozančnih poizvedb, kontekstnih poizvedb in poizvedb na različnih nivojih podrobnosti, ki pa še vedno ohranjajo vez s semantičnim pomenom celote. ANG In the last decade we are witnessing a large increase in the number of digital image and video collections, but utilization of such visual collections is far from optimal. Current approaches are based primarily on low-level features and classification of the whole image or video segments. Such approaches are relative inefficient and are also not intuitive for the user as interaction between the machine and the user is obtruded by the so called "semantic gap", i.e. lack of meaningful connections between low-level features used by the machine and semantic meaning of the image content as perceived by the user. To bridge this gap a novel approaches that are modeled directly at the level of objects and contexts are required. During the project we have developed a hierarchical models for category objects that are based on intuitive compositional representation, and used them for querying visual collections such as images and videos. A preliminary work towards the hierarchical representations has been done during the EU project POETICON where we developed a computational models for automatic learning of compositional representation for smaller number of categories. In this project we have upgraded the hierarchical compositional representation of object shapes for modeling higher number of visual categories. We analyzed the problem of producing many negative detections with the current hierarchy and addressed it with two different approaches: using verification of geometry of shape and using classification with histograming the compositional features. We have performed a speed-up of implementation as well as the algorithm itself. We have achieved algorithmic speed-up by producing a taxonomy of object classes using the coarse-to-fine approach while we achieved speed-up of the implementation by porting the algorithm to the parallel systems and parallel platforms. We additionally improved the hierarchical models by modeling variability of individual part shapes in the hierarchical vocabulary of shapes. This improvement also increases the level of correct shape description and detection of articulated category objects. We have developed an algorithms for incremental and on-line learning of categories in interaction with the user and used the learned representation for visual querying of images and video collections. We have developed theoretical approaches and implementations for on-line updating of generative and discriminative models. Main work of the project was directed towards the modeling and learning large number of visual object categories using the hierarchical representation that enables computationally efficient detection, incremental learning and semantic querying of the visual information. Such modeling enables on-line learning of new objects and automatic indexing of large number of visual objects from the images. Additionally it supports new possibilities for user interactions that support semantically oriented feedback queries, context queries and queries from different levels of details, which still reaming linked with the semantic meaning of the image. 3.Poročilo o realizaciji predloženega programa dela na raziskovalnem projektu2 Skladno s projektnim načrtom smo razvili in implementirali teoretični model za učenje velikega števila vizualnih kategorij objektov, ki omogočajo semantičen zapis za poizvedovanje po velikih slikovnih in video podatkovnih zbirkah: (a) nadgradili smo predstavitev oblike za učinkovito poizvedovanje in učenje, (b) implementirali smo nove teoretične modele za sprotno učenje s povratno uporabnikovo informacijo, (c) načrtali smo uporabniški vmesnik za vizualno poizvedovanje, (d) implementirali smo podporno infrastrukturo in (e) rezultate predstavili širši javnosti. V nadaljevanju bomo podrobneje opisali vsako od področji. V okviru prvega delovnega paketa (DP1) smo analizirali učenje velikega števila kategorij s pristopom hierarhične kompozicionalnosti in indentificirali potencialne pomanjklivosti izhodiščnega algoritma. Pri tem smo ugotovili, da algoritem zaradi svoje generativnosti dopušča preveliko stopnjo variacije oblik oz. deformacije samega modela, kar postane predvsem izrazito na višjih nivojih ( = >4), kjer se problem začne manifestirati v povečanju števila negativnih detekcij. Zaradi tega smo proučili nadgradnjo algoritma z dodatnim postopkov filtracije detekcij. Proučili smo dve možni rešitvi: (i) geometrijsko preverjanje oblike [1] in (ii) klasifikacijo s pomočjo histograma značilnic, ki ga dobimo iz delov oblik na različnih nivojih hierarhije [2, 3]. Metodo [3] smo aplicirali na domeno razpoznavanja prostora z mobilnim robotom [10]. Razvili smo metode za iskanje diskriminativnih delov v hierarhiji oblike, ki bistveno izboljšajo razpoznavanje [9]. Pri preverjanju oblik smo vpeljali geometrijsko informacijo v postopek učenja delov in jo uporabili za iskanje podobnosti med deli slovarja. S tem smo dosegli kompresijo slovarja in posledično izboljšanje natančnosti algoritma. Pri drugi rešitvi smo vpeljali histogram značilnic HoC, ki ga zgradimo iz prostorsko razdeljenih regij slik in delov oblik iz različih nivojev hierahije. Proučili smo različne različice histograma, ki temeljijo na različnih kombinacijah nivojev hierarhije, različnih prostorskih razdelitvah in z uporabo različnih klasifikatorjev (SVM). Kompresirana knjižnica oblik in zapis s pomočjo histogramov nam omogočata tudi učinkovito indeksiranje slik s stališča delnih oblik. Izvedli smo tudi pohitritev algoritma. Slednje smo dosegli z razvojem pristopa, ki zgradi taksonomijo razredov objektov s principom "coarse-to-fine" (grobo-fino) [4] ter s paralelizacijo izvajanja samega algoritma. Paralelizacijo smo izvedli s prenosom algoritma na platformo OpenCL, ki omogoča paralelizacijo tako na več glavnih procesorjih (CPU) kot tudi na grafičnih procesorjih (GPU). Prav tako smo vpeljali paralelizacijo s pomočjo platforme OpenMP [12]. V okviru drugega delovnega paketa (DP2) smo opravili raziskave metod za dolgoročno učenje. Pri tem smo razvili teoretični princip izgradnje generativnih rekonstrukcijskih modelov [5], ki niso omejeni s strogimi predpostavkami in se jih za razliko od predhodne metode [6] da aplicirati na visokodimenzionalne probleme. Predlagali smo algoritem, ki je sposoben učinkovito adaptirati tak model z novimi podatki in sicer v sprotnem načinu. Podrobno smo analizirali občutljivost modela in algoritma za adaptacijo na zaporedje podatkov in ugotovili, da je predlagan algoritem bolj robusten od primerljivih algoritmov. Algoritem odlikuje njegova sposobnost sprotne tvorbe modelov z veliko rekonstrukcijsko učinkovitostjo, hkrati pa modeli ohranjajo nizko kompleksnost. Algoritem za adaptacijo modela smo poenostavili tako, da omogoča hitrejšo adaptacijo kot metode, ki dajejo primerljive rezultate. Poglavitni del metode za sprotno gradnjo rekonstrukcijskih modelov je mehanizem za ohranjanje nizke kompleksnosti modela. Predlagali smo mehanizem, ki omeji kompleksnost modelov preko njihove posplošitve, ob tem pa skrbi, da se ob posplošitvi z rekonstrukcijskega stališča model ne spremeni bistveno. Ker smo novi model razvili iz [6] se nanj direktno aplicira metodologija za adaptacijo z negativnimi primeri iz [6], ki smo jo sedaj prilagodili za večdimenzijske modele [7]. V skladu s potrebami delovnega paketa DP1.2. smo tudi dopolnili algoritem z dodatno geometrijsko informacijo. Naučena informacija o obliki delov slovarja oblik nam dodatno omogoča kompresijo samega slovarja, saj zelo podobnim delom damo v procesu inference enaka imena (indekse), s čimer preprečimo eksplozijo modelov za geometrijsko ekvivalentne oblike. Mera podobnosti delov je povzeta iz [Belongie et al., Shape Matching and Object Recognition Using Shape Contexts] in temelji na energiji, ki je potrebna za deformacijo med dvema oblikama (TPS energy Thin Plate Spline energy). Dodatno smo v povezavi s tem delom raziskav dopolnili učenje slovarja tako, da omogoča natančnejše modeliranje variacij, ki je pomembno predvsem pri detekcijah artikuliranih kategorij [1]. V tretjem delovnem paketu (DP3) smo razvili vizualizacijska orodja za analizo hirarhičnih kompozicionalnih modelov. Razvita orodja obsegajo vizualizacijo drevesne strukture detekcij, vizualizacijo pozameznih delov oblik v slovarju ter orodje za ročni vnos skic in procesiranje video posnetkov, ter ustrezen prikaz rezultatov. Metodo za poizvedovanje na podlagi delnih oblik iz delovnega paketa DP1 smo integrirali v sistem za tekstovno poizvedovanje Apache Lucene, kar omogoča poizvedovanje s povratno informacijo preko vizualizacije. Kot prototipsko napravo za učinkovito interaktivno vizualizacijo smo razvili večdotično mizo [13]. V delovnem paketu (DP4) smo se ukvarjali s podporno infrastrukturo ostalim delovnim paketom. Razvili smo sistem za distribuirano hrambo in procesiranje slik, ki nam nudi skalabilno platformo za preizkušanje algoritmov ter indeksiranje baz slik, po katerih lahko nato hitro poizvedujemo ter se navigiramo. Algoritme smo prilagodili za delovanje v distribuiranem sistemu. Specifično smo uporabili platformi Hadoop in Storm, ki sta glavni tehnologiji primerni za obdelavo velikih količin podatkov (angl., BigData) in omogočata enostavno, hitro in učinkovito dodajanje procesnih elementov v primeru povečanega prometa. Sistem smo implementirali kot aplikacijo "ViCoS-Eye" [11]. Aplikacija omogoča prenos slike (zajem s kamero), na strežniški sistem laboratorija. Ko se slika obdela z razvitim algoritmom, dobi uporabnik informacijo o tem, v katero kategorijo naučenih objektov sodi izbrana slika (oziroma kateri kategoriji je najbližje). Trenutno je dostopnih 101 kategorij iz zbirke CALTECH 101, vendar je možno na enostaven način zbirko zamenjati, oziroma ponuditi uporabniku možnost uporabe več zbirk. Pri spletni aplikaciji dopuščamo tudi možnost povratne uporabniške informacije, s čimer želimo zgraditi zbirko slik, ki jih posredujejo uporabniki. V delovnem paketu (DP5) smo predstavljali rezultate projekta. Sprotne rezultate smo objavljali preko spletne strain projekta http://www.vicos.si/Projects/LeOParts in http://www.vicos.si/Research/LearnedHierarchyOfPartsOverview, preko publikacij na konferencah in v revijah, ter preko vabljenih predavanj članov projektne skupine. Del sistema za vizualno poizvedovanje smo objavili kot spletno storitev (ViCoS-Eye [11]). Storitev je širši javnosti dostopna preko spetne strani http://eye.vicos.si/ ter preko mobilne aplikacije za Android telefone. Storitev omogoča prenos slike (zajem s kamero), na strežniški sistem laboratorija. V projektu razvito večdotično mizo smo prilagodili za razstavo v Tehniškem Muzeju Bistra [13], kjer še vedno deluje kot interaktivni del razstave GoTo80. Izvorno kodo v projektu razvitega splošnega pristopa za sprotno učenje modelov iz toka podatkov smo javno objavili na spletni strani laboratorija ViCoS. Pridobljeno znanje smo širili preko mentoriranja diplomantov, magistrov in enega mladega raziskovalca. Širše smo znanja prenašali preko dodiplomskih predmetov Multimedijski Sistemi, Umetno Zaznavanje (Fakulteta za računalništvo in informatiko) in doktorskega predmeta Strojni Vid (Fakulteta za elektrotehniko). Kot del pobude za razvoj metod slednja artikuliranih objektov in tvorbe učne zbirke videoposnetkov smo pod okriljem conference ICCV 2013 organizirali delavnico VOT 2013. [1] S. Fidler, M. Boben, A. Leonardis, S. Dickinson, "Learning and transferring object class deformations in compositional hierarchies", tehnično poročilo, 2012. [2] D. Tabernik, M. Kristan, M. Boben, A. Leonardis, "Learning statistically relevant edge structure improves lowlevel visual descriptors", ICPR, 2012. [COBISS.SI-ID: 9671508] [3] D. Tabernik, M. Kristan, M. Boben, A. Leonardis, "Increased complexity of lowlevel structures improves histograms of compositions", ERK, 2012. [COBISS.SI-ID: 9670484] [4] S. Fidler, M. Boben, A. Leonardis, "A coarsetofine taxonomy of constellations for fast multiclass object detection", European Conference on Computer Vision (ECCV) 2010. [COBISS.SI-ID: 8255828] [5] M. Kristan, A. Leonardis, in D. Skočaj, "Multivariate Online Kernel Density Estimation with Gaussian Kernels", Pattern Recognition, 2011. [COBISS.SI-ID: 8289876] [6] M. Kristan, D. Skočaj, in A. Leonardis, "Online Kernel Density Estimation For Interactive Learning", Image and Vision Computing, 2010. [COBISS.SI-ID: 7326804] [7] M. Kristan in A. Leonardis, "Online Discriminative Kernel Density Estimation", International Conference on Pattern Recognition, 2010. [COBISS.SI-ID: 8230228] [8] L. Čehovin, M. Kristan, A. Leonardis, Robust Visual Tracking using an Adaptive Coupled-layer Visual Model, IEEE Trans. PAMI, 2012. [COBISS.SI-ID: 9431124] [9] M. Kristan, M. Boben, D. Tabernik, A. Leonardis, "Adding discriminative power to hierarchical compositional models for object class detection", 18th Scandinavian Conference, SCIA 2013. [COBISS.SI-ID: 9952852] [10] P. Uršič, M. Kristan, D. Skočaj, A. Leonardis, "Room classification using a hierarchical representation of space", IROS 2012. [COBISS.SI-ID: 9674068] [11] D. Tabernik, L. Čehovin, M. Kristan, M. Boben, A. Leonardis, "ViCoS Eye a webservice for visual object categorization". The 18th CVWW, 2013. [COBISS.SI-ID: 9672276] 4.Ocena stopnje realizacije programa dela na raziskovalnem projektu in zastavljenih raziskovalnih ciljev3 Ocenjujemo, da so bili cilji projekta v celoti izpolnjeni. V okviru prvega delovnega paketa DP1 smo nadgradili obstoječe teoretične modele in jih izboljšali z vpeljavo geometrijske informacije ter preverjanja detekcij s pomočjo histograma delov z različnih nivojev hierarhije. Realizirali smo pohitritev obstoječih in predlaganih metod z implementacijo na vzporednih platformah (OpenCL,OpenMP), ki omogočajo uporabo tako klasične opreme z obdelavo na CPU kot tudi paralelno strojno opremo (npr., GPU). V okovru drugega delovnega pakatea (DP2) smo realizirali metode za učenje velikega števila vizualnih kategorij z velikih slikovnih in video podatkovnih zbirk. V okviru dolgoročnega učenja kategorij smo razvili verjetnostne rekonstrukcijske modele, ki temeljijo na mešanicah Gaussov. Implementirali smo algoritem za sprotno adaptacijo teh modelov. Realizirali smo vpeljavo diskrimiantivne informacije v učenje velikega števila kategorij. Razširili smo teorijo za generativne modele z vpeljavo omejitev diskriminativne informacije in implementirali algoritem za sprotno posodabljanje diskriminativnih modelov. Implementirali smo metodo za izbiro relevantnih diskriminativnih delov, ki ustreza zahtevam posodabljanja in dodajanja novih kategorij v hierarhijo in omogoča numerično opredelitev podobnosti modelov preko diskriminativnih delov hiearhičnih kategorij. Implementirali smo različne metode za diskriminacijo velikega števila kategorij. Realizirali smo tudi učenje artikuliranih kategorij objektov z uporabo dvonivojske hierarhične reprezentacije objekta za sledenje artikuliranim delom in z možnostjo prenosa deformacij na nove hierarhije. V okviru vizualizacije in interakcije (DP3) smo realizirali zastavljene cilje z razvojem orodja VisView, ki omogoča podrobno vizualizacijo hiearhične kompoziconalnosti ter omogoča vnos slike v obliki skice, ki jo uporabnik nariše z miško ali risalno tablico, ter prikaže povraratno informacijo na ročno izbranih detektiranih modelov. V okviru realizacije interaktivnosti z uporabnikom smo razvili spletno storitev ViCoS-Eye, katere cilj je navigacija po slikovnih in video podatkovnih zbirkah z uporabo informacij o predmetih, ki jih lahko izluščimo iz slike z metodami razvitimi v okviru projekta. Za pripravo spletne storitve ViCoS-Eye smo realizirali tudi infrastrukturne in demonstracijske cilje. Razvite metode smo prilagodili za delovanje v distribuiranem načinu, ki omogoča procesiranje ogromnega števila podatkov z realizacijo na plafromah Hadoop in Storm. Za obdelavo in hrambo večjih količin slik smo razvili tudi distribuiran sistem za učinkovito hranjenje in dostop do slik. Realizirali smo tudi interakcijo z večdotično mizo. Skupaj z uporabo večdotične mize in z implementacijo spletne storitve ViCoS-Eye smo realizirali tudi vse demonstracijske cilje projekta (DP4 in DP5). 5.Utemeljitev morebitnih sprememb programa raziskovalnega projekta oziroma sprememb, povečanja ali zmanjšanja sestave projektne skupine4 Spremembe raziskovalnega projekta niso bile potrebne. 6.Najpomembnejši znanstveni rezultati projektne skupine5 Znanstveni dosežek 1. COBISS ID 8289876 Vir: COBISS.SI Naslov SLO Večdimenzionalno ocenjevanje porazdelitev verjetnosti z Gaussovimi jedri ANG Multivariate online kernel density estimation with Gaussian kernels Predlagali smo nov pristop k sprotnem ocenjevanju generativnih modelov, ki temeljijo na ocenjevanju porazdelitev verjetnosti. Kot teoretični okvir smo izbrali ocenjevanje porazdelitev z jedri (angl, Kernel Density Opis SLO Estimation, KDE). Pristop posodablja in vzdržuje neparametrični model vhodnih podatkov, iz njih pa izračunava KDE. Predlagali smo princip za sprotno ocenjevanje velikosti jeder, ter metodo za kompresijo/revitalizacijo. Rezultati kažejo, da predlagana metoda daje primerljive ali boljše rezultate kot ostale metode, ob tem pa generira modele, katerih kompleksnost je bistveno nižja. ANG We proposed a novel approach to online estimation of generative models, which is based on probability density estimation. As the theoretical framework we use kernel density estimation (KDE). The method maintains and updates a nonparametric model of observed data, from which the KDE can be calculated. We propose an online bandwidth estimation approach and a compression/revitalization scheme. The results show that the online KDE outperforms or achieves a comparable performance to the stateoftheart and produces models with a significantly lower complexity while allowing online adaptation. Objavljeno v Pergamon; Pattern recognition; 2011; Vol. 44, no. 10/11; str. 2630-2642; Impact Factor: 2.292;Srednja vrednost revije / Medium Category Impact Factor: 1.323; A': 1; WoS: EP, IQ; Avtorji / Authors: Kristan Matej, Leonardis Aleš, Skočaj Danijel Tipologija 1.01 Izvirni znanstveni članek 2. COBISS ID 8255828 Vir: COBISS.SI Naslov SLO Taksonomija konstalacijskih modelov za hitro detekcijo objektov v slikah po principu "coarse-to-fine" ANG A coarse-to-fine taxonomy of constellations for fast multi-class object detection Opis SLO Za razpoznavo velikega števila kategorij objektov je potrebno zgraditi taksonomijo vizualnih razredov, da bi dosegli logaritemski čas detekcije v odvisnosti od števila razredov. V tem članku predlagamo nov pristop k pospešitvi razpoznavanja veliko razredov, pri katerem uporabljamo hierarhični pristop reprezentacije objektov. Osrednja ideja je zgraditev konstalacijskih modelov, ki segajo od "grobe" do bolj "fine" resolucije in te modele uporabiti za učinkovito strategijo pregledovanja kandidatov pri detekcijah. Pristop je uporabljen na modelu, ki temelji na hierarhiji delov (hierarchy-of-parts). ANG In order for recognition systems to scale to a larger number of object categories building visual class taxonomies is important to achieve running times logarithmic in the number of classes. In this paper we propose a novel approach for speeding up recognition times of multiclass partbased object representations. The main idea is to construct a taxonomy of constellation models cascaded from coarsetofine resolution and use it in recognition with an efficient search strategy. The approach is utilized on the hierarchy-of-parts model. Objavljeno v Springer; Computer vision - ECCV 2010; Lecture notes in computer science; 2010; Str. 687-700; Avtorji / Authors: Fidler Sanja, Boben Marko, Leonardis Aleš Tipologija 1.01 Izvirni znanstveni članek 3. COBISS ID 10008916 Vir: COBISS.SI Naslov SLO Spletna storitev za detekcijo objektov z uporabo hierarhičnih modelov ANG A web service for object detection using hierarchical models Predlagali smo arhitekturo za detekcijo vizualnih objektov primerno za spletno storitev, ki, teče na distribuiranem grozdu računalnikov. Z implementacijo hierarhičnih kompozicionalnih modelov na distribuiranem sistemu smo omogočili "skalabilnost" algoritma na večje število slik potrebnih za procesiranje večjega števila kategorij z večjim obsegom slik. Opis SLO Distribuiran sistem smo implementirali z uporabo večjedernih procesnih enot (multi-core CPU) ter z uporabo platform namenjenih za obdelavo velike količine podatkov (big data), ki obsegajo večje število računalnikov. Kot del procesiranja velike količine podatkov smo implementirali algoritme učenja hierarhičnega kompoziconalnega modela na platformi Hadoop in algoritme detekcije objektov na platformi Storm. Slednja implementacija za detekcijo objektov je tudi del javno dostopne spletne storitve ViCoS-Eye. ANG We proposed an architecture for an object detection system suitable for a web-service running distributed on a cluster of machines. By implementing hierarchical compositional models in distributed system we enabled scalability of the algorithm to higher number of images required to process higher number of categories with more images. We implemented distributed system by utilizing multi-core processing units (multi-core CPUs) and by utilizing platforms for big data processing spanning over multiple machines (cluster). As part of distributed big data processing we deployed learning algorithms of hierarchical compositional models on a Hadoop platform and algorithms for object detection on a Storm platform. Storm implementation for object detection is also part of an publicly available web-service ViCoS-Eye. Objavljeno v Springer; Computer vision systems; Lecture notes in computer science; 2013; Str. 93-102; Avtorji / Authors: Tabernik Domen, Čehovin Luka, Kristan Matej, Boben Marko, Leonardis Aleš Tipologija 1.01 Izvirni znanstveni članek 4. COBISS ID 9952852 Vir: COBISS.SI Naslov SLO Dodajanje diskriminativne lastnosti hierarhičnim kompozicionalnim modelom za kategorizacijo ANG Adding discriminative power to hierarchical compositional models for object class detection Opis SLO V članku smo predstavili nov pristop za analizo hierarhičnih kompozicionalnih modelov, ki ohranja lastnosti generativnih hierarhičnih modelov, hkrati pa izboljša diskriminativne lastnosti. To dosežemo z vpeljavo mreže diskriminativnih vozlišč preko obstoječe generativne hierarhije. Diskriminativna vozlišča so redke linearne kombinacije aktiviranih generativnih delov. Eksperimentalno smo pokazali, da diskriminativna vozlišča konsistentno izboljšajo napredni hierarhični kompozicionalni model. Rezultati kažejo, da naš model določi zgolj majhno diskriminativno podmnožico (manj kot 10%) vseh vozlišč, kar poveča računsko učinkovitost sistema. ANG In our paper we have proposed a novel approach to analysis of hierarchical compositional models that preserves the appealing properties of the generative hierarchical models, while at the same time improves their discrimination properties. We achieve this by introducing a network of discriminative nodes on top of the existing generative hierarchy. The discriminative nodes are sparse linear combinations of activated generative parts. We show in the experiments that the discriminative nodes consistently improve a state-of-the-art hierarchical compositional model. Results show that our approach considers only a fraction of all nodes in the vocabulary (less than 10%) which also makes the system computationally efficient. Objavljeno v Springer; Image analysis; Lecture notes in computer science; 2013; Str. 444-455; Avtorji / Authors: Kristan Matej, Boben Marko, Tabernik Domen, Leonardis Aleš Tipologija 1.01 Izvirni znanstveni članek 5. COBISS ID 9431124 Vir: COBISS.SI Naslov SLO Robustno vizualno sledenje z adaptivnim sklopljenim vizualnim modelom ANG Robust visual tracking using an adaptive coupled-layer visual model Opis SLO Predlagali smo nov pristop k sledenju s pomočjo hierarhičnega vizualnega modela. Razvili smo nov verjetnostni model za sledenje nerigidnih objektov. Model je dvo-slojni, zgornji sloj sestavlja globalna informacija o izgledu objekta, medtem, ko na spodnjem sloju ohranjamo lokalno informacijo. Lokalni sloj je sestavljen iz knjižnice osnovnih vizualnih elementov. Ti vizualni elementi so šibko sklopljeni v konstalacijo, ki se lahko deformira med sledenjem. V ta namen smo razvili nov statistični model in predlagali optimizacijsko metodo, s katero lahko zelo učinkovito prilagajamo model tarči in jo sledimo ob hitrih signifikantih deformacijah, kakor tudi med delnim zakrivanjem. Predlagan model je preizkus nekaterih delov teorije hierarhičnih modelov na primeru sledenja objekta. Razvit sledilnik nam bo pri nadaljnem delu omogočal sledenje kategorij objektov v sekvencah, kar nam bo omogočalo zajem baze artikuliranih objektov. Slednji bodo uporabljeni za izboljšanje učenja hierarhije za detekcijo kategorij objektov. Revija, v kateri smo objavili prispevek, je po rangu prva revija na področju računalniškega vida. ANG We have proposed a new approach to tracking using a hierarchical visual model. We developed a new probabilistic model for tracking nonrigid objects. The model is composed of two layers. The top layer consists of a global information about the appearance of the object, while the lower layer contains the object's local information. The local layer consists of a vocabulary of basic visual elements. These visual elements are weakly coupled in a constellation that can deform during the tracking. For this purpose, we have developed a new statistical model and have proposed an optimization method, which efficiently adapts to the target's appearance through significant deformation and partial occlusion. On the one hand, the proposed model is a test-bed for application of parts of theory of the hierarchical models to the case of object tracking. On the other hand, we developed a robust tracking algorithm that will allow us to capture large datasets of articulated objects. These will be used as an input to the object category detection hierarchy that we are developing. The journal in which this work was published is considered the top journal in computer vision. Objavljeno v IEEE Computer Society; IEEE transactions on pattern analysis and machine intelligence; 2012; Vol. 35, no. 4; str. 941-953; Impact Factor: 4.795;Srednja vrednost revije / Medium Category Impact Factor: 1.38; A': 1; WoS: EP, IQ; Avtorji / Authors: Čehovin Luka, Kristan Matej, Leonardis Aleš Tipologija 1.01 Izvirni znanstveni članek 7.Najpomembnejši družbeno-ekonomski rezultati projektne skupine6 Družbeno-ekonomski dosežek 1. COBISS ID 259992320 Vir: COBISS.SI Naslov SLO Zbornik 17 zimske delavnice o računalniškem vidu, Mala Nedelja, Slovenija, 13 Februar, 2012, Ljubljana ANG Proceedings of the 17th Computer Vision Winter Workshop, Mala Nedelja, Slovenia, February 1-3, 2012 Opis SLO Dva člana projektne skupine (Matej Kristan in Luka Čehovin) sta bila glavna organizatorja sedemnajste mednarodne zimske delavnice o računalniškem vidu (CVWW2012). Delavnica združuje raziskovalne skupine iz Avstrije, Slovenije in Republike Češke, ki se ukvarjajo s področjem računalniškega vida. Na tej delavnici smo predstavljali delne rezultate dela s projekta ARRS-RPROJ-LP2010/103 širši mednarodni komuni s področja računalniškega vida. ANG Two members of the project group (Matej Kristan and Luka Čehovin) organized the 17th computer vision winter workshop (CVWW2012). The workshop connects researchers from Austria, Slovenia and Chechz Republic, that work in the field of computer vision. At this workshop we have presented preliminary results from the project ARRS-RPROJ-LP2010/ 103 to a wider audience of researchers from computer vision. Šifra B.01 Organizator znanstvenega srečanja Objavljeno v Slovenian Pattern Recognition Society; 2012; 1 optični disk (CD-ROM); Avtorji / Authors: Kristan Matej, Čehovin Luka, Mandeljc Rok Tipologija 2.31 Zbornik recenziranih znanstvenih prispevkov na mednarodni ali tuji konferenci 2. COBISS ID 10409300 Vir: COBISS.SI Naslov SLO Izziv VOT2013, sledenje objektov ANG The visual object tracking VOT2013 challenge results Opis SLO Trije člani projektne skupine (Matej Kristan, Luka Čehovin, Aleš Leonardis) so soorganizirali prvi izziv kratkoročnega sledenja objektov VOT2013. Organizacijski komite je bil mednaroden, vključujoč partnerje iz Slovenije, Velike Britanije, Avstrije, Češke in Avstralije. Poleg izziva so člani organizirali delavnico v sklopu glavne konference na področju računalniškega vida ICCV2013. Izziv, kakor tudi delavnica sta prejela zelo pozitiven odziv s strani komune. V izzivu smo primerjali 27 raznovrstnih sledilnikov artikuliranih in neartikuliranih objektov na novi anotirani zbirki, z novimi merami performance in novo evaluacijsko metodologijo. Članek z analizo rezultatov izziva (v soavtorstvu s ~50 raziskovalci) smo objavili in predstavili na delavnici VOT2013 v sklopu vabljenega predavanja. ANG Three members of the project group (Matej Kristan, Luka Čehovin and Aleš Leonardis) coorganized the first challenge in short-term visual tracking VOT2013. The organization committee was international, spreading groups from Slovenia, UK, Austria, Czech Republic and Australia. The challenge was accompanied by a workshop organized at the top computer vision conference ICCV2013. The workshop was well as the challenge were well accepted by the community. Within the challenge, we have compared 27 diverse approaches to tracking of arbitrary, articulated and nonarticulated objects, using a new annotated dataset and new performance evaluation methodology. A paper with the challenge results, coauthored by ~50 authors, was published and presented at the workshop. Šifra B.01 Organizator znanstvenega srečanja Objavljeno v IEEE; ICCV 2013; Proceedings; 2013; Str. 98-111; Avtorji / Authors: Kristan Matej, Pflugfelder Roman, Leonardis Aleš, Matas Jiff, Porikli Fatih, Čehovin Luka Tipologija 1.08 Objavljeni znanstveni prispevek na konferenci 3. COBISS ID 8991316 Vir: COBISS.SI Naslov SLO Kombinacija kompozicionalne hierarhije oblike in več-razredne taksonomije objektov za učinkovito kategorizacijo objektov ANG Combining compositional shape hierarchy and multi-class object taxonomy for efficient object categorisation Vizualna kategorizacija je problematika, ki jo raziskovalci računalniškega vida proučujejo že več desetletij. Končni cilj je učinkovita detekcija in kategorizacija velikega števila vizualnih kategorij. Problematika obsega tri prepletene podprobleme: predstavitev objektov, ki mora kompaktno zajeti vizualno variabilnost objektov in jo posplošiti preko kategorije; učenje teh predstavitev iz vhodnih slik ob čim manjšem zunanjem nadzoru; učinkovita Opis SLO inferenca, ki robustno primerja predstavitve objektov z vhodnimi slikami. Na predavanju je bil predstavljen naš novi pristop za učinkovito detekcijo predmetov, ki združuje naučeno kompozicionalno hierarhijo, ki predstavlja 2D oblike različnih kategorij predmetov in "grobo-drobno" primerjalno strukturo, ki uporabi taksonomijo predmetov. Tak pristop omogoča tako učinkovito predstavitev strukture predmetov kot tudi modeliranje velikega števila vizualnih kategorij. Eksperimentalni rezultati so pokazali, da predlagani pristop doseže natančnost detekcije, ki je primerljiva z najboljšimi metodami razvitimi v svetu, vendar ob bistveno hitrejši inferenci in krajših časih učenja. ANG Visual categorisation has been an area of intensive research in the vision community for several decades. Ultimately, the goal is to efficiently detect and recognize an increasing number of object classes. The problem entangles three highly interconnected issues: the internal object representation, which should compactly capture the visual variability of objects and generalize well over each class; a means for learning the representation from a set of input images with as little supervision as possible; and an effective inference algorithm that robustly matches the object representation against the image and scales favorably with the number of objects. In this talk I presented our novel approach which combines a learned compositional hierarchy, representing (2D) shapes of multiple object classes, and a coarse-to-fine matching scheme that exploits a taxonomy of objects to perform efficient object detection. The combination of the learned taxonomy with the compositional hierarchy of object shape achieves efficiency both with respect to the representation of the structure of objects and in terms of the number of modeled object classes. The experimental results show that the learned multi-class object representation achieves a detection performance comparable to the current state-of-the-art flat approaches with both faster inference and shorter training times. Šifra B.04 Vabljeno predavanje Objavljeno v Workshop on REcognition and ACTion for Scene understanding; 2011; Avtorji / Authors: Leonardis Aleš Tipologija 3.16 Vabljeno predavanje na konferenci brez natisa 4. COBISS ID 10487124 Vir: COBISS.SI Naslov SLO Hierarhična kompozicionalna predstavitev strukture objektov ANG Hierarchical compositional representations of object structure Opis SLO Vizualna kategorizacija je problematika, ki jo raziskovalci računalniškega vida proučujejo že več desetletij. Končni cilj je učinkovita detekcija in kategorizacija velikega števila vizualnih kategorij. Problematika obsega tri prepletene podprobleme: predstavitev objektov, ki mora kompaktno zajeti vizualno variabilnost objektov in jo posplošiti preko kategorije; učenje teh predstavitev iz vhodnih slik ob čim manjšem zunanjem nadzoru; učinkovita inferenca, ki robustno primerja predstavitve objektov z vhodnimi slikami. Na predavanju je bil predstavljen naš novi pristop za učinkovito detekcijo predmetov, ki združuje naučeno kompozicionalno hierarhijo, ki predstavlja 2D oblike različnih kategorij predmetov in "grobo-drobno" primerjalno strukturo, ki uporabi taksonomijo predmetov. Tak pristop omogoča tako učinkovito predstavitev strukture predmetov kot tudi modeliranje velikega števila vizualnih kategorij. Eksperimentalni rezultati so pokazali, da predlagani pristop doseže natančnost detekcije, ki je primerljiva z najboljšimi metodami razvitimi v svetu, vendar ob bistveno hitrejši inferenci in krajših časih učenja. Visual categorisation has been an area of intensive research in the vision community for several decades. Ultimately, the goal is to efficiently detect and recognize an increasing number of object classes. The problem ANG entangles three highly interconnected issues: the internal object representation, which should compactly capture the visual variability of objects and generalize well over each class; a means for learning the representation from a set of input images with as little supervision as possible; and an effective inference algorithm that robustly matches the object representation against the image and scales favorably with the number of objects. In this talk I presented our novel approach which combines a learned compositional hierarchy, representing (2D) shapes of multiple object classes, and a coarse-to-fine matching scheme that exploits a taxonomy of objects to perform efficient object detection. The combination of the learned taxonomy with the compositional hierarchy of object shape achieves efficiency both with respect to the representation of the structure of objects and in terms of the number of modeled object classes. The experimental results show that the learned multi-class object representation achieves a detection performance comparable to the current state-of-the-art flat approaches with both faster inference and shorter training times. Šifra B.04 Vabljeno predavanje Objavljeno v 2012; Avtorji / Authors: Leonardis Aleš Tipologija 3.16 Vabljeno predavanje na konferenci brez natisa 8.Drugi pomembni rezultati projetne skupine7 Člani projektne skupine so pridobili organizacijo mednarodne konference FG 2015 (11th IEEE International Conference on Automatic Face and Gesture Recognition), (http://www.fg2015.org), in sicer v naslednjih funkcijah: Aleš Leonardis (General Chair) Matej Kristan (Evaluation Chair), Danijel Skočaj (Publication Chair), Luka Čehovin (Web Chair). Tekom trajanja projekta smo uspešno zaključili evropski projekt CogX - Cognitive Systems that Self-Understand and Self-Extend (EU FP7). Pridobili smo dva industrijska projekta s področja mobilnega računalniškega vida. Prvi se navezuje na detekcijo in izvajanje meritev oblike, drugi pa na sledenje artikuliranih objektov. Matej Kristan je v letu 2013 prejel univerzitetno nagrado za izjemne znanstvene in pedagoške dosežke s strani Univerze v Ljubljani. Luka Čehovin, Matej Kristan in Aleš Leonardis so avtorji članka "Robust visual tracking using an adaptive coupled visual model", za katerega je ARRS podelila nagrado za izjemne znanstvene dosežke v letu 2012. 9.Pomen raziskovalnih rezultatov projektne skupine8 9.1.Pomen za razvoj znanosti9 SLO Načrtovane raziskave in razvoj predlaganih metod za razpoznavanje velikega števila kategorij sodijo med posebej aktualna raziskovalna področja z veliko uporabno vrednostjo. Doseženi cilji projekta pomenijo korak naprej pri raziskavah detekcije in razpoznavanja objektov v slikah in video sekvencah, saj temeljijo na zgoščenem zapisu objektov, to pa omogoča hitro analizo slike in majhno prostorsko zahtevnost. Slednje odpira možnosti novih raziskovalnih področji kot so vizualno poizvedovanje z mobilnimi napravami, katerih računske in pomnilniške zmogljivosti so omejene. Izboljšave hierarhičnih metod za opis oblike so v veliki meri prenosljive na širši spekter hierarhičnih kompozicionalnih modelov. Predlagane metode izboljšanega opisa delov oblik so pomemben korak v razvoju kompozicionalih modelov artikuliranih kategorij. Zaradi splošnosti razvitih metod za avtomatsko izgradnjo taksonomije s postopki od-grobega-na-podrobno, v kombinaciji z implementacijo na vzporednih arhitekturah, smo pokazali možno smer učinkovite implementacije širšega spektra sicer počasnejših kompozicionalnih metod. Naši modeli za sprotno učenje predstavljajo napredek na širšem področju metod za sprotno učenje, saj se aplicirajo tako na generativne kot diskriminativne modele. Predlagani opisniki z deli hierarhij in metode za izbiro diskriminativnih delov prispevajo tako na širšem področju izbire značilnic, kakor tudi na specifičnem področju detekcije in razpoznave kategorij. Poleg tega so rezultati projekta korak v smeri premoščanja semantičnega prepada med značilnicami, s katerimi operira računalnik in semantiko slikovne vsebine, kot jo dojema uporabnik. ANG The research and development of the presented methods for recognition of large number of categories is current highly active research field with many application opportunities. Our achieved project goals are a step forward in research of categorization and detection of objects from images and video sequences as they are based on a compressed object representation which allow for quick image analysis with small spatial requirements. This also opens a possibility for new research areas such as visual querying using mobile devices which have low computational capabilities. The improvements of the hierarchical methods are in large applicable to the wide spectrum of hierarchical compositional models. Proposed methods of the improved shape representations are an important step towards integration of the articulated categories into the compositional models. With the generality of our developed methods for automatic taxonomy construction using coarse-to-fine procedures and parallel implementations, we showed a possible direction for efficient implementation of wide spectrum of otherwise slower compositional methods. Our methods for online learning present a progress in a large field of online learning methods as they can be applied to generative as well as discriminative models. Proposed histogram of compositions descriptor and methods for selection of discriminative parts contribute to the research area of the feature selection, and partially also contribute to the specific area of object categorization and detection. Additionally, our project results are also a step towards bridging the semantic gap between features used by the computers and semantic meaning of the image as interpreted by the user. 9.2.Pomen za razvoj Slovenije10 SLO Uspešna nadgradnja ter pohitritev hierarhičnega modela za detekcijo vizualnih kategorij je korak proti hitrim in natančnim metodam za poizvedovanje po slikovnih zbirkah, kar bo zagotovo imelo pozitivne ekonomske posledice, bi pa lahko vodilo tudi do razvoja novih modelov poslovanja. Poleg neposrednih ekonomskih učinkov, ki izhajajo iz pridobljenega znanja o učinkovitem zapisu vizualnih kategorij, pričakujemo tudi pozitivne učinke za širšo družbo. Razvito porazdeljeno platformo za poizvedovanje po slikovnih zbirkah z našim modelom smo javno objavili v obliki posebne spletne storitve kot demonstracijo vizualnega razpoznavanja objektov. Kot primer smo prav tako razvili in objavili aplikacijo za mobilne naprave z operacijskim sistemom Android, ki omogoča razpoznavanje objektov slikanih z mobilno napravo. Znanje, ki smo ga pridobili med izvajanjem projekta, že prenašamo v gospodarstvo preko sodelovanja s podjetji, ki razvijajo aplikacije, ki temeljijo na izvajanju računalniškega vida na mobilnih telefonih. V projektu razviti pristopi k masovni obdelavi slik na delno paralelnih arhitekturah so osnova za nudenje storitev računalniškega vida v oblaku, kar je trenutno komercialno izredno zanimivo področje. Implementiran sistem nakazuje smer razvoja modernih metod za poizvedovanje v slikovnih zbirkah brez vmesnih metapodatkov. Tehnologije, ki jih razvijamo, sodijo med osnovne (enabling) tehnologije za novo ekonomijo, ki temelji na nudenju storitev slikovnega poizvedovanja, in so dobra osnova za ustanavljanje novih visokotehnoloških podjetij v skladu z NRR. ANG Successful upgrade and speed-up of the hierarchical models used for the detection of visual categories is a step towards a fast and accurate methods for visual querying over the image collections. This will have a positive economic benefits and it could also lead to new business models. Besides direct economic effects steaming from the knowledge of the efficient representation of the visual categories, we also expect positive effects for broader society. As demonstration of visual object detection we have also published our developed distributed platform for querying visual information in a form of a special web service. As an example we have also developed and published the same service as an application for mobile devices running Android operating system. We are also transferring the knowledge obtained during the project to the industry by collaborating with companies on the development of computer vision applications for mobile devices. The approaches for massive image processing on parallel architectures developed during the project are also a basis for providing computer vision as a service in a cloud which is currently highly interesting commercial area. The implemented system points to a direction of developing modern methods for querying image collections without any intermediate textual metadata. The technologies we are developing are a part of enabling technologies for new economies, which are based on services that provide visual querying and are a good basis for opening new high-tech companies. 10.Samo za aplikativne projekte in podoktorske projekte iz gospodarstva! Označite, katerega od navedenih ciljev ste si zastavili pri projektu, katere konkretne rezultate ste dosegli in v kakšni meri so doseženi rezultati uporabljeni Cilj F.01 Pridobitev novih praktičnih znanj, informacij in veščin Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.02 Pridobitev novih znanstvenih spoznanj Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.03 Večja usposobljenost raziskovalno-razvojnega osebja Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.04 Dvig tehnološke ravni Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.05 Sposobnost za začetek novega tehnološkega razvoja Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.06 Razvoj novega izdelka Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.07 Izboljšanje obstoječega izdelka Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.08 Razvoj in izdelava prototipa Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.09 Razvoj novega tehnološkega procesa oz. tehnologije Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.10 Izboljšanje obstoječega tehnološkega procesa oz. tehnologije Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.11 Razvoj nove storitve Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.12 Izboljšanje obstoječe storitve Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.13 Razvoj novih proizvodnih metod in instrumentov oz. proizvodnih procesov Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.14 Izboljšanje obstoječih proizvodnih metod in instrumentov oz. proizvodnih procesov Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.15 Razvoj novega informacijskega sistema/podatkovnih baz Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.16 Izboljšanje obstoječega informacijskega sistema/podatkovnih baz Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.17 Prenos obstoječih tehnologij, znanj, metod in postopkov v prakso Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.18 Posredovanje novih znanj neposrednim uporabnikom (seminarji, forumi, konference) Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.19 Znanje, ki vodi k ustanovitvi novega podjetja ("spin off") Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.20 Ustanovitev novega podjetja ("spin off") Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.21 Razvoj novih zdravstvenih/diagnostičnih metod/postopkov Zastavljen cilj O DA O NE Rezultat d Uporaba rezultatov d F.22 Izboljšanje obstoječih zdravstvenih/diagnostičnih metod/postopkov Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.23 Razvoj novih sistemskih, normativnih, programskih in metodoloških rešitev Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.24 Izboljšanje obstoječih sistemskih, normativnih, programskih in metodoloških rešitev Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.25 Razvoj novih organizacijskih in upravljavskih rešitev Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.26 Izboljšanje obstoječih organizacijskih in upravljavskih rešitev Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.27 Prispevek k ohranjanju/varovanje naravne in kulturne dediščine Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.28 Priprava/organizacija razstave Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.29 Prispevek k razvoju nacionalne kulturne identitete Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.30 Strokovna ocena stanja Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.31 Razvoj standardov Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.32 Mednarodni patent Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.33 Patent v Sloveniji 1 Zastavljen cilj O DA O NE Rezultat d Uporaba rezultatov d F.34 Svetovalna dejavnost Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d F.35 Drugo Zastavljen cilj DA NE Rezultat d Uporaba rezultatov d Komentar ll.Samo za aplikativne projekte in podoktorske projekte iz gospodarstva! Označite potencialne vplive oziroma učinke vaših rezultatov na navedena področja Vpliv Ni vpliva Majhen vpliv Srednji vpliv Velik vpliv G.01 Razvoj visokošolskega izobraževanja G.01.01. Razvoj dodiplomskega izobraževanja o o o o G.01.02. Razvoj podiplomskega izobraževanja o o o o G.01.03. Drugo: o o o o G.02 Gospodarski razvoj G.02.01 Razširitev ponudbe novih izdelkov/storitev na trgu o o o o G.02.02. Širitev obstoječih trgov o o o o G.02.03. Znižanje stroškov proizvodnje o o o o G.02.04. Zmanjšanje porabe materialov in energije o o o o G.02.05. Razširitev področja dejavnosti o o o o G.02.06. Večja konkurenčna sposobnost o o o o G.02.07. Večji delež izvoza o o o o G.02.08. Povečanje dobička o o o o G.02.09. Nova delovna mesta o o o o G.02.10. Dvig izobrazbene strukture zaposlenih o o o o G.02.11. Nov investicijski zagon o o o o G.02.12. Drugo: o o o o G.03 Tehnološki razvoj G.03.01. Tehnološka razširitev/posodobitev dejavnosti O o o o G.03.02. Tehnološko prestrukturiranje dejavnosti o o o o G.03.03. Uvajanje novih tehnologij o o o o G.03.04. Drugo: o o o o G.04 Družbeni razvoj G.04.01 Dvig kvalitete življenja o o o o G.04.02. Izboljšanje vodenja in upravljanja o o o o G.04.03. Izboljšanje delovanja administracije in javne uprave o o o o G.04.04. Razvoj socialnih dejavnosti o o o o G.04.05. Razvoj civilne družbe o o o o G.04.06. Drugo: o o o o G.05. Ohranjanje in razvoj nacionalne naravne in kulturne dediščine in identitete O O O O G.06. Varovanje okolja in trajnostni razvoj o o o o G.07 Razvoj družbene infrastrukture G.07.01. Informacijsko-komunikacijska infrastruktura o o o o G.07.02. Prometna infrastruktura o o o o G.07.03. Energetska infrastruktura o o o o G.07.04. Drugo: o o o o G.08. Varovanje zdravja in razvoj zdravstvenega varstva o o o o G.09. Drugo: o o o o Komentar 12.Pomen raziskovanja za sofinancerje11 Sofinancer 1. Naziv Naslov Vrednost sofinanciranja za celotno obdobje trajanja projekta je znašala: EUR Odstotek od utemeljenih stroškov projekta: % Najpomembnejši rezultati raziskovanja za sofinancerja Šifra 1. 2. 3. 4. 5. Komentar Ocena 13.Izjemni dosežek v letu 201312 13.1. Izjemni znanstveni dosežek Rezultat dela projektne skupine je tudi interdisciplinarna objava v najbolj odmevni reviji s področja računalniškega vida, ki je bila možna samo zaradi raziskav, ki vključujejo tudi projekta J2-4284 in J2-3607. Deep hierarchies in the primate visual cortex, IEEE TPAMI; 2013; Vol. 35, no. 8; str. 18471871; IF: 4.795; A': 1; WoS: EP, IQ; Avtorji / Authors: Krüger N., Janssen P., Kalkan S., Lappe M., Leonardis A., Piater J., Rodriguez-Sanchez A. J., Wiskott L. Computational modeling of the primate visual system yields insights of potential relevance to some of the challenges that computer vision is facing, such as object recognition and categorization, motion detection and activity recognition, or vision-based navigation and manipulation. This paper reviews some functional principles and structures that are generally thought to underlie the primate visual cortex, and attempts to extract biological principles that could further advance computer vision research. 13.2. Izjemni družbeno-ekonomski dosežek Vodja projekta prof. dr. Aleš Leonardis je bil povabljen, da kot eden od dvanajstih članov sodeluje pri ocenjevanju in izbiri projektov ERC Consolidator Grants (in sicer na panelu PE6-Computer Science and Informatics) , ki jih razpisuje in podeljuje European Research Council. C. IZJAVE Podpisani izjavljam/o, da: • so vsi podatki, ki jih navajamo v poročilu, resnični in točni • se strinjamo z obdelavo podatkov v skladu z zakonodajo o varstvu osebnih podatkov za potrebe ocenjevanja ter obdelavo teh podatkov za evidence ARRS • so vsi podatki v obrazcu v elektronski obliki identični podatkom v obrazcu v pisni obliki • so z vsebino zaključnega poročila seznanjeni in se strinjajo vsi soizvajalci projekta Podpisi: zastopnik oz. pooblaščena oseba in vodja raziskovalnega projekta: raziskovalne organizacije: Univerza v Ljubljani, Fakulteta za Aleš Leonardis računalništvo in informatiko ŽIG Kraj in datum: Ljubljana |12.4.2014~ Oznaka prijave: ARRS-RPROJ-ZP-2014/3 1 Napišite povzetek raziskovalnega projekta (največ 3.000 znakov v slovenskem in angleškem jeziku) Nazaj 2 Napišite kratko vsebinsko poročilo, kjer boste predstavili raziskovalno hipotezo in opis raziskovanja. Navedite ključne ugotovitve, znanstvena spoznanja, rezultate in učinke raziskovalnega projekta in njihovo uporabo ter sodelovanje s tujimi partnerji. Največ 12.000 znakov vključno s presledki (približno dve strani, velikost pisave 11). Nazaj 3 Realizacija raziskovalne hipoteze. Največ 3.000 znakov vključno s presledki (približno pol strani, velikost pisave 11) Nazaj 4 V primeru bistvenih odstopanj in sprememb od predvidenega programa raziskovalnega projekta, kot je bil zapisan v predlogu raziskovalnega projekta oziroma v primeru sprememb, povečanja ali zmanjšanja sestave projektne skupine v zadnjem letu izvajanja projekta, napišite obrazložitev. V primeru, da sprememb ni bilo, to navedite. Največ 6.000 znakov vključno s presledki (približno ena stran, velikost pisave 11). Nazaj 5 Navedite znanstvene dosežke, ki so nastali v okviru tega projekta. Raziskovalni dosežek iz obdobja izvajanja projekta (do oddaje zaključnega poročila) vpišete tako, da izpolnite COBISS kodo dosežka - sistem nato sam izpolni naslov objave, naziv, IF in srednjo vrednost revije, naziv FOS področja ter podatek, ali je dosežek uvrščen v A'' ali A'. Nazaj 6 Navedite družbeno-ekonomske dosežke, ki so nastali v okviru tega projekta. Družbeno-ekonomski rezultat iz obdobja izvajanja projekta (do oddaje zaključnega poročila) vpišete tako, da izpolnite COBISS kodo dosežka - sistem nato sam izpolni naslov objave, naziv, IF in srednjo vrednost revije, naziv FOS področja ter podatek, ali je dosežek uvrščen v A'' ali A'. Družbeno-ekonomski dosežek je po svoji strukturi drugačen kot znanstveni dosežek. Povzetek znanstvenega dosežka je praviloma povzetek bibliografske enote (članka, knjige), v kateri je dosežek objavljen. Povzetek družbeno-ekonomskega dosežka praviloma ni povzetek bibliografske enote, ki ta dosežek dokumentira, ker je dosežek sklop več rezultatov raziskovanja, ki je lahko dokumentiran v različnih bibliografskih enotah. COBISS ID zato ni enoznačen, izjemoma pa ga lahko tudi ni (npr. prehod mlajših sodelavcev v gospodarstvo na pomembnih raziskovalnih nalogah, ali ustanovitev podjetja kot rezultat projekta ... - v obeh primerih ni COBISS ID). Nazaj 7 Navedite rezultate raziskovalnega projekta iz obdobja izvajanja projekta (do oddaje zaključnega poročila) v primeru, da katerega od rezultatov ni mogoče navesti v točkah 6 in 7 (npr. ni voden v sistemu COBISS). Največ 2.000 znakov, vključno s presledki. Nazaj 8 Pomen raziskovalnih rezultatov za razvoj znanosti in za razvoj Slovenije bo objavljen na spletni strani: http://sicris.izum.si/ za posamezen projekt, ki je predmet poročanja Nazaj 9 Največ 4.000 znakov, vključno s presledki Nazaj 10 Največ 4.000 znakov, vključno s presledki Nazaj 11 Rubrike izpolnite / prepišite skladno z obrazcem "izjava sofinancerja" http://www.arrs.gov.si/sl/progproj/rproj/gradivo/, ki ga mora izpolniti sofinancer. Podpisan obrazec "Izjava sofinancerja" pridobi in hrani nosilna raziskovalna organizacija - izvajalka projekta. Nazaj 12 Navedite en izjemni znanstveni dosežek in/ali en izjemni družbeno-ekonomski dosežek raziskovalnega projekta v letu 2013 (največ 1000 znakov, vključno s presledki). Za dosežek pripravite diapozitiv, ki vsebuje sliko ali drugo slikovno gradivo v zvezi z izjemnim dosežkom (velikost pisave najmanj 16, približno pol strani) in opis izjemnega dosežka (velikost pisave 12, približno pol strani). Diapozitiv/-a priložite kot priponko/-i k temu poročilu. Vzorec diapozitiva je objavljen na spletni strani ARRS http://www.arrs.gov.si/sl/gradivo/, predstavitve dosežkov za pretekla leta pa so objavljena na spletni strani http://www.arrs.gov.si/sl/analize/dosez/. Nazaj Obrazec: ARRS-RPROJ-ZP/2014 v1.03 90-D7-26-22-35-EF-D1-A8-75-6E-33-07-4F-BC-7A-E7-6F-CE-86-97 Priloga 1 VEDA: 2.07 TEHNIKA Področje: 2.07.07 Inteligentni sistemi - programska oprema Dosežek 1: Objava v znanstveni publikaciji, Vir: Deep hierarchies in the primate visual cortex, IEEE Transactions on Pattern Analysis and Machine Intelligence; 2013; Vol. 35, no. 8; str. 1847-1871; IF: 4.795; A': 1; WoS: EP, IQ; Avtorji / Authors: Krüger N., Janssen P., Kalkan S., Lappe M., Leonardis A., Piater J., Rodriguez-Sanchez A. J., Wiskott L. S Opis dosežka oziroma učinka Računsko modeliranje funkcij vizualnega sistema primatov ponuja pomemben vpogled v nekatere izzive, s katerimi je soočen računalniški vid, kot so na primer razpoznavanje in kategorizacija objektov, detekcija gibanja, razpoznavanje aktivnosti, ali pa navigacija ter manipulacija objektov na podlagi vida. Članek analizira nekatere funkcionalne koncepte in strukture, za katere nevroznanstveniki menijo, da tvorijo osnovo, na kateri deluje vizualni sistem primatov, ter poskuša izluščiti biološke principe, ki bi lahko pomagali pri nadaljnem razvoju računalniškega vida. Članek je zastavljen na način, ki je blizu raziskovalcem s področja računalniškega vida, in predstavlja funkcionalna načela hierarhij procesiranja, ki so prisotna v vizualnem sistemu primatov, s čimer sledi najnovejšim odkritjem na področju nevrofiziologije. Za hierarhično procesiranje v vizualnem sistemu primatov je značilno zaporedje številnih nivojev procesiranja, ki predstavljajo globoko hierarhijo, kar je v velikem nasprotju s ploskimi arhitekturami, ki so pretežno uporabljane v računalniškem vidu. Funkcionalni opis globokih hierarhij, ki obstajajo v vizualnem sistemu primatov, naj bi omogočil prenos idej v načrtovanje metod računalniškega vida, s tem pa prispeval k produktivnemu sodelovanju med raziskavami na področju biološkega in računalniškega vida.