Oznaka poročila: ARRS-RPROG-ZP-2015/173 Ш i ж ZAKLJUČNO POROČILO O REZULTATIH RAZISKOVALNEGA PROGRAMA (za obdobje 1. 1. 2009 - 31. 12. 2014) A. PODATKI O RAZISKOVALNEM PROGRAMU 1.Osnovni podatki o raziskovalnem programu Šifra programa P2-0214 Naslov programa Računalniški vid Computer Vision Vodja programa 9581 Franc Solina Obseg raziskovalnih ur (vključno s povečanjem financiranja v letu 2014) 20503 Cenovni razred A Trajanje programa 01.2009 - 12.2014 Izvajalci raziskovalnega programa (javne raziskovalne organizacije - JRO in/ali RO s koncesijo) 1539 Univerza v Ljubljani, Fakulteta za računalništvo in informatiko 581 Univerza v Ljubljani, Filozofska fakulteta Raziskovalno področje po šifrantu ARRS 2 TEHNIKA 2.07 Računalništvo in informatika Družbenoekonomski cilj 06. Industrijska proizvodnja in tehnologija Raziskovalno področje po šifrantu FOS 1 Naravoslovne vede 1.02 Računalništvo in informatika B. REZULTATI IN DOSEŽKI RAZISKOVALNEGA PROGRAMA 2.Povzetek raziskovalnega programa1 SLO Programska skupina izvaja osnovne in aplikativne raziskave na področju umetnega zaznavanja oziroma, bolj specifično, na področju računalniškega in spoznavnega vida. Ta problematika predstavlja eno izmed najpomembnejših komponent inteligentnih sistemov, od informacijskih do robotskih, in je nepogrešljiv del številnih aplikacij, kot so avtomatsko poizvedovanje po velikih slikovnih in video podatkovnih zbirkah, prepoznavanje obrazov, analiza človekovega obnašanja, vizualni nadzor in sledenje, samodejno vodenje vozil (avtomobilov, helikopterjev, podmornic) in upravljanje različnih tipov robotov od proizvodnih do humanoidnih in posebnih za specifične namene. Čeprav je bil v zadnjih letih na področju računalniškega in spoznavnega vida dosežen velik napredek, številni izzivi ostajajo nerešeni. Med temi problemi izstopajo vprašanja, kako doseči robustnost umetnega zaznavanja v smislu prepoznavanja in kategorizacije ob splošnih in spremenljivih pogojih v okolju in ob ogromni variabilnosti vizualnih entitet. V bistvu gre za povezani vprašanji, saj bi modeliranje velikega števila vizualnih kategorij lahko zagotovilo potrebno regularizacijo za inferenco vidnega zaznavanja ob vključevanju kontekstne in predhodne informacije. Podobno velik izziv predstavlja učinkovito, zanesljivo in prilagodljivo sledenje vizualnih entitet. Cilji programske skupine so, da prispeva k svetovnemu znanju na tem področju s predlogi novih metod za modeliranje, učenje in inference velikega števila vizualnih kategorij, z novimi metodami inkrementalnega učenja in originalnimi prispevki k vizualnemu sledenju ter analizi obnašanja človeka. Pri tem bo programska skupina nadaljevala predhodno delo in nadgradila nekatere metode, ki že zdaj sodijo med najnaprednejše na tem področju. Tako bo gradila teoretično delo na posplošenih reprezentacijah hierarhične kompozicionalnosti, na verjetnostnih modelih inkrementalnega učenja in adaptivnih večslojnih modelih vizualnega sledenja. Programska skupina bo, tako kot doslej, znaten del aktivnosti namenila preverjanju teoretičnih rezultatov na različnih realnih platformah, kot so mobilni roboti, aktivni senzorski sistemi in pametne mobilne naprave. Ob tem bo skupina izvajala aktivnosti za razširjanje znanja v obliki javno dostopnih anotiranih slikovnih in video podatkovnih zbirk, izvajanju izzivov (challenges) v okviru mednarodnih konferenc in predlaganju ustreznih evalvacijskih protokolov in metrik. Nenazadnje bo programska skupina skrbela za prenos teoretičnega znanja na praktične aplikacije, tudi ob sodelovanju z neposrednimi uporabniki, pri čemer bo gradila na dosedanjih tovrstnih izkušnjah (uporaba računalniškega vida pri spletni prodaji, pri ohranjanju in digitalizaciji kulturne dediščine, v umetnosti novih medijev, ...) in iskala priložnosti za ustanavljanje spin-off in spin-out podjetij. ANG The research program is involved in basic and applied research in artificial cognition or more specifically in computer and cognitive vision. This segment represents one of the most important components of intelligent systems, information systems or robotic systems, and is a crucial part of numerous applications ranging from automatic query of large image and video data bases, face recognition, analysis of human behavior, visual surveillance and tracking, autonomous vehicles (cars, helicopters, submarines) and control of various types of robots, ranging from industrial robots to humanoid and special purpose robots. Although computer and cognitive vision made large advances in the past years, numerous challenges remain unsolved. Among these problems are challenges how to make artificial perception more robust in the sense of recognition and categorization under more general and changing environmental conditions and considering huge variability of visual entities. In fact, these problems are interconnected since modeling of a huge number of visual categories can assure regularization for inference of visual perception under consideration of contextual and a priori information. A similar large challenge represents efficient, robust and adaptive tracking of visual entities. The goals of the research program are to contribute to the world knowledge in these areas by proposing new methods for modeling, learning and inferring a large number of visual categories, new methods of incremental learning and original contributions to visual tracking and analysis of human behavior. The research program will continue its previous research and in enhance some of its methods, that are already among the most advanced in this area. The program will do theoretical work on generalized representations of hierarchical compositionally, on probability models of incremental learning and adaptive multilevel models of visual tracking. The research program will, as in the past, a considerate part of its activities devote to verifying theoretical results on real platforms such as mobile robots, active sensory systems and intelligent mobile devices. The team will also contribute to sharing of knowledge in the form of publicly accessible annotated databases of image and video collections, organizing challenges in the framework of international conferences and proposing of evaluation protocols and metrics. Finally, the research program will take care for transfer of theoretical knowledge to practical applications in cooperation with end users, building on their experience (use of computer vision in web commerce, documentation in digital heritage, new media fine art, ...) and will look for opportunities to start spin-off and spin-out companies. 3.Poročilo o realizaciji predloženega programa dela na raziskovalnem programu, (vključno s predloženim dopolnjenim programom dela v primeru povečanja financiranja raziskovalnega programa v letu 2014)2 SLO Učenje predstavitev za kategorizacijo večjega števila vizualnih kategorij predmetov: V tem okviru smo raziskovali načine učenja hierarhičnih predstavitev vizualnih kategorij objektov, ki bi omogočali skaliranje na večje število kategorij. Osnova so kompozicionalne hierarhije, kjer so strukturne relacije modelirane rekurzivno kot fleksibilne relacije med elementi nižjih nivojev. Kategorična reprezentacija uporablja za osnovo elemente, ki se jih naučimo na podlagi statistične analize slik. Na tej tematiki smo delali skozi celotno obdobje trajanja programa, ko smo naše delo postopoma nadgrajevali. Tako smo najprej razvili algoritem za hierarhično predstavitev celostnih oblik objektov, ki je temeljil na optimizacijskem postopku učenja slovarja oblik, od preprostejših h kompleksnejšim, vse do nivoja kategorije. Nato smo ta algoritem nadgradili s postopkom, ki abstrahira podobne vizualne kategorije in zgradi taksonomijo konstalacijskih dreves. Ta nova reprezentacija omogoča učinkovito detekcijo po principu od grobega k podrobnejšemu, kar zagotavlja sublinearno rast kompleksnosti tudi na nivoju kategorij. Ta pristop smo nato nadgradili z mehanizmom, ki omogoča verifikacijo geometrijskih oblik posameznih delov vizualnega slovarja, ter z mehanizmom, ki razširja osnovni generativni model z vpeljavo diskriminantne informacije. Slednji mehanizem smo nato še dodatno izpopolnjevali s kombiniranjem generativnih in diskriminativnih lastnosti hierarhičnih prestavitev s ciljem povečevanja skalabilnosti ter stopnje detekcije in razpoznavanja. Razvite algoritme smo implementirali v učinkovitem porazdeljenem sistemu za procesiranje, tako da so kot javno dostopni spletni servis na voljo tako raziskovalcem kot tudi ostali zainteresirani javnosti. Interaktivno učenje vizualnih konceptov: Velik poudarek smo tudi dali na raziskave o interaktivnem učenju vizualnih konceptov v dialogu s človekom. Pri takšnem dvostranskem dialogu, kjer človek podaja robotu informacije o predmetih, ki jih opazuje, lahko poteka interakcija na več nivojih. Raziskali smo različne načine učenja ter jih evaluirali tako v simulacijskem okolju, ki smo ga razvili, kot tudi na resničnem senzorsko-robotskem sistemu. V tem kontekstu smo dali velik poudarek razvoju dvonivojskega podsistema za računalniški vid in učenje. Tako smo razvili napredne metode za inkrementalno učenje, ki temeljijo na sprotnem osveževanju porazdelitev z jedri, pri čemer smo uporabljali tako rekonstrukcijske kot diskriminativne kriterije za kompresijo podatkov, ki zagotavljajo kompaktne predstavitve. Razvili smo tudi sistem za povezovanje predstavitev med različnimi modalnostmi, ki temelji na Markovskih logičnih mrežah. Z integracijo teh različnih funkcionalnosti v enovit heterogen spoznavni sistem smo omogočili izkoriščanje informacij iz več modalnosti ter na ta način detekcijo neznanja ter identifikacijo akcij, ki bi potencialno zagotovile informacije potrebne za ustrezno osveževanje znanja. Tako smo sklenili krog med zaznavanjem in akcijo, ki zagotavlja nadgrajevanje znanja spoznavnega sistema skozi čas v interaktivnem dialogu s človekom. Vizualno sledenje: Razvili smo zelo učinkovit sledilnik netogih predmetov. Vizualni model odlikuje sposobnost sledenja artikuliranih objektov s pomočjo preprostih vizualnih lokalnih značilnic, ki so povezane v šibko geometrično konstelacijo. Primerjali smo ga z najnaprednejšimi sledilniki, kjer se je izkazal za zelo hitrega, robustnega in natančnega. Veliko smo se ukvarjali tudi z razvojem evaluacijske metodologije za primerjavo in razvoj novih vrst vizualnih sledilnikov. Razvili smo nov poenoten pristop k evaluaciji sledilnikov, ki vključuje kombinacijo mer performans, ki opisuje različne aspekte sledilnika in tako zagotavlja bolj pregledno in celovito primerjavo med različnimi sledilniki. Analiza gledanosti digitalnih zaslonov: Razvili smo digitalni zaslon z vgrajeno kamero, ki z uporabo algoritmov računalniškega vida omogoča zajem različnih metrik gledanosti. Med časovnimi metrikami opredelimo in zajamemo čas prisotnosti, čas kontaktne možnosti in čas pozornosti. Sistem na osnovi slike obrazov določi tudi demografske značilnice uporabnika kot sta spol in starostna skupina. Sistem je bil preizkušen v realnem okolju - butični trgovini v središču Ljubljane. Zajeti so bili podatki gledanosti 1294 oseb, katere smo tudi ročno preverili in analizirali. Taki sistemi bodo dolgoročno imeli revolucionaren vpliv na oglaševanje in raziskave v marketingu. Dinamična anamorfoza: Razvili smo princip dinamične anamorfoze, kjer se slika prilagaja poziciji opazovalca. Demonstrirali smo, da se s pomočjo dinamične anamorfoze lahko izboljša očesni kontakt pri videokonferenčnih sistemih, saj pomanjkanje očesnega kontakta zmanjšuje zadovoljstvo uporabnikov videokonferenčnih sistemov. Rezultati programske skupine obsegajo še druge teme: detekcija teksta na slikah naravnih scen, identifikacija na osnovi hoje, boljša barvna kompenzacija zaradi različne osvetlitve, vizualizacija glasbe z barvami, sistem za rehabilitacijo roke na osnovi obogatene resničnosti in digitalna humanistika. 4.Ocena stopnje realizacije programa dela na raziskovalnem programu in zastavljenih raziskovalnih ciljev3 SLO Zastavljene raziskovalne cilje smo v celoti realizirali in jih v nekaterih segmentih presegli. Tako smo po načrtu razvijali in nadgrajevali algoritem za učenje hierarhičnih predstavitev. Sproti smo identificirali smeri v katerih bi veljalo nadgradili razviti algoritem tar nato to tudi realizirali. S tem delom smo postali zelo razpoznavni v svetovnem merilu na tem področju, kar potrjuje tudi izjemno veliko število vabljenih predavanj na to temo. Podobno velja tudi za delo na algoritmih za inkrementalno interaktivno učenje. Ta problem smo naslavljali tako s teoretičnega kot s praktičnega vidika in razvili tako simulacijska orodja za analizo tega problema kot tudi umetni spoznavni sistem, ki deluje v realnem okolju. To delo je bilo s strani ARRS razpoznano kot izjemen znanstveni dosežek na področju tehnike v Sloveniji v letu 2011. Nasploh smo z delom na programu zelo učinkovito komplementirali delo, ki smo ga opravljali na več evropskih projektih. V sodelovanju s partnerji na teh projektih smo imeli dostop do nekaterih funkcionalnosti in kompleksnih robotskih sistemov, ki so nam omogočali bolj učinkovit razvoj algoritmov s katerimi smo se ukvarjali v okviru raziskovalnega programa. Zelo uspešni smo bili tudi pri razvoju vizualnega sledilnika, katerega rezultat je zelo učinkovit in natančen sledilnik ter zelo ugledne objave v znanstveni literaturi. Tudi to delo je bilo s strani ARRS razpoznano kot izjemen znanstveni dosežek na področju tehnike v Sloveniji, tokrat v letu 2012. Na tem področju smo zelo intenzivirali sodelovanje z najbolj prepoznavnimi raziskovalci in si z raziskavami metodologije za evaluacijo sledilnikov ter organizacijo največjega izziva na področju sledenja predmetov utrdili pozicijo v mednarodni raziskovalni srenji na tem področju. Prototipni sistem za analizo gledanosti digitalnih zaslonov je pripravljen do te mere, da bi ga lahko začeli uporabljati tudi v marketinških raziskavah. S prof. dr. Vesno Žabkar z Ekonomske fakultete Univerze v Ljubljani smo že poslali v objavo prvi interdisciplinarni članek, ki analizira podatke pridobljene z našim sistemom z vidika marketinških raziskav. Zaradi vključitve doc. dr. Narvike Bovcon v našo programsko skupino, ki ima habilitacijo iz novih medijev na ALUO-UL, širimo naše delovanje na širše področje digitalne humanistike, posebej nas zanimajo tako novi mediji, kot tudi analiza slik v kontekstu umetnostno zgodovine oziroma širše "Digital Heritage", ki postaja tudi v kontekstu evropskih programov vedno bolj pomembno področje raziskav. V ta okvir sodi tudi naše delo na področju 3D dokumentiranja in analize v arheologiji. 5.Utemeljitev morebitnih sprememb programa raziskovalnega programa oziroma sprememb, povečanja ali zmanjšanja sestave programske skupine v letu 20144 SLO V letu 2014 je nekaj mlajših članov programske skupine zaradi prenehanja zaposlitve na Fakulteti za računalništvo in informatiko prenehalo s članstvom v programski skupini (Robert Ravnik, Tadej Zupančič in Žiga Pavlin). S 1. 1. 2015 se nam je končno tudi formalno pridružil Matej Kristan, ki je bil že dlje časa zaposlen na FRI in je že aktivno sodeloval z našo programsko skupino. Zaradi teh sprememb se program raziskovalnega programa ni bistveno spreminjal. S povečanim letnim obsegom financiranja pa smo okrepili naše delo na področju interpretacije 3D podatkov, še posebej s poudarkom na aplikacijskem področju podvodne arheologije. 6.Najpomembnejši znanstveni rezultati programske skupine5 Znanstveni dosežek 1. COBISS ID 41304418 Vir: COBISS.SI Naslov SLO Samopodobnost in značilne točke ANG Self-similarity and points of interest Opis SLO V delu predlagamo nov pristop za detekcijo značilnih točk na slikah. Za detekcijo različnih tipov lokalnih struktur predlagamo enoten računski postopek. Varianco izračunano na uteženih intenzitetnih vrednosti lokalne regije razdelimo na tri komponente: varianco med krožnicami, varianco med krožnimi izseki in preostanek. Te tri variance, normalizirane z varianco celotne lokalne regije predstavljajo tri nove mere pomembnosti, ki jih imenujemo centralna mera pomembnosti, tangencialna mera pomembnosti in mera pomembnosti preostanka. Te mere izračunamo za lokalne regije različnih velikosti, na ta način ustvarimo zemljevide pomembnosti na različnih skalah. Lokalni ekstremi glede na lokacijo in skalo izračunani za vsako mero pomembnosti posebej, predstavljajo komplementarne točke zanimanja oz. centralne značilnice, oglišča in teksturne regije. Predlagana metoda izkazuje visoko ponovljivost značilnih točk, tako pri detekciji značilnih točk pri isti kategoriji objektov kot tudi na slikah spremenjenih zaradi različnih fotometričnih in zmernih geometričnih transformacij. Predlagana metoda izračuna bogato množico lokacij različnih lokalnih struktur, ki jih lahko uporabimo tako za prepoznavo objektov na slikah kot tudi za naloge, ki zahtevajo detekcijo ujemanja lokalnih struktur na slikah. Dobljene značilnice omogočajo tudi enostavno rekonstrukcijo slike, saj predstavljajo lokalne regije z veliko stopnjo samo-podobnosti. ANG In this work we present a new approach to interest point detection. Different types of features in images are detected by using a common computational concept. The proposed approach consider the total variability of local regions. New entities are introduced: circumferences and radii. The total sum of squares computed on the intensity values of a local region is divided into three components: between-circumferences sum of squares, between-radii sum of squares, and the remainder. These three components normalized by the total sum of squares represent three new saliency measures, namely radial, tangential, and residual. The saliency measures are computed for different radii in a local region and scale-spaces are build in this way. Local extrema in scale-space of each of the saliency measures represent features with complementary image properties: blob-like features, corner-like feature and highly textured points. Results obtained on a wide variety of image sets compare favourably with the results obtained by the leading interest point detectors from the literature. The proposed approach gives a rich set of highly distinctive local regions that can be used for object recognition and image matching. Objavljeno v IEEE Computer Society; IEEE transactions on pattern analysis and machine intelligence; 2010; Vol. 32, no. 7; str. 1211-1226; Impact Factor: 5.027;Srednja vrednost revije / Medium Category Impact Factor: 1.203; A'': 1;A': 1; WoS: EP, IQ; Avtorji / Authors: Maver Jasna Tipologija 1.01 Izvirni znanstveni članek 2. COBISS ID 9431124 Vir: COBISS.SI Naslov SLO Robustno vizualno sledenje z adaptivnim sklopljenim vizualnim modelom ANG Robust visual tracking using an adaptive coupled-layer visual model Opis SLO Predlagali smo izboljšan model za vizualno sledenje z adaptivnim sklopljenim modelom. Model odlikuje sposobnost sledenja artikuliranih objektov s pomočjo preprostih vizualnih lokalnih značilnic, ki so povezane v šibko geometrično konstelacijo. Model je sposoben robustno dodajati in odvzemati lokalne značilnice glede na verjetnostne mape visokonivojskih značilnic, kot sta gibanje in barva, hkrati pa omogoča dodajanje verjetnostnih map poljubnih visokonivojskih značilnic. Model smo analizirali na izjemno veliki bazi videoposnetkov in ga primerjali z enajstimi trenutno najboljšimi sledilniki. Eksperimenti so pokazali, da predlagani sledilnik presega trenutne konkurenčne sledilnike po več kriterijih. Članek smo objavili v reviji IEEE Transactions on pattern analysis and machine intelligence, ki je bila po takratnem vrednotenju v kategoriji EP computer science, artificial intelligence prva od stoenajstih revij, je imela ima faktor vpliva 4.908, in je na področju računalniškega vida ena od dveh najprestižnejših revij. S tem delom smo zelo utrdili naš položaj med raziskovalci s področja vizualnega sledenja, ki smo ga še okrepili z organizacijo prvega izziva kratkoročnega sledenja objektov VOT2013, ki so ga soorganizirali v sklopu glavne konference na področju računalniškega vida ICCV2013. ANG We have proposed an improved model for visual tracking using an adaptive coupled model. The model's advantage lays within the capability to track articulated objects using simple local features that are connected to a weak geometrical constellation. The model can robustly add and remove local features depending on probability maps of high-level image properties such as motion and color. The model also enables inclusion of additional probability maps based on arbitrary high-level image properties. We have analyzed the proposed tracker on a large video database and compared it with the current state-of-the-art. The experiments have shown that the proposed tracker outperforms the reference trackers based on multiple criteria. We published this work in the prestigious journal IEEE Transactions on pattern analysis and machine intelligence, which was at the time of publication ranked as the first of the 111 journals within the category EP computer science, artificial intelligence. The journal had an impact factor of 4.908 and is one of the two most prestigious journals in the field of computer vision. With this work we strengthen our position in the computer vision community working on visual tracking. We further strengthened our position by organizing the first challenge of short-term object tracking VOT2013, which we co-organized in conjunction with the major conference in the field of computer vision ICCV2013. Objavljeno v IEEE Computer Society; IEEE transactions on pattern analysis and machine intelligence; 2012; Vol. 35, no. 4; str. 941-953; Impact Factor: 4.795;Srednja vrednost revije / Medium Category Impact Factor: 1.38; A': 1; WoS: EP, IQ; Avtorji / Authors: Čehovin Luka, Kristan Matej, Leonardis Aleš Tipologija 1.01 Izvirni znanstveni članek 3. COBISS ID 8289876 Vir: COBISS.SI Naslov SLO Večdimenzionalno oenjevanje porazdelitev verjetnosti z Gaussovim jedri ANG Multivariate online kernel density estimation with Gaussian kernels Opis SLO Predlagali smo nov pristop k sprotnem ocenjevanju generativnih modelov, ki temeljijo na ocenjevanju porazdelitev verjetnosti. Kot teoretični okvir smo izbrali ocenjevanje porazdelitev z jedri (angl, Kernel Density Estimation, KDE). Pristop posodablja in vzdržuje neparametrični model opaženih podatkov, iz njih pa izračunava KDE. Predlagali smo princip za sprotno ocenjevanje velikosti jeder, ter metodo za kompresijo/revitalizacijo, ki skrbi da ostane kompleksnost modelov nizka. Natančno smo primerjali delovanje predlagane metode z najboljšimi povezanimi metodami na problemih ocenjevanja stacionarnih , nestacionarih porazdelitev in problemih sprotne gradnje klasifikatorjev. Rezultati kažejo, da predlagana metoda daje primerljive ali boljše rezultate kot ostale metode, ob tem pa generira modele, katerih kompleksnost je bistveno nižja. Ta pristop je bil razvit in uporabljen za modeliranje kategoričnega znanja v okviru kompleksnega interaktivnega sistema za kontinuirano učenje vizualnih konceptov v dialogu s človekom. ANG We have proposed a novel approach to online estimation of generative models, which is based on probability density estimation. As the theoretical framework we have chosen the kernel density estimation (KDE). The method maintains and updates a nonparametric model of the observed data, from which the KDE can be calculated. We propose an online bandwidth estimation approach and a compression/revitalization scheme which maintains the KDE's complexity low. We compare the proposed online KDE to the state-of-the-art approaches on examples of estimating stationary and non-stationary distributions, and on examples of classification. The results show that the online KDE outperforms or achieves a comparable performance to the state-of-the-art and produces models with a significantly lower complexity while allowing online adaptation. This approach has been developed and used for modelling categorical knowledge in the framework of a complex interactive system for continuous learning of visual concepts in dialogue with a human. Objavljeno v Pergamon; Pattern recognition; 2011; Vol. 44, no. 10/11; str. 2630-2642; Impact Factor: 2.292;Srednja vrednost revije / Medium Category Impact Factor: 1.323; A': 1; WoS: EP, IQ; Avtorji / Authors: Kristan Matej, Leonardis Aleš, Skočaj Danijel Tipologija 1.01 Izvirni znanstveni članek 4. COBISS ID 9799252 Vir: COBISS.SI Naslov SLO Dinamična anamorfoza kot poseben, računalniško generiran uporabniški vmesnik ANG Dynamic anamorphosis as a special, computer-generated user interface Opis SLO Klasična oziroma statična anamorfoza zahteva natanko določeno, običajno indirektno, gledišče, da jo gledalec vidi v pravilni obliki. V članku razložimo dinamično anamorfozo, ki se prilagaja spreminjajočem se položaju gledalca tako, da le-ta neodvisno od premikanja po prostoru ves čas vidi enako, nedeformirano sliko. Dinamično prilagajanje anamorfične transformacije v povezavi s premikanjem gledalca, od sistema zahteva spremljanje 3D položaja gledalčevih oči in izračun anamorfične deformacije v realnem času. To dosežemo z metodami računalniškega vida, ki zajemajo detekcijo obrazov in sledenje 3D položaja izbranega opazovalca. Opišemo aplikacijo sistema dinamične anamorfoze namenjene umetniški instalaciji. Pokažemo tudi, da uporaba anamorfične transformacije v videokonferencah lahko izboljša zaznani očesni stik med sogovorcema. Druge možne aplikacije zajemajo razvoj novih uporabniških vmesnikov, kjer se lahko uporabnik prosto premika po prostoru in opazuje perspektivno nedeformirano slike. ANG A classical or static anamorphic image requires a specific, usually a highly oblique view direction, from which the observer can see the anamorphosis in its correct form. This paper explains dynamic anamorphosis which adapts itself to the changing position of the observer so that wherever the observer moves, he sees the same undeformed image. This dynamic changing of the anamorphic deformation in concert with the movement of the observer requires from the system to track the 3D position of the observer's eyes and the re-computation of the anamorphic deformation in real time. This is achieved using computer vision methods which consist of face detection and tracking the 3D position of the selected observer. An application of this system of dynamic anamorphosis in the context of an interactive art installation is described. We show that anamorphic deformation is also useful for improving eye contact in videoconferencing. Other possible applications involve novel user interfaces where the user can freely move and observe perspectively undeformed images. Objavljeno v Butterworths; Interacting with computers; 2014; Vol. 26, no. 1; str. 46-62; Impact Factor: 0.731;Srednja vrednost revije / Medium Category Impact Factor: 1.208; WoS: ER, JI; Avtorji / Authors: Ravnik Robert, Batagelj Borut, Kverh Bojan, Solina Franc Tipologija 1.01 Izvirni znanstveni članek 5. COBISS ID 9659732 Vir: COBISS.SI Naslov SLO Merjenje gledanosti informacijskih vmesnikov ANG Audience measurement of digital signage Opis SLO S pomočjo računalniškega vida smo naredili kvantitativno študijo gledanosti informacijskih vmesnikov. Informacijski vmensik z vgrajeno kamero lahko s pomočjo računalniškega vida zbira podatke o gledanosti. Kvantitativno ovrednoti pozornost uporabnikov in pokaže statistično značilne razlike vezane na demografske in predvajalne parametre. Posebej zanimivo se pokaže konverzija med stopnjami gledanosti. ANG We present a quantitative study of digital signage audience measurement using computer vision. We developed a camera enhanced digital signage display that acquires audience measurement metrices with computer vision algorithms. Temporal metrices of person's dwell time, display in-view time, and attention time are extracted. The system also determines demographic metrices of gender and age group. Objavljeno v Butterworths; Interacting with computers; 2013; Vol. 25, no. 3; str. 218228; Impact Factor: 0.731;Srednja vrednost revije / Medium Category Impact Factor: 1.208; WoS: ER, JI; Avtorji / Authors: Ravnik Robert, Solina Franc Tipologija 1.01 Izvirni znanstveni članek 7.Najpomembnejši družbeno-ekonomski rezultati programske skupine6 Družbeno-ekonomski dosežek 1. COBISS ID 10448212 Vir: COBISS.SI Naslov SLO CogX - spoznavni sistemi s sposobnostjo samorazumevanja in samorazširitve ANG CogX - Cognitive Systems that self-undestand and self-extend Opis SLO Člani programske skupine so bili zelo aktivni in uspešni pri sodelovanju na evropskih projektih. V zadnjem petletnem obdobju so tako sodelovali na treh večjih evropskih projektih 6. in 7. raziskovalnega programa in tako pridobili skoraj en milijon evrov evopskih sredstev. Aleš Leonardis in Danijel Skočaj sta bila zadolžena za vodenje več delovnih sklopov in sta tako skrbela za koordinacijo raziskovalnega dela raziskovalcev iz različnih laboratorijev partnerskih inštitucij. Na ta način so tudi zelo razširili mrežo raziskovalcev s katerimi sodelujejo in se zelo dobro vpeli v mednarodno raziskovalno okolje. ANG The members of the program group were very active and successful in the participation in European projects. In the last five years they have participated in three major 6FP and 7FP European projects, for which they were granted almost one million euros. Aleš Leonardis and Danijel Skočaj were leaders of several work packages and were responsible for managing and coordinating the research work of researchers from different laboratories from the partner institutions. In this way, they have considerably expanded the network of research collaborators and well positioned the research group within the international research community. Šifra D.01 Vodenje/koordiniranje (mednarodnih in domačih) projektov Objavljeno v University;DFKI; 2012; 1 zv. (loč. pag.); Avtorji / Authors: Skočaj Danijel, Vrečko Alen, Ridge Barry, Uršič Peter, Kristan Matej, Leonardis Aleš, Roa Sergio, Kruijff Geert-Jan M., Janiček Miroslav Tipologija 2.12 Končno poročilo o rezultatih raziskav 2. COBISS ID 10715476 Vir: COBISS.SI Naslov SLO Zgodnjerimska ladja iz Ljubljanice pri Sinji Gorici ANG Early Roman barge from the Ljubljanica River at Sinja Gorica Opis SLO Kot področje uporabe naših metod pri zajemu in analizi 3D podatkov smo intenzivirali naše sodelovanje z arheologi, še posebej v podvodni arheologiji. Na tem področju poteka sedaj majhna revolucija, saj sodobne metode zajema 3D podatkov predstavljajo veliko bolj natančno, hitrejše in zato cenejše terensko delo. Jeseni 2012 smo sodelovali pri dokumentiranju rimske tovorne ladje v Ljubljanici pri Sinji Gorici za kar smo pridobili sredstva Zavoda za varstvo kulturne dediščine Slovenije, v letu 2014 pa smo pridobili projekt Fotogrametrično zajemanje 3D podatkov v okviru programa »Po kreativni poti do praktičnega znanja«. Na začetku julija 2013 smo organizirali študentsko delavnico o zajemu in procesiranju podatkov v podvodni arheologiji v Portorožu. Organizatorji so bili Zavod za varstvo kulturne dediščine Slovenije (Miran Erič), Fakulteta za računalništvo in informatiko (Franc Solina) in Fakulteta za pomorstvo in promet (Marko Perkovič), obe z Univerze v Ljubljani. Na tej mednarodni delavnici je sodelovalo šestnajst udeležencev, študentov in podvodnih arheologov z Oddelka za arheologijo Filozofske fakultete Univerze v Ljubljani, Fakulteta za računalništvo in informatiko, Oddelka za arheologijo Univerze v Zadru in Arheološkega muzeja iz Zadra. One of the prime application areas for our methods in 3D data capture and analysis is archeology, in particular underwater archeology. In this area a small revolution is taking place since new methods of 3D data documentation enable more accurate, faster and therefore cheaper field work. In fall of 2012 we participated in the documentation of a roman barge in the river Ljubljanica near Sinja gorica which was funded by the Institute for the Protection of Cultural Heritage of Slovenia. In 2014 we acquired a project on Fotogrametric 3D data capture under the auspices of the program "Creative way to practical knowledge". ANG In early July of 2013, a student workshop on 3D Data Capture and Processing in Underwater Archaeology took place in Portorož, organised by the Institute for the Protection of Cultural Heritage of Slovenia (Miran Erič) and the University of Ljubljana's Faculties of Computer and Information Science (Franc Solina) and Maritime Studies and Transport (Marko Perkovič). Sixteen students and underwater archaeologists attended this international workshop from the Department of Archaeology, the Faculty of Arts, the Computer Vision Laboratory at the Faculty of Computer and Information Science, the Archaeology Department at the University of Zadar and the Archaeological Museum of Zadar. Šifra F.27 Prispevek k ohranjanju/varovanje naravne in kulturne dediščine Objavljeno v Slovenska akademija znanosti in umetnosti;Znanstvenoraziskovalni center SAZU; Arheološki vestnik; 2014; 65; str. 187-254; A': 1; Avtorji / Authors: Erič Miran, Gaspari Andrej, Čufar Katarina, Solina Franc, Verbič Tomaž Tipologija 1.01 Izvirni znanstveni članek 3. COBISS ID 8825605 Vir: vpis v poročilo Naslov SLO Uredništva mednarodnih revij in vabljena predavanja ANG Editorial boards of international journals and invited lectures Aleš Leonardis je pridruženi urednik (Associate Editor) prestižne znanstvene revije IEEE PAMI, Transactions on Pattern Analysis and Machine Intelligence (od 2009). O odličnosti revije priča njen rang, saj je rangirana med prvimi nakaj revijami na področjih računalniška znanost, umetna inteligenca ter elektrotehnika in elektronika. Poleg tega je Aleš Leonardis tudi član uredniškega odbora prav tako ugledne znanstvene revije Pattern Recognition, the Journal of the Pattern Recognition Society (od 2001), revije Image and Vision Computing (od 2012) in Springerjeve knjižne zbirke: "Computational Imaging and Vision". Člani programske skupine so imeli v preteklih šestih letih tudi veliko vabljenih predavanj, predvsem Aleš Leonardis: - First Workshop on Stochastic Image Grammars, in conjunction with CVPR'09, Miami, June 2009. - Second International Workshop on Shape Perception in Human and Computer Vision, in conjunction with ECVP'09. Regensburg, Germany, August 2009 - Workshop on Trends in Computer Vision, Technical University Prague, Czech Republic, July 2009 - University of Birmingham, United Kingdom, August 2009 - University of Surrey, United Kingdom, September 2009 - University of British Columbia, Canada, December 2009. - Simon Fraser University, Canada, December 2009. - ETHZ, Zurich, Switzerland, January 2010. - Workshop on Recent Trends in Computer Vision, University of Maryland, USA, February, 2010 - Johns Hopkins University, USA, February 2010 - George Mason University, USA, February 2010 - University Southern Denmark, May 2010 - Robotic international Summer School, Dubrovnik, Croatia, June 2010 - K.U. Leuven, Belgium, November 2010 - Karlsruhe Institute of Technology, Germany, December 2010 - University of Tuebingen, Germany, April 2011 - University of Pennsylvania, July 2011 - REACTS, Workshop on Recognition and Action for Scene Understanding, Malaga, Spain, September 2011 Opis SLO - Linkoping University, November 2011. - University of Innsbruck, December 2011. - SISSA (The International School of Advanced Studies), Italy, December 2011. - Imperial College London, United Kingdom, marec 2012 - Upper Austria University of Applied Sciences Media Technology and Design / Digital Media, Linz, Austria, maj 2012; - Tutorial on Stochastic Image Grammars for Object, Scene and Event Understanding (in conjunction with CVPR 2012), Providence, Rhode Island, USA, junij 2012. - Summer school in Beijing, National Lab of Pattern recognition at Chinese Academy of Science, avgust 2012 - Area Chair Workshop of the Asian Conference on Computer Vision, Daejeon, Korea, september 2012. - Joint IAPR International Workshops on Structural and Syntactic Pattern Recognition (SSPR 2012) and - Statistical Techniques in Pattern Recognition (SPR 2012), MiyajimaItsukushima, Hiroshima, Japan, november 2012 - Chiba University, Japan, november 2012. - posvet o robotiki, Slovenska akademija znanosti in umetnosti, Ljubljana, Slovenija, november 2012. - Experience Summer School, Mallorca, Spain, October 2013 - AAAI workshop: Intelligent Robotic Systems, Washington, USA, July 2013 - University of Washington, Seattle, USA, July 2013 - University of Lincoln, UK, May 2013 - Vienna University of Technology, Austria, April 2013 - Dagstuhl seminar 13072, Mechanisms of Ongoing Development in Cognitive Robotics, February 2013 Narvika Bovcon: Akademija likovnih umetnosti, Univerza v Zagrebu, maj 2013 Luka Šajn: Insitut Rudžer Bošković, Zagreb, oktober 2012 Jasna Maver: Graz University of Technology, marec 2012 Batagelj Borut: Grafički fakultet, Zagreb, junij 2009 Danijel Skočaj: University of Birmingham, UK, december 2012. Franc Solina: University of California, Berkeley, May 2013 Aleš Leonardis is Associate Editor of prestigious scientific journal IEEE PAMI, Transactions on Pattern Analysis and Machine Intelligence (since 2009), which is ranked among the top few journals in the fields of computer science, artificial intelligence, and electrical & electronic engineering. Aleš Leonardis is also the Editorial Board Member of another high-ranked scientific journal Pattern Recognition, the Journal of the Pattern Recognition Society (from 2001), the journal Image and Vision Computing (from 2012) and Springer Book Series: "Computational Imaging and Vision". Members of the program, in particular Aleš Leonardis, had several invited lectures: - First Workshop on Stochastic Image Grammars, in conjunction with CVPR'09, Miami, June 2009. - Second International Workshop on Shape Perception in Human and Computer Vision, in conjunction with ECVP'09. Regensburg, Germany, August 2009 - Workshop on Trends in Computer Vision, Technical University Prague, ANG Czech Republic, July 2009 - University of Birmingham, United Kingdom, August 2009 - University of Surrey, United Kingdom, September 2009 - University of British Columbia, Canada, December 2009. - Simon Fraser University, Canada, December 2009. - ETHZ, Zurich, Switzerland, January 2010. - Workshop on Recent Trends in Computer Vision, University of Maryland, USA, February, 2010 - Johns Hopkins University, USA, February 2010 - George Mason University, USA, February 2010 - University Southern Denmark, May 2010 - Robotic international Summer School, Dubrovnik, Croatia, June 2010 - K.U. Leuven, Belgium, November 2010 - Karlsruhe Institute of Technology, Germany, December 2010 - University of Tuebingen, Germany, April 2011 - University of Pennsylvania, July 2011 - REACTS, Workshop on Recognition and Action for Scene Understanding, Malaga, Spain, September 2011 - Linkoping University, November 2011. - University of Innsbruck, December 2011. - SISSA (The International School of Advanced Studies), Italy, December 2011. - Imperial College London, United Kingdom, marec 2012 - Upper Austria University of Applied Sciences Media Technology and Design / Digital Media, Linz, Austria, maj 2012; - Tutorial on Stochastic Image Grammars for Object, Scene and Event Understanding (in conjunction with CVPR 2012), Providence, Rhode Island, USA, junij 2012. - Summer school in Beijing, National Lab of Pattern recognition at Chinese Academy of Science, avgust 2012 - Area Chair Workshop of the Asian Conference on Computer Vision, Daejeon, Korea, september 2012. - Joint IAPR International Workshops on Structural and Syntactic Pattern Recognition (SSPR 2012) and - Statistical Techniques in Pattern Recognition (SPR 2012), MiyajimaItsukushima, Hiroshima, Japan, november 2012 - Chiba University, Japan, november 2012. - posvet o robotiki, Slovenska akademija znanosti in umetnosti, Ljubljana, Slovenija, november 2012. - Experience Summer School, Mallorca, Spain, October 2013 - AAAI workshop: Intelligent Robotic Systems, Washington, USA, July 2013 - University of Washington, Seattle, USA, July 2013 - University of Lincoln, UK, May 2013 - Vienna University of Technology, Austria, April 2013 - Dagstuhl seminar 13072, Mechanisms of Ongoing Development in Cognitive Robotics, February 2013 Narvika Bovcon: Academy of fine arts, University of Zagreb, May 2013 Luka Šajn: Insitut Rudžer Bošković, Zagreb, October 2012 Jasna Maver: Graz University of Technology, March 2012 Batagelj Borut: Grafički fakultet, Zagreb, June 2009 Danijel Skočaj: University of Birmingham, UK, december 2012. Franc Solina: University of California, Berkeley, May 2013 Šifra C.04 Uredništvo mednarodne revije Objavljeno v IEEE Transactions on Pattern Analysis and Machine Intelligence Tipologija 3.14 Predavanje na tuji univerzi 4. COBISS ID 10410068 Vir: COBISS.SI Naslov SLO Literarni vidiki novomedijske umetnosti ANG Literary aspects in new media art works Opis SLO Članek predstavlja najbolj odmeven znanstveni rezultat našega že skoraj 20 letnega sodelovanja s Katedro za nove medije na Akademiji za likovno umetnost in oblikovanje pri produkciji interaktivniih umetniških instalacijah, ki pogosto vključujejo računalniški vid. V zadnjih šestih letih smo člani programske skupine sodelovali na 13 razstavah in pripravi 4 katalogov razstav. S tega interdisciplinarnega področja smo objavili še 7 drugih člankov v revijah in 12 prispevkov na konferencah. Kot najpomembnejši znanstveni rezultat na področju računalništva iz tega sodelovanja štejemo oblikovanje novega koncepta dinamične anamorfoze (znanstveni prispevek št. 4 tega poročila) in vizualizacijo glasbe z barvami [COBISS.SI-ID 8064596]. V to interdisciplinarno sodelovanje smo vključili tudi študente FRI in ALUO, pedagogi ALUO pa sodelujejo v študijskih programih FRI in obratno. Na ta način uvajamo računalništvo v humanistiko in umetnost, kar je tudi sodoben trend v svetu. ANG This article represents the most recent scientific result of our almost 20 years long collaboration with the Department for New Media at the Academy of Fine Arts and Design at University of Ljubljana in production of interactive art installations which often include Computer Vision methods. In the last six years we participated in 13 art exhibitions and in preparation of 4 exhibition catalogues. About this interdisciplinary collaboration we wrote another 7 journal articles and 12 conference contributions. As the most important scientific result in computer vision of this collaboration we consider the novel concept of dynamic anamorphosis (scientific contribution no. 4 in this report) and music visualization with colors [COBISS.SI-ID 8064596]. In this collaboration participate also students of computer science and art students, as well as lecturers of both institutions who teach at the partner institute. In this way we contribute to the international trend of digital humanities. Šifra F.29 Prispevek k razvoju nacionalne kulturne identitete Objavljeno v S. Tötösy de Zepetnek; CLCWeb; 2014; Vol. 15, no. 7; str. 1-13; A'': 1;A': 1; Avtorji / Authors: Bovcon Narvika Tipologija 1.01 Izvirni znanstveni članek 5. COBISS ID 10546772 Vir: COBISS.SI Naslov SLO Izvedenska mnenja računalniške stroke v kazenskih zadevah ANG Expert opinion for courts of law in the area of computing Opis SLO Borut Batagelj in Miha Peternel sta izdelala 12 izvedenskih mnenj za Okrožna sodišča v Ljubljani, Novem mestu, Postojni, Slovenj Gradcu in Murski Soboti s področja analize slikovnih podatkov (video in fotografije). ANG Borut Batagelj in Miha Peternel prepared 12 expert opinions for the Law courts in Ljubljana, Novo mesto, Postojna, Slovenj Gradec in Murska Sobota in the area of video in photography analysis. Šifra F.17 Prenos obstoječih tehnologij, znanj, metod in postopkov v prakso Objavljeno v Okrožno sodišče; 2014; [11] f.; Avtorji / Authors: Batagelj Borut Tipologija 2.15 Izvedensko mnenje, arbitražna odločba 8.Drugi pomembni rezultati programske skupine7 9.Pomen raziskovalnih rezultatov programske skupine8 9.1.Pomen za razvoj znanosti9 SLO_ Računalniški vid zagotavlja enega od najpomembnejših elementov avtonomnih inteligentnih sistemov, ki so v središču zanimanja evropske raziskovalne politike. Vid ostaja eden od najpomembnejših načinov nekontaktnega zaznavanja okolice. Vsakršna avtomatizacija tega zaznavanja pa sproži zahtevo po avtomatski analizi slik. Zaradi vedno obširnejših digitaliziranih slikovnih podatkovnih zbirk na različnih znanstvenih področjih, teh informacij ni možno več obvladovati na dosedanje načine, ampak kličejo po preiskovanju in analizi podatkov z metodami računalniškega vida. Iz različnih senzorjev teče tudi vedno večji živ tok vizualnih informacij, ki jih je potrebno analizirati v realnem času. Metode računalniškega vida zato postajajo ključne za napredek pri obvladovanju vizualnih informacij tudi na drugih znanstvenih področjih, na primer na novo se razvijajočem področju digitalizacije kulturne dediščine (Digital Heritage). Vendar se ne smemo omejiti le na reševanje parcialnih problemov posameznih aplikacijskih področij, ampak preučevati metode računalniškega vida z bolj temeljnega vidika kognitivne znanosti in umetne inteligence, da bi odgovorili na staro dilemo, ali so ti problemi rešljivi od spodaj navzgor zgolj z vedno boljšim procesiranjem vhodnih signalov, ali pa so potrebni posegi od zgoraj navzdol v smislu uporabe in razumevanja širšega kognitivnega konteksta. V tem smislu je v zadnjem času zelo opazna tendenca k povezovanju raziskav na področju umetne inteligence, računalniškega vida in robotike na eni strani, ter psihologije, nevrofiziologije, kognitivnih znanosti in sorodnih ved na drugi strani. Slednje vede si lahko od razvoja učinkovitih računskih modelov umetnih spoznavnih sistemov obetajo tudi poglobitev razumevanju delovanja naravnih spoznavnih sistemov (človeka). ANG_ Computer vision is one of the key elements of autonomous intelligent systems which are at the center of interest of European research policy. Computer vision is one of the most important ways of non-contact perception of the environment. Any automatization of this perception requires automatic interpretation of images. Because of continuously increasing size of digitalized image databases in various scientific fields, these information sources can not be handled anymore in a conventional way but call for search and analysis of data using computer vision methods. On the other hand, from various sensors flows a growing life image flow that needs to be analyzed in real-time. Computer vision is therefore important for scientific development in several scientific fields to handle visual information, for example in recent emergence of Digital Heritage. However, we should not limit ourselves just to solving partial problems in various application domains but to study computer vision methods also from the more basic standpoint of cognitive science and artificial intelligence, to answer the old question of whether such problems are solvable bottom-up just by providing ever better processing of input signals or if top-down interventions are needed by providing knowledge of a wider cognitive context. Lately, in that sense one can observe the tendency for interdisciplinary research in artificial intelligence, computer vision and robotics on one side and psychology, neurophysiology, cognitive science and similar disciplines on the other side. The latter disciplines could benefit from efficient computational models of artificial cognitive systems which could facilitate the understanding of natural and human cognitive systems. 9.2.Pomen za razvoj Slovenije10 SLO Znanje s področja računalniškega vida je pomembno za tehnološki razvoj Slovenije. Robotska podpora proizvodnje je velikokrat možna le v kombinaciji z računalniškim vidom. Enako pomemben vidik v sodobni industrijski proizvodnji je zagotavljanje visoke kvalitete. Pomembna dimenzija kvalitete pa se odraža v vizualni podobi sestavnih delov ali končnega izdelka. Vizualna kontrola kvalitete je pomembna pri pakiranju raznovrstnih izdelkov, od tipičnih industrijskih izdelkov do zdravil in celo kmetijskih pridelkov. Računalniški vid postaja pomemben tudi na kulturnem področju. Ker se vedno več vizualnih informacij seli v digitalno obliko, jih je možno uspešno obvladovati le z metodami računalniškega vida. Zato se že uspešno povezujemo z Zavodom za varstvo kulturne dediščine Slovenije, muzeji in galerijami pri 3D dokumentiranju, analizi in preiskovanju vizualnih podatkovnih zbirk. Ta smer razvoja v digitalno dediščino se odraža tudi v raziskovalnih programih Evropske unije. Pomen računalniškega vida raste tudi v postindustrijski družbi. Eden od pomembnih problemov, ki ga skušamo reševati tudi z zajemom in analizo slike je varnost (v prometu, na javnih mestih, pred terorizmom, skrb za starostnike). Problematika varnosti se seveda prepleta z drugimi družbenimi vidiki, najbolj s problematiko zagotavljanja zasebnosti. Biometrija (na osnovi obraza ali drugih značilk), analiza človeške aktivnosti, ki jih zajamejo nadzorne kamere, nadzor prometa ali ljudi, da bi jim lahko pravočasno priskočili na pomoč, vse to so naloge računalniškega vida. Člani naše programske skupine so tudi eni od redkih domačih strokovnjakov za izdelavo ekspertnih mnenj za interpretacijo slikovnih informacij za slovenska sodišča. Uporaba računalniškega vida se širi celo v sodobni umetnosti, saj je s pomočjo analize slikovnih informacij najlažje vpeljati elemente interakcije v sodobne umetniške instalacije. Na tem področju naša programska skupina skupaj s Katedro za nove medije Akademije za likovno umetnost in oblikovanje deluje že skoraj 20 let. Naši programski skupini pa to področje nudi zanimiv poligon za eksperimentiranje, saj so razvojni cikli kratki, odziv končnih uporabnikov pa hiter. Podobno velja tudi za širše področje spoznavnih sistemov, katerega ključni del so ravno sistemi spoznavnega oz. računalniškega vida. Pomembnost in potencialna uporabnost (in posledično korist) spoznavnih sistemov je botrovala tudi precejšnjemu povečanju vlaganj na to področje, tako v zasebnem kot tudi v javnem sektorju. Glede na splošnost in robustnost umetnih spoznavnih sistemov, pa tudi glede na njihovo prijaznost do uporabnikov in prilagodljivost, lahko pričakujemo vstop te tehnologije na mnoga področja, od industrijskih obratov do domačega okolja. Visok nivo znanj na področju računalniškega vida je naredil Slovenijo v mednarodni stroki bolj vidno in prepoznavno. Z delom na samem vrhu raziskovanj prispevamo v mednarodno zakladnico, hkrati pa smo tudi sposobni prinašati najnovejše rezultate iz sveta v Slovenijo. Z mednarodno izmenjavo kadrov, predvsem doktorskih in podoktorskih raziskovalcev skrbimo za vzgojo teh kadrov in za večjo prepoznavnost Slovenije. ANG Knowledge of computer vision is important for technological development in Slovenia. Use of robots in industry is often possible only in combination with computer vision. Quality assurance in modern industrial production is very important. A very important dimension in quality is the visual appearance of individual parts or of the final product. Visual quality inspection is important in packaging typical industrial products, pharmaceutical products or even agricultural products. Computer vision is gaining importance also in culture. Since more and more visual data is digitized or produced in digital form, it can be efficiently handled only with the help of computer vision methods. Therefore we already cooperate with the Institute for the protection of cultural heritage of Slovenia, museums and galleries on 3D documentation, analysis and search in visual data bases. This trend in digital heritage is evident also in EU research programs. The importance of computer vision is growing also in post-industrial society. One of the most important problems that we try to solve using image capture and analysis is safety (in transpiration, in public spaces, against terrorism, caring for elderly). The safety issue is often interwoven with other social issues, in particular with privacy. Biometry (faces or other features), analysis of behaviours that are captured by security cameras, control of traffic or people so that help can be provided on time; all of these are tasks for computer vision. Members of our research program are one of the few Slovenian experts who can produce expert opinions on image and video information for Slovenian courts of law. Computer vision is even gaining importance in modern fine arts since using images in user interfaces offers the simplest way of introducing interaction to contemporary art installations. In this area we cooperate with the Department of new media at the Academy of fine arts and design for almost 20 years. New media art represents for our research program an exciting area for experimentation since the development cycles are very short and the feedback from the end users is readily available. Computer vision is also the key technology for cognitive systems. The importance and benefits of cognitive systems can be clearly deducted from the large investments to this area of research, both in private and public sectors. Due to the robustness and generality of artificial cognitive systems, their user friendliness and adaptability, one can expect that this technology will be used in many different application areas ranging from industry to our homes. Due to a high level of knowledge in computer vision, Slovenia has been made visible and recognisable in the international community of vision researchers. With top notch research we contribute to the discipline and are also able to transfer the latest knowledge back to Slovenia. With the international exchange of researchers, in particular doctoral and postdoctoral researchers, we contribute to better education and recognition of Slovenia. 10.Zaključena mentorstva članov programske skupine pri vzgoji kadrov v obdobju 1.1.2009-31.12.201411 10.1. Diplome12 vrsta usposabljanja število diplom bolonjski program - I. stopnja bolonjski program - II. stopnja univerzitetni (stari) program 10.2. Magisterij znanosti in doktorat znanosti13 Šifra raziskovalca Ime in priimek Mag. Dr. MR 24421 Boris Horvat o 0 □ 29637 Andrej Ikica o 0 □ 32043 Robert Ravnik o 0 0 24057 Sanja Fidler o 0 □ 36316 Miha Kastelic 0 o □ 29721 Dušan Omerčević 0 o □ 29381 Luka Čehovin 0 o 0 29225 Tomaž Pogačnik 0 o □ 0 Marko Hrastovec 0 o □ 0 Eva Stergaršek Kuzmič 0 o □ 37798 Jure Kovač O 0 □ 0 Miha Gruden ® Legenda: Mag. - Znanstveni magisterij Dr. - Doktorat znanosti MR - mladi raziskovalec ll.Pretok mladih raziskovalcev - zaposlitev po zaključenem usposabljanju14 Šifra raziskovalca Ime in priimek Mag. Dr. Zaposlitev 32043 Robert Ravnik o ® C - Gospodarstvo v 29381 Luka Čehovin ® o A - raziskovalni zavodi v Legenda zaposlitev: A - visokošolski in javni raziskovalni zavodi B - gospodarstvo C - javna uprava D - družbene dejavnosti E - tujina F - drugo 12.Vključenost raziskovalcev iz podjetij in gostovanje raziskovalcev, podoktorandov ter študentov iz tujine, daljše od enega meseca, v obdobju 1.1.2009-31.12.2014 Šifra raziskovalca Ime in priimek Sodelovanje v programski skupini Število mesecev 29637 Andrej Ikica A - raziskovalec/strokovnjak v 33 37798 Jure Kovač A - raziskovalec/strokovnjak v 33 0 Marco Buziol C - študent - doktorand v 6 0 Nikoletta Ekker C - študent - doktorand v 1 Legenda sodelovanja v programski skupini: A - raziskovalec/strokovnjak iz podjetja B - uveljavljeni raziskovalec iz tujine C - študent - doktorand iz tujine D - podoktorand iz tujine 13.Vključevanje v raziskovalne programe Evropske unije in v druge mednarodne raziskovalne in razvojne programe ter drugo mednarodno sodelovanje v obdobju 1.1.2009-31.12.201415 SLO Člani programske skupine so zelo aktivno sodelovali na evropskih projektih, kjer so vodili več delovnih sklopov in na ta način pridobili skoraj en milijon evrov evropskih sredstev: • EU FP7 ICT Cognitive Systems Large Scale Integrated Project, CogX - Cognitive Systems that Self-Understand and Self-Extend, 2008-2012 • EU FP7 ICT Cognitive Systems STEP Project, POETICON The "Poetics of everyday life": Grounding resources and mechanisms for artificial agents, 2008-2010 • EU FP6 IST Programme Project VISIONTRAIN Computational and Cognitive Vision Systems: A Training European Network, 2005-2009 Poleg tega so tudi aktivno vključeni v evropske projekte, ki skrbijo za integracijo raziskovalne sfere in oblikovanje smernic za nadaljnji razvoj znanosti na področju, ki ga tudi naslavlja raziskovalni program: • EU FP7 ICT CA EUCogII, 2nd European Network for the Advancement of Artificial Cognitive Systems, Interaction and Robotics, 2009-2012 • EU FP7 ICT CA EUCogIII 3rd European Network for the Advancement of Artificial Cognitive Systems, Interaction and Robotics, 2011-2014 14.Vključenost v projekte za uporabnike, ki so v obdobju trajanja raziskovalnega programa (1.1.2009-31.12.2014) potekali izven financiranja ARRS16 SLO_ Projekti za naročnike v industriji, družbeni in kulturni dejavnosti: • Dokumentacija rimske tovorne ladje v Ljubljanici blizu Vrhnike, projekt za Zavod za varstvo kulturne dediščine Slovenije, 2012. • Svetovanje pri zajemu in modeliranju 3D podatkov v arheologiji, Magelan d.o.o., 2011- • KC CLASS - Storitve podprte z računalništvom v oblaku, Projekt strukturnih skladov, 3211-10000467,2011-2013 • KC OPCOMM - Odprta komunikacijska platforma za integracijo storitev, Projekt strukturnih skladov, 3211-10-000468, 2011-2013 • Sistem za razpoznavo prstnih odtisov, 2011 -2013 • Detekcija teksta v slikah naravnih scen, Iks, d.o.o. 2009-2013 • Razpoznavanje ljudi po načinu hoje, Mega M d.o.o., 2011-2014 • Študentski projekt: Fotogrametrično zajemanje 3D podatkov, projekt »Po kreativni poti do praktičnega znanja« s podjetjem 3dimenzija d.o.o., 2014 • Študija za integracijo interaktivne računalniške instalacije v arhitekturo nove stavbe FRI, projekt »Po kreativni poti do praktičnega znanja« s podjetjem Genius Loci, 2014 • Študija in primerjava naprednih metod računalniškega vida za modeliranje stopal v realnem okolju, projekt »Po kreativni poti do praktičnega znanja« s podjetjem UCS d.o.o., 2014 • V Laboratoriju za umetne vizualne spoznavne sisteme smo razvili napredni interaktivni sistem, ki lahko vsako ravno površino spremeni v večdotični uporabniški vmesnik. Kot primer interaktivnega uporabniškega vmesnika prihodnosti je ta sistem kot razstavni eksponat razstavljen v Slovenskem tehniškem muzeju v Bistri v sklopu gostujoče razstave GOTO 1982, razvoj računalniške kulture na Slovenskem. • za slovenska sodišča smo izdelali 12 sodnih ekspertiz s področja analize slik in videa. • Laboratorij za računalniški vid je sodeloval pri produkciji opere Orfej (2012) in pri krstni izvedbi opere Vojna in mir skladatelja Larrya Corryela (2014) skupaj še s tremi akademijami Univerze v Ljubljani. Strokovna dejavnost članov programske skupine: • Danijel Skočaj je član izvršilnega odbora Slovenskega društva za razpoznavanje vzorcev, v letih 2005-2009 pa je bil tudi predsednik tega stanovskega društva in je usmerjal njegovo delovanje. • Peter Peer je bil v letih od 2006 do 2014 predsednik odbora za računalništvo pri Slovenski sekciji IEEE. Letos je to funkcijo prevzel drugi član programske skupine Danijel Skočaj. • Franc Solina je bil v letih 2006 do 2010 dekan Fakultete za računalništvo in informatiko, ko so se prenovili študijski programi po bolonjski reformi in ko so se izdelovali arhitekturni načrti za novo stavbo FRI. 15.Ocena tehnološke zrelosti rezultatov raziskovalnega programa in možnosti za njihovo implementacijo v praksi (točka ni namenjena raziskovalnim programom s področij humanističnih ved)17 SLO Algoritmi za učenje hierarhije vizualnih delov za predstavitev in razpoznavanje kategorij predmetov so bili predmet nekaj poskusov komercializacije; trenutno so v fazi praktične implementacije tako v Sloveniji kot v Veliki Britaniji, ki bi lahko dvignila tehnološko zrelost razvitih metod do stopnje, ki bo primerna za uporabo v sistemih delujočih v realnem okolju. Ravno tako smo razviti sledilnik optimizirali in ga implementirali na operacijskih sistemih iOS in Android in je pripravljen na uporabo v sistemu za sledenje s pametnimi telefoni za kar smo v stikih s partnerji v ZDA. Nasploh zadnje čase veliko delujemo na področju mobilnega računalniškega vida, ki ima zaradi zelo velike razširjenosti pametnih mobilnih naprav z zmogljivimi kamerami in z velikimi računskimi zmogljivostmi velik tržni potencial. S komercialnega vidika je tudi zelo zanimiv sistem za napredno interakcijo med človekom in strojem, ki lahko poljubno ravno površino spremeni v večdotični uporabniški vmesnik. Sistem za analizo gledanosti digitalnih zaslonov je zrel za komercializacijo, saj smo z njim že naredili zelo uporabne raziskave, ki so relevantne predvsem za področje marketinga. Naše raziskave s področja zajema in analize 3D podatkov pa že prenašamo v prakso dokumentiranja v podvodni arheologiji. To aplikacijsko področje sicer ni komercialno zanimivo, zato bomo naše rezultate širili predvsem v obliki javno dostopne programske opreme. Kljub temu pa je samo področje analize 3D podatkov postalo zaradi množice novih in cenenih naprav za zajem 3D podatkov spet izredno pomembno. Podobno kot na področju arheologije, si prizadevamo naše znanje s področja računalniškega vida prenesti na področje digitalne humanistike. 16.Ocenite, ali bi doseženi rezultati v okviru programa lahko vodili do ustanovitve spin-off podjetja, kolikšen finančni vložek bi zahteval ta korak ter kakšno infrastrukturo in opremo bi potrebovali možnost ustanovitve spin-off podjetja DA NE potrebni finančni vložek 100.000 EUR ocena potrebne infrastrukture in opreme18 Algoritmi oz. aplikacije in sistemi omenjeni v poglavju 11 so v veliki meri pripravljeni za zaključni razvoj v končni izdelek. V ta namen se bo potrebno opremiti z ustrezno strojno in programsko opremo (računske zmogljivosti, pametni telefoni, kamere) in poskrbeti za končno produkcijo izdelkov. 17.Izjemni dosežek v letu 201419 17.1. Izjemni znanstveni dosežek Kot izjemni znanstveni dosežek v letu 2014 izpostavljamo publikacijo: KRISTAN, Matej, LEONARDIS, Aleš. Online discriminative kernel density estimator with Gaussian kernels. IEEE transactions on cybernetics, ISSN 2168-2267, 2014, vol. 44, no. 3, str. 355-365 [COBISS.SI-ID 9907284] We propose a new method for a supervised online estimation of probabilistic discriminative models for classification tasks. The method estimates the class distributions from a stream of data in the form of Gaussian mixture models (GMMs). The reconstructive updates of the distributions are based on the recently proposed online kernel density estimator (oKDE). We maintain the number of components in the model low by compressing the GMMs from time to time. We propose a new cost function that measures loss of interclass discrimination during compression, thus guiding the compression toward simpler models that still retain discriminative properties. 17.2. Izjemni družbeno-ekonomski dosežek Organizacija "The Visual Object Tracking VOT2014 challenge" na konferenci European Conference on Computer Vision, kjer so se pomerili najboljši sistemi za vizualno sledenje: KRISTAN, Matej, LEONARDIS, Aleš, ČEHOVIN, Luka, LUKEŽIČ, Alan, DIMITRIEV, Aleksandar, PANGERŠIČ, Dominik, OVEN, Franci, et al. The visual object tracking VOT2014 challenge results. V:VOT2014. [S. l.]: VOT Challenge, cop. 2014, str. 1-27, [COBISS.SI-ID 1536160963] The Visual Object Tracking challenge 2014, VOT2014, aims at comparing short-term single- object visual trackers that do not apply pre-learned models of object appearance. Results of 38 trackers are presented. The number of tested trackers makes VOT 2014 the largest benchmark on short-term tracking to date. C. IZJAVE Podpisani izjavljam/o, da: • so vsi podatki, ki jih navajamo v poročilu, resnični in točni; • se strinjamo z obdelavo podatkov v skladu z zakonodajo o varstvu osebnih podatkov za potrebe ocenjevanja in obdelavo teh podatkov za evidence ARRS; • so vsi podatki v obrazcu v elektronski obliki identični podatkom v obrazcu v papirnati obliki; • so z vsebino poročila seznanjeni in se strinjajo vsi izvajalci raziskovalnega programa. Podpisi: zastopnik oz. pooblaščena oseba vodja raziskovalnega programa: matične RO (JRO in/ali RO s in koncesijo): Univerza v Ljubljani, Fakulteta za Franc Solina računalništvo in informatiko ZIG Kraj in datum: Ljubljana 15.3.2015 Oznaka poročila: ARRS-RPROG-ZP-2015/173 1 Napišite povzetek raziskovalnega programa v slovenskem jeziku (največ 3.000 znakov vključno s presledki - približno pol strani, velikost pisave 11) in angleškem jeziku (največ 3.000 znakov vključno s presledki - približno pol strani, velikost pisave 11). Nazaj 2 Napišite kratko vsebinsko poročilo, v katerem predstavite raziskovalno hipotezo in opis raziskovanja. Navedite ključne ugotovitve, znanstvena spoznanja, rezultate in učinke raziskovalnega programa in njihovo uporabo ter sodelovanje s tujimi partnerji. V primeru odobrenega povečanja obsega financiranja raziskovalnega programa v letu 2014 mora poročilo o realizaciji programa dela zajemati predložen program dela ob prijavi in predložen dopolnjen program dela v letu 2014. Največ 12.000 znakov vključno s presledki (približno dve strani, velikosti pisave 11). Nazaj 3 Realizacija raziskovalne hipoteze. Največ 3.000 znakov vključno s presledki (približno pol strani, velikosti pisave 11). Nazaj 4 V primeru bistvenih odstopanj in sprememb od predvidenega programa dela raziskovalnega programa, kot je bil zapisan v predlogu raziskovalnega programa oziroma v primeru sprememb, povečanja ali zmanjšanja sestave programske skupine v zadnjem letu izvajanja raziskovalnega programa, napišite obrazložitev. V primeru, da sprememb ni bilo, navedite: "Ni bilo sprememb.". Največ 6.000 znakov vključno s presledki (približno ena stran, velikosti pisave 11). Nazaj 5 Navedite znanstvene dosežke (največ pet), ki so nastali v okviru izvajanja raziskovalnega programa. Raziskovalni dosežek iz obdobja izvajanja programa vpišete tako, da izpolnite COBISS kodo dosežka - sistem nato sam izpolni naslov objave, naziv, IF in srednjo vrednost revije, naziv FOS področja ter podatek, ali je dosežek uvrščen v A'' ali A'. Nazaj 6 Navedite družbeno-ekonomske dosežke (največ pet), ki so nastali v okviru izvajanja raziskovalnega programa. Družbeno-ekonomski dosežek iz obdobja izvajanja programa vpišete tako, da izpolnite COBISS kodo dosežka - sistem nato sam izpolni naslov objave, naziv, IF in srednjo vrednost revije, naziv FOS področja ter podatek, ali je dosežek uvrščen v A'' ali A'. Družbeno-ekonomski dosežek je po svoji strukturi drugačen kot znanstveni dosežek. Povzetek znanstvenega dosežka je praviloma povzetek bibliografske enote (članka, knjige), v kateri je dosežek objavljen. Povzetek družbeno-ekonomskega dosežka praviloma ni povzetek bibliografske enote, ki ta dosežek dokumentira, ker je dosežek sklop več rezultatov raziskovanja, ki je lahko dokumentiran v različnih bibliografskih enotah. COBISS ID zato ni enoznačen, izjemoma pa ga lahko tudi ni (npr. prehod mlajših sodelavcev v gospodarstvo na pomembnih raziskovalnih nalogah, ali ustanovitev podjetja kot rezultat programa ... - v obeh primerih ni COBISS ID). Nazaj Navedite rezultate raziskovalnega programa iz obdobja izvajanja programa v primeru, da katerega od rezultatov ni mogoče navesti v točkah 6 in 7 (npr. ker se ga v sistemu COBISS ne vodi). Največ 2.000 znakov vključno s presledki (približno 1/3 strani, velikost pisave 11). Nazaj 8 Pomen raziskovalnih rezultatov za razvoj znanosti in za razvoj Slovenije bo objavljen na spletni strani: http://www.sicris.si/ za posamezen program, ki je predmet poročanja. Nazaj 9 Največ 4.000 znakov vključno s presledki (približno 2/3 strani, velikost pisave 11). Nazaj 10 Največ 4.000 znakov vključno s presledki (približno 2/3 strani, velikost pisave 11). Nazaj 11 Upoštevajo se le tiste diplome, magisteriji znanosti in doktorati znanosti (zaključene/i v obdobju 1.1.2009-31.12.2014), pri katerih so kot mentorji sodelovali člani programske skupine. Nazaj 12 Vpišite število opravljenih diplom v času izvajanja raziskovalnega programa glede na vrsto usposabljanja. Nazaj 13 Vpišite šifro raziskovalca in/ali ime in priimek osebe, ki je v času izvajanja raziskovalnega programa pridobila naziv magister znanosti in/ali doktor znanosti ter označite doseženo izobrazbo. V primeru, da se je oseba usposabljala po programu Mladi raziskovalci, označite "MR". Nazaj 14 Za mlade raziskovalce, ki ste jih navedli v tabeli 11.2. točke (usposabljanje so uspešno zaključili v obdobju od 1.1.2009 do 31.12.2014), izberite oz. označite, kje so se zaposlili po zaključenem usposabljanju. Nazaj 15 Navedite naslove projektov in ime člana programske skupine, ki je bil vodja/koordinator navedenega projekta. Največ 6.000 znakov vključno s presledki (približno ena stran, velikosti pisave 11). Nazaj 16 Navedite naslove projektov, ki ne sodijo v okvir financiranja ARRS (npr: industrijski projekti, projekti za druge naročnike, državno upravo, občine idr.) in ime člana programske skupine, ki je bil vodja/koordinator navedenega projekta. Največ 6.000 znakov vključno s presledki (približno ena stran, velikosti pisave 11). Nazaj 17 Opišite možnosti za uporabo rezultatov v praksi. Opišite izdelke oziroma tehnologijo in potencialne trge oziroma tržne niše, v katere sodijo. Ocenite dodano vrednost izdelkov, katerih osnova je znanje, razvito v okviru programa oziroma dodano vrednost na zaposlenega, če jo je mogoče oceniti (npr. v primerih, ko je rezultat izboljšava obstoječih tehnologij oziroma izdelkov). Največ 3.000 znakov vključno s presledki (približno pol strani, velikosti pisave 11). Nazaj 18 Največ 1.000 znakov vključno s presledki (približno 1/6 strani, velikost pisave 11) Nazaj 19 Navedite en izjemni znanstveni dosežek in/ali en izjemni družbeno-ekonomski dosežek raziskovalnega programa v letu 2014 (največ 1000 znakov, vključno s presledki, velikost pisave 11). Za dosežek pripravite diapozitiv, ki vsebuje sliko ali drugo slikovno gradivo v zvezi z izjemnim dosežkom (velikost pisave najmanj 16, približno pol strani) in opis izjemnega dosežka (velikost pisave 12, približno pol strani). Diapozitiv/-a priložite kot priponko/-i k temu poročilu. Vzorec diapozitiva je objavljen na spletni strani ARRS http://www.arrs.gov.si/sl/gradivo/, predstavitve dosežkov za pretekla leta pa so objavljena na spletni strani http://www.arrs.gov.si/sl/analize/dosez/. Nazaj Obrazec: ARRS-RPROG-ZP/2015 v1.00b E5-B7-AB-D7-21-77-37-BC-DF-0A-BA-DB-4D-25-6F-FE-A5-A4-31-FA