Oznaka poročila: ARRS-RPROJ-ZP-2015/27 ТШ ZAKLJUČNO POROČILO RAZISKOVALNEGA PROJEKTA A. PODATKI O RAZISKOVALNEM PROJEKTU 1.Osnovni podatki o raziskovalnem projektu Šifra projekta J2-4284 Naslov projekta Učenje, analiza in detekcija gibanja v okviru hierarhične kompozicionalne vizualne arhitekture Vodja projekta 5896 Aleš Leonardis Tip projekta J Temeljni projekt Obseg raziskovalnih ur 8427 Cenovni razred Trajanje projekta 07.2011 - 06.2014 Nosilna raziskovalna organizacija 1539 Univerza v Ljubljani, Fakulteta za računalništvo in informatiko Raziskovalne organizacije -soizvajalke 106 Institut "Jožef Stefan" 1538 Univerza v Ljubljani, Fakulteta za elektrotehniko Raziskovalno področje po šifrantu ARRS 2 TEHNIKA 2.07 Računalništvo in informatika 2.07.07 Inteligentni sistemi - programska oprema Družbenoekonomski cilj Naravoslovne vede - RiR financiran iz drugih virov (ne iz SUF) Raziskovalno področje po šifrantu FOS 1 Naravoslovne vede 1.02 Računalništvo in informatika B. REZULTATI IN DOSEŽKI RAZISKOVALNEGA PROJEKTA 2.Povzetek raziskovalnega projekta1 SLO Zaznavanje gibanja ima osrednjo vlogo v bioloških vidnih sistemih. Za ljudi je uspešna analiza gibanja predpogoj za opravljanje številnih vsakdanjih opravil. Na primer, razpoznavanje aktivnosti in akcij ter njihova kategorizacija sta ključnega pomena za zavedanje okolja ter za interakcijo z okolico. To je ključna funkcionalnost, ki bi jo želeli posnemati v umetnih zaznavnih sistemih. Vendar pa klasični pristopi k razpoznavanju aktivnosti niso splošni in se zelo slabo skalirajo. Zato raziskovalci nenehno iščejo nove paradigme, ki bi omilile te težave. Znanstveni dosežki v zadnjem desetletju, še posebej na področju nevrologije, so nam ponudili navdih in spoznanja, kako bi zasnovali nove pristope na področju računalniškega vida. Naš namen ni dosledno modeliranje funkcionalnosti človeških možganov, pač pa predvsem izboljšati delovanje metod računalniškega vida z upoštevanjem načel, ki izvirajo iz nevroloških spoznanj. Eno takšnih načel predstavlja koncept hierarhične kompozicionalnosti, ki je bil že uspešno uporabljen pri načrtovanju sodobnih metod kategorizacije objektov. V primerjavi z ostalimi sodobnimi pristopi omogočajo pristopi, ki temeljijo na hierarhični kompozicionalnosti, precej učinkovitejšo rabo računalniških virov (resursov). To dosežejo prek so-uporabe tako enot predstavitve znanja kot tudi izračunov, ter s prenosom znanja, kar izjemno poveča učinkovitost učenja. Projekt je zajemal celostni pristop k učenju, detekciji, sledenju in razpoznavanju oziroma kategorizaciji vizualnega gibanja ter pojavov, ki izhajajo iz gibanja. Pri tem so bile osnova paradigma učenja večplastnih hierarhičnih modelov in podporne funkcionalnosti, ki jih takšen pristop zahteva. Posamezne sestavine tega pristopa, kot so hierarhična obdelava, kompozicionalnost in inkrementalni pristop, so bile sicer že predmet raziskav, vendar še ne obravnavane v enotnem okviru s primarnim namenom analize gibanja. Takšen okvir, skupaj s podporno funkcionalnostjo, je bistvenega pomena za robustnost, prilagodljivost, enostavnost učenja, sklepanje, generalizacijo, delovanje v realnem času, prenos znanja in skalabilnost. Glavni znanstveni izziv je predstavljalo oblikovanje struktur in učnih procesov, ki bi omogočili učinkovito učenje robustnih, razširljivih in splošnonamenskih vizualnih predstavitev gibanja, s katerimi bi olajšali izvedbo različnih z gibanjem povezanih nalog v realnih okoljih. Izkazalo se je, da so pomembna komponenta podporne funkcionalnosti, kot sta na primer lokalizacija in sledenje objektov (ki ju lahko izvedeno na podlagi kompozicionalnega modela, primernega za sledenje). Druga pomembna ugotovitev pa je, da je velik izziv tudi izbor ustreznih metod za vrednotenje rezultatov, oziroma predstavlja izziv celo način vrednotenja smiselnosti modelov. ANG Perception of motion plays a central role in biological visual systems. For humans, successful motion processing is a prerequisite for accomplishing many everyday tasks. For example, action and activity recognition and categorisation are of crucial importance for the awareness of one's environment and for interaction with one's surroundings. This is the key functionality that is sought in artificial intelligent systems (robots) as well. However, the classic approaches to this problem are neither general, nor do they scale well. Consequently, new paradigms that would alleviate these shortcomings are constantly sought. Scientific advances in the past decade, especially in the field of neuroscience, have provided us with inspiration and insights that have given rise to novel approaches in computer vision. Far from duplicating the functionality of the human brain, they instead aim to improve the performance of computer vision methods by utilizing a selection of biologically-inspired design principles. One such principle is the concept of hierarchical compositionality, which has been already exploited in the design of state-of-the-art object categorization methods. Compared to the other state-of-the-art methods, the approaches based on hierarchical compositionality allow for much more efficient use of available computational resources. This is achieved through sharing of both the representation units and the computations, and by transferring the knowledge, which makes the learning process much more efficient. The project took a holistic approach towards learning, detection, tracking and recognition / categorisation of the visual motion and the phenomena derived from it, all based on the paradigm of learning multi-layer compositional hierarchies and supporting functionality which is required by such an approach. While individual ingredients, such as the hierarchical processing, compositionality and incremental learning, have already been subjects of research, they have thus far not been treated in a unified motion-related framework. Such a framework is crucial for robustness, versatility, ease of learning and inference, generalisation, real-time performance, transfer of the knowledge, and scalability. The main scientific challenge was the design of structures and the learning process for enabling efficient learning of robust, extendable, and general-purpose visual representations that would facilitate the execution of various motion-related tasks in the real-world settings. We discovered significant importance of support functionality, such as object tracking and localization (which can, by itself, be implemented in a compositional way). Another important finding is the significance of proper benchmarks for these tasks, which are needed for establishing the baseline for evaluation and comparison of the competing approaches, and, even further, for evaluating the rationality of the learned models. 3.Poročilo o realizaciji predloženega programa dela na raziskovalnem projektu2 V okviru prvega delovnega paketa (DP1-Kompozicionalna hierarhija za analizo gibanja) smo zasnovali nizkonivojske deskriptorje, ki tvorijo enostavno, vendar dovolj dobro in informativno podlago za naslednje nivoje hierarhije. Pri tem smo se opirali na izkušnje iz že razvite hierarhije za razpoznavo oblik. Razvit in implementiran je bil torej osnovni nivo hierarhije [1], ki temelji na detekciji velikega števila značilnih točk na večih nivojih podrobnosti. Tako dobimo, odvisno od parametrov, večje ali manjše število točk na vsaki sliki, časovno zaporedje takšnih slik pa opisuje praktično vse gibanje, ki je prisotno v sekvenci. Gre za značilne točke, ki so sorodne kompleksnejšim detektorjem (npr. SIFT). Ker sekvenca takšnih točk dobro predstavlja gibanje, druga informacija pa je v veliki meri odstranjena, lahko na ta način zgradimo "čisto" predstavitev gibanja brez elementov oblike. Iz zaporedja slik se izločijo preproste značilnice gibanja - redki vektorji gibanja, ki ustrezno kvantizirani vstopijo v hierarhično shemo. S ponovitvijo takšne obdelave na večih skalah dosežemo določen nivo invariance na merilo. Naslednji del modela je hierarhična kompozicionalna shema [1], ki s pomočjo učenja po posameznih kompozicionalnih slojih gradi vedno kompleksnejše elemente kompozicije, ki predstavljajo vedno kompleksnejše elemente gibanja. Učenje takšne sheme je postopno -najprej naučimo nižje sloje s pomočjo učne množice slik oziroma posnetkov, dobimo odziv naučenega sloja, in s pomočjo teh podatkov učimo višji sloj. Tretji del modela je sloj, ki izvaja vzorčenje in razvrščanje posnetkov, in je zasnovan, kot je opisano v [4], pri čemer sta struktura histograma zaradi časovnoprostorske predstavitve nekoliko prilagojena - segmenti histograma so enakomerno razporejeni po času in sam zajem podatkov v histogram je prostorsko invarianten. Na ta način smo na bazi UCF Sports dobili najboljše rezultate od vseh pristopov, ki temeljijo samo na gibanju [1]. Model smo nadgradili s funkcionalnostjo, ki v zasnovo vnese tudi elemente oblike. Izkazalo se je, da združevanje modelov oblike in gibanja na nizkem nivoju ni smiselno, saj nizkonivojski elementi gibanja in oblike načeloma nimajo močnih statistično pomembnih soodvisnosti pojavljanja. Zato smo uporabili alternativen pristop, kjer smo izločili višjenivojske značilnice gibanja (optični tok, detekcije objektov) in iskali statistične povezave med pojavnostjo le-teh na višjem nivoju. V okviru drugega delovnega paketa (DP2 Eksperimentalna evalvacija) sta bili zajeti dve zbirki podatkov. Prva zbirka je sestavljena iz 1200 posnetkov gibanja humanoidnega robota HOAP-3. Zajem podatkov je bil načrtovan tako, da je bilo izbranih 18 aktivnosti, ki ustrezajo elementom borilnih veščin. Vsaka aktivnost je bila posneta s treh različnih zornih kotov, v gibanje robota pa smo vnesli različne nivoje motilnega signala. Poleg nadzorovanih parametrov je pomembna lastnost te zbirke posnetkov tudi odsotnost konteksta gibanja (torej oblik in gibanj v ozadju in v okolici). Ker je bilo gibanje robota zajeto v laboratorijskem okolju z enostavnim ozadjem, je praktično nemogoče, da bi se metode, ki temeljijo na kompleksnih deskriptorjih, nekontrolirano naučile konteksta gibanja, kar nam je omogočilo bolj realistično testiranje našega in konkurenčnih pristopov k analizi gibanja. Tako je nastala zbirka Robowood(1-8), ki ima popolnoma enako strukturo kot široko uporabljana zbirka Hollywood2 in torej ne zahteva velikih posegov v eksperimentalno kodo, ki je že pisana za Hollywood2. Zbirka bo v prihodnosti objavljena na spletni strani projekta. Druga zbirka podatkov je sestavljena iz več ur televizijskega programa različnih žanrov (risanke, non-stop informativni program, itd). Ta zbirka je služila učenju hierarhije [1]. V nadaljevanju projekta smo uporabljali standardni zbirki podatkov Holywood2 in UCF Sports, ter s strani avtorjev zbirk predpisano metodologijo vrednotenja. V okviru tretjega delovnega paketa (DP3 Učinkovita implementacija modela) smo odkrili dve točki, na katerih se pojavljajo ozka grla pri inferenci ali učenju. Prvo ozko grlo nastopi pri iskanju korespondenc med množico neoznačenih točk na najnižjem nivoju hierarhije, ter pri iskanju parov delov, ki so kandidati za sestavljanje kompozicije. Oba problema smo rešili s pomočjo masivno vzporedne izvedbe ustreznega dela kode na grafičnih procesorjih - GPU, kar je spravilo čas izvajanja v sprejemljiv okvir. Drugo ozko grlo je učenje slojev kompozicionalnega modela. Ta problem smo najprej rešili z uporabo večjedrne arhitekture in optimizacijskih metod, ki so prilagojene za vzporedno delovanje (genetski algoritem). Učenje namreč predstavlja optimizacijo z dvema nasprotujočima si kriterijema - poskušamo doseči čimboljšo "pokritost" vhodnih podatkov na vsakem sloju, obenem pa čimbolj zmanjšati potrebno velikost slovarja učenega sloja. V uporabljenem modelu optimiziramo linearno kombinacijo obeh kriterijskih funkcij, možno pa bi bilo uporabiti tudi metode, specifično razvite v okviru projekta za probleme večkriterijske optimizacije [6]. Razvili smo tudi rešitev za porazdeljeno vzporedno procesiranje, ki se je za uspešno izkazala na kompozicionalnem modelu oblike [7]. V okviru četrtega delovnega paketa (DP4 Diseminacija) je bila najprej postavljena spletna stran www.himomodel.si, na kateri objavljamo za širšo javnost zanimive informacije o projektu. Diseminacija je potekala ves čas trajanja projekta [1-12]; poleg objavljanja člankov v revijah in na znanstvenih konferencah diseminacija poteka tudi v obliki sodelovanja s tujimi raziskovalci. Tako so Matej Kristan, Domen Tabernik in Janez Perš v skupaj šestih obiskih preživeli šest mesecev na univerzi v Birminghamu, kjer so predstavili rezultate svojega dela. Diseminacija poteka tudi v obliki organizacije dogodkov, kjer nastopajo člani projekta kot organizatorji ali soorganizatorji konferenc, delavnic ali znanstvenih tekmovanj (challenges) [14]. Nekaj od navedenih člankov je v razširjeni obliki v postopku oddaje ali sprejema v revije ali konference, in sicer [2,4,8]. Pripravljamo pa tudi članek na temo kombinirane hierarhije gibanja in oblike, ki bo poslan na ICCV 2015. Ugotovitve: 1) S kompozicionalno hierarhijo, ki zajema samo gibanje, je na nekaterih bazah, npr. bazi športnih posnetkov UCF Sports, kjer je zelo pomemben način gibanja, možno priti do zelo dobrih rezultatov. Po drugi strani pa je takšna hierarhija premalo informativna za kompleksne aktivnosti, kjer kontekst aktivnosti določajo tudi objekti na sceni. 2) Združevanje oblike in gibanja na nižjih slojih obeh hierarhij ni produktivno; nižji sloji so presplošni in je zato pojavnost kombinacij posameznih elementov različnih hierarhij na teh slojih premalo specifična. 3) Generativni modeli (torej tudi kompozicionalni hierarhični modeli) se preko maksimizacije moči pojasnjevanja podatkov naučijo zakonitosti, ki so v največji meri prisotne v podatkih. Vpogled v kompozicije, ki so nastale ob učenju, nam omogoča analizo naučenih zakonitosti. Tako se model čistega gibanja na preprostih posnetkih (npr. risanke) nauči dominatnega gibanja, ki zajema predvsem premikanje kamere (t.i. egomotion), kljub temu pa zelo dobro deluje na bazi športnih posnetkov UCF Sports. To priča tudi o pristranskosti zbirke, saj to pomeni, da so glavne značilnosti za razpoznavanje aktivnosti v teh posnetkih gibanje kamere, ne pa samo gibanje oseb. Na podlagi tega domnevamo, da je problem še bolj izrazit pri konkurenčnih metodah globokega učenja (globoke nevronske mreže, deep neural networks), ki za razliko od hierarhičnih kompozicionalnih modelov ne omogočajo vpogleda v naučene zakonitosti po posameznih slojih.4) Zaradi tega je bistvenega pomena za učenje to, da omejimo fokus učenja na objekte, ki prinašajo pomembno informacijo v širši prizor, v katerem nastopa gibanje. Do podobnega zaključka smo v okviru projekta prišli ločeno tudi pri snovanju kompozicionalnega hierarhičnega pristopa za učenje robota [8]. Najpreprostejša rešitev tega je zunanja informacija o tem, kaj je na sliki pomembno za dani problem (informacija o smeri pogleda človeških opazovalcev, če jo imamo), nekoliko bolj zahtevna rešitev pa je sledenje objektov [2,3,9], ki ga je možno realizirati tudi s pomočjo ustreznega hierarhičnega kompozicionalnega modela. 5) Kompozicionalni hierarhični modeli niso privlačni samo zaradi lastnosti, zaradi katerih smo jih začeli raziskovati [5], ampak so po naravi primerni tudi za preslikavo na porazdeljene sisteme računalniškega vida, kot na primer [10,11]. [1] PERŠ, J., KRISTAN, M., MANDELJC, R., KOVAČIČ, S., LEONARDIS, A. Hierarhična kompozicionalna arhitektura za detekcijo in razpoznavanje aktivnosti. Elektrotehniški vestnik, 2013, letn. 80, št. 5, str. 258-265 [COBISS.SI-ID 10433364] [2] ČEHOVIN, L., LEONARDIS, Aleš, KRISTAN, Matej. An improved part-based model for visual tracking. ERK 2014, str. 84-87 [COBISS.SI-ID 1536159939]. (Razširjena verzija članka je bila poslana na ugledno mednarodno konferenco iz področja računalniškega vida) [3] ČEHOVIN, L., KRISTAN, M., LEONARDIS, A. Is my new tracker really better than yours?. V: WACV 2014. [COBISS.SI-ID 10535764] [4] TABERNIK D., KRISTAN M., BOBEN M., SKOCAJ D., LEONARDIS A., Adding discriminative power to a generative hierarchical compositional model using histograms of compositions, Technical Report TR-VICOS-2015-01. Razširjena verzija tega tehničnega poročila je bila poslana v objavo v revijo Computer Vision and Image Understanding (CVIU) in je v drugem krogu revizije. [5] KRÜGER, N., JANSSEN, P., KALKAN, S., LAPPE, M., LEONARDIS, A., PIATER, J., RODRIGUEZ-SANCHEZ, A. J., WISKOTT, L. Deep hierarchies in the primate visual cortex : what can we learn for computer vision?. IEEE TPAMI 35(8): 1847-1871, 2013 [COBISS.SI-ID 10445908] [6] DEPOLLI, M., TROBEC, R., FILIPIČ, B. Asynchronous master-slave parallelization of differential evolution for multiobjective optimization. Evolutionary computation 21(2):261-291, 2013 [COBISS.SI-ID 25824807] [7] TABERNIK, D., KRISTAN, M., BOBEN, M., LEONARDIS, A. Towards a large-scale category detection with a distributed hierarchical compositional model. ERK 2014 [COBISS.SI-ID 1536159427] [8] BEVEC, R., UDE, A., Building Object Models Through Interactive Perception and Foveated Vision, Advanced Robotics 29, 2015 (in print). [9] MANDELJC, R., KOVAČIČ, S., KRISTAN, M., PERŠ, J. Non-sequential multi-view detection, localization and identification of people using multi-modal feature maps. ACCV2012 [COBISS.SI-ID 9766740] [10] SULIĆ, V., PERŠ, J., KRISTAN, M., KOVAČIČ, S. Efficient feature distribution for object matching in visual-sensor networks. IEEE TCSVT 21(7):903-916, 2011. [11] SULIĆ K. V., MANDELJC, R., KOVAČIČ, S., KRISTAN, M., HAJDINJAK, M., PERŠ, J. Visual re-identification across large, distributed camera networks. Image and Vision Computing 34:1126, 2015. [COBISS.SI-ID 10896980] [12] KRISTAN, M., LEONARDIS, A., ČEHOVIN, L., LUKEŽIČ, A., DIMITRIEV, A., PANGERŠIČ, D., OVEN, F., et al. The visual object tracking VOT2014 challenge results. V: VOT2014. [S. l.]: VOT Challenge, cop. 2014, str. 1-27 4.Ocena stopnje realizacije programa dela na raziskovalnem projektu in zastavljenih raziskovalnih ciljev3 Ocenjujemo, da so bili cilji projekta v celoti uresničeni. V okviru delovnega paketa 1 smo razvili nizkonivojske značilnice ter zasnovali kompozicionalno hierarhično shemo za učenje modela gibanja. Razvili smo dve različici modela, ki povezuje gibanje in obliko, od katerih se je nizkonivojska varianta izkazala za neperspektivno. V okviru delovnega paketa 2 smo zajeli predvideno zbirko podatkov - posnetke gibanja humanoidnega robota. Na tej zbirki smo izvedli razvoj našega kompozicionalnega modela, ter prve teste naših in konkurenčnih pristopov. Z uporabo naše zbirke smo dosegli, da se je metoda učila izključno gibanja. Nadaljevali smo s testiranji na uveljavljenih standardnih zbirkah UCF Sports in Hollywood2, pri čemer smo na UCF Sports dosegli glede na preprosto zasnovo modela izjemno dobre rezultate. V okviru delovnega paketa 3 smo razvili več načinov za optimalno izvedbo algoritma učenja, in že z vzporedno izvedbo na večjedrnem procesorju in grafični procesni enoti dosegli bistveno izboljšanje. Razvili smo tudi metode za porazdeljeno procesiranje, ki omogočajo obdelavo večjih količin podatkov. V okviru delovnega paketa 4 smo skozi obdobje trajanja projekta objavljali članke v kvalitetnih revijah in na uglednih konferencah. Več publikacij je v postopku recenzije, trenutno pa še pripravljamo pomembnejšo krovno publikacijo, ki bo zajela vsa dognanja na projektu. 5.Utemeljitev morebitnih sprememb programa raziskovalnega projekta oziroma sprememb, povečanja ali zmanjšanja sestave projektne skupine4 Sprememb raziskovalnega projekta ni bilo. 6.Najpomembnejši znanstveni rezultati projektne skupine5 Znanstveni dosežek 1. COBISS ID 10535764 Vir: COBISS.SI Naslov SLO Ali je moj novi sledilnik resnično boljši od tvojega? ANG Is my new tracker really better than yours? Opis SLO Zanesljivo vizualno sledenje pozitivno vpliva na različne tehnike analiziranja gibanja, saj se lahko uporabi v koraku pred-procesiranja za stabilizacijo regije, za odstranjevanje obsežnega gibanja in omogoča podrobno analizo nizko-nivojskega gibanja. Vendar vprašanje, kaj predstavlja "dobro" sledenje, do sedaj ni bilo popolnoma zadovoljivo naslovljeno. Problem evaluacije vizualnega sledenja ponuja obilico mer zmogljivosti, vendar pogosto trpi zaradi pomankanja konsenza o izbiri ustreznih mer. To otežuje primerjavo sledilnikov med različnimi članki in hitrejši razvoj področja. Članek prispeva h kritični analizi popularnih mer za evaluacijo zmogljivosti kratkoročnega sledenja in jih eksperimentalo evaluira z obširnimi eksperimenti sledenja. Prav tako je bila narejena analiza različnih vizualizacij mer zmogljivosti. Rezultati nakazujejo, da je več mer povsem ekvivalentnih z vidika informacije, ki jo zagotovijo za srednje-nivojsko cenilko primerjave gibanja in, pomembneje, da so nekatere bolj krhke kot druge. Glede na analizo je primerjava ukrepov zožena na le nekaj komplementarnih mer, s čimer se pribljižujemo homogenizaciji metodologije evaluacije. ANG Reliable visual tracking is beneficial for various techniques of motion analysis, as it can be applied as a preprocessing step for region stabilization, removing the large-scale motions and enabling detailed low-level motion analysis. But the question of what constitutes "good" tracking has not been fully addressed so far. The problem of visual tracking evaluation thus offers an abundance of performance measures, but largely suffers from lack of consensus about which measures should be preferred. This is hampering the cross-paper tracker comparison and faster advancement of the field. The paper provided a critical analysis of the popular measures for short-term tracking performance evaluation and evaluated them experimentally by a large-scale tracking experiment. Analysis of various visualizations of the performance measures was developed as well. Results show that several measures are equivalent from the point of information they provide for mid-level motion estimator comparison and, crucially, that some are more brittle than the others. Based on this analysis, the spectrum of available measures is narrowed down to only a few complementary ones, thus approaching towards homogenization of the evaluation methodology. Objavljeno v IEEE; WACV 2014; 2014; Str. 1 Matej, Leonardis Aleš -8; Avtorji / Authors: Čehovin Luka, Kristan Tipologija 1.08 Objavljeni znanstveni prispevek na konferenci 2. COBISS ID 10433364 Vir: COBISS.SI Naslov SLO Hierarhična kompozicionalna arhitektura za detekcijo in razpoznavanje aktivnosti ANG Hierarchical Compositional Architecture for Activity Detection and Recognition Opis SLO V tem članku predstavljamo nov pristop k razpoznavanju aktivnosti, ki temelji na preprostih nizkonivojskih značilnicah, ki zajemajo izključno gibanje, zaznano v posnetku. Te značilnice s pomočjo hierarhične kompozicionalne sheme v postopku učenja na enem samem kratkem učnem posnetku sestavljamo v vzorce gibanja, t.i. kompozicije. V postopku inference te vzorce poiščemo v analiziranih posnetkih, in jih vzorčimo v "vrečo kompozicij". Za razvrščanje uporabljamo razvrščevalnik SVM z jedrom hi-kvadrat. Postopek je računsko učinkovit in primeren za izvedbo na masovno-vzporednih arhitekturah. Zaradi kompozicionalne narave je vzorce gibanja mogoče učinkovito zapisati, učimo pa jih lahko postopoma, sloj za slojem. Postopek omogoča hitro inferenco, končni vektorji značilnic pa so razmeroma nizkodimenzionalni, s čimer dosežemo tudi hitro učenje razvrščevalnika. Predstavljena metoda dosega na standardni zbirki UCF Sports najboljše rezultate med metodami, ki temeljijo izključno na gibanju. ANG We present a novel approach to activity recognition, which is based on primitive features that encode pure motion. These are coupled with a hierarchical scheme to learn motion patterns (compositions) from a single short training video. During the inference process, these learned patterns are extracted from the analyzed videos and used with chi-square SVM classifier in a "bag of compositions" approach. The process is computationally efficient and the method is well-suited for implementation on massively parallel architectures. Due to their compositional nature, motion patterns can be trained incrementally (layer by layer) and stored efficiently. Inference is fast and the final feature vectors are of relatively low dimension, thus enabling fast classifier training. On the standard UCF Sports Action Dataset, the presented method outperforms pure-motion-based state-of-the art approaches. Objavljeno v Elektrotehniška zveza Slovenije; Elektrotehniški vestnik; 2013; Letn. 80, št. 5; str. 258-265; Avtorji / Authors: Perš Janez, Kristan Matej, Mandeljc Rok, Kovačič Stanislav, Leonardis Aleš Tipologija 1.01 Izvirni znanstveni članek 3. COBISS ID 25824807 Vir: COBISS.SI Naslov SLO Asinhrona paralelizacija diferencialne evolucije za večkriterijsko optimizacijo po metodi gospodar-suženj ANG Asynchronous master-slave parallelization of differential evolution for multiobjective optimization Opis SLO Članek opisuje paralelno asinhrono izvedbo evolucijskega optimizacijskega algoritma za več-kriterijsko optimizacijo DEMO, paraleliziranega po principu gospodar-suženj. Implementacija razširja DEMO iz zaporednega, v algoritem, ki se lahko izvaja na več medsebojno povezanih več-procesorskih računalnikih. Paralelizacija dosega visoko učinkovitost tudi na heterogenih računalniških sistemih. Članek opisuje vzporedni algoritem, njegove razlike v primerjavi z zaporednim in uvaja novo merilo nivoja paralelnosti za evolucijske algoritme. ANG Paper describes a parallel asynchronous master-slave implementation of DEMO, an evolutionary algorithm for multiobjective optimization. The implementation extends the use of DEMO from single-processor use, to multiple interconnected multi-processor computers. It achieves high efficiency even on heterogeneous computer architectures. The paper describes a parallel algorithm, its differences from the serial algorithm, and introduces a new measure of parallelism efficiency for the evolutionary algorithms. Objavljeno v MIT Press; Evolutionary computation; 2013; Vol. 21, no. 2; str. 261-291; Impact Factor: 3.733;Srednja vrednost revije / Medium Category Impact Factor: 1.11; A': 1; WoS: EP, EX; Avtorji / Authors: Depolli Matjaž, Trobec Roman, Filipič Bogdan Tipologija 1.01 Izvirni znanstveni članek 4. COBISS ID 0 Vir: vpis v poročilo Naslov SLO Interaktivno zaznavanje in fovealni vid za izgradnjo objektnih modelov ANG Building Object Models Through Interactive Perception and Foveated Vision Opis SLO Avtonomni roboti, ki delujejo v nestrukturiranih okoljih, morajo pogosto rokovati z objekti, ki jih še ne poznajo. Zato morajo biti sposobni stalno dopolnjevati svojo zbirko znanja o objektih. V tem članku smo predlagali novo metodo za inkrementalno učenje objektnih reprezentacij, ki temelji na detekciji gibanja v slikah in fovealnem vidu. Predlagali smo dve metodi za validacijo hipotez o objektih in eksperimentalno pokazali, da z uporabo fovealnega vida izboljšamo učenje objektnih reprezentacij. ANG Autonomous robots that operate in unstructured environments must be able to seamlessly expand their knowledge base. To identify and manipulate previously unknown objects, a robot should be able to acquire new object knowledge when no prior information about the objects or the environment is available. We propose to improve incremental visual object learning and recognition by exploiting motion cues, induced by interactive manipulation and foveated vision. We proposed two methods for validating object hypotheses in the foveal view and experimentally show the advantage of foveated vision for object learning. Objavljeno v R. Bevec, A. Ude (2015) Building Object Models Through Interactive Perception and Foveated Vision, Advanced Robotics, vol. 29, 2015 (in print). Tipologija 1.01 Izvirni znanstveni članek 5. COBISS ID 9669972 Vir: vpis v poročilo Naslov SLO Dodajanje diskriminativne komponente v generativni hierarhični kompozicionalni model z uporabo histograma kompozicij ANG Adding discriminative power to a generative hierarchical compositional model using histograms of compositions Opis SLO To delo se osredotoča na podrobno analizo diskriminativnih sposobnosti hierarhičnih kompozicionalnih modelov, kjer identificiramo kombinacijo uporabe izključno generativnega učenja ter pretiranega deljenja značilk kot pomemben vzrok za slabo diskriminativno sposobnost. Histogram kompozicij (Histogram of Compositions) je vpeljan kot ustrezna rešitev, ki naslovi ta problem. Predlagana rešitev je neodvisna od specifičnih modalnosti, kar omogoča apliciranje tako na značilke oblike, kot tudi na značilke 3D informacije, gibanja in zvoka. HoC izboljšuje diskriminativno zmogljivost z združevanjem informacije visoko-nivojske detekcije z nizko-nivojskimi značilkami, ki so pomembne za diskriminacijo. Rešitev apliciramo na problem detekcije objektov z uporabo značilnic oblike in z obsežno evaluacijo na petih slikovnih zbirkah pokažemo bistveno izboljšanje celovite zmogljivosti. Razširjena verzija tega tehničnega poročila je bila poslana v objavo v revijo Computer Vision and Image Understanding in je prestala prvi krog recenzij. ANG This work focuses on a detailed analysis of discriminative capabilities of a hierarchical compositional model, where we have identified the use of only generative learning, combined with excessive feature sharing as an important factor contributing to poor discriminative performance. Histogram of Compositions is introduced as a viable solution to address this issue. It is independent of specific modalities, which allows its application to shape features, as well as to 3D, motion, or music features. HoC improves the discriminative power by merging the high-level detection information with the low-level features that are important for discrimination. We apply our solution to the problem of object detection using shape-specific features, where an extensive evaluation on five datasets shows a significant improvement of the overall detection performance. The extended version of this technical report has been submitted to the journal Computer Vision and Image Understanding and has passed the first round of reviewing. Objavljeno v Domen Tabernik, Matej Kristan, Marko Boben, Danijel Skocaj, Aleš Leonardis: Adding discriminative power to a generative hierarchical compositional model using histograms of compositions, Tehnično poročilo TRVICOS201501; V postopku sprejema v Computer Vision and Image Understanding Tipologija 1.01 Izvirni znanstveni članek 7.Najpomembnejši družbeno-ekonomski rezultati projektne skupine6 Družbeno-ekonomski dosežek 1. COBISS ID 1536160963 Vir: COBISS.SI Naslov SLO Rezultati izziva na temo vizualnega sledenja objektov VOT2014 ANG The visual object tracking VOT2014 challenge results Opis SLO Več članov projekta ima vlogo vodilnih organizatorjev pri izzivu v kratkoročnem vizualnem sledenju objektov (ang. visual object tracking challenges), VOT. Cilj tekmovanja je obširna distribuirana primerjava tehnik ocenjevanja srednjenivojskega gibanja in vzpostavitve splošne metodologije evaluacije zmogljivosti v ocenjevanju kratkoročnega srednjenivojskega gibanja in sledenja. Odbor VOT tekmovanja je mednaroden in vključuje več partnerjev iz Slovenije, Velike Britanije, Avstrije, Republike Češke, Avstralije in Švedske. Člani odbora so vodilni metodologi, analitiki in znanstveni koordinatorji. Poleg izziva so organizirali tudi dve delavnici na glavnih konferencah za računalniški vid, VOT2013 na ICCV2013 in VOT2014 na ECCV2014. Tako izziv kot tudi delavnice so bili sprejeti z zelo pozitivnim odzivom iz skupnosti; samo na izziv VOT2014 je svoje rezultate oddalo prek 50 avtorjev. Seznam vključuje tako avtorje z univerz kot tudi iz industrije. Rezultati so bili objavljeni v članku s preko 50 soavtorji. Znotraj delavnice ima vodja projekta redna vabljena predavanja o metodologiji in rezultatih obeh izzivov. V letu 2014/15 je glavna odprtokodna skupnost v računalniškem vidu, OpenCV, objavila razpis za več izzivov v ačunalniškem vidu; za izziv v sledenju so izbrali podatkovne zbirke, ki so bile sestavljene v okviru izziva VOT2014. Several project members are main organizers of short-term visual object tracking challenges, VOT. The aim of the challenges is large-scale distributed comparison of mid-level motion estimation techniques and establishing a common performance evaluation methodology in short-term ANG mid-level motion estimation and tracking. The VOT project committee is international and includes partners from Slovenia, Great Britain, Austria, Czech Republic, Australia, and Sweden. The members of the project committee are lead methodologists, analysts and scientific coordinators. In addition to the challenges, they also organized two workshops at main computer vision conferences: VOT2Ü13 at ICCV2013, and VOT2Ü14 at ECCV2014. Both challenges as well as the workshops have received a highly positive response from the community. Over 50 authors have submitted their results to the VOT2014 challenge; the list included authors both from universities as well as industry. The results have been published in a 50+ co-author paper. Within the workshops, the project leader regularly gives invited talks on the challenges methodology and results. In 2014/15, the main open source library in computer vision, OpenCV, issued a call for several challenges in computer vision. For the tracking challenge, they have chosen the dataset that was developed as part of VOT2014 challenge. Šifra B.01 Organizator znanstvenega srečanja Objavljeno v VOT Challenge; VOT2014; 2014; Str. 1-27; Avtorji / Authors: Kristan Matej, Leonardis Aleš, Čehovin Luka, Lukežič Alan, Dimitriev Aleksandar, Pangeršič Dominik, Oven Franci Tipologija 1.08 Objavljeni znanstveni prispevek na konferenci 2. COBISS ID 28417319 Vir: COBISS.SI Naslov SLO Delavnica na konferenci ICRA 2014 na temo aktivnega vizualnega učenja in hierarhičnih vizualnih predstavitev za splošnonamenski robotski vid ANG ICRA 2014 Workshop on Active Visual Learning and Hierarchical Visual Representations for General-Purpose Robot Vision Opis SLO Dva člana projektne skupine, dr. Ude in projektni vodja dr. Leonardis, sta v okviru najpomembnejše svetovne konference s področja robotike, ICRA 2014, soorganizirala delavnico na temo aktivnega vizualnega učenja in hierarhičnih vizualnih predstavitev za splošnonamenski robotski vid. Poudarek delavnice je bil na razvoju ustreznih hierarhičnih predstavitev in mehanizmov učenja, ki bi omogočili pridobivanje novih vizualnih modelov in postopkov na inkrementalen način, podprt z robotskim delovanjem v svojem delovnem okolju. ANG Two members of the project group, dr. Ude and project leader dr. Leonardis co-organized workshop on active visual learning and hierarchical visual representations in conjunction with the major robotics conference ICRA 2014, held in Hong Kong in May 2014. The focus of the workshop was development of representations and learning mechanisms that provide capabilities to acquire new visual models and procedures in an incremental (developmental), open-ended way, grounded in the experiences of the robot acting in its working environment. Šifra B.01 Organizator znanstvenega srečanja Objavljeno v IEEE = Institute of Electrical and Electronics Engineers; ICRA 2014; 2014; Avtorji / Authors: Ude Aleš Tipologija 1.10 Objavljeni povzetek znanstvenega prispevka na konferenci (vabljeno predavanje) 3. COBISS ID 0 Vir: vpis v poročilo Naslov SLO Projekt za industrijo Motrr Galileo ANG Industrial project Motrr Galileo Rezultati tega projekta so bili aplicirani na industrijski projekt, v katerega so vključeni člani projektne skupine. Projekt vključuje razvoj avtomatske multimedijske naprave za video-konferenčne klice. Naši klienti razvijajo Opis SLO motorizirano stojalo za mobilni telefon, ki uporabniku omogoča izbiro in sledenje osebe, s katero imajo konferenčni klic, medtem ko se ta oseba prosto giblje po sobi. Razvijamo hiter in robusten cenilec gibanja in algoritem sledenja objektov, ki so zmožni delovanja na mobilnem telefonu in krmiljenja motoriziranega stojala za telefon. Pri tem smo uporabili hitri izračun gibanja in cenilke srednje-nivojskega gibanja, ki so bile razvite v okviru projekta. Tovrstne aplikacije predstavljajo velik iziv tako z znanstvenega kot tudi z aplikativnega vidika. Pričakujemo, da se bodo izkazale kot uporabne v širšem spektru mobilnih aplikacij, in našim klientom omogočile konkurenčno prednost v primerjavi z obstoječimi rešitvami na trgu. ANG Results of this project have been applied to an industrial project that the project group members are involved in. The project involves development of an automatic multimedia device for video-conference calls. Our client is developing a motorized stand for mobile phones that allows a user to select and track a person they are conferencing with while that person is moving around the room. We have developed fast and robust object motion estimation and tracking algorithms that are capable of running on a mobile phone and steering the motorized phone stand. To achieve that, we used fast motion computations and mid-level motion estimators, developed within this project. Such applications represents a major challenge both from scientific and application perspective, and are expected to prove useful in a variety of mobile applications beyond videoconference calls, giving our client a competitive advantage over other available solutions. Šifra F.17 Prenos obstoječih tehnologij, znanj, metod in postopkov v prakso Objavljeno v - Tipologija 2.21 Programska oprema 4. COBISS ID 513935129 Vir: vpis v poročilo Naslov SLO Članstvo v uredniškem odboru revije International journal of distributed sensor networks ANG Editorial board membership: International Journal of Distributed Sensor Networks. Opis SLO Član projektne skupine, Janez Perš, je v letu 2014 postal član uredniškega odbora revije International journal of distributed sensor networks (IJDSN), z JCR faktorjem vpliva IF=0.923. Revija objavlja članke s področja porazdeljenih senzorjev, in vključuje področje vizualnih senzorjev ter z njim povezane metode računalniškega vida. Član projektne skupine sodeluje v uredniškem odboru na področju vizualnih senzorjev in računalniškega vida. ANG Project group member, Janez Perš, became a member of the editorial board of International journal of distributed sensor networks (IJDSN) journal in year 2014. The journal has a JCR impact factor of IF=0.923. The scope of journal are distributed sensor networks, which includes visual sensors and related computer vision methods. The project group member's editorial duties lie in the field of visual sensors and computer vision. Šifra C.06 Članstvo v uredniškem odboru Objavljeno v International journal of distributed sensor networks. Perš, Janez (član uredniškega odbora 2014-). Philadelphia, PA: Taylor and Francis. ISSN 1550-1329. http://www.metapress.com/openurl.asp? genre=journal&issn = 1550-1329. [COBISS.SI-ID 513935129] Tipologija 4.00 Sekundarno avtorstvo 5. COBISS ID 9897556 Vir: COBISS.SI Naslov SLO Zasnova vgradne kamere/mrežnega vozlišča s poudarkom na uporabi metod računalniškega vida ANG Towards commoditized smart-camera design Opis SLO Skupina je razvila nizkocenovno vgradno kamero, ki ima možnost uporabe tudi v preprostih in cenenih ožičenih omrežjih. Bistveni lastnosti te kamere sta možnost stroškovno učinkovite proizvodnje tudi pri zelo majhnih serijah in možnost hitrega razvoja ter uporabe tudi zahtevnejših algoritmov računalniškega vida. Zaradi teh lastnosti je bila kamera, skupaj s programsko opremo za analizo gibanja ljudi, uporabljena kot ena od bistvenih komponent komercialnega sistema za vodenje inteligentnega bivalnega okolja, in je v okviru tega izdelka že na tržišču. ANG The group has developed a low-cost embedded camera that can be used as a visual sensor network node in inexpensive wired networks. The two distinctive features of this camera are the possibility of cost-efficient production even in extremely small volumes, and possibility of rapid development of computer vision algorithms that go beyond basic image processing found on most low-cost, low-performance embedded cameras. For these reasons, the camera, equipped with the software for analysis of human motion, was chosen as an important component of an intelligent environment controller, which is already commercially available on the market. Šifra F.17 Prenos obstoječih tehnologij, znanj, metod in postopkov v prakso Objavljeno v Elsevier; Journal of Systems Architecture; 2013; Vol. 59, part A; str. 847858; Impact Factor: 0.689;Srednja vrednost revije / Medium Category Impact Factor: 1.258; WoS: ES, EW; Avtorji / Authors: Murovec Boštjan, Perš Janez, Mandeljc Rok, Sulić Kenk Vildana, Kovačič Stanislav Tipologija 1.01 Izvirni znanstveni članek 8.Drugi pomembni rezultati projetne skupine7 Člani projektne skupine letos organizirajo mednarodno konferenco FG 2015 (11th IEEE International Conference on Automatic Face and Gesture Recognition), (http://www.fg2015.org), in sicer v naslednjih funkcijah: Aleš Leonardis (General Chair) Matej Kristan (Evaluation Chair), Danijel Skočaj (Publication Chair), Janez Perš (Demo & Exhibition Chair), Luka Čehovin (Web Chair). Člana projektne skupine Matej Kristan in Janez Perš sta v okviru svojega bivanja na univerzi v Birminghamu na vabljenih predavanjih predstavila svoje delo v okviru projekta. Članica projektne skupine, Vildana Sulić Kenk, je doktorirala oktobra 2011 z disertacijo: "Efficient feature distribution in visual-sensor networks". COBISS.SI-ID 8752212. Član projektne skupine Rok Mandeljc je v obdobju trajanja projekta zaključil delo na disertaciji s temo detekcije ljudi s pomočjo hierarhično zasnovane mape značilnic in bo predvidoma doktoriral aprila 2015. Člani projektne skupine razvijajo metode za analizo človeškega gibanja in ostajajo v stiku s praktičnimi aplikacijami modeliranja in analize gibanja tudi prek sodelovanja z raziskovalci s Fakultete za šport, kjer njihova dognanja uporabljajo pri analizi športnih iger. Primer rezultatov sodelovanja je študija gibalnih značilnosti elitnih igralcev in povezava z njihovo aktivnostjo (udarci) na pomembnem teniškem ATP turnirju (2013 Valencia Open 500) in analiza gibanja ter igralne taktike na evropskem prvenstvu v košarki (FIBA EuroBasket 2013). Pri obeh študijah je bil za merjenje gibanja igralcev uporabljen sistem za sledenje, ki so ga v preteklosti razvili člani projektne skupine. 9.Pomen raziskovalnih rezultatov projektne skupine8 9.1.Pomen za razvoj znanosti9 SLO_ Rezultati raziskovalnega projekta so v znanstvenem smislu neposredno pomembni tako za primarno znanstveno področje, to je področje računalniškega vida, kot tudi za razvoj področja analize gibanja. Učenje in razpoznavanje gibanja je ena od osrednjih raziskovalnih tem tako računalniškega kakor tudi umetnega kognitivnega vida. Razlog je v velikem znanstveno raziskovalnem izzivu in v pričakovanju, da bodo rešitve s tega področja uporabne v številnih avtomatskih sistemih, ki temeljijo na učinkovitem zaznavanju, sledenju in razpoznavanju gibanja. V projektu smo postavili novo paradigmo oblikovanja algoritmov in sistemov za zaznavanje ter interpretacijo gibanja. Osrednji prispevek je nov pristop, ki temelji na učenju kompozicionalnih hierarhičnih modelov strukture gibanja, in omogoča povezavo z zaznavo kategorij oblik, ne glede na to, ali je ta zasnovana kompozicionalno ali ne. To vodi h konsistentnejšemu pristopu obravnavanja gibanja in oblike, ki ga lahko dopolnimo še z tretjo komponento, to je kompozicionalno zasnovo sledenja objektov. Pomemben rezultat projekta je ugotovitev, da rezultat učenja generativnega modela (med katere sodijo tudi kompozicionalni hierarhični modeli) ni nujno splošno uporaben, tudi če model na uveljavljenih zbirkah posnetkov deluje dobro. Ta ugotovitev daje težo kompozicionalni hierarhični zasnovi pred drugimi načini globokega učenja (npr. nevronskimi mrežami), saj je pri ustrezno zasnovanem kompozicionalnem modelu možno preveriti, ali so strukture, do katerih pridemo z učenjem na posameznih slojih, smiselne. Pomembno preventivno vlogo morajo tu igrati načini, kako omejiti "pozornost" učenja, kar načeloma lahko dosežemo s sledenjem za aktivnost pomembnih objektov ali pa z dodatnim virom ne-vizualne informacije (npr. smerjo pogleda, angl. gaze direction), v primeru implementacije na robotu pa z uporabo drugih senzorjev, poleg vidne informacije. Hitre vzporedne izvedbe algoritmov pomenijo, da so rezultati uporabni na področju kognitivne robotike, kjer bodo rezultati projekta tako omogočili hitrejše in robustnejše zaznavanje in interpretacije gibanja, s tem pa tudi možnost izvrševanja kompleksnejših nalog in interakcije z okoljem in uporabniki. ANG_ Project results are directly relevant both to the primary scientific field, the field of computer vision, as well as the development of the motion analysis. Learning and motion recognition is one of the central topics of computer-, as well as artificial-cognitive vision. The reason is the significant scientific challenge and the applicability of the developed solutions for various automated systems that are based on efficient motion sensing, object tracking, and activity recognition. The main contribution of the project is a novel approach, based on learning of hierarchical compositional motion models, which provides a link to perception of the shape category, whether or not the shape is modelled in a hierarchical compositional way. This leads to a more consistent approach of treating the shape and motion, which can be augmented with the third component, i.e., tracking using properly adapted hierarchical compositional models. An important result of the project is realization that the result of learning the generative model (including hierarchical compositional models) is not necessary widely usable, even if the model works well on the established datasets. This realization speaks in favor of hierarchical compositional models over other learning strategies such as deep neural networks; with a properly-designed hierarchical compositional model, one can verify, layer by layer, whether the learned structures make semantical sense or not, in addition to the objective testing results.The developed framework requires some kind of a mechanism for limiting the "attention" during the training, which can be implemented either by tracking of the important objects in a scene, or with an additional source of non-visual information (e.g. gaze direction, if available, or nonvisual robot sensors).Fast parallel implementations increase the usability of the developed methods in the field of cognitive robotics. Therefore, in the field of cognitive robotics, the project results will enable faster and more robust detection and interpretation of motion. This will extend the possibility of achieving complex tasks and interactions with the environment and users. 9.2. Pomen za razvoj Slovenije10 SLO Analiza gibanja je pomemben del aplikacij prihodnosti, tako v videonadzornih in varnostnih sistemih, inteligentnih stavbah in nadzoru prometa, kot pri zabavi, igrah in športu. Znanje, ki ga je projektna skupina osvojila in diseminirala, pri čemer bo z diseminacijo rezultatov projekta še nadaljevala, ima znaten pomen za promocijo države, dostopanje do tujih znanj, vključevanje v mednarodno delitev dela in vzgojo kadrov. Projektna skupina je globoko vpeta v prenos znanja iz akademske sfere v praktično uporabo, kar kažejo družbenoekonomski dosežki v toku tega projekta. Rezultati tega projekta so bili aplicirani na industrijski projekt, ki vključuje razvoj avtomatske multimedijske naprave za video-konferenčne klice, ki uporabniku omogoča izbiro in sledenje osebe, s katero imajo konferenčni klic, medtem ko se ta oseba prosto giblje po sobi. Trenutno poteka intenzivno sodelovanje z raziskovalci s področja športa pri aplikacijah, ki vključujejo modeliranje gibanja športnikov ter analizo njihovih aktivnosti v športnih igrah. Člani projektne skupine so v sodelovanju z slovenskim podjetjem razvili tudi nizkocenovno inteligentno kamero, ki predstavlja idealno platformo za omrežja vizualnih senzorjev, zlasti v inteligentnih stavbah. Kot je razvidno iz seznama družbeno-ekonomskih dosežkov, člani projektne skupine na nekaterih področjih znanosti prevzemajo tudi pobudo v obliki organizacije izzivov/tekmovanj ter delavnic v okviru najbolj priznanih konferenc s področja računalniškega vida. Člani projektne skupine imajo pogoste stike s potencialnimi interesenti za rešitve računalniškega vida, tako iz gospodarstva kot iz akademskega okolja, pri čemer se je pogosto izkazalo, da trenutno stanje znanosti ne ponuja vseh rešitev, ki bi jih stranke želele. Zato bo znanje, pridobljeno v tem projektu, našlo pot v nove rešitve in izdelke predvsem preko omenjenih kanalov. Projektna skupina je tako pridobila dodatne kompetence s področja modeliranja gibanja, detekcije in sledenja objektov, ki jih lahko ponudi vsem zainteresiranim, vključno z morebitnimi startup podjetji. ANG_ Analysis of human motion is an important part of future applications, either in surveillance and security systems, intelligent buildings, and traffic surveillance, or in entertainment, games, and sports. Know-how that was obtained and disseminated by the project group in the course of this project has great importance for the promotion of Slovenia, for access to the foreign knowledge, inclusion in international distribution of work, and education of new generations of scientists. Project group is deeply involved in knowledge transfer from academia to industry, which has been proven by its socio-economic achievements. Results of this project have been applied to an industrial project, which involves development of an automatic multimedia device for videoconference calls, which allows user to select and track a person they are conferencing with while that person is moving around the room. There is an intensive collaboration with sports scientists on applications that include modeling of the athletes' motion and analysis of their activity in sports games. Members of project group developed a low-cost low-complexity intelligent camera, which is an ideal platform for visual sensor networks, especially for intelligent environments. Members of the project group are also taking initiative in certain areas of computer vision in form of organizing challenges/competitions and workshops in conjunction with renowned computer vision conference, as seen from the list of socioeconomic achievements. Members of the project group are frequently in contact with potential clients for computer vision solutions, both from industry and academic environment. Frequently, they were faced with the problem that the state of the art was not sufficiently advanced to provide all solutions that the clients required. Therefore, the knowledge, acquired in this project, will find its way into practical use via the above-mentioned channels. Project group has acquired new competence in the field of motion modeling, object detection, and object tracking, which they can offer to all interested parties, including any startup companies. 10.Samo za aplikativne projekte in podoktorske projekte iz gospodarstva! Označite, katerega od navedenih ciljev ste si zastavili pri projektu, katere konkretne rezultate ste dosegli in v kakšni meri so doseženi rezultati uporabljeni Cilj F.01 Pridobitev novih praktičnih znanj, informacij in veščin Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.02 Pridobitev novih znanstvenih spoznanj Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.03 Večja usposobljenost raziskovalno-razvojnega osebja Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.04 Dvig tehnološke ravni Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.05 Sposobnost za začetek novega tehnološkega razvoja Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.06 Razvoj novega izdelka Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.07 Izboljšanje obstoječega izdelka Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.08 Razvoj in izdelava prototipa Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.09 Razvoj novega tehnološkega procesa oz. tehnologije Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 v F.10 Izboljšanje obstoječega tehnološkega procesa oz. tehnologije Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F.11 Razvoj nove storitve Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F.12 Izboljšanje obstoječe storitve Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 v F.13 Razvoj novih proizvodnih metod in instrumentov oz. proizvodnih procesov Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F 14 Izboljšanje obstoječih proizvodnih metod in instrumentov oz. proizvodnih procesov Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 v F.15 Razvoj novega informacijskega sistema/podatkovnih baz Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F.16 Izboljšanje obstoječega informacijskega sistema/podatkovnih baz Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F.17 Prenos obstoječih tehnologij, znanj, metod in postopkov v prakso Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F 18 Posredovanje novih znanj neposrednim uporabnikom (seminarji, forumi, konference) Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F.19 Znanje, ki vodi k ustanovitvi novega podjetja ("spin off") Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.20 Ustanovitev novega podjetja ("spin off") Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.21 Razvoj novih zdravstvenih/diagnostičnih metod/postopkov Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.22 Izboljšanje obstoječih zdravstvenih/diagnostičnih metod/postopkov Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.23 Razvoj novih sistemskih, normativnih, programskih in metodoloških rešitev Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F 24 Izboljšanje obstoječih sistemskih, normativnih, programskih in metodoloških rešitev Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.25 Razvoj novih organizacijskih in upravljavskih rešitev Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.26 Izboljšanje obstoječih organizacijskih in upravljavskih rešitev Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.27 Prispevek k ohranjanju/varovanje naravne in kulturne dediščine Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.28 Priprava/organizacija razstave Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.29 Prispevek k razvoju nacionalne kulturne identitete Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.30 Strokovna ocena stanja Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.31 Razvoj standardov Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.32 Mednarodni patent Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.33 Patent v Sloveniji Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.34 Svetovalna dejavnost Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.35 Drugo Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - Komentar ll.Samo za aplikativne projekte in podoktorske projekte iz gospodarstva! Označite potencialne vplive oziroma učinke vaših rezultatov na navedena področja Vpliv Ni vpliva Majhen vpliv Srednji vpliv Velik vpliv G.01 Razvoj visokošolskega izobraževanja G.01.01. Razvoj dodiplomskega izobraževanja O o o o G.01.02. Razvoj podiplomskega izobraževanja O o o o G.01.03. Drugo: O o o o G.02 Gospodarski razvoj G.02.01 Razširitev ponudbe novih izdelkov/storitev na trgu o O O O G.02.02. Širitev obstoječih trgov O o o o G.02.03. Znižanje stroškov proizvodnje o o o o G.02.04. Zmanjšanje porabe materialov in energije O O O O G.02.05. Razširitev področja dejavnosti o o o o G.02.06. Večja konkurenčna sposobnost o o o o G.02.07. Večji delež izvoza o o o o G.02.08. Povečanje dobička o o o o G.02.09. Nova delovna mesta o o o o G.02.10. Dvig izobrazbene strukture zaposlenih O O O O G.02.11. Nov investicijski zagon o o o o G.02.12. Drugo: o o o o G.03 Tehnološki razvoj G.03.01. Tehnološka razširitev/posodobitev dejavnosti O O O O G.03.02. Tehnološko prestrukturiranje dejavnosti O O O O G.03.03. Uvajanje novih tehnologij o o o o G.03.04. Drugo: o o o o G.04 Družbeni razvoj G.04.01 Dvig kvalitete življenja o o o o G.04.02. Izboljšanje vodenja in upravljanja o o o o G.04.03. Izboljšanje delovanja administracije in javne uprave O O O O G.04.04. Razvoj socialnih dejavnosti o o o o G.04.05. Razvoj civilne družbe o o o o G.04.06. Drugo: o o o o G.05. Ohranjanje in razvoj nacionalne naravne in kulturne dediščine in identitete O O O O G.06. Varovanje okolja in trajnostni razvoj O O O O G.07 Razvoj družbene infrastrukture G.07.01. Informacijsko-komunikacijska infrastruktura O O O O G.07.02. Prometna infrastruktura o o o o G.07.03. Energetska infrastruktura o o o o G.07.04. Drugo: O o o o G.08. Varovanje zdravja in razvoj zdravstvenega varstva O O O O G.09. Drugo: o o o o Komentar 12.Pomen raziskovanja za sofinancerje11 Sofinancer 1. Naziv Naslov Vrednost sofinanciranja za celotno obdobje trajanja projekta je znašala: EUR Odstotek od utemeljenih stroškov projekta: % Najpomembnejši rezultati raziskovanja za sofinancerja Šifra 1. 2. 3. 4. 5. Komentar Ocena 13.Izjemni dosežek v letu 201412 13.1. Izjemni znanstveni dosežek Zanesljivo vizualno sledenje pozitivno vpliva na različne tehnike analiziranja gibanja, saj se lahko uporabi v koraku pred-procesiranja za stabilizacijo regije, za odstranjevanje obsežnega gibanja in omogoča podrobno analizo nizko-nivojskega gibanja. Vendar vprašanje, kaj predstavlja "dobro" sledenje, do sedaj ni bilo popolnoma zadovoljivo naslovljeno. Problem evaluacije vizualnega sledenja ponuja obilico mer zmogljivosti, vendar pogosto trpi zaradi pomankanja konsenza o izbiri ustreznih mer. To otežuje primerjavo sledilnikov med različnimi članki in hitrejši razvoj področja. Članek prispeva h kritični analizi popularnih mer za evaluacijo zmogljivosti kratkoročnega sledenja in jih eksperimentalo evaluira z obširnimi eksperimenti sledenja. ČEHOVIN, Luka, KRISTAN, Matej, LEONARDIS, Aleš. Is my new tracker really better than yours?. V: WACV 2014. Piscataway (NJ): IEEE, cop. 2014, str. 1-8, ilustr. [COBISS.SI-ID 10535764] 13.2. Izjemni družbeno-ekonomski dosežek 31. 5. 2014 sta vodja projekta A. Leonardis in sodelavec A. Ude na največji robotski konferenci ICRA 2014 organizirala delavnico z naslovom "Aktivno vizualno učenje in hiererahične reprezentacije za splošnonamenski robotski vid". Spletna stran delavnice je dosegljiva na http://www-hcr.ijs.si/RobotVision/. Delavnice se je udeležila vrsta uglednih raziskovalcev s področja računalniškega vida in robotike, med njimi Kostas Daniilidis in Aaron Bobick iz ZDA, Tomohiro Shibata z Japonske in Norbert Krüger, Mario Fritz, Tamim Asfour in drugi iz evropskih držav. Delavnica je bila dobro obiskana (več kot sto poslušalcev), na njej pa smo smo obravnavali številne tematike, ki se nanašajo na naš projekt. Za pripravo delavnice smo tudi pridobili sredstva Evropske mreže za napredek umetnih kognitivnih sistemov in robotike. Vir: UDE, Aleš. Active visual learning on a humanoid robot. ICRA 2014. [COBISS.SI-ID 28417319] C. IZJAVE Podpisani izjavljam/o, da: • so vsi podatki, ki jih navajamo v poročilu, resnični in točni • se strinjamo z obdelavo podatkov v skladu z zakonodajo o varstvu osebnih podatkov za potrebe ocenjevanja ter obdelavo teh podatkov za evidence ARRS • so vsi podatki v obrazcu v elektronski obliki identični podatkom v obrazcu v pisni obliki • so z vsebino zaključnega poročila seznanjeni in se strinjajo vsi soizvajalci projekta Podpisi: zastopnik oz. pooblaščena oseba in vodja raziskovalnega projekta: raziskovalne organizacije: Univerza v Ljubljani, Fakulteta za Aleš Leonardis računalništvo in informatiko ZIG Kraj in datum: Ljubljana Ј14.3.2015 Oznaka poročila: ARRS-RPROJ-ZP-2015/27 1 Napišite povzetek raziskovalnega projekta (največ 3.000 znakov v slovenskem in angleškem jeziku) Nazaj 2 Napišite kratko vsebinsko poročilo, kjer boste predstavili raziskovalno hipotezo in opis raziskovanja. Navedite ključne ugotovitve, znanstvena spoznanja, rezultate in učinke raziskovalnega projekta in njihovo uporabo ter sodelovanje s tujimi partnerji. Največ 12.000 znakov vključno s presledki (približno dve strani, velikost pisave 11). Nazaj 3 Realizacija raziskovalne hipoteze. Največ 3.000 znakov vključno s presledki (približno pol strani, velikost pisave 11) Nazaj 4 V primeru bistvenih odstopanj in sprememb od predvidenega programa raziskovalnega projekta, kot je bil zapisan v predlogu raziskovalnega projekta oziroma v primeru sprememb, povečanja ali zmanjšanja sestave projektne skupine v zadnjem letu izvajanja projekta, napišite obrazložitev. V primeru, da sprememb ni bilo, to navedite. Največ 6.000 znakov vključno s presledki (približno ena stran, velikost pisave 11). Nazaj 5 Navedite znanstvene dosežke, ki so nastali v okviru tega projekta. Raziskovalni dosežek iz obdobja izvajanja projekta (do oddaje zaključnega poročila) vpišete tako, da izpolnite COBISS kodo dosežka - sistem nato sam izpolni naslov objave, naziv, IF in srednjo vrednost revije, naziv FOS področja ter podatek, ali je dosežek uvrščen v A'' ali A'. Nazaj 6 Navedite družbeno-ekonomske dosežke, ki so nastali v okviru tega projekta. Družbeno-ekonomski rezultat iz obdobja izvajanja projekta (do oddaje zaključnega poročila) vpišete tako, da izpolnite COBISS kodo dosežka - sistem nato sam izpolni naslov objave, naziv, IF in srednjo vrednost revije, naziv FOS področja ter podatek, ali je dosežek uvrščen v A'' ali A'. Družbeno-ekonomski dosežek je po svoji strukturi drugačen kot znanstveni dosežek. Povzetek znanstvenega dosežka je praviloma povzetek bibliografske enote (članka, knjige), v kateri je dosežek objavljen. Povzetek družbeno-ekonomskega dosežka praviloma ni povzetek bibliografske enote, ki ta dosežek dokumentira, ker je dosežek sklop več rezultatov raziskovanja, ki je lahko dokumentiran v različnih bibliografskih enotah. COBISS ID zato ni enoznačen, izjemoma pa ga lahko tudi ni (npr. prehod mlajših sodelavcev v gospodarstvo na pomembnih raziskovalnih nalogah, aH ustanovitev podjetja kot rezultat projekta ... - v obeh primerih ni COBISS ID). Nazaj 7 Navedite rezultate raziskovalnega projekta iz obdobja izvajanja projekta (do oddaje zaključnega poročila) v primeru, da katerega od rezultatov ni mogoče navesti v točkah 6 in 7 (npr. ni voden v sistemu COBISS). Največ 2.000 znakov, vključno s presledki. Nazaj 8 Pomen raziskovalnih rezultatov za razvoj znanosti in za razvoj Slovenije bo objavljen na spletni strani: http://sicris.izum.si/ za posamezen projekt, ki je predmet poročanja Nazaj 9 Največ 4.000 znakov, vključno s presledki Nazaj 10 Največ 4.000 znakov, vključno s presledki Nazaj 11 Rubrike izpolnite / prepišite skladno z obrazcem "izjava sofinancerja" http://www.arrs.gov.si/sl/progproj/rproj/gradivo/, ki ga mora izpolniti sofinancer. Podpisan obrazec "Izjava sofinancerja" pridobi in hrani nosilna raziskovalna organizacija -izvajalka projekta. Nazaj 12 Navedite en izjemni znanstveni dosežek in/ali en izjemni družbeno-ekonomski dosežek raziskovalnega projekta v letu 2014 (največ 1000 znakov, vključno s presledki). Za dosežek pripravite diapozitiv, ki vsebuje sliko ali drugo slikovno gradivo v zvezi z izjemnim dosežkom (velikost pisave najmanj 16, približno pol strani) in opis izjemnega dosežka (velikost pisave 12, približno pol strani). Diapozitiv/-a priložite kot priponko/-i k temu poročilu. Vzorec diapozitiva je objavljen na spletni strani ARRS http://www.arrs.gov.si/sl/gradivo/, predstavitve dosežkov za pretekla leta pa so objavljena na spletni strani http://www.arrs.gov.si/sl/analize/dosez/. Nazaj Obrazec: ARRS-RPR0J-ZP/2015 v1.00a 11-C3-E5-86-63-7B-41-FC-4C-BD-7B-1F-55-2D-88-6D-B3-42-FB-3C Priloga 1 VEDA Področje: 2.07 Računalništvo in informatika Dosežek 1: Ali je moj novi sledilnik resnično boljši od tvojega? Vir: ČEHOVIN, Luka, KRISTAN, Matej, LEONARDIS, Aleš. Is my new tracker really better than yours?. V: WACV2014. Piscataway (NJ): IEEE, cop. 2014, str. 1-8, ilustr. [COBISS.SI-ID 10535764] Slika prikazuje označen objekt sledenja. Center objekta bi lahko določili kot centroid At, vendar v tem primeru to ne bi bilo prav. Članek prispeva h kritični analizi popularnih mer za evaluacijo zmogljivosti kratkoročnega sledenja in jih eksperimentalo evaluira z obširnimi eksperimenti sledenja. Prav tako je bila narejena analiza različnih vizualizacij mer zmogljivosti. Rezultati nakazujejo, da je več mer povsem ekvivalentnih z vidika informacije, ki jo zagotovijo za srednje-nivojsko cenilko primerjave gibanja in, pomembneje, da so nekatere bolj krhke kot druge. Glede na analizo je primerjava ukrepov zožena na le nekaj komplementarnih mer, s čimer se pribljižujemo homogenizaciji metodologije evaluacije. Zanesljivo vizualno sledenje pozitivno vpliva na različne tehnike analiziranja gibanja, saj se lahko uporabi v koraku pred-procesiranja za stabilizacijo regije, za odstranjevanje obsežnega gibanja in omogoča podrobno analizo nizko-nivojskega gibanja. Vendar vprašanje, kaj predstavlja "dobro" sledenje, do sedaj ni bilo popolnoma zadovoljivo naslovljeno. Problem evaluacije vizualnega sledenja ponuja obilico mer zmogljivosti, vendar pogosto trpi zaradi pomankanja konsenza o izbiri ustreznih mer. To otežuje primerjavo sledilnikov med različnimi članki in hitrejši razvoj področja. Priloga 2 VEDA Področje: 2.07 Računalništvo in informatika Dosežek 1: Organizacija delavnice "Aktivno vizualno učenje in hiererahične reprezentacije za splošnonamenski robotski vid" Vir: UDE, Aleš. Active visual learning on a humanoid robot. V: 2014 IEEE International Conference on Robotics and Automation, 31 May - 7 June 2014, Hong Kong, China. ICRA 2014. Danvers: IEEE = Institute of Electrical and Electronics Engineers, cop. 2014. [COBISS.SI-ID 28417319] 31. 5. 2014 sta vodja projekta dr. Leonardis in sodelavec dr. Ude na največji robotski konferenci ICRA 2014 organizirala delavnico z naslovom "Aktivno vizualno učenje in hiererahične reprezentacije za splošnonamenski robotski vid". Spletna stran delavnice je dosegljiva na http://www-hcr.ijs.si/RobotVision/. Za pripravo delavnice smo tudi pridobili sredstva Evropske mreže za napredek umetnih kognitivnih sistemov in robotike. Delavnice se je udeležila vrsta uglednih raziskovalcev s področja računalniškega vida in robotike, med njimi Kostas Daniilidis in Aaron Bobick iz ZDA, Tomohiro Shibata z Japonske in Norbert Krüger, Mario Fritz, Tamim Asfour in drugi iz evropskih držav. Delavnica je bila dobro obiskana (več kot sto poslušalcev), na njej pa smo smo obravnavali številne tematike, ki se nanašajo na projekt J2-4284