Oznaka poročila: ARRS-RPROJ-ZP-2013/173 ZAKLJUČNO POROČILO RAZISKOVALNEGA PROJEKTA A. PODATKI O RAZISKOVALNEM PROJEKTU 1.Osnovni podatki o raziskovalnem projektu Šifra projekta J2-2272 Naslov projekta Sinteza robotskega gibanja na osnovi človekovega vizualno-motoričnega učenja Vodja projekta 20216 Jan Babič Tip projekta J Temeljni projekt Obseg raziskovalnih ur 4650 Cenovni razred B Trajanje projekta 05.2009 - 04.2012 Nosilna raziskovalna organizacija 106 Institut "Jožef Stefan" Raziskovalne organizacije -soizvajalke Raziskovalno področje po šifrantu ARRS 2 TEHNIKA 2.06 Sistemi in kibernetika 2.06.02 Znanja o sistemih in vodenju sistemov Družbenoekonomski cilj 06. Industrijska proizvodnja in tehnologija 2.Raziskovalno področje po šifrantu FOS1 Šifra 2.02 -Veda 2 Tehniške in tehnološke vede - Področje 2.02 Elektrotehnika, elektronika in informacijski inženiring B. REZULTATI IN DOSEŽKI RAZISKOVALNEGA PROJEKTA 3.Povzetek raziskovalnega projekta2 SLO Raziskava obravnava nov pristop za sintezo robotskega gibanja, ki izkorišča človekovo sposobnost senzorično-motoričnega učenja. Osnovna ideja temelji na obravnavanju robotskega sistema kot orodja, ki ga lahko človek intuitivno vodi (e.g. kot vodi računalniško miško). Vzpostavitev takega načina vodenja robotov omogoča, da lahko človek s pomočjo vaje doseže poljubno gibanje robotskega sistema. Način vodenja robotskega sistema, ki se ga s svojimi sposobnostmi nauči človek, je lahko podlaga za načrtovanje avtonomnih robotskih krmilnikov. Ideja je zelo dobro utemeljena z nevrofiziološkimi eksperimenti - primati imajo o svojih ekstremitetah zelo plastično predstavo, ki se v primeru uporabe orodja nemudoma modificira na razširjeno ekstremiteto, ki zajema osnovno ekstremiteto in orodje skupaj. Pogoj za realizacijo opisanega pristopa je povezava robota s človekom tako, da lahko človek vodi robota kot orodje. Zelo pomembno je, da so informacije o stanju robota prenesene v obliki povratne zanke nazaj do človeka na način, da motorično učenje poteka z minimalno mero zavestnega truda. Cilj projekta je bil vzpostavitev sistema za sintezo gibanja humanoidnega robota. V tem primeru, ko je robotski sistem humanoidni robot, je zelo pomemben pogoj zagotavljanje ravnotežja humanoidnega robota. Med tem, ko bi humanoidni robot izvajal nalogo npr. s svojimi rokami in dlanmi, bi moral hkrati zagotavljati tudi svojo ravnotežje. Zagotavljanje ravnotežja je tako sestavni del sistema za vodenje humanoidnega robota. Projekt zajema izvedbo dveh tipov povratne povezave iz robota na človeka in sicer vizualno povratno povezavo, ki človeku zagotavlja pogled skozi oči humanoidnega robota ter mehansko povratno povezavo, ki človeku, medtem ko vodi humanoidnega robota, nudi informacijo o njegovi stabilnosti. Glavni rezultat raziskave je vzpostavitev metodologije za sintezo robotskega gibanja z uporabo človekovih sposobnosti za senzorično-motorično učenje. Z namenom ponazoritve učinkovitosti predlagane metodologije smo razvili in na humanoidnem robotu implementirali nekaj konkretnih robotskih gibanj, kot sta seganje, korakanje, lovljenje ravnotežja in podajno interakcijo z okoljem. Opravljeni eksperimenti predstavljajo pomembne podatke o človekovi sposobnosti motoričnega učenja (npr. s kakšnim vmesnikom in/ali povratno povezavo je najlažje in najbolj naravno voditi robote). S pojavom modernih tehnologij, ki omogočajo izgradnjo visoko dovršenih humanoidnih robotov, se je pojavila potreba po razvoju tehnoloških rešitev za programiranje oziroma vodenje humanoidnih robotov. Navkljub prizadevanjem velikega števila raziskovalcev na tem področju, pa danes še vedno ne razpolagamo z metodami, ki bi omogočale vodenje humanoidnih robotov na intuitiven način. V tem smislu predlagana raziskava prispeva velik korak naprej in sicer tako, da omogoča uporabo človekovih sposobnosti za učenje novih nalog pri programiranju in vodenju humanoidnih robotov na enostaven in intuitiven način. Rezultati raziskave pomembno prispevajo k uveljavljajnu humanoidnih robotov v vsakdanje življenje, zabavo in zdravstveno oskrbo. ANG The project proposes a novel framework for robot motion synthesis that exploits human sensori-motor learning capacity. The conceptual idea is to consider the target robot platform as a tool (e.g. like computer mouse) that can be intuitively controlled by a human. Once the robot can be effortlessly controlled, the target motion can be obtained by the human on the robot through practice. The successful execution of the task by the human via the robot means that the required control commands have been discovered by the human, and can be used for designing controllers that operate autonomously. The idea is very well supported by neurophysiological experiments - primates have very plastic representations of limbs, which are expanded immediately upon acquisition of tools. To realize this goal, the robot needs to be interfaced with a human so that this human could operate the robot as a novel tool. Importantly, the feedback information about the state of the robot has to be sent back to the human in a form such that motor learning can be performed with little conscious effort. The goal of the project was to establish a system to synthesize the motion of a humanoid robot. In this case where the target robot is a humanoid robot, the balancing of the humanoid robot is crucial. While the humanoid robot would perform a task with say, its arms and hands, it would have to simultaneously keep its balance. Balancing is therefore an integral part of a humanoid control system. We implemented a visual type of feedback to provide the human with the humanoid robot's view and a mechanical type of feedback that enabled the human to feel the balance of the humanoid robot while controlling it. The main result of the research is the establishment of the methods to synthesize the robot motion using human sensori-motor learning. To demonstrate the effectiveness of the proposal, several concrete robot behaviors like reaching, stepping, balancing, and compliant interaction with environment were derived and implemented on a humanoid robot using the introduced paradigm. In addition, the performance of the human during the control of the robot generated valuable data on human motor learning (e.g. with what kind of interface and/or feedback it is more natural and easy to control robots). With the emerging technology that enables us to build sophisticated humanoid robots, a necessity appeared for technological solutions to program these complex robots. In spite of a large number of researchers working in this field, there is still no adequate technology existing today to program these complex robots in an intuitive way. In this sense our project provides a big step forward where human motor learning abilities are used for robot programming in an intuitive way. The results of the project significantly improve the introduction of humanoid robots into entertainment, health care and general society as such. 4.Poročilo o realizaciji predloženega programa dela na raziskovalnem projektu3 Najbolj intuitivna metoda za dosego človeku podobnega gibanja humanoidnega robota je prenesti dejansko gibanje človeka demonstratorja na humanoidnega robota. Gibanje človeka lahko posnamemo in ga nato, na podlagi kinematične strukture, prenesemo na robota. Zaradi različnih dinamičnih lastnosti humanoidnega robota in človeka demonstratorja je uspešnost take metode iz stališča ohranjanja ravnotežja humanoidnega robota v največji meri odvisna od ad-hoc preslikave, ki jo uporabi raziskovalec. Le redki primeri človekovega gibanja spadajo v kategorijo počasnih statično stabilnih gibanj. V veliki večini primerov je človekovo gibanje hitro dinamično stabilno gibanje. Poleg kinematične strukture moramo pri prenosu hitrih dinamično stabilnih gibanj iz človeka na robota upoštevati tudi dejavnike, ki vplivajo na ravnotežje in dinamično stabilnost robota. V večini dosedanjih primerov tovrstnih raziskav je raziskovalec tisti, ki načrta preslikavo, ki zagotavlja dinamično stabilnost na robotu. Naš pristop temelji na bistveno drugačnem principu in izkorišča sposobnost človeka in njegovih možgan, da v realnem času vodi humanoidnega robota, zagotavlja njegovo ravnotežje in dinamično stabilnost in hkrati omogoči avtomatsko generiranje ustrezne preslikave gibanja med sabo in humanoidnim robotom. V našem primeru je človek, ki vodi humanoidnega robota, del zaprtozančnega sistema, preko katerega v realnem času vodi robota in zagotavlja njegovo ravnotežje in dinamično stabilnost. Zaradi naravne sposobnosti človeka, da uporablja in vodi poleg svojega telesa tudi poljubna orodja, tovrstna naloga za človeka ne predstavlja velikega napora. Humanoidni robot, ki ga upravlja človek, lahko obravnavamo enako kot na primer vozilo ali smuči, ki jih človek z lahkoto upravlja. Tovrstni zaprtozančni pristop terja, poleg prenosa gibanja iz človeka na robota, tudi ustrezno povratno povezavo, ki človeku zagotavlja informacijo o trenutnemu stanju humanoidnega robota. V okviru projekta smo izvedli več tipov povratne povezave iz robota na človeka in sicer vizualno povratno povezavo, ki človeku zagotavlja pogled skozi oči humanoidnega robota ali pogled na robota iz perspektive ter mehansko povratno povezavo, ki človeku, medtem ko vodi humanoidnega robota, nudi informacijo o njegovi stabilnosti. Zgradili smo sistem sinteze robotskega gibanja, kjer je demonstrator, ki vodi humanoidnega robota, sestavni del tega sistema. Človek v sistemu vodi humanoidnega robota tako, da ta izvajal določena gibanja (npr. seganje, korakanje) in hkrati zagotavlja njegovo ravnotežje. Predlagani zaprtozančni sistem sestoji iz treh delov (vsak del lahko ponazorimo z blokom, ki sprejema informacije iz enega bloka in pošilja informacije v drug blok), ki so medsebojno povezani v zaprtozančni sistem. Prvi del je namenjen zajemu gibanja demonstratorja v realnem času s pomočjo brezkontaktnega sistema za zajemanje gibanja. Gibanje demonstratorja v obliki kotov v njegovih sklepih se prenese v adaptivni krmilnik gibanja, ki predstavlja drugi del sistema. Namen adaptivnega krmilnika gibanja je učenje transformacije med gibanjem demonstratorja in med gibanjem humanoidnega robota s ciljem, da postane povratnozančna povezava, ki demonstratorju nudi informacijo o stabilnost humanoidnega robota, nepomembna - vrednosti povratnozančne povezave bodo postale enake nič, saj bo adaptivni krmilnik gibanja adaptiral oziroma prilagodil trajektorije gibanja, ki jih sprejema iz demonstratorja tako, da bo gibanje humanoidnega robota stabilno. Tretji del sistema predstavlja sam humanoidni robot. Naloga robota je izvajanje gibanja, ki ga preko adaptivnega krmilnika gibanja sprejema v obliki želenih kotov v sklepih. Poleg tega je namen tega dela sistema tudi pošiljanje povratnozančnih informacij nazaj do demonstratorja. Te povratnozančne informacije so podane kot vizualna povratna zanka, kjer demonstrator na zaslonu opazuje humanoidnega robota v izometrični perspektivi ali pa preko 3D očal opazuje robotov pogled skozi oči - kamere. Druga povratna zanka je mehanske narave v obliki nagibne paralelne ploščadi (paralelni manipulator tipa Stewart), na kateri demonstrator stoji med izvajanjem eksperimentov, nagibna paralelna ploščad pa se nagiba v odvisnosti od ravnotežnega stanja humanoidnega robota. Kot primer, ko se težišče humanoidnega robota premakne naprej proti sprednjemu robu podpornega poligona, se nagibna ploščad nagne naprej in s tem zmoti demonstratorjevo ravnotežje tako, da se tudi njegovo težišče pomakne naprej. Človek-demonstrator to motnjo v ravnotežju z lahkoto odpravi, ta korekcija pa je preko adaptivnega krmilnika gibanja nemudoma posredovana naprej do humanoidnega robota, katerega težišče se posledično premakne nazaj in tako humanoidni robot ostane v ravnotežju. Pri začetnih izvajanjih eksperimentov je adaptivni krmilnik gibanja izključen iz zaprtozančnega sistema. Namen teh eksperimentov je učenje demonstratorja, kako voditi humanoidnega robota kar se da brez naporov - demonstrator se nauči uporabljati novo orodje podobno, kot se nauči voziti avto ali peljati kolo. Po teh začetnih eksperimentih smo adaptivni krmilnik gibanja vključili v sistem, demonstrator pa je izvajal predpisana gibanja. Med tem se je adaptivni krmilnik gibanja naučil, kako adaptirati oziroma prilagoditi svojo transformacijo tako, da humanoidni robot ves čas ostane v popolnem ravnotežju in je zato nagibna paralelna ploščad ostala negibna v vodoravnem položaju. Iz tega sledi, da je povratnozančna informacija o ravnotežju humanoidnega robota postala za njegovo vodenje nepomembna in smo jo zato lahko iz sistema izločili. Nadalje sledi, da lahko demonstrator izvaja gibe, ki ne zahtevajo stoje na omejenem področju nagibne paralelne ploščadi. Primer najpomembnejšega in hkrati najzanimivejšega tovrstnega gibanja je hoja. Sinteza robotske hoje na podlagi človekovega vizualno - motoričnega učenja je bil zadnji del eksperimentalnega dela projekta. Projekt je bil razdeljen na štiri dele. Prvi trije deli so enaki, kot deli zaprtozančnega sistema: zajem gibanja demonstratorja v realnem času, adaptivni krmilnik gibanja in vodenje humanoidnega robota. Dodatni četrti del predstavlja izvedbo povratnih zank. Realizacija vsakega izmed teh štirih delov je podrobno opisan v naslednjih štirih podpoglavjih. Zajem demonstratorjevega gibanja v realnem času Ta del vključuje eksperimentalno postavitev, ki se nanaša na demonstratorja in njegovo gibanje, ki ga zajema brezkontaktni sistem za zajemanje gibanja. Brezkontaktni sistem za zajemanje gibanja in posebni algoritmi preko optičnih markerjev, ki so nameščeni na vse segmente demonstratorjevega telesa, v realnem času računajo stanje kotov v vseh sklepih demonstratorjevega telesa. Brezkontaktni sistem za zajemanje gibanja sam po sebi zgolj določi položaje vsakega izmed optičnih markerjev. Vloga posebnih algoritmov, ki smo jih razvili, izvedejo identifikacijo kinematičnega modela demonstratorjevega telesa in izračunajo kote v sklepih njegovega telesa v skladu s kinematično strukturo humanoidnega robota. Algoritmi uporabljajo avtomatski pristop za določevanje relacije med kinematičnimi parametri humanoidnega robota in kinematičnimi parametri demonstratorja. Na podlagi te relacije smo lahko sklepali o želenih trajektorijah v notranjih koordinatah humanoidnega robota. Za učinkovit opis trajektorij gibanja smo uporabili B - spline valjčke. Gostoto baznih funkcij na časovni osi je algoritem določil avtomatsko. Za čim učinkovitejši izračun smo uporabili globalne optimizacijske metode. Kote v sklepih demonstratorja smo do adaptivnega krmilnika gibanja prenašali preko UDP komunikacijskega protokola. Adaptivni krmilnik gibanja Adaptivni krmilnik gibanja predstavlja srce predlaganega zaprtozančnega sistema. Njegov namen je učenje transformacije med gibanjem demonstratorja in med gibanjem humanoidnega robota s ciljem, da postane povratnozančna povezava, ki demonstratorju nudi informacijo o stabilnost humanoidnega robota, nepomembna - vrednosti povratnozančne povezave postanejo enake nič, saj se adaptivni krmilnik gibanja adaptira oziroma prilagodi trajektorije gibanja, ki jih sprejema iz demonstratorja tako, da je gibanje humanoidnega robota stabilno. Naš pristop je temeljil na postopnemu večanju kompleksnosti strukture in metod strojnega učenja, ki jih najdemo v literaturi, začenši z najenostavnejšo možno strukturo in metodo strojnega učenja. Prva metoda, ki smo jo uporabili zajema uporabo radialnih baznih funkcij. Metoda radialnih baznih funkcij je regresijska metoda, ki temelji na linearni kombinaciji fiksnih bazičnih funkcij. Radialne bazne funkcije imajo lastnost, da je vsaka izmed baznih funkcij odvisna zgolj od radialne razdalje do središča. Pri izbiri radialnih baznih funkcij s,p uporabili ortogonalno metodo najmanjših kvadratov, ki je iterativni postopek izbire, pri katerem vsaka naslednja izbrana točka središča bazne funkcije sovpada s tisto točko, ki k vsoti kvadratov napake prispeva največji odbitek. Naslednja metoda, ki smo jo uporabili pri učenju adaptivnega krmilnika gibanja je okrepljeno učenje (reinforcement learning). Metoda okrepljenega učenja obravnava problem iskanja primernih akcij v določeni situaciji z namenom čim večjega povečanja nagrade. V tem primeru algoritem učenja ne razpolaga z vnaprej določenimi primeri optimalnega izhoda, kot je to pri metodi nadzorovanega učenja (supervised learning) temveč mora optimalne izhode določiti s pomočjo poskusov in pogreškov. Pri tej metodi govorimo o nizu stanj in akcij, preko katerih je algoritem učenja povezan s svojim okoljem. Trenutna akcija ponavadi ne vpliva zgolj na trenutno nagrado temveč ima vpliv tudi na nagrade v naslednjih časovnih korakih. V zadnji fazi smo za strukturo adaptivnega krmilnika gibanja uporabili modularni koncept, ki zajema najmodernejše metode strojnega učenja, kot so lokalno utežena procesna regresija (LWPR) in Gaussova procesna regresija (GPR). Vodenje humanoidnega robota Vodenje humanoidnega robota smo izvedli na najbolj enostaven možni način. Humanoidni robot se mora gibati v skladu z želenimi koti v sklepih, ki jih generira adaptivni krmilnik gibanja. Lokalni krmilniki gibanja so že vkjjučeni v samem humanoidnem robotu Fujitsu Hoap 3, ki smo ga uporabili pri eksperimentih. Želene kote v sklepih smo iz adaptivnega krmilnika gibanja prenašali do humanoidnega robota preko UDP komunikacijskega protokola. Realizacija povratnozančnih povezav V zaprtozančnem sistemu sta bila vključena dva tipa povratne zanke iz humanoidnega robota do demonstratorja. En tip povratne zanke je vizualna povratna zanka, kjer je demonstrator na zaslonu opazoval humanoidnega robota v izometrični perspektivi ali pa je preko 3D očal opazoval robotov pogled skozi oči - kamere. V drugem primeru je bil signal iz kamer humanoidnega robota prenešen direktno na zaslona 3D očal. Druga povratna zanka je mehanske narave v obliki nagibne paralelne ploščadi, na kateri je demonstrator stal med izvajanjem eksperimentov, nagibna paralelna ploščad pa se je nagibala v odvisnosti od ravnotežnega stanja humanoidnega robota. Najprej je bilo potrebno določiti, koliko prostostnih stopenj naj nagibna paralelna ploščat vključuje in kakšnega tipa naj bodo te prostostne stopnje. Najprej smo izdelali paralelno ploščad s tremi rotacijskimi prostostnimi stopnjami, ki se je nagibala okoli vseh treh osi rotacije, nato pa smo paralelno ploščad nadgradili še s tremi aktuatorji in tako omogočili poleg rotacij še vse tri translacije ploščadi. Taka izvedba se je izkazalo kot primerno za posredovanje ustreznih premikov težišča demonstratorju v skladu z gibanjem težišča humanoidnega robota. Nagibno paralelno ploščad smo izvedli tako, da je dovolj močna, da je lahko obremenjena z demonstratorjevo težo in pritiskovno ploščo, ki smo jo uporabili za namene analize rezultatov. Vodenje ploščadi smo izvedli na podlagi inverzne kinematike paralelne ploščadi. 5.Ocena stopnje realizacije programa dela na raziskovalnem projektu in zastavljenih raziskovalnih ciljev4 Projekt je bil realiziran v celoti, kot je bilo predvideno in zastavljeno v projektni prijavi. Pri vodenju kompleksnih in dinamičnih robotskih sistemov, kot je humanoidni robot, je nujno potrebno generirati gibanje, ki zadostuje pogoju striktne dinamične konsistentnosti. Ker so humanoidni roboti nestabilni sistemi z izjemno komplicirano strukturo in veliko prostostnimi stopnjami, je generiranje takega gibanja zelo zahtevna naloga. Čeprav sta vzravnana stoja in hoja primera najosnovnejših človekovih gibanj, pa sta še vedno v veliki meri nerešena problema in velika izziva za raziskovalce. Kot odgovor na tovrstne izzive smo v projektu uspešno izdelali in implementirali inovativno metodo vodenja dinamičnih robotskih sistemov, ki omogoča dinamično konsistentno in stabilno gibanje v kombinaciji z intuitivno sintezo novih robotskih spretnosti. 6.Utemeljitev morebitnih sprememb programa raziskovalnega projekta oziroma sprememb, povečanja ali zmanjšanja sestave projektne skupine5 Sprememb programa raziskovalnega projekta ni bilo. 7.Najpomembnejši znanstveni rezultati projektne skupine6 Znanstveni dosežek 1. COBISS ID 24969767 Vir: COBISS.SI 1 Naslov SLO Uporaba človekovega senzorično-motoričnega učenja za sintezo gibanja humanoidnega robota ANG Human sensorimotor learning for humanoid robot skill synthesis Opis SLO Članek v reviji, ki obravnava uporabo človekovega senzorično-motoričnega učenja pri sintezi izvajanja nalog humanoidnih robotov. ANG Journal paper that deals with application of human sensorimotor learning to synthesize dexterous skills of humanoid robots. Objavljeno v MIT Press; Adaptive behavior; 2011; Vol. 19, no. 4; str. 250-263; Impact Factor: 1.019;Srednja vrednost revije / Medium Category Impact Factor: 0.835; A': 1; WoS: EP, VX, WU; Avtorji / Authors: Babič Jan, Hale Joshua G., Oztop Erhan Tipologija 1.01 Izvirni znanstveni članek 2. COBISS ID 26507815 Vir: COBISS.SI Naslov SLO Vpliv kolenskega obskeletnega mehanizma na uporabnikovo porabo energije ANG Effects of robotic knee-exoskeleton on human energy expenditure Opis SLO Članek v reviji, ki opisuje uporabo metode razvite v projektu, za krmiljenje obskeletnih robotskih mehanizmov. ANG Journal paper that describes the use of a method for control of exoskeletal robotic mechanisms, developed within this project. Objavljeno v Institute of Electrical and Electronics Engineers; IEEE transactions on bio-medical engineering; 2013; 9 str.; Impact Factor: 2.278;Srednja vrednost revije / Medium Category Impact Factor: 2.017; WoS: IG; Avtorji / Authors: Gams Andrej, Petrič Tadej, Debevec Tadej, Babič Jan Tipologija 1.01 Izvirni znanstveni članek 3. COBISS ID 25934887 Vir: COBISS.SI Naslov SLO Analiza odzivov mišično-skeletnega sistema na motnje ravnotežja pri pokončni stoji ANG Analysis of musculoskeletal system responses to perturbations during standing posture Opis SLO Članek v reviji, ki opisuje uporabo meritev pri projektu za boljše razumevanje, kako človeški možgani krmilijo mišice pri lovljenju ravnotežja. ANG Journal paper that describes the utilization of measurement results of the project for a better understanding of how human brain control muscles to keep the postural balance. Objavljeno v Elektrotehniška zveza Slovenije; Elektrotehniški vestnik; 2012; Vol. 79, no. 1/2; str. 7-12; Avtorji / Authors: Babič Jan, Škorja Goran Tipologija 1.01 Izvirni znanstveni članek 4. COBISS ID 26084135 Vir: COBISS.SI Naslov SLO Uporaba človekovih senzorično-motoričnih sposobnosti za zagotavljanje ravnotežja humanoidnega robota ANG Using human Sensorimotor ability to control robot stability Opis SLO Članek na konferenci, ki opisuje razvoj posebnega haptičnega vmesnika za prenos ravnotežnostnega stanja robota na človeka in način, kako s pomočjo tega vmesnika sintetizirati robotski krmilnik za zagotavljanje ravnotežja na podlagi človekovega senzorično-motoričnega učenja. Članek je dobil priznanje za najboljši prispevek. Conference paper that describes the development of a special haptic ANG interface to transfer the robot's state of stability to the human, and a method how to synthesise a robotic controller to keep the postural balance based on the human sensorimotor learning. The paper got the best paper award. Objavljeno v ESA = Edizioni Scientifiche e Artistiche; RAAD 2012; 2012; Str. 106-113; Avtorji / Authors: Peternel Luka, Babič Jan Tipologija 1.08 Objavljeni znanstveni prispevek na konferenci 5. COBISS ID 25390631 Vir: COBISS.SI Naslov SLO Uporaba človekovih senzorično-motoričnih sposobnosti za generiranje novih robotskih veščin: lovljenje ravnotežja žoge na paralelni platformi ANG Utilization of human sensorimotor learning capacity for obtaining novel robot behaviours: 2-DOF ball balancing on a parallel platform Opis SLO Članek na konferenci, ki opisuje uporabo paradigme, ki smo jo razvili v projektu za sintezo robotskega krmilnika. Rezultat je krmilnik, ki avtonomno zagotavlja želen položaj žoge na paralelni platformi, razviti za mehansko povratnozančno informacijo o stabilnosti robota. ANG Conference paper that explains the utilization of the paradigm, developed in the project, for the synthesis of robot controllers. The result is a controller that autonomously ensures the desired position of the ball on the parallel platform, developed for the mechanical feedback of the robot's stability. Objavljeno v IEEE; IEEE-ROBIO 2011; 2011; Str. 1778-1782; Avtorji / Authors: Babič Jan Tipologija 1.08 Objavljeni znanstveni prispevek na konferenci S.Najpomembnejši družbeno-ekonomski rezultati projektne skupine7 Družbeno-ekonomski dosežek 1. COBISS ID 26171943 Vir: COBISS.SI Naslov SLO Sinteza robotskih nalog na podlagi človekovega senzorično-motoričnega učenja ANG Robot skill synthesis through human sensorimotor learning Opis SLO Vabljeno predavanje na priznani robotski konferenci IEEE IROS 2012 na temo raziskav v projektu. ANG Invited talk at the prominent robotic conference IEEE IROS 2012 on the topic of research in this project. Šifra B.04 Vabljeno predavanje Objavljeno v Optimality principles and adaptation in humanoid robotics control; 2012; Str. 8; Avtorji / Authors: Babič Jan Tipologija 1.10 Objavljeni povzetek znanstvenega prispevka na konferenci (vabljeno predavanje) 2. COBISS ID 24210215 Vir: COBISS.SI Naslov SLO Optimalno vodenje hitrih gibov pri robotih in ljudeh ANG Optimal control of fast motions with robots and humans Opis SLO Vabljeno predavanje na inštitutu "Advanced Telecommunication Research International (ATR)" na Japonskem na temo raziskav v projektu. ANG Invited lecture at Advanced Telecommunication Research International (ATR) in Japan with the topic of the research in this project. Šifra B.04 Vabljeno predavanje Objavljeno v ATR Computational Neuroscience Laboratories; 2010; Avtorji / Authors: Babič Jan Tipologija 3.14 Predavanje na tuji univerzi 3. COBISS ID 24209959 Vir: COBISS.SI Naslov SLO Sinteza robotskih nalog na podlagi človekovega senzorično-motoričnega učenja ANG Robot skill synthesis through human sensorimotor learning Opis SLO Vabljeno predavanje na univerzi raziskav v projektu. "Seoul National University" na temo ANG Invited lecture at the Seoul National University with the topic of the research in this project. Šifra B.04 Vabljeno predavanje Objavljeno v ROSAEC Center; 2010; Avtorji / Authors: Babič Jan Tipologija 3.14 Predavanje na tuji univerzi 4. COBISS ID 9145366 Vir: vpis v poročilo Naslov SLO Članstvo v uredniškem odboru revije "International journal of advanced robotic systems" ANG Member of editorial board of "International journal of advanced robotic systems" Opis SLO Na podlagi objave "Human sensorimotor learning for humanoid robot skill synthesis", cobiss id: 26507815, so Jana Babiča vključili v uredniški odbor revije z vplivnim faktorjem "International journal of advanced robotic systems", cobiss id: 9061716. ANG Based on the publication "Human sensorimotor learning for humanoid robot skill synthesis", cobiss id: 26507815, Jan Babič got enrolled to the editorial board of the journal with impact factor "International journal of advanced robotic systems", cobiss id: 9061716. Šifra C.06 Članstvo v uredniškem odboru Objavljeno v http://www.intechweb.org/journal.php?id=3 Tipologija 4.00 Sekundarno avtorstvo 5. COBISS ID 26084135 Vir: vpis v poročilo Naslov SLO Študentska nagrada za najboljši članek ANG Best Paper Student Award Opis SLO Luka Peternel in Jan Babič sta na mednarodni konferenci RAAD 2012 za prispevek z naslovom "Using human Sensorimotor ability to control robot stability" prejela študentsko priznanje za najboljši članek na konferenci. ANG Luka Peternel and Jan Babič have received a best paper student award for their contribution titled "Using human Sensorimotor ability to control robot stability" and presented at the international conference RAAD 2012 Šifra E.02 Mednarodne nagrade Objavljeno v ESA = Edizioni Scientifiche e Artistiche; RAAD 2012; 2012; Str. 106-113; Avtorji / Authors: Peternel Luka, Babič Jan Tipologija 1.08 Objavljeni znanstveni prispevek na konferenci 9.Drugi pomembni rezultati projetne skupine8 Pravkar sta v postopku objave še dva članka, ki opisujeta neposredne rezultate dela na projektu. Prvi z naslovom "Learning of compliant human-robot interaction using full-body haptic interface" za objavo v reviji Advanced Robotics z SCI indeksom 0.571, drugi članek z naslovom "Teaching robots to cooperate with humans in dynamic manipulation tasks based on multimodal human-in-the-loop approach" pa za objavo v reviji Autonomous Robots z SCI indeksom 1.5. lO.Pomen raziskovalnih rezultatov projektne skupine9 10.1.Pomen za razvoj znanosti10 SLO Glavni rezultat raziskave v okviru projekta je znanstvena metodologija za generiranje dinamično konsistentnih in stabilnih gibanj humanoidnega robota z uporabo človekovih sposobnosti za učenje novih nalog. Z namenom ponazoritve učinkovitosti razvite metodologije smo razvili in na humanoidnem robotu implementirali nekaj konkretnih robotskih gibanj, kot sta seganje, korakanje, lovljenje ravnotežja in podajno interakcijo z okoljem. Poleg tega so nam eksperimenti omogočili zajem pomembnih podatkov o človekovi sposobnosti za učenje novih nalog (npr. s kakšnim vmesnikom in/ali povratno povezavo je najlažje in najbolj naravno voditi robote in ostale naprave nasploh). Z vpeljavo nove paradigme, ki omogoča enostavno in hitro generiranje raznih veščin humanoidnih robotov, rezultati raziskave v veliki meri prispevajo k razvoju humanoidne robotike. ANG The main result of the research within the project is the establishment of the scientific methods for generation of dynamically consistent and stable motions of the humanoid robot using human motor learning. To demonstrate the effectiveness of the proposal, several concrete robot behaviors like reaching, stepping, balancing, and compliant interaction with environment were derived and implemented on a humanoid robot using the introduced paradigm. In addition, the performance of the human during the control of the robot generated valuable data on human motor learning (e.g. with what kind of interface and/or feedback it is more natural and easy to control robots). Overall, the results of the project contribute a significant deal to the field of the humanoid robotics in the sense that it introduces a novel paradigm allowing easy and rapid skill generation for robot behavior. 10.2.Pomen za razvoj Slovenije11 SLO S pojavom modernih tehnologij, ki omogočajo izgradnjo visoko dovršenih humanoidnih robotov, se je pojavila potreba po razvoju tehnoloških rešitev za programiranje oziroma vodenje humanoidnih robotov. Navkljub prizadevanjem velikega števila raziskovalcev na tem področju, pa do danes še vedno ne razpolagamo z metodami, ki bi omogočale vodenje humanoidnih robotov na intuitiven način. V tem smislu predlagana raziskava prispeva velik korak naprej in sicer tako, da omogoča uporabo človekovih sposobnosti za učenje novih nalog pri programiranju in vodenju humanoidnih robotov na enostaven in intuitiven način. Rezultati raziskave pomembno prispevajo k uveljavljajnu humanoidnih robotov v vsakdanje življenje, zabavo in zdravstveno oskrbo. Rezultati predlaganega projekta so poleg vodenja humanoidnih robotov direktno uporabni tudi pri intuitivnem vodenju klasičnih robotskih sistemov, ki jih najdemo v proizvodnem procesu. Z minimalnim dodatnim stroškom bi bilo na podlagi rezultatov projekta mogoče uporabiti klasične robotske sisteme za povsem nova in aktualna področja. ANG With the emerging technology that enables us to build sophisticated humanoid robots, a necessity appeared for technological solutions to program these complex robots. In spite of the large number of researchers working in this field, there is still no adequate technology existing today to program these complex robots in an intuitive way. In this sense our project provides a big step forward where human motor learning abilities are used for robot programming in an intuitive way. The results of the project immensely improve the introduction of humanoid robots into entertainment, health care and general society as such. Besides the usage in humanoid robotics, the results of the research are directly applicable for the intuitive control of classical robotic systems that can be found in the production process. Based on the results of the research and with the minimal additional costs, classical robotic systems can become usable in various new and interesting fields. ll.Samo za aplikativne projekte in podoktorske projekte iz gospodarstva! Označite, katerega od navedenih ciljev ste si zastavili pri projektu, katere konkretne rezultate ste dosegli in v kakšni meri so doseženi rezultati uporabljeni Cilj F.01 Pridobitev novih praktičnih znanj, informacij in veščin Zastavljen cilj o da o ne Rezultat 1 d Uporaba rezultatov 1 d F.02 Pridobitev novih znanstvenih spoznanj Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.03 Večja usposobljenost raziskovalno-razvojnega osebja Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.04 Dvig tehnološke ravni Zastavljen cilj o da o ne Rezultat I d Uporaba rezultatov 1 d F.05 Sposobnost za začetek novega tehnološkega razvoja Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.06 Razvoj novega izdelka Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.07 Izboljšanje obstoječega izdelka Zastavljen cilj o da o ne Rezultat Uporaba rezultatov F.08 Razvoj in izdelava prototipa Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.09 Razvoj novega tehnološkega procesa oz. tehnologije Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.10 Izboljšanje obstoječega tehnološkega procesa oz. tehnologije Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.11 Razvoj nove storitve Zastavljen cilj o da o ne Rezultat Uporaba rezultatov d F.12 Izboljšanje obstoječe storitve Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.13 Razvoj novih proizvodnih metod in instrumentov oz. proizvodnih procesov Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.14 Izboljšanje obstoječih proizvodnih metod in instrumentov oz. proizvodnih procesov Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.15 Razvoj novega informacijskega sistema/podatkovnih baz Zastavljen cilj O da o ne Rezultat d Uporaba rezultatov 1 d F.16 Izboljšanje obstoječega informacijskega sistema/podatkovnih baz Zastavljen cilj O da o ne Rezultat I d Uporaba rezultatov 1 d F.17 Prenos obstoječih tehnologij, znanj, metod in postopkov v prakso Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov 1 d F.18 Posredovanje novih znanj neposrednim uporabnikom (seminarji, forumi, konference) Zastavljen cilj o da o ne Rezultat I d Uporaba rezultatov 1 d F.19 Znanje, ki vodi k ustanovitvi novega podjetja ("spin off") Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.20 Ustanovitev novega podjetja ("spin off") Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov F.21 Razvoj novih zdravstvenih/diagnostičnih metod/postopkov Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.22 Izboljšanje obstoječih zdravstvenih/diagnostičnih metod/postopkov Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.23 Razvoj novih sistemskih, normativnih, programskih in metodoloških rešitev Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.24 Izboljšanje obstoječih sistemskih, normativnih, programskih in metodoloških rešitev Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.25 Razvoj novih organizacijskih in upravljavskih rešitev Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.26 Izboljšanje obstoječih organizacijskih in upravljavskih rešitev Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.27 Prispevek k ohranjanju/varovanje naravne in kulturne dediščine Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.28 Priprava/organizacija razstave Zastavljen cilj o da o ne Rezultat Uporaba rezultatov d F.29 Prispevek k razvoju nacionalne kulturne identitete Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.30 Strokovna ocena stanja Zastavljen cilj o da o ne Rezultat d Uporaba rezultatov d F.31 Razvoj standardov Zastavljen cilj o da o ne Rezultat Uporaba rezultatov d F.32 Mednarodni patent Zastavljen cilj o DA O NE Rezultat d Uporaba rezultatov d F.33 Patent v Sloveniji Zastavljen cilj O da o ne Rezultat I d Uporaba rezultatov 1 d F.34 Svetovalna dejavnost 1 Zastavljen cilj O da o ne Rezultat d Uporaba rezultatov d F.35 Drugo Zastavljen cilj O da o ne Rezultat d Uporaba rezultatov 1 d Komentar 12.Samo za aplikativne projekte in podoktorske projekte iz gospodarstva! Označite potencialne vplive oziroma učinke vaših rezultatov na navedena področja Vpliv Ni vpliva Majhen vpliv Srednji vpliv Velik vpliv G.01 Razvoj visokošolskega izobraževanja G.01.01. Razvoj dodiplomskega izobraževanja O O O o G.01.02. Razvoj podiplomskega izobraževanja o o o o G.01.03. Drugo: o o o o G.02 Gospodarski razvoj G.02.01 Razširitev ponudbe novih izdelkov/storitev na trgu o o o o G.02.02. Širitev obstoječih trgov o o o o G.02.03. Znižanje stroškov proizvodnje o o o o G.02.04. Zmanjšanje porabe materialov in energije o o o o G.02.05. Razširitev področja dejavnosti o o o o G.02.06. Večja konkurenčna sposobnost o o o o G.02.07. Večji delež izvoza o o o o G.02.08. Povečanje dobička o o o o G.02.09. Nova delovna mesta o o o o G.02.10. Dvig izobrazbene strukture zaposlenih o o o o G.02.11. Nov investicijski zagon o o o o G.02.12. Drugo: o o o o G.03 Tehnološki razvoj G.03.01. Tehnološka razširitev/posodobitev dejavnosti o o o o G.03.02. Tehnološko prestrukturiranje dejavnosti o o o o G.03.03. Uvajanje novih tehnologij o o o o G.03.04. Drugo: o o o o G.04 Družbeni razvoj G.04.01 Dvig kvalitete življenja O o o o G.04.02. Izboljšanje vodenja in upravljanja o o o o G.04.03. Izboljšanje delovanja administracije in javne uprave o o o o G.04.04. Razvoj socialnih dejavnosti o o o o G.04.05. Razvoj civilne družbe o o o o G.04.06. Drugo: o o o o G.05. Ohranjanje in razvoj nacionalne naravne in kulturne dediščine in identitete o o o o G.06. Varovanje okolja in trajnostni razvoj o o o o G.07 Razvoj družbene infrastrukture G.07.01. Informacijsko-komunikacijska infrastruktura o o o o G.07.02. Prometna infrastruktura o o o o G.07.03. Energetska infrastruktura o o o o G.07.04. Drugo: o o o o G.08. Varovanje zdravja in razvoj zdravstvenega varstva o o o o G.09. Drugo: o o o o Komentar 13.Pomen raziskovanja za sofinancerje12 Sofinancer 1. Naziv Naslov Vrednost sofinanciranja za celotno obdobje trajanja projekta je znašala: EUR Odstotek od utemeljenih stroškov projekta: % Najpomembnejši rezultati raziskovanja za sofinancerja Šifra 1. 2. 3. 4. 5. Komentar Ocena 14.Izjemni dosežek v letu 201213 14.1. Izjemni znanstveni dosežek 14.2. Izjemni družbeno-ekonomski dosežek Nagrada za najboljši članek z naslovom "Using human Sensorimotor ability to control robot stability" (cobiss id: 26084135) na mednarodni konferenci Robotics in Alpe-Adria-Danube Region. C. IZJAVE Podpisani izjavljam/o, da: • so vsi podatki, ki jih navajamo v poročilu, resnični in točni • se strinjamo z obdelavo podatkov v skladu z zakonodajo o varstvu osebnih podatkov za potrebe ocenjevanja ter obdelavo teh podatkov za evidence ARRS • so vsi podatki v obrazcu v elektronski obliki identični podatkom v obrazcu v pisni obliki • so z vsebino zaključnega poročila seznanjeni in se strinjajo vsi soizvajalci projekta Podpisi: zastopnik oz. pooblaščena oseba in vodja raziskovalnega projekta: raziskovalne organizacije: Institut "Jožef Stefan" Jan Babič ŽIG Kraj in datum: Ljubljana |6.3.2013 Oznaka prijave:ARRS-RPROJ-ZP-2013/173 1 Opredelite raziskovalno področje po klasifikaciji FOS 2007 (Fields of Science). Prevajalna tabela med raziskovalnimi področji po klasifikaciji ARRS ter po klasifikaciji FoS 2007 (Fields of Science) s kategorijami WOS (Web of Science) kot podpodročji je dostopna na spletni strani agencije (http://www.arrs.gov.si/sl/gradivo/sifranti/preslik-vpp-fos-wos.asp). Nazaj 2 Napišite povzetek raziskovalnega projekta (največ 3.000 znakov v slovenskem in angleškem jeziku) Nazaj 3 Napišite kratko vsebinsko poročilo, kjer boste predstavili raziskovalno hipotezo in opis raziskovanja. Navedite ključne ugotovitve, znanstvena spoznanja, rezultate in učinke raziskovalnega projekta in njihovo uporabo ter sodelovanje s tujimi partnerji. Največ 12.000 znakov vključno s presledki (približno dve strani, velikost pisave 11). Nazaj 4 Realizacija raziskovalne hipoteze. Največ 3.000 znakov vključno s presledki (približno pol strani, velikost pisave 11) Nazaj 5 V primeru bistvenih odstopanj in sprememb od predvidenega programa raziskovalnega projekta, kot je bil zapisan v predlogu raziskovalnega projekta oziroma v primeru sprememb, povečanja ali zmanjšanja sestave projektne skupine v zadnjem letu izvajanja projekta, napišite obrazložitev. V primeru, da sprememb ni bilo, to navedite. Največ 6.000 znakov vključno s presledki (približno ena stran, velikost pisave 11). Nazaj 6 Navedite znanstvene dosežke, ki so nastali v okviru tega projekta. Raziskovalni dosežek iz obdobja izvajanja projekta (do oddaje zaključnega poročila) vpišete tako, da izpolnite COBISS kodo dosežka - sistem nato sam izpolni naslov objave, naziv, iF in srednjo vrednost revije, naziv FOS področja ter podatek, ali je dosežek uvrščen v A'' ali A'. Nazaj 7 Navedite družbeno-ekonomske dosežke, ki so nastali v okviru tega projekta. Družbeno-ekonomski rezultat iz obdobja izvajanja projekta (do oddaje zaključnega poročila) vpišete tako, da izpolnite COBISS kodo dosežka - sistem nato sam izpolni naslov objave, naziv, IF in srednjo vrednost revije, naziv FOS področja ter podatek, ali je dosežek uvrščen v A'' ali A'. Družbeno-ekonomski dosežek je po svoji strukturi drugačen kot znanstveni dosežek. Povzetek znanstvenega dosežka je praviloma povzetek bibliografske enote (članka, knjige), v kateri je dosežek objavljen. Povzetek družbeno-ekonomskega dosežka praviloma ni povzetek bibliografske enote, ki ta dosežek dokumentira, ker je dosežek sklop več rezultatov raziskovanja, ki je lahko dokumentiran v različnih bibliografskih enotah. COBISS ID zato ni enoznačen, izjemoma pa ga lahko tudi ni (npr. prehod mlajših sodelavcev v gospodarstvo na pomembnih raziskovalnih nalogah, ali ustanovitev podjetja kot rezultat projekta _ - v obeh primerih ni COBISS ID). Nazaj 8 Navedite rezultate raziskovalnega projekta iz obdobja izvajanja projekta (do oddaje zaključnega poročila) v primeru, da katerega od rezultatov ni mogoče navesti v točkah 7 in 8 (npr. ker se ga v sistemu COBISS ne vodi). Največ 2.000 znakov, vključno s presledki. Nazaj 9 Pomen raziskovalnih rezultatov za razvoj znanosti in za razvoj Slovenije bo objavljen na spletni strani: http://sicris.izum.si/ za posamezen projekt, ki je predmet poročanja Nazaj 10 Največ 4.000 znakov, vključno s presledki Nazaj 11 Največ 4.000 znakov, vključno s presledki Nazaj 12 Rubrike izpolnite / prepišite skladno z obrazcem "izjava sofinancerja" http://www.arrs.gov.si/sl/progproj/rproj/gradivo/, ki ga mora izpolniti sofinancer. Podpisan obrazec "Izjava sofinancerja" pridobi in hrani nosilna raziskovalna organizacija - izvajalka projekta. Nazaj 13 Navedite en izjemni znanstveni dosežek in/ali en izjemni družbeno-ekonomski dosežek raziskovalnega projekta v letu 2012 (največ 1000 znakov, vključno s presledki). Za dosežek pripravite diapozitiv, ki vsebuje sliko ali drugo slikovno gradivo v zvezi z izjemnim dosežkom (velikost pisave najmanj 16, približno pol strani) in opis izjemnega dosežka (velikost pisave 12, približno pol strani). Diapozitiv/-a priložite kot priponko/-i k temu poročilu. Vzorec diapozitiva je objavljen na spletni strani ARRS http://www.arrs.gov.si/sl/gradivo/, predstavitve dosežkov za pretekla leta pa so objavljena na spletni strani http://www.arrs.gov.si/sl/analize/dosez/. Nazaj Obrazec: ARRS-RPROJ-ZP/2013 v1.00 58-BE-45-EB-AD-75-D5-5C-CC-F6-8A-CC-6A-12-6C-3E-EF-D4-B2-0B TEHNIKA Področje 2.06 - Sistemi in kibernetika Dosežek 1: Uporaba človekovih senzorično-motoričnih sposobnosti za zagotavljanje ravnotežja humanoidnega robota Vir: PETERNEL, Luka, BABIČ, Jan. Using human Sensorimotor ability to control robot stability : construction and evaluation of human-robot interface. V: 21th International Workshop on Robotics in Alpe-Adria-Danube Region, Naples, Italy. RAAD 2012. [COBISS.SI-ID 26084135] Humanoidna robotika je v zadnjem času ena izmed bolj popularnih področji robotike. Humanoidni roboti poskušajo čim bolje posnemati človeka, človekove lastnosti in obnašanje. Vodenje humanoidnih robotov je kompleksen in večdimenzionalen problem. Po drugi strani je človek izredno prilagodljiv in se je sposoben naučiti različnih stvari. V raziskavi smo izkoristili človekove sposobnosti prilagajanja, za učenje zagotavljanja ravnotežja humanoidnega robota. Pri tem smo zasnovali poseben haptični vmesnik, ki je nudil človeku določeno povratno informacijo o stanju robota. Haptični vmesnik je deloval s silo na človekovo težišče glede na položaj robotovega težišča. Človek seje odzval na to povratno informacijo s premikom telesa v stabilen položaj. Odzive človeka smo nato prenesli na robota. Med izvajanjem naloge smo zajemali podatke o robotovem težišču in pripadajočih odzivih človeka, ki smo jih uporabili za učenje nevronske mreže. Nevronsko mrežo smo nato uporabili za samostojno vodenje robota.