Oznaka poročila: ARRS-RPROJ-ZP-2015/186 Hft&^lll ZAKLJUČNO POROČILO RAZISKOVALNEGA PROJEKTA A. PODATKI O RAZISKOVALNEM PROJEKTU 1.Osnovni podatki o raziskovalnem projektu Šifra projekta J2-4222 Naslov projekta Strojno učenje v gradnji inteligentnih sistemov za poučevanje Vodja projekta 2275 Ivan Bratko Tip projekta J Temeljni projekt Obseg raziskovalnih ur 8430 Cenovni razred B Trajanje projekta 07.2011 - 06.2014 Nosilna raziskovalna organizacija 1539 Univerza v Ljubljani, Fakulteta za računalništvo in informatiko Raziskovalne organizacije -soizvajalke 312 Univerzitetni klinični center Ljubljana Raziskovalno področje po šifrantu ARRS 2 TEHNIKA 2.07 Računalništvo in informatika 2.07.07 Inteligentni sistemi - programska oprema Družbenoekonomski cilj Naravoslovne vede - RiR financiran iz drugih virov (ne iz SUF) Raziskovalno področje po šifrantu FOS 1 Naravoslovne vede 1.02 Računalništvo in informatika B. REZULTATI IN DOSEŽKI RAZISKOVALNEGA PROJEKTA 2.Povzetek raziskovalnega projekta1 SLO Splošno je sprejeto, da je posamično poučevanje bistveno bolj učinkovito kot poučevanje v razredu učencev, vendar predrago v večini situacij. Za ekonomično izvedbo posamičnega poučevanja je zato zanimiva alternativa poučevanje z računalniki (CAI, computer aided instruction). Vendar je CAI poučevanje zelo togo, zato se za najbolj obetavno možnost smatrajo inteligentni poučevalni sistemi (ITS, intelligent tutoring systems). Vendar je ovira spet v visoki ceni razvoja ITS sistemov, saj njihov razvoj zahteva obsežno sodelovanje področnega eksperta za realizacijo inteligentne interakcije med učencem in računalnikom. Glavni namen tega projekta je bil razviti metode, s katerimi bi bilo mogoče vsaj delno avtomatizirati gradnjo ITS sistemov in s tem bistveno znižati stroške gradnje. Glavni cilj projekta je bil razviti metode za avtomatsko konceptualizacijo učnih domen, kar je bistvena komponenta razvoja ITS sistemov. Izpeljali smo vrsto eksperimentalnih študij iz dveh tipov učnih domen: (a) domene simboličnega reševanja problemov (medicinsko diagnostično sklepanje, računalniško programiranje, šah), ter (b) domene motoričnih in kontrolnih spretnosti (človeško in robotsko gibanje). Med glavne rezultate projekta štejemo naslednje razvite metode in algoritme: • metoda za zajemanje znanja z argumentiranim strojnim učenjem, ki omogoča interakcijo med učencem in računalnikom ter je zmožna tudi ocenjevati kvaliteto podanih argumentov, • algoritem za ciljno usmerjeno učenje pravil, ki omogoča konceptualizacijo proceduralnega znanja, • metoda za ocenjevanje veščin pri reševanju problemov v simbolnih domenah, • metoda za avtomatsko prepoznavanje težavnosti problemov za ljudi pri reševanju problemov v simbolnih domenah, • metoda za samodejno generiranje namigov v tutorjih za programiranje, • algoritem za učenje kompozicionalnih hierarhij motoričnega sistema, • metoda za hitrejše učenje s pomočjo odkrivanja in izkoriščanja podobnosti med objekti. S pomočjo znanja, ki smo ga pol'avtomatsko zajeli pri izgradnji odločitvenega sistema za diferenciacijo tremorjev (področje-medicinske diagnostike), smo razvili mobilno aplikacijo za pravočasno odkrivanje in spremljanje Parkinsonove bolezni in nekaterih tremorjev. Aplikacija vsebuje vgrajeni ekspertni sistem za avtomatsko detektiranje potencialnih znakov bolezni. Med drugim smo razvili tudi prototip nove vrste tutorjev, ki temeljijo na argumentiranem strojnem učenju in kjer učenec s svojimi argumenti skuša čim bolj natančno opisati ciljno učno domeno, od metode strojnega učenja pa dobiva povratne informacije o kvaliteti svojih argumentov ter ustrezne protiprimere. Razvite metode imajo potencial, da omogočijo bistveno hitrejšo gradnjo inteligentnih tutorskih sistemov. ANG It is generally accepted that one-to-one tutoring is by far more effective than in-class teaching, but too costly in most situations. To carry out one-to-one tutoring at reasonable cost, CAI (Computer Assisted Instruction) is an alternative. To overcome CAI's rigid behaviour, ITS (Intelligent Tutoring Systems) are generally considered as the most promising option. However, the costs of ITS development are high because it requires major involvement of a domain expert to realise intelligent student-system interaction. The purpose of this project was to develop methods for automating the process of developing ITS and thus considerably decrease the high costs of building ITS, by enabling more economical, semi-automatic development of ITS. In particular, the main goal of the project was to develop methods to support automated conceptualisation of learning domains, which can be viewed as a key component in the construction of ITS systems. In the project, several experimental case studies in selected learning domains were carried out from two types of domains: (a) symbolic problem solving (medical reasoning, computer programming, chess), and (b) motor and/or control skill domains (human and robot movement). The main results of the project include the following methods and algorithms: • the method for knowledge elicitation with argument-based machine learning that enables student-computer interaction, and is capable of estimating the quality of given arguments, • the algorithm for goal-oriented rule learning that enables conceptualization of procedural knowledge, • the method for estimating problem-solving skills in symbolic domains, • the method for estimating the difficulty of problems in symbolic domains, • the method for automatic hint generation in programming tutors, • the method for learning compositional hierarchies of a sensorimotor system, • the method for learning faster by discovering and exploiting object similarities. Using the knowledge semi-automatically acquired in building a decision support system for differentiating tremors, we developed a mobile application for quickly discovering and monitoring Parkinson disease and some tremors. The application uses a built-in decision support system to detect potential signs of the disease. Among others, we developed a working prototype of new kind of tutors that are based on argument-based machine learning. By giving arguments, the student tries to describe as best as possible the target domain, and the machine learning method provides the feedback about the quality of the arguments and by giving relevant counter-examples. The resulting methods have a potential of greatly speeding up the development of intelligent tutoring systems. 3.Poročilo o realizaciji predloženega programa dela na raziskovalnem projektu2 O realizaciji raziskovalnega projekta poročamo po tematskih sklopih, ki smo jih uvedli ob prijavi programa. Na koncu podajamo vire z relevantnimi objavami projektne skupine. RAZVOJ METOD ZA KONCEPTUALIZACIJO PROBLEMSKIH DOMEN Razvili smo: • metodo za zajemanje znanja z argumentiranim strojnim učenjem, ki omogoča interakcijo med učencem in računalnikom ter je zmožna tudi ocenjevati kvaliteto podanih argumentov [1], • algoritem za ciljno usmerjeno učenje pravil, ki omogoča konceptualizacijo proceduralnega znanja, kar je eden izmed največjih izzivov pri gradnji inteligentnih sistemov za poučevanje [2], • metodo za ocenjevanje veščin pri reševanju problemov v simbolnih domenah, temelječo na hevrističnem preiskovanju [3], • metodo za avtomatsko prepoznavanje težavnosti problemov za ljudi pri reševanju problemov v simbolnih domenah [4][11][13], • algoritem za inkrementalno učenje kompozicionalnih hierarhij motoričnega sistema, za omogočanje analize gibanja motoričnega sistema in planiranje akcij [5], • metodo za hitrejše učenje s pomočjo odkrivanja in izkoriščanja podobnosti med objekti, za učenje kvalitativnih modelov dinamičnih sistemov iz numeričnih podatkov, pridobljenih iz posnetkov gibanja človeka [6]. Razvite metode in algoritme smo tudi eksperimentalno ovrednotili. POSKUSI IN APLIKACIJE V SIMBOLNIH DOMENAH Metodo za zajemanje znanja z argumentiranim strojnim učenjem (ABML) smo nadgradili v prototip inteligentnega tutorskega sistema, ki temelji na argumentiranju. Le-ta omogoča poučno interakcijo med učencem in računalnikom, kar smo preizkusili v težavni domeni programiranja. Postopek poteka na naslednji način: učenec s svojimi argumenti skuša čim bolj natančno opisati ciljno učno domeno, od metode strojnega učenja pa dobiva povratne informacije o kvaliteti svojih argumentov ter ustrezne protiprimere. Vse to poteka v zanki, kjer se učenec z vsako novo iteracijo približuje modelu domene, ki jo je predhodno - prav tako s pomočjo ABML - konceptualiziral domenski ekspert [1]. Postopek elicitacije znanja iz domenskega eksperta smo izvedli na področju diagnostike v medicini oz. pri diagnosticiranju različnih vrst tremorjev, pri tem je sodeloval ekspert s področja nevrologije [7] [8]. V domeni šah smo razvili prototip inteligentnega sistema za poučevanje šahovskih končnic, ki temelji na rezultatih našega algoritma za ciljno usmerjeno učenje pravil [9][10]. Razvili smo metodo za avtomatsko prepoznavanje težavnosti problemov za ljudi, kar je še en pomemben vidik tako pri gradnji inteligentnih sistemov za poučevanje kot tudi pri avtomatskem generiranju komentarjev [11]. Z namenom bolj poglobljenega razumevanja težavnosti problemov za ljudi smo izvedli tudi poskuse s sledenjem očesnim premikov [12]. Pri prepoznavanju težavnosti šahovskih taktičnih problemov se je še nadgrajena metoda izkazala za prepričljivo bolj uspešno celo od šahovskih ekspertov [13]. S pomočjo znanja, ki smo ga pridobili pri izgradnji odločitvenega sistema za diferenciacijo tremorjev, smo razvili mobilno aplikacijo za pravočasno odkrivanje in spremljanje Parkinsonove bolezni in nekaterih tremorjev. Aplikacija temelji na spirografiji (risanje Arhimedovih spiral za nevrološko oceno tremorja) in vsebuje ekspertni sistem za avtomatsko oceno prisotnosti znakov parkinsonskega ali esencialnega tremorja [14]. POSKUSI V DOMENAH MOTORIČNIH VEŠČIN Z uporabo algoritma za kvalitativno modeliranje in Q2 učenje smo izvedli poskuse na simulatorju robotskega manipulatorja za različna števila prostostnih stopenj, na humanoidnem robotu Nao ter na primerih človeške hoje, kjer smo podatke zajemali s senzorsko obleko Animazoo. Na področju medicinske diagnostike smo izvajali poskuse za namen razvoja aplikacije za pravočasno odkrivanje in spremljanje Parkinsonove bolezni in nekaterih tremorjev. Manifestacije bolezni smo zajeli s pomočjo digitalne spirografije, s pomočjo katere smo pridobili podatke o gibanju človeške roke pri risanju Arhimedove spirale v določenem časovnem obdobju. Izvedba poskusov s primerjavo zdravih in bolnih ljudi (npr. pacientov s Parkinsonovo boleznijo) nam je omogočila izgradnjo ekspertnega sistema za avtomatsko oceno prisotnosti znakov bolezni. RAZVOJ METOD ZA GENERIRANJE NAMIGOV V PROGRAMIRANJU Razvili smo nov, podatkovno voden pristop k samodejnemu generiranju namigov v tutorjih za programiranje. Obstoječi pristopi proces programiranja predstavijo s prostorom stanj delnih in popolnih študentskih rešitev, ki so se pojavile v preteklih poskusih. Naša metoda iz obstoječih študentskih poskusov poišče tipične popravke na programski kodi. Za dan nepravilni program nato poišče zaporedje takih popravkov, ki ga pretvori v pravilno rešitev. Dobljeno zaporedje popravkov lahko služi kot osnova za generiranje namigov [15]. Pri avtomatskem komentiranju je pomembno tudi, da sistem razume, kako težak je določen problem za učenca. Ocenjevanje težavnosti problemov predstavlja izziv tudi domenskim strokovnjakom [12]. Osredotočili smo se na ocenjevanje težavnosti problemov, pri katerih težavnost izvira iz kombinatorične kompleksnosti in kjer je potrebno preiskovanje med alternativami. Razvili smo algoritmični pristop k ugotavljanju težavnosti, ki temelji na uporabi hevrističnega računalniškega preiskovanja za gradnjo preiskovalnih dreves, ki so "smiselna" z vidika osebe, ki problem rešuje [11][13]. Naš prototip inteligentnega sistema za poučevanje šahovskih končnic omogoča avtomatsko generiranje inteligentnih komentarjev v tej domeni [9]. PREDSTAVITEV IN ŠIRJENJE DOSEŽKOV, SODELOVANJE Vzpostavili smo aktivno sodelovanje z eno od vodilnih institucij na področju razvoja inteligentnih totorskih sistemov: Human-Computer Interaction Institute na univerzi Carnegie Mellon v Pittsburghu, ZDA in z vodilnim podjetjem na področju inteligentnih tutorskih sistemov, CarnegieLearning (http://www.carnegielearning.com/), ki nam je omogočilo administratorski dostop do trenutno z naskokom najnaprednejšega inteligentnega tutorskega sistema (za poučevanje matematike) na svetu. Na Pedagoški fakulteti Univerze v Ljubljani ga sedaj v okviru enega od rednih izbirnih predmetov študenti uporabljajo za pridobivanje poglobljenih praktičnih znanj o inteligentnih sistemih za poučevanje. O dosežkih v skladu z načrti redno poročamo v znanstvenih revijah in na vsebinsko ustreznih mednarodnih konferencah. REFERENCE (IZBRANE OBJAVE PROJEKTNE SKUPINE REFERENCIRANE V GORNJEM PREGLEDU) [1] ZAPUŠEK, Matej, MOŽINA, Martin, BRATKO, Ivan, RUGELJ, Jože, GUID, Matej. Designing an interactive teaching tool with ABML knowledge refinement loop. V: TRAUSAN-MATU, Stefan (ur.). Intelligent tutoring systems : 12th International Conference, ITS 2014 (Lecture notes in computer science, ISSN 0302-9743, 8474). Springer, cop. 2014, str. 575-582. [COBISS.SI-ID 10703956] [2] MOŽINA, Martin, GUID, Matej, SADIKOV, Aleksander, GROZNIK, Vida, BRATKO, Ivan. Goal-oriented conceptualization of procedural knowledge. V: CERRI, Stefano A. (ur.). Intelligent tutoring systems : 11th international conference, ITS 2012 (Lecture notes in computer science, ISSN 0302-9743, 7315). Springer, cop. 2012, str. 286-291. [COBISS.SI-ID 9326164] [3] GUID, Matej, BRATKO, Ivan. Using heuristic-search based engines for estimating human skill at chess. ICGA journal, ISSN 1389-6911, 2011, vol. 34, no. 2, str. 71-81 [COBISS.SI-ID 8654932] [4] GUID, Matej, BRATKO, Ivan. Search-based estimation of problem difficulty for humans. V: LANE, H. Chad (ur.). Artificial intelligence in education : AIED 2013 : 16th International Conference (Lecture notes in computer science, ISSN 1611-3349, SL 7, Lecture notes in artificial science, 7926). Springer, 2013, str. 860863. [CQBISS.SI-ID10025300] [5] ŽABKAR, Jure, LEONARDIS, Aleš. Learning compositional hierarchies of a sensorimotor system. V: TUCKER, Allan (ur.). Advances in intelligent data analysis XII: IDA 2013: 12th International Symposium (Lecture notes in computer science, ISSN 0302-9743, 8207). Springer, 2013, str. 450-461. [COBISS.SI-ID 10212692] [6] JANEŽ, Tadej, ŽABKAR, Jure, MOŽINA, Martin, BRATKO, Ivan. Learning faster by discovering and exploiting object similarities. International journal of advanced robotic systems, ISSN 1729-8814, 2013, vol. 10, str. 1-18, [COBISS.SI-ID 9731668] [7] GUID, Matej, MOŽINA, Martin, GROZNIK, Vida, GEORGIEV, Dejan, SADIKOV, Aleksander, PIRTOŠEK, Zvezdan, BRATKO, Ivan. ABML knowledge refinement loop : a case study. V: CHEN, Li (ur.), et al. Foundations of intelligent systems : proceedings, (Lecture notes in computer science, ISSN 0302-9743, Lecture notes in artificial intelligence, 7661). Springer, cop. 2012, str. 41-50 [COBISS.SI-ID 9596500] [8] GROZNIK, Vida, GUID, Matej, SADIKOV, Aleksander, MOŽINA, Martin, GEORGIEV, Dejan, KRAGELJ, Veronika, RIBARIČ, Samo, PIRTOŠEK, Zvezdan, BRATKO, Ivan. Elicitation of neurological knowledge with argument-based machine learning. Artificial intelligence in medicine, ISSN 0933-3657. [Print ed.], 2013, vol. 57, no. 2, spec. iss., str. 133-144, [COBISS.SI-ID 30199257] [9] GUID, Matej, MOŽINA, Martin, BOHAK, Ciril, SADIKOV, Aleksander, BRATKO, Ivan. Building an intelligent tutoring system for chess endgames. V: CSEDU 2013. [S. l.]: SCITEPRESS - Science and Technology Publication, cop. 2013, str. 263-266. [COBISS.SI-ID 9860180] [10] GUID, Matej, BRATKO, Ivan, KRIVEC, Jana. An experiment in students' acquisition of problem solving skill from goal-oriented instructions. V: ComputationWorld2012, lARIA, cop. 2012, str. 159-164 [COBISS.SI-ID 93253961 [11] STOILJKOVIKJ, Simon, BRATKO, Ivan, GUID, Matej. A Computational Approach to Estimating the Difficulty of a Mental Task for a Human. Članek je bil sprejet na: Artificial intelligence in education : AIED 2015: 16th International Conference. [12] HRISTOVA, Dayana, GUID, Matej, BRATKO, Ivan. Assessing the difficulty of chess tactical problems. International journal on advances in intelligent systems, ISSN 1942-2679, 2014, vol. 7, no. 3/4, str. 728-738 [COBISS.SI-ID 1536199107] [13] STOILJKOVIKJ, Simon, BRATKO, Ivan, GUID, Matej. A Computational Model for Estimating the Difficulty of Chess Problems. Poslano na: Third Annual Conference on Advances in Cognitive Systems. [14] SADIKOV, Aleksander, GROZNIK, Vida, ŽABKAR, Jure, MOŽINA, Martin, GEORGIEV, Dejan, PIRTOŠEK, Zvezdan, BRATKO, Ivan. ParkinsonCheck smart phone app. V: SCHAUB, Torsten (ur.), FRIEDRICH, Gerhard (ur.), O'SULLIVAN, Barry (ur.). ECAI2014 : proceedings, (Frontiers in artificial intelligence and applications (Print), ISSN 0922-6389, vol. 263). IOS Press, cop. 2014, str. 1213-1214 [COBISS.SI-ID 10767444] [15] LAZAR, Timotej, BRATKO, Ivan. Data-driven program synthesis for hint generation in programming tutors. V: TRAUSAN-MATU, Stefan (ur.). Intelligent tutoring systems: 12th International Conference, ITS 2014 (Lecture notes in computer science, ISSN 0302-9743, 8474). Springer, cop. 2014, str. 306-311 [COBISS.SI-ID 10805076] 4.Ocena stopnje realizacije programa dela na raziskovalnem projektu in zastavljenih raziskovalnih ciljev3 Stopnjo realizacije smo ocenili v skladu z v predlogu projekta zapisanimi cilji, po posameznih tematskih sklopih. Ocenjujemo, da so vsi cilji v celoti realizirani. T1 Razvoj metod za konceptualizacijo: meseci 1-24 Novo razvite metode kvalitativnega modeliranja, argumentiranega strojnega in ciljno usmerjenega učenja pravil so v celoti omogočile realizacijo ciljev projekta. T2 Poskusi in aplikacije v simbolnih domenah: meseci 1-36 Razvili smo prototip inteligentnega sistema za poučevanje, ki temelji na argumentiranju. ABML smo pri tem dodatno nadgradili tako, da omogoča poučno interakcijo z učenci, kar so potrdili tudi izvedeni poskusi. Na področju diagnostike v medicini oz. pri diagnosticiranju različnih vrst tremorjev smo uspešno izvedli elicitacijo znanja iz podatkov ob sodelovanju eksperta s področja nevrologije. Izdelali smo prototip inteligentnega sistema za poučevanje šahovskih končnic. Razvili smo metodo za avtomatsko prepoznavanje težavnosti problemov za ljudi in jo eksperimentalno ovrednotili. T3 Poskusi v domenah motoričnih veščin: meseci 1-36 Razvili smo algoritem za inkrementalno učenje kompozicionalnih hierarhij motoričnega sistema, za omogočanje analize gibanja motoričnega sistema in planiranje akcij. Razvili smo metodo za hitrejše učenje s pomočjo odkrivanja in izkoriščanja podobnosti med objekti, za učenje kvalitativnih modelov dinamičnih sistemov iz numeričnih podatkov, pridobljenih iz posnetkov gibanja človeka. S pomočjo znanja, ki smo ga pridobili pri izgradnji odločitvenega sistema za diferenciacijo tremorjev, smo razvili mobilno aplikacijo za pravočasno odkrivanje in spremljanje Parkinsonove bolezni in nekaterih tremorjev. Aplikacija temelji na spirografiji (risanje Arhimedovih spiral za nevrološko oceno tremorja) in vsebuje ekspertni sistem za avtomatsko oceno prisotnosti znakov parkinsonskega ali esencialnega tremorja. T4 Razvoj orodij za avtomatsko generiranje komentarjev: meseci 6-36 Razvili smo nov, podatkovno voden pristop k samodejnemu generiranju namigov pri inteligentnih tutorskih sistemih za programiranje. Omenjeni prototip inteligentnega sistema za poučevanje šahovskih končnic omogoča avtomatsko generiranje inteligentnih komentarjev v tej domeni. Razvili smo metodo za avtomatsko prepoznavanje težavnosti problemov za ljudi (v simbolnih domenah), kar je eden od pomembnih vidikov pri podajanju komentarjev. T5 Predstavitev in širjenje dosežkov: meseci 6-36 Za demonstriranje prednosti naših metod za namen konceptualizacije domenskega znanja smo razvili interaktivno orodje za pridobivanje znanja v simbolnih domenah. Prototipi razvitih inteligentnih tutorskih sistemov so dostopni na spletu, prav tako omenjena mobilna aplikacija za pravočasno odkrivanje in spremljanje Parkinsonove bolezni. O raziskovalnih dosežkih smo poročali na vsebinsko najbolj ustreznih in uglednih mednarodnih konferencah (ITS - Inteligent tutoring systems, AIED - artificial intelligence in education, CSEDU - Computer supported education) ter v znanstvenih revijah. Objave nekaterih raziskovalnih dosežkov pričakujemo v letu 2015. 5.Utemeljitev morebitnih sprememb programa raziskovalnega projekta oziroma sprememb, povečanja ali zmanjšanja sestave projektne skupine4 Prišlo je do nekaterih nebistvenih sprememb pri eksperimentalnih domenah, v katerih so bili po prvotnem programu predvideni poskusi z našim pristopom k razvoju inteligentnih poučevalnih sistemov, so pa bili namesto tega izvedeni drugi poskusi, ki so bili bolje izvedljivi glede na možnosti sodelovanja domenskih ekspertov. Te spremembe niso vplivale na metodološke in teoretične rezultate projekta_ 6.Najpomembnejši znanstveni rezultati projektne skupine5 Znanstveni dosežek 1. COBISS ID 10703956 Vir: COBISS.SI Naslov SLO Načrtovanje interaktivnega orodja za poučevanje s pomočjo interaktivne zanke ABML ANG Designing an interactive teaching tool with ABML knowledge refinement loop Opis SLO Paradigmo argumentiranega strojnega učenja smo prilagodili uporabi v namene poučevanja. V članku smo pokazali, da lahko z avtomatskim izbiranjem relevantnih primerov in protiprimerov, ki naj jih učenec razloži, interaktivna zanka argumentiranega strojnega učenja omogoči koristen interaktiven učni pripomoček. ANG The argument-based machine learning paradigm was adapted for usage in educational setting. In this paper, we demonstrated that by automatically selecting relevant examples and counter examples to be explained by the student, the ABML knowledge refinement loop provides a valuable interactive teaching tool. Objavljeno v Springer; Intelligent tutoring systems; Lecture notes in computer science; 2014; Str. 575-582; Avtorji / Authors: Zapušek Matej, Možina Martin, Bratko Ivan, Rugelj Jože, Guid Matej Tipologija 1.01 Izvirni znanstveni članek 2. COBISS ID 10805076 Vir: COBISS.SI Naslov SLO Podatkovno vodeno združevanje programov za generiranje namigov v tutorjih za programiranje ANG Data-driven program synthesis for hint generation in programming tutors Razvili smo nov, podatkovno voden pristop k samodejnemu generiranju namigov v tutorjih za programiranje. Obstoječi pristopi proces Opis SLO programiranja predstavijo s prostorom stanj delnih in popolnih študentskih rešitev, ki so se pojavile v preteklih poskusih. Naša metoda iz obstoječih študentskih poskusov poišče tipične popravke na programski kodi. Za dan nepravilni program nato poišče zaporedje takih popravkov, ki ga pretvori v pravilno rešitev. Dobljeno zaporedje popravkov lahko služi kot osnova za generiranje namigov. ANG We presented a novel approach to program synthesis that can be used as a basis for automatic hint generation in programming tutors. Instead of using a state-space representation of the problem-solving process, our method finds a set of textual edits commonly used by students on program code. Given an incorrect program it then synthesizes new programs by applying sequences of edits until a solution is found. The edit sequence can be used to provide hints with varying levels of detail. Objavljeno v Springer; Intelligent tutoring systems; Lecture notes in computer science; 2014; Str. 306-311; Avtorji / Authors: Lazar Timotej, Bratko Ivan Tipologija 1.01 Izvirni znanstveni članek 3. COBISS ID 9731668 Vir: COBISS.SI Naslov SLO Hitrejše učenje s pomočjo odkrivanja in izkoriščanja podobnosti med objekti ANG Learning faster by discovering and exploiting object similarities Opis SLO Razvili smo ERM (Error reduction merging), novo metodo učenja, ki avtomatsko odkrije podobnosti v strukturi agentovega okolja. ERM identificira različne tipe objektov le iz izmerjenih podatkov in združi opazovanja objektov, ki se obnašajo enako ali podobno, z namenom pospešitve učenja agenta. Izvedli smo množico eksperimentov v okoljih naraščajočih kompleksnosti. Robot je bil primoran naučiti se kvalitativnih modelov spreminjanja razdalje robota od objektov. Rezultati kažejo, da je ERM bil sposoben odkriti strukturne podobnosti v podatkih, ki so izrazito pospešile učenje. Ta trend je bil opažen pri uporabi različnih algoritmov strojnega učenja, uporabljenih znotraj metode ERM. ANG We proposed Error reduction merging (ERM), a new learning method that automatically discovers similarities in the structure of the agent's environment. ERM identifies different types of objects solely from the data measured and merges the observations of objects that behave in the same or similar way in order to speed up the agent's learning. We performed a series of experiments in worlds of increasing complexity. The robot had to learn a qualitative model predicting the change in the robot's distance to an object. The results indicate that ERM was capable of discovering structural similarities in the data which indeed made the learning faster, clearly superior to conventional learning. This observed trend occurred with various machine learning algorithms used inside the ERM method. Objavljeno v Institute for Production Engineering, Intelligent Manufacturing Systems, Vienna University of Technology; International journal of advanced robotic systems; 2013; Vol. 10; str. 1-18; Impact Factor: 0.497;Srednja vrednost revije / Medium Category Impact Factor: 1.283; Avtorji / Authors: Janež Tadej, Žabkar Jure, Možina Martin, Bratko Ivan Tipologija 1.01 Izvirni znanstveni članek 4. COBISS ID 30199257 Vir: COBISS.SI Naslov SLO Elicitacija nevrološkega znanja s pomočjo argumentiranega strojnega učenja ANG Elicitation of neurological knowledge with argument-based machine learning Opis SLO Opisali smo pomemben del razvoja podpornega odločitvenega sistema s področja nevrologije. Odločitveni sistem je namenjen podpori nevrologom pri ločevanju različnih tipov tremorja. Sistem lahko služi nevrologom kot dodatno mnenje, predvsem pa jim lahko bistveno zmanjša stroške diagnoze, ki bi nastopili v primeru pregleda DaTSCAN. V članku opisujemo prednosti argumentiranega strojnega učenja za učinkovito kombiniranje strojnega učenja z ekspertnim znanjem. Točnost diagnoz je zelo visoka v primerjavi s sodobnimi pristopi v klinični praksi, pridobljena baza znanja pa je bila ocenjena s strani nevrologov kot izredno konsistentna z vidika medicine. Slednje odpira možnosti za uporabo sistema tudi za namene poučevanja. ANG Objective: The paper describes the use of expert's knowledge in practice and the efficiency of a recently developed technique called argument-based machinelearning (ABML) in the knowledge elicitation process. We are developinga neurological decision support system to help the neurologists differentiate between three types of tremors: Parkinsonian, essential, and mixed tremor (comorbidity). The system is intended to act as a second opinion for the neurologists, and most importantly to help them reduce the number of patients in the "gray area" that require a very costly further examination (DaTSCAN). We strive to elicit comprehensible and medically meaningful knowledge in such a way that it does not come at the cost of diagnostic accuracy. Materials and methods: To alleviate the difficult problem of knowledge elicitation from data and domain experts, we used ABML. ABML guidesthe expert to explain critical special cases which cannot be handled automatically by machine learning. This very efficiently reduces the expert'sworkload, and combines expert's knowledge with learning data. 122 patients were enrolled into the study. Results: The classification accuracy ofthe final model was 91%. Equally important, the initial and the final modelswere also evaluated for their comprehensibility by the neurologists. All13 rules of the final model were deemed as appropriate to be able to support its decisions with good explanations. Conclusion: The paper demonstrates ABML's advantage in combining machine learning and expert knowledge. The accuracy of the system is very high with respect to the currentstate-of-the-art in clinical practice, and the system's knowledge base is assessed to be very consistent from a medical point of view. This opens upthe possibility to use the system also as a teaching tool. Objavljeno v Elsevier Science Publishers; Artificial intelligence in medicine; 2013; Vol. 57, no. 2, spec. iss.; str. 133-144; Impact Factor: 1.356;Srednja vrednost revije / Medium Category Impact Factor: 1.609; WoS: EP, IG, PT; Avtorji / Authors: Groznik Vida, Guid Matej, Sadikov Aleksander, Možina Martin, Georgiev Dejan, Kragelj Veronika, Ribarič Samo, Pirtošek Zvezdan, Bratko Ivan Tipologija 1.01 Izvirni znanstveni članek 5. COBISS ID 9326164 Vir: COBISS.SI Naslov SLO Ciljno orientirana konceptualizacija proceduralnega znanja ANG Goal-oriented conceptualization of procedural knowledge Opis SLO Konceptualizacija proceduralnega znanja je eden izmed največjih izzivov pri gradnji inteligentnih sistemov za poučevanje. Predstavili smo nov algoritem, ki je namenjen polavtomatski konceptualizaciji proceduralnega znanja na podlagi ciljno orientiranih pravil v simboličnih domenah. Algoritem smo uporabili pri težavni šahovski končnici matiranja z lovcem in skakačem ter izvedli pilotski eksperiment z namenom oceniti ali pridobljeni koncepti (inštrukcije) lahko služijo kot orodje za poučevanje. Celo šahovski začetniki so presenetljivo hitro dojeli te koncepte in se naučili matirati. Ločena, subjektivna ocena inštrukcij s strani izkušenih šahovskih trenerjev je bila prav tako pozitivna. ANG Conceptualizing procedural knowledge is one of the most challenging tasks of building systems for intelligent tutoring. We presented a novel algorithm for semi-automated conceptualization of procedural knowledge based on goal-oriented rules in symbolic domains. We applied the algorithm to the challenging KBNK chess endgame, and carried out a pilot experiment to evaluate whether the obtained concepts (instructions) could serve as a teaching tool. Somewhat surprisingly, even the beginner level chess players were able to quickly grasp the concepts, and learn to deliver checkmate. A separate, subjective evaluation of the instructions by experienced chess trainers was also positive. Objavljeno v Springer; Intelligent tutoring systems; Lecture notes in computer science; 2012; Str. 286-291; Avtorji / Authors: Možina Martin, Guid Matej, Sadikov Aleksander, Groznik Vida, Bratko Ivan Tipologija 1.01 Izvirni znanstveni članek 7.Najpomembnejši družbeno-ekonomski rezultati projektne skupine6 Družbeno-ekonomski dosežek 1. COBISS ID 10767444 Vir: COBISS.SI Naslov SLO Razvoj mobilne aplikacije za diagnosticiranje parkinsonskega tremorja (ParkinsonCheck) ANG Development of mobile application for diagnosing Parkinsonian tremor (ParkinsonCheck) Opis SLO S pomočjo znanja, ki smo ga pridobili pri izgradnji odločitvenega sistema za diferenciacijo tremorjev, smo razvili mobilno aplikacijo za pravočasno odkrivanje in spremljanje Parkinsonove bolezni in nekaterih tremorjev. Aplikacija temelji na spirografiji (risanje Arhimedovih spiral za nevrološko oceno tremorja) in vsebuje ekspertni sistem za avtomatsko oceno prisotnosti znakov parkinsonskega ali esencialnega tremorja. Tako lahko potencialne bolnike napoti do zdravnika že v zgodnji fazi bolezni in s tem omogoči pravočasen začetek zdravljenja in s tem povezano izboljšanje kvalitete življenja. ANG Using the knowledge gained at building a decision support system for differentiating tremors, we developed a mobile application for quickly discovering and monitoring Parkinson disease and some tremors. ParkinsonCheck is an app for smart phones built to detect signs of Parkinson's disease (PD) and essential tremor (ET), which is the main differential diagnosis from PD in the early stage of the disease. The application is based on spirography (spiral drawing) and uses the built-in decision support system to detect potential signs of the disease. The intention is to warn potential patients of their signs as early as possible and guide them to seek medical help. The decision support system is what separates ParkinsonCheck from similar apps which rely on sending the user's data to a medical facility to be assessed by a neurologist. Šifra F.22 Izboljšanje obstoječih zdravstvenih/diagnostičnih metod/postopkov Objavljeno v IOS Press; ECAI 2014; Frontiers in artificial intelligence and applications; 2014; Str. 1213-1214; Avtorji / Authors: Sadikov Aleksander, Groznik Vida, Žabkar Jure, Možina Martin, Georgiev Dejan, Pirtošek Zvezdan, Bratko Ivan Tipologija 1.01 Izvirni znanstveni članek 2. COBISS ID 8885588 Vir: COBISS.SI 1 Naslov SLO Avtomatsko ocenjevanja šahovskih veščin na osnovi preiskovalnih algoritmov ANG Automated assessment of chess skills using heuristic search engines Opis SLO Ratinški sistemi so splošno sprejeta metoda za ocenjevanje veščin tekmovalcev pri raznih igrah in športih. Vendar pa temeljijo le na tekmovalnih rezultatih. Pristop, ki smo ga predlagali, je drugačen: ocenjevanje veščin šahistov poteka s pomočjo šahovskih programov, na podlagi analize njihovih potez. Rezultati naših raziskav so bili objavljeni v obširnem poljudno znanstvenem članku na eni izmed najbolj priljubljenih spletnih strani s šahovskimi vsebinami. Objavljeni komentarji na to objavo so bili zelo številni in so prišli iz 45 držav. ANG In sports and games, rating systems are a widely accepted method for estimating skill levels of the players. They are based on the outcome of direct competitions only. We proposed a different approach: to assess skill level at chess by applying chess engines to analyse positions and moves played. The results of our research findings were published in one of the most popular chess news sites. Published comments on this publication were numerous and came from 45 countries. Šifra B.06 Drugo Objavljeno v 2001-; Chessbase news; 2011; Str. 1-6; Avtorji / Authors: Guid Matej, Bratko Ivan Tipologija 1.25 Drugi sestavni deli 8.Drugi pomembni rezultati projetne skupine7 9.Pomen raziskovalnih rezultatov projektne skupine8 9.1.Pomen za razvoj znanosti9 SLO Glavni znanstveni prispevki prokekta so povezani z učinkovito izgradnjo inteligentnih poučevalnih sistemov s tehnikami umetne inteligence, še zlasti z vidika konceptualizacije problemskih domen. To je, kako prevesti dano osnovno teorije (podano z aksiomi, zakoni, formulami, pravili igre, itd.), ki ni primerna za učinkovito reševanje problemov, v operativno, konceptualizirano teorijo, ki jo lahko uporablja učenec za učinkovito reševanje problemov. Razvili smo tudi nekatere nove pristope za ocenjevanje veščin pri reševanju problemov in za avtomatsko prepoznavanje težavnosti problemov. Poleg tega smo razvili nekatere temelje avtomatskega ocenjevanja težavnosti problemov za ljudi. ANG_ Main scientific contributions of the project are in the area of building intelligent tutoring systems with AI techniques. Most notably, to the problem of conceptualisation of problem domains. That is, how to transform a given basic declarative theory (stated as axioms, laws, formulas, rules of the game) that is not suitable for efficient problem solving, into an operational, conceptualised theory that can be used effectively for problem solving by a student. We developed some novel approaches to estimating problem-solving skills and estimating the difficulty of problems for a human. We also created foundations of automated assessment of difficulty of problems for humans. 9.2. Pomen za razvoj Slovenije10 SLO Projekt je pomemben s stališča izobraževanja podiplomskih in dodiplomskih študentov na hitro spreminjajočem in razvijajočem se področju uporabe umetne inteligence v izobraževanju. Neposredna uporaba razvite programske opreme bo možna v poučevanju računalniškega programiranja. Za neposredno uporabo v medicini je pomembna aplikacija za diagnosticiranje tremorjev, razvita v okviru tega projekta. Splošno je dosegljiva kot mobilna aplikacija imenovana ParkinsonCheck. ANG_ The project is important with respect to the training of postgraduate and undergraduate students in the fast-evolving area of artificial intelligence in education. Direct application of developed software will be possible in teaching computer programming. The application for diagnosing tremors, developed in this project, is important for direct application in medicine. It is generally available as a mobile application ParkinsonCheck. 10.Samo za aplikativne projekte in podoktorske projekte iz gospodarstva! Označite, katerega od navedenih ciljev ste si zastavili pri projektu, katere konkretne rezultate ste dosegli in v kakšni meri so doseženi rezultati uporabljeni Cilj F.01 Pridobitev novih praktičnih znanj, informacij in veščin Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 v F.02 Pridobitev novih znanstvenih spoznanj Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 v F.03 Večja usposobljenost raziskovalno-razvojnega osebja Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F.04 Dvig tehnološke ravni Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 v F.05 Sposobnost za začetek novega tehnološkega razvoja Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 v F.06 Razvoj novega izdelka Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F.07 Izboljšanje obstoječega izdelka Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F.08 Razvoj in izdelava prototipa Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F.09 Razvoj novega tehnološkega procesa oz. tehnologije Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F.10 Izboljšanje obstoječega tehnološkega procesa oz. tehnologije Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 v F.11 Razvoj nove storitve Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F.12 Izboljšanje obstoječe storitve Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F.13 Razvoj novih proizvodnih metod in instrumentov oz. proizvodnih procesov Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F.14 Izboljšanje obstoječih proizvodnih metod in instrumentov oz. proizvodnih procesov Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F.15 Razvoj novega informacijskega sistema/podatkovnih baz Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 v F.16 Izboljšanje obstoječega informacijskega sistema/podatkovnih baz Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 v F.17 Prenos obstoječih tehnologij, znanj, metod in postopkov v prakso Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F 18 Posredovanje novih znanj neposrednim uporabnikom (seminarji, forumi, konference) Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F .19 Znanje, ki vodi k ustanovitvi novega podjetja ("spin off") Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F . 20 Ustanovitev novega podjetja ("spin off") Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.21 Razvoj novih zdravstvenih/diagnostičnih metod/postopkov Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.22 Izboljšanje obstoječih zdravstvenih/diagnostičnih metod/postopkov Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.23 Razvoj novih sistemskih, normativnih, programskih in metodoloških rešitev Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F 24 Izboljšanje obstoječih sistemskih, normativnih, programskih in metodoloških rešitev Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.25 Razvoj novih organizacijskih in upravljavskih rešitev Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.26 Izboljšanje obstoječih organizacijskih in upravljavskih rešitev 1 Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.27 Prispevek k ohranjanju/varovanje naravne in kulturne dediščine Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.28 Priprava/organizacija razstave Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.29 Prispevek k razvoju nacionalne kulturne identitete Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.30 Strokovna ocena stanja Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.31 Razvoj standardov Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.32 Mednarodni patent Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.33 Patent v Sloveniji Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov 1 - F.34 Svetovalna dejavnost Zastavljen cilj DA NE Rezultat 1 v Uporaba rezultatov 1 - F.35 Drugo Zastavljen cilj DA NE Rezultat 1 - Uporaba rezultatov Komentar v ll.Samo za aplikativne projekte in podoktorske projekte iz gospodarstva! Označite potencialne vplive oziroma učinke vaših rezultatov na navedena področja Vpliv Ni vpliva Majhen vpliv Srednji vpliv Velik vpliv G.01 Razvoj visokošolskega izobraževanja G.01.01. Razvoj dodiplomskega izobraževanja O o o o G.01.02. Razvoj podiplomskega izobraževanja o o o o G.01.03. Drugo: o o o o G.02 Gospodarski razvoj G.02.01 Razširitev ponudbe novih izdelkov/storitev na trgu O O O O G.02.02. Širitev obstoječih trgov o o o o G.02.03. Znižanje stroškov proizvodnje o o o o G.02.04. Zmanjšanje porabe materialov in energije O O O O G.02.05. Razširitev področja dejavnosti o o o o G.02.06. Večja konkurenčna sposobnost o o o o G.02.07. Večji delež izvoza o o o o G.02.08. Povečanje dobička o o o o G.02.09. Nova delovna mesta o o o o G.02.10. Dvig izobrazbene strukture zaposlenih O O O O G.02.11. Nov investicijski zagon o o o o G.02.12. Drugo: o o o o G.03 Tehnološki razvoj G.03.01. Tehnološka razširitev/posodobitev dejavnosti O O O O G.03.02. Tehnološko prestrukturiranje dejavnosti O O O O G.03.03. Uvajanje novih tehnologij o o o o G.03.04. Drugo: o o o o G.04 Družbeni razvoj G.04.01 Dvig kvalitete življenja o o o o G.04.02. Izboljšanje vodenja in upravljanja o o o o G.04.03. Izboljšanje delovanja administracije in javne uprave O O O O G.04.04. Razvoj socialnih dejavnosti o o o o G.04.05. Razvoj civilne družbe o o o o G.04.06. Drugo: o o o o G.05. Ohranjanje in razvoj nacionalne naravne in kulturne dediščine in identitete O O O O G.06. Varovanje okolja in trajnostni razvoj O O O O G.07 Razvoj družbene infrastrukture G.07.01. Informacijsko-komunikacijska infrastruktura O O O O G.07.02. Prometna infrastruktura o o o o G.07.03. Energetska infrastruktura o o o o G.07.04. Drugo: o o o o G.08. Varovanje zdravja in razvoj zdravstvenega varstva O O O O G.09. Drugo: o o o o Komentar 12.Pomen raziskovanja za sofinancerje11 Sofinancer 1. Naziv Naslov Vrednost sofinanciranja za celotno obdobje trajanja projekta je znašala: EUR Odstotek od utemeljenih stroškov projekta: % Najpomembnejši rezultati raziskovanja za sofinancerja Šifra 1. 2. 3. 4. 5. Komentar Ocena 13.Izjemni dosežek v letu 201412 13.1. Izjemni znanstveni dosežek 13.2. Izjemni družbeno-ekonomski dosežek C. IZJAVE Podpisani izjavljam/o, da: • so vsi podatki, ki jih navajamo v poročilu, resnični in točni • se strinjamo z obdelavo podatkov v skladu z zakonodajo o varstvu osebnih podatkov za potrebe ocenjevanja ter obdelavo teh podatkov za evidence ARRS • so vsi podatki v obrazcu v elektronski obliki identični podatkom v obrazcu v pisni obliki • so z vsebino zaključnega poročila seznanjeni in se strinjajo vsi soizvajalci projekta Podpisi: zastopnik oz. pooblaščena oseba i vodja raziskovalnega projekta: raziskovalne organizacije: Univerza v Ljubljani, Fakulteta za Ivan Bratko računalništvo in informatiko ŽIG Kraj in datum: Ljubljana |i4.3.2015 Oznaka poročila: ARRS-RPROJ-ZP-2015/186 1 Napišite povzetek raziskovalnega projekta (največ 3.000 znakov v slovenskem in angleškem jeziku) Nazaj 2 Napišite kratko vsebinsko poročilo, kjer boste predstavili raziskovalno hipotezo in opis raziskovanja. Navedite ključne ugotovitve, znanstvena spoznanja, rezultate in učinke raziskovalnega projekta in njihovo uporabo ter sodelovanje s tujimi partnerji. Največ 12.000 znakov vključno s presledki (približno dve strani, velikost pisave 11). Nazaj 3 Realizacija raziskovalne hipoteze. Največ 3.000 znakov vključno s presledki (približno pol strani, velikost pisave 11) Nazaj 4 V primeru bistvenih odstopanj in sprememb od predvidenega programa raziskovalnega projekta, kot je bil zapisan v predlogu raziskovalnega projekta oziroma v primeru sprememb, povečanja ali zmanjšanja sestave projektne skupine v zadnjem letu izvajanja projekta, napišite obrazložitev. V primeru, da sprememb ni bilo, to navedite. Največ 6.000 znakov vključno s presledki (približno ena stran, velikost pisave 11). Nazaj 5 Navedite znanstvene dosežke, ki so nastali v okviru tega projekta. Raziskovalni dosežek iz obdobja izvajanja projekta (do oddaje zaključnega poročila) vpišete tako, da izpolnite COBISS kodo dosežka - sistem nato sam izpolni naslov objave, naziv, IF in srednjo vrednost revije, naziv FOS področja ter podatek, ali je dosežek uvrščen v A'' ali A'. Nazaj 6 Navedite družbeno-ekonomske dosežke, ki so nastali v okviru tega projekta. Družbeno-ekonomski rezultat iz obdobja izvajanja projekta (do oddaje zaključnega poročila) vpišete tako, da izpolnite COBISS kodo dosežka - sistem nato sam izpolni naslov objave, naziv, IF in srednjo vrednost revije, naziv FOS področja ter podatek, ali je dosežek uvrščen v A'' ali A'. Družbeno-ekonomski dosežek je po svoji strukturi drugačen kot znanstveni dosežek. Povzetek znanstvenega dosežka je praviloma povzetek bibliografske enote (članka, knjige), v kateri je dosežek objavljen. Povzetek družbeno-ekonomskega dosežka praviloma ni povzetek bibliografske enote, ki ta dosežek dokumentira, ker je dosežek sklop več rezultatov raziskovanja, ki je lahko dokumentiran v različnih bibliografskih enotah. COBISS ID zato ni enoznačen, izjemoma pa ga lahko tudi ni (npr. prehod mlajših sodelavcev v gospodarstvo na pomembnih raziskovalnih nalogah, ali ustanovitev podjetja kot rezultat projekta ... - v obeh primerih ni COBISS ID). Nazaj 7 Navedite rezultate raziskovalnega projekta iz obdobja izvajanja projekta (do oddaje zaključnega poročila) v primeru, da katerega od rezultatov ni mogoče navesti v točkah 6 in 7 (npr. ni voden v sistemu COBISS). Največ 2.000 znakov, vključno s presledki. Nazaj 8 Pomen raziskovalnih rezultatov za razvoj znanosti in za razvoj Slovenije bo objavljen na spletni strani: http://sicris.izum.si/ za posamezen projekt, ki je predmet poročanja Nazaj 9 Največ 4.000 znakov, vključno s presledki Nazaj 10 Največ 4.000 znakov, vključno s presledki Nazaj 11 Rubrike izpolnite / prepišite skladno z obrazcem "izjava sofinancerja" http://www.arrs.gov.si/sl/progproj/rproj/gradivo/, ki ga mora izpolniti sofinancer. Podpisan obrazec "Izjava sofinancerja" pridobi in hrani nosilna raziskovalna organizacija - izvajalka projekta. Nazaj 12 Navedite en izjemni znanstveni dosežek in/ali en izjemni družbeno-ekonomski dosežek raziskovalnega projekta v letu 2014 (največ 1000 znakov, vključno s presledki). Za dosežek pripravite diapozitiv, ki vsebuje sliko ali drugo slikovno gradivo v zvezi z izjemnim dosežkom (velikost pisave najmanj 16, približno pol strani) in opis izjemnega dosežka (velikost pisave 12, približno pol strani). Diapozitiv/-a priložite kot priponko/-i k temu poročilu. Vzorec diapozitiva je objavljen na spletni strani ARRS http://www.arrs.gov.si/sl/gradivo/, predstavitve dosežkov za pretekla leta pa so objavljena na spletni strani http://www.arrs.gov.si/sl/analize/dosez/. Nazaj Obrazec: ARRS-RPROJ-ZP/2015 v1.00a 19-D8-88-27-80-4F-DA-95-04-0B-A4-1A-FD-4E-FE-17-01-86-6F-5B