E-izobraževanje in učni izidi Tomaž Klobučar 1. Uvod Učni dosežek oziroma učni izid je že dolgo časa eden od ključnih konceptov visokošolskega in vseživljenjskega izobraževanja v Evropi. Evropsko ogrodje kvalifikacij (EOK) definira učni izid kot »ugotovitve o tem, kaj udeleženec ob zaključku učnega procesa zna, razume in je sposoben opraviti« (Evropski parlament in svet 2008). Učni izidi so opredeljeni v smislu znanja, spretnosti in kompetenc, pri čemer kompetenco razumemo kot »dokazano zmožnost uporabljati znanje, spretnosti in osebne, socialne in metodološke zmožnosti v delovnem ali študijskem okolju ter v strokovnem in osebnem razvoju« (Evropski parlament in svet 2008). Evropski sistem kreditnih točk (ECTS) predvideva, da so cilji posameznega predmeta opredeljeni kot učni izidi in kompetence, ki jih bodo učenci pridobili. Podobno tudi na nacionalni ravni slovenska Merila za akreditacijo visokošolskih zavodov in študijskega programa zahtevajo, da študijski program vsebuje opredelitev temeljnih ciljev programa oziroma splošnih in predmetnospecifičnih kompetenc, ki se s programom pridobijo. Rezultat iniciativ in regulative na mednarodni in nacionalni ravni v Evropi je, da je večina visokošolskih ustanov v Evropi v preteklih letih že povezala svoje programe z učnimi izidi. Po zadnji raziskavi Zveze evropskih univerz (European University Association) je učne izide za vse svoje predmete določilo 53 % evropskih visokošolskih ustanov, 32 % pa za nekatere predmete (Sursock in Smidt 2010). Žal omenjene iniciative podrobneje ne opredeljujejo, kako naj bodo učni izidi oblikovani, zato so v praksi predstavljeni različno, najpogosteje v nestrukturirani obliki in brez uporabe taksonomij. Izkušnje tudi kažejo, da evropske izobraževalne ustanove različno razumejo pomen učnega izida, spretnosti in kompetence (Najjar in Klobučar 2009), zato učnih izidov med seboj ni mogoče enostavno primerjati. V praksi učni izidi tudi niso dobro vpeti v pripravo in izvedbo celotnega izobraževalnega procesa. Pričakovani učni izidi sicer so podlaga za pripravo kurikula in akreditacijo študijskega programa, pri podrobnejši pripravi učnega načrta, izvedbi izobraževanja in ocenjevanju pa večinoma niso več v središču pozornosti. Učni izidi pogosto niso jasno razvidni niti pri predstavitvi posameznega predmeta. Enotna obravnava učnih izidov je še posebej pomembna v e-izobraževanju, kjer so enotna terminologija in koncepti ter standardni opis učnih izidov, učnih priložnosti (predmetov oziroma tečajev), učnega gradiva in gradiva za ocenjevanje ključni za enotno razumevanje učnih izidov in medsebojno usklajenost izobraževalnih sistemov, na primer sistemov za upravljanje izobraževanja ali družabne programske opreme. Pomembno vlogo pri tem morajo igrati standardi in specifikacije v e-izobraževanju, ki pa še niso v celoti prilagojeni izobraževanju, ki temelji na učnih izidih. V prispevku obravnavamo nekatere ključne pojme in izzive uporabe učnih izidov v e- izobraževanju pri določevanju in opisovanju učnih izidov, pripravi in predstavitvi ustreznega učnega gradiva in učnih priložnosti, ocenjevanju pridobljenega znanja, spretnosti in kompetenc ter shranjevanju učnih dosežkov skozi daljše časovno obdobje. Na kratko so predstavljeni najpomembnejši standardi in specifikacije za to področje ter nekatere tehnološke rešitve, pripravljene v okviru mednarodnega projekta ICOPER (1) (Interoperable Content for Performance in a Competency-driven Society; http://www.icoper.org) iz programa eContentplus. V nadaljevanju je najprej podan kratek scenarij, ki prikaže uporabo učnih izidov v e- izobraževanju. Najpomembnejši standardi in specifikacije so predstavljeni v poglavju 3, tehnološke rešitve pa v poglavju 4. Koristi in prednosti uporabljenih pristopov ter priporočila za uspešnejšo uvedbo e-izobraževanja, ki temelji na učnih izidih, so navedeni v poglavju 5, potrebne nadaljnje aktivnosti v prihodnosti pa v zaključku. 2. Scenarij uporabe učnih izidov Za lažjo predstavo si poglejmo kratek scenarij, ki ponazarja uporabo učnih izidov v e- izobraževanju. Na podlagi analize potreb trga dela se je fakulteta odločila, da ponudi nov študijski program druge bolonjske stopnje s področja menedžmenta izobraževanja. Glavni cilji študijskega programa so bili oblikovani v sodelovanju s profesionalnimi združenji in podjetji, ključno vlogo pri oblikovanju predmetnika pa so imeli učni izidi, ki naj bi jih študenti pridobili po koncu šolanja. Seznam učnih izidov je pripravila posebna skupina na ravni fakultete. Visokošolska učiteljica Tanja je okviru novega programa zadolžena za poučevanje o vodenju izobraževalnih projektov. Izhodišče pri pripravi učnega načrta za predmet predstavlja seznam splošnih in predmetnospecifičnih učnih izidov (znanje, spretnosti, kompetence), ki jih morajo pridobiti študenti. Tanja najprej pripravi podrobnejši seznam učnih izidov za svoj predmet, pri čemer so vsi pričakovani učni izidi pri predmetu v skladu z učnimi izidi za celotni program. Na podlagi seznama nato pripravi ali izbere ustrezne učne metode in učno gradivo, pri čemer si delo olajša z iskanjem in prilagajanjem primernih metod in gradiva, ki so na voljo v izobraževalnem omrežju, do katerega ima dostop. Predmet bo potekal v obliki e- izobraževanja, zato Tanja zbere in poveže učne metode, gradivo, navodila za preverjanje pridobljenih učnih izidov in podatke o predvidenih učnih izidih ter celoto prenese v sistem za upravljanje izobraževanja Blackboard. Ker fakulteta spodbuja uporabo odprtega izobraževalnega gradiva, Tanja ponudi vsebino pod pogoji licence Creative Commons tudi drugim ustanovam in učiteljem, ki so povezani v izobraževalno omrežje. Vse informacije o predmetu in njegovem izvajanju so študentom predstavljene v obliki učne priložnosti. Peter je študent na isti fakulteti. Kot vsi študenti ima tudi on profil učnih dosežkov, kjer so shranjene informacije o doseženem znanju, spretnostih in kompetencah ter manjkajočih učnih izidih. Pri izbiri izbirnih predmetov Peter uporabi spletno storitev, ki mu na podlagi preteklih dosežkov, manjkajočih zahtevanih učnih izidov in podatkov o učnih priložnostih (predmetih) predlaga optimalni seznam predmetov. Na seznamu je tudi Tanjin predmet o naprednem vodenju projektov, ki se v celoti izvaja v sistemu Blackboard. V okviru predmeta Peter s skupino sošolcev vzpostavi spletno okolje za vodenje izobraževalnih projektov in sodeluje pri pripravi in izvedbi manjšega izobraževalnega projekta. Po uspešno opravljenem izpitu so podatki o pridobljenih učnih izidih skupaj z dokazili shranjeni v njegov profil učnih dosežkov. Podatke o dosežkih lahko iz sistema Blackboard izvozi v druge izobraževalne sisteme ali družabne sisteme, kot je na primer Facebook. Scenarij kaže, da učne izide zasledimo na različnih ravneh e-izobraževanja: pri pripravi študijskega programa in posameznih predmetov programa, pri določanju in opisovanju učnega gradiva in učnega načrta, pripravi učnega okolja, ki podpira pridobivanje določenih učnih izidov, izvedbi učnega procesa in ocenjevanju pridobljenih kompetenc, spretnosti in znanja učencev ter beleženju dosežkov skozi celotno življenje posameznika. Učni izidi imajo pomembno vlogo tudi pri analizi vrzeli v znanju, spretnostih in kompetencah ter analizi učnih potreb. Nekateri izzivi, ki jih srečamo pri tem, so (Klobučar 2010a):  Kako določiti in opisati pričakovane učne izide (na primer splošne in predmetnospecifične kompetence) na ravni študijskega programa, predmeta ali učnega gradiva?  Kako v sodobnih izobraževalnih omrežjih, ki povezujejo številna heterogena učna okolja, digitalne knjižnice, družabna omrežja ipd., učinkovito najti najustreznejše učne vsebine glede na potrebne učne izide?  Kako pripraviti in izvesti e-izobraževanje v obliki, ki dejansko omogoča pridobivanje predvidenega znanja in spretnosti ter razvijanje določenih kompetenc?  Kako poleg znanja preveriti tudi, ali je študent oziroma učenec res razvil vse predvidene spretnosti in kompetence?  Kako strukturirati, združevati, shranjevati in razdeljevati zapise o dosežkih posameznika, da bodo uporabni skozi daljše časovno obdobje in ob različnih priložnostih, na primer nadaljevanju šolanja, pridobitvi kvalifikacij ali zaposlovanju? 3. Standardi in specifikacije Neusklajenost formalne oblike in pomena zapisa učnega izida v različnih sistemih predstavlja eno večjih ovir pri načrtovanju in izvedbi e-izobraževanja, ki temelji na učnem izidu. V tem razdelku so na kratko predstavljeni najpomembnejši standardi in specifikacije, ki omogočajo enotni zapis in uporabo učnih izidov v e-izobraževanju: IEEE RCD, IMS LD, MLO-AD, IMS QTI in PALO. Za enotni zapis predvidenih in doseženih učnih izidov v e-izobraževalnem učnem okolju smo uporabili standard IEEE RCD (IEEE Reusable Competency Definition) (IEEE RCD 2007) in ga razširili z metapodatki, ki opisujejo tip učnega izida (znanje, spretnost ali kompetenca). Zapis vsebuje še enolično oznako učnega izida, ki je določena s pomočjo taksonomije učnih izidov in mesta v taksonomiji, naslov učnega izida in neobvezni tekstovni opis (Najjar et al. 2010b). Najbolj znan standard za načrtovanje in modeliranje učnih procesov ter pripravo učnih načrtov je IMS LD (IMS Learning Design) (Koper et al. 2003), za enotno predstavitev informacij o predmetih (učnih priložnostih), ki jih ponujajo različne izobraževalne ustanove pa CEN Metadata for Learning Opportunities – Advertisment (MLO-AD) (CEN 2008). Informacije lahko zajemajo ime ustanove, ki izvaja predmet, obdobje trajanja, lokacijo, ceno, kreditne točke, jezik, kvalifikacije, predvidene učne izide ipd. Najbolj razširjeno rešitev za tehnološko podprto preverjanje učnih izidov določa IMS QTI (IMS Global Consortium 2006), ki temelji na vprašanjih in odgovorih. Ocenjevanje spretnosti in kompetenc zahteva kompleksnejše scenarije in metode ocenjevanja, na primer simulacije, igre ipd. V takšnih primerih je potrebno IMS QTI kombinirati z drugimi standardi, na primer IMS LD, ali nadomestiti z novimi, kot v primeru e-portfolija (Gutierrez Rojas et al. 2010). Za opisovanje dosežkov učencev in pridobljenega znanja, spretnosti in kompetenc smo v okviru projekta ICOPER pripravili novo specifikacijo z imenom PALO (Personal Achieved Learning Outcome) (Najjar et al. 2010a). Učenec v profilu shranjuje svoje dosežke, ki so lahko povezani z doseženimi učnimi izidi. Zapis o ocenjevanju potrjuje dosežek, stopnja pa določa raven dosežka, na primer raven 7 po evropskem ogrodju kvalifikacij. Kontekst opredeljuje kontekst dosežka, na primer področje, na katerem je bila kompetenca razvita. Odnosi med učnimi izidi so opisani na podlagi specifikacije SKOS (Miles in Bechhofer 2009). 4. Tehnološke rešitve Primernost omenjenih standardov in specifikacij za e-izobraževanje, ki temelji na učnem izidu, je bila v praksi preverjena tudi s pomočjo konkretnih tehnoloških rešitev. Dostop do definicij učnih izidov, učnih načrtov, opisov predmetov (učne priložnosti), učnega gradiva in gradiva za ocenjevanje učnih izidov je mogoč v izobraževalnem omrežju OICS (Open ICOPER Content Space), ki povezuje različne sisteme, knjižnice in platforme. Konec leta 2010 je bilo v OICS vključenih 16 virov gradiva, med njimi OpenLearn, OERCommons, Ariadne, OpenER in Slidestar (Totschnig et al. 2010). Vstop v OICS je možen prek spletnega vmesnika na naslovu http://www.icoper.org/oics ali iz nekaterih izobraževalnih sistemov, kot so Moodle, dotLRN, Clix in Elgg. V prihodnosti pričakujemo vključitev novih sistemov, na primer izobraževalnega omrežja, ki uporabnikom omogoča dostop do proste vsebine za izobraževanje in usposabljanje na področju menedžmenta. To omrežje vzpostavljamo v okviru mednarodnega projekta OpenScout (Skill based scouting of open user-generated and community-improved content for management education and training; http://www.openscout.net) iz programa eContentplus. V nadaljevanju so na kratko predstavljeni nekateri izobraževalni sistemi in orodja, ki omogočajo dostop do OICS in ravnanje z učnimi izidi. Vloga predstavljenih sistemov in orodij v različnih fazah e-izobraževanja je shematično prikazana na sliki 1. Vsa orodja s podrobnejšimi navodili za uporabo so na voljo na naslovu http://www.icoper.org. Slika 1: Tehnološko podprta uporaba učnih izidov v e-izobraževanju (Klobučar 2010b) Za oblikovanje učnih izidov in pripravo učnega načrta, na primer za predmet o vodenju izobraževalnih projektov, lahko uporabimo program Open GLM (Open Graphical Learning Modeller; http://sourceforge.net/projects/openglm/), ki je bil razvit na Univerzi na Dunaju. Orodje omogoča izbiro obstoječih (oziroma ponovno uporabo) in ustvarjanje novih definicij učnih izidov ter metod poučevanja in ocenjevanja, grafično podprto pripravo učnega načrta, vključitev obstoječega učnega gradiva in integracijo vseh komponent v tečaj po standardu IMS LD. Če želimo ponuditi ustvarjene definicije učnih izidov in učni načrt drugim uporabnikov, jih enostavno shranimo v sistem OICS. Učno gradivo je mogoče pripraviti s številnimi orodji, eno izmed njih je Author42, ki ga razvija Humance. Naslednji korak je objava učne priložnosti oziroma informacij o izvedbi predmeta, kot so obdobje izvajanja predmeta, največje število učencev, predvideni učni izidi ipd. Primer rešitve, ki omogoča opis predmeta v skladu s specifikacijo MLO-AD, je modul za sistem za upravljanje izobraževanja dotLRN. Učenci lahko v OICS poiščejo učne priložnosti, ki najbolj ustrezajo pričakovanim učnim izidom, učitelji pa učne načrte, učno gradivo, učne metode, gradivo za ocenjevanje, učne izide ipd. iz sistemov za upravljanje izobraževanja, kot so Moodle, Learn eXact, Elgg ali Clix. Module za te sisteme so razvili na Univerzi Umea, eXact learning solutions, Univerzi v Talinu in IMC. Izdelava gradiva za ocenjevanje po specifikaciji IMS QTI, ki vsebuje tudi informacije o pridruženih učnih izidih, in dejansko ocenjevanje učencev sta, na primer, mogoča s pomočjo modula za sistem za upravljanje izobraževanja dotLRN, ki je bil razvit na Univerzi Carlos III v Madridu. Po zaključku učnega procesa in uspešno opravljenih testih lahko učenec shrani ugotovitve o pridobljenem znanju, spretnostih ali kompetencah v svoj profil ter jih objavi v OICS ali drugih sistemih. Upravljanje s profilom, ki vsebuje dosežene učne izide, je mogoče v različnih sistemih za upravljanje izobraževanja, na primer Clix (IMC) ali Moodle (Univerza Umea). Učenec lahko informacije o svojih dosežkih prenese iz sistema za upravljanje izobraževanja tudi v druge sisteme, na primer v svoj profil v sistemu Facebook. 5. Priporočila Evalvacija obstoječe prakse in predstavljenih standardov, specifikacij in tehnoloških rešitev je potekala v več fazah. V letu 2008 smo s pomočjo anket raziskali aktivnosti in izkušnje Evropskih visokošolskih ustanov pri določevanju in opisovanju učnih izidov ter ravnanju z njimi (Najjar et al. 2009; Agea et al. 2009). Predlogi novih in spremenjenih specifikacij so bili preverjeni v okviru organizacij za standardizacijo (CEN/ISSS, IMS) in na srečanjih s strokovnjaki s področja (Kamtsiou 2010), obstoječi standardi in tehnološke rešitve pa poleti in jeseni leta 2010 med učitelji, učenci in vodji študijskih programov (Najjar et al. 2010c). Koristi oziroma prednosti e-izobraževanja, ki temelji na učnem izidu, in predstavljenih rešitev so:  Vodje študijskih programov imajo tehnološko podporo za oblikovanje učnih izidov in ravnanje z njimi na ravni ustanove, študijskih programov in posameznih predmetov. Rešitve omogočajo enostavnejšo pripravo v učni izid usmerjenega učnega načrta in boljši pregled nad tem, kje in kdaj bodo učenci pridobili predvidene izide. Natančnejši učni načrt, ki povezuje učne izide z ustreznimi metodami in gradivom, zagotavlja tudi večjo kakovost izobraževanja.  Učitelji lahko pri pripravi učnega načrta določijo nove ali uporabijo obstoječe definicije učnih izidov, ki so v skladu s predvidenimi učnimi izidi študijskega programa. Učitelji lahko obogatijo lastni izobraževalni program in dopolnijo ali nadgradijo svoja predavanja z učnimi načrti, učnimi izidi, metodami poučevanja in učnim gradivom, ki jih v izobraževalnem omrežju nudijo druge izobraževalne ustanove ali posamezniki, hkrati pa ponudijo svoje gradivo širšemu krogu uporabnikov.  Učenci lahko poiščejo najustreznejše učne priložnosti za pridobitev predvidenih učnih izidov (znanje, spretnosti, kompetence). Profili učnih dosežkov jim omogočajo zbiranje dokazljivih informacij o pridobljenem znanju, spretnostih in kompetencah skozi daljše časovno obdobje in njihovo uporabo pri nadaljnjem izobraževanju, pridobivanju nacionalnih kvalifikacij ali zaposlovanju. V nadaljevanju so navedena nekatera priporočila za uspešnejšo in učinkovitejšo vpeljavo e- izobraževanja, ki temelji na učnem izidu, pripravljena na podlagi rezultatov evalvacije (Najjar et al., 2010c). Učitelji lahko pri pripravi učnega načrta sami oblikujejo predvidene učne izide ali pa jih izberejo iz zbirke učnih izidov. Izkušnje žal kažejo, da precej učiteljev še vedno ne ve, kako oblikovati kakovostne definicije predvidenih spretnosti in kompetenc. Definicije učnih izidov so pogosto preveč splošne in ne dajo natančnih informacij, katero znanje, spretnosti ali kompetence bo učenec pridobil ob koncu učnega procesa. Preveč svobode pri oblikovanju izidov prav tako ne omogoča primerjave učnih izidov med primerljivimi študijskimi programi in predmeti znotraj visokošolske ustanove ali med različnimi ustanovami. Primernejša se zdi uporaba vnaprej določenih in dogovorjenih učnih izidov znotraj posameznega področja, ustanove ali nacionalnega okvirja. Priporočljivo je, da programski vodja določi, ali smejo učitelji sami definirati nove učne izide, ki jih še ni v zbirki učnih izidov. Ker e-izobraževanje pogosto poteka v mednarodnem okolju, je priporočljivo tudi, da so opisi učnega izida podani v več jezikih, na primer v slovenščini in angleščini. Usposabljanje učiteljev in drugih akterjev, na primer strokovnega osebja, ki sodelujejo pri pripravi gradiva, je ključno za večjo kakovost izobraževanja. Priporočene teme usposabljanja so oblikovanje ustreznih učnih izidov, priprava učnih metod, gradiva in učnega načrta, ki omogočajo pridobitev predvidenih učnih izidov, uporaba tehnologije, ki je na voljo za pripravo in izvedbo izobraževanja, ter seznanitev s terminologijo in primeri dobre prakse. Doba Fakulteta že izvaja takšna usposabljanja v okviru rednih delovnih srečanj za visokošolske učitelje. Prvo srečanje v šolskem letu 2010/2011 je bilo namenjeno ravno razvoju kompetenc študentov in kompetenčnemu modelu študija. Veliko izobraževalnih ustanov nima jasnega pregleda nad tem, kako različni predmeti prispevajo k pričakovanim učnim izidom programa. K jasnejšemu pregledu lahko veliko pripomore matrika, ki prikazuje povezave med učnimi priložnostmi (ponujenimi predmeti) in predvidenimi učnimi izidi. Takšna matrika pomaga vodji študijskega programa in učiteljem lažje razumeti, kateri predmeti omogočajo pridobitev določenih izidov, pa tudi, ali je vsak predviden učni izid mogoče pridobiti v okviru katerega od predmetov. Z njeno pomočjo lahko učitelj enostavno vidi, kateri učni izidi so bili obravnavani pri že končanih predmetih. Za intervjuvane učitelje je tudi pomembno, da lahko brskajo med definicijami učnih izidov, ne le jih iščejo v podatkovni bazi. Brskanje naj bi bilo možno glede na izobraževalni program, predmete izobraževalnega programa ali vrsto učnih izidov. Izobraževalne ustanove naj učiteljem, mentorjem in strokovnim sodelavcem pomagajo s tehnološkimi rešitvami za oblikovanje učnih izidov in njihovo povezovanje z učnimi načrti in učnimi priložnostmi. Pri tem je treba omeniti, da samo tehnološke rešitve in zbirka učnih izidov niso dovolj. Priporočljivo je, da so učiteljem na voljo tudi navodila, kako naj bodo učni izidi oblikovani, primeri dobre prakse in v fazi priprave vsebine predmeta natančno določeni postopki povezovanja predvidenih učnih izidov z učnimi načrti, metodami ocenjevanja in učnimi priložnostmi. Za vsakega izmed predvidenih učnih izidov mora biti na voljo ustrezna oblika preverjanja. Za e-izobraževanje, ki temelji na učnih izidih, je ključno posredovanje informacij o učnih izidih učencem. Učenci naj bi imeli že pred začetkom študija vpogled v predvidene učne izide študijskega programa in posameznih predmetov. S tem bodo lažje razumeli, katero znanje, spretnosti ali kompetence bodo pridobili ob koncu učnega procesa, na podlagi pridruženih izidov pa tudi enostavneje izbrali najustreznejše predmete. Mnenje učencev ob koncu učnega procesa o svojih dosežkih in o tem, ali so v resnici pridobili predvidene učne izide, lahko služi kot eden od mehanizmov za preverjanje kakovosti študijskega programa. 6. Zaključek Predstavljeni rezultati so vključeni v referenčni model ICOPER (http://www.icoper.org/irm), ki zajema najnovejša spoznanja o področju e-izobraževanja, ki temelji na učnih izidih, in na treh ravneh (podatki, storitve, procesi) določa osnovne koncepte in relacije med njimi, storitve ter procese. Za širšo uporabo v učne izide usmerjenega izobraževanja med evropskimi visokošolskimi ustanovami je v prihodnosti potrebnih še nekaj dodatnih aktivnosti samih ustanov, ponudnikov izobraževalnih tehnologij, raziskovalne srenje, organizacij za standardizacijo in oblikovalcev politike, na primer:  Povečanje dostopnosti učnih priložnosti visokošolskih ustanov, kjer so med opisnimi podatki v strukturirani obliki navedeni predvideni učni izidi;  Vzpostavitev enotnega okvirja za (semantično) primerjavo doseženih učnih izidov, kvalifikacij in opisov delovnih mest;  Večja uporabnost tehnologij za e-izobraževanje. Podrobnejši predlog potrebnih aktivnosti s časovnim načrtom bo pripravljen v začetku leta 2011. _____________________________________________________ (1) V prispevku so predstavljeni rezultati raziskav in razvoja, ki sta jih sofinancirali Evropska skupnost v okviru projekta ICOPER (Interoperable Content for Performance in a Competency-driven Society) iz programa eContentplus in Javna agencija za raziskovalno dejavnost Republike Slovenije. Literatura  Agea, A., Crespo Garcia, R., Delgado Kloos, C., Guttierrez, I., Leony, D., & Pardo, A. 2009. Analysis of existing specifications and standards for assessment and evaluation and their usage in Europe. ICOPER deliverable D6.1, 103 strani. Dostopno na: http://www.icoper.org/results/deliverables (15. 12. 2010).  CEN. 2008. Metadata for Learning Opportunities (MLO) - Advertising, CWA 15903:2008.  Evropski parlament in svet. 2008. Priporočilo Evropskega parlamenta in sveta z dne 23. aprila 2008 o uvedbi evropskega ogrodja kvalifikacij za vseživljenjsko učenje (2008/C 111/01).  Gutierrez Rojas, I., Crespo Garcia, R., Leony, D., & Delgado Kloos, C. 2010. ISURE Best practice guidelines for assessment and evaluation specifications and standards, ICOPER deliverable D6.3. Dostopno na: http://www.icoper.org/results/deliverables (15. 12. 2010).  IEEE RCD. 2007. IEEE Reusable Competency Definitions (RCD). Dostopno na: http://ltsc.ieee.org/wg20/ (15. 12. 2010).  IMS Global Consortium. 2006. IMS Question & Test Interoperability Specification (IMS QTI). Dostopno na: http://www.imsglobal.org/question/.  Kamtsiou, V. (ur.). 2010. Gap analysis report – conclusions of strengths and weaknesses of current specifications and standards. ICOPER deliverable D8.6, 101 str. Dostopno na: http://www.icoper.org/results/deliverables (15. 12. 2010).  Klobučar, T. 2010a. Učni izidi in tehnološko podprto učno okolje. V: Kern, T. (ur.),  Rajkovič, V. (ur.), Paape, B. (ur.), Ferjan, M. (ur.). 29. mednarodna konferenca o razvoju organizacijskih znanosti, 24.-26. marec 2010, Portorož, Slovenija. Človek in organizacija: zbornik 29. mednarodne konference o razvoju organizacijskih znanosti. Kranj: Moderna organizacija, 2010, str. 646-652.  Klobučar, T. 2010b Tehnološko podprta uporaba koncepta učnih izidov v e- izobraževanju. V: Rajkovič, V. (ur.), Bernik, M. (ur.), Urbančič, T. (ur.). Vzgoja in izobraževanje v informacijski družbi: zbornik 13. mednarodne multikonference Informacijska družba - IS 2010, 15. oktober 2010, Ljubljana, Slovenija. Ljubljana: Ministrstvo za šolstvo in šport RS: Institut »Jožef Stefan«: Zavod Republike Slovenije; Kranj: Fakulteta za organizacijske vede, 2010, 9 str.  Koper, R., Olivier, B., & Anderson, T. (ur.). 2003. IMS Learning Design Information Model: IMS Global Learning Consortium.  Miles, A., & Bechhofer, S. (ur.). 2009. SKOS Simple Knowledge Organization System Reference. W3C Recommendation 18 August 2009. Dostopno na http://www.w3.org/TR/2009/REC-skos-reference-20090818/ (15. 12. 2010).  Najjar, J., Derntl, M., Klobučar, T., Simon, B., Totschnig, M., Grant, S., &  Pawlowski, J. 2010a. A data model for describing and exchanging personal achieved learning outcomes (PALO). International Journal of IT Standards and Standardization Research, 2010, vol. 8, no. 2, str. 87 – 104.  Najjar, J., & Klobučar, T. (ur.). 2009. ISURE: Report of study of learning needs building blocks and the standards to be used, ICOPER deliverable D2.1, 52 strani. Dostopno na: http://www.icoper.org/results/deliverables (15. 12. 2010).  Najjar, J., Grant, S., Simon, B., Derntl, Klobučar, T., M., Crespo R. M., Delgado  Kloos, C., Nguyen-Ngoc, A.V., Pawlowski, J., & Hoel, T. 2010b. ISURE: Model for describing learning needs and learning opportunities taking context ontology modelling into account ICOPER deliverable D2.2. Dostopno na: http://www.icoper.org/results/deliverables (15. 12. 2010).  Najjar, J., Simon, B., Grant, S., Klobučar, T. & Pulkkinen, M. (ur.). 2010c. ISURE: Report on implementation and validation of a standardized model for learning needs analysis and the provision of learning opportunities, ICOPER deliverable D2.3. Dostopno na: http://www.icoper.org/results/deliverables (15. 12. 2010).  Sursock, A., & Smidt, H. (ur.). 2010. Trends 2010: A decade of change in European Higher Education, European University Association, 126 strani.  Totschnig, M., Klerkx, J., Derntl, M., & Najjar, J. (ur.). 2010. Open ICOPER Content Space Implementation of 2nd Generation of Open ICOPER Content Space including Integration Mini Case Studies, ICOPER deliverable D1.2. Dostopno na: http://www.icoper.org/results/deliverables (15. 12. 2010). O avtorju Dr. Tomaž Klobučar, Institutu Jožef Stefan, Ljubljana