IEA ICILS: Mednarodna raziskava računalniške in informacijske pismenosti Eva Klemenčič Dve mednarodni organizaciji, OECD (Organizacija za ekonomsko sodelovanje in razvoj) in IEA (Mednarodna organizacija za raziskovanje dosežkov v izobraževanju), usmerjata velike mednarodne primerjalne raziskave znanj, ki jih novim generacijam posredujejo izobraževalne ustanove. V teh raziskavah sodeluje velika večina visoko razvitih držav pa tudi desetine srednje in šibko razvitih držav. Ko govorim o sodelovanju držav v teh raziskavah, je pravzaprav pravilneje govoriti o sodelovanju šolskih sistemov, kajti znotraj nekaterih držav lahko obstaja več šolskih sistemov (npr. v Belgiji, ZDA) in ni nujno, da v posameznem zajemu podatkov sodelujejo vsi šolski sistemi posamezne države (Klemenčič, 2011; Klemenčič, 2015). Ob omenjenih organizacijah obstaja še nekaj drugih, s specifičnim regionalnim fokusom. Nekatere so povezane z UNESCOM (kot je bila v začetku tudi IEA), npr. SACMEQ - Konzorcij južnoafriških držav za spremljanje kakovosti izobraževanja, katerega cilj je raziskati pogoje izobraževanja in kakovost izobraževalnih izidov v anglofonski afriški regiji (Wagemaker, 2014). LLECE - Latinsko-ameriški laboratorij za ocenjevanj e kakovosti izobraževanja - izvaja raziskave, ki so oblikovane po vzoru IEA in SACMEQ raziskav (Wagemaker, 2014). Razvoj v tej smeri lahko zasledimo tudi v Evropski uniji (EU), in sicer z raziskavo ESLC, ki se je osredotočila na tuje jezike. V eni od prejšnjih številk Šolskega polja sem pisala tudi o zgodovini mednarodnih primerjalnih raziskav oz. mednarodnih raziskav znanja (glej več v Klemenčič, 2015). Prvemu valu mednarodnih raziskav znanja je sledila ločitev področja humanistično-družboslovnega in matematično- 11 ŠOLSKO POLJE, LETNIK XXVII, ŠTEVILKA 3-4 -naravoslovnega raziskovanja, kar sovpada z razvojem faze »družboslovne perspektive komparativnega raziskovanja«. Opaziti je tudi večji poudarek na znanju in/ali kompetencah (npr. področje informacijsko-komuni-kacijske tehnologije (IKT) se je najprej primerjalno raziskovalo v smislu opremljenosti šol, kasneje kot računalniška in informacijska pismenost) (Klemenčič, 2015).1 Kot bi lahko dokazovala, skladno z razvojem različnih področij in domen merjenja, seveda tudi z razvojem družb in njihovih karakteristik, merjenje na področju računalniške in informacijske pismenosti ni nenavadna niti nepredvidljiva izbira. Da ne bi preveč zašla v tema-tizacijo konceptov družb, v primeru tega članka »informacijske družbe oziroma informacijskih družb«, kajti tako bi namreč morala začeti preiskovati karakteristike družb nekaj desetletij nazaj, sprejmem raje tiste predpostavke, ki so tematizacijam različnih konceptov skupne in ki se navezujejo (le) na področje vzgoje in izobraževanja. Moj fokus se tako najprej skrči na tehnologije in informacije v sodobni družbi, nato na informacij-sko-komunikacijsko tehnologijo (IKT) v izobraževanju. Še vedno gre za preobsežno tematiko, zato bom slednjo v nadaljevanju še bolj osredotočila, in sicer na področje računalniške in informacijske pismenosti oziroma natančneje, predstavila bom nekaj ključnih poudarkov Mednarodne raziskave računalniške in informacijske pismenosti (IEA ICILS 2013 - International Computer and Information Literacy Study).2 Računalniška in informacijska pismenost učencev V zgodnjih osemdesetih letih prejšnjega stoletja so številni izobraževalni sistemi (natančneje: šole) po svetu začeli v poučevanje vključevati tudi računalniško tehnologijo; v poznih devetdesetih letih pa so se informacijske in komunikacijske tehnologije združile ter postale stalni izobraževalni dejavnik sistemov v mnogih državah (Brečko in Vehovar, 2008: str. 5).' Če so se prve raziskave osredotočale predvsem na dostop do tehnologije in njihovo uporabo v pedagoški praksi, vse do sedaj ni bilo mogoče slednjega povezati z dosežki učencev (vsaj na mednarodno primerljivi ravni ne). Uporaba IKT v izobraževanju je tekom let postala ena od ključnih prioritet tudi v Evropski uniji in v nacionalnih državah, ki se povezujejo v 1 ICT kot angleška različica kratice ima v angleškem jeziku dva pomena (pravilno rabo kratice včasih tudi težko razberemo) : Information-communication technology in information-computer technology. 2 Ne bom prestavljala posameznih podatkov. Le-ti so dostopni v mednarodnem poročilu, in sicer v publikaciji Preparingfor Life in a Digital Age (Fraillon, Ainley, Schulz, Friedman in Gebhardt, 2014), za namene analiz pa je dostopna tudi mednarodna baza ICILS 2013 (http://rms. iea-dpc.org/, pod zavihkom ICILS 2013, b. l.) 3 Seveda ne smemo pozabiti na tovrstne raziskave na področju odrasle populacije, na indikatorje razvitosti družb itd., a slednje ni predmet tega članka. 12 E. KLEMENČIČ ■ IEA ICILS ... Evropsko unijo, kljub splošnemu načelo subsidiarnosti na tem področju. Nenazadnje lahko slednje razberemo iz številnih strateških dokumentov Evropske unije (tudi nacionalnih dokumentov), kot so npr. Memorandum o vseživljenjskem učenju,4 Strategija vseživljenjskosti učenja v RS, Lisbon-ska strategija, Strategija razvoja informacijske družbe itd. Nenazadnje IKT predstavlja tudi eno od osmih ključnih kompetenc Evropske unije na področju vseživljenjskega učenja. Memorandum o vseživljenjskem učenju med drugim definira tudi nove temeljne veščine, ki so potrebne za aktivno participacijo v družbi znanja in gospodarstvu, v realnem času in v virtual-nih skupnostih ter demokraciji. Med drugim izpostavi, da so nekatere veščine nove, kot je npr. digitalna pismenost, nekatere pa postajajo za mnoge pomembnejše, kot so bile v preteklosti, npr. tuji jeziki (2000: str. 10-11).5 Zanimivo je, da je pri opisu te kompetence/pismenosti najti tudi določene nedoslednosti, slednje velja predvsem za prevod v slovenščino. Tako npr. publikacija Ključne kompetence za vseživljenjsko učenje (Movit, b. l.) med ključnimi kompetencami opisuje kompetence v informacijsko-komunika-cijski tehnologiji in ne digitalno kompetenco, kot je opredeljena v izvirniku. Sicer gre za logično izpeljavo, kajti tako za računalniško, informacijsko in digitalno pismenost (ki se vendarle odraža v tej opisani kompetenci) velja osnovna tehnološka predpostavka, t. j. IKT. Hiter razvoj računalniških in drugih informacijskih tehnologij je spremenil okolje, v katerem mladi dostopajo do informacij, jih ustvarjajo in delijo. Številne države, ki so spoznale in priznale imperativ digitalnih tehnologij v vseh njihovih oblikah, priznavajo, da je treba državljane vzgajati in izobraževati v uporabi teh tehnologij, s čimer si bo družba zagotovila ekonomsko in družbeno prihodnost, in sicer z znanjem o/in uporabi/ uporabo digitalnih tehnologij. Znotraj tega konteksta se postavlja mnogo vprašanj glede učinkovitosti pouka in kako napreduje poučevanje na področju digitalne pismenosti (Fraillon, Schulz in Ainley, 2013: str. 5). Mednarodna raziskava računalniške in informacijske pismenosti (ICILS) predstavlja prvo mednarodno raziskavo, ki preiskuje, kako učenci razvijajo nabor znanj, razumevanj, stališč, dispozicij in spretnosti na področju računalniške in informacijske pismenosti, za učinkovito sodelovanje v digitalni dobi.6 Cilj raziskave je poročati o dosežkih učencev, ki naloge 4 Delovni program Komisije Evropske unije IU 2010, ki pomeni usklajeno izvajanje ciljev Lizbonske strategije in zajema vse vidike vseživljenjskega učenja, je nastal na osnovi Memoranduma vseživljenjskega učenja iz leta 2000 (Klemenčič, 2011; Klemenčič, 2012). V monografiji iz leta 2012 je predstavljen tudi kritični pogled na koncept vseživljenjskega učenja. 5 To še ne pomeni, da tradicionalna temeljna znanja, kot sta pismenost in numeričnost, niso več pomembna (prav tam: 10). 6 Ne le, da uporablja računalnik za preverjanje določenih pismenosti; pri ICILS gre za neposredno merjenje računalniške in informacijske pismenosti. 13 ŠOLSKO POLJE, LETNIK XXVII, ŠTEVILKA 3-4 rešujejo v avtentičnem okolju z uporabo računalnikov. Da bi bilo mogoče razložiti razlike v računalniški in informacijski pismenosti ter jih mednarodno primerjati, informirati politične odločevalce glede možnih prispevkov izobraževalnih sistemov za digitalno računalniško in informacijsko pismenost, zbira raziskava tudi informacije o širših šolskih in zunajšol-skih kontekstih, v katerih se razvija tovrstno znanje (Fraillon, Schulz in Ainley, 2013: str. 5). ICILS raziskovalni okvir ICILS nadgrajuje niz prejšnjih raziskav IEA, ki so posebej poudarjale področje IKT v izobraževanju. Prva taka raziskava je bila COMPED (Computers in Education), ki se je osredotočala na uporabo IKT v izobraževanju, potekala je v letih 1989-1992. Raziskava SITES (The Second Information Technology in Education Study) je potekala v treh modulih; Modul-i: raziskava uporabe IKT na šolah, ki je potekala v letih 1997-1999 (na vprašanja so odgovarjali ravnatelji in računalničarji na ravni nižje osnovne šole, višje osnovne ter srednje šole); Modul-2: raziskava obstoječih inovativnih pedagoških praks z uporabo IKT je potekala v letih 1999-2001; Modul-3: raziskava poznavanja uporabe IKT na ravni šol, učiteljev in učencev je potekala v letih 2000-2005 (Japelj Pavešic in Čuček, 2000). Kot je razvidno iz zgornjega, predhodne raziskave IEA (pa tudi drugih organizacij) niso mogle povezati zbranih podatkov na področju IKT v izobraževanju z dosežki učencev. Slednje je prvič uspelo prav IEA Mednarodni raziskavi računalniške in informacijske pismenosti (ICILS). Ko preiskujemo dosežke na področju računalniške in informacijske pismenosti, je treba upoštevati kontekst različnih dejavnikov, ki vplivajo na dosežke. Učenci pridobivajo kompetence in znanje (op. p.) na tem področju preko različnih aktivnosti in izkušenj na različnih ravneh skozi lastno izobraževanje in preko različnih procesov v šoli ter izven nje (Fraillon, Schulz in Ainley, 2013: str. 25). Raziskovalni okvir ICILS zato vključuje številne kontekste, podobno kot druge mednarodne raziskave znanja. Shematični prikaz raziskovalnega okvira raziskave ICILS kaže Slika i. 14 E. KLEMENCIC ■ IEA iciLs Slika 1: Shematični prikaz raziskovalnega okvira ICILS (vir: Fraillon, Schulz in Ainley, 2013: str. 27). Kot je razvidno iz Slike 1, vsebinski okvir ICILS razlikuje naslednje ravni (Fraillon, Schulz in Ainley, 2013: str. 25): - Individualna raven: ta kontekst vključuje različne karakteristike učečih, procese učenja ter raven računalniške in informacijske pismenosti (slednje je opisano v nadaljevanju članka). - Domače okolje: ta kontekst se nanaša na ozadenjske značilnosti učencev, še posebej na učne procese, povezane z družino, domom in drugimi trenutnimi zunajšolskimi konteksti. - Šola in razred: ta kontekst zajema vse v zvezi s šolskimi dejavniki (glede na kroskurikularno naravo računalniške in informacijske pismenosti ni smiselno razlikovati med ravnjo šole in ravnjo razreda). - Širša skupnost: ta raven opisuje širši kontekst, v katerem se odvija učenje računalniške in informacijske pismenosti. Obsega kontekste lokalnih skupnosti, pa tudi karakteristike izobraževalnega sistema in države, prav tako vključuje globalni kontekst (dejavnik, ki je pogosto podkrepljen z dostopom do svetovnega spleta). Enako so pri raziskovanju in interpretaciji variacij računalniške in informacijske pismenosti pomembni kontekstualni dejavniki znotraj učnega procesa. ICILS izpostavi dva: predispozicije (npr. socialno-ekonom- 15 ŠOLSKO POLJE, LETNIK XXVII, ŠTEVILKA 3-4 ski status učencev) in procese (npr. stališča učiteljev do uporabe IKT, raba IKT doma). Definicija računalniške in informacijske pismenosti v ICILS Računalniška in informacijska pismenost predstavlja širok nabor znanja, spretnosti in razumevanja, ki se uporabljajo za upravljanje in prenašanje informacij med različnimi disciplinami. V ICILS 2013 se uporablja naslednja definicija računalniške in informacijske pismenosti (Fraillon, Schulz in Ainley, 2013: str. 17): Računalniška in informacijska pismenost se nanaša na sposobnost posameznika, da uporablja računalnik za raziskovanje, ustvarjanje in sporazumevanje, da lahko učinkovito sodeluje doma, v šoli, na delovnem mestu in v skupnosti. ICILS meri naslednje veščine, ki so del računalniške in informacijske pismenosti: - tehnične (temeljna sposobnost dela z računalniki oz. IKT), - receptivne, - produkcijske, - sposobnost evalvacije (npr. iskanje po internetu) ter - varno in etično rabo digitalnih informacij. Konstrukt računalniške in informacijske pismenosti Računalniška in informacijska pismenost združuje tehnične kompeten-ce in intelektualne sposobnosti. Pojem računalniške in informacijske pismenosti je razdeljen na dva dela, vsak pa vsebuje posebne elemente in aspekte. Prvi sklop se nanaša na zbiranje in upravljanje informacij. Vključuje poznavanje in razumevanje uporabe računalnika, dostopa do informacij in vrednotenje ter upravljanje informacij. Drugi sklop se nanaša na ustvarjanje in izmenjavo informacij. Vključuje preoblikovanje, oblikovanje in izmenjavo informacij ter varno uporabo informacij. Raziskovalna vprašanja ICILS želi raziskati načine, v katerih mladi razvijajo računalniško in informacijsko pismenost, ki podpira njihovo sposobnost sodelovanja v digitalni dobi. Ključna raziskovalna vprašanja so torej: 1) konteksti, znotraj katerih se razvija računalniška in informacijska pismenost, 2) dosežki učencev na zahtevnostnih ravneh računalniške in informacijske pismenosti (Fraillon, Schulz in Ainley, 2013: str. 12). V nadaljevanju izpostavljamo raziskovalna vprašanja in področja, na katera se slednja navezujejo (ibid.). 1) Kakšne so razlike med državami in znotraj držav v računalniški in informacijski pismenosti učencev? 16 E. KLEMENČIČ ■ IEA ICILS ... 2) Kateri vidiki šole in izobraževalnih sistemov so povezani z dosežki učencev pri računalniški in informacijski pismenosti glede na: a. splošni pristop k poučevanju, b. šolske in pedagoške prakse v zvezi z uporabo tehnologij, c. odnos učiteljev do IKT in spretnosti/zmožnosti uporabe tehnologij, d. dostop do IKT v šolah, e. učiteljev profesionalni razvoj glede uporabe tehnologij pri poučevanju. 3) Katere značilnosti učencev so povezane z dosežki računalniške in informacijske pismenosti: a. kakšne so razlike med državami in znotraj njih, b. do katere mere se izmerjena računalniška in informacijska pismenost povezuje s poročanimi spretnostmi/zmožnostmi IKT, c. ali se moč teh povezav razlikuje med državami in skupinami učencev? 4) Katere osebnostne značilnosti učencev so povezane z dosežki pri testih računalniške in informacijske (RI) pismenosti? Ravni računalniške in informacijske pismenosti V raziskavi je računalniška in informacijska pismenost opredeljena na štirih ravneh. Bistvena je ločnica med ravnema 1 in 2 ter ravnema 3 in 4, saj slednji implicirata avtonomno rabo IKT pri reševanju problemov. Lestvica ravni računalniške in informacijske pismenosti je hierarhična - ravni zahtevnosti postajajo bolj sofisticirane, s tem ko se dosežki učencev pomikajo po lestvici navzgor (Fraillon, Ainley, Schulz, Friedman in Gebhardt, 2014: str. 19-20): Raven 4: na tej ravni znajo učenci izbrati najustreznejše informacije za uporabo v komunikacijske namene. Znajo vrednotiti uporabnost informacij, v okviru virov, ki ustrezajo določenemu namenu; znajo vrednotiti zanesljivost informacij, ki temeljijo na njihovi vsebini in verjetnem izvoru teh informacij. Ti učenci so sposobni ustvarjati informacijske izdelke glede na občinstvo in komunikacijski namen. Prav tako uporabljajo ustrezne programske funkcije za preoblikovanje in predstavitev informacij, na način, da je slednje skladno s konvencijami predstavitev; znajo prilagoditi informacije, da le-te ustrezajo potrebam občinstva. Učenci na tej ravni izkazujejo tudi zavedanje o težavah, ki se lahko pojavijo v zvezi z uporabo zaščitenih informacij na spletu. 17 ŠOLSKO POLJE, LETNIK XXVII, ŠTEVILKA 3-4 Raven 3: Učenci na tej ravni izkazujejo samostojnost pri uporabi računalnikov kot orodja za zbiranje informacij in za upravljanje z le-temi. Ti učenci znajo izbrati najustreznejši vir informacij, da bi dosegli določen namen, da bi odgovorili na konkretna vprašanja, znajo pridobiti informacije iz danih elektronskih virov, sledijo navodilom za uporabo konvenci-onalno priznanih programskih ukazov za urejanje, dodajanje vsebine ter preoblikovanje informacijskih izdelkov. Prepoznajo, da na kredibilnost spletne informacije lahko vplivajo identiteta, strokovno znanje in motivi tistih, ki so informacije ustvarili. Raven 2: Učenci na tej ravni uporabljajo računalnik tako, da končajo naloge osnovnega in eksplicitnega zbiranja ter upravljanja z informacijami. Zaznajo eksplicitne informacije iz danih elektronskih virov. Ti učenci so sposobni osnovnega urejanja in dodajanja vsebine obstoječim informacijskim produktom, glede na posebna navodila. Ustvarjajo enostavne informacijske produkte, ki izkazujejo konsistentnost zasnove in spoštovanje konvencij predstavitev. Učenci na tej stopnji kažejo zavedanje mehanizmov za zaščito osebnih informacij. Prav tako izkazujejo zavedanje o nekaterih posledicah dostopa javnosti do osebnih informacij. Raven 1: Učenci na tej stopnji izkazujejo funkcionalno znanje o računalnikih kot orodju in osnovno razumevanje posledic uporabe računalnikov s strani več uporabnikov. Uporabljajo konvencionalne programske ukaze za komuniciranje in znajo dodajati preproste vsebine elektronskim dokumentom. Instrumenti ICILS Preverjanje računalniške in informacijske pismenosti na računalniku Preizkusi računalniške in informacijske pismenosti so bili avtentični in računalniško podprti. Vsebovali so tri vrste nalog: 1) vprašanja, osnovana na realističnih primerih z izbirnimi odgovori, 2) programske simulacije generičnih aplikacij (učenci so morali po navodilih opraviti nalogo na računalniku), 3) avtentične naloge, ki od učencev zahtevajo, da uredijo in izdelajo informacije s pomočjo programske aplikacije. Preizkus je vseboval štiri 30-minutne module, vsak modul pa je vseboval različne tipe nalog, ki jih je združevala skupna tema. Vsak učenec v vzorcu je rešil dva od štirih modulov (test je reševal 1 uro). Dodatni inštrumenti Poleg preizkusov znanja so bili v študiji uporabljeni dodatni instrumenti - prav tako na računalniku: 18 E. KLEMENČIČ ■ IEA ICILS ... Vprašalnik za učence: s 30-minutnim spletnim vprašalnikom so se zbirali podatki o rabi računalnikov v šoli in izven nje, stališča do tehnologije, samoocena spretnosti in ozadenjski dejavniki (npr. socialno-eko-nomsko ozadje). Vprašalnik za učitelje: s spletnim vprašalnikom za učitelje so se zbirali podatki o (njihovi) uporabi računalnikov in kompetencah za rabo računalnikov; del vprašanj se je navezoval na vprašanja iz »predhodne« študije SITES 2006. Šolski vprašalnik in vprašalnik za IKT koordinatorja na šoli: spletni vprašalnik so izpolnili ravnatelji vzorčenih šol in/ali oseba odgovorna za IKT. Z vprašalnikom smo zbrali podatke o virih, politiki in praksah, povezanih z uporabo IKT na šoli, in o drugih značilnostih šole. Vprašalnik za šolske IKT koordinatorje se je nanašal na tehnološko in pedagoško podporo. Del vprašanj se je navezoval na vprašanja iz »predhodne« študije SITES 2006. Vprašalnik o nacionalnem kontekstu: s spletnim vprašalnikom smo zbirali sistemske podatke o izobraževalni politiki in praksah za izobraževanje učiteljev s področja IKT ter RI pismenosti, pa tudi o politikah, povezanih z vpeljevanjem tehnologij v šole. Zaključek Cilj mednarodne raziskave ICILS je bil izmeriti dosežke učencev (praviloma v 8. razredu) na področju računalniške in informacijske pismenosti. Tega cilja se raziskava loteva z inovativnim metodološkim pristopom. Učenci naloge, na podlagi katerih nastane ocena njihovih dosežkov na področje računalniške in informacije pismenosti, izpolnjujejo v posebej za ta namen pripravljenem digitalnem okolju. To okolje ima dve pomembni karakteristiki: metodološko trdno merjenje dosežkov učencev; merjenje se odvija v avtentičnem digitalnem okolju in z avtentičnimi nalogami. Avtentično okolje pomeni, da učenci rešujejo naloge v posebej za študijo pripravljenem »operacijskem sistemu« in s pripadajočimi programi (npr. za elektronsko pošto, prezentacije, urejanje slik ...). Avtentične naloge pa pomenijo, da so naloge v raziskavi povezane v 4 module, posamezne naloge znotraj modula pa se povezujejo v enotno zgodbo. Gre za narativni pristop. Moduli so sestavljeni tako, da seriji manjših nalog sledi velika naloga, v kateri učenci pripravijo kompleksen digitalni izdelek. V raziskavi je računalniška in informacijska pismenost opredeljena na štirih ravneh. Bistvena je ločnica med ravnema 1 in 2 ter ravnema 3 in 4, saj slednji implicirata avtonomno rabo IKT pri reševanju problemov. Gre torej za inovativno raziskavo, ki se ob tem loteva področja, kjer je vpogled v dosežke učencev precej omejen. Pri računalniški in informa- 19 ŠOLSKO POLJE, LETNIK XXVII, ŠTEVILKA 3-4 cijski pismenosti gre namreč pretežno za področje transverzalnih veščin (v slovenski osnovni šoli na primer ni obveznega predmeta, povezanega z IKT). S tem pa odgovarja na pomemben problem, ko je v izobraževalnih sistemih pripoznan in poudarjen pomen ključnih kompetenc, ki praviloma vključujejo tudi digitalno kompetenco, hkrati pa so dosežki na področju teh kompetenc praviloma neovrednoteni. ICILS ta problem rešuje mednarodno primerjalno. Ob nalogah je raziskava pridobila veliko informacij o ozadju učencev, o stališčih učiteljev in podatke o šoli, ki sta jih v tem primeru prispevala tako ravnatelj kot skrbnik IKT. S pomočjo rezultatov te raziskave je mogoče ugotoviti faktorje, ki učinkujejo na dosežke učencev, in sicer: so-cialno-ekonomski položaj učencev, usposobljenost učiteljev na področju IKT, profesionalno izobraževanje učiteljev, politike glede IKT od ravni šole do ravni izobraževalnega sistema, opremljenost šol z IKT opremo itd. V raziskavi ICILS 2013 je sodelovalo 21 izobraževalnih sistemov. V Sloveniji je v raziskavi sodelovalo 219 šol (2787 učiteljev, 3740 učencev). ICILS 2013 je bila prva raziskava na tem področju, trenutno poteka drugi zajem zbiranja podatkov, in sicer v raziskavi ICILS 2018, v katerem Slovenija (še) ne sodeluje. Literatura in viri Brečko, N. B., in Vehovar, V. (2008) Informacijsko-komunikacijska tehnologija pri poučevanju in učenju v slovenskih šolah. Ljubljana: Pedagoški inštitut. Fraillon, J., Schulz, W., in Ainley, J. (2013) International Computer and Information Literacy Study: Assessment Framework. Amsterdam: International Association for the Evaluation of Educational Achievement. Fraillon, J., Ainley, J., Schulz, W., Friedman, T., in Gebhardt, E. (2014) Preparing for Life in a Digital Age: The IEA International Computer and Information Literacy Study International Report. Amsterdam: International Association for the Evaluation of the Educational Achievement. Japelj Pavešic, B., in Čuček, M. (2000) Druga mednarodna raziskava uporabe informacijskih in komunikacijskih tehnologij v izobraževanju. Ljubljana: Pedagoški inštitut. Klemenčič, E. (2011) Mednarodne raziskave znanja, kurikularne politike in globalno/lokalno znanje (doktorska disertacija). Ljubljana: ISH - Fakulteta za podiplomski humanistični študij. Klemenčič, E. (2012) Globalizacija edukacije. Ljubljana: i2. 20 E. KLEMENČIČ ■ IEA ICILS ... Klemenčič, E. (2015) Mednarodne raziskave znanja in (nacionalno) oblikovanje politik : era delovanja Pedagoškega inštituta. Šolsko polje 26 (3/4), str. 71-100. Ključne kompetence za vseživljenjsko učenje (b. l.). Ljubljana: MOVIT NA MLADINA. Mednarodna baza ICILS 2013: http://rms.iea-dpc.org/, pod zavihkom ICILS 2013, b. l. (17. 6. 2016). Memorandum o vseživljenjskem učenju: http://linux.acs.si/memorandum/ prevod/ (29. 12. 2010). Wagemaker, H. (2014) International Large-Scale Assessments: From Research to Policy. V Rutkowski L. et al. (ur.). Handbook of International Large-Scale Assessments: Background, Technical Issues, and Methods of Data Analysis, str. 11-36. Boca Raton, FL: CRC Press. 21