MENTEP Povzetek poročila Povzetek rezultatov izvedbe poskusa na pilotnih šolah: Vpliv orodja za samopreverjanje pedagoških digitalnih kompetenc (POT-OS) maj 2018 MENTEP Povzetek poročila Povzetek rezultatov izvedbe poskusa na pilotnih šolah: Vpliv orodja za samopreverjanje pedagoških digitalnih kompetenc (POT-OS) Giovanni Abbiati, FBK - IRVAPP Davide Azzolini, FBK - IRVAPP Anja Balanskat, European Schoolnet Daniela Piazzalunga, FBK - IRVAPP Enrico Rettore, FBK - IRVAPP Antonio Schizzerotto, FBK - IRVAPP Naslov izvirnika: MENTEP Executive Report Summary of results of the field trials: The impact of the technology enhanced teaching self-assessment tool (TET-SAT). European Schoolnet. FBK-IRVAPP, Bruselj 2018. Uredniki angleške izdaje: Roger Blamire, European Schoolnet, Katja Engelhardt, European Schoolnet, Patricia Wastiau, European Schoolnet Prevod: European Schoolnet Jezikovni pregled: mag. Nives Kreuh Izdajatelj: Zavod Republike Slovenije za šolstvo Za izdajatelja: dr. Vinko Logaj Urednica: mag. Nives Kreuh Spletna izdaja Ljubljana, 2019 Publikacija ni plačljiva Publikacija je objavljena na povezavi www.zrss.si/pdf/mentep-povzetek.pdf Kataložni zapis o publikaciji (CIP) pripravili v Narodni in univerzitetni knjižnici v Ljubljani COBISS.SI-ID=300915712 ISBN 978-961-03-0440-1 (pdf) Kazalo 1. Glavne ugotovitve ................................................................................................. 4 1.1. Utemeljitev ..................................................................................................... 4 1.2. Teorija sprememb in pričakovani rezultati .......................................... 4 1.3. Kaj pomenijo rezultati raziskave? .......................................................... 5 2. Preverjanje sistemske rešitve ........................................................................... 7 2.1. Cilji preverjanja sistemske rešitve .......................................................... 7 2.2. Vprašanje za vrednotenje .......................................................................... 7 2.3. Orodje za samopreverjanje pedagoških digitalnih kompetenc (POT-OS) ..................................................................................................................... 8 2.4. Poskusna zasnova ........................................................................................ 9 2.5. Vzorčenje ....................................................................................................... 10 2.6. Zbiranje podatkov in vprašalniki ........................................................... 11 2.7. Rezultati izvedbe poskusa ..................................................................... 12 Stopnja odziva ................................................................................................. 12 Začetna raven digitalnih kompetenc in stališča sodelujočih učiteljev ............................................................................................................. 13 Stopnja rabe orodja POT-OS ...................................................................... 13 Povratne informacije orodja POT-OS ....................................................... 16 Učinek orodja POT-OS .................................................................................. 17 3. Razlaga ugotovitev in zaključkov za potrebe oblikovanja sistemske rešitve ..................................................................................................... 20 Bibliografija ................................................................................................................ 23 1. Glavne ugotovitve 1.1. Utemeljitev Namen projekta MENTEP (ang. akronim za sistemsko podporo digitalne pedagoške prakse oz. 'Mentoring Tehnology-Enhanced Pedagogy') je bil preveriti sistemsko rešitev merjenja pedagoških digitalnih kompetenc učiteljev v različnih državah. Projekt se je izvajal od marca 2015 do maja 2018. Sodelovalo je 7.391 učiteljev iz 496 šol in 11 držav. Glede na število sodelujočih držav je to največji naključni vzorec za izvedbo poskusa na področju usposabljanja učiteljev doslej. MENTEP je temeljil na paradoksu. Po eni strani so raziskave pokazale (Evropska komisija, 2013), da večina učiteljev v Evropi meni, da lahko raba digitalne tehnologije pozitivno vpliva na učne dosežke učencev. Po drugi strani ti isti učitelji ne uporabljajo pogosto IKT za učenje in poučevanje ter ne zaupajo lastnim digitalnim spretnostim. Učitelji morajo zato imeti priložnost, da razvijajo in nadgrajujejo svoje pedagoške digitalne spretnosti, da lahko z njimi pozitivno vplivajo na učence. Poleg tega nimamo zadostnih podatkov o kompetencah učiteljev za izvajanje digitalne pedagogike, obogatene s tehnologijo (POT), zato smo v okviru projekta MENTEP skušali zbrati nove podatke. Projekt je bil zasnovan tako, da podpre in razširi učiteljev premislek o njegovi tehnološko-podprti pedagoški praksi, pedagoških znanjih in učenju s pomočjo spletnega orodja za samopreverjanja (pedagogika, obogatena s tehnologijo; orodje za samovrednotenje oz. na kratko POT-OS), ki je nastalo v okviru projekta, in oceni učinkovitost tega orodja. 1.2. Teorija sprememb in pričakovani rezultati Namen preverjanja sistemske rešitve je bil ugotoviti, ali lahko učitelji s pomočjo samopreverjanja krepijo svoje pedagoške digitalne kompetence. Pedagoška digitalna kompetenca je definirana kot “zmožnost za uporabo IKT na strokovnem oz. delovnem področju z zmožnostjo pedagoške in didaktične presoje in zavedanjem učinkov na učne strategije pri takšni rabi.” (Laurillard, D, 2012). To je večdimenzionalna kompetenca, ki vključuje različne vrste spretnosti, znanj, ravnanj in odnosov.. MENTEP Povzetek poročila 4 S pomočjo orodja POT-OS ocenimo štiri dimenzije pedagoške digitalne kompetence, ki so razdeljene na 15 področij in 30 kompetenc. Učitelji odgovorijo na 30 vprašanj in dobijo povratne informacije o stopnji kompetenc ter povezave do nacionalnih in evropskih spletnih ekosistemov gradiv in virov za usposabljanje učiteljev. Poleg spodbujanja učiteljev k samorefleksiji je bil namen orodja POT-OS tudi ozaveščati in spreminjati odnos učiteljev do IKT, spodbujati rabo IKT in razvijati pedagoške digitalne kompetence s pomočjo samopreverjanja, povratnih informacij ter povezanih ekosistemov gradiv in virov za usposabljanje, ki so del projekta. V kratkem času, ki smo ga imeli za izvedbo projekta oz. ki so ga imeli učitelji na voljo za testiranje orodja POT-OS, lahko pričakujemo, da bo opaziti več sprememb na ravni zavedanja in odnosa do IKT ter manj na ravni rabe IKT in razvoja pedagoških digitalnih kompetenc, ki bodo zahtevali srednjeročno in dolgoročno spremljanje. Upoštevali smo dejstvo, a) da so imeli učitelji na voljo samo nekaj mesecev za testiranje orodja, in dejstvo, b) da je bil čas med izpostavljenostjo 'terapiji' (rabi orodja POT-OS) in zaključnim vprašalnikom izjemno kratek, ter se osredotočili na spremembe, ki jih lahko realistično pričakujemo v tem kratkem času; in sicer drugačno samooceno digitalnih pedagoških kompetenc in drugačen pogled na IKT v izobraževanju. Z drugimi področji se bomo ukvarjali v prihodnosti. Vpliv na pedagoške digitalne kompetence Kratkoročno Srednjeročno Samorefleksija POT-OS Povratne informacije Gradivo za usposabljanje Slika 1 Pričakovan vpliv orodja POT-OS na kompetence 1.3. Kaj pomenijo rezultati raziskave? Ugotovitve analize učinka so pokazale, da je uporaba orodja POT-OS zagotovila boljšo informiranost učiteljev in bolj kritično oceno svojih pedagoških digitalnih kompetenc. Po uporabi orodja POT-OS so učitelji bolj kritično ocenili svojo raven digitalnih pedagoških kompetenc, znižali oceno ravni svoje pedagoške MENTEP Povzetek poročila 5 digitalne pismenosti (to še posebej velja za starejše učitelje in ženske), razvili bolj kritičen odnos do rabe IKT v izobraževanju (še posebej tisti, ki so se na začetku ocenili zelo visoko). Poleg ocene učinka je projekt MENTEP ponudil tudi nove podatke o tem, kako učitelji razumejo pedagoško digitalno pismenost. Številni učitelji so menili, da dobro poznajo IKT, imajo dobro razvite pedagoške digitalne kompetence in da IKT pozitivno vpliva na učenje in poučevanje. Učitelji, ki so sodelovali v projektu, so ob tej priložnosti podali tudi oceno orodja, ki ga je MENTEP razvil za preverjanje učinka samopreverjanja na učiteljevo dojemanje lastnih kompetenc. Tisti, ki so imeli priložnosti uporabiti orodje POT-OS, so bili navdušeni in orodje ter njegove funkcije ocenili s povprečno oceno 7,5 na lestvici od 1 (najnižja ocena) do 10 (najvišja ocena). Številni učitelji so poročali o preprosti rabi orodja (75 %), ki jim je pomagalo oceniti svoje kompetence (64 %) in premisliti o rabi IKT v izobraževanju (62 %). Številni so tudi povedali, da so bile poleg vprašalnika zelo koristne tudi povratne informacije o kompetencah (69 %). Na osnovi dodatnih podatkov MENTEP lahko vidimo, da so se učitelji različno odzvali na povabilo k uporabi orodij za samopreverjanje, kot je denimo POT-OS. Verjetnost uporabe orodja za samopreverjanje lahko ponazorimo z dvema profiloma učiteljev. Za učitelja naravoslovnih predmetov, ki ima omejeno število učnih ur na teden (12 ur), doma uporablja številne naprave IKT in ima pozitiven odnos do IKT, rad sodeluje, se redno usposablja na področju IKT in je visoko ocenil svojo stopnjo rabe IKT, je verjetnost uporabe orodja POT-OS 50-odstotna. Za učitelja humanističnih predmetov, ki ima več ur pouka na teden (18 ur), doma ne uporablja IKT in ima negativen odnos do IKT, ni nagnjen k sodelovanju, se ni udeležil usposabljanj za rabo IKT v pedagoške namene in je nizko ocenil svojo raven kompetenc na področju IKT, je verjetnost uporabe orodja POT-OS le 15-odstotna. MENTEP Povzetek poročila 6 2. Preverjanje sistemske rešitve 2.1. Cilji preverjanja sistemske rešitve Glavni cilji preverjanja sistemske rešitve v okviru projekta MENTEP so naslednji : • Spremljanje in razvoj pedagoških digitalnih kompetenc učiteljev s pomočjo zanesljivega, uporabniku prijaznega in trajnostno usmerjenega orodja, ki učiteljem omogoča samopreverjanje svojih pedagoških digitalnih kompetenc in napredka v razvoju omenjenih kompetenc z usposabljanjem. • Razumevanje obstoječih politik na področju pedagoških digitalnih kompetenc in določanje kompetenc učiteljev na individualni, državni in evropski ravni ter spremljanje razvoja kompetenc med izvajanjem poskusa in vztrajanje pri zahtevi po usposabljanju. • Ocena uporabnosti orodja in vpliv orodja na pedagoške digitalne kompetence učiteljev ter vzajemno učenje. • Identifikacija optimalnih pogojev za rabo, širjenje in podporo orodju, eksperimentalni pristop in ugotovitve. Študija izvedljivosti certifikacije pedagoške digitalne pismenosti na evropski ravni in krepitev nacionalnih kapacitet za opravljanje testiranj ter preverjanje sistemske rešitve. Rezultat preverjanja pedagoške digitalne kompetence kot orodja za certifikacijo in splošni zaključki glede izvedbe praktičnega preverjanja sistemske rešitve so povzeti v samostojnem globalnem poročilu MENTEP o samopreverjanju. 2.2. Vprašanje za vrednotenje S preverjanjem sistemske rešitve smo želeli preveriti ukrep ponujanja spletnega orodja za samopreverjanje učiteljem v 12 jezikih.1 Z njim smo želeli oceniti pedagoške digitalne kompetence učiteljev in jih usmeriti v namenske ekosisteme, ki vsebujejo ustrezna spletna gradiva za usposabljanje v matični državi učitelja in v njegovem maternem jeziku (en nacionalni spletni portal za vsako sodelujočo državo v uradnem jeziku države) in evropski portal v angleščini (pod okriljem European Schoolneta, ki je enak za vse države). 1 Orodje POT-OS je bilo v fazi testiranja na voljo v češčini, angleščini, estonščini, finščini, francoščini, grščini, italijanščini, litvanščini, norveščini, portugalščini, slovenščini in španščini. MENTEP Povzetek poročila 7 Evalvacija MENTEP se je začela s preprostim vprašanjem: Ali orodje za samopreverjanje pedagoških digitalnih kompetenc (na kratko orodje POT-OS) vpliva na pedagoške digitalne kompetence učiteljev? Tako kot vsa druga vprašanja za vrednotenje učinkov, je bilo tudi naše vprašanje sestavljeno iz dveh komponent: rezultat (pedagoške digitalne kompetence) in terapija (raba orodja POT-OS). POT-OS je spletno orodje, ki je nastalo v okviru projekta MENTEP. Namenjeno je učiteljem, ki želijo oceniti svojo pedagoško digitalno pismenost (pedagogika, obogatena s tehnologijo; orodje za samovrednotenje oz. na kratko POT-OS). Učitelj prejme osebne povratne informacije o ravni kompetenc na štirih področjih in povezave do nacionalnih in evropskih virov za usposabljanje in razvoj pedagoških digitalnih kompetenc. 2.3. Orodje za samopreverjanje pedagoških digitalnih kompetenc (POT-OS) POT-OS (ki se uporablja kot terapija) so sooblikovali Uporaba znanstveniki in nacionalni strokovnjaki iz držav, ki in izdelava Digitalna digitalnih sodelujejo v projektu MENTEP. Navdih so črpali iz pedagogika vsebin obstoječih nacionalnih orodij (npr. 'Teacher Mentor', POT-OS Norveška) in evropskega ter globalnih okvirjev (npr. Digitalno Digitalno komuniciranje in državljanstvo sodelovanje DIGCOMP, UNESCO). Spletno orodje ovrednoti štiri sklope pedagoške digitalne pismenosti: digitalna pedagogika, uporaba in izdelava digitalnih vsebin, digitalno komuniciranje in sodelovanje, digitalno državljanstvo. Štirje sklopi so razdeljeni na 15 področij in 30 kompetenc. Uporabnik dobi za vsakega od področij niz opisov, ki ponazarjajo različne pedagoške digitalne kompetence na določenih področjih. Vsaka kompetenca je prikazana s pomočjo petih trditev, ki opisujejo pedagoške okoliščine v praksi na petih kompetenčnih ravneh. Uporabniki preberejo pet trditev, premislijo o svoji trenutni pedagoški praksi in izberejo tisto, ki najbolje opiše njihovo pedagoško ravnanje. Da bi lažje ocenili kompetenco, vsaka izmed petih trditev ponazarja eno kompetenčno raven: 1. novinec, 2. začetnik, 3. samostojen, 4. učinkovit, 5. ustvarjalen. V želji, da bi spodbudili učiteljevo samorefleksijo in ga odvrnili od ustaljenega odziva ter družbeno zaželene pristranskosti, nismo razkrili kompetenčnih ravni in smo pet trditev podali v naključnem vrstnem redu. MENTEP Povzetek poročila 8 Slika 2 prikazuje primer trditev za kompetenčno področje. Slika 2 Primer področja iz POT-OS Učitelj izbere po en niz za vsako kompetenčno področje (skupaj 30) in takoj prejme osebne povratne informacije na spletni strani s povratnimi informacijami POT-OS: splošna povprečna ocena (v odstotkih), ki vključuje kratko razlago o ravni kompetence ter oceno (v odstotkih) za posamezno področje. Učitelji prejmejo tudi informacije o obstoječih nacionalnih in evropskih gradivih ter virih za usposabljanje za nadaljnji razvoj kompetenc, če bi se učitelji odločili za nadaljnje usposabljanje. 2.4. Poskusna zasnova Da bi lahko ločili učinek (učinek orodja), smo izvedli poskus z naključno izbranim vzorcem šol in učiteljev. S tem smo si zagotovili, da kontrolna skupina predstavlja obratni hipotetični scenarij, torej situacijo, ki bi ji bili priča, če člani testne skupine ne bi uporabili orodja POT-OS. Udeležence iz naključno izbranih šol smo razdelili v dve skupni: testno in kontrolno. Naključno izbrana skupina učiteljev iz testnih šol je po elektronski pošti prejela spodbudna sporočila, v katerih je bila razložena raba orodja in razlogi za njegovo rabo. Vsi drugi učitelji, tako iz testnih kot tudi iz kontrolnih šol, niso prejeli nobenih informacij.2 Med preverjanjem smo se držali načela, da nikogar ne silimo v sodelovanje in nikogar ne zavrnemo. Učitelje, ki smo jih spodbudili, nismo prisilili v uporabo orodja, in učiteljem iz kontrolne skupine nismo preprečili njegove uporabe. Status udeležencev smo spremljali preko spletnega portala POT-OS in uporabili za analizo podatkov. Učinkovitost orodja POT-OS smo izračunali na podlagi primerjave določenega niza rezultatov, ki jih je dosegla skupina učiteljev, ki smo jih spodbudili k uporabi orodja, in rezultatov, ki jih je dosegla skupina učiteljev, ki je nismo spodbudili k uporabi. Podatke smo zbrali po izvedbi zaključnega vprašalnika. Ob začetku testnega obdobja smo izvedli uvodni vprašalnik, v kateri so sodelovali vsi učitelji, da bi ugotovili, če sta skupini statistično primerljivi. 2 Nekatere učitelje v šolah, kamor smo poslali sporočila, nismo obvestili o obstoju orodja, da bi lahko opazovali morebiten vzajemni vpliv med kolegi. MENTEP Povzetek poročila 9 2.5. Vzorčenje Vzorčenje šol, ki smo jih povabili k sodelovanju, je bilo opravljeno za potrebe zunanjega vrednotenja. S tem smo omogočili posplošitev rezultatov analize na referenčno šolsko populacijo. V pripravljani fazi so nam morale države poslati seznam javnih šol na ravni ISCED 2, ki imajo vsaj eno digitalno napravo (računalnik ali tablico) na vsakih pet učencev, internetno povezavo v učilnici in osnovne komunikacijske zmogljivosti (virtualna učna okolja ali izobraževalni portali ali vsaj uradni elektronski naslovi učiteljev). Vzorec smo izbrali na podlagi določenih kriterijev. Kriterije smo določili iz dveh razlogov. Prvič, učitelji ne bi smeli imeti preveč ovir pri rabi IKT za poučevanje, in drugič, vzorec šol mora biti primerljiv med državami. Delež šol, ki so izpolnjevale omenjene kriterije, se je razlikoval od države do države. Čeprav so šole v večini držav brez težav izpolnile zahtevane kriterije, smo lahko vključili le določen delež šol iz Italije, Litve, Španije in Grčije.3 Postopek vzorčenja je potekal v dveh fazah. Šole smo najprej naključno razdelili v dve skupini: testne in kontrolne šole. Nato smo še učitelje testnih šol naključno razdelili v dve skupini: tiste, ki jih bomo spodbudili, in tiste, ki jih ne bomo spodbudili k uporabi orodja. V nekaterih državah smo morali vse učitelje testnih šol spodbuditi k uporabi orodja zaradi premajhnega števila učiteljev v posameznih šolah. Da bi zagotovili število učiteljev, ki bi zadostovalo za zanesljivo oceno učinka orodja POT-OS na odnos in vedenje učiteljev, smo sprva določili, da mora v vsaki državi sodelovati vsaj 1000 učiteljev. Tega števila nismo uspeli doseči v vseh državah (kot je razvidno iz tabele 1). Da bi dosegli ta cilj, smo vsem učiteljem, ki so nam posredovali podatke za stik, poslali elektronsko vabilo k sodelovanju v projektu in prošnjo, naj izpolnijo uvodni vprašalnik.4 V zadnjem stolpcu tabele je prikazano število učiteljev, ki so se odzvali in sodelovali v raziskavi projekta (zato smo jih poimenovali 'učitelji MENTEP'). V raziskavi je aktivno sodelovalo 7.391 učiteljev, največ iz Španije (1.034) in najmanj iz Estonije (314). 3 Postopek vzorčenja in rezultati so podrobno opisani v Tehničnem poročilu o vzorčenju (Priloga 3). 4 Na tem mestu smo opravili vmesno naključno vzorčenje učiteljev, ki bi jih povabili k sodelovanju, a smo na koncu k sodelovanju v projektu povabili vse učitelje, ki so nam posredovali podatke za stik. Podrobnejše informacije so na voljo v Tehničnem poročilu o vzorčenju (Priloga 3.1). MENTEP Povzetek poročila 10 Država Šola MENTEP Učitelji s kontaktnimi informacijami Učitelji MENTEP Ciper* 34 590 422 Češka 52 813 532 Estonija 32 705 314 Finska 52 1.969 847 Francija - - 712 Grčija* 50 393 326 Italija 50 1.752 745 Litva 50 1.519 812 Portugalska 50 2.797 798 Slovenija 50 931 858 Španija 49 2.246 1.034 Skupaj 469 14.649 7.391 *Opomba: V teh državah je večina šol posredovala samo seznam učiteljev, ki so soglašali z obdelavo osebnih podatkov. Tabela 1. Skupno število učiteljev z razpoložljivimi kontaktnimi informacijami in učiteljev v vzorcu po državi 2.6. Zbiranje podatkov in vprašalniki Uvodni vprašalnik december 2016 - januar 2017 Skupno: 6391 učiteljev Enaka vprašanja Sistem identifikacije za Testna skupina spremljanje udeležencev Kontrolna skupina Elektronska vabila za uporabo orodja POT-OS Zaključni vprašalnik maj/julij 2017 POT-OS Skupaj: 4778 učiteljev Izvajanje poskusa je potekalo od decembra 2016 do sredine julija 2017. Vsi učitelji iz vzorca šol so prejeli elektronsko vabilo za izpolnjevanje uvodnega vprašalnika ob začetku izvedbe poskusa decembra 2016. Učitelji iz kontrolne skupine so marca 2017 prejeli elektronsko vabilo za uporabo orodja POT-OS. Testno obdobje smo zaključili z elektronskim vabilom za izpolnjevanje zaključnega vprašalnika, ki smo ga poslali vsem učiteljem MENTEP v obdobju od sredine maja do sredine julija (z manjšimi razlikami med državami). V uvodnem vprašalniku smo zbrali osebne in strokovne podatke udeležencev ter podatke o obstoječih pedagoških digitalnih MENTEP Povzetek poročila 11 kompetencah ter odnosu do njih. S pomočjo zaključnega vprašalnika smo želeli zbrati informacije o osrednjih rezultatih (stališčih in samostojno določeni ravni pedagoške digitalne kompetence), na podlagi katerih lahko ocenimo učinek orodja POT-OS. Nekatera vprašanja smo dodali, da bi pridobili dodatne informacije o odnosu uporabnikov do orodja POT-OS. V obeh vprašalnikih smo uporabili mednarodno veljavna vprašanja in lestvice.5 Drugi vir podatkov, ki je zajel dejansko rabo orodja, je bilo spremljanje udeležbe učiteljev in rabe orodja POT-OS.6 Kompetence smo v okviru orodja in v okviru vprašalnikov zajeli na različne načine, saj sodelujočih nismo želeli preveč spodbujati z vprašanji, da ne bi vplivali na določanje ravni kompetenc. Če bi bila vprašanja spremljajočih vprašalnikov preveč podobna trditvam v orodju POT-OS, bi lahko sprožila 'odziv po spominu' pri učiteljih, ki smo jih spodbudili k uporabi orodja, in bi tako dobili pristranske rezultate. Iz tega razloga smo trditve, s katerimi določamo ravni kompetenc, različno oblikovali in prilagodili namenu obeh instrumentov: namen orodja je bil spodbuditi učiteljev premislek o rabi IKT, medtem ko je bil cilj obeh vprašalnikov zgolj merjenje kompetenc. Vprašalniki so temeljili na 7-točkovni samoocenjevalni lestvici, s pomočjo katere so učitelji določili svojo raven kompetenc. Orodje POT-OS pa je vsebovalo 30 sklopov, pri čemer je vsak sklop vseboval pet trditev, s pomočjo katerih smo identificirali pet ravni pedagoških digitalnih kompetenc. Učitelji so morali izbrati trditev, ki najbolje opiše raven za katero menijo, da jo dosegajo trenutno raven. 2.7. Rezultati izvedbe poskusa Stopnja odziva Sodelovalo je 469 šol in 7.391 učiteljev iz 11 držav MENTEP. Izmed vseh 'učiteljev MENTEP', ki so izpolnili uvodni vprašalnik, jih je 5.598 izpolnilo tudi zaključni vprašalnik in tako postalo del analitičnega vzorca za pripravo ocene učinka orodja POT-OS po državah. Kot je razvidno iz tabele 2 je bila stopnja odziva visoka (75,6 %), še posebej, če upoštevamo dejstvo, da je šlo v obeh primerih za spletni vprašalnik. Na osnovi razlike v odzivu po skupinah lahko vidimo, da je stopnja odziva med kolegi (82 %) in učitelji, ki jih nismo spodbudili k uporabi orodja (78,6 %), višja kot pri učiteljih, ki smo jih spodbudili k uporabi orodja (69,7 %). 5 Uvodni in zaključni vprašalnik sta na voljo v Prilogi 3.3 (Tehnično poročilo o ekonometrični analizi), ki je na voljo na spletni strani http://mentep.eun.org 6 Predstavitev orodja POT-OS in elementov za samopreverjanja je na voljo v Prilogi 2.2 ('Blue print'; v angleškem jeziku), ki jo lahko naj-dete na spletni strani http://mentep.eun.org MENTEP Povzetek poročila 12 Št. učiteljev Vrsta šole Skupina učiteljev Stopnja odziva Primerjava Spremljanje (Spremljanje- Primerjava) Skupaj tisti, ki niso preje- tisti, ki niso preje- 3.641 2.861 -780 78,60 % li vabila li vabila tisti, ki so prejeli tisti, ki niso preje- 1.000 820 -180 82,00 % vabilo li vabila tisti, ki so prejeli tisti, ki so prejeli 2.750 1.917 -833 69,70 % vabilo vabilo Skupaj 7.391 5.598 -1.793 75,70 % Tabela 2. Stopnja odziva po naključni shemi in skupini Da bi ugotovili, če sta skupini zares primerljivi (interna veljavnost) ob upoštevanju niza spremenljivk (spol, starost, predmeti, usposabljanje na področju IKT, pozitiven odnos do usposabljanja na področju IKT), smo opravili analizo vzorca, ki je bil uporabljen kot osnova za oceno učinka orodja. Analiza vzorca je pokazala, da so tri skupine primerljive. Začetna raven digitalnih kompetenc in stališča sodelujočih učiteljev Na podlagi celostne slike, ki smo jo sestavili na podlagi primerjalne raziskave, lahko rečemo, da učitelji MENTEP dobro poznajo IKT, zelo visoko cenijo svoje kompetence za izkoriščanje digitalnih virov pri poučevanju in imajo zelo pozitiven odnos do koristi, ki jih nova tehnologija ponuja za poučevanje in učenje. Vsi učitelji imajo doma vsaj eno napravo in okoli 50 % jih doma več kot eno uro na dan uporablja IKT (glej popolno evalvacijsko poročilo). Učitelji MENTEP so bili tudi prepričani, da imajo zelo visoko raven pedagoških digitalnih kompetenc. 90 % učiteljev je bilo prepričanih, da lahko učence spodbudijo h kritični rabi IKT, 71 % jih je povedalo, da znajo preoblikovati aplikacije IKT za potrebe različnih izobraževalnih okolij. Učitelji imajo tudi zelo pozitiven odnos do rabe IKT za poučevanje in učenje. 94 % jih je menilo, da je uporaba IKT v šoli učencem omogočila boljši dostop do virov informacij in 76 % jih je menilo, da uporaba IKT pomaga motivirati učence za učenje. Učitelji, čeprav v nekoliko manjši meri (65 %), so tudi prepričani, da bi lahko otroci s pomočjo IKT razvijali sposobnost samouravnavanja učenja in izboljšali svoj učni uspeh (60 %). Stopnja rabe orodja POT-OS Enako kot pri vseh drugih preskusih, tudi v našem primeru vsi učitelji, ki so bili dodeljeni v testno skupino, niso uporabili ponujenega orodja. Torej vsak učitelj, ki je prejel elektronska vabila, se ni nujno odločil za preskušanje orodja POT-OS in sodelovanje od začetka do konca. V Tabeli 3 lahko vidimo, da se je le 33,8 odstotkov učiteljev, ki so prejeli elektronsko vabilo, odločilo poskusiti orodje POT-OS. MENTEP Povzetek poročila 13 26,7 odstotkov učiteljev je v raziskavi sodelovalo od začetka do konca.7 Z vsebinskega vidika lahko te številke razumemo kot oceno 'naravne' stopnje rabe tovrstnega orodja. Snovalcem sistemskih rešitev, ki bi želeli uporabljati orodje POT - OS, ti podatki povedo, da se na neobvezujoče vabilo, ki ga pošljemo vsem učiteljem, odzove približno četrtina ali tretjina povabljenih učiteljev. Kot je razvidno iz tabele, če primerjamo različne države, opazimo, da se stopnja rabe orodja POT - OS precej razlikuje (od najmanj 16 % do največ 61 %, če upoštevamo odstotek učiteljev, ki so začeli uporabljati orodje). Razlike lahko razložimo s kombinacijo kontekstualnih dejavnikov (npr. kultura samopreverjanja znotraj nacionalnih okvirjev strokovnega razvoja ali uvajanje novih tehnologij v šole) in specifičnih organizacijskih vidikov MENTEPA (npr. dejansko izvajanje izvedbe poskusa). Skupno število Učitelji, ki so prejeli vabilo in začeli Učitelji, ki so začeli uporabljati in Država učiteljev, ki so uporabljati orodje POT-OS zaključili delo z orodjem POT-OS prejeli vabilo Št. % Št. % CY 210 112 53,3 98 46,7 CZ 250 42 16,8 32 12,8 EE 135 36 26,7 25 18,5 ES 340 126 37,1 103 30,3 FI 291 48 16,5 35 12,0 FR 356 116 32,6 83 23,3 GR 152 77 50,7 68 44,7 IT 256 62 24,2 45 17,6 LT 255 89 34,9 69 27,1 PT 246 64 26,0 42 17,1 SI 259 158 61,0 134 51,7 Skupaj 2750 930 33,8 734 26,7 Tabela 3 . Stopnja rabe orodja POT-OS V zaključnem vprašalniku smo učitelje, ki so prejeli vabilo, a niso uporabili orodja, vprašali, zakaj se niso odzvali na vabilo. Glavni razlog, ki so ga navedli (Tabela 4), je ta, da niso vedeli, da je na voljo. To je bila nepričakovana ugotovitev, saj so bila vsa elektronska sporočila uspešno poslana vsem naključno izbranim učiteljem. Po mnenju nekaterih nacionalnih koordinatorjev so učitelji v nekaterih državah pomešali elektronska sporočila, ki so se nanašala na dva vprašalnika, z elektronskimi sporočili, ki so vsebovala vabilo za rabo orodja POT-OS. Ne vemo, ali ta razlaga velja za vse države. Kakor koli že, v prihodnje bi bilo dobro bolj pozorno spremljati komunikacijo s testno skupino. Drugi, manj presenetljiv razlog, ki so ga navedli učitelji, je bilo pomanjkanje časa. Na osnovi nezanesljivih podatkov, ki smo jih imeli na voljo, in podatkov, ki smo jih pridobili v okviru MENTEPA 7 Med učitelji, ki so uporabili (in zaključili) orodje POT-OS, je bil delež tistih, ki so ga v testnem obdobju uporabili več kot enkrat, nizek (8 %). MENTEP Povzetek poročila 14 (glej popolno evalvacijsko poročilo), lahko sklepamo, da učitelji 90 % svojega časa posvetijo poučevanju, pripravi učnih ur in izvajanju administrativnih nalog. Za usposabljanje jim ostane zelo malo časa. Glavni razlog Skupaj Niso vedeli 32 % Časovna stiska 30 % Samopreverjanje jih ne zanima 10 % Že kompetentni 4 % Niso uspeli dostopiti 4 % Ne uporabljajo IKT 3 % Usposabljanje jih ne zanima 1 % Drugo 15 % Število sodelujočih učiteljev 1.091 Tabela 4. Glavni razlog, podan v zaključnem vprašalniku, zakaj orodje POT-OS ni bilo uporabljeno Samoumevno je, da so se učitelji, ki uporabljajo orodje POT-OS, za to sami odločili in tako tvorijo podskupino učiteljev, ki smo jih povabili k uporabi orodja. Zaradi tega lahko rečemo, da značilnosti teh dveh skupin učiteljev (v povprečju) niso primerljive. Nekatere značilnosti so tesno povezane z uporabo orodja: poučevanje naravoslovnega predmeta, dodatne ure dela za naloge, ki niso poučevanje, raba IKT doma in pozitiven odnos do IKT v izobraževanju (najpomembnejši dejavnik) ter prepričanje, dosegajo višje ravni . Za učitelje z zgoraj omenjenimi lastnostmi je bolj verjetno, da bodo sprejeli vabilo k uporabi orodja POT-OS. UČITELJ UČITELJ • poučuje naravoslovni predmet • poučuje humanistični predmet • poučuje 12 ur na teden • poučuje 18 ur na teden • doma ima veliko naprav IKT • doma nima naprav IKT • ima pozitiven odnos do IKT • ima negativen odnos do IKT • rad sodeluje • ni nagnjen k sodelovanju • se je usposabljal na področju • se ni usposabljal za rabo IKT v IKT izobraževanju • svoje spretnosti IKT je visoko • svoje spretnosti IKT je ocenil ocenil kot slabe 50 % verjetnost, da bo uporabil 15 % verjetnost, da bo uporabil orodje POT-OS orodje POT-OS MENTEP Povzetek poročila 15 Učitelji, ki so uporabili orodje POT-OS, so bili zelo zadovoljni s tehničnimi lastnostmi orodja (glej popolno evalvacijsko poročilo za podrobnejši opis) in opaženo uporabnostjo (glej tabelo 5). Postavka Strinjam se S pomočjo orodja POT-OS sem lažje ocenil svojo kompetenco 64 % S pomočjo orodja POT-OS sem premislil o rabi IKT v izobraževanju 62 % Vprašalnik POT-OS je bil preveč zamuden 38 % Vprašalnik POT-OS je bil dolgočasen 30 % POT-OS je bil uporaben 63 % POT-OS je bil preprost 75 % Povratne informacije so mi pomagale oceniti moje kompetence 69 % Viri so uporabni za boljše poučevanje 51 % Na splošno zadovoljen 63 % Samoprimerjava je bila koristna 55 % Orodje bi priporočil drugim 60 % Vir navdiha za preskušanje novih pedagoških praks 54 % Med vsemi metodami ocenjevanja je orodje za samopreverjanje moje najljubše orodje. 57 % Število sodelujočih učiteljev 818 Tabela 5. Mnenje učiteljev o uporabnosti orodja POT-OS Povratne informacije orodja POT-OS Povratne informacije lahko razumemo kot 'objektivne informacije' o učiteljevih pedagoških digitalnih kompetencah. Povratne informacije lahko načeloma spremenijo način, na katerega učitelji dojemajo svoje pedagoške digitalne kompetence. Pomen povratnih informacij je odvisen tudi od tega, kako močno se dobljeni rezultat razlikuje od tega, kako so učitelji ocenili svoje kompetence pred uporabo orodja POT-OS. V nekaterih primerih so povratne informacije zgolj potrdile tisto, kar so učitelji že vedeli o svojih kompetencah (tu govorimo o primerih, ko so povratne informacije ustrezale samoocenjeni ravni kompetence iz uvodnih vprašalnikov, ki je bila opravljena pred testiranjem orodja), v drugih primerih so povratne informacije učitelje presenetile. Presenečenje je lahko negativno (ko prejmejo oceno, nižjo od pričakovane) ali pozitivno (ko prejmejo oceno, ki jim 'pove', da so bolj kompetenčni, kot so mislili). Slika 3 prikazuje razpršeni diagram samoocenjene ravni pedagoških kompetenc učiteljev po uvodnem vprašalniku (vodoravna os) in povratne informacije orodja POT-OS za učitelje (navpična os). MENTEP Povzetek poročila 16 tence ompe e digitalne k BS samoocena pedagošk ocena POT-OS Slika 3. ‘Informacijska vrednost’ povratnih informacij o oceni kompetenc POT-OS Rdeče vodoravne in navpične črte prikazujejo povprečne vrednosti obeh spremenljivk. Pomembno je, da izpostavimo opisno naravo podane slike. Nikakor ne trdimo, da sta ukrepa neposredno primerljiva. Učitelji ne uporabljajo neposredne primerjave obeh ukrepov, saj poznajo povratne informacije samo v numerični obliki, medtem ko se raven samoocenjene kompetence preračuna na podlagi zbiranja različnih enot lestvice, uporabljene v uvodnem vprašalniku. Analizo lahko poenostavimo tako, da upoštevamo samo podatke o tem, ali so učitelji nad ali pod povprečjem. Slika nam pove da so povratne informacije v večini primerov (okoli 68 %, modre pike) potrdile samoocenjeno raven pedagoških digitalnih kompetenc. Le majhen delež učiteljev (8 %, rdeče pike) je prejel pozitivne povratne informacije, ki so presegale samoocenjeno raven kompetenc, medtem ko je nezanemarljiv delež učiteljev (28 %, zelene pike) "odkril" s pomočjo orodja POT-OS, da je njihova raven pedagoških digitalnih kompetenc nižja, kot so mislili. V tem primeru bi lahko povratne informacije sprožile 'informacijski šok' (Gonzalez, 2017). Učinek orodja POT-OS Ključne učinke orodja POT-OS smo izračunali na osnovi primerjave testnih in kontrolnih učiteljev iz vseh sodelujočih držav - celotni vzorec.8 Učinek orodja POT-OS smo ocenili na podlagi ločene ocene učinka na samoocenjeno raven pedagoških digitalnih kompetenc in na odnos do IKT v izobraževanju. 8 Poročilo o učinku orodja POT-OS temelji na celotnem vzorcu. Zaradi omejenega števila učiteljev na državo ne moremo podati ocene učinka orodja POT-OS na državni ravni. Ekonometrični model, uporabljen za oceno učinka, je podrobno predstavljen v Prilogi 5.1. evalvacijskega poročila MENTEP Povzetek poročila 17 Rezultati so pokazali (Tabela 6), da so s pomočjo orodja POT-OS učitelji bolj kritično analizirali svoje pedagoške digitalne kompetence in svoje mnenje glede rabe IKT v izobraževanju. Oba rezultata sta statistično pomembna, prvi na ravni 5 % in drugi na ravni 1 %. Pri učiteljih, ki so uporabljali orodje, smo pri oceni (v povprečju) dobili standardni odklon z vrednostjo 0,14 manj od kontrolne skupine. Prav tako smo dobili standardni odklon z vrednostjo 0,35 manj pri ponovnem pregledu mnenj. Povprečne vrednosti za kontrolo Obseg učinka Samostojno poročilo o pedagoških digitalnih kompetencah Terapija 0,02 -0,138** Pozitiven odnos do IKT Terapija 0,02 -0,351*** *** p<0,01; ** p<0,05; * p<0,1 Tabela 6. Vpliv orodja POT-OS na samopreverjanje pedagoških digitalnih kompetenc in odnos do IKT pri poučevanju, celoten vzorec. Če uporabimo originalne lestvice spremenljivk (namesto standardiziranih), vidimo, da je vpliv na samoocenjeno raven pedagoških digitalnih kompetenc enak -0.12 na lestvici razpona od 1 do 6, pri čemer je povprečna ocena za kontrolno skupino učiteljev enaka 4,7. To pomeni, da je v absolutnem smislu učinek precej majhen in da imajo testni učitelji še vedno izjemno dobro mnenje o svojih pedagoških digitalnih kompetencah, četudi nekoliko bolj skromno od mnenja kontrolne skupine učiteljev. Pri odnosu in stališčih učiteljev do rabe IKT v izobraževanju je bila povprečna vrednost za kontrolno skupino učiteljev enaka 3 na lestvici od 1 do 4 (1 pomeni skranje nestrinjanje s pozitivnimi trditvami o IKT in 4 popolno strinjanje z njimi). Ocena učinka na izvirni lestvici je -0.16, kar pomeni, da so imeli sodelujoči učitelji na splošno pozitiven odnos do IKT v izobraževanju in da nekoliko skromnejša ocena njihovih kompetenc ni vplivala na njihov vsesplošno pozitiven odnos do IKT. Preučevali smo tudi heterogenost vzročnega učinka glede na različne elemente. Najprej smo preučili razlike med spoloma in med različnimi starostnimi skupinami. Vpliv na raven pedagoških digitalnih kompetenc je bil močnejši pri ženskah kot pri moških, četudi je bil koeficient v obeh primerih negativen in so se intervali zaupanja dveh učinkov močno prekrivali. Ko smo učitelje razdelili v starostne skupine, nismo opazili razlik med njimi. Orodje je podobno vplivalo na mnenje moških in žensk. Močnejši vpliv smo opazili pri starejših učiteljih. Tudi v tem primeru predznak vpliva kaže v isto smer za obe skupini in intervali zaupanja v oceno se močno prekrivajo. MENTEP Povzetek poročila 18 Stopnja uporabe orodja med učitelji, ki smo jih povabili k rabi orodja POT-OS, se močno razlikuje od države do države. Med drugim lahko z meddržavnimi kulturnimi razlikami v odnosu do rabe IKT v izobraževanju razložimo heterogenost, ki smo ji bili priča. Obravnavali bi jih lahko celo kot dejavnik, ki razloži heterogenost vzročnega vpliva orodja POT-OS. Enako kot prej lahko tudi na tem mestu rečemo, da je bil predznak vpliva enakomerno negativen, a je bil učinek orodja POT-OS v državah z visoko stopnjo odzivnosti večji, kar velja za oba rezultata. Zaključili smo, da so bila praktična testiranja uspešna, kljub kompleksnosti in novosti pri preskušanju sistemske rešitve. Nacionalni koordinatorji in učitelji so se na izziv odzvali s sodelovanjem v izvedenem poskusu z visoko stopnjo strokovnosti. Učitelji so bili nedvomno zadovoljni z orodjem POT-OS, njegovo uporabnostjo, obravnavanimi temami in predlaganimi viri. Učitelji so nedvomno uporabili povratne informacije za nekoliko skromnejšo samooceno svoje ravni pedagoških digitalnih kompetenc in kot posredni učinek je tudi spremenjeno stališče glede koristnosti IKT v izobraževanju. MENTEP Povzetek poročila 19 3. Razlaga ugotovitev in zaključkov za potrebe oblikovanja sistemske rešitve S preverjanjem sistemske rešitve v okviru projekta MENTEP smo pokazali, da izvajanje obsežnega preverjanja sistemskih rešitev ni le priporočljivo, temveč tudi izvedljivo. Izkušnje, ki smo jih pridobili v okviru projekta MENTEP, od začetne zasnove protokola izvedbe poskusa do rezultatov in priporočil za snovalce sistemskih rešitev v različnih kontekstih, so dragocen vir znanja za oblikovalce izobraževalnih sistemskih rešitev, ki želijo okrepiti bazo dokazov in podpreti prizadevanja za oceno kompetenc po vsej Evropi. Dobili smo pet ključnih ugotovitev: 1. Stopnja rabe orodja POT-OS: Snovalci politike, ki bi želeli uporabljati orodje POT-OS, morajo upoštevati dejstvo, da se na neobvezujoča vabila, ki jih pošljemo vsem učiteljem, odzove (torej odstotek učiteljev, ki dejansko uporablja orodje) približno četrtina ali tretjina povabljenih. Pri stopnji rabe orodja POT-OS opazimo precejšnje razlike med državami, in sicer od 16 % do 61 %. O tem smo se pogovarjali na nacionalnih delavnicah po zaključku testiranja in dobili različne razlage oz. utemeljitve. Med najpomembnejšimi so kulturne razlike v odnosu do rabe IKT pri poučevanju. Drugi razlog se nanaša na razlike v odnosu do samopreverjanja, ki je učiteljem v nekaterih državah povsem tuj. Tretjič, v obdobju izvedbe poskusa smo izdelali tudi vprašalnike in ponudili tudi druga alternativna orodja. Ne glede na razloge, rezultati projekta jasno izpostavijo pomen skrbnega premisleka o tem, kako spodbuditi zanimanje in sodelovanje učiteljev, da bi povečali njihovo odstotek udeležbe. Premisliti moramo o dodatnih komunikacijskih kanalih (srečanja v živo in na spletu, telefonski pogovori) in vztrajno vzdrževati komunikacijo z učitelji v poskusu. 2. Niso se vsi učitelji odzvali na enak način. Več navdušenja nad uporabo orodja POT-OS smo zaznali pri mlajših učiteljih naravoslovnih predmetov, ki imajo omejeno delovno obremenitev (poučujejo 12 ur na teden), uporabljajo številne naprave IKT doma in imajo pozitiven odnos do IKT na splošno, radi sodelujejo in se usposabljajo. Če želimo doseči večje število učiteljev, tudi tiste MENTEP Povzetek poročila 20 z drugačnim profilom (ki nimajo veliko izkušenj z IKT, poučujejo več ur na teden, se manj usposabljajo itd.), lahko dejavnosti podpremo z različnimi formalnimi in neformalnimi ukrepi. Orodje bi lahko povezali s konkretnim usposabljanjem ali prepoznavanjem različnih prepričanj učiteljev, lahko bi nekaj časa uradno namenili uporabi orodja v šoli (na individualni ravni, v parih ali skupinah) in sprožili dialog o orodju med učitelji in vodstvom šole. Nekatere države, ki sodelujejo v projektu MENTEP, že raziskujejo možnost uporabe orodja na omenjen način, da bi identificirale potrebe po usposabljanju in učitelje skozi celo šolsko leto usmerjale v ustrezne programe usposabljanja ter spodbujale skupni premislek. To nam je lahko v pomoč, a rezultati so pokazali tudi, da samopreverjanje morda ni najboljša izbira za vse učitelje, zato bi morali pripraviti drugačne ukrepe za dvig ravni pedagoških digitalnih kompetenc določenih podskupin učiteljev. 3. Dobra kakovost orodja. Učitelji, ki so uporabljali orodje POT-OS, so pohvalili tako njegove tehnične lastnosti kot njegove praktične koristi. Snovalci sistemskih rešitev imajo tako sedaj na voljo testirano orodje, ki je učiteljem všeč. Orodje je na voljo na portalu European Schoolnet in kot odprt izobraževalni vir, ki ga lahko prilagodite in uporabite v lokalnem okolju. Če želite kar najbolje izkoristiti potencial orodja, ga povežite z ustreznimi in posodobljenimi nacionalnimi in evropskimi ekosistemi (spletno okolje z viri za usposabljanje), ki bi jih morali med učitelji promovirati z enako vnemo kot orodje samo. 4. Osredotočili smo se na kratkoročne učinke, na mnenja o rabi IKT v izobraževanju in na samooceno ravni pedagoških digitalnih kompetenc, saj je bil čas izvajanja projekta relativno kratek. Orodje POT-OS je učitelje spodbudilo, da so nekoliko a) znižali oceno ravni svojih pedagoških digitalnih kompetenc in b) spremenili svoje mnenje o koristnosti IKT v izobraževanju. Nezanemarljiv delež učiteljev (28 %) je s pomočjo orodja POT-OS odkril, da je raven njihovih pedagoških kompetenc nižja, kot so mislili. Nižja samoocena je pričakovana, saj lahko učitelji, ki uporabijo orodje, svoje kompetence ocenijo na bolj informiran in kritičen način. Druga ugotovitev je bila seveda nepričakovana in na prvi pogled tudi manj zaželena. Nižja ocena koristnosti IKT v izobraževanju po uporabi orodja, tako kot nižja samoocena kompetenc, je lahko posledica premisleka o pedagoški praksi učitelja, ki ga je orodje sprožilo. Učitelji so verjetno na bolj informiran način prilagodili svoje predhodne predpostavke o rabi IKT v izobraževanju. Druga možna razlaga je ta, da je nižja samoocena posledica povratnih informacij, ki so jih prejeli uporabniki orodja. Povratne informacije lahko razumemo kot 'objektivne informacije' o učiteljevih pedagoških digitalnih kompetencah. Povratne informacije lahko načeloma spremenijo način, na katerega učitelji MENTEP Povzetek poročila 21 dojemajo svoje pedagoške digitalne kompetence. Kot je razvidno iz podatkov, so lahko povratne informacije o oceni učiteljevih kompetenc bolj ali manj pomembne. Bolj kot odstopajo od samoocene, ki jo učitelji podajo pred uporabo orodja, bolj so pomembne za njih. 5. Nenačrtovani stranski učinki: ta ugotovitev nam ponuja tudi nov zorni kot razumevanja nenačrtovanih stranskih učinkov, do katerih lahko pridemo samo z ustreznim preskusom učinkovitosti ukrepov s pomočjo naključnega vzorčenja, ki postaja zlato pravilo v izobraževanju. Doslej so se uporabljali predvsem na medicinskem področju, kjer so raziskave zaželenih in nezaželenih oz. nenačrtovanih učinkov ključnega pomena za vrednotenje koristi in tveganj zdravil. Preučevanje in poročanje o učinkih in stranskih učinkih nam lahko pomaga sprejemati bolje informirane odločitve. Partnerji v projektu MENTEP obravnavajo stranske učinke kot sestavni del preskušanja sistemskih rešitev, ki lahko oblikovalcem izobraževalne politike pomagajo pripraviti kakovostnejše sistemske rešitve, ki upoštevajo tudi nenačrtovane posledice. V prihodnje bi morali preučiti dolgoročne učinke, vzdržnost identificiranih učinkov in vplive na druga področja pedagoške digitalne kompetence, npr. dejansko vedenje in raba IKT pri poučevanju ter nadaljnji strokovni razvoj na področju IKT. Celotno evalvacijsko poročilo (Priloga 5.1) je na voljo na strani: http://mentep.eun.org. MENTEP Povzetek poročila 22 Bibliografija Bloom, H.S. (2008). The core analytics of randomized experiments for social research. The Sage handbook of social research methods, 115-133. Evropska komisija (2013). Survey of schools: ICT in education. Benchmarking access, use and attitudes to technology in European schools. doi:10.2759/94499 Gonzalez, N. (2017). How Learning About One’s Ability Affects Educational Investments: Evidence from the Advanced Placement Program. Working Paper 52. Oakland, CA: Mathematica Policy Research, februar 2017. Laurillard, D. (2012). Teaching as a Design Science, Routledge, New-York/Abigdon. What Works Clearinghouse (2014). Procedures and standards handbook (Version 3.0). Washington, DC: Ministrstvo za šolstvo, ZDA Rezultatov, ki smo jih dosegli s preverjanjem sistemske rešitve v okviru raziskave MENTEP in predstavili v pričujočem poročilu, ne bi mogli doseči brez aktivnega in zavzetega sodelovanja vseh partnerjev v projektu MENTEP, močne podpore nacionalnih koordinatorjev, ki so koordinirali izvedbo poskusa na šolah v posameznih državah, učiteljev, ki so sodelovali v poskusu in dragocenega prispevka članov znanstvenega odbora. Znanstveni odbor MENTEP: Janet Looney, Evropski inštitut za izobraževanje in socialno politiko (EIESP) Diana Laurillard, Univerzitetni kolidž v Londonu, Laboratorij znanja Marco Caliendo, Univerza v Potsdamu European Schoolnet, BE HITSA – Informacijska tehnologija www.eun.org Izobraževalni sklad, EE www.hitsa.ee CNDP – Nacionalni center za pedagoško dokumentacijo, FR INDIRE – Nacionalni inštitut za dokumentarne www.reseau-canope.fr raziskave in inovacije na področju izobraževanja, IT www.indire.it CPI – Ciprski pedagoški inštitut, CY www.pi.ac.cy/pi/index.php?lang=en INTEF – Ministrstvo za šolstvo, kulturo in šport, ES http://educalab.es/intef CTI – Inštitut računalniške tehnologije in medijska hiša "Diophantus”, EL Ministrstvo za šolstvo in kulturo, CY www.cti.gr www.moec.gov.cy/en/index.html FBK-IRVAPP – Raziskovalni inštitut za Senter for IKT i utdanningen – presojo javne politike, IT Norveški direktorat za izobraževanje in http://irvapp.fbk.eu usposabljanje https://iktsenteret.no DZS – Center za mednarodno sodelovanje na področju izobraževanja, CZ STIL – Agencija za IT in izobraževanje, DK www.dzs.cz www.stil.dk Finska nacionalna agencija za izobraževanje, FI UPC – Šolski razvojni center, LT www.oph.fi www.upc.smm.lt DGE – Generalni direktorat za izobraževanje, ZRSŠ - Zavod RS za šolstvo, SI PT http://dge.mec.pt www.zrss.si O projektu MENTEP MENTEP (Sistemska podpora digitalne pedagoške prakse) je pomembna evropska raziskava, katere cilj je dvig kompetenc in samozavesti učiteljev za uporabo informacijsko-komunikacijske tehnologije (IKT) pri pouku. Projekt se je izvajal od marca 2015 do maja 2018. Preučeval je potencial spletnega orodja za samopreverjanje (OS) za usposabljanje učiteljev in razvoj pedagoških digitalnih kompetenc v svojem ritmu. V projektu so sodelovalni nacionalni javni organi in 11000 učiteljev iz 11 partnerskih držav - Cipra, Češke, Estonije, Finske, Francije, Grčije, Italije, Litve, Portugalske, Slovenije in Španije. European Schoolnet, partnerstvo 30 evropskih ministrstev za izobraževanje, je koordinator projekta. Raziskovalni inštitut za presojo javne politike v Italiji FBK-IRVAPP je bil odgovoren za kvantitativno oceno projekta. Sodelujoči učitelji so izpolnili dva kratka vprašalnika o rabi IKT v šoli, enega v začetku in drugega ob koncu šolskega leta 2016/2017. Vse informacije, ki so nam jih posredovali učitelji, smo obdelali anonimno in v popolnosti spoštovali pravico do zasebnosti. Ob koncu projekta so učitelji MENTEP prejeli potrdilo o sodelovanju. Dodatne informacije: http://mentep.eun.org/ in https://www.zrss.si/mentep/ Spremljaj MENTEP http://mentep.eun.org WWW https://www.zrss.si/mentep/ #MENTEP Projekt MENTEP je evropski preskus sistemske rešitve, ki črpa sredstva iz programa Evropske komisije Erasmus+. Publikacija odraža le stališča avtorjev in ne predstavlja mnenja Evropske komisije. Evropska komisija tudi ni pristojna in ni odgovorna za kakršno koli uporabo informacij, ki jih vsebuje publikacija. Document Outline 1. Glavne ugotovitve 1.1. Utemeljitev 1.2. Teorija sprememb in pričakovani rezultati 1.3. Kaj pomenijo rezultati raziskave? 2. Preverjanje sistemske rešitve 2.1. Cilji preverjanja sistemske rešitve 2.2. Vprašanje za vrednotenje 2.3. Orodje za samopreverjanje pedagoških digitalnih kompetenc (POT-OS) 2.4. Poskusna zasnova 2.5. Vzorčenje 2.6. Zbiranje podatkov in vprašalniki 2.7. Rezultati izvedbe poskusa Stopnja odziva Začetna raven digitalnih kompetenc in stališča sodelujočih učiteljev Stopnja rabe orodja POT-OS Povratne informacije orodja POT-OS Učinek orodja POT-OS 3. Razlaga ugotovitev in zaključkov za potrebe oblikovanja sistemske rešitve Bibliografija