Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education EVALVACIJA ZA ZAČETNIKE Delovni zvezek za učni laboratorij1 Nives Ličen Ajdovščina, 2015 1 Poimenovanje učni laboratorij je povzeto po learning lab, change laboratory method, kot jih uporablja profesor Engeström s helsinške univerze. Tudi drugi avtorji, npr. Høyrup, uporabljajo poimenovanje lab ali laboratory. 1 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education EVALVACIJA ZA ZAČETNIKE Delovni zvezek za učni laboratorij Avtorica: Nives Ličen Recenzentki: Simona Šinko, Vesna Podgornik Lektorica: Mia Krpelj Fotografije in ilustracije: javno dostopne na svetovnem spletu Avtorica logotipa Green Education: Svetlana Milijašević Avtor znaka na naslovnici: Jurij Ličen Izdala: Ljudska univerza Ajdovščina Direktorica: Eva Mermolja Projekt: Green education (2013–2015) CIP - Kataložni zapis o publikaciji Narodna in univerzitetna knjižnica, Lju bljana 374.7:005.336.3(0.034.2) 001.818(0.034.2) LIČEN, Nives Evalvacija za začetnike [Elektronski vir] : delovni zvezek za učni laboratorij / Nives Ličen. - El. knjiga. - Ajdovščina : Ljudska univerza, 2015 ISBN 978-961-93876-1-0 (pdf) 280995328 2 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education Kazalo UČINKOVITA EVALVACIJA ........................................................................................................................ 4 KAJ JE EVALVACIJA? ................................................................................................................................. 5 FAZE V RAZVOJU EVALVACIJE........................................................................................................ 7 RAZLIČNE VRSTE EVALVACIJ .......................................................................................................... 7 KAKOVOST ..................................................................................................................................... 8 KATERE SO FUNKCIJE IN RAVNI EVALVACIJE? ....................................................................................... 10 KAKO NAČRTUJEMO EVALVACIJO? ....................................................................................................... 13 ELEMENTI IN STOPNJE NAČRTA ZA EVALVACIJO........................................................................ 15 KAKO NAPIŠEMO KONČNO POROČILO? ................................................................................................ 18 NEKAJ IZZIVOV ZA RAZMISLEK ............................................................................................................... 21 EVALVACIJA IZOBRAŽEVALNIH DOSEŽKOV ............................................................................................ 23 REFERENCE ............................................................................................................................................ 25 SPLETNA PREDAVANJA, PROGRAMI ............................................................................................ 27 DELOVNI LISTI ........................................................................................................................................ 28 KAKO EVALVIRATI NAČRTE ZA POUČEVANJE? ............................................................................ 29 KAKO OCENJEVATI IZVAJANJE IZOBRAŽEVANJA? ....................................................................... 30 KAKO UGOTAVLJATI ZADOVOLJSTVO UDELEŽENCEV? ............................................................... 31 EVALVACIJA ZA DELAVNICO .............................................................................................. 31 KAKO UGOTAVLJATI ZNANJE IN VEŠČINE? .................................................................................. 34 SAMOEVALVACIJA PROJEKTNEGA DELA ..................................................................................... 35 SAMOEVALVACIJA, JEDRNA REFLEKSIJA IN SUPERVIZIJA ............................................................ 39 JEDRNA REFLEKSIJA KOT ORODJE ZA SAMOEVALVACIJO ................................................. 40 NAČRT ZA EVALVACIJO ................................................................................................................ 41 TEHNIKE ZA ZBIRANJE EVALVACIJSKIH PODATKOV .......................................................... 42 VPRAŠANJA ZA RAZMISLEK OB ZAKLJUČKU .......................................................................................... 43 3 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education UČINKOVITA EVALVACIJA V tem delovnem zvezku, ki je pripravljen kot gradivo za sodelovalni učni laboratorij (to pomeni, da implicira veliko skupinskega razmišljanja in skupnega iskanja ter ustvarjanja novega (spo)znanja), je zbrano osnovno »berilo«. Pomagal vam bo pri načrtovanju evalvacije za različne primere neformalnega izobraževanja odraslih. Z evalvacijo se lahko ukvarjamo na makro ravni (evalvacija politike2, državnih programov ipd.) ali na mikro ravni posameznega dogodka (evalvacija konference ali evalvacija učne ure). Delovni zvezek je namenjen predvsem evalvaciji ob zaključku dogodkov v neformalnem izobraževanju odraslih. Zamišljen je kot priročnik za začetnike, zato so napisane kratke opredelitve in več virov, kjer lahko bralke in bralci poiščejo dodatne informacije. Besedilo je sestavljeno iz dveh delov. V prvem so (pregledno) pojasnjeni osnovni pojmi in načela za pripravo načrta za evalvacijo, v drugem so zbrani delovni listi za različne vrste evalvacije. Učinkovitost evalvacije je odvisna od spretnosti pri načrtovanju in izvajanju, zato je potrebno specialistično znanje. Ta delovni zvezek naj bo uvod pri iskanju novega znanja. Nastal je ob seminarskem delu s študentkami andragogike na Filozofski fakulteti Univerze v Ljubljani in ob razvijanju zamisli za zelene programe v okviru projekta Green education na Ljudski univerzi v Ajdovščini v obdobju 2013–2015. Ko se vprašamo, zakaj sploh evalvirati, zakaj si s tem »delamo dodatno delo«, moramo poiskati odgovore v širšem kulturnem okolju in spreminjanju konceptov znanja, prakse, demokratičnih odnosov … Zakaj evalvirati zdravstvene programe? Zakaj evalvirati izobraževalne programe? Ta dva primera omenjam zato, ker sta zdravstveni in izobraževalni sistem stara in urejena sistema in bi pričakovali, da delo poteka »utečeno«. Prav v tem je izziv. Veliki sistemi delujejo »utečeno«, vendar potrebujejo nenehne spremembe, ker se okolje spreminja. Glede na značilnosti sodobnega človeka in razvoj novega znanja želimo z evalvacijami ugotoviti, ali so izbrane prakse sploh delovale, tako kot bi želeli. Ali je zdravstveni program prispeval k zdravju ljudi ali le k povečani prodaji zdravil? Ali so se ljudje v izobraževalnem programu kaj naučili ali so se samo zabavali? Kako se lotiti evalvacije? Najbolj preprosta vprašanja za vsakdanjo evalvacijo so: Ali po tem izobraževanju znate narediti XY opravilo? (Evalvacija nam mora sporočiti, ali lahko znanje ljudje uporabijo v svojem življenju.) Ali bi ta program priporočili še komu? (Evalvacija nam mora sporočiti, ali je program za ljudi uporaben in ga presojajo kot učinkovito uporabo časa, energije, denarja.) Kako bi vi program izboljšali? (Evalvacija nam mora dati podatke, kako izboljšati program.) V tem laboratoriju bomo proučevali, kako evalvacijo pripraviti. Poudariti želimo, da je cilj evalvacije dobiti validne rezultate, s katerimi lahko kaj spremenimo, zato potrebujemo tudi ustrezno raziskovalno-metodološko znanje. 2 Šinko, S. (2015). Teoretski in metodološki problemi evalvacije politike izobraževanja odraslih. Ljubljana: Filozofska fakulteta. 4 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education KAJ JE EVALVACIJA? Kaj je pomembno pri načrtovanju evalvacije3? V letu 2015, ki je bilo proglašeno4 za mednarodno leto evalvacije, je še posebno veliko razprav in strokovnih srečanj na temo evalvacije. Sprašujemo se o evalvaciji inovativnih procesov5, evalvaciji različnih projektov, o evalvaciji kot sistemu metod. V tem delovnem zvezku se bomo spraševali o uporabi evalvacije v neformalnem izobraževanju za odrasle. Zanima nas organizirana dejavnost, ki pa ni del formalnih procesov izobraževanja, kjer so evalvacijski sistemi natančno izdelani (od preverjanja znanja z ocenjevanjem in izpiti do spremljanja kakovosti z napredovanji in mednarodnimi študijami). Evalvacija pomeni ovrednotenje, ki nastane na osnovi sistematičnega zbiranja podatkov in interpretacije podatkov. Služi nam za odločanje o nadaljnjem delu (aktivnostih). Izobraževanje vrednotimo različno (z različnimi metodami) in v različnih fazah ter z različnimi nameni, zato nastajajo različne delitve evalvacij. Evalvacija je lahko notranja (samoevalvacija6, interna evalvacija) ali zunanja (eksterna evalvacija, zunanja ekspertna evalvacija). Pri tem procesu uporabljamo tudi izraze notranje in zunanje presojanje kakovosti. Časovno poteka evalvacija na začetku izobraževanja (med fazami načrtovanja in ob začetku izpeljave programa), med izobraževanjem (formativna evalvacija ali procesna evalvacija, sprotno vrednotenje) in ob koncu programa (sumativna evalvacija, končno vrednotenje). Imenujemo jo lahko ex-post 3 Za dodatno gradivo glej dela Tanje Možina, vodilne avtorice na področju evalvacije kakovosti v izobraževanju odraslih v Sloveniji; razvoj kakovosti izobraževanja odraslih (http://kakovost.acs.si; projekt POKI Ponudimo odraslim kakovostno izobraževanja http://kakovost.acs.si/poki/); Slovensko društvo evalvatorjev (http://www.sdeval.si/); European Evaluation Society (http://www.europeanevaluation.org). 4 Eval partnerji so: Unicef, IOCE (International organization for cooperation in evaluation), UN Women, Oecd in mnogi drugi. 5 Glej npr. članek National Open Innovation Systems: an Evaluation Methodology (2015), Journal of Sustainable development. 6 Več o samoevalvaciji in profesionalnem razvoju glej v Podgornik, V. (2014). Samoevalvacija kot dejavnik zagotavljanja kakovosti vzgojno-izobraževalnega dela in učiteljevega profesionalnega razvoja : doktorska disertacija. Ljubljana: Filozofska fakulteta. 5 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education evalvacija. Evalvacija, ki se zgodi pred dogodkom, se imenuje ex-ante evalvacija in je lahko del analize izobraževalnih potreb. Uporabljamo še delitev na mikroevalvacijo (dogaja se med učnimi enotami) in makroevalvacijo (evalviramo celoto). Carol Weiss je bila profesorica na Harvardu, razvijala je metode za ocenjevanje učinkovitosti izobraževalnih programov in izobraževalnih politik. (Vir: http://freshspectrum.com/what-is-evaluation/) E. W. Deming, fizik in statistik, je razvil zamisel evolucije kakovosti in s tem povezane nenehne evalvacije v podjetjih. (Vir: https://en.wikipedia.org/wiki/W._Edwards_Deming) 6 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education FAZE V RAZVOJU EVALVACIJE Zgodovinski pregled evalvacije pokaže, da se je najprej pojavila v zdravstvu in izobraževanju, v sodobnem času uporabljamo evalvacijo v vseh dejavnostih. Guba in Lincoln (1989) sta opredelila štiri generacije evalvacij. Te vrste evalvacij opazimo tudi v izobraževalni praksi. Prva generacija evalvacij je bila povezana s konceptom znanstvenega menedžmenta in zanjo je bilo značilno merjenje (testiranje). V naslednjem obdobju (druga generacija evalvacije; vpliv ciljnega modela R. Tylerja) je bilo značilno opisovanje prednosti in slabosti izbranega programa glede na doseganje ciljev. Take vrste evalvacija je mogoča, ko lahko cilje natančno opredelimo. Na nekaterih področjih (še posebej npr. umetnost, razvoj), cilji niso vnaprej jasni. Za tretjo generacijo evalvacije je značilno presojanje. V 70. letih prejšnjega stoletja se je pojavil tudi premik v metodologiji evalvacije; numeričnim prikazom dodajo tudi opisne. Nato se razvije še četrta generacija evalvacije, ki sloni na pragmatičnih pristopih (odmik od metodološkega »dogmatizma«) in poudari interaktivnost (»pogajalski proces«) ter partnerske odnose (dialoškost); vključuje različne skupine (interesne skupine, vplivniki, deležniki, stakeholders). RAZLIČNE VRSTE EVALVACIJ Različne vrste evalvacije terjajo različno načrtovanje. RAZMISLITE , kako bi pripravili različne vrste evalvacije in v katerih okoliščinah bi bile najbolj primerne. Kako se načrtovalec evalvacije odloča, ko izbira med spodnjimi delitvami? Interna – eksterna Formativna – sumativna Formalna – neformalna Opisovanje – merjenje Kvalitativni – kvantitativni pristopi Holistična – analitična Participatorna – ekspertna Mikro – makro 7 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education KAKOVOST Evalvacija sledi kriterijem kakovosti in specifičnega načrtovanja. Ključni element evalvacije je presojanje, ali je nekaj vredno (dobro) ali ni (Sork, 2000). Glede na to je KONCEPT KAKOVOSTI 7pomemben del evalvacijskih načrtov. RAZMISLITE  Kaj razumemo kot kakovost? Kaj pomeni kakovost predmetov, storitev, odnosov?  Kako ponuditi dobro blago, dobro storitev (npr. dobro svetovanje), dober program?  Kaj vpliva na pojmovanje kakovosti? Kako se povezuje z vrednotami?  Kaj pomeni upravljanje kakovosti ( quality management)?  Kakšni so pristopi za zagotavljanje, nadziranje in razvijanje kakovosti? Pri presojanju kakovosti smo pozorni na različne dejavnike, ki vplivajo na kakovost, in tudi na pojmovanje kakovosti (vloga interesnih skupin, avtonomija, odgovornost, decentralizacija, sociokulturni kontekst … (Možina, 2010, str. 23–66). Namen evalvacije je izboljšanje kakovosti in nadzor nad doseganjem dogovorjene ravni kakovosti. Kakovost v izobraževanju odraslih postaja vedno pomembnejša pod vplivom konstruktivizma in postmodernizma. Ko presojamo kakovost, jo lahko opredelimo kot dodano vrednost, spreminjanje, stopnjevanje (razvoja, ustvarjalnosti 8), ustrezanje ciljem (ni ene same opredelitve) ... Kakovost in upravljanje kakovosti pomeni nenehno analizo rezultatov in prilagajanje/razvijanje procesov. Najbolj znan je Demingov9 krog kakovosti. 7 Glej tudi Total Quality Management (TQM), quality management (upravljanje kakovosti). 8 Glej primer The Red Monkey Story - or how to manage creative ideas. Dostopno na https://www.youtube.com/watch?v=BFk4dCCwlRg (12. 10. 2014). Patton, M. Q. (2011). Developmental Evaluation. New York: Guilford Press. 9W. E. Deming (1900-1993) ameriški fizik in statistik je pomembno vplival na razvoj evolucije kakovosti (continuous quality improvement). 8 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education Najpogosteje sledimo petim konceptualizacijam kakovosti, ki sta jih pripravila Harvey in Green (1993, povzeto po Možina, 2010, str. 52):  kakovost kot izjemnost ali odličnost (vrhunski dosežki, elitne šole),  kakovost kot popolnost ali konsistentnost (glej Deming),  kakovost kot vrednost za denar (visoki standardi za čim nižjo ceno),  kakovost kot ustreznost namenu (ali storitev zadovoljuje potrebe strank?),  kakovost kot transformacija (transformacija znanja, posameznika okolja – glej transformativno učenje). DVE PARADIGMI Pri načrtovanju evalvacije lahko izhajamo iz dveh vzorcev razmišljanja o evalvaciji. Prva paradigma je pozitivistična ali racionalistična (kot jo imenujeta Guba in Lincoln, 1989), druga je konstruktivistična ali naturalistična. Oznaka naturalistična je uporabljena zato, ker izhaja iz predpostavke o različnosti vedenja ( knowledge) o družbenih in humanističnih pojavih v primerjavi z naravoslovnimi vedenji (ibid). Prva najpogosteje uporablja kvantitativne pristope, določa kriterije za razvrščanje in kazalnike za merjenje. Konstruktivistična paradigma poudarja kontekstualnost dogajanj (to pomeni, da se predmet evalvacije spreminja, se razvija v določenem okolju) in evalvacijo opredeli kot hermenevtično dialektični proces (glej Lincoln in Guba, 1994, v Možina, 2010, str. 35). Za evalvacijo uporabljamo različne pristope, ki sledijo izbrani paradigmi. Zbiramo različne informacije in na različne načine. (Vir: http://www.extension.org/program_evaluation) 9 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education KATERE SO FUNKCIJE IN RAVNI EVALVACIJE? Evalvacija je postopek določanja vrednosti nečesa (Sork, 2000), najbolj pogosto pa je namenjena ugotavljanju, ali so bili cilji doseženi. Funkcij evalvacije je več, in niso vse vključene v vsaki evalvaciji. Pozorni smo na to, da ima evalvacijski proces več funkcij, in odločiti se moramo, kateri bomo dali večji poudarek. Poglejmo, katere so najbolj opazne funkcije. Na eni strani je izrisana nadzorna funkcija: učitelj (izobraževalec) nadzoruje učenca, učenec učitelja, inšpektor oba, financer nadzoruje inšpektorja. Gre za igro moči in vzpostavitev privilegiranih položajev. Evalvacija omogoča nadzor vodilnih, to je tistih, ki imajo moč in vpliv. Druga funkcija je informacijska. Z evalvacijo ugotovijo stanje znanja (začetna evalvacija, končna evalvacija), navad, prepričanj, miselnih in organizacijskih shem, finančnih konstrukcij. Tako lahko načrtujejo izobraževanje, ki se bo prilegalo dobljenim informacijam. Z evalvacijo dobimo povratno informacijo o primernosti programa, izpeljavi, potrebnih izboljšavah, napredku udeležencev pri doseganju ciljev, o porabi sredstev, o potrebah po denarju ipd. Evalvacija ima lahko tudi preventivno funkcijo. Evalvatorji ugotovijo, česa udeleženci še ne znajo in pokažejo na nove potrebe po izobraževanju (združevanje evalvacije in analize potreb po izobraževanju). Ima tudi operativno funkcijo. Evalvatorji na temelju ugotovitev pripravijo rešitve in delujejo. Informacije, ki jih prinaša evalvacija, so zaveznik (v tem primeru) vsakega učenja in načrtovanja izobraževanja. Trije razlogi za evalvacijo programa v praksi izobraževanja odraslih:  izvedeti, kako izboljšati naslednje programe,  odločiti se, ali s programom nadaljevati ali ga opustiti,  motivirati (animirati) za nadaljnje učenje in skrb za kakovost. 10 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education KATERE SO RAVNI EVALVACIJE? Evalvacija prinaša informacije o učinkih izobraževalnega programa in je zato sestavni del načrtov in izpeljave izobraževanja ter končnega poročila. Še v 70. letih prejšnjega stoletja je bila faza evalvacije v andragoškem ciklusu pogosto opredeljena kot ocenjevanje učnih rezultatov udeležencev10 (prim. Krajnc, 1979, str. 109), evalvaciji ni bila namenjena niti posebna pozornost v raznih priročnikih (Galbraith in Jones, 2010, str. 167). Kasneje se razvije evalvacija, ki zajame vse elemente andragoškega procesa (gl. Sork, 2000), in sčasoma postaja vedno bolj pomembna sestavina izobraževalnih procesov. Evalviramo zasnovanost, izpeljavo, ustreznost, učinkovitost. Z vsemi elementi načrtovanja in izpeljave evalvacije se ukvarjajo evalvacijske študije, ki pridobivajo na pomenu tudi v izobraževanju odraslih. V različnih strokovnih virih bomo našli modele za evalvacijo11 . Najbolj poznan je štiristopenjski model, ki ga je razvil Kirkpatrick. Pozor! Namen evalvacije ni le v zbiranju podatkov o zadovoljstvu udeležencev12, bolj nas zanima to, kako so udeleženci napredovali (v izobraževanju), kaj so osvojili, kaj so prenesli v prakso (transfer v prakso), kako bi lahko izboljšali program. Na začetku programa ( initial screening) vključimo evalvacijo, ker nas zanima, kaj udeleženci že znajo, tako da se lahko izvedba prilagodi njihovemu znanju. Pogosto prejmemo vprašalnike, kjer le »odkljukamo« svoje zadovoljstvo. Te pole se žargonsko imenujejo »happy sheet« (Vir: http://blogs.oregonstate.edu/morningclover/files/2014/02/evaluation.jpg) Beseda evalvacija nam pogosto vzbudi asociacijo na podatke, kot npr. 60 % udeležencev je bilo zadovoljnih, 5 % je bilo zelo nezadovoljnih, 5 % je bilo zelo zadovoljnih… Vendar je to zožen pomen, saj ne ocenjujemo le zadovoljstva (reakcije na nek dogodek). Beseda evalvacija prihaja iz latinske besede valere, ki pomeni veljati in je del francoske besede évaluation, ki pomeni najti/ določiti vrednost nečesa. Poiskati vrednost nečesa je mnogo več kot le poiskati zadovoljstvo z nečim. 10 Gre za preverjanje znanja, izpite, teste, doseganje določenih veščin. Ta evalvacija ni zajemala drugih elementov izobraževalnega procesa. 11 McNamara, Joyce in O'Hara (2010), Kirkpatrick in Kirkpatrick (2012) so med bolj znanimi. 12 Stopnje evalvacije sledijo stopnjam ciljev. Glej tudi gradiva o načrtovanju ciljev. 11 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education Poglavitni namen evalvacije izobraževalnih programov je ugotoviti učinkovitost izobraževanja in pomanjkljivosti ter s pridobljenimi informacijami načrtovati in izpeljati naslednje programe izobraževanja bolj kakovostno, zato vključimo evalvacijo na več ravneh. Štiri ravni (po Kirkpatrick in Kirkpatrick, 2012):  na ravni reakcije udeležencev na program (osredotočimo se na zadovoljstvo, subjektivne vtise); vprašamo se, kaj udeleženci občutijo (so občutili) ob izobraževalnem programu, kaj menijo o organizaciji in uporabnosti programa; na tej ravni ne izvemo ničesar o pridobljenem znanju, zato se je nujno premakniti tudi na drugo stopnjo;  na ravni znanja (zanima nas, česa so se naučili); sprašujemo se, ali so izobraževalni cilji doseženi; ali so osvojili tiste spretnosti, znanje, veščine, ki smo jih načrtovali; na tej ravni uporabljamo preverjanje znanja pred vstopom in po zaključku;  na ravni delovne učinkovitosti (prenos v prakso); sprašujemo se, ali se je zgodil prenos znanja in veščin v prakso, ali udeleženci svoje znanje sedaj uporabljajo, ali so pri delu bolj učinkoviti; na tej ravni lahko pripravimo sledilno srečanje po približno treh mesecih in ugotavljamo učinkovitost prenosa znanja v prakso;  na ravni rezultatov podjetja ali druge organizacije; sprašujemo se, ali ima izobraževanje vpliv na delovanje organizacije, kakšen je vpliv izobraževalnega programa na delovanje podjetja, institucije. V nekaterih primerih dodamo tudi peto stopnjo, s katero preverjamo upravičenost investicije (učinkovitost na ravni investicije v izobraževanje). Kot smo zgoraj že zapisali, naj ne bi z evalvacijo preverjali le zadovoljstva udeležencev ob koncu izobraževanja. Rezultati evalvacijskih vprašalnikov bodo namreč visoki in ljudje zelo zadovoljni, če so vstopili v izobraževanje z nizkimi pričakovanji. Če pa so pričakovali veliko, bo zadovoljstvo lahko manjše in njihove ocene nižje. Podobno zapišeta tudi Vukovič in Miglič (2006, str. 187), ki opozarjata, da večina evalvacij (okrog 86 %) ostane pri vrednotenju odzivov udeležencev neposredno po koncu izobraževanja, kar ne daje pravih rezultatov za nadaljnje načrtovanje. Ralphs in Stephan (1986), Harrison (1995) v Vukovič, Miglič (2006, str. 187) opisujejo, da odzivi udeležencev po končanem usposabljanju niso vedno pravo merilo kakovosti. Pozitivni odzivi so pomembni, vendar pozitivni občutki še ne pomenijo tudi ustrezne stopnje pridobljenega znanja ali veščin. Malo je bilo poskusov zbrati podatke, ki se nanašajo na spremembe delovne uspešnosti udeležencev (prenos znanja v prakso). Ni bilo zasledovanja učinkov na delovnem mestu, ni evalvacij, kakšni so učinki izobraževanja na delo. 12 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education KAKO NAČRTUJEMO EVALVACIJO? Načrtovanje evalvacije je povezano s sredstvi, časom, ki so na voljo, odvisno je od modela13, ki smo ga izbrali, od usposobljenosti evalvatorjev, ki načrtujejo, in od evalvatorjev, ki bodo izvajali evalvacijo (vse to lahko predstavlja tudi omejitve, na katere smo pozorni). O namenu evalvacije se dogovarjajo evalvatorji z naročniki evalvacije. Pomembno je, da je evalvacija uporabna, da pridobimo spoznanja, s katerimi se lahko odločamo, spreminjamo procese. Namen evalvacije Čemu evalviraš? Kdo želi to vedeti? Evalvacijska Viri za evalvacijo vprašanja Koliko denarja imaš Kakšne odgovore na voljo? iščeš? Kaj hočeš Koliko ljudi bo delalo evalvacijo? izvedeti? Metode evalvacije Kako boš zbiral in analiziral informacije? Shema 1: Krožno povezovanje elementov načrta evalvacije Vrednotenje izobraževanja je najbolj pogosto sklepna faza andragoškega procesa. Tedaj ocenjujemo celoten program, proces in rezultate (učinke programa) ter prenos v prakso. Posebej smo pozorni na vrednotenje učinkovitosti, to je uporabe naučenega v praksi. Preverjamo, ali udeleženci z novim znanjem rešujejo probleme, ki so predstavljali izhodišče za načrtovanje. Po navadi načrtujemo vsaj dve fazi evalvacije, in sicer evalvacijo ob koncu izpeljave programa in evalvacijo prenosa v prakso (glej Caffarella in Ratcliff Daffron, 2013, Kirkpatrick in Kirpatrick, 2012). Ta poteka na delu ali v okolju, kjer bodo udeleženci izobraževanja znanje uporabljali. 13 Glej npr. Demingov krog kakovosti ( Deming circle); Jacob's model, Kirkpatrickov model … 13 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education Kaj evalviramo? (Ni vedno vse vključeno v evalvacijski načrt! Ko pripravljate načrt za evalvacijo, izberete elemente.) To je pomembno vprašanje in od odgovora je odvisen načrt evalvacije. Evalviramo doseganje ciljev, kakovost procesa in strukture programa. To naredimo tako, da evalviramo posamezne elemente:  Izobraževalne dosežke (znanje [Pozor! Različne vrste znanja], veščine, stališča, [kompetenčno zasnovano evalviranje], razvoj identitete …).  Organizacijo in izvajanje izobraževanja ter socialno klimo (načrtovanje [vključno z analizo potreb], izvedbo na različnih ravneh).  Sodelovanje (povezovanje) z okoljem.  Upravljanje in vodenje.  Strokovnost (profesionalnost) in karierni razvoj (profesionalni razvoj; pri tem je pogosto uporabljena samoevalvacija). Že po teh sestavinah lahko vidimo, da bo uporabljenih več različnih metod za evalvacijo. Evalvacija je načrtovana v celotnem projektu izobraževanja kot samostojen podprojekt14 , a je tudi del vseh ostalih faz izobraževanja. Vsaka faza andragoškega ciklusa se zaključi z evalvacijo. To pomeni, da ob koncu analize izobraževalnih potreb sledi evalvacija te faze, ob koncu razvijanja ciljev sledi evalvacija te faze … Med izvedbo izobraževanja načrtujejo izvajalci programa svoje mikroevalvacije za vsako učno enoto. 14 Glej andragoški ciklus, ADDIE, SAM, interaktivni model načrtovanja izobraževanja odraslih. 14 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education ELEMENTI IN STOPNJE NAČRTA ZA EVALVACIJO Namen in cilji evalvacije (Čemu pripravljamo evalvacijo? Kaj hočemo z evalvacijo doseči? Postavimo si jasne cilje. ). Časovni načrt evalvacije in finančni načrt (Koliko časa in denarja je na voljo? Kako hitro rabimo rezultate? Pozorni smo na omejitve glede materialov in časa!). Nosilci evalvacije (Kdo bo evalvacijo izvajal? Kdo bo za kaj odgovoren? Razmislek tudi o »lastništvu« rezultatov! Kdo je naročnik in kdo bo z rezultati upravljal, kdo bo uporabil/imel dostop do rezultatov. Pozorni smo na etične omejitve!). Predmet opazovanja oz. evalviranja (Kdo bodo udeleženci evalvacije Koga bomo spraševali? Pripravite seznam glavnih elementov evalvacije. Kaj bodo enote analize? Kaj bo vključeno v evalvacijo? Npr. opazujemo in zbiramo podatke o reakcijah udeležencev na program ali tudi o o učenju in o rezultatih učenja ali tudi o končnih rezultatih, ki so se zgodili, ker so se udeležili izobraževanja …). Merila za vrednotenje (standardi, kriteriji, kazalniki … Kaj bodo kazalniki za določanje doseganja (operativnih) ciljev?) Metode in inštrumenti (Katere metode bomo izbrali za zbiranje podatkov? Npr. anketni vprašalnik, intervjuji, telefonski intervjuji, razprava, fokusna skupina, testi znanja, opazovanja, analiza posnetkov …). Kako bomo uporabili rezultate? (Premislimo: posledice evalvacije, presojanje rezultatov, katere vrste analize bomo uporabili, kaj bo sledilo analizi). Prednosti in slabosti (refleksija o evalvaciji, evalvacija evalvacije). 15 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education STOPNJE PRI EVALVACIJI15 Stopnje, ki jih upoštevamo pri načrtovanju evalvacije: 1. Načrtovanje (namen, akterji, zainteresirane skupine, cilji, metode, čas … evalvacije). 2. Zbiranje podatkov in analiza (odvisno od modela uporabimo različne metode). 3. Refleksija (pregledovanje, analiza podatkov, predlogi, vrednotenje). 4. Poročilo (napisati poročilo). Za vsako stopnjo moramo predvideti časovni okvir, izvajalce, metode dela. Caffarella (2002, str. 263-264) napiše 11 stopenjski model za evalvacijo. Sledijo si naslednje stopnje: 1. Zagotovite si podporo za evalvacijo pri tistih ljudeh, ki imajo vpliv na projekt. 2. Določite, kdo bo vključen v načrtovanje in nadzorovanje evalvacije. 3. Natančno določite cilje evalvacije in kako bodo rezultati uporabljeni. 4. Določite, kaj presojate in oblikujete vprašanja. 5. Preverite, ali že obstajajo podobne evalvacije, ali so dostopni podatki. 6. Izberite strategije za evalvacijo. 7. Določite načine zbiranja podatkov in čas. 8. Določite procedure za analizo podatkov. 9. Katere kriterije boste uporabili pri presojanju? Razmislite tudi, kako boste določili kriterije. 10. Načrtujete čas (urnik) evalvacije, potrebne finančne in druge vire. 11. Kako boste evalvacijo nadzorovali? Kako jo boste dopolnjevali, če bo potrebno?Kako boste čim bolj učinkovito uporabili podatke? Kdo bo napisal zaključno poročilo? Pri načrtovanju evalvacije ugotovimo, katere skupine evalvacija zanima (interesne skupine), nato iz vseh zainteresiranih predstavnikov sestavimo evalvacijsko skupino. Določimo kazalnike vrednotenja, s pomočjo katerih zbiramo podatke in jih urejamo. Pri evalvaciji po navadi sodelujejo načrtovalec in izvajalec programa (organizacija, ki pripravlja in izvaja izobraževanje), naročnik programa (menedžerji, kadrovska služba) in udeleženci (učenci in učitelji). 15 Stopnje so enake kot pri empirični raziskavi. V tem besedilu nas zanima predvsem načrtovanje. 16 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education RAZMISLITE Za evalvacijo uporabljamo različne pripomočke (upoštevamo metodološka izhodišča). Inštrumenti evalvacije so različni. Najpogosteje uporabljamo razne vprašalnike in teste (testi znanja). Poleg tega tudi pogovore (telefonski, osebni, skupinski), fokusne skupine, nominalno skupinsko tehniko, opazovanje, pregled poslovne dokumentacije. Za evalvacijo so koristni tudi krožki kakovosti. Uporabljamo tudi samo-ocenjevanje, zbirne mape (portfolio), opazovanje, intervjuje (več glej v prilogi). V zadnjem času se po svetu razvijajo posebni centri za evalvacijo ali ocenjevalni centri ( assessment center), ki združujejo evalvacijske postopke na ravni posameznika in podjetja ter delovnih nalog. Vprašanji Kako pripraviti načrt za evalvacijo znanja pri procesih priznavanja neformalno pridobljenega znanja? Katere metode evalvacije boste izbrali? Predpostavljajte, da bi ovrednotili znanje gospodinje, ki se je naučila kuhati pri svoji mami. Kako pripraviti načrt za evalvacijo spretnosti za delo v sadovnjaku? Kako upoštevati zavzetost za delo? Kakšni so lahko etični problemi pri ocenjevanju zavzetosti in odnosa do dela? 17 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education KAKO NAPIŠEMO KONČNO POROČILO? Pri načrtovanju programov ločimo različne evalvacije glede na faze izobraževalnega procesa: evalvacija potreb (kar smo mi v tem programu poimenovali analiza okoliščin in potreb po izobraževanju16), evalvacija procesa in evalvacija rezultatov. Vse lahko upoštevamo pri končnem poročilu. EVALVACIJA PROGRAMA: bodimo pozorni na različne sestavine Evalvacija analize Evalvacija Evalvacija potreb procesa rezultatov izobraževanja (znanje, uporaba v praksi) Končna evalvacija, ki jo imenujemo tudi sumativna evalvacija, sledi dogajanju v predavalnici ali koncu usposabljanja ( training), učenja v naravi ( outdoor learning) ali na delovnem mestu ali v e-mreži. Ker je med izobraževanjem mnogo prvin, ki bi lahko bile del ali predmet vrednotenja, izberemo nekatere, o katerih bo načrtovalec ali vodja projekta poročal naročniku (financerjem, vplivnim skupinam). Pri teh prvinah smo pri načrtovanju in izpeljavi evalvacije bolj natančni. Pogosto se odločamo, ali bomo bolj natančno opazovali potek (proces izobraževanja) ali rezultate in prenos teh v prakso. Iz izkušenj poznamo evalvacijske vprašalnike, ki jih prejmemo ob koncu izobraževalnih srečanj in niso vsi premišljeno pripravljeni17. Ob koncu programa (najbolj pogosto) udeleženci izpolnijo anonimne vprašalnike, kjer analizirajo dosežene cilje, zanimivost in aktualnost vsebine ter druge didaktične elemente. Prav tako ocenjujejo tudi okoljske (ambientalne) elemente (okolje, učni prostor, parkirišče ipd.), ki so vplivali na končne rezultate. To ostaja na prvi ravni evalvacije po Kirkpatricku. Vprašanje nadaljnje evalvacije je prenos znanja na delovno mesto ali v drugo okolje, uporaba naučenega, učinek izobraževanja na delo. Metodologija za to vrsto evalvacije je manj razvita, zato je potrebno več napora pri načrtovanju. 16 Glej modul o analizi potreb po izobraževanju (www.lu-ajdovscina/projekti/green education). 17 Včasih so pripravljeni le zato, ker to zahteva financer programa in je potrebno evalvacijske vprašalnike priložiti poročilu. 18 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education Navadno prvemu načinu zbiranja podatkov (ko so respondenti udeleženci izobraževalnega programa) dodamo tudi mnenja izvajalcev in drugih udeležencev izobraževalnega programa (npr. organizatorja izobraževanja). To je še vedno na ravni mnenja, ki so lahko zelo subjektivna. Ko opravimo evalvacijske postopke, napišemo končno poročilo. Zanima nas, kaj po navadi izberemo (kar se nato prikaže v končnem poročilu) in kaj vpliva na končno poročilo. V naslednjem delu bomo predstavili elemente končnega poročila, ki niso vedno enaki. Končno poročilo bo imelo naslednje elemente (to so najbolj pogosti nasveti v strokovni literaturi): 1. Poročilo o splošnem vtisu, opis kompleksnega vtisa, ki sloni na opazovanju vedenja skupin. Sledimo naslednjim vprašanjem: Ali so izobraževalni program (konferenco, delavnico, mentorstvo …) udeleženci sprejeli ali zavrnili? Kakšna je bila klima? Ali so v izobraževalnem programu sodelovali ali so se usedli in obsedeli uporniško in se je čutilo/opazilo zavračajoče vedenje? Ti podatki bodo služili pri naslednjih zamislih; uporabimo jih pri naslednjem načrtovanju. 2. Poročilo o organizaciji. Zanima nas naslednje: Na kakšne ovire smo naleteli med pripravo? Na katere organizacijske ovire smo naleteli med izpeljavo? Pozorni moramo biti na to, da teh podatkov ne gre interpretirati kot objektivne resnice, temveč kot ugotovitve ob opazovanju, ki so simptomi situacije (v neki drugi situaciji bi isti dogodek drugače doživeli). Rezultate bolje prikažemo, če uporabimo ustrezno raziskovalno metodologijo, ki naj bi jo načrtovalec in evalvator poznala in uporabljala. 3. Končno poročilo bo vsebovalo npr. rezultate anonimnih anket (ali drugih vprašalnikov) ob koncu programa. V poročilo vključimo rezultate s svojimi komentarji. Te lahko nadomestimo tudi z rezultati objektivnih preverjanj (npr. testi znanja), če je šlo za evalviranje znanja ali veščin. Vsi rezultati morajo biti prikazani kot anonimni podatki! 4. Poročilo vsebuje tudi opis rezultatov učenja, usposabljanja, pouka. To so t. i. izobraževalni rezultati. Gre za podatke o spremembah znanja, veščin, stališč, navad. Tu vključimo rezultate končnega ocenjevanja, preverjanja znanja, če je to bilo izvedeno. Vsi prikazi so anonimni! V evalvacijskem poročilu ne uporabljamo imen študentov oz. udeležencev programov. 5. Dodamo tudi sugestije za nadaljnje izobraževalne programe, kakšno izobraževanje bi še bilo dobrodošlo. 19 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education V zgoraj opisanih točkah so nasveti za poročilo ob zaključku izobraževalnega programa. Vključujejo prvo in drugo stopnjo po Kirkpatricku. Za nadaljevanje bomo pripravili tudi poročilo o uporabi znanja v praksi (tretja stopnja po Kirkpatricku). Končno poročilo vsebuje: zapis splošnih vtisov o izobraževanju, opis poteka organizacije, zapis podatkov, ki smo jih pridobili z anketnimi vprašalniki med različnimi udeleženci, zapis o kakovosti znanja in prenosu v prakso. Sklenemo s priporočili o spremembah za naslednje izobraževalne programe. Končno poročilo ne vsebuje: imen posameznikov, ne izpostavi nobenega od učencev. Udeleženci kot posamezniki ostanejo v poročilih anonimni. Udeležencev ne ocenjujemo in ne podajamo predvidevanj o njihovih zmožnostih (da bodo npr. dobri predavatelji ali svetovalci, dobri menedžerji). Upoštevajmo, da se izobraževalna situacija razlikuje od realne. Veliko je dejavnikov, ki vplivajo na vedenje v enih in drugih okoliščinah. 20 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education NEKAJ IZZIVOV ZA RAZMISLEK18 DOSEGANJE IZOBRAŽEVALNIH CILJEV, A BREZ UPORABE ZNANJA Evalvacija obsega ocenjevanje stopnje doseganja izobraževalnih ciljev, kar zajema v formalnih oblikah klasično preverjanje in ocenjevanje znanja. Ocenjuje pa se tudi druge prvine, kot so finančna učinkovitost, kakovost dela učiteljev, primernost izbrane organizacijske oblike in učinke v praksi. Evalviramo torej vse stopnje načrtovanja in izpeljave ter prenosa v prakso. Prenos v prakso, uporaba znanja je v različnih okoljih različna, včasih pride do paradoksne (ne)uporabe znanja (kar naj bi z evalvacijo zaznali). Primer za ponazoritev zgornje trditve : »odvisniki« lahko po izobraževanju še bolj sofisticirano uporabljajo drogo, hrano, seks, namesto da bi prekinili z odvisnostjo. Problem se (lahko) pokaže denimo pri psiho-edukacijskih programih, kjer je lahko učinek izobraževanja (veliko novih informacij) nasproten od načrtovanega (zato je potrebna posebna pozornost pri načrtovanju). Dekleta z motnjami hranjenja se v skupini za samopomoč naučijo novih metod za manipulacijo s svojim telesom in zlorabo hrane. Če so prej le bruhala, potem uporabljajo še diuretike. Zato je potrebno načrtovati animacijo, upoštevati motivacijo udeležencev, načrtovati ustrezen transfer iz učnega okolja v življenjske situacije, načrtovati uporabo znanja. EVALVIRANJE ZGOLJ UDELEŽENCEV ALI ZGOLJ IZVAJALCEV Potrebujemo evalvacijo, s katero bi udeleženci in njihove organizacije skupaj z izvajalci ugotavljali, ali je nek program izpolnil pričakovanja. Taka evalvacija je lahko dobra osnova za spremembe izobraževanja. Evalvacija, ki se nanaša le na izvajalce-učitelje, a želi biti evalvacija poteka, je lahko zavajajoča, saj ne upošteva delovnih razmer, organizacije in upravljanja. Evalvacija, ki se nanaša le na udeležence (ne pa tudi na učitelje in okoliščine), tudi ne daje dovolj dobrih podatkov za spreminjanje programa. 18 Glej tudi Banta, T., Palomba, C. (2014). Assessment Essentials. San Francisco: Jossey-Bass. 21 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education RAZLIKOVANJE MED EVALVIRANJEM V OCENJEVALNIH CENTRIH IN MED POTEKOM IZOBRAŽEVANJA Izobraževanje (in evalvacija kot sestavni del izobraževanja) se razlikuje od situacij v t. i. assessment centrih (glej Boštjančič, 2011), kjer ljudje vedo, da jih ocenjujejo. Pri izobraževanju (kjer gre za oblikovanje novega znanja) je drugače (kot v ocenjevalnih centrih), saj mora biti dovoljeno in spodbujano preizkušanje (in s tem tudi napake) različnih modelov, odstopanje, prestopanje, ne da bi vedeli, kakšen bo rezultat poskusov. Izobraževanje je prenos in sprejemanje informacij, a je hkrati povezano tudi s pripravljenostjo, da je posameznik igriv, da išče nove modele, drugačne od tistih, ki jih na delu ali pri drugih opravilih že uporablja. Učenec (udeleženec izobraževanja) mora zato vedeti, da učitelj ne bo poročal o njegovem vedenju nadrejenim (ali drugim komisijam, nosilcem moči), če se o tem niso prej eksplicitno dogovorili. Le tako si bo zares dovolil iskanje, tveganje, korak v neznano. 22 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education EVALVACIJA IZOBRAŽEVALNIH DOSEŽKOV IZZIVI EVALVACIJE (ocenjevanja) UDELEŽENCEV: KAKO EVALVIRATI delo UDELEŽENCEV19? Ocenjevanje udeležencev je v izobraževanju odraslih (ki je v večini primerov neformalno) pogosto povezano s težavami, ker izobraževalci občutijo nasprotje med izhodišči neformalnega izobraževanja (avtonomnost učencev, samostojno vodenje učenja, dogovarjanje in usklajevanje20 …) in pa med slogom poučevanja in evalvacijo kot nadzorovanjem (kar je prisotno v formalnih institucijah). Bistvo evalvacije (znanja) udeležencev (v neformalnem izobraževanju) ni nadzorovanje (kot omejevanje in vpeljevanje avtoritarnosti), temveč spoznavanje, v kolikšni meri so udeleženci dosegli cilje izobraževanja, in posredno spodbujanje udeležencev za učenje. Veliko instrumentov imamo razvitih za ocenjevanje znanja v formalnem izobraževanju, manj pa za neformalne programe. Glavna funkcija ocenjevanja znanja udeležencev je, da določimo raven veščin ali znanja, ki ga udeleženec ima, in da spremljamo napredovanje ( monitoring progress). Poleg tega naj bi evalvacija prispevala k dobri komunikaciji med andragogi in udeleženci izobraževanja in učinkovitemu sodelovanju ter določanju nadaljnjih ciljev (nalog izobraževanja). Včasih lahko ocenjevanje21 znanja opustimo. Ne moremo pa ga opustiti, ko je program pripravljen tako, da udeleženci pridobijo formalno potrdilo o dosežkih, s katerim jamčimo, da je neko znanje doseženo. Npr. potrdilo o znanju tujega jezika, potrdilo o obvladanju dela z viličarjem, motorno žago. Z evalvacijo je omogočeno tudi certificiranje znanja in nato izdaja zaključnih spričeval. Ocenjevanje znanja, ki ga spremljamo longitudinalno, zanima tudi vodje programa, saj pokaže učinkovitost posameznih programov. Dean (2002, str. 106; prim. tudi Caffarella, 2002; Sork, 2000) postavi naslednja vprašanja, ki naj pomagajo pri pripravi evalvacije znanja udeležencev (zelo pogosto je to del mikroevalvacije pri posameznih enotah): Kaj je namen evalvacije (namen in cilj ocenjevanja znanja posameznikov)? Kaj naj bi evalvirali (znanje, veščine, stališča; katero znanje, katera stališča ...)? Kakšen je časovni načrt za evalvacijo (kdaj naj bi evalvirali)? Katere metode bomo uporabili za evalvacijo znanja posameznikov? Kaj (sploh lahko) evalviramo? Znanje (različne vrste znanja). Reakcije na izkušnje (učne izkušnje) – to je posredni kazalnik (indirektni indikator učenja). Veščine (veščine reševanja problemov, veščine izdelovanja nekega predmeta, veščina pisanja pritožbe …). 19 Dean, 2002, str. 106–119 20 Glej Knowles, M., Holton, E., Swanson, R. (2014). The Adult Learner. New York: Routledge. 21 Razlikovati moramo med ocenjevanjem, preverjanjem, spremljanjem, kar je vse lahko del evalvacije. 23 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education Stališča (odnos do nečesa, vrednote glede nečesa). Razvoj posameznika (transformativno učenje). Spremembe v organizaciji in skupnosti. Kdaj naj bi evalvirali? Pred začetkom izobraževanja (ugotovimo, kaj že znajo, in na osnovi tega prilagodimo vsebine, izdelamo osebne učne dogovore, osebne učne načrte, svetovanja). Npr. ob začetku jezikovnega tečaja ugotovimo jezikovno (pred)znanje in primerjamo s cilji programa. Med potekom učenja in poučevanja (služi prilagajanju programa, modificiranju poteka). Znanje jezika evalviramo po vsaki enoti ali pa po nekaj enotah. Takoj po zaključku izobraževalnega programa. Znanje jezika evalviramo po zaključku tečaja. Ob uporabi znanja v praksi. Kako evalviramo? Formalno (omogoča certificiranje znanja, podelitev licence; uporabljamo testiranje, izpite) in neformalno (skupinska diskusija, pogovor, opazovanje). Instrumenti: testi znanja (Kako pripravimo teste znanja22?), simulacije, opazovanje, demonstracija, reševanje problemov (metoda študija primera), dnevniki. Wiersma in Jurs (2005, v Galbraith in Jones, 2010) sta pripravila naslednjo listo za načine ocenjevanja, ki jo lahko uporabimo pri načrtovanju ocenjevanja.  Ocenjevanje sledi izbranim kriterijem (delo in dosežke primerjamo s postavljenimi kriteriji).  Ocenjevanje, ki nastane s primerjavo z ostalimi udeleženci (ocene so v teh primerih statistično razporejene).  Kvalitativno ocenjevanje (pri tem andragog ocenjuje glede na prejšnje znanje, ocena je vedno subjektivna).  Kvantitativno ocenjevanje (primerjava med učenci, uporabljamo lestvice za ocene).  Ocenjevanje usposobljenosti (ocenjujemo uporabo znanja v realnih situacijah, ne pa prek zapisa ali pripovedi).  Formativno ocenjevanje (udeleženci dobijo povratno informacijo o svojem napredovanju med potekom programa; predstavlja vodilo za nadaljnje delo).  Analitično ocenjevanje (ocenjujemo samo posamezne dele, samo iz posameznih zornih kotov).  Holistično ocenjevanje (ocenjujemo celotno delovanje; znanje). 22 Glej tudi delovne liste. 24 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education REFERENCE Bisio, C. (ur.) (2011). Valutare in formazione. Azioni, significati e valori. Milano: Franco Angeli. Boštjančič, E. (2011). Metoda ocenjevalnega centra v teoriji in praksi. Ljubljana: GV. Cafarella, R. S. (2002). Planning Programs for Adult Learners. A Practical Guide for Educators, Trainers and Staff Developers. San Francisco: Jossey – Bass. Caffarella, R., Ratcliff Daffron, S. (2013). Planning Programs for Adult Learners. San Francisco: Jossey – Bass. Dean, G. J. (2002). Designing Instruction for Adult Learners. Malabar: Krieger Publishing Company. De Pietro, O. (2012). Progettare e valutare nella formazione. Roma: Monolite. Galbraith, M.W., Jones, M.S. (2010). Assessment and Evaluation. V: Kasworm, C.E., Rose, A.D., Ross-Gordon, J.M. (ur.). Handbook of Adult and Continuing Education (167 – 176). Los Angeles, London: SAGE. Guba, E.G., Lincoln, Y.S. (1989). Fourth Generation Evaluation. London: Sage. Kirkpatrick, D. L. (2006). Evaluating Training programs. San Francisco: Berrett-Koehler Publishers. Kirkpatrick, D., Kirkpatrick, J. (2012).Evaluating Training Programs: The Four Levels. San Francisco: Berrett-Koehler Publishers. Krajnc, A. (1979). Izobraževanje ob delu. Ljubljana: DDU Univerzum. Lichtner, M. (2004). Valutare l'apprendimento: Teorie e metodi. Milano: Franco Angeli. Marolt, J., Gomišček, B. (2005). Management kakovosti. Kranj: Moderna organizacija. McNamara, G., O'Hara, J. (2008). Trusting Schools and Teachers: Developing Educational Professionalism through Self-Evaluation. New York: Peter Lang. Možina, T. (2003). Kakovost v izobraževanju. Od tradicionalnih do sodobnih modelov ugotavljanja in razvijanja kakovosti v izobraževanju odraslih. Ljubljana: Andragoški center Slovenije. Možina, T. (2007). Merjenje zadovoljstva udeležencev v izobraževanju odraslih. Ljubljana: Andragoški center Slovenije. Možina, T. (2010). Kakovost kot (z)možnost. Ljubljana: Andragoški center Slovenije. Možina, T., Klemenčič, S., Jurič Rajh, A., Orešnik Cunja, J. (2013). Ekspertna zunanja evalvacija izobraževanja odraslih. Ljubljana: Andragoški center Slovenije. Možina, T., Klemenčič, S., Vilič Klenovšek, T., Zorić Frantar, M., Jurič Rajh, A., Orešnik Cunja, J. (2013). Kazalniki kakovosti izobraževanja odraslih. Ljubljana: Andragoški center Slovenije. (Dostopno na: http://kakovost.acs.si/doc/N-1028-1.pdf). 25 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education Patton, M. Q. (2011). Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use. New York: Guilford Press. Priporočila šolam za samoevalvacijo. (2007). Ugotavljanje in zagotavljanje kakovosti v poklicnem in strokovnem izobraževanju. Ljubljana: Center RS za poklicno izobraževanje. Podgornik, V. (2014). Samoevalvacija kot dejavnik zagotavljanja kakovosti vzgojno-izobraževalnega dela in učiteljevega profesionalnega razvoja. Doktorska disertacija. Ljubljana: Filozofska fakulteta. Rossi, P., Lipsey, M., Freeman, H. (2003). Evaluation: A Systematic Approach. London: Sage. Royse, D., Thyer, B., Padgett, D. (2010). Program Evaluation. Belmont: Wodsworth. Sork, T.J. (2000). Planning Educational Programs. V: A.L. Wilson, E.R. Hayes (ur.). Handbook of Adult and Continuing Education (171 – 190). San Francisco: Jossey-Bass. Šinko, S. (2008). Evalvacija v neformalnem izobraževanju odraslih: Evalvacija znanstvenega posveta. Diplomsko delo. Ljubljana: Filozofska fakulteta. Šinko, S. (2015). Teoretski in metodološki problemi evalvacije politike izobraževanja odraslih. Doktorska disertacija. Ljubljana: Filozofska fakulteta. Štrajn, D. (ur.). (2000). Evalvacija. Ljubljana: Pedagoški inštitut. Vukovič, G., Miglič, G. (2006). Metode usposabljanja kadrov. Kranj: Moderna organizacija. Wang, V. C. X. (ur.) (2011). Assessing and Evaluating Adult learning in Career and Technical Education. Hershey: Information Science reference, IBI Global. Zorić, M. (2004). Evalvacija v izobraževanju odraslih: pot do večje kakovosti izobraževanja odraslih. Andragoška spoznanja, 10(2), 18–26. 26 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education SPLETNA PREDAVANJA, PROGRAMI Cornell Office for Research on Evaluation (Cornell University) https://core.human.cornell.edu/ Konferenca KEKS (Krepitev in evalvacija kakovosti v sistemu vzgoje in izobraževanja http://www.zrss.si/keks/ North Dacota State University Evaluation www.ag.ndsu.edu/evaluation Ozer, Emily: Key Concepts in Program Evaluation Conducting Effective Program Evaluations http://www.platform.org.nz/ngoit/evaluating-not-for-profit-services http://vimeo.com/34970227 (posnetek predavanja; 10. 3. 2014). Ponudimo odraslim kakovostno izobraževanje. http://kakovost.acs.si/ Program Evaluation and Assessment (izobraževalni program za področje evalvacije; program vključuje tudi doktorski študij; usposablja za profesionalne evalvatorje) http://gse.berkeley.edu/policy-organization-measurement-evaluation/program-evaluation-and-assessment (10.3.2014). What is program evaluation? Introduction. https://www.youtube.com/watch?v=xZUg9rJ0pQ4 (10. 3. 2014). Web center for social research methods http://www.socialresearchmethods.net/kb/intreval.php 27 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education DELOVNI LISTI za različne faze in elemente evalvacije Spodaj so predstavljene različne faze evalvacije. V vsaki fazi pripravljamo posebne elemente procesa (dejavnosti), instrumente za zbiranje podatkov za različne dele izobraževalnega procesa. Če si predstavljamo izobraževanje v lokalnem okolju, bomo najprej potrebovali zamisel o celoviti evalvaciji. Priprava evalvacije, dogovori, namen celovitega procesa Načrtovanje vseh elementov Terensko zbiranje podatkov Pisanje poročila, strnitev ugotovitev, poročanje Diseminacija ugotovitev in sledenje (follow up) 28 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education Delovni list KAKO EVALVIRATI NAČRTE ZA POUČEVANJE? ( instructional plan) Andragog pogosto svetuje izvajalcem izobraževanja, zato je tovrstna shema za evalvacijo uporabna tudi za pogovor pri pripravi načrta za poučevanje/svetovanje. Npr. andragog svetuje (evalvira) pripravljen načrt za izobraževanje v društvu podeželskih žensk, svetuje inženirki agronomije pri pripravi programa za izobraževanje kmetov, pomaga farmacevtu, ki pripravlja izobraževalno delavnico za starejše o uporabi zdravil. Kaj bo andragog svetoval farmacevtu (sodelovalna evalvacija)? Kako bosta evalvirala načrt za poučevanje? Vprašajmo se o naslednjih elementih a)Kako evalvirati cilje? Ali so cilji primerni za udeležence (ciljno skupino)? (Npr.: Ali lahko npr. udeleženci v domu starejših dosežejo cilje o zapomnitvi podatkov o zdravilih? Ali lahko bolnik po prvi pojasnitvi, kako naj ravna z nekim pripomočkom, to razume? Ali bo potrebno večkrat ponoviti? ) Ali so cilji primerni glede na kontekst (okoliščine)? Če si postavi agronom cilj, da bo z eno delavnico prepričal večino udeležencev, da bodo spremenili način zaščite sadnega drevja, bo razočaran, ker je cilj nerealen. Ali so cilji izpeljani iz osnovnega namena izobraževanja (so cilji postavljeni skladno z izhodišči/nameni programa)? b)Kako evalvirati načrtovane dejavnosti? Ali so učne aktivnosti primerne za udeležence? (Npr.: Ali je predavanje vedno primerna metoda? Ali bodo uporabili predavanje ali osebno svetovanje?) Ali so učne aktivnosti ustrezno izbrane glede na cilje? c)Evalvirati znanje Ali je izbran primeren način za evalvacijo pridobljenega znanja, veščin? č)Kako presojati logistiko? Ali je logistika ustrezno načrtovana? ( Ali je ustrezno načrtovan čas, prostor, materiali? Npr. Ali so gradiva napisana v razumljivem jeziku? So dovolj velike črke?) 29 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education Delovni list KAKO EVALVIRATI IZVAJANJE IZOBRAŽEVANJA? (Potek izobraževanja) Vprašajmo se o naslednjih elementih (primeri so pripravljeni za skupinsko učenje23; če bi evalvirali potek učenja na konferenci, bi izbrali drugačne kategorije): Ali je bila vzpostavljena klima medsebojnega zaupanja, tako da lahko študenti/udeleženci izobraževanja komentirajo svoje delo? Ali se študenti dolgočasijo, ker je napredovanje v programu prepočasno? Ali so zmedeni, ker je napredovanje prehitro? Ali so nekateri študenti/udeleženci »nevidni«, ostajajo na robu delovanja in se ne vključujejo v skupno delo (dinamika v skupini)? Ali so študenti zadovoljni z gradivi? Ali so zaskrbljeni, ker je gradivo preveč zapleteno? Ali je gradivo preveč enostavno in jih dolgočasi? Ali so pripravljene prilagoditve za posamezne učne stile? Ali so evalvacijske procedure učinkovite, da pomagajo dokazovati kompetence, znanje in razvijati novo znanje? Ali so se študenti naučili tisto, kar je bilo načrtovano? 23 Glej tudi gradivo Katero metodo naj izberem, da bo »zeleno izobraževanje« učinkovito? Dostopno na www.lu-ajdovscina.si/projekti. 30 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education Delovni list KAKO UGOTAVLJATI ZADOVOLJSTVO UDELEŽENCEV? Kako ugotavljamo reakcije ljudi do izobraževalnega programa (njihov odnos do izobraževanja in zadovoljstvo…) po zaključku programa? Zanima nas, ali menijo, da je izobraževanje za njih pomembno, ali je bilo dobro organizirano, ali je za njih uporabno. Odgovori slonijo na osebni izkušnji, izražanje je besedno. Praktičnost tega postopka je v tem, da ga lahko izvedemo takoj po zaključku izobraževanja (ni potreben zamik). ---------------------------------------------------------------------------------------- ◊ ◊ ◊ ---------------------------- Primer EVALVACIJA ZA DELAVNICO (Pozor: te vrste vprašalnik daje podatke o odnosu do izobraževanja, o zadovoljstvu in o reakcijah udeležencev na izobraževanje; ne moremo sklepati o znanju, spremembi veščin; glej štiri stopnje po Kirkpatricku). NASLOV DELAVNICE__________________________________ IZVAJALEC (ali moderator…) __________________________ Napišemo ustrezno navodilo za izpolnjevanje (če gre za e- vprašalnike in papirnate vprašalnike, napišemo ločeni navodili) in pojasnimo, zakaj bomo to potrebovali. Npr. Prosimo, ocenite potek delavnice. To nam bo v pomoč pri nadaljnjem razvoju delavnic. Vaši odgovori so anonimni in jih uporabljamo le skupaj z drugimi odgovori. Temu sledijo vprašanja. Uporabimo lahko lestvice 1–5 (pozorni moramo biti, da so uravnotežene), odgovore v treh stopnjah ali druge vrste vprašanj. Ali delavnica odgovarja vašim izobraževalnim potrebam? DA DELNO NE Ali so bili cilji delavnic jasno predstavljeni? 31 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education DA DELNO NE Ali so bile učne aktivnosti ustrezne? DA DELNO NE Ali je bila evalvacija (vašega učenja) učinkovito/ustrezno sporočilo o dosežkih učenja? DA DELNO NE Je bila organizacija delavnice učinkovita? DA DELNO NE Delavnica je bila (označite svojo izbiro):  Predolga.  Prekratka.  Ravno prav dolga. Moderator je bil ustrezno pripravljen. DA DELNO NE Napišite zahvalo za sodelovanje. ---------------------------------------------------------------------------------------- ◊ ◊ ◊ ---------------------------- V zgornjem primeru imamo vprašanja in podane odgovore. Vprašanja so lahko tudi odprtega tipa z možnostjo, da vprašani zapiše svoje mnenje, oceno. Primer takega vprašanja: Katere teme bi želeli spoznati na naslednjih srečanjih? Kako nameravate uporabiti znanje, ki ste ga pridobili na srečanju? Kaj menite o pomembnosti okoljskega izobraževanja? 32 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education Ko zberemo podatke, jih analiziramo in pripravimo poročilo. Pri interpretaciji smo pozorni na naslednje elemente:  koliko vprašalnikov smo dobili vrnjenih (zelo vprašljivi so rezultati, če smo dobili manj kot polovico vrnjenih vprašalnikov),  kolikšno je število (pri večjih številih je večja možnost, da nam pokažejo »resnično« stanje),  ali so odgovori v času konsistentni (ali se odgovori ponavljajo v različnih obdobjih, če se programi ponovijo),  ali se nek tip odgovora pojavlja le pri eni demografski skupini (npr. program ocenjujejo kot dober le začetniki v neki službi),  ali se kaže nerazumevanje anketnih vprašanj (pri pripravi vprašanj smo pozorni na razumljivost jezika in primerno strukturiranost),  ali so odgovori anonimni (ali pa lahko prepoznate ljudi, ki so podali odgovore – v tem primeru podatki niso anonimni). Ko pripravljate vprašanja, jih presodite (preden jih sprejmete v vprašalnik): - ali bodo besede vsem razumljive, - ali je vprašanje vsebuje kratice, ki niso vsem znane, - ali je vprašanje preohlapno, - ali je vprašanje zavajajoče, - ali vprašanje predpostavlja, da ima vprašani več znanja, kot ga v resnici ima. Tudi pri evalvaciji uporabljamo evalvacijo. Ko smo pripravili poročilo, evalviramo svoje postopke in poiščemo boljše možnosti. 33 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education Delovni list KAKO UGOTAVLJATI ZNANJE IN VEŠČINE? Vprašati se moramo, česa so se udeleženci naučili v programu:  kakšno znanje/védenje so udeleženci osvojili (merimo napredek v znanju),  katere veščine/spretnosti so razvili,  katera stališča (odnos do pojavov) so se spremenila. Znanje merimo pred programom in ob zaključku programa ter tako presojamo napredek. Uporabimo lahko kontrolne skupine in na ta način presojamo razlike. Uporabimo teste znanja, opazovanje, intervju, demonstracijo, študijo primera (kot reševanje problema), simulacije in igro vlog, pisanje dnevnika … Naloga 1 a) Pripravite test znanja s področja, s katerim se ukvarjate v okviru zelenega izobraževanja (npr. test znanja o zdravi prehrani, test znanja o živalskih vrstah, test znanja o učinkoviti rabi energije ipd.) b) Pripravite test znanja s področja metod in instrumentov za evalvacijo (uporabite lahko ta priročnik). Naloga 2 a) Pripravite opazovalno shemo za ocenjevanje prezentacije v kuhinji (priprava hrane). b) Pripravite opazovalno shemo za ocenjevanje prezentacije projektnega dela, s področja, s katerim se ukvarjate. 34 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education Delovni list SAMOEVALVACIJA PROJEKTNEGA DELA Samoevalvacija je namenjena temu, da ocenite zmožnosti, ki ste jih razvili npr. s projektnim delom. Namenjena je tudi razmisleku o prednostih in pomanjkljivostih projektnega dela kot metode študija ter refleksiji o oblikovanju pisnega poročila. Kot primer samoevalvacije je pripravljen vprašalnik za samoocenjevanje udeležencev izobraževanja, če so pripravljali projektno nalogo. Samoocenjevanje bo potekalo na treh ravneh: a) ocenili boste svoje napredovanje v znanju, b)ocenili boste svoje pisno poročilo o projektu (tu ocenjujete svoje znanje pisnega izražanja), c) ocenili boste svoje sklepno razmišljanje. a) Presodite svoje napredovanje pri projektnem delu s pomočjo spodnje preglednice. Svoje zmožnosti ocenite ob koncu projektnega dela. V posameznih vrsticah so navedeni dosežki glede na cilje. Prvi cilj je bil: »Udeleženec ali udeleženka24 razvije zmožnosti iskanja informacij o izbrani temi v različnih virih.« To pomeni, da po zaključenem projektnem delu zna več o iskanju informacij kot pred začetkom projektnega dela. Ta cilj smo pretvorili v trditev: »Razvil sem svoje spretnosti iskanja informacij.« S samoevalvacijo udeleženec oceni, v kolikšni meri ta trditev drži. [Hkrati razmislite o načinu postavljanja vprašanj/trditev, če bi vi pripravljali listo za samoocenjevanje udeležencev v svojih programih.] OCENJEVALNA LESTVICA ZA PROJEKTNO DELO 5 Zelo uspešno (cilji so popolnoma uresničeni). 4 Uspešno. 3 Negotov sem glede doseženih ciljih. 2 Neuspešno. 1 Zelo neuspešno (cilji niso doseženi). V tabeli označite ustrezno polje med 1 in 5. 24 V nadaljevanju bomo uporabili moško obliko kot nevtralno. 35 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education Izobraževalni cilji pri projektni nalogi 5 4 3 2 1 Razvil sem svoje spretnosti iskanja informacij po različnih virih. Razvil sem spretnosti za predstavitev teme (prezentacija). Moje razumevanje vsebin (o okoljskem izobraževanju ali drugih) se je povečalo. Svoje znanje sem uporabil na praktičnem primeru – aplikacija teorije. Razmišljal sem o drugih temah, predstavitvah ter ocenjeval/evalviral delo drugih udeležencev v skupini. Kritično sem presojal/evalviral poglede, povratne informacije, mnenja drugih študentov o temi, ki sem jo raziskoval in predstavil. Vem, kaj je najpomembnejša stvar (ena), ki sem se je naučil pri projektnem delu. Znam utemeljiti. Naučil sem se presojati svoje delo. Znam odgovoriti na vprašanje: Kaj lahko naredim, da bi izboljšal svoje delo. 36 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education b) Presodite svoje pisno poročilo s pomočjo spodnje tabele25. Cilj pri pisanju poročila o delu je bil: »Udeleženec jasno opredeli problem.« Izhodišče za samoevalvacijo je tokrat vprašanje: Ali je problem v pisnem poročilu (ki ste ga že pripravili) jasno predstavljen? Udeleženec si odgovori z da ali ne oziroma da je le delno predstavljen. Kaj je pomembno za pisno poročilo? Da Delno Ne Ali je izhodiščni problem projektne naloge v pisnem poročilu jasno predstavljen? Ali besedilo odgovarja na zastavljen problem? Ali je besedilo ustrezno organizirano? Ima primerno strukturo glede na temo? Ali je opisan namen projekta? Ali spoznanja iz različnih virov združuje v koherentno celoto? Ali naloga dokazuje in prikaže poglobljeno poznavanje andragoških tem? Ali naloga izhaja iz teoretskih konceptov, raziskav, razvojnih projektov? Ali je to v besedilu prikazano? Ali poda pregled pomembne literature, teorij, s pomočjo katerih pokažemo, kaj o problemu že vemo in kakšne probleme lahko pričakujemo? Ali so prikazani rezultati projektnega dela? Ali so podani predlogi, kako bi delo nadaljevali? Ali so reference ustrezno upoštevane in navedene glede na standarde v strokovnih besedilih? Ali je besedilo pravopisno, jezikovno korektno? Ali je napisano v primernem slogu za strokovna besedila? 25 Dodaten vir: Creme, P., Lea, M. (2013). Kako pisati na univerzi. Ljubljana: Modrijan. Za pisanje poročil imamo različna navodila. Ta vir je primeren za akademsko pisanje (projektne naloge na univerzi), a je uporaben tudi za druga poročila. 37 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education c) Pri presojanju kakovosti sklepnega razmišljanja v projektni nalogi uporabite taksonomijo za ocenjevanje esejev. Sklepni del poročila mora biti skladno strukturiran in jasno naj izrazi ugotovitve ter kritično presojo problema. Uporabite spodnjo taksonomijo in preverite, ali ni sklepni del ostal na ravni »shopping-list eseja«, to je tako pisanje, kot bi pisali listek, kaj je potrebno v trgovini nakupiti. Taksonomija za ocenjevanje esejev 1. raven: nestrukturirano Študent/udeleženec izobraževanja navaja nekatere dele informacij, ki med seboj niso povezani, ne oblikuje koherentnega pomena, ne pokaže nobenega razumevanja. 2. raven: rahlo strukturirano, enosmerno Študent/udeleženec izobraževanja se usmeri le na en element. 3. raven: več-razsežnostno Na tej ravni zapisa udeleženec izobraževanja upošteva več elementov, opisuje, a ne naredi povezav med njimi, ne opazi, kako so posamezni elementi vključeni v celoto, kakšen je odnos do drugih elementov ali do celote; tipičen primer je »shopping-list« esej. 4. raven: odnosno Študent na tej ravni pokaže zmožnost povezovanja med elementi/deli, ki so medsebojno povezani, oblikuje uravnotežen odgovor oziroma besedilo. 5. raven: kritična refleksija Študent pokaže razumevanje problema v širših okoliščinah, razmišlja o posledicah, alternativah, o spremembi poteka v drugih okoliščinah. 38 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education Delovni list SAMOEVALVACIJA, JEDRNA REFLEKSIJA IN SUPERVIZIJA Evalvacijo smo na začetku opredelili kot sistematično zbiranje podatkov o nekem pojavu z namenom dati o njem vrednostno sodbo in/ali ga na podlagi tega tudi izboljšati (glej tudi Marentič Požarnik, 1999, str. 21). Evalvacija je proces ugotavljanja, v kolikšni meri smo dosegli zastavljene cilje. Doslej smo videli, kako pripravimo evalvacijske liste za ugotavljanje zadovoljstva, preverjanje znanja, za samoevalvacijo projektnega dela. Z evalvacijo želimo ovrednotiti: kakovost, uporabnost, učinkovitost, pomembnost tistega, kar evalviramo (cilje evalvacije določimo v načrtu evalvacije). Samoevalvacija posameznika ni omejena le na samoevalvacijo znanja in izbranih veščin (npr. pisnih veščin, kot smo predstavili v prejšnji nalogi). Samoevalvacija lahko vključuje tudi kakovostno napredovanje pri odnosih, čustveni inteligentnosti, sprejemanju samega sebe. Vprašajmo se, kaj nam pomeni samoevalvacija26 v okviru naših delovnih nalog (karkoli že počnemo). Ali uporabljate samoevalvacijo? Uporabljate letne delovne razgovore ali druge oblike samoevalvacije? Kaj vam (za vaše delo) pomeni samoevalvacija? Ali vaša organizacija/podjetje izvaja samoevalvacijo? Kaj pomeni samoevalvacija (notranja evalvacija) v vaši organizaciji? Kako samoevalvacija prispeva k samospoznavanju, kakovostnim odnosom in dobri klimi v organizaciji? Zakaj se je – po vaši presoji – veliko odgovornosti za kakovostno delo preneslo na posamezne izvajalce in posamezne izobraževalne organizacije? Kako to utemeljujete s sodobnimi spremembami na polju vzgoje in izobraževanja? Pozor! Samoevalvacije je odvisna od norm in vrednot organizacije in njenega okolja (socialni kontekst). Norme in vrednote se spreminjajo. Kako bo to vplivalo na samoevalvacijo v vašem podjetju? 26 Več o samoevalvaciji glej v Podgornik, V. (2014). Samoevalvacija kot dejavnik zagotavljanja kakovosti vzgojno-izobraževalnega dela in učiteljevega profesionalnega razvoja. Ljubljana: Filozofska fakulteta. 39 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education SUPERVIZIJA Ali lahko razumemo supervizijo kot metodo za samoevalvacijo? Supervizija je svetovalni proces o dilemah in konfliktih v poklicnih interakcijah. Sloni na uvidnem razvojnem mišljenju. Je metoda učenja, strokovne podpore, profesionalnega razvoja (didaktična in podporna metoda). (več glej v Rupar, 2014) Kje se supervizija najbolj pogosto uporablja? Kako se supervizija povezuje s coachingom? JEDRNA REFLEKSIJA KOT ORODJE ZA SAMOEVALVACIJO Samoevalvacija v kontekstu refleksivne prakse (glej Schön, 1983; Rupar, 2014)27 Metodo jedrne refleksije je razvil Korthagen. V modelu se »čebulno« poglabljajo vprašanja: Kakšno je okolje mojega dela? Kaj name vpliva? Kaj delam? (Kako se vedem? Kako ravnam?) Kaj lahko naredim? (Presodim zmožnosti, ki jih imam.) Kakšna prepričanja me vodijo? V kaj verjamem? Kako pojmujem učenje, znanje ipd.? Kdo sem jaz? Kakšna je moja profesionalna identiteta? Kakšna je moja vloga? Zakaj sem tukaj? Kakšno je moje poslanstvo? Dodatni viri za vajo o superviziji in jedrni refleksiji kot metodi za samoevalvacijo Društvo za supervizijo (www.drustvozasupervizijo.si ) Kobolt, A. (ur.) (2010). Supervizija in koučing. Ljubljana: Pedagoška fakulteta in ZRSZŠ. Korthahen, F., Vasalos, A. (2005). Levels in reflection: core reflection as a means to enhance professional growth. Teachers and Teaching: theory and practice, 11(1), 47–71. Marentič Požarnik, B. (1999). Evalvacija - kakšna, za koga, čemu? Sodobna pedagogika, 50(4), 20–36. Rupar, B. (2014). Razvoj refleksivnega mišljenja in supervizija pedagoških delavcev. Doktorska disertacija. Ljubljana: Pedagoška fakulteta. Dostopno na http://pefprints.pef.uni-lj.si/2024/ Rutar Ilc, Z., Tacer, B., Žarkovič Adlešič, B. (2014). Kolegialni coaching. Priročnik za strokovni in osebnostni razvoj. Ljubljana: ZRSŠ. Schön, D. (1983). The Reflective Practitioner. New York: Basic books. 27 Schön (1983) je proučeval razvoj kritičnega refleksivnega praktika, kompetentnega profesionalca, ki si prizadeva za izboljšanje lastne prakse. V svojem delu The Reflective Practitioner (1983) je poudaril, da lahko praktiki izboljšujejo svoje delo z refleksijo o tem, kar delajo, kako delajo, kakšna prepričanja so vodilo pri delu. 40 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education Delovni list NAČRT ZA EVALVACIJO (opomnik za vaš načrt evalvacije) Določi cilje evalvacije: - - - Izberi metode evalvacije (določi postopke zbiranja podatkov): - - - Katere vrste podatkov boš zbiral? Kdo bo evalvator? Določi naloge glede na časovni okvir Posamezniki: Skupine: Zbiranje podatkov Kako boš podatke obdelal in interpretiral? Kdo bo napisal poročilo? Kdo bo poročilo predstavil? 41 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education TEHNIKE ZA ZBIRANJE EVALVACIJSKIH PODATKOV (Povzeto po Caffarella in Ratcliff Daffron, 2013, 245–247) Za osvežitev spomina navajamo nekaj možnih tehnik za zbiranje podatkov pri evalvaciji. Opazovanje Udeležence gledamo in si beležimo podatke na različne sheme opazovanja (ček liste, lestvice, prostorski načrti). Določiti moramo, kako strukturirano bo opazovanje. Intervju Individualni ali skupinski, vključimo lahko udeležence (učence), organizatorje, izvajalce … Določiti moramo, kako bodo intervjuji strukturirani (bolj ali manj). Ankete Zbiramo mnenja, prepričanja. Vprašanja morajo biti natančno zastavljena (brez dvoumnosti). Postavljamo različna vprašanja. Testiranje Pred in po izobraževanju. Vedeti moramo, kaj merimo s testi. Ocenjevanje izdelkov (različne naloge, zbirne mape/portfolio, predmeti) Natančno je treba določiti kriterije ocenjevanja. Pregled osvojenih procedur (performans) Ocenjujemo komunikacijske procedure (prodaja, pritožbe …), jezikovne kompetence, različne veščine izdelovanja predmetov. Določi kriterije in instrumente za ocenjevanje (kako boš spremljal izvedbo gledališke predstave in kaj boš ocenjeval). Analiza dokumentacije (letna poročila, posnetki). Zbirne mape (portfolio) Zbrani so izdelki učenca/udeleženca izobraževanja, dokumentirane aktivnosti. Fokusne skupine Metoda za ocenjevanje odnosov med rezultati in procesom. Cost/benefit metoda Analiza stroškov in vložkov v program. Samo-ocenjevanje (samoevalvacija) Učenci in tudi drugi udeleženci (organizatorji, izvajalci …) ocenjujejo svoje dosežke individualno ali v skupinah. 42 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education VPRAŠANJA ZA RAZMISLEK OB ZAKLJUČKU Evalvacije za začetnike  Pojasnite opredelitev, da je evalvacija sistematična raziskava in kritična analiza.  Kaj pomeni oznaka »evalvacijske študije«?  V katero vrsto evalvacije bi uvrstili kolegialno presojanje?  Katere metode uporabljamo za zbiranje podatkov? Katere so vam najbolj blizu? Katerih se najraje poslužujete?  Poimenujte dve vidnejši paradigmi, ki sta izhodišče za načrtovanje evalvacije, in obrazložite značilnosti.  Kako se razlikujeta notranja in zunanja evalvacija?  Kako uporabiti supervizijo kot del samoevalvacije? Kakšni so problemi pri tem?  Kako se načrtovanje evalvacije povezuje s konceptom kakovosti? Kako pa s konceptom refleksivne prakse?  Katere metode uporabimo za samoocenjevanje?  Katero tehniko zbiranja podatkov bomo uporabili, če želimo zbrati mnenja čim večjega števila udeležencev? 43 Načrtovanje evalvacije v neformalnem izobraževanju odraslih Projekt Green education  Kaj menite o študiju evalvacije? Na Univerzi Western Michigan University organizirajo interdisciplinarni doktorski študij iz evalvacije (http://www.wmich.edu/evalphd/). Bi to potrebovali tudi v Sloveniji?  Kakšno vlogo ima European evaluation society?  2015 je mednarodno leto vrednotenja (evalvacije). Poiščite mednarodne konference o evalvaciji in ugotovite, katere so glavne teme. 44