ZAKLJUČNO POROČILO O REZULTATIH OPRAVLJENEGA RAZISKOVALNEGA DELA NA PROJEKTU V OKVIRU CILJNEGA RAZISKOVALNEGA PROGRAMA (CRP) »KONKURENČNOST SLOVENIJE 2006 - 2013« I. Predstavitev osnovnih podatkov raziskovalnega projekta 1. Naziv težišča v okviru CRP:_ Modernizacija šole za 21. stoletje 2. Šifra projekta: V5-0438 3. Naslov projekta:_ Model evalvacije kakovosti izvajalcev programov usposabljanj strokovnih delavcev 3. Naslov projekta 3.1. Naslov projekta v slovenskem jeziku:_ Model evalvacije kakovosti izvajalcev programov usposabljanj strokovnih delavcev 3.2 Naslov projekta v angleškem jeziku:_ Quality Evaluation in In-Service Teacher Training: A Model for Evaluation of Inset Providers 4. Ključne besede projekta 4.1. Ključne besede projekta v slovenskem jeziku:_ evalvacija, kakovost, izobraževanje in usposabljanje, izvajalci, izobraževalci, strokovni delavci, profesionalno učenje, vseživljenjsko učenje 4.2 Ključne besede projekta v angleškem jeziku:_ evaluation, quality, professional development, inset providers, teacher trainers, teachers, lifelong learning Obrazec ARRS-RI-CRP-ZP/2008 Stran 1 od 9 5. Naziv nosilne raziskovalne organizacije: Univerza na Primorskem, Pedagoška fakulteta Koper 5.1. Seznam sodelujočih raziskovalnih organizacij (RO): Zavod Republike Slovenije za šolstvo Univerza v Mariboru, Pedagoška fakulteta Univerza v Mariboru, Filozofska fakulteta_ 6. Sofinancer/sofinancerji: ARRS MŠŠ 7. Šifra ter ime in priimek vodje projekta: 11606 Datum: Koper, 6. 3. 2010. Podpis in žig izvajalca: izr. prof. dr. Mara Cotič, dekanja Majda Cencič Podpis vodje projekta: izr. prof. dr. Majda Cencič Obrazec ARRS-RI-CRP-ZP/2008 Stran 2 od 9 II. Vsebinska struktura zaključnega poročila o rezultatih raziskovalnega projekta v okviru CRP 1. Cilji projekta: 1.1. Ali so bili cilji projekta doseženi? □ a) v celoti b) delno □ c) ne Če b) in c), je potrebna utemeljitev._ Cilji so bili pred začetkom spremenjeni, glede na več kot polovično zmanjšanje predlagane finančne strukture projekta. Spremembe smo navedli in utemeljili v "Programu dela na projektu", ki je bil priloga k "Pogodbi št. 1000-08-280438 o financiranju in izvajanju raziskovalnega projekta št. V5-0438 v okviru Ciljnega raziskovalnega programa Konkurenčnost Slovenije 2006-2013". Glede na "Program dela na projektu" (8. 9. 2008) pa smo dejavnosti na projektu v celoti izvedli. Delno so torej cilji uresničeni glede na prvotni načrt projekta. Cilji, ki smo jih navedli po sprejetju programa CRP (8. 9. 2008), pa so v celoti doseženi. 1.2. Ali so se cilji projekta med raziskavo spremenili? I | a) da IE b) ne Če so se, je potrebna utemeljitev:_ Obrazec ARRS-RI-CRP-ZP/2008 Stran 3 od 9 2. Vsebinsko poročilo o realizaciji predloženega programa dela1:_ Ker so nam bila sredstva pred začetkom močno okleščena (za več kot polovico), smo program dela, 8. 9. 2008, skrčili na nekaj temeljnih ciljev dela. Raziskava je izgubila kvantitativni del in se je omejila le na kvalitativni. Temeljni cilji skrčenega projekta so bili: - pripraviti teoretična izhodišča projekta; - opredeliti elemente kakovosti izvajalcev; - oblikovati hipotetični model evalvacije izvajalcev ter - predstaviti rezultate zainteresirani javnosti. Glede na redefinirane cilje je potekalo delo na projektu. Iz literature in različnih virov smo razbrali različnost oblik, variant in modelov evalvacij. Po enem kriteriju, evalvatorju, se evalvacije združujejo v dve temeljni skupini: zunanje in notranje. Zunanje evalvacije temeljijo pretežno na merjenju določenih in v naprej postavljenih kazalcih ali kritičnih točkah, ki z merjenjem in navajanjem vrednosti težijo k spodbujanju kakovosti. Notranje ali samoevalvacije pa se izvajajo znotraj posameznih institucij. Podpirajo jih lahko posebne službe, v katere so vključeni različni uporabniki. Pomemben delež pa imajo tudi uporabniki, ki sodelujejo pri izbiri načina evalvacij. Izbor vrste evalvacije je odvisen tudi od usmeritve šolske politike, od okolja in prevladujoče tendence o pomenu in razvoju kakovosti. Glede na ugotovitve, da so sistemi kakovosti različni, da temeljijo bodisi na nadzoru, bodisi na ugotavljanju in izboljševanju kakovosti ali na stalnem izboljševanju kakovosti, smo načrtovali hipotetični model. Pri oblikovanju modela smo izhajali iz potreb prakse, da bi oblikovali model, ki bi: - zajel dinamiko, rast, življenje in vpliv; - puščal sodelovanje vseh vpletenih (sodelovalni didalog izvajalcev, predstavnikov šolske politike, evalvatorjev); - da bi bila evalvacija preprosta in ustvarjalna osnova za dialog; - da bi bilo poročilo za širšo razpravo in izboljševanje izvajalcev. Na srečanjih projektne skupine smo razmišljali o obliki in vsebini modela, saj obstajajo različni modeli evalvacij. Vsi navadno vključujejo udeležence, oblikovanje učne kulture, učne dosežke, učne izkušnje ipd. Modeli so bodili "input-output" oblike, "top-down", ali kakšne druge oblike. Odločili smo se za model "profil izvajalcev" z nekaterimi ključnimi sestavinami. Ker smo se zavedali, da ni popolnega modela evalvacije in da ima vsak svoje prednosti in pomanjkljivosti, smo načrtovali hipotetični odprt model, ki bi ga lahko posamezni izvajalci še dopolnili ali prilagodili svojim potrebam. Model naj tudi ne bi temeljil le na vprašalnikih, ampak tudi na kvalitativnih tehnikah zbiranja podatkov in informacij, npr. na intervjujih, opazovanju prakse ipd. Ocenjujemo, da vprašalniki ne pokažejo "zgodbe", ki je pogosto bolj celostna in slikovita kot posamezni njeni deli. Menimo pa tudi, da ni koristno intervjuvati le o uspehu, ker se veliko lahko naučimo tudi iz napak in pomanjkljivosti. Tudi v evropskih državah zunanje evalvacije izvajalcev navadno vključujejo več različnih postopkov, npr. obiske institucij, analize pisne dokumentacije, poročila samoevalvacije institucije, do preverjanja različnih dokumentov o njihovi strokovni podlagi._ 1 Potrebno je napisati vsebinsko raziskovalno poročilo, kjer mora biti na kratko predstavljen program dela z raziskovalno hipotezo in metodološko-teoretičen opis raziskovanja pri njenem preverjanju ali zavračanju vključno s pridobljenimi rezultati projekta. Obrazec ARRS-RI-CRP-ZP/2008 Stran 4 od 9 Po oblikovanju modela smo s kvalitativno raziskavo želeli izvedeti, kako nanj gledajo "iz prakse". Na osnovi opravljenih in obdelanih, delno strukturiranih intervjujev z izbranimi in v naprej določenimi "dobrimi izvajalci", smo dopolnili oblikovani model. Intervjuvali smo posamezne "dobre" izvajalce iz Univerze na Primorskem, Pedagoške fakultete Koper, Pedagoške fakultete Univerze v Mariboru, direktorico zasebne izobraževalne institucije v Ljubljani ter izvajalca javnega zavoda (CPI). Na osnovi doblenih in kvalitativno obdelanih rezultatov smo model dopolnili. Dopolnjen hipotetični model je bil nato najprej predstavljen na Programskem svetu za stalno strokovno spopolnjevanje strokovnih delavcev (21. 1. 2010) ter nato na Zavodu Republike Slovenije za šolstvo (3. 2. 2010). Na osnovi pripomb je bil model ponovno dopolnjen. Hipotetični model v obliki profila izvajalcev vključuje štiri področja evalvacije, ki so razčlenjena na ključne sestavine in ponekod opisane. Vsako področje se še naprej deli. Zastopana so področja: 1. inštitucija; 2. program; 3. izvajalci (izobraževalci) in 4. udeleženci (izobraževanci). Lahko izpostavimo, da so: - nekatere sestavine modela lahko preverljive, merljive, druge primerne le za kvalitativno ugotavljanje in preverjanje; - kvantitativni del modela se lahko tudi grafično predstavi; - za nadaljevanje bi bilo potrebno sestaviti in preizkusiti instrumente, ki bi bili na razpolago izobraževalcem. Posamezni izobraževalci bi pripravljene instrumente tudi dopolnili in uporabili za notranjo evalvacijo. Instrumenti pa bi lahko služili tudi za zunanjo evalvacijo. Na Zavodu RS za Šolstvo (3. 2. 2010) so model ocenili kot zanimiv in obetaven, posebej so videli njegovo vrednost kot uporabno orodje za samoevalvacijo. Predlagali so, da bi vsako leto preverili napredek ali spremembe do katerih je prišlo v okviru posameznih kazalnikov. Dejali so tudi, da bi bilo zanimivo primerjati pogled izvajalca s pogledom uporabnikov ali zunanjih evalvatorjev. Izpostavili so, da bi model, ki smo ga razvili, v končni verziji lahko pomembno vplival na prizadevanje izvajalcev za dvig kakovosti in šolam pomagal pri odločanju o najustreznejšem ponudniku glede na specifiko njihovih potreb. Obrazec ARRS-RI-CRP-ZP/2008 Stran 5 od 9 3. Izkoriščanje dobljenih rezultatov: 3.1. Kakšen j e potencialni pomen2 rezultatov vašega raziskovalnega proj ekta za: I | a) odkritje novih znanstvenih spoznanj; 1X1 b) izpopolnitev oziroma razširitev metodološkega instrumentarija; I | c) razvoj svojega temeljnega raziskovanja; I | d) razvoj drugih temeljnih znanosti; I | e) razvoj novih tehnologij in drugih razvojnih raziskav. 3.2. Označite s katerimi družbeno-ekonomskimi cilji (po metodologiji OECD-ja) sovpadajo rezultati vašega raziskovalnega projekta: I | a) razvoj kmetijstva, gozdarstva in ribolova - Vključuje RR, ki je v osnovi namenjen razvoju in podpori teh dejavnosti; I | b) pospeševanje industrijskega razvoja - vključuje RR, ki v osnovi podpira razvoj industrije, vključno s proizvodnjo, gradbeništvom, prodajo na debelo in drobno, restavracijami in hoteli, bančništvom, zavarovalnicami in drugimi gospodarskimi dejavnostmi; I | c) proizvodnja in racionalna izraba energije - vključuje RR-dejavnosti, ki so v funkciji dobave, proizvodnje, hranjenja in distribucije vseh oblik energije. V to skupino je treba vključiti tudi RR vodnih virov in nuklearne energije; I | d) razvoj infrastrukture - Ta skupina vključuje dve podskupini: • transport in telekomunikacije - Vključen je RR, ki je usmerjen v izboljšavo in povečanje varnosti prometnih sistemov, vključno z varnostjo v prometu; • prostorsko planiranje mest in podeželja - Vključen je RR, ki se nanaša na skupno načrtovanje mest in podeželja, boljše pogoje bivanja in izboljšave v okolju; I | e) nadzor in skrb za okolje - Vključuje RR, ki je usmerjen v ohranjevanje fizičnega okolja. Zajema onesnaževanje zraka, voda, zemlje in spodnjih slojev, onesnaženje zaradi hrupa, odlaganja trdnih odpadkov in sevanja. Razdeljen je v dve skupini: I | f) zdravstveno varstvo (z izjemo onesnaževanja) - Vključuje RR - programe, ki so usmerjeni v varstvo in izboljšanje človekovega zdravja; ^ g) družbeni razvoj in storitve - Vključuje RR, ki se nanaša na družbene in kulturne probleme; I | h) splošni napredek znanja - Ta skupina zajema RR, ki prispeva k splošnemu napredku znanja in ga ne moremo pripisati določenim ciljem; I | i) obramba - Vključuje RR, ki se v osnovi izvaja v vojaške namene, ne glede na njegovo vsebino, ali na možnost posredne civilne uporabe. Vključuje tudi varstvo (obrambo) pred naravnimi nesrečami. 2 Označite lahko več odgovorov. Obrazec ARRS-RI-CRP-ZP/2008 Stran 6 od 9 3.3. Kateri so neposredni rezultati vašega raziskovalnega proj ekta glede na zgoraj označen potencialni pomen in razvojne cilje?_ Neposredni rezultat je oblikovan model, ki bo lahko služil izvajalcem programov in financerju. Model je v izgradnji in bi potreboval še nadgradnjo v obliki instrumentov za zbiranje podatkov. Kot tak bi bil lahko dobro orodje izvajalcem in politiki za različno uporabo, bodisi za notranjo evalvacijo ali za zunanjo evalvacijo, tj. za preverjanje napredka posameznih izvajalcev ali za primerjavo med različnimi izvajalci._ 3.4. Kakšni so lahko dolgoročni rezultati vašega raziskovalnega proj ekta glede na zgoraj označen potencialni pomen in razvojne cilje?_ Oblikovana je bila osnova, ki se bo lahko naprej nadgrajevala in dopolnjevala ter spreminjala. Zaradi fleksibilnosti se lahko model prenese na različan družbena področja in se lahko dolgoročno uporablja v praksi. 3.5. Kje ob staj a verj etnost, da bodo vaša znanstvena spoznanj a deležna zaznavnega odziva? □ a) v domačih znanstvenih krogih; □ b) v mednarodnih znanstvenih krogih; 1X1 c) pri domačih uporabnikih; I I d) pri mednarodnih uporabnikih. 3.6. Kdo (poleg sofinancerj ev) že izraža interes po vaših spoznanjih oziroma rezultatih? Inštuticije, ki izobražujejo strokovne delavce na področju vzgoje in izobraževanja, npr. Zavod RS za šolstvo, zasebni zavodi, fakultete ipd. 3.7. Število diplomantov, magistrov in doktorjev, ki so zaključili študij z vključenostjo v raziskovalni projekt?_ Raziskovalni projekt je trajal kratko obdobje in tema ni bila vključena v diplomska dela, magistrska dela ali v doktorske disertacije. 4. Sodelovanje z tujimi partnerji: 4.1. Navedite število in obliko formalnega raziskovalnega sodelovanja s tujimi raziskovalnimi inštitucijami._ Sodelovanje s tujimi partnerji ni potekalo na formalni ravni v okviru projekta. Obrazec ARRS-RI-CRP-ZP/2008 Stran 7 od 9 4.2. Kakšni so rezultati tovrstnega sodelovanja?_ Projekt je bil ocenjen z najnižjo možno vrednost (le 20.000,00 EUR), zato smo črtali tudi formalno sodelovanje s tujimi partnerji, ki smo jih imeli v prvotnem načrtu. 5. Bibliografski rezultati3 : Za vodjo projekta in ostale raziskovalce v projektni skupini priložite bibliografske izpise za obdobje zadnjih treh let iz COBISS-a) oz. za medicinske vede iz Inštituta za biomedicinsko informatiko. Na bibliografskih izpisih označite tista dela, ki so nastala v okviru pričujočega projekta. 3 Bibliografijo raziskovalcev si lahko natisnete sami iz spletne strani:http:/www.izum.si/ Obrazec ARRS-RI-CRP-ZP/2008 Stran 8 od 9 6. Druge reference4 vodje projekta in ostalih raziskovalcev, ki izhajajo iz raziskovalnega projekta:_ CENCIČ, Majda. Kakovost in evalvacija izvajalcev programov = Quality and evaluation of inset providers. V: BREZOVEC, Aleksandra (ur.), MEKINC, Janez (ur.). Znanstvena konferenca z mednarodno udeležbo Management, izobraževanje in turizem, Portorož, 22.23. oktober 2009. Management, izobraževanje in turizem : kreativno v spremembe : znanstvena konferenca z mednarodno udeležbo, 22.-23. oktober 2009, Portorož : zbornik referatov = proceedings. Portorož: Turística, Fakulteta za turistične študije, 2009, str. 365372, ilustr. [COBISS.SI-ID 3354327] CENCIČ, Majda. Kakovost in evalvacija izvajalcev programov = Quality and evaluation of inset providers. V: BREZOVEC, Aleksandra (ur.), MEKINC, Janez (ur.). Znanstvena konferenca z mednarodno udeležbo Management, izobraževanje in turizem, Portorož, 22.23. oktober 2009. Management, izobraževanje in turizem : kreativno v spremembe : znanstvena konferenca z mednarodno udeležbo, 22.-23. oktober 2009, Portorož : zbornik povzetkov referatov = book of abstracts. Portorož: Turística, Fakulteta za turistične študije, 2009, str. 87. [COBISS.SI-ID 3354071] CENCIČ, Majda. Contributions of the University to the Development of Lifelong Learning : an Example of a Formal Face-to-face Learning Activity. V: ISTENIČ STARČIČ, Andreja (ur.), ŠUBIC KOVAČ, Maruška (ur.). University & industry knowledge transfer and innovation. Athens [etc.]: WSEAS Press, 2009, str. 213-230. [COBISS.SI-ID 4690529] MARENTIČ-POŽARNIK, Barica. Improving the quality of teaching and learning in higher education through supporting professional development of teaching staff. Napredak, srp.-pros. 2009, god. 150, br. 3/4, str. 341-359. [COBISS.SI-ID 40548706] MARENTIČ-POŽARNIK, Barica. Slovenia : University of Ljubljana. V: KÁLMÁN, Anikó (ur.). Case studies in the development and qualification of university teachers in Europe, (Project publications). Debrecen, Hungary: NETTLE Thematic Network Project, 2008, str. 340-350. [COBISS.SI-ID 37486946] Model v obliki profila izvajalcev je bil predstavljen na Programskem svetu za stalno strokovno spopolnjevanje strokovnih delavcev (Ljubljana, 21. 1. 2010). Model je bil predstavljen tudi na Zavodu Republike Slovenije za šolstvo, na razširjenem kolegiju Zavoda Republike Slovenije za šolstvo (Ljubljana, 3. 2. 2010). 4 Navedite tudi druge raziskovalne rezultate iz obdobja financiranja vašega projekta, ki niso zajeti v bibliografske izpise, zlasti pa tiste, ki se nanašajo na prenos znanja in tehnologije. Navedite tudi podatke o vseh javnih in drugih predstavitvah projekta in njegovih rezultatov vključno s predstavitvami, ki so bile organizirane izključno za naročnika/naročnike projekta. Obrazec ARRS-RI-CRP-ZP/2008 Stran 9 od 9 UNIVERZA NA PRIMORSKEM PEDAGOŠKA FAKULTETA KOPER MODEL EVALVACIJE KAKOVOSTI IZVAJALCEV PROGRAMOV USPOSABLJANJ STROKOVNIH DELAVCEV Zaključno poročilo ciljno raziskovalnega projekta, V5-0438 Odgovorna nosilka: izr. prof. dr. Majda Cencič •s/ Člani projektne skupine: red. prof. dr. Milena Ivanuš Grmek doc. dr. Marija Javornik Krečič red. prof. ddr. Barica Marentič Požarnik dr. Branko Slivar •s/ Brigita Zarkovič Adlešič Koper, februar 2010. Poročilo z naslovom Model evalvacije kakovosti izvajalcev programov usposabljanj strokovnih delavcev je zaključno poročilo ciljno raziskovalnega projekta (Ciljni raziskovalni projekt, V5-0438, v okviru Ciljnega raziskovalnega programa "Konkurenčnost Slovenije 2006-2013", ki sta ga financirala Javna agencija za raziskovalno dejavnost RS in Ministrstvo za šolstvo in šport). 2 KAZALO 1 UVOD 4 2 MEDNARODNI POGLED NA EVALVACIJO IZVAJALCEV 9 NADALJNJEGA IZOBRAŽEVANJA IN USPOSABLJANJA (Brigita Žarkovič Adlešič) 3 EVALVACIJA, KAKOVOST IN KAKOVOST EVALVACIJSKIH 29 RAZISKAV (dr. Majda Cencič) 4 NEKATERA NAČELA, POUDARKI IN ODPRTI PROBLEMI 47 EVALVACIJE IZVAJALCEV STROKOVNEGA IZPOPOLNJEVANJA UČITELJEV (ddr. Barica Marentič Požarnik) 5 DOMAČE EVALVACIJSKE ŠTUDIJE 62 (dr. Milena Ivanuš Grmek, dr. Marija Javornik Krečič) 6 OPIS MODELA (dr. Branko Slivar) 69 7 HIPOTETIČNI MODEL: PROFIL EVALVACIJE IZVAJALCEV 77 (dr. Majda Cencič, dr. Milena Ivanuš Grmek, ddr. Barica Marentič Požarnik, dr. Branko Slivar, Brigita Žarkovič Adlešič) 8 PREDNOSTI EVALVACIJE V OBLIKI MODELA PROFILA 84 IZVAJALCEV (dr. Majda Cencič) 9 POGLEDI NA MODEL IZ PRAKSE 90 9.1 Povzetek intervjuja o profilu evalvacije izvajalcev programov 92 stalnega strokovnega spopolnjevanja (dr. Milena Ivanuš Grmek) 9.2 Mnenja izvajalke s Pedagoške fakultete Koper o programih 95 stalnega strokovnega spopolnjevanja strokovnih delavcev v vzgoji in izobraževanju (dr. Majda Cencič) 9.3 Model evalvacije kakovosti izvajalcev usposabljanja strokovnih 98 delavcev (Brigita Žarkovič Adlešič) 9.4 Intervju o modelu (dr. Branko Slivar) 101 10 SKLEP 103 3 1 UVOD Eurydiceva študija Zagotavljanje kakovosti v izobraževanju učiteljev v Evropi (2008) opredeljuje v svoji raziskavi v poglavju Akreditacija in evalvacija stalnega strokovnega izobraževanja učiteljev šest glavnih vrst izvajalcev programov stalnega strokovnega spopolnjevanja: visokošolske institucije, institucije za začetno izobraževanje učiteljev, centre z javnimi pooblastili za stalno strokovno spopolnjevanje učiteljev, združenja in zveze učiteljev, centre za usposabljanje v zasebnem sektorju ter druge izvajalce. V večini držav so vse ali skoraj vse vrste, v nekaterih državah pa sta le eden ali dva izvajalca. V Grčiji in na Cipru imajo centri za stalno strokovno spopolnjevanje učiteljev javna pooblastila in so edini organi, ki zagotavljajo predpise. V Luksemburgu je stalno strokovno spopolnjevanje učiteljev možno le na visokošolskih institucijah in institucijah za začetno izobraževanje učiteljev. Na Norveškem so edini izvajalci izobraževanja in usposabljanja učiteljev visokošolske institucije. V evropskem prostoru proces evalvacije (in tudi akreditacije) izvajalcev stalnega strokovnega spopolnjevanja učiteljev lahko vključujeta več postopkov - od obiskov institucij, analiz pisne dokumentacije in poročil samoevalvacije institucij do preverjanja drugih dokumentov o njihovi strokovni podlagi. Tudi notranja evalvacija je lahko del procesov akreditacije in evalvacije. Notranja evalvacija je obvezen del akreditacije in evalvacije institucij ali programov za stalno strokovno spopolnjevanje učiteljev v vseh državah z uradnimi predpisi, razen na Češkem, Danskem, v Estoniji, na Irskem, v Italiji (ko gre za združenja in zveze učiteljev ali izvajalce usposabljanja v zasebnem sektorju) in na Švedskem. Notranja evalvacija je priporočena v delu Belgije in na Slovaškem ter je fakultativna v Sloveniji. V državah, kjer je notranja evalvacija obvezna ali priporočena, je navadno obvezna ali priporočena tudi analiza poročil samoevalvacije, ki se opravi med zunanjo evalvacijo. Glede na evropske modele evalvacije za namen ugotavljanja in izboljševanja kakovosti (npr. Hopkins, 1997) in naša izhodišča evalvacije programov izobraževanja in usposabljanja 4 strokovnih delavcev v Sloveniji (Cencič in sod., 2006), smo v pojektu poskušali povezali zunanjo evalvacijo, ki temelji na nekaterih kazalcih kakovosti ali nekaterih ključnih točkah ugotavljanja kakovosti in notranjo evalvacijo, ki temelji na razvijanju pomena izboljševanja dela, na razvijanju evalvacijske kulture ter na ugotavljanja učinkov za namen izboljševanja kakovosti. Od vzpostavitve sistema stalnega strokovnega spopolnjevanja (1994) se vsako leto prijavi na razpis večje število izvajalcev programov. Zato je potrebno vzpostaviti sistem spremljanja, ki bi zagotovil možnost vključitve kvalitetnih izvajalcev in višjo stopnjo realizacije programov. Izvajalci so zasebni ponudniki, fakultete, javni zavodi ter drugi ponudniki. Sistem evalvacije sedaj vključuje vidik vrste organizacije, kraja sedeža izvajalca, realizacijo izpeljav, ocene organizacije ter ocene predavateljev. Tudi po reformi sistema je Programski svet za nadaljnje izobraževanje in usposabljanje strokovnih delavcev ohranil kot pomemben kriterij za izbor programov oceno izvajalca programa, ki je nastala na podlagi zbranih ocen z vidika organizacije, vsebine in realizacije programov. Poročila se pošljejo Programskemu svetu za stalno strokovno spopolnjevanje strokovnih delavcev. Glede na posamična poročila se pripravi splošno nacionalno poročilo, ki ga svet oceni, preden ga pošlje ministru za šolstvo. Rezultati skupnega poročila so objavljeni na spletni strani MŠŠ. (Zagotavljanje kakovosti..., 2008.) Evalvacija, ki poteka, je parcialna in kvantitativno usmerjena, saj temelji na povprečnih ocenah nekaterih elementov, ki jih ocenijo udeleženci programov stalnega strokovnega izpopolnjevanja, temelji pa le na ocenah udeležencev ob koncu programa. Pokazalo se je, da vhodna dobra ocena izvajalca ne zagotavlja nujno tudi kontinuirane kvalitete v času izvajanja programov. Zato je bil cilj poiskati tak model, ki bo uspel zaznati razlike med izvajalci in omogočil vključitev izvajalcev z »dodano« vrednostjo. V projektu z naslovom Model evalvacije kakovosti izvajalcev programov usposabljanj strokovnih delavcev smo se odločili za izgradnjo modela v obliki profila izvajalcev. Nosilna raziskovalna organizacija projekta je bila Univerza na Primorskem, Pedagoška fakulteta Koper, sodelovalne raziskovalne organizacije pa Zavod Republike Slovenije za šolstvo ter Pedagoška fakulteta Univerze v Mariboru in Filozofska fakulteta Univerze v Mariboru. Člani projektne skupine smo bili: dr. Majda Cencič, vodja projekta, dr. Milena Ivanuš Grmek, dr. 5 Marija Javornik Krečič, ddr. Marica Marentič Požarnik, dr. Branko Slivar in Brigita Žarkovič Adlešič. Projekt je trajal 18 mesecev, od l 1. 9. 2008, do 28. 2. 2010. Temeljni cilji projekta so bili pripraviti teoretična izhodišča projekta, opredeliti elemente kakovosti izvajalcev, oblikovati hipotetični model evalvacije izvajalcev ter predstaviti rezultate zainteresirani javnosti. Glede na cilje je potekalo delo na projektu. Na osnovi teoretičnih izhodišč smo načrtali hipotetičnih model. Preverjanje modela je v praksi potekalo s pomočjo opravljenih intervjujev z izvajalci programov izobraževanja in spopolnjevanja strokovnih delavcev (povzetke intervjujev predstavljamo v poročilo). Za intervjuje smo izbrali »dobre« izvajalce, da bi z njihovega vidika ocenili in dopolnili model. Na osnovi opravljenih intervjujev smo model dodelali. Dopolnjen hipotetični model je bil nato predstavljen na Programskem svetu za stalno strokovno spopolnjevanje strokovnih delavcev ter na Zavodu Republike Slovenije za šolstvo. Na osnovi pripomb je bil model ponovno dopolnjen in je predstavljen v poglavju 7. Hipotetični model v obliki profila izvajalcev vključuje štiri področja evalvacije, ki so razčlenjena na ključne sestavine, ki so ponekod opisane. Vsako področje se še naprej deli. Zastopana so področja: 1. inštitucija; 2. program; 3. izvajalci (izobraževalci) in 4. udeleženci (izobraževanci). V besedilu je model opisan, navedene so prednosti kvantitativnega in grafičnega dela modela ter predstavljena je shema modela. Lahko izpostavimo, da so: - nekatere sestavine modela lahko preverljive, merljive, druge primerne le za kvalitativno ugotavljanje in preverjanje; - kvantitativni del modela se lahko tudi grafično predstavi; - za nadaljevanje bi bilo potrebno sestaviti in preizkusiti instrumente, ki bi bili na razpolago izobraževalcem, da bi jih po potrebi uporabili, pa tudi, glede na njihove potrebe, spremenili. 6 Model v obliki profila izvajalcev je bil predstavljen na Programskem svetu za stalno strokovno spopolnjevanje strokovnih delavcev (21. 1. 2010) in na osnovi pripomb članov dopolnjen. Predstavljen je bil tudi na Zavodu Republike Slovenije za šolstvo, na razširjenem kolegiju Zavoda Republike Slovenije za šolstvo (3. 2. 2010). Na Zavodu Republike Slovenije za šolstvo so model ocenili kot zanimiv in obetaven, posebej pa so videli njegovo vrednost kot uporabno orodje za samoevalvacijo. Predlagali so, da bi vsako leto preverili napredek ali spremembe, do katerih je prišlo v okviru posameznih kazalnikov. Menili pa so tudi, da bi bilo zanimivo primerjati poglede izvajalcev s pogledi uporabnikov ali zunanjih evalvatorjev. Po mnenju svetovalcev zavoda pa bi model, ki smo ga razvili v okviru projekta CRP, v svoji končni verziji lahko pomembno vplival na prizadevanja izvajalcev za dvig kakovosti in šolam pomagal pri odločanju o najustreznejšem ponudniku glede na specifiko njihovih potreb. V poročilu navadno uporabljamo pojem učitelj za vse strokovne delavce, zaposlene na področju vzgoje in izobraževanja. Poročilo je poleg uvoda sestavljeno iz mednarodnega pregleda na evalvacijo nadaljnjega izobraževanja in usposabljanja, predstavlja nekatera načela, poudarke in probleme evalvacije izvajalcev, opredeljuje pojem in vrste evalvacije ter povezuje evalvacijo in kakovost, predstavlja domače evalvacijske študije ter predstavlja model in njegove prednosti. Kvalitativni del poročila predstavljajo zapisi intervjujev. V besedilu je predstavljen hipotetični model, ki pa potrebuje nadgradnjo z izdelavo instrumentov ter njihovim preizkušanjem. Literatura Cencič, M in sod. (2006). Evalvacija programov izobraževanja in usposabljanja strokovnih delavcev v Sloveniji, izvedenih v letih 2004/05: Partnerstvo fakultet in šol, Model IV. Koper, Ljubljana: Pedagoška Fakulteta, Ministrstvo za šolstvo in šport. Hopkins, D. (1997). Evaluation for School Development. Philadelphia: Open University Press. 7 Zagotavljanje kakovosti v izobraževanju učiteljev v Evropi, Eurydice (2008). Ljubljana: Ministrstvo za šolstvo in šport. 8 Brigita Žarkovič Adlešič Zavod Republike Slovenije za šolstvo 2 MEDNARODNI POGLED NA EVALVACIJO IZVAJALCEV NADALJNJEGA IZOBRAŽEVANJA IN USPOSABLJANJA Pomen izobraževanja in usposabljanja Zelena knjiga (2001) opredeljuje, da je temeljno »poslanstvo« izobraževanja in usposabljanja po vstopu v delo razširjanje novih strokovnih spoznanj in njihova čimprejšnja uporaba v praksi. Znanje in spretnosti, pridobljene v izobraževalnem sistemu, hitro zastarijo, zato zaloga relevantnega znanja v družbi narašča počasneje, kot bi pričakovali. Uspešnost posameznika, skupine, organizacije, družbe je čedalje bolj odvisna od nenehnega posodabljanja znanja, predpostavke pa so motivacija, zmožnost nenehnega učenja in dostopnosti do novega znanja. Na tem gradi evropska izobraževalna politika, politična prizadevanja združuje pod sloganom ideala »učeče se družbe«. Družba, ki želi biti uspešna, mora zagotoviti svojim članom ustrezne pogoje za nenehno učenje in razvoj. Učitelji morajo učence in dijake pripraviti na življenje in delo v hitro spreminjajočih se pogojih, v katerih je za gospodarsko uspešnost in družbeno kohezijo ključna prav sposobnost nenehnega učenja na delu in učenja v interakciji z drugimi. Za začetek velja to še zlasti za učitelje same. Zgolj prenašanje znanja iz univerz v učilnice ni več dovolj učinkovito. Razumeti morajo, kako se znanje ustvarja, prenaša in razširja ter uporablja, vendar tudi to ni dovolj. Prvi strateški cilj Ciljev za prihodnost, ki so bili sprejeti v Stockholmu leta 2001, se nanaša na zahteve po učinkovitosti in kakovosti, s katerimi se soočajo učitelji, zato je potrebno zagotoviti sistem hitrejšega razširjanja učinkovitih učnih metod. V svetu ni splošnega soglasja o tem, kako naj se učitelji usposabljajo. Evropski strokovnjaki v ekspertni skupini A (izboljšanje izobraževanja za učitelje in izobraževalce) je v svojem poročilu ugotovila, da ni potrebno poenotiti vsebin in metod v izobraževanju in usposabljanju učiteljev, pač pa standarde znanja, kompetence in kvalifikacije (Plevnik, 2004). Učitelji se morajo usposobiti za novo razširjeno vlogo. V središču njihovega profesionalnega delovanja 9 ni več posredovanje znanja, ampak opora učencem pri učenju. Najvplivnejši medij za prenos znanja o procesih izobraževanja in učenja ostaja še vedno začetno izobraževanje učiteljev, ki pa je po svoji naravi konservativno. Stalno strokovno spopolnjevanje je lahko veliko bolj fleksibilno, zato ga evropski dokumenti o politiki izobraževanja dosledno vključujejo. Opredelitev ključnih pojmov Danes se srečujemo s pojmi kontinuiran profesionalni razvoj, profesionalno učenje, stalno strokovno spopolnjevanje, vseživljenjsko učenje, ki jih moramo umestiti v skupen okvir in jih razumeti v medsebojni povezavi. Če želimo iskati odgovore na vprašanja o optimalnem okolju za profesionalni razvoj, moramo spregovoriti o nekaterih ključnih pojmih in njihovih definicijah. Definicije profesionalnega razvoja učiteljev so postavljali mnogi avtorji, ki so se ukvarjali s področjem profesionalizacije in razvoja v izobraževanju. Day (1999) pravi, da je profesionalni razvoj sestavljen iz vseh naravnih učnih izkušenj in tistih zavestno načrtovanih aktivnosti, katerih namen je posredna ali neposredna dobrobit posameznika, skupine ali šole in ki so usmerjene v izboljševanje kvalitete dela v razredu. Tekom tega procesa se učitelji sami in skupaj z drugimi spreminjajo, obnavljajo in širijo svojo vlogo uvajalcev sprememb. Valenčič Zuljan (2001) opredeljuje učiteljev profesionalni razvoj kot proces signifikantnega in vseživljenjskega učenja, pri katerem učitelji (študenti) osmišljajo in razvijajo svoja pojmovanja ter spreminjajo svojo prakso poučevanja; gre za proces, ki vključuje učiteljevo osebnostno, poklicno in socialno dimenzijo in pomeni učiteljevo napredovanje v smeri kritičnega, neodvisnega, odgovornega odločanja in ravnanja. Vsem avtorjem je skupno, da govorijo o spremembah, ki se dogajajo zaradi procesa učenja, ki poteka kontinuirano, vse življenje. Kot pravi Kalin (2004: 25): »Profesionalni razvoj je vedno veliko več kot samo sprememba vedenja. Učiteljev razvoj je proces, med katerim učitelj utemelji in vzdržuje najvišjo raven profesionalne usposobljenosti, ki jo je sposoben doseči.« Merkač Skok (2005) opredeljuje kontinuiran profesionalni razvoj kot stalno izobraževanje in usposabljanje strokovnjakov, torej vse formalno in neformalno učenje, ki omogoča posamezniku, da izboljšuje svojo prakso. Profesionalni razvoj konceptualno deli na: - strokovno usposabljanje, ki zajema kratke tečaje, delavnice in konference, ki poudarjajo praktične informacije in spretnosti, 10 - strokovno izobraževanje - dolgi tečaji in seminarji, ki poudarjajo teorijo in na raziskavah temelječe znanje, - strokovno podporo - aktivnosti, ki naj bi razvijale izkušnje in rezultate temelječe na delu. Tudi Oldroyd in Hall (1991) v svojem modelu ločujeta usposabljanje in podporo, ki ju navežeta na razvoj kadrov. V poklicnem življenju učiteljev predstavlja stalno strokovno spopolnjevanje (in service teacher training) pomembno komponento profesionalnega razvoja. Day (1999) definira stalno strokovno spopolnjevanje kot načrtovan dogodek, zaporedje dogodkov ali razširjeni program formalno priznanega ali nepriznanega učenja. Vključuje dva komplementarna elementa: - izobraževanje, ki pomaga pri odločitvi kaj storiti in - usposabljanje, ki pomaga narediti tisto kar je potrebno, bolj skladno, učinkovito in ekonomično. (Steadman, Eraut, Fielding in Horton, 1995, po Day, 1999.) Ta razcepljenost nakazuje, da govorimo o različnih namenih in usmeritvah, ki imajo za posledico različne vrste profesionalnega razvoja. »Inset« je namenjen intenzivnemu učenju v določenem časovnem obdobju in ima običajno vodjo, katerega naloga je pospeševanje in spodbujanje učenja. Kadar je namenjen učiteljem glede na njihove izkušnje, stopnjo v razvoju kariere, zahteve sistema, ciklus vseživljenjskega učenja ali sistemske potrebe, bo verjetno uspešen pri spodbujanju rasti in razvoja. Rast gre lahko v smer aditivnosti (korak naprej v znanju, veščinah, razumevanju) ali transformativnosti (spremembe v stališčih, znanju, veščinah, razumevanju)., Logan in Sachs (1988, po Day, 1999) sta uporabila pojem učenja kot organizacijski koncept in ločita tri vrste učenja v okviru stalnega strokovnega spopolnjevanja: - reorientacijo, kjer učitelji razvijajo sposobnost za spreminjanje obstoječe prakse s pomočjo novih metod, pogojev za učenje, vodenja razreda, spremenjenih vlog, pričakovanj, - iniciacijo - vpeljevanje novih vlog (socialna iniciacija) in vključujejo nove ideje ali prakse (tehnična iniciacija), 11 - izboljševanje, oplemenitenje (refining) - v katerih se krepijo in širijo učiteljeve obstoječe prakse. Dokument Prenova sistema nadaljnjega izobraževanja in usposabljanja (2004), ki ga je pripravila skupina slovenskih strokovnjakov, opredeljuje stalno strokovno spopolnjevanje kot obliko vseživljenjskega izobraževanja strokovnih delavcev v vzgoji in izobraževanju, ki poleg študijskih programov za pridobitev izobrazbe, oziroma za izpopolnjevanje, zagotavlja strokovnim delavcem možnost za obnavljanje, razširjanje in poglabljanje znanja ter seznanjanje z novostmi stroke. Sistem finančno podpira Ministrstvo za šolstvo, znanost in šport in je tudi del sistema napredovanja strokovnih delavcev v vzgoji in izobraževanju. Osnovni cilj sistema stalnega strokovnega spopolnjevanja je profesionalni razvoj ter strokovna in osebnostna rast strokovnih delavcev, s čimer se povečuje tudi kakovost in učinkovitost celotnega vzgojno-izobraževalnega sistema. 3. člen Pravilnika o nadaljnjem izobraževanju in usposabljanju (2004) definira novi termin nadaljnje izobraževanje in usposabljanje, ki je nadomestil stalno strokovno spopolnjevanje: »Nadaljnje Izobraževanje in usposabljanje strokovnih delavcev v vzgoji in izobraževanju je sestavni del vseživljenjskega učenja. Odvija se po zaključenem izobraževanju za pridobitev izobrazbe in po začetku dela v vzgoji in izobraževanju. Sestavljata ga izpopolnjevanje izobrazbe ter profesionalno usposabljanje.« Različni modeli Zelena knjiga (2001) o izobraževanju učiteljev v Evropi sintetizira značilnosti različnih modelov »in-service teacher training« in nadaljnjega profesionalnega razvoja, ki so jih razvile evropske države s treh različnih vidikov. a. Vidik trendov Poudarek je na oblikah usposabljanja, ki potekajo na šoli in pri katerih sodelujejo visokošolski učitelji z izkušenimi učitelji, novinci ter študenti na skupnih projektih reševanja pedagoških problemov. Poudarek je na povezovanju formalnega izobraževanja z neformalnim učenjem (vseživljenjsko učenje) sodelovanje v mrežah. 12 b. Vidik pobude OECD študija (1999) govori o organiziranju z vidika pobude (učitelji, organi šol, univerze, učiteljska središča, ministrstvo, izvajalci ...). Ločuje tri pristope: - Top-down - šolske oblasti odločajo o tem, kaj šole in učitelji potrebujejo in zagotavljajo vse bistvene elemente. - Bottom-up izhaja iz potreb učiteljev in šol in prilagaja programe in aktivnosti tem potrebam. - Bottom-accross - šolske oblasti zagotovijo delovanje mrež učiteljev, ki skrbijo za diseminacijo dobre prakse. c. Vidik »skrbnika« sistema zajema naslednje oblike: - šolska oblast (centralna, regionalna ali lokalna), - neodvisne strokovne institucije, - samoorganizacija razvoja, šole nosilec dejavnosti, - aktivno partnerstvo šol in univerz, - koordinacij e medšolskih omrežij. d. Vidik izvajalca v tem modelu ni posebej omenjen. Premik od modela razvoja kadrov k modelu ustvarjanju ugodnega okolja za učenje Oldroyd in Hall (1991) sta razvila model, ki je obravnaval dva različna pristopa pri razvoju kadrov na področju izobraževanja. Levo stran razvoja imenujeta Tip A ali profesionalno usposabljanje, ki se nagiba k zaprtim in rutiniranim aktivnostim, medtem ko vsebuje Tip B aktivnosti, ki so usmerjene v spreminjanje delovanja in kulture institucije. Model deli različne oblike strokovnega razvoja glede na dve dimenziji: dimenzijo namena in dimenzijo izvajalca. Dimenzija namena opredeljuje ali je namen usposabljanje za delovanje/izvajanje na drugi strani pa je izboljšanje delovanja/izvajanja samega. Prvo vključuje znanje in spretnosti, drugo pa ravnanje in vedenje. Dimenzija izvajalca pa opredeljuje, kdo izvaja različne oblike, to so lahko bodisi zunanji strokovnjaki ali kolegi iz istega okolja. Leva stran modela obsega strukturirane učne aktivnosti, ki jih izvajajo zunanji strokovnjaki, namen usposabljanja in izobraževanja pa naj bi se nagibal bolj v razvoj, ki je usmerjen v izboljšanje opravljanja dela 13 (development for performance). Za izboljšanje lastnega delovanja (development of performance) je potreben premik proti desni polovici, proti tipu B, ki ga označuje podpora sodelavcev pri raziskovanju lastne prakse, mentorstvu, akcijskem raziskovanju, kolegialnem učenju in refleksiji. V središču slike se nahajajo aktivnosti, ki so vezane na samorazvoj posameznika in obsegajo učenje s pomočjo sodelavcev (diskusije, opazovanje, obiski) in učenje s pomočjo zunanjih strokovnjakov (svetovanje, supervizija). Za kvalitetno učenje in celostni razvoj posameznika in institucije sta potrebna oba pola. Obstoječi dvodimenzionalni model smo preizkusili tako, da smo nanj aplicirali obstoječe oblike profesionalnega razvoja v evropskem prostoru. S pomočjo strokovnjakov iz devetih evropskih držav smo na mednarodni konferenci »Mentoring, a Journey of Learning« (april, 2006) nadgradili obstoječi model še z dimenzijami časa, okolja, in pobude, poleg že obstoječih dimenzij izvajalca in namena. Na model gledamo kot na živ organizem, ki se razvija in spreminja v skladu z razvojem, ki se odvija na področju profesionalnega razvoja učiteljev. (Slika 1.) Smernice in priporočila Slovenija se je s podpisom in sprejemom nekaterih dokumentov EU zavezala, da bo sledila in izpolnjevala skupne strateške cilje pri vzpostavitvi in uveljavitvi koncepta vseživljenjskega učenja in trajnostnega razvoja ter na ta način prispevala k razvoju človeških virov. Poudarjeno je predvsem izobraževanje in usposabljanje skozi celotno življenjsko obdobje. Na podlagi analize različnih oblik dela, sodobnih trendov v mednarodnem prostoru, diskusije s strokovnjaki iz drugih evropskih držav in z vidika premika v paradigmi na področju učenja in profesionalnega razvoja strokovnih delavcev so bile oblikovane naslednje smernice: - Dimenzija izvajalca - partnerstva. Šole oz. učitelje je potrebno sprejeti za partnerje in jih aktivno vključiti v načrtovanje sprememb. S tem jim zagotavljamo možnost izbiranja in vplivanja. Tudi vloga izvajalca se na ta način vse bolj spreminja: namesto vsiljevanja ponujamo mentorstvo in podporo in s tem vse bolj postajamo "spodbujevalci sprememb" in partnerji v procesu učenja. Posledica so učeče se skupnosti za katere je značilno, da same načrtujejo lasten razvoj in prevzemajo odgovornost zanj. - Dimenzija namena - raznolikost in fleksibilnost. Ker želimo s pomočjo profesionalnega usposabljanja razvijati in spodbujati znanja in spretnosti, delovanje in 14 ravnanje na področju vzgoje in izobraževanja, je potrebno po eni strani ohraniti vse oblike, ki so se pokazale uporabne z vidika učiteljev in jih nadgraditi z novimi oblikami, glede na namen, ki ga želimo doseči. - Časovna dimenzija - proaktivni pristop. Ker je bilo naše delovanje do sedaj usmerjeno predvsem v izboljševanje obstoječe prakse, odpravljanje napak, dopolnjevanje obstoječih znanj, je potrebno zagotoviti enakovreden delež aktivnosti, ki bodo usmerjene v prihodnost, uvajanje sprememb, inovacij in ustvarjanje novega znanja. - Dimenzija okolja - povezovanje z drugimi inštitucijami in iniciativami. Potrebno je zagotoviti ustvarjanje ugodnega okolja za učenje, ki ne more biti več samo šolski prostor, ampak se v svetu vse bolj širi izven meja šole in povezuje s širšim družbenim okoljem. - Dimenzija pobude - mreže. Poleg pobud, ki prihajajo od spodaj navzgor je potrebno v mreže umestiti tudi pobude »bottom across«, ki prihajajo iz širšega okolja in jih povezati v mreže, ki spodbujajo in zagotavljajo vzajemno učenje. Te smernice so v skladu s trendom uveljavljanja bolj demokratičnih inparticipatornihpraks, ki prispevajo k povečevanju odgovornosti na vseh ravneh ob hkratni decentralizaciji in deregulaciji šolskih sistemov, ki je značilen za najbolj napredne šolske sisteme. S tem ko šole oz. učitelje sprejmemo za partnerje in jih vključimo v načrtovanje sprememb, jim omogočimo možnost izbiranja in vplivanja; ali s Hargreavesovimi (2000) besedami, namesto, da bi jim z direktivnostjo moč jemali, jim jo podeljujemo. Tudi vloga izvajalca se s tem vse bolj spreminja: namesto vsiljevanja, ponujamo mentorstvo in podporo in s tem vse bolj postajamo "spodbujevalci sprememb". Prav na podlagi slednjega pa lahko vpeljemo tudi kategorijo kvalitete izvajalca. Učitelju ponudimo možnost izbiranja in vplivanja na ta način, da mu omogočimo izbiro med različnimi izvajalci v prostoru, obenem pa z določenim modelom evalvacije izvajalcev skrbimo za boljšo preglednost nad kvaliteto in olajšamo možnost izbire na podlagi nekih kriterijev. Opisane dimenzije nam lahko služijo kot del nabora kazalnikov za presojo kvalitete. V evropskem prostoru smo zasledili dve vrsti spremljanja kvalitete izvajalcev nadaljnjega izobraževanja in usposabljanja. V prvem primeru gre za notranjo evalvacijo, ki jo opravljajo izvajalci sami, kjer na različnih segmentih procesa evalvirajo svoje delovanje, da bi izboljšali ponudbo in postali bolj konkurenčni. Nanaša se na obdobje konec 90. let, ko je bilo nadaljnje 15 izobraževanje in usposabljanje v največjem vzponu. Prikaz študij primerov iz šestih evropskih držav ilustrira tovrstno evalvacijo in njene učinke. V drugem primeru gre za primerjavo zunanje evalvacije ali akreditacije med različnimi evropskimi državami iz leta 2006. V tem obdobju je večina držav že čutila nujno potrebo po pregledu nad dogajanji na tem področju, saj je vse večja ponudba v evropskem prostoru onemogočila pregled nad izbiro in kvaliteto ponudbe in izhaja iz potreb šolske prakse. ■ Strokovno usposabljanje Razvoj za delovanje ■ Strokovna podpora K r Kolegialna podpora V Sodelovalna izmenjava ■ Strukturirane učne aktivnosti -usposabljanje MV samoPažj/oK,'" F * V ' v r Sodelovalna akcija in refleksija ¥ .•Coaching in svetovanje r Podpora zunanjih strokovnjakov Razvoj delovanja / / Dimenzija okolja / / Dimenzija pobude— / / Časovna dimenzija / / Slika 1: Nadgrajeni Model Oldroyd in Hali (2006) 16 Mednarodni pogled Primerjava evalvacij NIU v šestih evropskih državah Namen študije Skupina evropskih strokovnjakov v okviru delovne skupine za nadaljnje izobraževanje in usposabljanje (ATEE) se je leta 1989 odločila zbrati študije primerov, ki se nanašajo na evalvacijo stalnega strokovnega spopolnjevanja. Sodelovali so strokovnjaki z Nizozemske, Španije, Danske, Anglije, Avstrije in Nemčije. Nastal je model, ki je omogočil primerjavo evalvacije šestih evropskih držav. Razvili so ga za potrebe OECD Inovativnost v nadaljnjem izobraževanju in usposabljanju učiteljev, za potrebe te raziskave pa so ga prilagodili na podlagi razprave, ki je potekala v okviru ATEE. Model poskuša vzpostaviti povezavo med ključnimi elementi programa in zaznati medsebojno soodvisnost. Slika 2 predstavlja model evalvacije in znotraj njega posamezne elemente in povezave med njimi. V zadnjem času se izobraževalne oblasti vse bolj zavedajo koristi nadaljnjega izobraževanja za učitelje, izvajalci NIU postajajo profesionalci pri svojem delu in učitelji se zavedajo nujnosti nenehnega izobraževanja. Tako postajajo sistemi in izvajalci NIU vedno bolj izpopolnjeni in dovršeni. Vzporedno s tem se pojavlja potreba po evalvaciji NIU. Financer želi dokaz o ekonomičnosti svojih vlaganj, izvajalci želijo dokaze o učinkih svojih prizadevanj in udeleženci čutijo naraščajočo potrebo po refleksiji svojih delovnih procesov. Elementi modela a. Politike - okoliščine, v katerih potekajo aktivnosti NIU. b. Izvajalec - kdo je izvajalec, njegov status, izkušnje, kvalifikacije ..., na čigav račun poteka, kakšna je pravna podlaga, zakaj se izvaja aktivnost, kdo jo je spodbudil, kaj je namen? c. Omejujoče/spodbujajoče okoliščine - kje se dogaja, lokalne okoliščine, kdaj, koliko časa, kakšna je materialna opremljenost. d. Udeleženci - kdo so, kakšen je njihov status, zakaj so vključeni, kakšna je njihova motivacija, pričakovanja, obveznosti. e. Zasnova programa - vsebina in cilji, kdo sodeluje pri oblikovanju? f. Izvedba programa - struktura, mediji, metode, načini dela za udeležence in predavatelje, odstopanja, zakaj do njih prihaja. 17 g. Učinek na izvajalca - kakšne so povratne informacije in njihove posledice. h. Učinek na udeležence - kakšni so učinki in na katerem nivoju. Politike A i Udeleženci D Slika 2: Shematični prikaz Modela evalvacije Omejujoči/ spodbujajoči pogoji C 18 Evalvacija programov glede na področje odločanja Izhodišče je Stufflebeamova definicija evalvacije, ki pravi, da je evalvacija proces opisovanja, pridobivanja in zagotavljanja koristnih informacij za presojo izbire odločanja. Eden od kriterijev za sistemiziranje evalvacij je torej preverjanje točk odločanja. V modelu gre za stične točke med elementi A, B, C in D. Politika vpliva na izvajalca, pogoje in udeležence, kar je lahko jasno vidno ali prikrito. V vsakem primeru mora izvajalec zbrati in interpretirati podatke o tem kje in kakšne vrste je vpliv politike. Za zasnovo programa je potrebno veliko informacij, od kvalifikacij izvajalcev do udeležencev, časovne omejitve, materialnih pogojev. Odnos med posameznimi elementi ni nujno enosmeren. Npr. cilji in vsebina zahtevajo določene spodbujajoče pogoje. Na drugi strani bodo pogoji silili izvajalca, da prilagodi določene cilje in vsebino (C-E). Izvajanje programa ni nujno v skladu z načrtovanim (C-E-F). Med izvajanja programa vsi potekajoči procesi vplivajo tako na izvajalce kot na udeležence, njihovo motivacijo, vedenje, pričakovanja... in to povratno vpliva na novo nastajajoče procese. Nivo končne odločitve se nanaša na učinke programa. Po zaključku je treba sprejeti odločitev ali bo ponovno izvajan in financiran v taki ali drugačni obliki. Izvajalec mora vedeti, kakšni so učinki usposabljanja na učenje in poučevanje (G-H). To področje zavzema tisto, kar tradicionalno razumemo pod evalvacijo NIU. Poleg elementov modela pa je pomembno upoštevati tudi specifike v povezavi z evalvacijo. Gre za to, kdo je tisti, ki evalvira (zunanji, notranji), koliko časa namenjamo evalvaciji (pred, med, po programu, ponavljajoče, nenehno.), kakšna je metodologija evalvacije in kakšen je namen evalvacije (kdo jo inicira, kdo objavlja, uporablja rezultate, s kakšnim namenom se izvaja). Primerjalna analiza študije primerov Po zapisu evalvacijskih aktivnosti, ki so jih na podlagi svojih primerov zabeležili predstavniki posameznih držav, lahko zaznamo naslednjo distribucijo, kjer vsaka črtkana oznaka predstavlja eno od aktivnosti (slika 3). 19 Na prvi pogled je jasno, da je glavni poudarek evalvacije na klasičnih oblikah. Tradicionalno se pojem evalvacija uporablja bolj ali manj kot sinonim za ocenjevanje. Po končanem programu evalvatorja zanimajo rezultati, bodisi glede takojšnje spremembe v znanju ali odnosu, oziroma glede posrednih učinkov na pristope v poučevanju. Večina pristopov v evalvaciji je usmerjenih na to področje. Metode se razlikujejo od neformalnih diskusij do visoko formaliziranih vprašalnikov. Z vidika namenov, ki jih imajo evalvatorji, se praviloma pojavljajo tri usmeritve v okviru motivacije za zbiranje podatkov: a. ocenjevanje napredka udeležencev (upravičen v primeru, da programi vodijo k formalni kvalifikaciji), b. kot pomoč retrospektivni refleksiji, namenjeni izvajalcem in udeležencem (ozaveščanje procesov in njihovih učinkov); drugačen način sumativne evalvacije, c. za nadgradnjo programov ali njegovih posameznih delov - čeprav se izvaja na koncu, je to formativna evalvacija, saj zbiramo podatke zato, da bi lahko vplivali na nadaljevanje programa z namenom izboljšati procese. 20 Slika 3: Shematični prikaz primerjalne študije primerov 21 Ob upoštevanju ugotovitev o treh različnih namenih, ki so lahko povod za evalvacijo, se skupina v desnem spodnjem kotu grafa razporedi nekoliko drugače in poudarek se premakne proti sredini. Tam se nahaja velik del formativnih postopkov v okviru evalvacije procesov. Evalvacija je mišljena z namenom kontrole in izboljšanja procesov, ki potekajo. Za samo evalvacijo in odločitve, ki jih sprejmejo na podlagi dobljenih podatkov, so lahko odgovorni tako udeleženci kot izvajalci. Ker pa so postopki namenjeni zgolj takojšnji uporabi, velikokrat niso zabeleženi, kar je za udeležence bolj sprejemljivo, saj podatkov ne more nihče zlorabiti. Po drugi strani pa je taka evalvacija v nevarnosti, da se ji ne pripisuje nobene vrednosti, razen, če vodi k določenim posledicam, ki vplivajo na izvajanje seminarja. Evalvacija lahko poteka tudi v fazi planiranja. Preverjajo se številni pogoji, potrebe in strategije. Študija je pokazala, da se večino teh elementov preverja intuitivno in da se izvajalci niti ne zavedajo vseh elementov, ki jih vključujejo v tej fazi, saj je večina sodelavcev študije šele na podlagi diskusije o svojih primerih ugotovila, da so vložili veliko več dela na področju evalvacije kot so ga zabeležili. To je še en dokaz o tem, kako so povsod prisotni prevladujoči »ocenjevalni« pogledi na evalvacijo. Če ponovno pogledamo distribucijo evalvacijskih ukrepov (slika 3), ugotovimo, da je veliko manj oblik evalvacije na strani izvajalcev kot na strani udeležencev. Na koncu je potrebno pogledati še specifična vprašanja, ki so bila zastavljena na začetku študije, in sicer kdo je tisti, ki evalvira, kakšen je čas namenjen temu, kakšne so metode in kaj je namen evalvacije. Kdo je evalvator? Z manjšimi izjemami zunanjih profesionalnih evalvatorjev, so v večini primerov evalvatorji izvajalci in udeleženci sami, odvisno od namena evalvacije. Bolj ko je seminar demokratičen, večja je stopnja aktivne udeležbe udeležencev. Bolj ko je evalvacija naravnana ocenjevalno, bolj ostaja izključna odgovornost izvajalcev. Kakšen je časovni okvir? V večini primerov je majhen obseg časa namenjen evalvaciji, povprečno pol ure na dan. Z vidika vsakodnevnih evalvacij se to zdi izvedljivo. Kakšne so metode evalvacije? Primeri navajajo raznolike pristope, ki obsegajo vse od profesionalnih, kompleksnih vprašalnikov, do doma narejenih navodil za intervjuje in neformalne klepete ob kavi. V večini primerov so bile izbrane metode ustrezne glede na namen evalvacije. Kljub temu pa bi bilo v bodoče dobrodošlo več profesionalnega pristopa pri razvijanju in uvajanju primernih inštrumentov za evalvacijo. Kakšen je namen evalvacije? V večini primerov je bila evalvacija namenjena izboljšanju obstoječega seminarja ali njegove bodoče izvedbe. Očitno je bilo s strani udeležencev zelo malo odporov, kadar je bil namen evalvacije jasno znan. To se je pokazalo kot ključno pri pripravljenosti za njihovo sodelovanje. Zagotavljanje kakovosti s pomočjo evalvacije izvajalcev v evropskem prostoru Publikacija Zagotavljanje kakovosti v izobraževanju učiteljev v Evropi, ki jo je izdal Generalni direktorat za izobraževanje in kulturo leta 2006 (pri nas je v prevodu izšla leta 2008), prikazuje pregled akreditacije in evalvacije stalnega strokovnega spopolnjevanja v različnih evropskih državah. Evalvacijo opredeljuje kot širok postopek sistematične in kritične analize, ki omogoča oceno kakovosti institucije ali programa za izobraževanje učiteljev in /ali priporočil za njihovo izboljšanje (2008: 73). Akreditacija pa je postopek, v katerem ustrezni zakonodajni ali strokovni organi presojajo, ali neka institucija oziroma program izpolnjuje vnaprej določene standarde, kar ji omogoča, da lahko izobražuje ali usposablja učitelje. Razlog za potrebo po evalvaciji leži v decentralizaciji in prevzemanju odgovornosti s strani šol, ki same organizirajo usposabljanje glede na lastne potrebe usposobljenosti in razvoja. Zaradi velikega števila izvajalcev postaja zagotavljanje kakovosti vedno pomembnejše. Glede na vrsto izvajalcev opredeljujejo šest vrst izvajalcev, in sicer: visokošolske inštitucije, inštitucije za začetno izobraževanje učiteljev, centri z javnimi pooblastili za stalno strokovno spopolnjevanje učiteljev, združenja in zveze učiteljev centri za usposabljanje v zasebnem sektorju ter druge izvajalce, kot so na primer nevladne organizacije in zasebna podjetja. Avtorji navajajo, da v večini držav veljajo predpisi o akreditaciji in evalvaciji. V nemško govoreči skupnosti Belgije, na Švedskem in Norveškem veljajo predpisi za evalvacijo tako za 23 začetno izobraževanje kot tudi stalno strokovno spopolnjevanje učiteljev. V devetih državah (Nemčija, Španija, Madžarska, Nizozemska, Poljska, Portugalska, Slovenija, Bolgarija in Romunija) predpisi o akreditaciji in evalvaciji veljajo za vse izvajalce. V francosko govoreči Belgiji, Estoniji, Grčiji, na Švedskem, Islandiji in Norveškem predpisi veljajo le za evalvacijo stalnega strokovnega spopolnjevanja, na Češkem, Danskem, v Latviji, Luksemburgu, na Slovaškem in Finskem pa le za akreditacijo. Francija, Ciper, Malta, Avstrija in Združeno kraljestvo nimajo predpisov ne o akreditaciji, ne o evalvaciji izvajalcev stalnega strokovnega spopolnjevanja, vendar vseeno opravljajo določene postopke. V Angliji in Walesu izvajalce statut zavezuje k določenim ocenjevalnim postopkom ter s pomočjo določeni agencij nadzorujejo kakovost stalnega strokovnega spopolnjevanja. Glavni postopki pri akreditaciji in evalvaciji se nanašajo na zunanjo evalvacijo v obliki obiskov inštitucij, analize pisne dokumentacije, samoevalvacije ter preverjanje drugih dokumentov o njihovi strokovni podlagi ter kot notranjo evalvacijo. Enajst držav ali področij (Belgija - francoski in flamski del, Španija, Latvija, Madžarska, Nizozemska, Poljska, Portugalska, Slovaška, Bolgarija in Romunija) obvezno uporablja skoraj vse naštete postopke. V osmih državah ni uradnih predpisov, in sicer v Franciji, Cipru, Litvi, Luksemburgu, na Malti, v Avstriji, na Finskem in Združenem kraljestvu. V drugih državah gre za pretežno analizo pisne dokumentacije ter obiske inštitucij. Obiski so ponekod fakultativni (Madžarska, Slovenija). Na Češkem, Danskem, Estoniji, Slovaškem in Italiji pa obiski niso del postopkov akreditacije in evalvacije. Notranja evalvacija je obvezna skoraj v vseh državah z uradnimi predpisi, razen na Češkem, Danskem, v Estoniji, na Irskem in v Italiji ter Švedskem. Ponekod je priporočena fakultativna, kot na primer pri nas. Postopke akreditacije in evalvacije lahko opravljajo različni organi, na primer: - agencija in komisija za evalvacijo (Belgija - flamski del, Nemčija, Madžarka, Slovenij a, Finska, Norveška, Bolgarija), - Ministrstvo za šolstvo (Češka, Danska, Estonija, Grčija, Italija, Litva, Madžarska, Poljska, Slovaška in Islandija), - neodvisni organ z javnimi pooblastili (Danska, Nemčija, Nizozemska, Portugalska, Romunija), - inšpektorat za šolsko izobraževanje (Belgija in Nemčija, Irska, Poljska) ali - inšpektorat za stalno strokovno spopolnjevanje (Madžarska) ter - drugi organi (Belgija - francoski del in Španija). 24 Obseg predpisov o akreditaciji in evalvaciji stalnega strokovnega spopolnjevanja učiteljev je zelo širok in obsega od vsebine programov, učnih metod, kompetenc predavateljev, kakovost z vidika udeležencev do opremljenosti (IKT, gradiva). Skoraj v nobeni državi ni s tem v zvezi posebnih predpisov, posameznim elementom pa vseeno namenjajo pozornost. V večini držav upoštevajo vsebino, učne metode ter kompetence vodij usposabljanja. Nekatere države pa imajo še druge elemente evalvacije, na primer skladnost vsebine in organizacije s cilji izobraževanja. Kako pogosto se izvajajo postopki akreditacije in evalvacije je zakonsko opredeljeno v 12 državah. - Vsako leto se izvaja v Belgiji - francoski del, Grčiji, na Poljskem in v Sloveniji, - od enega do treh let v Latviji in Estoniji, - na tri leta na Češkem (program), - štiri Romuniji, - pet let Belgij a , Madžarska in Polj ska ter - šest let Češka (institucija); Nizozemska in Švedska. - V Nemčiji, Franciji, Litvi, Avstriji, Združenem kraljestvu, Bolgariji in na Danskem, Irskem, Cipru, Malti, Portugalskem, Slovaškem, Finskem, Islandiji in Norveškem pa pogostost postopkov akreditacije in evalvacije stalnega strokovnega spopolnjevanja ni urejena s predpisi. Rezultati se lahko uporabljajo na različne načine. Akreditacija se lahko podeli ali odvzame zaradi dobrih ali slabih rezultatov na Češkem, Poljskem, Portugalskem, Madžarskem in v Latviji. Rezultati se lahko uporabijo tudi za izboljšave in predpise: v Grčiji za razvoj programov v prihodnjem letu, v Španiji za izboljšanje sistema stalnega strokovnega spopolnjevanja, na Cipru za odločanje o ciljih, postopkih in izvajalcih ter v Avstriji za zagotavljanje kakovosti in razvoj programov. Eden od rezultatov je tudi splošna informiranost vseh, ki so vključeni v proces stalnega strokovnega spopolnjevanja. Na Nizozemskem je informacija objavljena na spletni strani institucije, ki se ukvarja z evalvacijo in akreditacijo, na Irskem izvajalci dobijo izvod poročila s predlogi za izboljšanje, v Sloveniji je to splošno nacionalno poročilo, ki je objavljeno na spletu, na Finskem so akreditirani programi objavljeni na spletu in v Romuniji lahko učitelji programe izbirajo s seznama. 25 Nevarnost, ki jo je potrebno upoštevati je, da lahko postopki postanejo birokratski in nepregledni. Pogostost evalvacij je lahko dvorezen meč, saj to lahko pomeni dodaten pritisk na udeležence. Zaključki Pregled mednarodnih izkušenj bi lahko strnili v nekaj zaključkov. Zaradi večje avtonomije šol in velikega števila izvajalcev v različnih evropskih državah ugotavljajo, da je potrebno zagotoviti nadzor nad kakovostjo izvajalcev. Pozornost je potrebno nameniti temu, kako in s kakšnimi referencami so izbrani izvajalci evalvacije oziroma za kakšen način evalvacije se odločimo (notranja, zunanja, eksperti, udeleženci). V primeru samoevalvacije ali zunanje evalvacije izvajalcev je potrebno zagotoviti pogoje, ki bodo spodbujali izvajalce k izboljševanju njihove kvalitete in doseganje napredka glede na njihove dosedanje dosežke. Cilj mora postati večja kvaliteta storitev, dejavnosti, odnosov zaradi notranje motivacije izvajalcev, ne zaradi grožnje z javno objavo lestvice najboljših. Pogostost evalvacije je naslednja kategorija, saj redne evalvacije v določenih časovnih razmikih zagotavljajo ažurne podatke, slabost pa je prepogosta evalvacija, ki obremenjuje udeležence. Pomembno je tudi, kakšen je namen evalvacije. Od tega je odvisno, kdo jo izvaja in kakšne instrumente bomo uporabili. Za evalvacijo si je potrebno vnaprej zagotoviti temu namenjen čas in vključiti udeležence v procesu usposabljanja v skupno evalvacijo, kjer mora biti jasno, zakaj se evalvacija izvaja in zakaj je vredno temu nameniti določeno količino časa. Za uvajanje takega modela je potrebno spodbuditi dialog med izvajalci in uporabniki, kjer lahko postane sodelovanje ključ za razvoj in kjer je participatornost pravilo, ne izjema. 26 Literatura Day, C. (1999). Developing Teachers, The Challenges of Lifelong Learning. London: Falmer Press. Elliott, J. (1991). Three Perspectives on Coherence and Continuity in Teacher Education. V: UCET Annual Conference. Hargreaves, A., Fullan, M. (2000). Mentoring in the New Millennium. Theory into Practice 39(1), 50-56. Kalin, J. (2004). Učiteljev profesionalni razvoj in kultura učeče se organizacije. Vodenje v vzgoji in izobraževanju, 3, 25-36. Merkač Skok, M. (2005). Osnove managementa zaposlenih. Koper: FM. Nentwig, P. (ur.) (1989). Evaluation in In-service education of teachers: A collection of Case studies from 6 European countries. Kiel: ATEE. Oldroyd, D., Hall, V. (1991). Managing staff development: a handbook for secondary schools. London: Paul Chapman Publishing. Ltd. Plevnik, T. (2004). Primerjave z ureditvami v nekaterih drugih državah - prikaz tujih ureditev, trendi, priporočila. V: Prenova sistema stalnega strokovnega spopolnjevanja za strokovne delavce v vzgoji in izobraževanju. Interno gradivo. Ljubljana: Ministrstvo za šolstvo, znanost in šport. Prenova sistema stalnega strokovnega spopolnjevanja za strokovne delavce v vzgoji in izobraževanju (2004). Interno gradivo. Ljubljana: Ministrstvo za šolstvo, znanost in šport. Pravilnik o nadaljnjem izobraževanju in usposabljanju. Uradni list RS, št. 64/2004, 83/2005 in 27/2007. 27 Staying Ahead: In-service Training and Teacher Professional Development (1999). Paris: OECD. Valenčič Zuljan, M. (2001). Modeli in načela učiteljevega profesionalnega razvoja. Sodobna pedagogika, 52(2), 122-141. Zagotavljanje kakovosti v izobraževanju učiteljev v Evropi (2008). Eurydice. Ljubljana: Ministrstvo za šolstvo in šport. Zelena knjiga o izobraževanju učiteljev v Evropi: kakovostno izobraževanje učiteljev za kakovost v vzgoji, izobraževanju in usposabljanju (2001). Ljubljana: Ministrstvo za šolstvo, znanost in šport. 28 dr. Majda Cencič Univerza na Primorskem Pedagoška fakulteta Koper 3 EVALVACIJA, KAKOVOST IN KAKOVOST EVALVACIJSKIH RAZISKAV Uvod Sodobna, nenehno spreminjajoča se družba zahteva hitre odzive in spremembe tudi na edukacijskem področju. Nenehne spremembe v družbi in na vzgojno-izobraževalnem področju pa je mogoče zagotoviti tudi s pregledom stanja in s pogledom v prihodnost. Pregled stanja omogoča evalvacija, ki pa mora vedno bolj postati ne le ugotavljanje stanja ali ugotavljanje kakovosti, ampak uprta v prihodnost, v načrtovanje in razvijanje pozitivnih dosežkov ali na izboljševanju kakovosti. V zadnjih letih je zelo naraslo zanimanje za evalvacijo. Podpirajo jo ministri, politiki, managerji in drugi. Evalvacija in kakovost sta imperativa v naših neuradnih in uradnih dokumentih ter v dokumentih Evropske unije (npr. Resolucija o nacionalnem raziskovalnem in razvojnem programu za obdobje 2006-2010, 2006; Enotni programski dokument Republike Slovenije 2004-2005, 2005; European Area of Lifelong Learning, 2000; The Concrete Future Objectives of Education and Training Systems, 2001). V teoriji se govori o različnih vrstah evalvacij. Obstajajo različni sistemi kakovosti, opravljeni so bili številni projekti ter objavljena besedila o evalvaciji in kakovosti. V besedilu povezujemo evalvacijo in kakovost. Lahko bi se usmerili tudi na akreditacije, ki je vse bolj prisotna tudi na pedagoškem področju. V povezavi z akreditacijo je evalvacija lahko predstopnja akreditacije. Akreditacijo na pedagoškem področju navadno opredeljujejo kot »postopek, v katerem ustrezni zakonodajni ali strokovni organi presojajo, ali neka inštitucija oziroma program izpolnjuje vnaprej določene standarde, kar ji omogoča, da lahko izobražuje 29 ali usposablja (učitelje in podeljuje ustrezne kvalifikacije, če je to predvideno)«. (Zagotavljanje kakovosti..., 2008: 207.) O evalvaciji lahko govorimo tudi kot o posebni vrsti raziskovalnega dela, saj vključuje vse bistvene sestavine raziskav. V besedilu omenjamo nekaj modelov evalvacij ter izpostavljamo pomen kakovosti evalvacijskih raziskav. Evalvacija Začetke sistematične evalvacije v izobraževanju zasledimo v ZDA v zgodnjih 60-ih letih, zlasti po Sputnikovem šoku, ko so začeli iskati pomanjkljivosti za zaostajanje ameriških učencev v znanju za sovjetskimi. Pomanjkljivosti so iskali v učnih načrtih, evalvacija pa naj bi pokazala, kako pomanjkljivosti odpraviti (Marentič Požarnik, 1999: 22). Podobno so tudi v Veliki Britaniji v 60-ih in 70-ih letih obsežne kurikularne reforme spodbudile evalvacijo programov. Opredelitev evalvacij programov, institucije ali izvajalcev je veliko, npr. da je: - proces odločanja, v kolikšni meri so uresničeni vzgojno-izobraževalni cilji (Tyler, 1949, po Sagadin, 1991: 93); - ocenjevanje vrednosti ali prednosti in veljave ali aktivnosti, ki zajema tako opis kot presojo (Nevo, 1986, po Hopkins, 1997: 4); - proces spreminjanja ocene o prednostih, vrednostih, pomembnosti edukacijskega programa (Borg in Gall, 1989: 742); - proces sistematičnega zbiranja in analiziranja informacij z namenom, da se oblikuje ustrezno presojanje, ki temelji na evidencah (Rogers in Badham, 1994: 101); - obsežen postopek sistematične in kritične analize, ki omogoča oceno kakovosti institucije ali programa in/ali priporočil za njeno in/ali njihovo izboljšanje (Zagotavljanja kakovosti., 2008: 7); - sistematično zbiranje podatkov o nekem pojavu z namenom dati o njem vrednostno sodbo in/ali ga na podlagi tega tudi izboljšati (Marentič Požarnik, 1999: 21). Ne glede na to, čigavo opredelitev evalvacije vzamemo za izhodišče, vidimo, da vse opredelitve omenjajo procesni vidik evalvacijkih raziskav, vključujejo ne le opis, ampak tudi presojo, odločanje ali ocenjevanje na osnovi evidenc nekega delovanja, to so zbrani podatki 30 (informacije) in oblikovanje kriterijev za njihovo presojanje in izboljševanje. Navedeni primeri opredelitve navajajo nekaj ključnih besed, ki so: proces, sistematičnost, kritičnost, pregled stanja in izboljšave. Zato bi lahko povzeli, da je evalvacija proces sistematičnega zbiranja in analiziranja informacij z namenom, da vrednotenje temelji na dokazih (evidencah) in da se vrednoteni pojav lahko izboljša. Kot je veliko različnih opredelitev evalvacij, je tudi več različnih vrst evalvacij izvajalcev programov, programov in/ali institucij (slika 1). Nekatere nasprotne vrste evalvacij teoretična (racionalna) empirična notranja (interna, intristična, samoevalvacija) zunanja (eksterna) formativna (sprotna) sumativna (končna) formalna neformalna produktna procesna ekstenzivna intenzivna primerjalna neprimerjalna celotna (holistična) analitična študija primera posploševalna kvantitativna kvalitativna administrativna raziskovalna sodelovalna (participatorna) nesodelovalna Slika 1: Nekatere nasprotne vrste evalvacij Na sliki 1 so le nekateri nasprotni pari evalvacij, ne pa vsi, saj Hopkins (1997) navaja tudi opisno in razlagalno evalvacijo, glede na pristop k informacijam in podatkom. V literaturi pa najdemo tudi druge delitve, npr. glede na vir, od koder pridejo zahteve po evalvaciji ali glede na različne zainteresirane skupine in njihove namene, ki postavljajo zahteve po evalvaciji (Ashcroft in Palacio, 1996: 104-107). Avtorja (prav tam) razpravljata o treh namenih evalvacij: političnem, birokratskem in razvojnem. Navedeni vidiki so lahko povezani v različnih in raznovrstnih kombinacijah. Tako je npr. lahko notranja evalvacija bolj formativna (sprotna) kot sumativna, bolj kvalitativna kot kvantitativna ipd. Poleg tega pa so možne tudi različne povezave, tako je lahko evalvacija tako kvantitativna kot kvalitativna, produktna in procesna ipd. Opredelitve so nam lahko v pomoč pri opredelitvi lastne evalvacije, pa tudi v dilemah, katero vrsto evalvacije izbrati, npr. pri razmišljanju ali zunanja ali notranja evalvacija, je lahko 31 prednost notranje evalvacije v tem, ker naj bi notranja evalvacija vključevala tudi razvoj »evalvacijske kulture«, ki pomeni, da se izvajalci ne čutijo pod pritiskom in nadzorom, ampak evalvacijo jemljejo kot sredstvo, ki je namenjeno njihovi profesionalni in osebnostni rasti in razvoju. Da so usmerjeni »naprej«, pa morajo imeti pomembno vlogo pri določanju kazalnikov kakovosti, pri uporabi dobljenih rezultatov, ki so predvsem namenjene njim in njihovemu razvoju ter načrtovanju sprememb. Zato je v prvi stopnji potrebno izhajati iz izvajalcev oz. od izobraževalcev, preučiti njihova mnenja, stališča, prepričanja, težave, probleme, omejitve ipd., pa tudi »dobro prakso« ter iz pozitivnih ugotovitev z njimi načrtovati spremembe in razvoj, ki naj temelji na sodelovanju. Sprememba evalvacijske kulture pa zahteva spremembo odnosov (npr. medsebojno spoštovanje, zaupanje, timsko delo, pa tudi spremembo miselnih vzorcev. To pa je najtežje, ker se vsak sistem upira spremembam in zahteva veliko časa (Hafner, 1994). Lahko pa bi rekli, da je najboljša povezava, kombinacija ali pluralizem pristopov, saj ima vsaka vrsta evalvacije svoje prednosti in slabosti. Že dolgo je namreč znano, da kvantitativni podatki, ki so merljivi, objektivni, veljavni in zanesljivi, ne morejo pokazati vseh perspektiv, pa tudi vsega na družboslovnem področju ne moremo izmeriti ali oceniti. Obstajajo različni pogledi, različne interpretacije in razlage, različne okoliščine ipd. Zato priporočajo vključitev tudi intervjujev v evalvacijo, saj pravijo, da vprašalniki ne zajamejo »zgodbe« in prav zgodba navadno omogoči najbolj močno podobo evalvacije (Mc Namara, 2008). Ali da zaprtim tipom vprašanj sledi nekaj vprašanj odprtega tipa, ali da različne vprašalnike, ki so kvantitativno naravnani, kombinirajo s fokusnimi skupinskimi intervjuji, reflektivnimi dnevniki ipd. Ugotovili pa so, da so bolj kvalitativne tehnike zbiranja podatkov bolj primerni za formativno evalvacijo kot pa za sumativno evalvacijo (Huxham, Laybourn in Cairncross, 2008). Imajo pa kvantitativne tehnike nekatere prednosti, med katerimi bi lahko izpostavili tudi hitro zbiranje in obdelavo podatkov, ki je oboje lahko računalniško, grafično predstavljanje rezultatov ipd. Velik pomen je namenjen tudi izvajalcem programov, izobraževalcem ali zaposlenim na inštitucijah pri določanju kazalnikov kakovosti, pri odločanju o uporabi dobljenih informacij ter pri načrtovanju sprememb za namen ugotavljanja in izboljševanja kakovosti. Menijo (Wallace, 2008), da je koristno, da imajo »besedo« pri izsledkih evalvacij tako udeleženci programov (izobraževalci) ter drugi zainteresirani. V tako imenovano sodelovalno evalvacijo poskušajo vključiti vse zainteresirane: zaposlene, to je izvajalce ali izobraževalce, kot tudi uporabnike, udeležence ali izobraževance. Vključitev udeležencev in razprava o rezultatih 32 tudi z njimi naredi evalvacijo bolj učinkovito ter osvetli področja in potrebe za kasnejše izboljševanje. Izobraževalce in izobraževance pa poskušajo vključiti tudi v proces načrtovanja evalvacije. Zainteresirani lahko prispevajo praktično znanje, ki vodi pri sprejemanju odločitev. Evalvacije se pogosto povezujejo s kontrolo ali nadzorom, vrednotenjem ali ocenjevanjem, pregledovanjem in načrtovanjem, kar bi označili kot načrtovanje sprememb. Povezavo med evalvacijo, pregledovanjem in načrtovanjem kaže slika 2. Slika 2: Povezava evalvacije, pregledovanja in načrtovanja Na sliki 2 vidimo, da izvajamo »pregled« v določenem trenutku ali sedaj ter da se nanaša na dejavnosti in procese, ki so se dokončali. Ta »pregled« pa koristi za načrtovanje dejavnosti v prihodnje ali za izboljševanje kakovosti. Pravijo, da je evalvacija kompleksna aktivnost, ki je podobna reflektivnemu plezanju v akciji, saj obstajajo številna »evalvacijska« vprašanja, ki si jih lahko postavimo in na katera lahko odgovorimo (Hopkins, 1997: 12). Nekaj osnovnih vprašalnic in kratkih odgovorov nanje sta navedla tudi Chinapah in Miron (1990: 32). Dodajata, da so vprašalnice in njihovi odgovori ključni pri načrtovanju evalvacije, ko morajo vsi vključeni v pripravo na evalvacijo poskušati odgovoriti na vprašalnice, kot so: - kako? (katero metodologijo izbrati); 33 - kdaj? (čas evalvacije); - kje? (vzorec ali vključeni dejavniki v evalvacijo); - zakaj bo potekala evavacija? (navedba razlogov); - kdo bo vodil evalvacijo? (kdo bo evalvator); - čemu? (cilji); - koga vse bo vključila? (kdo so zainteresirani); - komu je namenjena? (oseba, ki odloča); - kateri so kriteriji? (kriteriji); - pa tudi v čigavo korist? (koristnost ali uporabnost evalvacije). Evalvacijske raziskave Evalvacije potekajo na osnovi zbranih podatkov in informacij. Proces zbiranja podatkov in informacij je potrebno načrtovati, zbiranje podatkov in informacij pa korektno izpeljati s posebnimi tehnikami zbiranja podatkov, podatke obdelati, rezultate pa ustrezno predstaviti ali objaviti in jih uporabiti za načrtovanje dela naprej. Glede na navedeno vključuje evalvacija vse bistvene sestavne dele raziskovalnega dela, zato lahko govorimo o evalvacijah kot o vrsti raziskave, ki navadno kombinira kvantitativno in kvalitativno paradigmo raziskovanja in kjer gre pogosto za sodelovalno raziskavo, saj pri njej sodelujejo timi evalvatorjev -raziskovalcev. Lahko povzamemo, da je vsaka evalvacija v bistvu raziskovalni proces, ki ga sestavljajo nekatere osnovne stopnje, npr.: - načrtovanja evalvacije: oblikovanje ciljev, ki naj bodo glede na določeno vrsto evalvacije določeni, pomembni in časovno omejeni, pridobljeni tako s kvantitativnimi kot tudi kvalitativnimi tehnikami zbiranja podatkov; načrtovanje postopka - strategije za dosego ciljev (kako, s kom in kdaj se bo doseglo zastavljene cilje); načrtovanje zbiranja podatkov; njihovo analiziranje in načrtovanje sprememb; - zbiranje podatkov in njihova analiza; - pregledovanje, refleksija glede na razvojni načrt, oblikovanje veljavnega in dovolj zanesljivega presojanja ali vrednotenja ter - poročanje o rezultatih in načrtovanje dela naprej. 34 Osnovne stopnje so skupne različnim vrstam evalvacije. Razlike med njimi so glede časa in kraja opravljanja raziskave, kdo jo vodi, kakšen je njen obseg in globina, kako je strukturirana, kaj se vrednoti ipd. Evalvacija in kakovost Če pogledamo v enega izmed dokumentov Evropske unije (npr. Detailed Work Programme on the Follow-up of the Objectives of Education and Training System in Europe, 2002), razberemo, da je bil eden od poudarjenih ciljev do leta 2010 zagotoviti višjo kakovost na področju sistemov in institucij izobraževanja in usposabljanja. Tudi evropski parlament je predlagal glede kakovosti, da naj se vrednotenje kakovosti izvaja glede na gospodarsko, družbeno in kulturno okolje ter naj se upoštevajo evropske dimenzije (Recommendation of the European Parliament..., 2000), z namenom, da se: - razvija transparentnost ugotavljanja kakovosti oz. transparentnost evalvacijskega sistema kakovosti ter da se doseže: - visoka stopnja kakovosti izobraževanja in njegovega izboljševanja, - kakovost kot osnova vseživljenjskega učenja, -spodbuja naj se samoevalvacija in zunanja evalvacija, med katerima naj bo neko ravnotežje in podpora, saj naj zunanja evalvacije podpira notranjo in omogoča zunanji pogled ter spodbuja proces stalnega izboljševanja; - spodbuja in vključuje naj se zainteresirane v proces zunanje in notranje evalvacije z namenom promoviranja in razdeljevanja odgovornosti za izboljševanje; - spodbuja naj se usposabljanje v vodenju in uporabi samoevalvacij in posebnih instrumentov evalvacije s cilji: - da bi bila samoevalvacija učinkovita in namenjena izboljševanju kakovosti, - da bi se razširjali primeri dobre prakse in novi instrumenti za namene samoevalvacije; - naj se spodbuja možnosti učenja drug od drugega (kolegialno ali sodelovalno učenje) v nacionalnem kontekstu in v Evropskem kontekstu, s cilji: - identifikacije in razširjanja dobre prakse in pripomočkov, - oblikovanje mreže povezav na lokalni in regionalni ravni, ki bi podpirale druga drugo in omogočale zunanjo spodbudo v evalvacij skem procesu; - spodbuja naj se sodelovanje med vsemi strokovnjaki ter naj se vključi tudi druge zainteresirane v vrednotenje kakovosti: - pri izmenjavi informacij in izkušenj, - pri zbiranju in razvijanju kazalcev, ki so pomembni za vrednotenje kakovosti, - pri 35 uporabi rezultatov nacionalnih in mednarodnih študij za razvijanje evalvacije, - pri objavljanju rezultatov, - pri spodbujanju stikov med strokovnjaki. Če povzamemo, je glavni cilj ugotavljanje in izboljševanje kakovosti, pa tudi vključitev vseh zainteresiranih v proces evalvacije in kombiniranje, kar smo že zapisali, različnih vrst evalvacije in sistemov kakovosti, tako zunanjih kot tudi razvijanje notranjih. Lahko bi povzeli, da naj bo ugotavljanje kakovosti »od zunaj« s pomočjo oblikovanih kazalnikov, le eden izmed spodbud za izboljševanje kakovosti, ki temelji na sodelovanju in težnji po spremembah »od znotraj«. Evalvacijo povezujemo s kakovostjo. Glede kakovosti pa vemo, da nimamo enoznačne opredelitve in pravijo (Sallis, 1997), da je kakovost lažje prepoznati, kot jo opredeliti. Pravijo tudi, da je kakovost nedefiniran in neizmerljiv pojem, saj vključuje končni rezultat, pa tudi proces, na katerega pa vpliva več dejavnikov, med katerimi so tudi izobraževalci in izobraževanci. Dodajajo, da je kakovost dinamični pojem, pri katerem natančna opredelitev ne pomaga, saj ima kakovost veliko pomenov in dimenzij (Musek Lešnik in Bergant, 2001: 29). Nekateri se sprašujejo, zakaj so tudi na pedagoško področje vpeljali pojem kakovost. Sallis (1997) navaja štiri razloge: 1. strokovne, kot zahtevo po oblikovanju minimalnih standardov znanja; 2. družbene, ki jih narekuje splošni trend po kakovosti; 3. tekmovalne razloge konkurence tudi na področju izobraževanja ter 4. razloge, ki so povezani z ustanovitelji. Ne težimo le po kakovosti končnega produkta, npr. znanja, temveč tudi po kakovosti učnega procesa in po kakovosti odnosov. Ker je kakovost pojem, ki je v celoti težko opredeljiv, ga opredeljujejo z različnih vidikov. Nekateri se usmerjajo na izobraževance, drugi na izobraževalce, tretji na pogoje za delo ipd. Lahko smo si enotni le v tem, da je kakovost pojem, ki vključuje skupek različnih lastnosti in značilnosti. Kakovost je težko opredeliti zlasti v današnjem času, ki prisega na količino in merljivost vsega. Pravijo, da je izobraževanje storitev, kjer se meri zadovoljstvo udeležencev - 36 izobraževancev, uspešnost učiteljev - izobraževalcev in sodelovanje z okoljem. In čeprav se teži k objektivnosti merjenja, se moramo zavedati, da so ocene posameznih značilnosti in lastnosti le subjektivna kategorija. Če gledamo le z vidika izobraževalcev, ki so pomemben člen v procesu izobraževanja, je njihov cilj pridobivanje znanja, ki se preveri bodisi s preverjanji ali z uporabo v praksi. Zadovoljstvo udeležencev pa je različno v različnih fazah njihovega izobraževanja in je zelo odvisno od učne uspešnosti. Kadar uspešno opravijo izpit ali imajo kakšno drugo korist od učenja, so zadovoljni. Menijo, da so udeleženci zadovoljni, kadar se njihova pričakovanja izpolnijo in so navdušeni, kadar so njihova pričakovanja presežena. Zadovoljni uporabniki pa ostanejo zvesti več časa, več se udeležujejo izobraževanj, so manj občutljivi za ceno in imajo dobro mnenje. Evalvacijske raziskave služijo za ugotavljanje kakovosti. Vključujejo lahko številne spremenljivke, ki so bodisi nominalne, kot so spol, narodnost, poklic, delovno mesto ipd. ali ordinalne, kot so stopnja izobrazbe, zadovoljstvo, uspešnost, uporaba v praksi, sposobnosti, želje ipd. Za merjenje kakovosti pa se uporabljajo različni pripomočki, ki so bolj ali manj strukturirani in preizkušeni glede merskih značilnosti, kot so anketni vprašalniki, lestvice stališč, ocenjevalne lestvice, protokoli opazovanja, intervjuji, zapisi, dokumenti ipd. Zavedati se moramo, da ima tudi vsaka tehnika zbiranja podatkov svoje prednosti in slabosti (slika 3). 37 TEHNIKA CILJI PREDNOSTI SLABOSTI ko se želi hitro in - omogočajo - ne dobi se vseh anketa, ček lista, posredno priti do anonimnost, podatkov in ocenjevalna lestvica, podatkov, zbiranje - poceni, informacij, niti ne lestvice stališč podatkov pa je - enostavna in hitra razlag za navadno prostovoljno obdelava, podatke, in kar »prijazno« - možno zajeti - vprašanja lahko večje število usmerjajo vključenih, odgovore, - možno dobiti - je neosebno, veliko podatkov, - problem je - lahko se vnaprej vzorčenje in pripravi odzivnost, saj ne vprašalnike vemo, zakaj ne odgovarjajo, - rezultati ne pokažejo »celotne zgodbe« intervju, fokusirani ko se želi dobiti - raznovrstne in - potrebno je več intervju popolno razumevanje tudi časa, izkušenj, razlage za nepričakovane - težja in odgovore in informacije, dolgotrajnejša raziskovanje v - razvijanje odnosa obdelava »globino« z intervjuvancem, podatkov, - fleksibilno - dražji način, zbiranje podatkov - rezultati odvisni od intervjuista dokumenti - ko se želi - dobimo podatke, - zahteva več časa, vpogled delo, ne ki se nanašajo na - podatki so lahko da bi prekinili preteklost, nepopolni, procesa, - zbiranje podatkov - potrebno je - za pregled ne ovira učnega natančno uporabe procesa, opredeliti, kaj se finančnih - informacije že išče v sredstev ipd. obstajaj, dokumentih, - ne moremo - podatki so vplivati na omejeni na to, podatke kar že obstaja opazovanje pridobijo se veljavni - nanaša se na - težja in neposredni podatki dejansko interpretacija, in informacije o delovanje, - zahtevnejša delovanju, zlasti o - neposredno analiza, procesu pridobivanje - opazovalec lahko podatkov vpliva na opazovani pojav, - drag način zbiranja podatkov Slika 3: Nekatere tehnike za zbiranje podatkov, njihovi cilji, prednosti in slabosti 38 Glede na prednosti in slabosti različnih tehnik zbiranja podatkov je najboljše kombiniranje različnih tehnik zbiranja podatkov. Pri zbiranju informacij moramo upoštevati, da informacije zbiramo od »izhoda« (outputa), da pa so te informacije odvisne od vhodnih informacij (inputa) in od procesa (Taylor, 1996: 153). Torej pomenijo začetek zbiranja informacij rezultati - output, ki pa vključujejo potrebo po merjenju »vhoda« in raziskovanju procesa. Pri zbiranju podatkov se moramo zavedati pomanjkljivosti na družboslovnem področju, da če zbiramo podatke v določenem trenutku, ki se nanašajo na preteklo dejanje, da se lahko marsikaj izgubi ali da »spomin barva preteklost« (Edwards in Talbot, 1994: 40) pa tudi, da vprašani lahko kontrolirajo ali »socialno odgovarjajo« na postavljena vprašanja. Evalvacija je koristna tudi za splošno informiranost vseh vpletenih v dejavnost nekega izobraževanja (Zagotavljanja kakovosti..., 2008: 62-63) in za razvoj evalvacijske kulture. Kot cilji evalvacije se navajajo bodisi, kar smo že omenili: - dokazovanje in izboljševanje kakovosti (Rogers in Badham, 1994: 101-103); - identifikacija problemov in sprejemanje korektivnih ukrepov (Sallis, 1997: 119); - zadovoljevanje potreb uporabnikov (tako notranjih kot zunanjih) (prav tam); - informiranje, npr. določenih financerjev, ministrstev ipd.; - želja in potreba po izboljšavah in razvoju, ki prihajajo iz neke institucije (Smith, 2008); - identifikacija problemov in sprejemanje korektivnih ukrepov (Sallis, 1997: 119). Navedeni cilji se navadno ne pojavljajo izolirano, ampak se dopolnjujejo in kombinirajo. Modeli evalvacije Obstaja kar nekaj različnih modelov evalvacij, ki so bodisi: - kvantitativni, ker temeljijo na različnih merljivih kazalcih; - kvalitativni, ker temeljijo na opazovanju procesov in produktov in na različnih interpretacijah; - participativni; 39 pa tudi managerski; reflektivni; ali kombinacijski modeli. Različni modeli navadno vključujejo udeležence, oblikovanje učne kulture, učne dosežke, učne izkušnje ipd. Modeli so lahko v obliki input-output zasnove, bottom-up ali top-down modeli ali drugih vrst. Eden najbolj poznanih je Tylorjev input-output model evalvacije (slika 4). 2. »Izhod« vključuje potrebo po ugotavljanju »vhoda« 1. 3. ... in raziskovanje procesa. Začet Slika4: Tylorjev model evalvacije (Tylor, 1996: 153) Model (slika 4) kaže, da informacije navadno zbiramo od izhoda (outputa), so pa odvisne od vhoda (inputa) in procesa (Tylor, 1996: 153). Kaže pa tudi, da se premalo upošteva zbiranje drugih podatkov, ki so prisotni na začetku in v času procesa. Modeli so lahko tudi grafično predstavljeni v obliki različnih prikazov, npr. »tkanja«, »mrež«, »kristalov« ipd. (Trunk Širca, 2004). (Slika 5.) 40 / izvedba 71 pogoji odnosi udeleženci izvajalci Slika 5: Geometrijski model evalvacije Vedno bolj pa se uveljavljajo tudi modeli v obliki profila, ki smo ga izbrali tudi v našem projektu, saj naj bi najbolj pokril raznovrstna področja evalvacije in predstavljal bolj celostno ali holistično evalvacijo izvajalcev. Kakovost evalvacije Če je kakovost imperativ evalvacij, se lahko vprašamo, kakšne so kakovostne evalvacijske raziskave. Verjetno se strinjamo, da je kakovost evalvacije odvisna od več dejavnikov. Kljub temu je Sagadin (1999: 210) zelo na kratko strnil in povzel: »Evalvacija mora biti opravljena strokovno kvalitetno in pošteno.« V nadaljevanju pa povzema značilnosti iz 30. standardov (Joint Commettee, 1994, po Sagadin, 1999), ki jih najdemo povzete tudi v Izhodiščih za evalvacijo (1999) ali še v kakšnih drugih člankih (npr. Bucik, 1999). Kriteriji, ki jih povzemajo se nanašajo na: 1. koristnost - da dobro služi potrebam potencialnih uporabnikov; 2. izvedljivost - da bo stvarna, razsodna, taktna in zmerna; 3. primernost - da bo zakonito izvedena, etično in dobro tako za tiste, ki so vključeni vanjo, kot za druge, ki jih rezultati evalvacije zanimajo, zadevajo ali so od nje odvisni; 4. natančnost - da bo nudila vse informacije, ki določajo pravo vrednost in vrline. 41 Navajajo pa tudi (Izhodišča za evalvacijo, 1999), da je potrebno biti pozoren pri: - opredeljevanju evalvacije; - pri načrtovanju; - pri zbiranju podatkov in pri - analizi dobljenih informacij. Zato lahko evalvacijsko raziskavo razčlenimo nekoliko drugače, npr. na pet stopenj procesa, ki si sledijo:: 1. izhodišče, kar bi se pokrivalo z opredelitvijo in načrtovanjem; 2. zbiranje podatkov; 3. analiziranje in interpretiranje podatkov; 4. predstavitev ugotovitev in/ali poročanje o rezultatih ter uporaba ugotovitev; 5. ter načrtovanje sprememb in izboljšav. Glede na postavljene ključne točke, je kakovostna tista evalvacija, za katero je značilna kakovost vsake stopnje. Čeprav so v Izhodiščih za evalvacijo (1999) razčlenjene stopnje, jih v tem besedilu nekoliko drugače navajamo (slika 6). Opozorim pa naj, da je shema navedena le kot primer in za razmislek, ni pa še dodelana in niti ne preizkušena v praksi. Izhajamo pa iz tega, da morajo biti stvari, ki naj se uporabijo, čim bolj preproste, razumljive in pregledne. Zato tudi navajamo primer, ki bi ga lahko še naprej izgrajevali. Nekatere kritične točke smo identificirali in razčlenili na ključne točk. Vendar pa je področje tako kompleksno, da bi zahtevalo timski, interdisciplinaren in trandisciplinaren pristop, če bi ga želeli doreči in sprejeti neko soglasje. 42 KRITIČNE TOČKE PROCESA RAZČLENITEV EVALVACIJE 1. izhodišče - cilji, - vzroki, - vključeni, - tehnike zbiranja podatkov in po potrebi izdelava instrumentov, - uporaba rezultatov, ... 2. zbiranje podatkov - vrsta tehnik/-e zbiranja podatkov, - vrsta vprašanj (odprta, zaprta, kombinirana), - dolžina vprašalnika, - čas zbiranja podatkov, - motiviranost, zainteresiranost, - čas sodelovanja, - število sodelujočih oz. odzivnost, - odgovori, npr. popolnost odgovorov. 3. analiza in interpretacij a podatkov - vrsta analiz, - vrsta interpretacij, 4. predstavitev ugotovitev in/ali poročanje o rezultatih ter uporaba ugotovitev - izbor rezultatov, - preglednost rezultatov, - možnost prenosa rezultatov v prakso 5. načrtovanje spremembe in izboljšav - spremembe, ki se vnesejo, - vpliv sprememb, - ipd. Slika 6: Nekatere kritične točke procesa evalvacije Sklep Izvajalci programov izobraževanja in usposabljanja (inštitucije in izobraževalci) so eden ključnih, čeprav ne edini dejavnik kakovosti izobraževanja in usposabljanja učiteljev v procesu pretežno formalnega profesionalnega vseživljenjskega učenja. Saj kot smo med drugim v evalvacijski študiji ugotovili (Cencič in sod., 2006), je zadovoljstvo s programi bolj odvisno od izvajalcev kot od vsebine izobraževanja. Kljub temu mora biti evalvacija čim bolj celostno naravnana, tako kvantitativna kot kvalitativna ter vključiti različne dejavnike, ki vplivajo na kakovost. Viri in literatura Ashcroft, K., Palacio, D. (1996). Researching into Assessment and Evaluation. London: Kogan Page. 43 Borg, W. R., Gall, M. D. (1989). Educational Research. New York, London: Longman. Bucik, V. (1999). Kriteriji za presojanje kakovosti evalvacijske študije. Sodobna pedagogika, 50(4), 8 -18. Cencič, M. (1999). Vloga učiteljev v evalvacijskih raziskavah. Sodobna pedagogika, 50(4), 38 - 49. Cencič, M in sod. (2006). Evalvacija programov izobraževanja in usposabljanja strokovnih delavcev v Sloveniji, izvedenih v letih 2004/05: Partnerstvo fakultet in šol, Model IV. Koper, Ljubljana: Pedagoška Fakulteta, Ministrstvo za šolstvo in šport. Chinapah, V., Miron, G. (1990). Evaluation Educational Programmes and Project. Paris: UNESCO. Detailed work Programme on the Follow-up of the Objectives of Education and Training Systems in Europe (2002). Brussels: Council of the European Union. Edwards, A., Talbot, R. (1994). The Hard-Pressed Researcher. London, New York: Addison Wesley Longman. Enotni programski dokument Republike Slovenije 2004-2005 (2005). Ljubljana: Vlada Republike Slovenije. European Area of Lifelong Learning (2000). Brussels: European Commission working document, http://europa.eu.int/scadplus/leg/en/cha/c11054.htm (12.2.2006). Hafner, M. (1994). Korak k uspešnosti managerja za drugačno kakovost, 3. letna konferenca kakovost - naše izkušnje: zbornik referatov. Radenci: Slovensko združenje za kakovost, Radenci, 18 - 19. Hopkins, D. (1997). Evaluation for School Development. Philadelphia: Open University Press. 44 Huxham, M., Laybourn, P., Cairncross, S. (2008). Collecting Student Feedback: A Comparison of Questionnaire and Other Methods. Assessment & Evaluation in Higher Education, 33(6), 675 - 686. Izhodišča za evalvacijo kurikularne prenove vzgoje in izobraževanja v Republiki Sloveniji (1999). Ljubljana: Nacionalna komisija za uvajanje in spremljanje novosti in programov v vzgoji in izobraževanju. Marentič Požarnik, B. (2007). Izhodišča za evalvacijo: pisni zapis za diskusijo na Programskem svetu, zapis pri avtorici prispevka. Marentič Požarnik, B. (1999). Evalvacija - kakšna, za koga, čemu? Sodobna pedagogika, 50(4), 20 - 37. McNamara, C. (2008). Basic Guide to program Evaluation. http://www.managementhelp.ors/evaluatn/fnl eval.htm (15. 9. 2008). Mesec, B. (1997). Metodologija raziskovanja v socialnem delu, II. Ljubljana: Univerza v Ljubljani, Visoka šola za socialno delo. Musek Lešnik, K., Bergant, K. (2001). Samoevalvacija v vzgojno-izobraževalnih organizacijah. Ljubljana: Inštitut za psihologijo osebnosti. Recommendation of the European Parliament and of the Council on European Cooperation in Quality Evaluation in School Education (2000). Brussels: Commission of the European Communities. Resolucija o nacionalnem raziskovalnem in razvojnem programu za obdobje 2006-2010. (2006). Uradni list Republike Slovenije, 3(10.1.2006), http://www.uradni-list.si/1/ulonline.jsp?urlid=20063&dhid=80293 (10.2.2006). 45 Rogers, G., Badham, L. (1994). Evaluation in the Management Cycle. V: Bennett, N., Glatter, R., Levačic, R. (ur.). Improving Educational Management through Research and Consultancy. London: Open University, PCP, 101-126. Sagadin, J. (1999). Programska evalvacija. Sodobna pedagogika, 50(2), 196-211. Sallis, M. (1997). Total Quality Management in Education. London: Kogan Page. Smith, C. (2008). Building Effectiveness in Teaching through Targeted Evaluation and Response: Connecting Evaluation to Teching Improvement in Higher Education. Assessment & Evaluaton in Higher Education, 33(5), 517 - 533. Taylor, C. (1996). Monitoring Education: Indicators, Quality and Effectiveness. London: Cassell. The Concrete Future Objectives of Education and Training Systems (2001). Brussels: Council of the European Union. Trochim, W. M. K. (2006). An Evaluation Culture. http://www.socialresearchmethods.net/kb/evalcult.php (15. 9. 2008). Trunk Širca, N. (2004). Amodelnost samoevalvacijskih procesov. Koper: Fakulteta za management. Trunk Širca, N., Faganel, A. in sod. (2006). Poročilo o vzpostavljanju sistema institucionalnih zunanjih evalvacij slovenskih visokošolskih zavodov v letu 2006. Koper: Fakulteta za management. Wallace, T. LeB. (2008). Integrating Participatory Elements into an Effectiveness Evaluation. Studies in Educational Evaluation, 34(4), 201 - 207. Zagotavljanje kakovosti v izobraževanju učiteljev v Evropi, Eurydice (2008). Ljubljana: Ministrstvo za šolstvo in šport. 46 ddr. Barica Marentič Požarnik 1 NEKATERA NAČELA, POUDARKI IN ODPRTI PROBLEMI EVALVACIJE IZVAJALCEV STROKOVNEGA IZPOPOLNJEVANJA UČITELJEV Za uvod V zadnjem desetletju se je pri nas močno povečalo število izvajalcev stalnega strokovnega izpopolnjevanja na področju vzgoje in izobraževanja. Vzrokov za to je več; med drugim je k temu prispevala uvedba sistema, ki je vezal napredovanje učiteljev tudi na točke, ki jih pridobijo v raznih oblikah stalnega izobraževanja, in sofinanciranje tega izobraževanja s strani Ministrstva za šolstvo in šport na osnovi javnih razpisov. Rezultat tega je, da še zdaleč ne spadamo med države, v katerih so izvajalci izpopolnjevanja predvsem univerzitetne inštitucije za izobraževanje učiteljev, ampak so izvajalci poleg javnih zavodov tudi vse številnejše javne in zasebne inštitucije. Če naj ohranimo in še povišamo kakovost izvajanja, je nujno uvesti čim veljavnejše oblike (samo)evalvacije izvajalcev. Doslej uveljavljena oblika, to so vprašalniki za udeležence, sestavljeni s strani komisije za evalvacijo pri Programskem svetu za nadaljnje izobraževanje in usposabljanje strokovnih delavcev v vzgoji in izobraževanju in ki jih po novem udeleženci izpolnjujejo računalniško ter so pogoj za izstavitev potrdila, sicer daje določen vpogled v zadovoljstvo udeležencev s konkretnim predavateljem, izvedbo in organizacijo seminarja ali delavnice. Vendar vpogled v srednje ocene na ocenjevalnih lestvicah omenjenih evalvacijskih vprašalnikov za bolj celovito ovrednotenje kakovosti dela nekega izvajalca izpopolnjevanja ne zadostuje. V nadaljevanju bomo zarisali nekaj kriterijev kakovosti izpopolnjevanja, ki jih zaenkrat v predlogu evalvacije še ne moremo v celoti uveljaviti, nakažejo pa naj smer, v katero bi veljalo iti v prihodnje. 47 Pluralizem metodoloških modelov in namenov evalvacije Danes se v svetu uveljavlja pluralizem metodoloških modelov ali paradigem evalvacije. Poleg kvantitativnih objektivno analitičnih postopkov dobivajo vsaj v svetu večjo težo zlasti tudi kvalitativno, interpretativno in socialno-kritično zasnovane evalvacije (prim. Marentič Požarnik, 1999). To pomeni, da se vključujejo v večji meri tudi kvalitativne metode in podatki - in da se pozornost posveča tudi konkretnim okoliščinam, v katerih se programi izvajajo. Tu so mišljeni cilji in instrumenti šolske politike, sistemske rešitve, način in merila financiranja, opredeljevanje prioritetnih področij, vsebine in vrste programov, ki se razpisujejo oziroma spodbujajo in sofinancirajo, načini motiviranja učiteljev. ). Eden od pomembnih vidikov je, komu so rezultati evalvacije namenjeni - ali predvsem tistim, ki so evalvirani (izvajalcem), da vnesejo določene izboljšave ali pa so predvsem instrument kontrole »od zgoraj«. Poleg anket se vse bolj uporabljajo postopki, kot (pol)strukturirani intervjuji, opazovanje (z udeležbo), študije primerov, refleksivni dnevniki in podobno. Ni pa bistvo le v uporabi določenih postopkov, ampak v teoretični konceptualizaciji - kdo stoji za postopki evalvacije, kakšen je njihov glavni namen in kako se določa veljavnost dobljenih rezultatov. Pri tem lahko uporabimo vidike veljavnosti, ki jih navajata, sicer bolj za raziskovanje praktikov, Anderson in Herr (1999, po Marentič Požarnik, 1999: 27): - posledična veljavnost, ki se kaže v tem, ali na temelju evalvacije pride do akcij, ki vodijo do rešitve problema (oz. do izboljšanja stanja), v našem primeru do izboljšanja kakovosti izvajanja programov ali do izboljšanja pogojev, v katerih se izvajajo, - procesna veljavnost - ali so problemi opredeljeni tako, da spodbujajo nadaljnje učenje posameznikov in/ali sistema - sprožijo ciklus refleksij, - demokratična veljavnost - koliko se evalvacijsko raziskovanje izvaja v sodelovanju z vsemi stranmi, ki imajo interes za področje (torej z izvajalci samimi, z izvajalskimi organizacijami, udeleženci, financerji...), - katalitična veljavnost - ali proces evalvacije preusmerja in aktivira energije udeležencev h globljemu spoznavanju resničnosti z namenom, da bi jo spremenili, 48 - dialoška veljavnost - koliko evalvacija spodbudi kritičen in razmišljajoč dialog med zainteresiranimi stranmi. Ob tem je eno osrednjih vprašanj, komu - katerim interesnim skupinam so predvsem namenjeni rezultati evalvacije, čigavi interesi stoje za njo, čigava informacijska baza se krepi z njo, kaj naj bo njen končni rezultat (MacDonald, 1994, po Marentič Požarnik, 1999). Še konkretneje: če bodo na primer rezultati evalvacije izvajalcev izpopolnjevanja koristili predvsem financerju, če bo na osnovi rezultatov evalvacije tudi odmerjal finančna sredstva, potem se je bati, da se bo sistem temu prilagodil in bodo prizadevanja potekala predvsem v smeri, kako prikazati čim ugodnejše rezultate. Če pa bodo rezultati osnova za bolj informirano odločanje udeležencev, za širši dialog o tem, kaj vpliva na kakovost ponudbe, procesov, rezultatov, kaj vse je potrebno postoriti za izboljšanje kakovosti, tako s strani izvajalcev kot tudi naročnikov in udeležencev, potem bo evalvacija dosegla svoj namen. V našem primeru je bil opredeljen tudi namen, da na osnovi evalvacije postopno pridemo do »centrov odličnosti« ali do neke vrste certifikatov za najboljše izvajalce; to pa bo možno le na osnovi zelo kompleksne in temeljite kvantitativne in kvalitativne evalvacije. Glede na to, da je glavni cilj strokovnega izpopolnjevanja učiteljev prispevati k njihovi profesionalni rasti, k temu, da bodo čim bolj kakovostno in z zadovoljstvom opravljali svoje poklicne dejavnosti, je med drugim potrebno izhajati iz določenega teoretičnega modela o tem, kako poteka učiteljev profesionalni razvoj in kaj nanj vpliva. Gre med drugim za vprašanja temeljnih ciljev izpopolnjevanja - ali nam gre bolj za to, da učitelji pridobivajo oziroma izpopolnjujejo določene poklicne spretnosti ali poglabljajo teoretično znanje, ali gre bolj za znanje o vsebinah, ki jih poučujejo ali usposobljenost v didaktičnih pristopih ali o obojem hkrati; ali dajemo poudarek tudi osebnostni rasti, oblikovanju in razčiščevanju stališč, prepričanj, vrednot, zmožnosti timskega sodelovanja. Dandanes, ko je v ospredju razvijanje učiteljevih zmožnosti - kompetenc, bi morali gornje sestavine obravnavati kar se da povezano (prim. Marentič Požarnik, 2007). Ob tem moramo izhajati tudi iz strokovno podprtih spoznanj o tem, kako se učitelji učijo, kako se profesionalno razvijajo in kako lahko pozitivno vplivamo na te procese - kakšna je vloga teorije, kakšne praktične izkušnje in refleksije ter odnosi med njimi (Marentič Požarnik, 2000; Korthagen, 2009). Model »najprej teorija in potem praksa«, ki se še pojavlja na 49 področju izobraževanja in izpopolnjevanja, tudi v obliki, da rabijo učitelji predvsem teoretična spoznanja, ki jih bodo pozneje že sami od sebe vključevali v pouk, ne vzdrže več strokovne presoje. Kriteriji uspešnosti raznih oblik izpopolnjevanja Evalvacija izpopolnjevanja se tako pri nas kot v mednarodnem okviru pretežno osredinja na to, koliko izpolnjuje potrebe in pričakovanja učiteljev in kako so učitelji z izvedbo izpopolnjevanja - z organizacijo, vsebino, metodami, uporabnostjo, zanimivostjo, zadovoljni (vprašalniki udeležencem neposredno po določenih izobraževalnih dogodkih so usmerjeni prav v ta vprašanja). Dosti manj je poskusov evalvacije, ki bi bili usmerjeni v bolj dolgoročne in globlje učinke, v ugotavljanje, kakšen je vpliv (impact) izpopolnjevanja na učiteljevo razmišljanje, pojmovanja in delovanje v vzgojno izobraževalnih situacijah in končno, kakšen je vpliv na učence, na izobrazbene in vzgojne učinke; to slednje pa je skorajda nemogoče zajeti. O tem, katere so tiste značilnosti izpopolnjevanja, ki imajo globlji vpliv na učiteljev profesionalni razvoj, ni veliko raziskav. V nadaljevanju naj predstavim in komentiram šest kriterijev uspešnosti, ki so se izoblikovali v eni temeljitejših raziskav o tem, kaj je predvsem vplivalo na to, da so učitelji sprejeli in uveljavili nove metode poučevanja v matematiki in naravoslovju. Študija je nastala v okviru evalvacije obsežnega programa izpopolnjevanja v ZDA, sestavljenega iz različnih oblik: seminarjev, delavnic, konferenc, študijskih skupin, mrež in vzajemnega učenja. Podatke o izkušnjah s tem izobraževanjem so zbrali od 1027 učiteljev (Garet, Andrew, Desimone, Birman, Suk Yoon, 2001). V nadaljevanju bodo kriteriji uspešnosti, ki so bili izoblikovani in do neke mere tudi empirično potrjeni v tej raziskavi, primerjani s stanjem v izpopolnjevanju učiteljev pri nas. Vprašali se bomo, kako se kažejo v naših razmerah in do katere mere bi jih, seveda z določeno mero kritičnosti, saj so bili dobljeni v drugačnem kontekstu, lahko upoštevali v prihodnje v evalvacijskih postopkih. Avtorji raziskave so izluščili šest skupin kriterijev, od katerih so tri poimenovali kot strukturne značilnosti: 50 1. oblika ali tip aktivnosti, 2. trajanje v kontaktnih urah in časovni obseg, 3. skupinska udeležba (iz iste šole, predmeta ali razreda), tri pa kot jedrne (bistvene) značilnosti: 4. osredotočenost na vsebino in metode, 5. spodbujanje aktivnega učenja učiteljev, 6. vzdrževanje koherentnosti - skladnosti programa. Vprašali se bomo, kako je s temi značilnostmi v našem sistemu, katere krepke in šibke točke izkazujemo, kako jih skušamo uravnavati oziroma uveljavljati, kakšne dileme se pri tem pojavljajo in kaj od tega lahko morda vključimo med kriterije evalvacije izvajalcev. 1. Oblika ali tip aktivnosti Ali gre pretežno za predavanje, delavnico, seminar, študijsko skupino, mentoriranje, hospitiranje, mrežno povezovanje..? Avtorji raziskave (Garet in sod., 2001) razlikujejo med »tradicionalnimi« in »reformnimi« oblikami izpopolnjevanja. Med prve štejejo tiste, ki se odvijajo zunaj šole in razreda, običajno v času, ko ni učnih obveznosti, in prostorsko oddaljeno od šole. To so bodisi delavnice, ki po mnenju avtorjev »spadajo med najbolj običajne, a hkrati najbolj kritizirane oblike profesionalnega razvoja« (Garet in sod., 2001: 920) ali pa tudi konference, posveti, seminarji. Skupno jim je, po mnenju avtorjev, da ne nudijo učiteljem dovolj časa, aktivnosti in vsebin, s katerimi bi spodbujali pomembne spremembe v poučevanju v razredu, v nasprotju z »reformnimi« oblikami, kot so učiteljevo raziskovanje pouka, študijske skupine na šoli, medsebojno hospitiranje, mentoriranje ali »coaching«. Te oblike se odvijajo na šoli ali v razredu, v »realnem« času pouka ali priprave nanj in imajo zato večjo možnost, da jih učitelji postopno vključijo v izboljševanje svoje vsakdanje učne prakse. Bolj tesno se navezujejo na to, kako se učitelji učijo, bolj so v skladu z njihovimi potrebami. Zdi pa se, da je takih oblik pri nas razmeroma malo, kar kažejo tudi rezultati študije TALIS. 51 Tako so v mednarodni primerjalni študiji TALIS (v primerjavo je bilo zajetih 25 držav), v kateri so med drugim proučevali oblike izpopolnjevanja učiteljev v šolskih letih 2007/2008 in 2008/2009 (Sardoč in sod., 2009) slovenski učitelji v večji meri kot učitelji v evropskem povprečju poročali, da so se udeležili tečajev in delavnic (v imenovanem obdobju je bilo takih v Sloveniji 88 % - v primerjavi z povprečjem 81 %), daleč več se jih je udeležilo izobraževalnih konferenc ali seminarjev (Slovenija 74,7 % - povprečje 48,9 %), več jih je tudi sodelovalo v mrežah, namenjenih poklicnemu razvoju učiteljev (Slovenija 71,9 %, povprečje 40,0 %). Glede na delež učiteljev, ki so bili udeleženi v eni ali več oblikah izpopolnjevanja, so slovenski učitelji na drugem mestu med vsemi, z 96,9 %, ob povprečju 88,5 %. Na drugi strani pa so v zahtevnejših, intenzivnejših oblikah, ki jih je tudi v evropskem merilu manj; odgovori slovenskih učiteljev pod evropskim povprečjem, tako pri samostojnem ali skupinskem raziskovalnem delu učiteljev (slovenski 22,5 %, povprečje 35,4 %, pri mentorstvu in opazovanju v razredu (Slovenija 29,1 %, povprečje 34,9 %, pri hospitacijah (Slovenija 7,7 %, povprečje 27,6 %) in pri pridobivanju višje stopnje izobrazbe (10,2 % nasproti 24,5 %). Nekatere razlike so res velike in dajejo misliti, da je morda prišlo tudi do terminoloških nesporazumov (ali si na primer vsi isto predstavljamo pod izrazom »seminar« ali »konferenca«? (Podrobneje glej v Sardoč in sod., 2009: 70, 74-75.) Ti podatki s svoje strani potrjujejo domnevo, da so se v Sloveniji zelo razmahnile bolj »ekstenzivne« oblike izpopolnjevanja v primerjavi z bolj intenzivnimi, ali - če se držimo izrazoslovja Gareta in sodelavcev (2001) - tradicionalnih v primerjavi z reformskimi. Slednje oblike so bliže šolam, so bolj vezane na opazovanje in raziskovanje v razredu ter na neposredno izboljševanje učnih metod in pristopov v času pouka, kar je povezano tudi s hospitacijami. 52 Komentar V izpopolnjevanju učiteljev pri nas štejemo kot uspeh, da smo se postopno poslovili od le predavateljskih seminarjev, ki so še pred nekaj leti prevladovali. Danes prevladujejo seminarji oziroma delavnice, ki predavanja dopolnjujejo z raznimi načini aktiviranja udeležencev (s skupinskimi vajami, izkustvenim učenjem, razpravami, praktičnimi primeri ipd.). To spodbujajo tudi obstoječi kriteriji pri izboru med predlogi programov. Vendar pa zahtevnejše izpopolnjevanje, ki bi bilo vezano na šolo oz. razred, na učiteljevo raziskovanje, opazovanje pouka in mentoriranje, uvajajo le nekateri izvajalci (delno Zavod RS za šolstvo). To je gotovo zahtevnejše v smislu, da mora potekati skozi daljši čas in s pomočjo posebej usposobljenih konzulentov in mentorjev. Pogojno lahko štejemo v to skupino mreže javnih zavodov in tematske konference, delno tudi inovacijske projekte, v kolikor se omenjene oblike vežejo na konkretne izboljšave pouka. 2. Trajanje v kontaktnih urah in časovni obseg Omenjena raziskava (Garet in sod., 2001: 933) nakazuje, da so daljše oblike izpopolnjevanja, zlasti če so razdeljene na več obrokov, uspešnejše, ker dajejo več časa za poglabljanje in refleksijo. To je posebno dobro izvedljivo v večdelnih seminarjih (seminarji v več obrokih), ki dajejo vmesni čas za preizkušanje novih pristopov in idej ter priložnost za njihovo predstavitev kolegom. Raziskovalno je bila dokazana povezanost med učiteljevim aktivnim učenjem ter trajanjem izpopolnjevanja. Časovni obseg (strnjen ali porazdeljen skozi daljši čas - semester, leto.) predstavlja samostojno variablo, relativno neodvisno od količine samih kontaktnih ur. Glede na rezultate študije TALIS so naši učitelji v primerjavi z učitelji iz drugih držav sicer skoraj vsi vključeni v izpopolnjevanje (96,9 %), a so hkrati deležni manj dni izpopolnjevanja kot njihovi evropski kolegi (v 18 mesecih, ki jih je zajela študija, so bili na izpopolnjevanju le 8,6 dneva, za nami sta le Malta in Irska, evropsko povprečje pa znaša 16,4 dni). Komentar Tipični seminarji pri nas trajajo bodisi 8 ur (18 %) ali 16 ur (39 %), le manjšina 24 ur (30 %), ki so razdeljene na tri delovne dni, med katerimi običajno je daljši presledek. Obstoječi sistem točkovanja podpira tak sistem, saj je 16-urni seminar točkovan z 1 točko. Le v posameznih primerih imamo poleg začetnega tudi nadaljevalni seminar, ki gradi na prejšnjem; interes 53 učiteljev za daljše oblike pa je zmeren. Po podatkih evalvacijske študije (Cenčič s sod., 2006) bi si le dobra polovica učiteljev želela nadaljevanje določenega izpopolnjevanja. Tudi organizacijsko in finančno so daljše oblike zahtevnejše, zato se zanje odloča manj učiteljev in izvajalcev. Vendar je treba stroške gledati v povezavi s prednostmi - »dobičkom« v učiteljevem učenju. Ob tem se pojavlja dilema: Ali bi bilo bolje doseči vsako leto nekoliko manjše število učiteljev, tem pa nuditi daljše, temeljitejše usposabljanje in s tem globlje učinke? To bi bilo priporočljivo tudi glede na že omenjene rezultate študije TALIS, po kateri je delež vključenih učiteljev pri nas med najvišjimi v Evropi, a zaostajamo v številu dni vključenosti na leto in v intenzivnih oblikah izpopolnjevanja. V to smer bi bilo treba motivirati tudi izvajalce in zlasti podpreti tiste, ki ponujajo intenzivnejše oblike izpopolnjevanja, med drugim tudi uvajanje učiteljev v akcijsko raziskovanje, e-učenje in oblike, ki jih je moč kreditno ovrednotiti v okviru bolonjskega sistema študija. 3. Skupinska udeležba Tu gre za vključevanje v izpopolnjevanje več učiteljev iz iste šole, predmeta ali razreda ali pa za izpopolnjevanje, izvedeno na sami šoli. To daje več možnosti za vzpostavljanje in razvijanje skupne profesionalne kulture, za izmenjavo izkušenj, za neposredno vključevanje naučenega v pouk, za dajanje in sprejemanje povratnih informacij in podpore pri uvajanju sprememb. Lahko gre za sodelovanje zunanjih predavateljev, ni pa nujno. V polpreteklem obdobju je bil popularen koncept »v šole usmerjenega izpopolnjevanja« (SBI - school-based inservice), danes se uveljavlja koncept »šole kot učeče se skupnosti«. Izvajalci takih oblik morajo biti še bolje in drugače usposobljeni, kot izvajalci običajnih izpopolnjevanj, v proces pa morajo biti aktivno vpleteni zlasti tudi ravnatelji šol. Komentar Pri nas se skupinska udeležba uveljavlja predvsem prek mrež javnih zavodov in v obliki tematskih konferenc. Pri obeh oblikah zaznavamo v zadnjih letih določen padec - pri »mrežah« je bilo v letu 2007/08 izvedenih za 64 % programov več kot v letu 2008/09 (glej poročila v okviru Programskega sveta za nadaljnje izobraževanje in usposabljanje... 2010). 54 Večina tematskih konferenc pa se v zadnjem času ne ukvarja s problemi pouka, ampak bolj s socialno-motivacijskimi problemi, z vodenjem ipd. (Poročilo Programskega sveta, jan. 2010). Vodenje takih oblik terja od izvajalcev posebno kompetenten pristop, z občutkom za kulturo in potrebe določene inštitucije in udeležencev. 4. Osredotočenost na vsebino in metode Vsebina seminarjev za učitelje, tako v svetu kot pri nas, varira zlasti glede na to, ali se osredotoča na uspešno poučevanje konkretnih predmetnih vsebin ali na širša vzgojna vprašanja - na vodenje razreda, obravnavanje različnih učencev itd. Če želimo doseči kvalitetnejši pouk posameznih predmetov, morajo seminarji smiselno povezovati znanje vsebin (ki je pri mnogih učiteljih tudi žal pomanjkljivo ali morda zastarelo) in metod, zlasti pa tudi spoznanja o tem, kako se učenci učijo določenih pojmov, kakšne posebne težave, napačne predstave imajo in kako ravnati s tem (konstruktivistični pristop) (Garet in sod., 2001). Gre tudi za uvajanje v uporabo novih učbenikov in gradiv, za ocenjevanje. Optimalno je povezovanje usposabljanja na področju vsebin in metod v okviru istega seminarja, ne pa ločeno obravnavanje predmetnih vsebinskih novosti, brez navezovanja na njihovo poučevanje. Učitelji sami pa izkazujejo potrebo po izpopolnjevanju tudi na drugih, splošnejših področjih. V študiji TALIS so sicer naši učitelji, v primerjavi z učitelji iz drugih držav, v celoti izkazovali manj potrebe po nadaljnjem strokovnem izpopolnjevanju (Sardoč in sod., 2009: 88). Kot že omenjeno, so razne oblike izpopolnjevanja zajele pri nas velik del učiteljev, vendar v omejenem trajanju. Pri tem so učitelji izrazili potrebo po izpopolnjevanju na določenih področjih, kot so: delo z učenci s posebnimi potrebami, obvladovanje disciplinskih in vedenjskih težav, uporaba IKT pri pouku, vodenje razreda, metode ocenjevanja, svetovanje učencem, razumevanje učnih pristopov. Zanimivo je, da so na vseh naštetih področjih, razen pri uporabi IKT, slovenski učitelji izražali večje potrebe po izpopolnjevanju, kot njihovi mednarodni kolegi. (Sardoč in sod., 2009: 79.) Primanjkljaje na podobnih področjih so omenjali učitelji že v eni prejšnjih študij (Marentič Požarnik, Kalin, Šteh, Valenčič Zuljan, 2005). 55 Komentar Prepogosto so še seminarji o vsebinah ločeni od tistih o metodah in pristopih, vendar se to postopno uravnava, tudi na osnovi navodil in kriterijev Programskega sveta. Še vedno se na enih predmetnih področjih pojavlja veliko ponudb, na drugih pa (pre)malo (na primer na področju športne vzgoje mnogo več, kot na primer na področju matematike ali materinščine), kar je delno odvisno od stanja na fakultetah, ki izobražujejo učitelje, od tega, kako je nekje dobro razvito področje specialne didaktike. Včasih ponudba zavisi celo le od enega zavzetega posameznika. Vsekakor naj bi predstavljal kakovostnejši pouk in učenje osrednje področje izpopolnjevanja, čeprav se včasih zdi, da se mnogo več pozornosti posveča drugim, bolj »obrobnim« temam. Tako ostaja na primer tudi področje »učenje učenja« premalo pokrito. 5. Spodbujanje aktivnega učenja učiteljev To je izredno pomemben kriterij kakovosti izpopolnjevanja. Ali je učitelj, ki se udeležuje izpopolnjevanja, aktivno vpleten v razpravo, v razmislek o obravnavani temi, v načrtovanje pouka, v sestavljanje individualnih učnih načrtov, nalog za učence in vprašanj za preverjanje.? Ali ocenjuje vzorce izdelkov in ob tem spoznava učne probleme učencev? Ali se v obliki simulacij ali igre vlog vživlja v kritične situacije v razredu, ali opazuje izkušene učitelje, ali je sam deležen opazovanja in povratnih informacij s strani kolegov in drugih mentorjev ob resničnih ali simuliranih (mini)nastopih? Ali po seminarju oziroma med dvema fazama izpolnjevanja preizkuša s svojimi učenci to, česar se je naučil na seminarju? Ali drugim učiteljem predstavi svoje delo in vodi razprave? Ali dodatno bere, piše (seminarske naloge, poročila, refleksije)? Ene aktivnosti so globlje, zahtevnejše in imajo tudi večji in trajnejši vpliv, kot druge (Garet in sod., 2001). Komentar Izvajalci se močno razlikujejo v tem, koliko in v kakšne aktivnosti vpletajo učitelje. Stanje se postopno izboljšuje, saj je le še malo izpopolnjevanj, v katerih bi bili učitelji le poslušalci, morda ob koncu še pozvani k diskusiji. Z učitelji naj bi izvajalci ravnali tako, kot pričakujejo, da bodo potem učitelji delali s svojimi učenci. Tudi učitelji postajajo glede tega vedno bolj zahtevni. Na drugi strani pa se aktivnost udeležencev običajno omejuje le na čas trajanja izpopolnjevanja, manj je takih, ki bi segale v čas po seminarju, v lasten razred in pouk. Še vedno se le redki učitelji odločajo za hospitacije ali za prinašanje posnetkov (avdio, video) svojega pouka v analizo drugim, kar je v mednarodnem merilu vse bolj pogosta sestavina 56 intenzivnega izpopolnjevanja. Nekaj časa smo od učiteljev terjali pisanje seminarskih nalog; njihove kakovosti in učinka nismo podrobneje spremljali niti tega, koliko je to pisanje bogatilo njihovo znanje in vodilo k spremembam v njihovem delu. V skladu s sedanjim konceptov naj bi izvajalci učitelje čim bolj spodbujali k »refleksijam«. Tudi tu bi bilo vredno in nujno analizirati, kaj se v resnici na tem področju dogaja. Kakovostno aktiviranje udeležencev je v veliki meri odvisno od prepričanj in kompetenc posameznih izvajalcev izobraževanja - »teacher trainers« - o čemer bo še govor pozneje. Delno pa seveda tudi od prej omenjenih strukturnih značilnosti - trajanja, vsebine in ciljev. 6. Spodbujanje koherentnosti - skladnosti Učitelji, tako pri nas kot v mednarodnem merilu, se često pritožujejo, da so aktivnosti v izpopolnjevanju često nepovezane, ločene ena od druge, včasih celo v okviru istega seminarja. Z drugimi besedami - ne predstavljajo skladnega programa, ki bi usmerjal učiteljev profesionalni razvoj, ki bi se navezoval na učiteljeve karierne cilje, na to, kar že ve in dela, mu pomagal uresničevati pomembne cilje in standarde pouka in ga podpiral v trajnejši, vsebinsko bogatejši profesionalni komunikaciji z drugimi učitelji, ki spreminjajo pouk v podobni smeri, ki se srečujejo s podobnimi problemi (npr. individualizacije pouka) (Garet in sod., 2001: 926-927). Sem sodi tudi komuniciranje s kolegi, ki se določenega seminarja niso udeležili, in z vodstvom šole. Komentar Pri nas nimamo zaenkrat še študije, ki bi izhajala iz spremljanja »poti izpopolnjevanja« posameznega učitelja in nakazala, kakšna je stopnja (ne)skladnosti, načrtnosti oziroma slučajnosti v tem izpopolnjevanju. Ponudba seminarjev je široka in je do neke mere usmerjena v osrednja, aktualna področja pa tudi v profesionalno rast. Po enih podatkih se učitelji odločajo za udeležbo pretežno sami - takih naj bi bilo 77 % (Cencič s sod., 2006), a o motivih za to udeležbo ne vemo veliko. Ali gre za postopno uresničevanje nekega osebnega »kariernega načrta« ali bolj za vpliv slučajnih dejavnikov - časovnih, finančnih. V naših razmerah »točkovnega sistema« (ki ga v drugih državah ne poznajo), gre lahko tudi za iskanje možnosti, kako najlažje priti do točk, čeprav učitelji ta motiv v anketah izražajo le v zelo majhni meri. 57 Izobraževanje izobraževalcev Izobraževalci učiteljev »teacher educators« so osrednja skupina strokovnjakov, od katere zavisi kakovost izobraževanja in tudi izpopolnjevanja učiteljev. Vendar o tej skupini strokovnjakov nasploh zelo malo vemo; gre za zanemarjeno področje proučevanja, kot je ugotovila že Kari Smith (2003). Sicer je bilo v zadnjih petih letih nekaj več raziskav (prim. tematsko številko EJTE 2008 na temo uvajanje in profesionalni razvoj izobraževalcev učiteljev), toda še vedno je malo empiričnih izsledkov na primer o profesionalnem učenju teh strokovnjakov, o tem, kaj nanje vpliva, zlasti, kako vpliva nacionalni kontekst -koordinate sistema izobraževanja in izpopolnjevanja učiteljev v neki državi (Murray in Harrison, 2008). Odprta ostajajo vprašanja, kot: Od kod ti strokovnjaki prihajajo? Kako poteka njihov profesionalni razvoj? Koliko in kako se izpopolnjujejo za svoje delo? Katere spretnosti, zmožnosti - kompetence potrebujejo in kako jih pridobijo? Ali se med seboj povezujejo, izmenjujejo izkušnje, ob tem profesionalno rastejo? Ali se razvijajo pretežno s samoizobraževanjem? Kakšne so njihove karierne poti? Maloštevilne dosedanje raziskave, ki skušajo odgovoriti na ta vprašanja, se posvečajo tistim izobraževalcem učiteljev, ki delujejo v univerzitetnem okolju in so vanj prešli kot učitelji iz osnovnih in srednjih šol. Gre predvsem za učitelje specialnih didaktik pa tudi splošnih pedagoških predmetov. Prehod v »akademsko« okolje in sprememba poklicne identitete ni preprost; ponekod skušajo novincem prehod olajšati s povezovanjem v kolegialne študijske skupine »communities of practice« (Nizozemska, Izrael, Anglija...), z oblikovanjem seznamov kompetenc oziroma standardov in s povezovanjem v strokovna združenja, kot je VELON na Nizozemskem (Murray in Harrison, 2008: 110-114). Pri nas je raziskava, usmerjena na vprašanje, kateri dejavniki vplivajo na profesionalno identiteto in razvoj izobraževalcev učiteljev - specialnih didaktikov, opravljena na osnovi globinskih polstrukturiranih intervjujev in metodi »risanje reke« poklicne biografije z 11 udeleženci, pokazala, da je na njihov razvoj razmeroma malo vplival (pretežno teoretsko usmerjen) študij, pač pa prve izkušnje s poučevanjem, tudi negativne, če so jih dobro predelali, podpora kolegov, stiki v mednarodnem prostoru (Marentič Požarnik, Valenčič 58 Zuljan, 2001). Če vključim osebno izkušnjo: na moja prepričanja in (izkustveno in aktivno usmerjen) stil v delu z učitelji so najbolj vplivali stiki z mednarodno skupino MAIDSTONE, v okviru katere smo si, ob periodičnih enotedenskih srečanjih, neposredno demonstrirali različne metode ter jih refleksivno-teoretsko evalvirali. Podobno vlogo je pri nas odigrala serija 12 izkustvenih delavnic za »učitelje učiteljev«, ki so potekale v letih 1986-2002 (o začetkih glej: Marentič Požarnik, 1988). Vse omenjeno se nanaša na izobraževalce učiteljev, ki delujejo v univerzitetnem okolju. Še manj pa vemo o vseh tistih izvajalcih izpopolnjevanja učiteljev, ki prihajajo iz drugih (»nepedagoških«) univerzitetnih ali raziskovalnih okolij, iz raznih zasebnih inštitucij, tudi inštitucij za izobraževanje odraslih. Obstoječi kriteriji evalvacije predlogov programov upoštevajo njihovo publiciranje strokovnih prispevkov, sodelovanje v projektih in praktične izkušnje v dosedanjem izobraževanju, zlasti tudi tiste z neposrednim pedagoškim delom na danem področju. S tem posredno zajamemo nekaj dejavnikov njihove profesionalnosti, a potrebne bi bile raziskave, ki bi temeljiteje osvetlile dejavnike profesionalnega razvoja izobraževalcev učiteljev, zlasti tiste, ki pripomorejo k večji kakovosti njihovega delovanja. Za konec Če upoštevamo teoretska izhodišča profesionalnega razvoja, opravljene v tujini in pri nas, se kaže potreba, da v prihodnje, tako po vsebini kot metodoloških pristopih, razširimo in poglobimo kriterije evalvacije izvajalcev izpopolnjevanja zlasti v naslednjih smereh: - vključevanje bolj raznolikih, tudi kvalitativnih metod in pristopov evalvacije; - upoštevanje izsledkov kot osnovo za širši dialog med vsemi vpletenimi ter za izboljšanje ponudbe in procesov izpopolnjevanja; pri tem se je treba izogibati nevarnosti t.im. birokratske evalvacije, katere rezultati bi služili predvsem kontroli in odmerjanju financ; - poudarjanje in uveljavljanje opisanih strukturnih in jedrnih značilnosti kakovostnega izpopolnjevanje, kar naj bi vodilo do intenzivnejših, zahtevnejših in temeljitejših oblik izpopolnjevanja, usmerjenih v aktivno učenje učiteljev, v njihovo profesionalno rast, medsebojno sodelovanje, takih, ki puščajo globlje sledi v njihovem razmišljanju in delovanju. 59 V tem smislu naj z evalvacijskimi postopki ne bi le registrirali stanja, ampak spodbujali odličnost izvajalcev in tudi njihovo težnjo po izboljšanju v nakazanih smereh. Pomembno je tudi, da evalvacija s svojimi postopki in rezultati spodbuja ploden dialog med izvajalci, udeleženci, organizatorji oz. financerji in šolsko politiko. Literatura Cencič, M. s sod. (2006). Evalvacija programov izobraževanja in usposabljanja strokovnih delavcev v Sloveniji izvedenih v letih 2004/05. Koper, Ljubljana: Pedagoška fakulteta, MŠŠ. Garet, M. S., Porter, A. C., Desimone, L., Birman, B. F., Yoon, K. S. (2001). What Makes Professiohal Development Effective? Results From a National Sample of Teachers. AERJ, 38(4), 915-945. Gradiva (zapisniki, poročila) Programskega sveta za Nadaljnje izobraževanje in usposabljanje strokovnih delavcev v vzgoji in izobraževanju. Korthagen, F. (2009). Praksa, teorija in osebnost v vseživljenjskem učenju. Vzgoja in izobraževanje, 40, 4-14. Koster, B., Dengering, J. (2001). Towards a Professional Standard for Dutch Teacher Educators. European Journal of Teacher Education, 24(3), 343-354. Marentič Požarnik, B. (1988). A Workshop in Experiential Learning as a Means of »Training the trainers« in an Integrative Approach to Teacher Education. Proceedings of ATEE Conference. Berlin: Freie Universität. Marentič Požarnik, B. (1999). Evalvacija - kakšna, za koga, čemu? Sodobna pedagogika, 50(4), 20-37. Marentič Požarnik, B., Valenčič Zuljan, M. (2001). The role of experiential learning in teacher educators' professional development. In: Benton, N. R. (ur.). Experiential Learning for the Third Millennium. Selected Papers from the 7th Conference of the ICEL. Auckland, New Zealand, Dec. 4-8, 2000, 95-104. 60 Marentič Požarnik, B., Žarkovič-Adlešič, B. Cencič, M., Taštanoska, A. (2006). Continuous professional development in Slovenia - vision, policy, dilemmas. Conference Paper, ATEE 2006, Portorož. Marentič Požarnik, B. (2007). Čemu potrebujemo širši dogovor o temeljnih učiteljevih zmožnostih/kompetencah. Vzgoja in izobraževanje, 37(5), 44-49. Murray, J., Harrison, J. (2008). Editorial. European Journal of Teacher Education. Special issue: The induction and professional development of teacher educators, 109-115. Sardoč, M., Klepac, L., Rožman, M., Vršnik Perše, T., Brečko, B. (2009). Mednarodna raziskava poučevanja in učenja TALIS: nacionalno poročilo. Ljubljana: Pedagoški inštitut, 2009. Smith, K. (2003). So, What About Professional Development of Teacher Educators? European Journal of Teacher Education, 26(2), 201-216. 61 dr. Milena Ivanuš Grmek Univerza v Mariboru Pedagoška fakulteta dr. Marija Javornik Krečič Univerza v Mariboru Filozofska fakulteta 5 DOMAČE EVALVACIJSKE ŠTUDIJE Uvod Evalvacija vzgoje in izobraževanja poteka po eni strani kot evalvacija vzgojno-izobraževalnega sistema na makro ravni in pa na mikro ravni kot notranja (interna) in/ali zunanja (eksterna) evalvacija vzgojno-izobraževalnih organizacij. Na nacionalni ravni se evalvacija vzgojno-izobraževalnih programov izvaja z evalvacijskimi študijami, na mednarodni ravni pa z vključevanjem v mednarodne raziskave (če naštejemo nekatere: Mednarodne raziskave trendov v znanju matematike in naravoslovja TIMSS 1995, TIMSS 1999, TIMSS 2003 in 2007 in advanced 2008; Mednarodna raziskava bralne pismenosti PIRLS 2001 in 2006; Projekt OECD PISA 2006 ...). Poleg evalvacijskih študij evalvacija poteka skozi vrsto evalvacijskih procedur: - analizo dosežkov pri preverjanju znanja na nacionalni ravni (NPZ); - analizo nacionalnih dosežkov v mednarodnih primerjalnih študijah na področju vzgoje in izobraževanja (PISA, TIMSS, PIRLS, TALIS, SITES, CIVICS, EAG); - rezultate temeljnih, razvojnih in aplikativnih raziskav na vseh področjih vzgoje in izobraževanja, ki jih sofinancira ARRS (CRP); - drugo. http://www.mss.gov.si/si/delovna_podrocja/razvoj_solstva/evalvacija_vzgojno_izobra zevalnih_programov/#c698 62 Pregled domačih evalvacijskih študij V nadaljevanju se bomo posvetili kratkemu pregledu domačih evalvacijskih študij. V letih 2000 in 2001 je tovrstno evalviranje strokovno vodila Nacionalna komisija za uvajanje in spremljanje novosti in programov v vzgoji in izobraževanju, od leta 2002 naprej pa Svet za evalvacijo vzgoje in izobraževanja, katerega naloge so: - Koordinacija spremljanja izvajanja novih javno veljavnih programov (pregled metodologije, pregled poročil, sodelovanje z javnimi zavodi pri zasnovi spremljanja in pripravi poročil). - Na podlagi izhodišč za evalvacijo natančneje opredeliti strategije in potek evalvacije (nosilci, pristojnosti) z opredeljenimi terminskimi plani. - Identificiranje temeljnih evalvacijskih vprašanj, priprava programa naročil evalvacijskih študij, priprava predloga razpisa evalvacijskih študij, priprava predloga izbora evalvacijskih študij. - Spremljanje poteka evalvacijskih študij in sodelovanje z nosilci evalvacijskih študij. - Priprava poročil za strokovne svete in ministrstvo o spremljanju in evalvaciji. - Sodelovanje z javnimi zavodi, inštituti in univerzama na področju spremljanja in evalvacije. - Predstavlj anje spremljanja in evalvacij e strokovni j avnosti. - Druge naloge, povezane s spremljanjem in evalvacijo. (http://www.mss.gov.si/si/delovna_podrocja/razvoj_solstva/evalvacija_vzgojno_izobrazev alnih_programov/#c698) Ker javni razpisi za evalvacijske študije iz let 2000-2003 niso zagotovili evalvacije na vseh ravneh vzgoje in izobraževanja, poleg tega pa so bili dobljeni rezultati evalvacijskih študij preveč razdrobljeni, so bile v letu 2004 izpeljane konceptualno-organizacijske spremembe, ki so proces evalvacije pogodbeno vezale na nosilno institucijo - Pedagoški inštitut v Ljubljani. 63 V letih 2000-2009 so bile izvedene naslednje evalvacijske študije, katerih poročila so objavljena na spletnih straneh ministrstva za šolstvo in šport: V letu 2000: - Kurikularna prenova in načrtovanje ter izvajanje vzgojno-izobraževalnega procesa pri spoznavanju okolja in pri naravoslovju. - Prvič v šolo: evalvacija zgodnejšega vstopa v šolo. - Evalvacija socialno integracijske vloge programa projektno učenje za mlajše odrasle. - Stališča vzgojiteljic in vzgojiteljev predšolskih otrok do kurikula za vrtce ter njihova usposobljenost za uvajanje sprememb. - Strokovna avtonomija in odgovornost pedagoških delavcev. - Prenova izvajanja vzgojno-izobraževalnega procesa. - Razvoj metodologije spremljanja in evalvacije (uvajanja) programov poklicnega in strokovnega izobraževanja. - Doseganje in primerljivost standardov znanja iz slovenskega kurikula s standardi znanja iz mednarodnih primerjalnih raziskav. - Pedagoški delavci, njihovo strokovno izpopolnjevanje, motivacija in stališča do posameznih rešitev kurikularne prenove. - Razvoj metodologije spremljanja pouka tujega jezika in drugega jezika in evalvacije učinkov jezikovnega izobraževanja v osnovni šoli. - Evalvacija programov strokovnih gimnazij. - Evalvacija kurikularne prenove geografije s posebnim poudarkom na standardih znanja ter načrtovanju in izvajanju vzgojno-izobraževalnega procesa. - Pomen uvajanja novih učnih, mišljenjskih in poučevalnih stilov za razbremenitev učencev v novi devetletni osnovni šoli. - Mednarodna primerjava obremenjenosti učencev in dijakov z vidika otrokovega in mladostnikovega psihosocialnega razvoja. - Organizacija nivojskega pouka, stališča učencev, učiteljev in staršev do te oblike diferenciacije ter njeni učinki na učence. V letu 2001: - Vrednotenje nekaterih vidikov kakovosti opisnega in številčnega preverjanja in ocenjevanja znanja. - Dnevna rutina v vrtcu in šoli. 64 - Sodelovalnost in tekmovalnost učencev v zadnji triadi devetletke v povezavi z značilnostmi učne interakcije, didaktičnimi usmeritvami in pristopi k učenju. - Medsebojna povezanost standardov znanja, ocenjevanja znanja in dela za šolo. - Učbenik kot dejavnik uspešnosti kurikularne prenove. - Trajnost znanja, napovedna vrednost ocen ter vsebinska analiza srednješolskega znanja pri predmetu kemija ob prehodu na fakultetni nivo. - Evalvacija opisnega ocenjevanja v prvem vzgojno-izobraževalnem obdobju. - Učinki uvajanja Kurikula za vrtce na področju komunikacije in socioemocionalnega razvoja otrok. - Oblikovanje nacionalnega in izvedbenega kurikula v poklicnem in strokovnem izobraževanju odraslih. - Izbirni predmeti v tretjem vzgojno-izobraževalnem obdobju devetletne osnovne šole in njihov učinek na diferenciacijo. - Učbenik kot sredstvo za doseganje vzgojno-izobraževalnih ciljev programa. V letu 2002: - Vpliv ocenjevanja znanja na kakovost znanja učencev in na njihov interes za naravoslovje. - Evalvacija funkcionalne pismenosti učencev ob koncu prvega triletja devetletne osnovne šole v primerjavi s funkcionalno pismenostjo učencev drugega razreda osemletne osnovne šole. - Medpredmetno povezovanje vzgojno-izobraževalnega procesa v devetletni osnovni šoli. - Likovna in glasbena vzgoja v novem kurikulu. - Primerjalna in korelacijska analiza kakovosti znanj med izvedenim in doseženim kurikulom matematike in naravoslovja v devetletki. V letu 2003: - Nacionalni preizkusi v devetletki. - Mednarodna primerjava obremenjenosti učencev v devetletki z vidika otrokovega in mladostnikovega psihosocialnega razvoja. - Izvajanje vzgojno-izobraževalnega procesa pri predmetu spoznavanje okolja v prvem triletju devetletne osnovne šole. - Analiza organiziranja in izvajanja socialno integracijskih dejavnosti in socialne vključenosti otrok in učencev s posebnimi potrebami v življenje in delo šole. 65 - Doseganje standardov znanja iz slovenskega kurikula za matematiko za prvo triletje in primerljivost teh standardov s standardi iz mednarodnih primerjalnih raziskav V letu 2004: - Prenova izobraževalnega procesa v prvem triletju osnovne šole. - Gimnazij a. - Dualni način pridobivanja poklicne izobrazbe mladine in mlajših odraslih. Glede na razpoložljiv vir (http://www.mss.gov.si/si/delovna podrocja/razvoj solstva/evalvacija vzgojno izobrazevalni h_programov/#c698) v letih 2005, 2006 in 2007 evalvacijske študije niso bile razpisane. V letu 2008: - Razvoj metodoloških inštrumentov za ugotavljanje in spremljanje profesionalnega razvoja vzgojiteljev, učiteljev in ravnateljev. - Vloga svetovalne službe v vrtcih, osnovnih in srednjih šolah (preliminarna študija). - Kvalitativna študija šolskih karakteristik glede na uspešnost v raziskavah znanja matematike, naravoslovja in bralne pismenosti. - Dejavniki šolske uspešnosti v poklicnem izobraževanju. V letu 2009: - Evalvacijska študija dvojezičnega šolstva v Sloveniji - Evalvacijska študija predmetnika osnovne šole - Izobraževanje v umetniških gimnazijah, smer glasba in ples - Evalvacijska študija uspešnosti romskih učencev v prvi triadi osnovne šole - Razvoj državljanske vzgoje v Republiki Sloveniji: konceptualni okvir in razvoj kurikulov (državljanjska vzgoja in etika, družba) Omenjene evalvacijske študije se bodo zaključile v letu 2011. V nadaljevanju bomo poskušali narediti kratko okvirno kvantitativno analizo oz. kategorizacijo naštetih evalvacijskih študij, pri čemer pa moramo seveda opozoriti, da gre samo za splošno oceno, za kar navajamo dva razloga: prvič: analiziramo samo dostopne oziroma razpoložljive podatke, ki ni nujno, da so popolni; 66 drugič: nekatere evalvacijske študije segajo na več področij in jih je težko enoznačno kategorizirati. Za to bi bila potrebna natančnejša kvalitativna analiza vseh študij. Po pregledu evalvacijskih študij in poskusu kategorizacije smo ugotovili, da je bilo doslej daleč največ evalvacij osnovnega šolstva. Na to področje sega kar 24 evalvacijskih študij. Znotraj tega te obravnavajo predvsem prvo stopnjo šolanja (razredna stopnja v osemletni osnovni in 1. triada v devetletni osnovni šoli ter všolanje in zadnjo triado devetletne OŠ). Drugi triadi devetletne osnovne šole ni bilo namenjene posebne pozornosti, tako da bi lahko ocenili, da je znotraj evalviranja osnovnega šolstva precej nesorazmerij. Precej manj študij kot osnovno, evalvira strokovno in poklicno izobraževanje ter gimnazije. Na to stopnjo šolanja bi v grobem lahko šteli 5 opravljenih študij. Sledijo evalvacije predšolske vzgoje in vrtcev, in sicer tri evalvacijske študije; področje izobraževanja in profesionalnega razvoja pedagoških delavcev tri študije; področje izobraževanja odraslih tri študije. Ob koncu tega razdelka bi radi še enkrat poudarili, da je evalvacijske študije težko eksaktno kategorizirati in da bi za to potrebovali natančno kvalitativno analizo. Kljub temu pa lahko iz grobe ocene in opravljenega poskusa kategorizacije razberemo, katerim področjem se je (in se še) posveča manj oz. več pozornosti. Zanimivo bi bilo poiskati tudi razloge za takšno stanje, kar pa v tem trenutku ni predmet in cilj naše razprave. Zaključek Po pregledu evalvacijskih študij ugotavljamo, da so se le-te v obdobju 2000-2009 osredotočala na različne nivoje vzgoje in izobraževanja: od vrtca preko osnovne šole do srednješolskega izobraževanja. Nekatere so se usmerjale bolj v konceptualne vidike vzgoje in izobraževanja, druge so bile namenjene evalvaciji nekaterih vidikov vzgoje in izobraževanja ali izvajanja posameznih učnih predmetov. Večina študij je bila usmerjena na področje osnovnošolskega izobraževanja, manj študij se je osredotočalo na evalvacijo dela v vrtcih, v gimnazijah, strokovnih šolah ali v programih za izobraževanje odraslih. Čeprav so pedagoški delavci in njihov profesionalni razvoj pomemben dejavnik kvalitetnega dela na področju vzgoje in izobraževanja, so jim bile v desetletnem obdobju namenjene le tri evalvacijske študije, pri čemer je ena od njih potekala le pol let. Zato meniva, da bi bila potrebna 67 evalvacijska študija, ki bi se osredotočila na profesionalni razvoj pedagoških delavcev po celotni vertikali šolskega sistema. Vir Evalvacija vzgojno-izobraževalnih organizacij in evalvacija izobraževalnega sistema (b.l.). Ministrstvo za šolstvo in šport. http://www.mss.gov.si/si/delovna podrocja/razvoj solstva/evalvacija vzgojno izobrazevalni h programov/#c698) (10. 1. 2010). 68 Dr. Branko Slivar Zavod Republike Slovenije za šolstvo 1 OPIS MODELA Uvod Model evalvacije izvajalcev (institucije) izobraževanja in usposabljanja strokovnih delavcev sestavljajo štiri področja za katera menimo, da so odločilnega pomena pri kakovosti izvajalcev in jih je zato nujno upoštevati pri evalvaciji. S temi področji smo zajeli izobraževalce, vsebine in udeležence. Ta področja so: 1. Inštitucija; 2. Izvajalci/Izobraževalci; 3. Program; 4. Udeleženci/Izobraževanci. Inštitucija Področje Inštitucija vključuje vse tiste dejavnike, ki so neposredno povezani z delovanjem izobraževalne institucije in predstavljajo nujne pogoje za kakovostno izvajanje izobraževalnega procesa. K dejavnikom inštitucije prištevamo materialne dejavnike, kulturo inštitucije, njeno organiziranost in človeške vire. Materialni dejavniki predstavljajo materialno osnovo za izvedbo izobraževanja z vidika izobraževancev. Ključne sestavine so primeren in funkcionalen prostor, ki zagotavlja ustrezno počutje (svetloba, zračnost, zvočna izoliranost) in je optimalno prilagojen za izvedbo izobraževanja (premično pohištvo za izvedbo delavnic, ergonomično zasnovano pohištvo, pretočnost prostora, dostopnost, primernost za izobraževalce s posebnimi potrebami), prisotnost tehnične opreme za izvedbo izobraževanja za izobraževalca in izobraževance (multimedija, dostop do interneta). Poleg prostorov, namenjenih neposrednemu izobraževalnemu procesu, prištevamo k materialnim pogojem inštitucije tudi knjižnico, ki mora zagotoviti kriterij dostopnosti (prostorske in delovni čas prilagojen izobraževalcem), primernosti (primernost gradiv glede na programe, ki jih institucija izvaja), raznovrstnosti 69 (ponudba knjižnice pokriva ožja in širša področja, ki so povezana z izvajanimi programi) in aktualnost knjižničnih enot. Dejavnik Inštitucije je tudi njena kultura, ki jo pojmujemo v smislu odnosa do udeležencev in svojih zaposlenih ter sistem pravil dela. Na področju odnosov do udeležencev je pomembna sestavina komunikacija z udeleženci, ki vključuje tako posredne (predstavitev institucije, obveščanje udeležencev o vseh za njih pomembnih dogodkih, raznolikost v pristopu do informacij, dostopnost do informacij), kot neposredne pristope (kakovost odnosov do udeležencev, odzivnost po principu »vprašanje-odgovor« tukaj in zdaj). Naslednji vidik je odprtost institucije do pobud, vprašanj in problemov udeležencev, in sicer tako, da se institucija odziva na izobraževalne potrebe udeležencev. Prav tako sem sodi tudi odprtost do širšega družbenega okolja. To pomeni, da institucija sodeluje z ostalimi izobraževalnimi institucijami, predstavniki prebivalcev, lokalno upravo, šolskimi oblastmi. Pomemben element kulture je tudi sistem samoevalvacije, kjer izpostavljamo predvsem tri elemente: 1. področja, ki jih institucija evalvira (ali so pokrita vsa področja, ali se vedno evalvirajo področja, kjer je institucija uspešna, ali tudi tista, kjer so se pokazali slabi rezultati, ali institucija izvaja poglobljeno evalvacijo na področjih, kjer so se pokazali slabši rezultati ipd.); 2. način pridobivanja podatkov in upoštevanje rezultatov. Predvsem je pomembno ali in kako ter v kakšnem obsegu institucija rezultate samoevalvacije upošteva pri svojem nadaljnjem delu. Predvsem dolgoročno, načrtno izvajanje samoevalvacije in upoštevanje njenih ugotovitev je dejavnik kakovosti dela institucije in je močan spodbujevalec razvoja institucije; 3. dejavnik kulture so njene izkušnje, ki jih ima na področju izobraževanja. Izkušnje se izražajo skozi obdobje prisotnosti institucije na področju izobraževanja, število udeležencev v določenem obdobju ter tudi priznanja, nagrade in podobni pokazatelji uspešnega dela. Organiziranost inštitucije mora biti prilagojena izvedbi izobraževalnega procesa in mora upoštevati potrebe udeležencev. Pomemben vidik tega je prožnost - časovna in prostorska. Časovna prožnost pomeni, da inštitucija organizira svoje delo tako, da upošteva potrebe udeležencev: popoldansko izvajanje, izvajanje ob koncu tedna, časovna strnjenost, ... Podobna je tudi prostorska prožnost. Inštitucija lahko svoje usposabljanje krajevno približa 70 večini udeležencev ali pa že ima razvito mrežo svojih dislociranih enot. Prožnost se izkazuje tudi z organiziranostjo e-učenja. Organiziranost inštitucije na področju ponudbe se odraža v koherentnosti. Gre za smiseln in strokovno utemeljen preplet programov in vsebin, ki jih inštitucija ponuja. V tesni povezavi s koherentnostjo je ponudba različnih področij, ki jih izvaja inštitucija, obstaja pa med različnimi področji določena vsebinska povezava (vodenje šole, vodenje razreda; didaktika različnih predmetov, ipd.). K raznolikosti ponudbe na primer ne štejemo, kadar inštitucija izvaja usposabljanje za pedagoške teme, tečaje za smučanje in organizira izlete. K organiziranosti inštitucije sodijo tudi človeški viri, ki jih ima inštitucija na voljo. Gre za kadrovsko strukturo (redno zaposleni, zunanji sodelavci, tehnično-administrativni kader) in skrb za profesionalni razvoj kadrov. Kultura inštitucije vključuje tudi prisotnost vizije in poslanstva. Program Področje Program vključuje sestavine, ki so povezane s cilji, vsebinami, organizacijo le-teh in izvedbo. Prva sestavina je koherentnost programa, ki vključuje skladnost in povezanost med cilji in vsebinami, načrtom in izvedbo s cilji, ravnotežje med informativnostjo in uporabnostjo ter interdisciplinarnost tem. Pomemben element koherentnosti je aktualnost vsebin in samega programa (v povezavi s strokovnimi potrebami udeležencev in razvojem stroke na področju izobraževanja). Druga sestavina je organizacija izvedbe programa, ki vključuje trajanje programa, stopenjskost in nadgrajevanje. Tretja sestavina so metode in oblike dela, ki vključujejo ustreznost glede na cilje in udeležence. Izvajalci/Izobraževalci Področje Izobraževalci vključuje dejavnike, ki so neposredno povezani z njihovimi kompetencami. Področje vključuje sestavine, ki so pomembne za izvajanje izobraževanja. Na prvem mestu je strokovnost izobraževalcev, ki vključuje vrsto in stopnjo izobrazbe in pedagoško-andragoško usposobljenost. Sledijo izkušnje z izvajanjem izobraževanja in poklicne izkušnje. K izkušnjam sodijo tudi izkušnje z izvajanjem različnih programov, z različnimi stopnjami in vrstami šol in mednarodne izkušnje. Nadaljnja sestavina je strokovna dejavnost, ki vključuje aktualno delo na področju, ki ga izvajalec izvaja v programu in se odraža v avtorstvu gradiv, publiciranju ter razvojno-raziskovalno delo na področju 71 izobraževanja. Ob strokovni dejavnosti je pomembna sestavina tudi skrb za lastni profesionalni razvoj na področju izobraževanja, ki vključuje sodelovanje na seminarjih in konferencah. Poleg strokovnosti in izkušenj je pomembno tudi izvajanje izobraževanja. Gre za sestavino, ki vključuje ustvarjanje in ohranjanje spodbudnega učnega okolja (uporabo različnih motivacijskih sredstev, upoštevanje individualnih potreb udeležencev, obvladovanje in smiselno prilagajanje različnih pristopov in ustvarjanje pogojev za učinkovito delo, vzpostavljanje primernih stikov z udeleženci), upoštevanje predznanja in različnih izkušenj udeležencev, spodbujanje aktivnega, sodelovalnega in samostojnega učenja ter vodenj e in usmerjanje udeležencev. V povezavi z izvajanjem izobraževanja so pomembna prepričanja in stališča izobraževalcev o njihovi vlogi in o vlogi spopolnjevalcev, o vlogi učenja, poučevanja, znanja. Udeleženci/Izobraževanci Četrto področje so mnenja udeležencev, pridobljena z internimi in eksternimi vprašalniki. Mnenja vključujejo počutje udeležencev, uresničevanje pričakovanj, zadovoljstvo, oceno pridobljenih kompetenc, vpliv izobraževanja na poklicno delovanje in na profesionalno rast. V preglednici so prikazana področja in ključne sestavine. Bolj izdelan je model v naslednjem poglavju. PODROČJE KLJUČNE SESTAVINE RAZČLENITEV INSTITUCIJA - materialni pogoji - prostori, oprema - funkcionalnost - IKT - LCD projektor, dostop do interneta - knjižnica - dostopnost, primernost, raznovrstnost, aktualnost - gradiva za udeležence - razpoložljivost, dogovor v povezavi z gradivi, dostopnost - kultura inštitucije - vizija, poslanstvo - da/ne - sistem certificiranja kakovosti - da/ne - sistem samoevalvacije - kaj obsega, kako pridobivajo podatke, kako upoštevajo rezultate - odprtost - za nasvete, pobude, vprašanja, probleme ... 72 udeležencev in širšega družbenega okolja - komunikacija z udeleženci - opis, obveščanje - način komuniciranja in obveščanja o izvedbi, opis načinov obveščanja udeležence - tradicija, izkušnje - koliko časa izvajajo izobraževanje, - koliko udeležencev v zadnjih petih letih, - uspehi, priznanja - organizacija ponudbe - prožnost (v kraju, regij ska pokritost) - dislocirane enote, e-učenje - prožnost (časa) - prilagajanje udeležencem - koherentnost ponudbe - povezanost, skladnost ponudbe - pokrivanje različnih področij - število in navedba področij - specializacija ponudbe - da/ne - človeški viri - kadri - notranji in zunanji, število in razmerje med notranjimi in zunanjimi kadri, - število in razmerje med stalnimi občasnimimi, - tehnično-administrativni kadri - skrb za profesionalni razvoj kadrov - kadrovska politika PODROČJE KLJUČNE SESTAVINE RAZČLENITEV PROGRAM - koherentnost, povezanost, skladnost programov - načrta in izvedbe s cilji programa - vsebina, cilji, izvedba, evalvacija, - ravnotežje med informativnostjo in uporabnostjo, - interdisciplinarnost tem - aktualnost, pestrost organizacij skih oblik - trajanje, izvedba, lokacija, stopenjskost, nadgrajevanje - specializiranost vsebin - da/ne - aplikativnost znanj - da/ne - ustreznost, raznolikost metod in oblik izvajanja - ustrezna velikost skupine glede na oblike in metode, cilje ipd. - prilagajanje potrebam, pričakovanjem udeležencev - da/ne 73 - povezanost ali - da/ne usklajenostmed izvajalci PODROČJE KLJUČNE SESTAVINE RAZČLENITEV IZVAJALCI (IZOBRAŽEVALCI) - strokovnost - usposobljenost, vrsta in stopnja izobrazbe, - pedagoško-andragoška usposobljenost - izkušnje - v različnih programih, z izobraževanjem v različnih stopnjah in vrstah šol, mednarodne izkušnje, - poklicne izkušnje - strokovna dejavnost - avtorstvo gradiv, publiciranje, raziskovalno-razvojno delo na področju izobraževanja - ugled - tradicija, priznanja, nagrade - prepričanja, stališča izvajalcev - o njihovi vlogi, vlogi učiteljev, učenja, znanja, poučevanja, znanja. izobraževalcev kot spopolnjevalcev, - predanost zavzetost za tematiko - obvladovanje raznolikih metod in oblik - uporaba različnih metod in oblik poučevanja - skrb za lastni profesionalni razvoj na področju izobraževanja - seminarji, konference, portfolio - izvajanje izobraževanja - odnos do udeležencev, - vzpostavljanje stika, vzpostavljanje močnega učnega okolja, - upoštevanje predznanja in izkušenj udeležencev, - spodbujanje aktivnega, sodelovalnega in samostojnega učenja, - obvladanje in smiselno prilagajanje različnih pristopov, - vodenje in usmerjanje udeležencev 74 PODROČJE KLJUČNE SESTAVINE RAZČLENITEV UDELEŽENCI - mnenja udeležencev, - večkratna udeležba v (IZOBRAŽEVANCI) - rezultati okviru inštitucije - % povratnikov, - počutje (klima, odnosi), - uresničevanje pričakovanja, - zadovolj stvo, - novo pridobljene kompetence, - vpliv na poklicno delovanje, profesionalna rast, - ocene znanj in spretnosti Preglednica: Področja, sestavinein razčlenitev modela Prednosti modela Področja, dejavniki in sestavine so pripravljeni tako, da jih je mogoče operacionalizirati v obliki kazalnikov in ponderirati glede na pomembnost za kakovost. Model s svojimi kazalci omogoča objektivno preverjanje inštitucij (objektivnost), vključuje sestavine, ki so pomembne za presojo kakovosti izvajalcev (veljavnost) in je v izvedbi racionalen (racionalnost). Ni zasnovan na matematičnem seštevanju dosežkov po posameznih področjih in rangiranju institucij od najboljše k najslabši, ampak upošteva različnost v razvitosti posameznih področij in sestavin. S tem se omogoča presoja močnih in šibkih strani izvajalcev, ki se izražajo v obliki profila oz. prikaza bistvenih lastnosti na dimenziji prisotno -ni prisotno. Hkrati je možno odčitati tudi v kolikšni meri je posamezna lastnost prisotna. S tem je omogočena primerjava različnih institucij med seboj. Tako zasnovan profil daje osnovo za odločanje o izboru inštitucije z vidika uporabnikov. Le ti se pri izboru lahko odločajo na osnovi tistih sestavin, ki so jim v določenem trenutku pomembnejše oz. so bolj ali manj pomembne. Model se lahko uporabi kot pripomoček inštitucijam za samoevalvacijo ali kot orodje za izvedbo zunanje evalvacije. Zunanjo evalvacijo je mogoče izpeljati pri izbranih elementih, s čimer bi omogočili vzpostavljanje določenih kontrolnih točk. Z uporabo opisanega modela bi omogočili decentralizacijo in pri izvajalcih spodbudili prevzemanje odgovornosti za kakovostno izvedbo. Profil izvajalcev je usmerjen k spodbujanju izboljševanja kakovosti izvajalcev in k doseganju napredka glede na njihove dosežke. Z izdelavo profila se lahko izognemo škodljivi tekmovalnosti in bolj usmerjamo 75 izvajalce k iskanju večje kvalitete zaradi notranje motivacije, kar je tudi eden izmed zaključkov mednarodnih izkušenj. Sklep Ker je namen modela dvig kakovosti na osnovi notranje motivacije, je težišče predvsem na samoevalvaciji in uporabi različnih instrumentov (vprašalniki, intervjuji, diskusije, refleksije...). Model lahko služi kot izhodišče za pripravo evalvacijskih konferenc izvajalcev, pri čemer bi izvajalci dobili aktivno vlogo, možnost vpliva na dograjevanje modela in s tem bi posledično pozitivno naravnanost do evalvacij. 76 Dr. Majda Cencič Dr. Milena Ivanuš Grmek Ddr. Barica Marentič Požarnik Dr. Branko Slivar Brigita Žarkovič Adlešič 7 HIPOTETIČNI MODEL: PROFIL EVALVACIJE IZVAJALCEV PODROČJE EVALVACIJE KLJUČNE SESTAVINE KAZALNIKI (ALI RAZČLENJENE SESTAVINE) OPIS 1. INSTITUCIJA 1.1 materialni pogoji - prostori, oprema - funkcionalnost - spodbudno okolje, fleksibilnost opreme - fizično okolje: sutrezna svetloba, vlaga, svež zrak, - možnost fleksibilne razporeditve in spremembe miz, stolov, - možnost zatemnitve prostora ipd. - dostopnost do inštitucije, prostorov - možnost parkiranja, javni prevoz ipd. - dostopnost do prostorov in prilagojena oprema za udeležence s posebnimi potrebami - za invalide in druge osebe s posebnimi potrebami 77 - IKT - LCD projektor, interaktivna tabla, dostop do interneta, video kontakt -konferenca - dostopnost, primernost, raznovrstnost, aktualnost - knjižnica - gradiva - raznovrstnost in pestrost - večje število obvezne literature - odprtost - tudi ob sobotah - gradiva za udeležence - razpoložljivost - da jih dobijo udeleženci, - različne možnosti (tiskana, e-gradiva) - vizija, poslanstvo - ima/ nima 1.2 - sistem certificiranja kakovosti - nima - ali je inštitucij a za to zainteresirana kultura inštitucije - je vključena - v kateri sistem certificiranja kakovosti je vključena, npr. sistemi certificiranja kakovosti, kot so ISO, POKI, Recall, Investors in People, Incas ipd., kakovost za prihodnost vzgoje in izobraževanja ipd. - sistem samoevalvacij e - ima/nima - če ima: kaj obsega, kako pridobivajo in obravnavajo rezultate - odprtost - sprejemanje nasvetov, pobud, predlogov, vprašanj, problemov udeležencev - zainteresiranost in obravnavanje predlogov, vprašanj ipd. udeležencev in širšega družbenega okolja - vrsta in način promocijske aktivnosti - npr. odprta vrata, - brošure, - domača spletna stran ipd. 78 - komunikacija z udeleženci - opis obveščanja - npr. interno glasilo, portali -npr. portal za vrednotenje ipd. - način obveščanja - npr. mreže obveščanja o izvedbi in širše - vsebina obveščanja - vzpostavljanje in ohranjanje stika - dolgoročnejšega stika z udeleženci po zaključenem izobraževanju - tradicija, izkušnje - čas izvajanja izobraževanja - koliko časa izvaja - število udeležencev - koliko udeležencev se je izobrazilo npr. v zadnjih petih letih - uspehi - priznanja, nagrade 1.3 - prožnost (v kraju, regij ska pokritost) - dislocirane enote, - e-učenj e organizacija ponudbe - prožnost (časa) - prilagajanje udeležencem - npr. v času počitnic, vikendov ali pouka - koherentnost ponudbe - povezanost, skladnost ponudbe - pokrivanje različnih področij - število in navedba področij - specializacija ponudbe 79 1.4 - kadri - notranji in zunanji - število in razmerje med notranjimi in zunanjimi kadri človeški viri - stalni in občasni - število in razmerje med stalnimi občasnimimi - podporni kadri - npr. organizatorji oz. koordinatorji, tehnično-administrativni kadri ipd. - vključenost praktikov - skrb za profesionalni - kadrovska politika razvoj kadrov - pedagoško- andragoška izobrazba - pogoj za izvajalce - sistem mentorstva znotraj inštitucije - če je organiziran in kako - interno izobraževanje za izobraževalce - če je organizirano znotraj institucije - vklj učevanje v mednarodne projekte - če se podpira - ustvarjanje timov - če so oblikovani - povezanost s prakso 80 - koherentnost, - cilji 2. povezanost, skladnost - vsebina PROGRAM programov - načrta in - izvedba izvedbe s cilji - evalvacija programa - ravnotežje med informativnostjo in uporabnostjo - interdisciplinarnost tem - vsebinski koordinator - aktualnost, pestrost - trajanje organizacij skih oblik - izvedba - lokacija - stopenjskost - nadgrajevanje - specializiranost vsebin - aplikativnost znanj - ustreznost, raznolikost - timsko delo. metod in oblik - ustrezna velikost skupine glede na oblike izvajanja in metode, cilje ipd - prilagajanje potrebam, pričakovanjem skupine udeležencev - Povezanost ali usklajenost izvajalci 81 3. IZVAJALCI (IZOBRAŽEVALCI) - strokovnost - usposobljenost - vrsta - stopnja izobrazbe - pedagoško-andragoška usposobljenost - izkušnje - v različnih programih - z izobraževanjem v različnih stopnjah in vrstah šol, - mednarodne izkušnje - poklicne izkušnje - izkušnje dela z odraslimi - strokovna dejavnost - avtorstvo gradiv, publiciranje - raziskovalno-razvojno delo na področju izobraževanja - ugled - tradicija, - priznanja - nagrade - prepričanja, stališča izvajalcev - o njihovi vlogi učiteljev - npr. TALISov vprašalnik - vlogi učenja, znanja, poučevanja - predanost zavzetost za tematiko - obvladanje raznolikih metod in oblik poučevanja - uporaba različnih metod in oblik - skrb za lastni profesionalni razvoj na področju izobraževanja - seminarji oz. konference - portfolio z refleksijami ali kako drugače podprte refleksije - izvajanje izobraževanja - odnos do udeležencev - odzivanje za potrebe in želj e udeležencev - upoštevanje predznanja in izkušenj 82 udeležencev - vzpostavlj anje močnega učnega okolj a - spodbujanje aktivnega, sodelovalnega in samostojnega učenja - obvladanje in smiselno prilagajanje različnih pristopov - vodenje in usmerjanje udeležencev - vzpostavljanje in ohranjanje stika 4. UDELEŽENCI (IZOBRAŽEVANO) - mnenja udeležencev - načini zbiranja mnenj udeležencev - večkratna udeležba v okviru inštitucije - % povratnikov, - počutje (klima, odnosi), - uresničevanje pričakovanj - zadovoljstvo - novo pridobljene kompetence - vpliv na poklicno delovanje - profesionalna rast - rezultati - ocene znanj in spretnosti - načini uporabe ali smiselno upoštevanja rezultatov 83 Dr. Majda Cencič Univerza na Primorskem Pedagoška fakulteta Koper 8 PREDNOSTI EVALVACIJE V OBLIKI MODELA PROFILA IZVAJALCEV Uvod Evalvacija je pojem, ki se ga proučuje na različne načine. Lahko bi rekli, da ima svojo izgrajeno teorijo, če kot teorija razumemo »višje konstrukcije in preverjanja znanja« (Lesar, 2008: 94). Pojem model pa se uporablja v pomenu urejanja vednosti/znanja in prakse (Stangvik 1998, po Lesar, 2008: 94). V okviru projekta smo se odločili, da evalvacijo izvajalcev prikažemo v obliki modela profila izvajalcev. V nadaljevanju predstavljamo nekaj prednosti modela v obliki profila izvajalcev programov stalnega strokovnega spopolnjevanja strokovnih delavcev v vzgoji in izobraževanju. Opis izhodišča Različne vrste programov stalnega strokovnega spopolnjevanja pedagoških delavcev vsako leto razpiše Ministrstvo za šolstvo in šport. Programi stalnega strokovnega spopolnjevanja pedagoških delavcev so bodisi formalni, kot so programi izpopolnjevanja izobrazbe, bodisi neformalni, kot so predpisani programi ali posodobitveni programi. Izvajalci programov stalnega strokovnega spopolnjevanja so številni in zelo različni, npr. visokošolske inštitucije, inštitucije za izobraževanje učiteljev, centri z javnimi pooblastili, centri za usposabljanje v zasebnem sektorju, nevladne organizacije, zasebna podjetja ipd. Po zaključku vsakega programa udeleženci izpolnijo evalvacijski list, s katerim ocenijo posamezne sestavine programa. Kljub tem vprašalnikom, ki predstavljajo neke vrste zunanjo evalvacijo, ki je določena s strani Ministrstva za šolstvo in šport, se pogreša bolj izdelan model evalvacije različnih izvajalcev. 84 Zavedamo se, da ni popolnega modela evalvacije in da ima vsak svoje pomanjkljivosti in slabosti, zato smo oblikovali hipotetični model, predlog, ki bi ga lahko posamezni izvajalci še dopolnili. Model, naj tudi ne bi temeljil le na vprašalnikih, ampak tudi na bolj kvalitativnih tehnikah zbiranja podatkov, npr. na intervjujih, a tudi, naj ne bi intervjuvali le o uspehu, ker se veliko lahko naučimo tudi iz napak in pomanjkljivosti. V evropskih državah zunanja evalvacija izvajalcev večinoma vključuje več postopkov, npr. obiske institucij, analize pisne dokumentacije, poročila samoevalvacije institucij, do preverjanja različnih dokumentov o njihovi strokovni podlagi (Zagotavljanja kakovosti., 2008). Izhodišče je tudi bilo (Marentič Požarnik, 2007) oblikovati model, ki bi zajel dinamiko, rast, življenje, vpliv, ki bi puščal sodelovanje vseh vpletenih (sodelovalni dialog izvajalcev, predstavnikov šolske politike, evalvatorjev, kjer bi bila evalvacija preprosta, ustvarjalna, osnova za dialog, poročilo pa za širšo razpravo. V modelu bi se lahko kvantitativni del tudi grafično predstavil, kombiniral pa bi se tudi s kvalitativnim delom v obliki komentarjev in dopolnitev udeležencev izobraževanj (izobraževancev) in izvajalcev (izobraževalcev). Kvantitativi del modela v obliki profila izvajalcev Model v obliki profila, lahko srečamo v različnih starejših besedilih (npr. Osgood, Suci in Tannene, 1964: 90; Sagadin, 1993: 184). Njegova prednost je, da je: - v obliki grafa, kar je učinkovitejše pri hitrem pregledu, - predstavlja vizualni element, - je pregleden, jasen in razumljiv ter - strnjeno predstavi osnovne elemente evalvacije. - Prednost profila je tudi, da se lahko povzame skupna ocena za posamezno področje evalvacije. Model v obliki profila je primeren tako za zunanjo kot za notranjo evalvacijo. Prednost zunanje je pri bolj veljavnem in zanesljivem ter objektivnem zajemanju podatkov, pa tudi v možnosti primerjave in ocenjevanja prednosti in slabosti različnih izvajalcev, ki izvajajo isto 85 dejavnost. Pri uporabi za notranjo evalvacijo pa posamezni izvajalci lahko letno ali v določenih obdobjih spremljajo napredek in izboljšave v posameznih kategorijah in podkategorijah. Možna pa je tudi primerjava razvoja na posameznem področju evalvacije. V evropskih državah so evalvacije bodisi letne, na tri, štiri, pet ali na šest let (Zagotavljanje kakovosti., 2008: 61). Kot za vsak model, lahko tudi za predstavljeni model v obliki profila poiščemo kakšne slabosti. Izpostavljamo le nekatere: - Grafični del modela temelji na kvantitativnih, ordinalnih in numeričnih podatkih. - Model temelji na kazalnikih, ki jim je potrebno dodati instrumente za merjenje. Primerni instrumenti za kvantitativni del modela so npr. številčne ocenjevalne lestvice, lestvice pomenskih razlik ali lestvice stališč. Podatke pa se lahko povzame tudi iz različnih dokumentov (npr. prijave). - Model je glede vključevanja elementov evalvacije parcialen, temelji na ključnih točkah ali kazalnikih. Parcialni modeli ne morejo nikoli zajeti vseh sestavin, zato se celota izgubi in izvajalci, ki morda veljajo kot »dobri«, pri taki analizi ne »izpadejo« tako dobro, saj je že Aristotel zapisal v Metafiziki, da je celota več kot vsota njenih delov. Model (slika) vključuje štiri področja evalvacije, ki se nadalje delijo, to so: (1) inštitucija; (2) program; (3) izvajalci (izobraževalci) in (4) udeleženci (izobraževanci). Podobne sestavine evalvacije so pogosto prisotne tudi v evalvacijah izvajalcev izobraževanj v drugih evropskih državah (Zagotavljanja kakovosti., 2008: 59). Tuje evalvacije izvajalcev pogosto vključujejo: (1) vsebino programov; (2) uporabljene učne metode, ki smo jih v naš model vključili pri izvajalcih; (3) razpoložljivost kadrovskih virov, ki so v našem modelu pri inštituciji, točneje v skupini z naslovom človeški viri; (4) kakovost poučevanja, kar imamo mi pri izvajalcih; (5) mnenja udeležencev, kar imamo v našem modelu pri udeležencih in 86 (6) skladnost s predpisi na področju infrastrukture (npr. učni material), kar imamo v našem modelu pri inštituciji, ali natančneje pri materialnih pogojih. Področje evalvacije Kazalniki Ocene (1) INSTITUCIJA 1.1 materialni pogoji prostori, oprema \ Gradiva \ itn. v \ \ * 1.2 kultura inštitucije Komunikacija z udeleženci \ Izkušnje \ \ itn. r ; 1.3 organizacija ponudbe regij ska pokritost 1 1 1 prožnost časa / Itn. / 1.4 človeški viri kadri 1 \ profesionalni razvoj kadrov 1 itn. 1 (2) PROGRAM koherentnost, povezanost \ pestrost oblik itn. # (3) IZVAJALCI (IZOBRAŽEVALCI) strokovnost — — izkušnje itn. s 1 (4) UDELEŽENCI (IZOBRAZEVANCI) mnenja rezultati "s. itn. izvajalec A ali rezultati evalvacije izvajalca A v letu x izvajalec B ali rezultati evalvacije izvajalca A v letu y Slika: Primer modela v obliki grafičnega profila izvajalcev programov stalnega strokovnega spopolnjevanja strokovnih delavcev v vzgoji in izobraževanju V modelu (slika) bi lahko dodali še sodelovanje s partnerji znotraj in zunaj institucije ali sodelovanja z okoljem (Trunk Širca, Faganel in sod., 2006). Model v obliki profila je odprt in vanj vedno lahko vključimo dodatna področja in kazalnike. Sklep Evalvacija in kakovost sta povezana pojma in dejavnosti, saj se evalvacija navadno izvaja za namen ugotavljanja ali dokazovanja in izboljševanja kakovosti. 87 V množico različnih modelov evalvacij smo tudi mi dodali model evalvacije v obliki profila izvajalcev, ki ga, če povzamemo njegov merljivi ali kvantitativni del, lahko predstavimo kot grafični profil izvajalcev. Nekatere prednosti modela v obliki profila izvajalcev, ki smo jih izpostavili, so: - lahko se uporabi tako za zunanjo kot za notranjo evalvacijo; - lahko ga vizualno predstavimo; - kvantitativni del lahko tudi grafično predstavimo v obliki grafičnega profila izvajalcev; - model je odprt za dopolnitve; - vsak izvajalec lahko iz modela vzame tiste značilnosti, ki se mu zdijo pomembne; - posamezni izvajalci lahko spremljajo spremembe v določenih časovnih obdobjih; - financerji ali drugi lahko primerjajo po določenih značilnostih različne izvajalce. Model v obliki profila izvajalcev je zaenkrat le hipotetični, saj ga še nismo preizkusili v praksi. Potrebno pa je tudi oblikovati instrumente za zbiranje podatkov, tako kvantitativne kot tudi kvalitativne. Literatura Lesar, I. (2008). Analiza diskurzov in paradigem pri uresničevanju integracijskih in inkluzivnih teženj v šolskih sistemih. Sodobna pedagogika, 50(3), 90-109. Marentič Požarnik, B. (2007). Izhodišča za evalvacijo: pisni zapis za diskusijo na Programskem svetu, zapis pri avtorici prispevka. Osgood, C. E., Suci, G. J., Tannene, P. H. (1964). The Measurement of Meaning. Urbana: University of Illinois Press. Sagadin, J. (1993). Poglavja iz metodologije pedagoškega raziskovanja. Ljubljana: Zavod RS za šolstvo in šport. Sagadin, J. (1999). Programska evalvacija. Sodobna pedagogika, 50(2), 196 - 211. 88 Trunk Širca, N. (2004). Amodelnost samoevalvacijskih procesov. Koper: Fakulteta za management. Trunk Širca, N., Faganel, A. in sod. (2006). Poročilo o vzpostavljanju sistema institucionalnih zunanjih evalvacij slovenskih visokošolskih zavodov v letu 2006. Koper: Fakulteta za management. Zagotavljanja kakovosti v izobraževanju učiteljev v Evropi (2008). Ljubljana: Ministrstvo za šolstvo in šport. 89 9 POGLEDI NA MODEL IZ PRAKSE Študij literature je bil osnova za oblikovanje modela, za navedbo področij modela, ključnih sestavin, kazalnikov ali razčlenjenih sestavin ter za njihov opis. Ker imajo raziskovalci lahko drugačne poglede kot praktiki, smo želeli dobiti tudi »poglede iz prakse«. Glavni cilj kvalitativnega dela raziskave je bil ugotoviti, kako na model gledajo »iz prakse«, kaj se jim zdi dobro in kaj bi dodali ali dopolnili. Delno strukturirani intervjuji, ki so bili osredotočeni na predstavljeni model ter opravljeni ob naslonitvi na predstavljeni hipotetični model, so potekali v juniju v različnih krajih (Kopru, Mariboru in v Ljubljani). Trajali so od 60 do 120 minut. Intervjuvanci so bili vnaprej izbrani na osnovi »glasu dobrega izvajalca«. Intervjuvali smo posamezne »dobre« praktike iz Univerze na Primorskem, Pedagoške fakultete Koper, Pedagoške fakultete Univerze v Mariboru, direktorico zasebne izobraževalne institucije v Ljubljani ter izvajalca javnega zavoda (CPI). Med intervjuji smo si intervjuisti zapisovali glavne ugotovitve. Po opravljeni kvalitativni analizi, smo z glavnimi elemente, ki smo jih dobili z intervjuji, dopolnili model (poglavje 7). Povzetke intervjujev predstavljamo v tem nadaljevanju. Izpostavljamo pa nekaj predlogov, ki smo jih dobili z intervjuji: - prijavitelji seminarjev naj v uvodnih informacijah čim bolje predstavijo vsebino seminarjev; - pri evalvaciji pridobiti čim več »kvalitativnih odgovorov« (npr. pobude, nasvete) od udeležencev in jih upoštevati, saj tako dobijo izobraževanci občutek, da ne gre za »serijsko proizvodnjo«; - v evalvacijo vključiti tudi prenos znanja v prakso; - zunanja evalvacija naj bi vrednotila le nekatere sestavine ali »kontrolne točke«; - na osnovi modela naj bi izvajalci sami izpeljali samoevalvacijo, za kar pa bi potrebovali dodelan način ali metodologijo evalvacije (vprašalnike, nabor vprašanj za intervjuje, ključne točke za analizo dokumentov in navedbo, katere dokumente se analizira ipd. ter kako se dobljene podatke obdela in interpretira); 90 - evalvacije bi bile lahko tudi drugačnih oblik, npr. v obliki konferenc, ko bi se srečali izvajalci, ki ponujajo podobne programe; - koristno bi bilo, če bi ohranili stik po koncu izobraževanja med izobraževalci in izobraževanci. 91 dr. Milena Ivanuš Grmek Univerza v Mariboru Pedagoška fakulteta 9.1 Povzetek intervjuja o profilu evalvacije izvajalcev programov stalnega strokovnega spopolnjevanja Intervju sem opravila s kolegico, ki ima 26 let delovnih izkušenj na področju vzgoje in izobraževanja, je že več časa vključena v stalno strokovno usposabljanje strokovnih delavcev, slušatelji pa so z njenim delom zelo zadovoljni. Intervju je potekal v juniju 2009 na Pedagoški fakulteti Univerze v Mariboru. Intervju je potekal po posameznih področjih evalvacije. Pri področju evalvacije institucija meni, da so materialni pogoji za izvedbo strokovnega spopolnjevanja zelo pomembni. Pomembno vlogo imajo prostori in oprema, ki naj bodo čimbolj funkcionalni in naj dopuščajo delo v skupinah, sodelovalno učenje. Prav tako meni, da je potrebno, da so predavalnice opremljene z izobraževalno-komunikacijsko tehnologijo (LCD projektor, dostop do interneta). Meni, da bi bilo potrebno, da bi bila v času, ko poteka na fakulteti stalno strokovno spopolnjevanje, odprta knjižnica, kar bi omogočilo udeležencem, da si poiščejo literaturo, oz. da predavatelji usmerijo udeležence k iskanju potrebne literature. O gradivih za udeležence meni, da je sicer pomembno, da ga udeleženci izpopolnjevanja prejmejo, ni pa nujno, da vsa, lahko jih usmerimo k iskanju različnih e-gradiv. Pri kulturi institucije intervjuvanka meni, da je pomembno, da ima institucija zapisano vizijo svojega delovanja ter da ima razvit sistem samoevalvacije, pri čemer svetuje, da naj bo večina vprašanj za udeležence odprtega tipa. Pripominja, da je potrebno pridobiti čim več kvalitativnih odgovorov, udeležence povprašati za nasvete in pobude in le-te upoštevati pri izvedbi izpopolnjevanja. S tem dobijo udeleženci izpopolnjevanja občutek, da jih institucija upošteva in da ne gre za »serijsko proizvodnjo«. Pomemben moment predstavlja komunikacijo z udeleženci, ki jih je potrebno ob prvi prijavi seznaniti, kako bo obveščanje 92 potekalo. Obveščanje naj bo izčrpno, čim manj obremenjujoče, ni pa pomembno, ali poteka po običajni ali elektronski poti. Kot zelo pomembno izpostavlja tradicijo in izkušnje institucije, ki kažejo na kvaliteto le-te: koliko časa institucije že izvajajo izobraževanje, koliko udeležencev se je izobraževanja že udeležilo v zadnjih petih letih in ali so za svoje delo prejeli kakšna priznanja. Glede organizacije pa meni, da se je potrebno udeležencem izpopolnjevanja prilagajati glede časa izpopolnjevanja, ponudbe in pokrivanja različnih področij. O organizaciji izpopolnjevanja na dislociranih enotah je nekoliko zadržana; saj meni, da je za učitelje dobro, da zaradi socialnega konteksta prihajajo na fakulteto, kjer prihaja do izmenjave izkušenj v drugem okolju. Pri kadrih izpostavlja smiselno povezavo med visokošolskimi učitelji in učitelji s področja osnovnošolskega ali srednješolskega izobraževanja, pri čemer daje pomembno težo notranjim kadrom. Izpostavlja tudi skrb za profesionalni razvoj vseh izvajalcev, ki sodelujejo v programu in meni, da bi bilo zaželjeno, da bi se vodja programa po izvedenem programu srečal z izvajalci in bi opravili evalvacijo dela. Za vse izvajalce je potrebna visoka strokovna izobrazba in andragoška usposobljenost. Pomembno je namreč, da imajo izvajalci izobraževanja ustrezna andragoška znanja za delo s kolegi. Prav tako so po njenem mnenju zelo pomembne izkušnje, ki so si jih pridobili pri izvajanju različnih programov, različna strokovna dejavnost (npr. avtorstvo različnih gradiv, raziskovalno-razvojno delo, objavljanje.), kakor tudi njihova pojmovanja učenja, poučevanja, znanja, sodelovanja učencev. Poudarja namreč, da je potrebno poznati omenjena pojmovanja izvajalcev izobraževanja in jih predvsem usmerjati k razmišljanju o njihovih pojmovanjih in nato ravnanjih v konkretni situaciji. Stalna skrb za profesionalni razvoj, ki se kaže v udeležbi na različnih konferencah in seminarjih, lahko tudi v študiju, mora biti prisotna pri vseh izvajalcih izobraževanja. Zanje bi bil nedvomno priporočljiv predstavitveni listovnik profesionalnega razvoja. V okviru izvajanja izobraževanja je zelo pomemben odnos do udeležencev izobraževanja, upoštevanje njihovega predznanja in izkušenj ter smiselno odzivanje na njihove potrebe. Pri izvajanju programa sta pomembna tako vsebinski kot izvedbeno-organizacijski vidik. Vsebina programa naj bo čimbolj interdisciplinarna in smiselno oblikovana, pri čemer opozarja na ustrezen odnos med informativnostjo in uporabnostjo. Meni, da je potrebno, da udeleženci izobraževanja dobijo aplikativna znanja. Za izvajanje programa je prav tako pomembna izvedba, s čimer misli na smiselno kombinacijo učnih metod in učnih oblik. 93 Pripominja, da mora biti izvajalec programa spreten v vodenju skupine. Ker predstavlja pomemben dejavnik pri izvajanju programa število udeležencev, intervjuvanka predlaga optimalno velikost skupine, to je 20 udeležencev. Za razvoj programa je potrebno njegovo stalno spremljanje in vrednotenje. Poudarja, da je potrebno program vrednotiti na različne načine. Zadovoljstvo udeležencev lahko spremljamo z analizo podatkov, ki smo jih zbrali z anketnimi vprašalniki, pri čemer daje večjo težo odprtim vprašanjem. Podatke lahko zbiramo tudi z vodenimi intervjuji. Pomemben podatek nam predstavlja tudi večkratna udeležba v razpisanih programih institucije, zadovoljstvo udeležencev, uresničena pričakovanja in na novo pridobljene kompetence. 94 Dr. Majda Cencič Univerza na Primorskem Pedagoška fakulteta Koper 9.2 Mnenja izvajalke s Pedagoške fakultete Koper o programih stalnega strokovnega spopolnjevanja strokovnih delavcev v vzgoji in izobraževanju Intervju je potekal 12. 6. 2009 v sejni sobi na Univerzi na Primorskem, Pedagoški fakulteti Koper. Izvajalka programov stalnega strokovnega spopolnjevanja je univerzitetna učiteljica, ki že 6 let izvaja programe stalnega strokovnega spopolnjevanja, to je programe profesionalnega razvoja in posodobitvene programe. V šolskem letu 2008/09 se na razpis ni prijavila, ker meni, da ni uvedla nobene novosti. Mnenje o evalvaciji izvajalcev Izvajalka predlaga, da se ne bi evalviralo skupnega seminarja, ker npr. en posamezni seminar skupaj izvaja nekaj izvajalcev. Seminarji trajajo npr. tudi 16 ur ali več. Pri evalvaciji skupnega seminarja meni, da se izgubijo podrobnosti. Predlaga, da bi se evalvirali raje vsebinski sklopi namesto izvajalcev. Najbolj pomembno pa se ji zdi, da bi se evalviral prenos teorije v prakso, če je bilo na seminarju delo predstavljeno dovolj razumljivo in uporabno, da učitelji ali drugi strokovni delavci v vzgoji in izobraževanju lahko novost preizkusijo v svoji praksi. Pomembni elementi za evalvacijo Izvajalki programov se zdi zelo pomembna informiranost na začetku, pri prijavi na seminar, da bi uporabniki že na začetku dobili osnovne informacije o ciljih ali namenih seminarja. Pravi, da je teh informacij sedaj premalo in da pridejo uporabniki na program, ne da bi vedeli, kaj je cilj programa. 95 Dodaja, da so sedanje informacije, ki jih uporabniki dobijo o ciljih programa preskromne in da premalo povedo o vsebini programa. Uporabniki pridejo z drugačnimi pričakovanji. Dodaja, da navadno niso razočarani, a njihova začetna pričakovanja so bila drugačna. Po njenem mnenju naj evalvacija vključuje: - evalvacij o novosti, ki je vključena, - navedbo inovacije, ki naj se ne ponavlja, - uporabo aktivnih metod, - prenos znanja na uporabnike in - uporabo znanja v praksi. Predlaga tudi, da bi bila omogočena možnost refleksije in ohranjanja stika izvajalca z uporabniki tudi po zaključku programa. Sedanji programi stik med izvajalci in udeleženci programov »odrežejo«. Progami se lahko končajo s seminarsko nalogo. Pa tudi, ko se opravi vse ure, je konec seminarja. Predlaga, da bi se nekaj ur namenilo vzdrževanju stika z udeleženci programov, ki naj bi trajal vsaj pol leta. Te ure naj bi dodali pri seminarjih. Dodaja, da 20 % udeležencev po opravljenem seminarju še sprašuje, preverja novost in dodaja, da je slabo, če programi kar »zaprejo vrata za nadaljnje sodelovanje«. Kaj še evalvirati Pri modelu evalvacije bi dodala še evalvacijo službe Ministrstva in »sita«, ki določajo, kateri programi bodo sprejeti in kateri ne. Evalvirala bi še kriterije, po katerih se ocenjujejo programi in teme. Dodaja, da bi lahko Ministrstvo nagrajevalo izvajalce, ekipe ali time, ki so zelo dobri izvajalci. Mnenje o vprašalnikih Pravi, da če je vprašalnik preobsežen, ga udeleženci ne izpolnijo, ker se jim mudi in oddajo prazne vprašalnike. Meni, da bi bil pri elektronskem izpolnjevanju manjši odziv, a bi dobili bolj tehtne odgovore. 96 Dodaja, da udeleženci ne morejo vsega evalvirati, če so npr. na 8-urnem seminarju. Meni tudi, da lahko dobimo od udeležencev samo podatke, ki vključujejo »človeški faktor«. Mnenje o evalvaciji Evalvacija naj bi se razdelila na dva dela: (a) na izkušnje ter (b) na celostno evalvacijo. Sestavine, ki jih je izvajalka predlagala za model evalvacije izvajalcev, pa smo vključili v »profil«. 97 Brigita Žarkovič Adlešič Zavod Republike Slovenije za šolstvo 9.3 Model evalvacije kakovosti izvajalcev usposabljanja strokovnih delavcev Zapis intervjuja z direktorico zasebne izobraževalne institucije v Ljubljani. Intervju je potekal 18. 6. 2009, od 10. do 12. ure. Na podlagi dogovora na sestanku projekta CRP, Model evalvacije kakovosti izvajalcev usposabljanja strokovnih delavcev, sem se dogovorila za intervju, na katerem sva z intervjuvanko skupaj pregledali predlog modela. Komentirala je posamezne elemente modela in pri tem se je osredotočila na to, kako razume model, kaj je pomembno v modelu, kaj je razumljivo in kaj ne ter kakšen je celostni vtis o modelu. Zapis odgovorov in predlogov je po posameznih področjih modela evalvacije. 1. Materialni pogoji Potrebno je zagotoviti visok standard, ker je ciljna publika vodilni in vodstveni kader. Materialni pogoji za delo so izrednega pomena za dobro počutje in vplivajo na človekovo odprtost za učenje, stik. Izvajalec pa mora vlagati tudi v promocijske dejavnosti, kot na primer središče za samostojno učenje, teden VŽU, teden podjetništva 2. Certifikat kakovosti ISO, Recall, POKI, Investors in People, Incas. Dobro je preveriti, kakšne standarde kakovosti uporabljajo posamezni izvajalci, na kakšen način spremljajo in razvijajo svojo kvaliteto. Pomembno mesto mora imeti samoevalvacija. Andragoški center je razvil 3000 vprašanj, na podlagi katerih lahko evalviramo različna področja svojega dela. Na Glotta novi so ugotovili, da je njihova šibka točka kakovost gradiv. 98 3. Obveščanje udeležencev Obveščanje naj poteka na nevsiljiv način preko internega glasila ali preko Portalov - to je prava pot, kjer se lahko objavlja, kaj se dogaja na področju znanja, mreže, e-gradiva, e-učilnice, portal za vrednotenje, karierni coaching. Pestrost ponudbe - je lahko dvorezen meč, specializacija zahteva znanje v globino, metodologijo, tisti, ki preživijo kot specialisti so res dobri, ker razvijajo ozko področje in so edini usposobljeni. 4. Kadri Pogodbeni, ozki specialisti, nekaj zaposlenih, ki vodijo področje, odvisno od trga, podporni kadri - vodje izobraževanja, organizatorji, pomembna je pedagoško-andragoška izobrazba -tudi za druge kadre, ki delajo z odraslimi. 5. Vloga izobraževalcev Je proces, vsak sodelujoči v procesu se mora počasi prilagoditi, koliko je pripravljen vložiti, napisati - veliko možnosti za pisanje - portali, blogi. 6. Program Potrebno se je: - prilagajati naročniku, - prilagajati potrebam skupine - fleksibilnost, - preverjati pričakovanja in cilje, - teorija, praksa - aplikativna znanja: kje bodo uporabili; kaj bo jutri drugače, - ocena situacije: aktualnost, proaktivni pristop; novosti, ki jih potrebujejo. 7. Spremljanje udeležencev Redno spremljanje inštitucij, ki so stalne stranke in se pojavljajo večkrat, posamezniki pa se pojavljajo v sistemu modulov, ko napredujejo po stopnjah. To je tudi znak, da je izobraževanje kvalitetno in da vztrajajo do konca. 99 Predlog Vsako leto bi lahko pripravili evalvacijo v obliki konference. Tam bi se izvajalci srečevali v fokusnih skupinah, oblike evalvacije bi bile lahko različne (npr.: plenarni del, izmenjava izkušenj - delavnice, okrogla miza, open space,...). 100 Dr. Branko Slivar Zavod Republike Slovenije za šolstvo 9.4 Intervju o modelu Intervjuvanec je moška oseba z dolgoletnimi izkušnjami na področju usposabljanja učiteljev, zaposlen v javnem zavodu, ki se ukvarja tudi z usposabljanjem učiteljev. Predstavljen mu je bil namen intervjuja. Med intervjujem je bil motiviran in je sodeloval. Intervju je trajal 60 min v pisarni intervjuvanca, 19. 6. 2009. V uvodnem delu intervjuja je intervjuist predstavil model. Vprašanja za intervju: 1. Kako razume model? 2. Kaj j e pomembno v modelu? 3. Kaj j e razumljivo in kaj ne? 4. Kakšne je celotni vtis o modelu? Kako razume model? Intervjuvanec je po predstavitvi modela opisal, kako razume model. Na začetku je pozdravil idejo o pripravi modela, saj je nekaj takega pogrešal že vrsto let. Vidi ga kot orodje, s katerim bi se dalo izboljšati kakovost usposabljanja učiteljev. Ugotavlja, da do sedaj ni bilo takšnih modelov in da bi že obstoj določenega modela lahko imel pozitivne povratne učinke na prakso. Zaveda se, da prikazani model ni nujno najboljši oz. da ne bo »rešil« vseh problemov, ki jih imamo na področju ugotavljanja in zagotavljanja kakovosti pri izvedbi dodatnega izobraževanja učiteljev. Meni, da ga razume: njegov namen, strukturo in možne načine izvedbe. V modelu vidi možnost primerjanja izvajalcev glede na njihova posamezna področja in ne primerjave v smislu kdo je najboljši in kdo najslabši. Kaj je pomembno v modelu? V modelu je pomembno to, da je celosten, saj zajema vsa relevantna področja. Model je zajel skoraj vsa pomembna področja, tako da glede področji ni pripomb. Prav tako je pomembna 101 možnost samoevalvacije in ne izključno zunanje evalvacije. Zunanja evalvacija naj bi bila kot možnost in bi se z njo preverjale samo določene sestavine - neke vrste kontrolne točke. Kaj je razumljivo v modelu in kaj ne? Model je razumljiv. Intervjuvanec je opozoril na premalo natančen opis sestavin in na problematiko zajemanja podatkov ter njihovo verodostojnost pri samoevalvaciji. Zajem podatkov bi moral biti za uporabnike prijazen, sicer ne bodo želeli sodelovati in bodo tako samoevalvacijo kot zunanji evalvacijo dojemali kot dodatno administrativno delo. Zato je potrebno razmisliti, da bi izvajalcem ponudili neko metodologijo, ki omogoča, da jo izvajalci izpeljejo sami. Se pravi opredeliti, npr. skupno metodologijo za samoevalvacijo. Intervjuvanec je še dodal, da je pri izvajalcih potrebno določiti, koliko podatkov se bo zajemalo in kako natančno. Kakšen je celoten vtis o modelu? Celoten vtis modela je po mnenju intervjuvanca pozitiven - področja so smiselna in relevantna, prav tako posamezni dejavniki. Tako kot sedaj vidi model, meni, da nič pomembnega ne manjka. 102 10 SKLEP V raziskavi, opravljeni v okviru projekta CRP, šifra: V5-0438, z naslovom: Model evalvacije kakovosti izvajalcev programov usposabljanj strokovnih delavcev, smo oblikovali model izvajalcev, ki smo ga zasnovali v obliki profila. Model vključuje štiri področja evalvacije, ki so razčlenjena na ključne sestavine in ponekod opisana. Vsako področje se še naprej deli. Zastopana so področja: 1. inštitucija; 2. program; 3. izvajalci (izobraževalci) in 4. udeleženci (izobraževanci). Področja so opisno razčlenjena s ključnimi sestavinami in nato kazalniki (ali razčlenjene sestavine). Lahko izpostavimo, da so: - nekatere sestavine lahko preverljive, merljive, druge pa primerne za kvalitativno preverjanje; - kvantitativni del se lahko tudi grafično predstavi; - za nadaljevanje bi bilo potrebno oblikovati instrumente za ugotavljanje kazalcev kakovosti, tako kvantitativne kot tudi kvalitativne, ki bi bili na razpolago izobraževalcem in izobraževancem, da bi jih po potrebi uporabili, pa tudi spremenili glede na njihove potrebe in cilje. Instrumente bi morali pred uporabo preizkusiti, po potrebi dopolniti in z njimi izpopolniti hipotetični model izvajalcev programov stalnega strokovnega spopolnjevanja strokovnih delavcev. Kot prednosti lahko izpostavimo, da je predstavljeni model primeren tako za notranjo kot zunanjo evalvacijo, tako za sprotno kot končno evalvacijo, vključuje produktno in procesno evalvacijo, ga je možno dopolniti, vključuje tako kvalitativne kot kvantitativne kazalce, omogoča grafično predstavitev, se ga lahko uporabi za primerjalne ali neprimerjalne evalvacije, omogoča pa tudi razvijanje evalvacijske kulture in načrtovanje sprememb ter spodbuja vse zainteresirane h kakovostnejšemu vključevanju v vzgojno-izobraževani proces. 103 104