Krepitev zmožnosti za samoevalvacijo v šolah Zbirka Vodenje v vzgoji in izobraževanju i s sn 1855-6582 Krepitev zmožnosti za samoevalvacijo v šolah Mateja Brejc Krepitev zmožnosti za samoevalvacijo v šolah dr. Mateja Brejc Recenzenta · dr. Cveta Razdevšek Pučko in dr. Klemen Širok Izdala in založila · Šola za ravnatelje Predoslje 39, 4000 Kranj Lektoririranje · Sara Horvar, Šola za ravnatelje Oblikovanje in tehnična ureditev · Alen Ježovnik, Folio Oblikovanje naslovnice · Sašo Gorjup Likovnik, b & s Kranj · 2014 © 2014 Mateja Brejc Publikacija je sofinancirana s sredstvi Evropskega socialnega sklada v okviru projekta Zasnova in uvedba sistema ugotavljanja ter zagotavljanja kakovosti vzgojno izobraževalnih organizacij. Publikacija je brezplačna. c i p – Kataložni zapis o publikaciji Narodna in univerzitetna knjižnica, Ljubljana 37.091:005.962.131(0.034.2) b re j c, Mateja Krepitev zmožnosti za samoevalvacijo v šolah [Elektronski vir] / Mateja Brejc. – El. knjiga. – Kranj : Šola za ravnatelje, 2014. – (Zbirka Vodenje v vzgoji in izobraževanju, i s sn 1855-6582) Način dostopa (u rl): http://www.solazaravnatelje.si/ISBN/978-961-6637-63-3.pdf Način dostopa (u rl): http://www.solazaravnatelje.si/ISBN/978-961-6637-64-0/flipbook.html i sb n 978-961-6637-63-3 (pdf) i sb n 978-961-6637-64-0 (html) 275422208 Kazalo Seznam slik · 6 Seznam preglednic · 7 1 Aktualizacija obravnavane teme · 9 1.1 Opredelitev raziskovanega problema · 10 1.2 Namen in cilji raziskave · 21 2 Ugotavljanje kakovosti in evalvacija šol · 25 2.1 Mednarodni in sistemski vidiki ugotavljanja kakovosti · 25 2.2 Evalvacija šol · 32 2.3 Ugotavljanje in zagotavljanje kakovosti šol s samoevalvacijo v Sloveniji · 42 3 Krepitev zmožnosti za evalvacijo · 47 3.1 Krepitev zmožnosti · 47 3.2 Krepitev zmožnosti za evalvacijo · 53 3.3 Modeli krepitve zmožnosti za evalvacijo · 57 3.4 Izhodišča za oblikovanje modela krepitve zmožnosti za evalvacijo · 72 4 Krepitev zmožnosti šol za samoevalvacijo · 79 4.1 Razvijanje nacionalnega sistema ugotavljanja in zagotavljanja kakovosti · 81 4.2 Usposabljanje za samoevalvacijo · 89 5 Zasnova raziskave in predstavitev raziskovalnih hipotez · 95 5.1 Zasnova raziskave · 95 5.2 Opredelitev in konceptualizacija hipotez · 99 5.3 Opis procesa raziskovanja · 111 5.4 Predstavitev vzorca – viri podatkov · 113 5.5 Analiza podatkov · 115 5.6 Omejitve raziskovanja · 116 6 Krepitev zmožnosti z usposabljanjem za samoevalvacijo · 117 6.1 Značilnost vzorca in njegova reprezentativnost · 117 6.2 Interpretacija · 129 7 Model krepitve zmožnosti šol za samoevalvacijo · 147 7.1 Opredelitev modela · 149 7.2 Zaključno razmišljanje o predlogu modela · 160 Literatura · 163 5 Seznam slik 2.1 Okvir evalvacije in ocenjevanja v izobraževanju · 33 3.1 Vplivi na notranjo zmožnost · 50 3.2 Multidisciplinarni model krepitve zmožnosti za evalvacijo · 59 3.3 Elementi okvira za krepitev zmožnosti za evalvacijo · 62 3.4 Logični model teorije sprememb za krepitev zmožnosti za evalvacijo · 65 3.5 Konceptualni okvir evalvacijskega poizvedovanja kot organizacijskega okvira učenja · 67 3.6 Integrativni model krepitve zmožnosti za evalvacijo · 69 3.7 Konceptualni model za merjenje krepitve zmožnosti za evalvacijo · 71 4.1 Povezava med projektoma k v i z in u k v i z · 83 4.2 Usposabljanje za samoevalvacijo (u se) · 91 4.3 Kaskadni način usposabljanja za samoevalvacijo v prvem ciklu projekta u k v i z (2009–2011) · 93 5.1 Načrtovanje in evalvacija usposabljanja na štirih ravneh · 97 5.2 Povezava med spremenljivkami · 103 6.1 Ocena odnosa udeležencev do samoevalvacije · 123 6.2 Ocena izboljšanja znanja in spretnosti glede na vrsto udeležencev v usposabljanju – predznanje · 124 6.3 Ocena izboljšanja znanja in spretnosti glede na vrsto udeležencev v usposabljanju – predspretnosti · 124 6.4 Ocena zaznavanja sprememb v delovanju na ravni šol glede na vrsto zavoda · 125 7.1 Model krepitve zmožnosti šol za samoevalvacijo · 150 6 Seznam preglednic 2.1 Nameni evalvacije šol · 37 2.2 Pogoji in ovire za uvedbo samoevalvacije · 40 3.1 Vrsta, raven in vsebina strategij krepitve zmožnosti za evalvacijo · 75 3.2 Ovire za krepitev zmožnosti za evalvacijo · 75 3.3 Rezultati krepitve zmožnosti za evalvacijo na individualni in organizacijski ravni · 76 4.1 Število šol in udeležencev v projektih k v i z in u k v i z · 83 4.2 Primeri dimenzij odnosa do samoevalvacije · 87 4.3 Strategije krepitve zmožnosti za samoevalvacijo v nastajajočem sistemu ugotavljanja in zagotavljanja kakovosti · 88 5.1 Znanje in spretnosti za samoevalvacijo v šolah · 106 5.2 Razsežnosti odnosa do samoevalvacije · 107 5.3 Elementi zadovoljstva udeležencev z izvedbo usposabljanja · 109 5.4 Elementi uspešnosti delovanja tima za samoevalvacijo · 109 5.5 Spremembe v delovanju šol · 110 5.6 Opredelitev kategorij pri mnenjskih vprašanjih · 113 5.7 Število sodelujočih v raziskavi in delež izpolnjenih anket · 115 6.1 Značilnosti vključenih šol · 118 6.2 Značilnosti anketirancev · 118 6.3 Opisne statistike odvisnih spremenljivk · 119 7  Aktualizacija obravnavane teme Samoevalvacija v šolah ni več stvar vprašanja, ampak je dejstvo. Za kakovo- stno in trajnostno uporabno samoevalvacijo v šolah pa je pomembna krepitev zmožnosti. V monografiji opisujemo in kritično vrednotimo uvajanje samoe- valvacije v okviru nastajajočega sistema ugotavljanja in zagotavljanja kakovosti v Sloveniji, z vidika nacionalnega konteksta in okvirov, obstoječega znanja in izkušenj, mednarodnih trendov in pogledov različnih deležnikov. Raziskava je osredotočena na proučevanje usposabljanja za samoevalvacijo kot ene od strategij za krepitev zmožnosti šol za samoevalvacijo. Rezultati raziskave in teoretična spoznanja pa služijo kot okvir in izhodišče za predlog modela kre- pitve zmožnosti šol za samoevalvacijo. Raziskovalni problem izhaja iz področja kakovosti šolstva. Področje je po- vezano z mojim predhodnim izobraževanjem in sedanjo zaposlitvijo in je bilo torej zame osebno nekako logična izbira. Poleg tega izbiro naslanjam tudi na to, da skorajda dnevno beremo in poslušamo razprave o kakovosti šolstva ozi- roma šolskih sistemov in o tem, kaj je dobra šola, kaj so odlični dosežki učen- cev. To velja tako za slovenski kot mednarodni kontekst. Kakovost je tako po- udarjena z različnih vidikov, hkrati pa ni področje, s katerim bi se pri nas ali v tujini do sedaj ne ukvarjali. Kakovost zagotovo ni nekaj novega, odpirajo pa se novi pogledi, ideje, prakse ki kažejo na morebitne »prave« načine delovanja v smeri izboljšanja kakovosti delovanja šol in izboljševanja dosežkov učencev. Raziskave vse bolj kažejo tudi, kaj v tem okviru ne deluje, kje so šibka področja, vse več vemo o tem, kaj je potrebno upoštevati. Ukvarjanje s kakovostjo je uo-kvirjeno tudi v ekonomske pomisleke in razprave o racionalni in učinkoviti uporabi javnih sredstev, ki so namenjeni izobraževanju (Služba Vlade r s za razvoj in evropske zadeve 2011). Pri tem npr. kaže, da višina vloženih sredstev ni sorazmerna z ravnjo kakovosti, vsaj v primeru rezultatov, ki izhajajo iz med- narodnih primerjav znanja učencev (oe c d 2013a).1 Vse našteto kaže, da se je z vidika izboljševanja dosežkov učencev, skladno s profesionalno odgovorno- stjo učiteljev pa tudi mednarodnih priporočil potrebno raziskovalno ukvarjati, na ravni nadnacionalnih agencij, šolskih sistemov pa tudi oziroma predvsem 1 Prevodi tujih virov in literature so delo avtorice. 9 Aktualizacija obravnavane teme s konkretnimi ukrepi na ravni šol. Samo nadzor in subjektivne ocene ter pre- pričevanja o tem, kaj je dobra šola tako ne zadostujejo. V tem okviru številni šolski sistemi prepoznavajo vrednost samoevalvacije, hkrati pa postaja vse bolj aktualno tudi vprašanje zmožnosti šol za samoevalvacijo in v zvezi s tem vpra- šanje krepitve zmožnosti od ravni učiteljev preko šol do šolskega sistema. 1.1 Opredelitev raziskovanega problema V uvodnem poglavju najprej predstavljamo ozadje oziroma okvir študije in opredeljujemo raziskovalni problem, pomen krepitve zmožnosti šol za učin- kovito uvajanje in izvajanje samoevalvacije. Za širše razumevanje vloge krepi- tve zmožnosti šol za samoevalvacijo najprej razpravljamo o namenih šolanja in odgovornosti, ki jo v zvezi s tem imajo šole, o pomenu in vplivu globali- zacije in novih razmerjih med državo in lokalnimi oblastmi ter vplivom, ki ga imajo na šole, vodenje šol in ukvarjanje s kakovostjo. Ugotavljamo, da se evalvacija kot orodje ugotavljanja kakovosti v vse bolj formalnih in hkrati raz- ličnih oblikah uveljavlja tudi na področju šolstva, pri čemer je pomembno tudi zavedanje, da učitelji niso profesionalni evalvatorji. Tako znanje in spretnosti, ki jih ravnatelji in učitelji potrebujejo za samoevalvacijo, niso samoumevni, prav tako se samoevalvacija ne zgodi, če za to ni vzpostavljenih potrebnih po- gojev in struktur tako na organizacijski kot sistemski ravni. Zato je smiselna podpora z različnimi strategijami za krepitev zmožnosti za samoevalvacijo, od katerih eno predstavlja usposabljajnje. 1.1.1 Nameni šolanja in odgovornost z vidika zagotavljanja kakovosti v šolah Šole dojemamo kot zelo pomembne socialne institucije,2 ker jih ustanavljamo in razvijamo, da bi naslednji rod usposobili za prevzem odgovornosti za družbo na neki točki v prihodnosti, ko bodo odrasli. Tako je temeljni na- men izobraževanja socializacijski proces (Fulcher in Scott 2011). Šola je prav- zaprav najtrajnejša in najdolgoročnejša institucija, v katero lahko politiki vla- gajo svoje interese in sredstva: prihodnost družbe je močno odvisna od uspeha izobraževanja in učinkovitosti šol. Vsaka družba mora pripraviti naslednji rod državljanov na prevzem vajeti. Otroke in mlade socializira, da bodo znali in bodo pripravljeni prevzeti vrednote družbe. Temu lahko rečemo sociološka razlaga za šolanje (Haralambos idr. 1999). Toda v večini družb se nenehno 2 Izraz institucija v tem primeru uporabljamo, ker izhaja iz sociologije in zajema izobraževalne institucije kot take. V nadaljevanju šolo obravnavamo kot organizacijo. 10 1.1 Opredelitev raziskovanega problema vnema kulturni boj, kaj to pomeni in v katero smer bi morala kreniti družba in z njo izobraževanje. Določitev prevladujočih namenov šolanja oblikuje in- stitucije in z njimi strokovne diskurze in prakse poučevanja in učenja, vodenje šol in razredov, učne načrte in družbene tehnologije, ki se uporabljajo. Prav tako vpliva na opredelitev kakovosti v šolah in načine za njeno ugotavljanje in zagotavljanje. Hkrati vemo, da imajo institucije, kot so šole, dolg spomin in se pri vrednotah in navadah upirajo spremembam, zato smo pogosto priča me- šanici diskurzov, vrednot in logik, po katerih razmišljajo in se ravnajo učitelji. Šole se morajo vse bolj obračati navzven in dokazovati. Zdi se namreč, da ne glede na to, ali države šole vidijo s stališča socialnosti države ali kako drugače, politični sistemi vlačijo šole v mednarodne primerjave ter državne in mednarodne primerjalne statistike rezultatov, kot je pi s a. Vrhnji položaj v pi si se razume kot cilj sam po sebi (Hopman 2008). Marsikje se namreč po navdihu tržne logike, katere nosilke so nadnacionalne agencije, že približno dvajset let razvija novo pojmovanje države kot konkurenčne države. Kulturo in politiko v tem pojmovanju izpodriva ekonomska logika: država se mora, da preživi v gospodarski konkurenci na svetovnem trgu, obračati navzven (Pedersen 2010). Osnova konkurenčnosti sta učinkovitost in uspešnost poslovanja, trga delovne sile, trgovine in industrije. Vloga izobraževanja se spreminja iz »producira- nja« državljanov, družinskih članov in človeških bitij v usposabljanje mladih v takšne ljudi, ki se vidijo kot potencialni pripadniki delovne sile in so – pred vsem drugim – zaposljivi. Pri učencih to vključuje poudarek na konkurenčno- sti, prilagodljivosti in obvladanju osnovnih veščin pismenosti in matematike. Tudi šole se torej morajo obračati navzven in »dokazovati« svojo učinkovitost in uspešnost. Hkrati s pojmovanjem konkurenčne države pa je še vedno priso- tno tudi stališče o socialnosti države, ki ga je po drugi svetovni vojni prevzelo veliko družb. Nameni šolanja so bili pogosto opisani v širšem smislu: šole naj bi učence izobraževale v razsvetljene, zavzete, dejavne in sodelujoče državljane. »Izobraževanje za demokracijo« stremi k zrelosti, povratnosti, družbeni pre- soji, etični in politični zavesti ter zmožnosti delovanja. Osnovne vrednote v šolah so torej družbena pravičnost, dajanje pristojnosti in skupnost. Ta poj- movanja so v šolah živa še skoraj povsod, politiki in administratorji pa jih ne spodbujajo vedno (Haralambos idr. 1999). Zaradi prevladujoče konkurenčnosti, tržne in managerske logike, v razpra- vah o šolskih politikah vse bolj prevladuje dojemanje šol kot enot merjenja, iz česar sledijo nova pričakovanja o javnem poročanju. Del tega procesa so tudi sistemi ugotavljanja kakovosti v izobraževanju, pri čemer se postavlja vpra- šanje, ali gre pri tem za »aktualizacijo kakovosti ravno sedaj ali za koncept zarote?« (Barle 2007, 35) V sodobni šoli naj bi se namreč prepletali dimenziji 11 Aktualizacija obravnavane teme marketizacije in regulacije šol, za kateri je značilen umik države iz prostora, ki ji klasično pripada (Barle 2007, 35): S konceptom kakovosti naj bi država samo bolj subtilno oblikovala na- čine nadzora nad področjem vzgoje in izobraževanja. Simbolni nadzor naj bi postajal vse večji in vse bolj podoben tržnemu nadzoru, pri kate- rem potrošniki hkrati nadzorujejo kakovost izdelkov, storitev. [. . .] Zah- teva po sprostitvi delovanja mehanizmov trga sama po sebi vključuje več procesov, ki ključno vplivajo na oblikovanje šolske politike. Med to- vrstne procese gre v zadnjem desetletju šteti proces decentralizacije in poudarjanja avtonomije. Medtem, ko so se šole prej bolj obračale navznoter, v učeče se skupno- sti, cilje in sredstva izobraževanja, osebne in družbene kompetence, se torej morajo zdaj ozirati tudi navzven, k zahtevam in pričakovanjem političnega sistema, administrativnega sistema, sistema kakovosti, deležnikov in medna- rodnih standardov. Vse bolj postaja razširjen koncept odgovornosti (Møller 2009). S tipologijo logik (Firestone in Shipps 2005; Moos idr. 2011) si lahko pomagamo prepoznati in razumeti diskurze, družbene tehnologije in prakso v šolah: • Tržna logika: Šole se dojemajo kot službe, v katerih ponudniki storitev zagotavljajo potrošnikom izobraževalne izdelke. Ključni pojmi so po- trošniška izbira, konkurenca in učinkovitost. Starševska izbira šole je bistvena prav tako kot ideja ekonomske spodbude. • Managerska logika: Poudarek je na načrtovanju, kontroli, mejnikih, standardih, vodenju od zgoraj navzdol in preglednosti. Pogosto se upo- rabljajo družbene pogodbe. • Logika javnosti: Upravljanje šol poteka v političnih procesih, ki zajemajo ustvarjalce politik, starše, učence in strokovne delavce na več ravneh: na ravni države, šolskega okoliša, šole in celo razreda. • Profesionalna logika: Šole je treba voditi v skladu s profesionalnimi izobraževalnimi standardi in strokovno etiko, ki temeljijo na strokovni izobrazbi, usposabljanju in na profesionalnih učečih se skupnostih. • Etična logika: Šole so odgovorne za vsestransko in vseobsegajočo vzgojo, izobrazbo demokratičnih državljanov. Vse te tipologije logike in odgovornosti so dejavne v vseh šolah, vendar v različnih razmerjih. Če smo prej opažali več etične, profesionalne in javne odgovornosti, sta danes zelo pomembni tudi tržna in managerska logika. 12 1.1 Opredelitev raziskovanega problema Celoten prej opisan proces spreminjanja šol je dodatno spodbujen oziroma pospešen, v koliko hkrati prihaja tudi do pritiskov na zmanjševanje obsega javnih financ, kar je še posebej aktualno v zadnjem času (o e c d 2013a). Pro- cesi decentralizacije in krepitve avtonomije lokalnih oblasti v povezavi s pre- nosom odgovornosti na nižje ravni se vedno dogajajo takrat, ko se zmanjšuje obseg javnih financ za šolstvo in je potrebno krivdo za težave pripisati nekomu drugemu. »Država si namreč (vsaj sodeč po praksi decentralizacije v zadnjem desetletju) jemlje pravico do nadzora nad vzgojno-izobraževalnim področjem ravno v tistem delu, ki bi moral biti prepuščen stroki – do nadzora nad vse- bino in vsebinskimi vprašanji kakovosti vzgojno-izobraževalnega dela« (Barle 2007, 36). Če bi namreč država dejansko verjela v decentralizacijo, bi na stro- kovne institucije prenesla strokovna vprašanja, vprašanja vsebine in kakovo- sti, sama pa bi skrbela za zagotavljanje pogojev za kakovostno delo (Barle 2007, 36). Ob tem naj bi bile šolske politike »usmerjene v spodbujanje bolj inteligen- tnih oblik odgovornosti za soočanje z zunanjimi zahtevami po odgovornosti in sodelovanju namesto tekmovanja med učenci, učitelji in šolami« (Sahlberg 2010, 45). V kontekstu obravnavnih sprememb se vse bolj odpira tudi vprašanje, kdo in koga vrednoti oziroma evalvira. Evalvativna država zdaj bolj kot kdajkoli prej postavlja v ospredje vprašanje, kdo si lahko v imenu države »vzame in prilasti vlogo evalvatorja, nadzornika, torej tistega, ki preverja standarde in merila [. . .]« (Barle 2007, 36). Zdi se namreč, da najpomembnejši cilj šol po- staja uresničevanje rezultatov in dosežkov, ki so oblikovani zunaj, zanemarjen je razmislek o pomembnih ciljih in kako doseči zastavljeno. Gre za neke vrste »podržavljenja« edukacije (Barle 2007). Pojavi se lahko tudi dejstvo oziroma nevarnost, da se šolska politika v okviru koncepta kakovosti ukvarja samo še z merjenjem (včasih tudi nemerljivega ali težko merljivega), da pristajamo na različne instrumente merjenja kakovosti in da smo hkrati s tem premalo na- ravnani in usmerjeni v temeljno poslanstvo (namen) šol, vzgoje in izobraževa- nja (Barle 2007). »Če je moč verjeti ›teorijam zarote‹, da se zahteve po merjenju kakovosti uporabljajo kot sredstvo nadzorovanja, je moč simbolnega nasilja, ki ga lahko nosilci nadzorovanja kakovosti izvajajo, toliko pomembnejša. Nad- zor lahko poteka na mnogo bolj prikrite in subtilne načine.« (Barle 2007, 37) V tem okviru tako postajajo pomembna tudi vprašanja, kaj je predmet evalvacije šol, kdo in kako predmet evalvacije opredeljuje, kdo je evalvator in kaj se zgodi potem. Pomembno pa ni le, kaj je predmet evalvacije, kako je določen (od zno- traj ali od zunaj) in kdo je evalvator (notranji ali zunanji), kar se odraža tako na ravni učiteljev, šol, kot tudi šolskega sistema, pač pa tudi kakšne zmožnosti imajo evalvatorji in kako jih (lahko) krepijo ter kdo evalvira (nadzoruje) eval- 13 Aktualizacija obravnavane teme vatorje. Šole in šolski sistemi sicer delujejo v lokalno in nacionalno specifičnih, ne pa tudi izoliranih kontekstih, zato v nadaljevanju opisujemo širši kontekst, globalizacijo in nadnacionalne agencije ter njihov vpliv na nacionalne države, njihovo šolstvo in ukvarjanje s kakovostjo, pa tudi nova razmerja med državo in lokalnimi oblastmi ter vpliv, ki ga imajo na šole. 1.1.2 Globalizacija in delovanje nadnacionalnih agencij Globalizacija je pomemben dejavnik sprememb pri ugotavljanju kakovosti v šolskih sistemih in šolah. V času globalizacije se pregrade med narodi in dr- žavami na področjih ekonomije, industrije, trgovine, kulture in komunikacije, pa tudi izobraževanja, podirajo, oblikujejo se novi odnosi, nova zavezništva in povezave ter vplivi. Nekateri oblike so priložnostne, druge trajnejše in bolj formalne. Pojav globalizacije se nanaša na zapletene soodvisne procese, zna- čilno je zmanjšanje razdalj, širjenje odnosov preko nacionalnih meja, rastoča zavest sveta kot celote, povečana soodvisnost med različnimi deli sveta (Ful- cher in Scott 2011). Videti jo je mogoče tudi kot zapleten vzorec sprememb v gospodarstvu in delitvah dela, npr. v pojavu nadnacionalnih podjetij, ki so zvesta svojim delničarjem in zato sposobna prisiliti vlade, da svojo finančno pa tudi druge politike oblikujejo po tržni logiki. Pomembno se je spremenilo komuniciranje, zlasti pojav interneta in drugih oblik hitrih, globalnih množič- nih medijev, socialnih omrežij. Med bolj nedavnimi področji, na katerih lahko opazimo globalno soodvisnost, so problemi na finančnem trgu, podnebne in okoljske spremembe. Tako je eden od globalnih učinkov tudi težnja k neolibe- ralni in tržni politiki (s poudarkom na decentralizaciji, rezultatih, konkurenci in močnem vodstvu) ter k politiki prevzemanja odgovornosti (npr. s poudar- kom na ponovni centralizaciji ter centralno uvedenih standardih in merilih kakovosti) v javni domeni (Hood 1991). Pri tem se logika trga širi po številnih kanalih, kot so npr. nadnacionalne agencije, npr. Svetovna Banka, Organizacija za ekonomsko sodelovanje in razvoj (o e c d) in Komisija evropskih skupno- sti (e k). Večina jih je bila sprva vzpostavljenih za spodbujanje gospodarskega sodelovanja, širijo se na druga področja, vse bolj tudi na sodelovanje v šolski politikah. Vpliv globalizacije na kakovost v izobraževanju poteka predvsem preko nadnacionalnih agencij in po bolj ali manj uglašenih vplivih državnih in lokal- nih oblasti, ki delujejo preko nacionalnih meja (Fulcher in Scott 2011). oe c d in e k sta pomembna dejavnika na svetovnem prizorišču šolskih politik, če- tudi nimata pooblastil za oblikovanje le-teh v imenu vlad članic. Ker ju obe, tako kot njune države članice, zanima mednarodno sodelovanje in pobude, 14 1.1 Opredelitev raziskovanega problema sta razvili nadomestne metode vplivanja na dojemanje in zakonsko ureditev izobraževanja v državah članicah. Tako npr. »o e c d sebe ne vidi, niti ni bila ustanovljena z namenom postati neke vrste federalna ali supra država z regula- torno avtoriteto nad 30 bolj ali manj suverenimi državami članicami« (Schuller idr. 2006, 63). Tako tudi nima formalne moči, razvija pa drugačne strategije, kot npr. »sistem ›kolegialnega pritiska‹, ki države spodbuja k transparentno- sti, sprejemanju razlag in utemeljevanju ter samokritičnosti. To spodbujanje samokritičnosti med predstavniki držav članic je najbolj originalna značilnost oe c d« (oe c d 1998, 2). Značilnost strategije je, da naj bi države članice in institucije druga drugo spodbujale s kolegialnimi presojami in s spoznavanjem politik, na primer najboljših praks. Pri tem pa velja opozoriti, da »morajo biti države samokritične na osnovi skupnega nabora norm in vrednot. Kar po- meni, da morajo prevzeti vrednote, ki se lahko razlikujejo od osnovnih vre- dnot njihovih posameznih izobraževalnih sistemov« (Schuller idr. 2006, 63). V ozadju je predpostavka, da priporočila oe c d nakazujejo pravi način delovanja in »da naj bi se države, ki tako ne delujejo, začele premikati v tej smeri. Glavni argument pri tem je, da večina drugih držav deluje tako. [. . .] Ne gre torej samo za postavljanje smernic in s tem spodbujanje razprav, ampak tudi za predstavljanje rešitev« (Schuller idr. 2006, 63). Nadnacionalne agencije torej oblikujejo skupne diskurze o šolskih politi- kah v svojih poročilih, ključnih odborih, tokovih financiranja in programih. Glavni vpliv o e c d je v oblikovanju načel skupnega delovanja članic znotraj oe c d – npr. z mednarodnimi primerjavami, kot sta pi s a(mednarodna razi- skava o bralni, matematični in naravoslovni pismenosti) in t i m s s (mednaro- dna raziskava trendov znanja matematike in naravoslovja) – kot v posamičnih državah članicah. Če želi neka vlada uvrstiti določeno vprašanje na dnevni red šolske politike svoje države, vendar ji primanjkuje moči, da bi to dosegla, se lahko po pomoč obrne na oe c d. Ta oblikuje skupino, ki presodi stanje v dr- žavi članici na osnovi podrobnega in izčrpnega okvira, oblikovanega v oe c d. Poročilo skupine je pogosto podlaga za politično ukrepanje v državah (Pont idr. 2008). Primer enega od zadnjih »poročil«, povezanih z ugotavljanjem ka- kovosti, je o e c d pregledna študija o okvirih evalvacije in ocenjevanja za iz- boljšanje dosežkov šol (oe c d 2013b). Kažejo se tudi številni primeri kopiranja politik, programov, dejavnosti, ki sledijo obiskom, študijskim potovanjem, e-mreženju med nacionalnimi agen- cijami in oblastmi (Møller 2005) oziroma t. i. izposoje politik, kar pomeni, da si države izposodijo nekatere elemente nacionalnih politik druge države (Halpin in Troyna 1995). Tradicija in kulturna umeščenost sta ob tem nekako zanemar- jeni, kar lahko povzroči prepad med šolskim sistemom in enem od njegovih 15 Aktualizacija obravnavane teme namenov, to je ohranjevanje nacionalnih vrednot, identitete, tradicije. Neka- teri iz globalnega izposojeni elementi lahko ustrezajo, a niso nujno skladni s tradicijo in kulturnim kontekstom. Že dlje časa je tako npr. aktualen primer Finske, ki se uvršča v sam vrh držav na mednarodnih preverjanjih znanja kot sta pi s ain t i m s s (Gaber idr. 2011; Sahlberg in Hargreaves 2011). Spremembe v diskurzih o namenih šolanja in pojav poenotenih šolskih po- litik in trendov, ki se oblikujejo z globalizacijo v okviru mednarodnih povezav, vplivajo tudi na spremembe v odnosu med centralizacijo in decentralizacijo šolskih sistemov. Ta odnos je pomemben tudi z vidika (poenotenja) politik nadzora nad izobraževanjem in kakovostjo v šolah, o čemer razpravljamo v nadaljevanju. 1.1.3 Nova razmerja med državo in šolo Analize upravljanja in posebej razmerij oblasti (Dean 2009) so odkrile, kot pravi Faucault (Olssen, Codd in O’Neill 2004) da države, njenih institucij in posameznikov ni mogoče upravljati zgolj z zakonodajo ter gospodarskimi in administrativnimi predpisi. To ugotovitev zdaj dopolnjuje ali celo nadomešča spoznanje, da družbam ni mogoče vladati iz ene točke, tj. iz vlade. Vlade in druga telesa oblasti se morajo videti kot vodje, ki vodijo vodje s posrednimi oblikami oblasti (Hopkins 2007). Ena od oblik razmejitev pristojnosti med ministrstvi in lokalnimi oblastmi ali med lokalnimi oblastmi in institucijami (npr. šolami) je vplivanje na to, kako institucije in posamezniki stvari zaznavajo, si jih tolmačijo, razumejo in delujejo. Sama dejanja postanejo tako manj pomembna. S stališča vlade so po- membnejše vrednote in norme, iz katerih dejanja izvirajo, saj poskušajo posre- dne oblike vladanja vplivati na vrednote, norme in predanost. Druga oblika je tržni model nove javne uprave, ki je zasnovan na decentralizaciji financ in vo- denja ter ponovni centralizaciji namenov in nadzora kakovosti. Oziroma, kot navajajo Trnavčevič idr. (2007, 7) gre v zadnjih desetletjih na področju šol- stva zaznati »[. . .] tržno utemeljene spremembe. To pomeni, da so bili vpeljani mnogi mehanizmi in zakonski predpisi, ki so osnove šolskega sistema zasta- vljali v konceptu trga, menjalnih odnosov ter konceptu ponudbe in povpraše- vanja.« Zato se marsikdaj zgodi, da je prestrukturiranje javnega sektorja in z njim šolstva zaznamovano hkrati z rahljanjem in zategovanjem povezav (We- ick 2001) v razmerjih med centralnimi ustanovami in lokalnimi nosilci. Vlada pri tem nalaga lokalni in šolski ravni manj predpisov v zvezi s financami in vsakodnevnim delovanjem. To težnjo po decentralizaciji pa hkrati spremlja krepitev centralnega zakonskega urejanja za vzpostavitev evalvativne države 16 1.1 Opredelitev raziskovanega problema (Barle 2007), npr. z regulacijo šole, s standardiziranimi preizkusi znanja itd. V splošnem je sicer več poti vplivanja, ki jih lahko uporabijo vlade in lo- kalne oblasti, če želijo, da šole spremenijo svojo prakso. Woods (2012) v tem okviru govori o različnih modelih, in sicer: • model nadzora kakovosti, s katerim poskušajo vlade zagotoviti »ne- kaj nadzora nad ključnimi šolskimi procesi in produkti« z birokratsko »predpisanimi pravili in zahtevami« ter z »naborom postopkov, nadzo- rov in ukrepov na podlagi opazovanja«; • model tržnega tekmovanja z ustvarjanjem okolja, ki je podoben tržnemu, v katerem se pričakuje, da bodo šole delovale kot mala ali srednja pod- jetja, odzivne na potrebe porabnikov; • model lokalnega opolnomočenja, ki spodbuja priložnosti za starše in lo- kalno skupnost za vključevanje in sodelovanje pri odločitvah; • model opolnomočenja šol, kjer je avtoriteta dana šolam pri sredstvih, za-poslovanju in drugih zadevah; • model pluralnega nadzora, ki ga označujejo različne vrste nadzora in vpliva na izobraževanje, medtem ko centralna oblast obdrži pomembne vzvode nadzora, obstajajo hkrati različni izobraževalni akterji in par- tnerji, ki prihajajo iz poslovnega sveta in drugih sektorjev in niso nujno deležniki lokalne skupnosti. Mnogi imajo korenine izven skupnosti, v kateri je šola. V tem je razlika med modelom lokalnega opolnomoče- nja. Pomembno orodje razmerij med centralno in lokalno oblastjo in šolami je tudi družbena pogodba (Koren 2006). Obstajajo zelo raznolike pogodbe, ki so del odnosa med vladami (in nadnacionalnimi agencijami), institucijami in posamezniki. Posebne so v tem, da višja raven opredeli okvir virov, vrednot in kazalnikov, medtem ko izvajalna raven spiše pogodbo, po kateri zadovolji pričakovanja in kazalnike. Načrti, prednostna področja, dejavnosti in metode so prepuščeni izvajalcem (npr. šolam), če le ostajajo v splošnem okviru. Po- gosto je v pogodbo vpet vsaj kakšen (samo)evalvacijski instrument (Ander- sen 2008). Pogodbe prepuščajo odločitve izvajalski ravni, na kateri ljudje sami upravljajo svoje delovanje, če le delujejo v okviru, ki je določen od zunaj. Pri tej vrsti vodenja morajo organizacije in posamezniki prevzeti vrednote in norme, ki jih zastavi višja raven. In prevzeti jih morajo v tolikšni meri, da jih vzamejo za svoje (Moos 2011). Spremembe šolskih politik in razmerij v nadnacionalnem in nacionalnih kontekstih vplivajo tudi na vodenje šol, in se odražajo pri ugotavljanju in zago- 17 Aktualizacija obravnavane teme tavljanju kakovosti v šolah. Vse bolj poudarjena decentralizacija in okrepljena avtonomija šol namreč zahtevata (samo)evalvacijo in dokazovanje uspešno- sti in učinkovitosti z vidika doseganja standardov, rezultatov, porabe (javnih) sredstev itd. V nadaljevanju zato predstavljamo evalvacijo kot enega izmed pristopov h kakovosti, in jo v zaključku uvodnega poglavja umeščamo še v raziskovalni okvir. 1.1.4 Evalvacija kot pristop k ugotavljanju in zagotavljanju kakovosti Evalvacija je priznana na nacionalni in mednarodni ravni. Pojavlja se kot sa- moumeven del javne administracije in organizacijskih postopkov za vodenje in razvoj. Posamezne evalvacije vse bolj nadomeščajo sistemi, ki redno proi- zvajajo kazalnike in druge informacije z evalvacij (Rist in Stame 2006). S sta- lišča nove javne uprave je sprejeto, da so »evalvacija in merila učinkovitosti pravi način nadzora javnih podjetij« (Lane 1993, 132). Evalvacija se pojavlja kot gonilna sila ali nadomestilo različnim modnim formulam moderne orga- nizacije in upravljanja, kot npr. na rezultatih temelječ management, pogodbeni management, benchmarking. Evalvacija je del širšega družbenega trenda, ki vključuje tudi dejavnosti, kot so nenehno preverjanje (audit), inšpekcija, za- gotavljanje kakovosti in akreditacija – ki skupaj tvorijo »velik in neizogiben družbeni eksperiment, ki sega preko posameznih področij in je transnaciona- len« (Power 1997). Praktično ni dejavnosti brez tega, da evalviramo (vrednotimo) ali smo eval- virani. Ustanavljajo in razvijajo se institucije (centri, agencije itd.), ki so namenjene temu, da evalvirajo in so same evalvirane. Zdi se, da »nenasitna eval- vacijska pošast zahteva več in več hrane vsak dan« (Dahler-Larsen 2012, 1). Evalvacija tako postaja del administrativnih postopkov na različnih ravneh in v različnih organizacijah. Evalvacije posamezniki in organizacije torej ne mo- rejo odklanjati, lahko jo kvečjemu preložijo na kasneje ali izvedejo drugače. »Evalvacija je postala institucija v naši družbi, [. . .] ›zaščiten diskurz‹, nekaj virtualno svetega, o čemer se prevladujoče sile v družbi ne sprašujejo. [. . .] Evalvacije so postale del naše kulture in pomagajo strukturirati, kaj je tisto, o čemer govorimo, kaj menimo, da so pomembni problemi in kaj menimo, da bi glede teh problemov lahko storili« (Dahler-Larsen 2012, 3–4). Definicij evalvacije je sicer mnogo in se med seboj razlikujejo, imajo pa tudi določene skupne elemente. Če povzamemo samo nekatere, na katere v različ- nih virih naletimo najpogosteje, jo npr. opredeljujejo konceptualno-analitično (Scriven 1991), poudarjajo usmerjenost v metode družbenega raziskovanja (Rossi, Lipsey in Freeman 2004), namen in uporabo evalvacije (Patton 1997) 18 1.1 Opredelitev raziskovanega problema itd. Iz definicij je v času razviden tudi sam razvoj področja, od močnega po- udarka metodologiji preko uporabnosti in pragmatizma do tega, da postaja usmerjena v načrtovanje in prihodnost. Skupno različnim opredelitvam eval- vacije pa so štirje elementi, ki so prisotni v vsaki evalvaciji: 1) predmet eval- vacije (tisto, kar evalviramo), 2) ocenjevanje (vrednotenje), ki temelji na do- ločenih kriterijih, 3) sistematičen pristop ali metodologija zbiranja podatkov o predmetu evalvacije glede na določene kriterije in 4) namen ali nameravana uporaba. Evalvacija v praksi se razlikuje, pri čemer razlike določajo organizacija, po- litika in družbeni kontekst. »Če želimo razumeti mnoge od norm, vrednot in pričakovanj, ki jih evalvatorji in drugi vnašajo, včasih nezavedno, v evalvacijo, moramo razumeti, kako je evalvacija zahtevana, vzpostavljena in oblikovana z dvema velikima načeloma sodobnega družbenega reda, imenovanima ›or- ganizacija‹ in ›družba‹« (Dahler-Larsen 2012, 29). V kompleksnih družbenih organizacijah, kot so šole, pravila, vloge in odnosi (strukture), vse bolj težijo k organiziranosti okrog funkcij, ki so za delovanje organizacij ključnega po- mena. Norme, ki opredeljujejo te strukture, so izraz za uporabo termina druž- beni sistem. Med ključnimi organizacijskimi družbenimi sistemi so med dru- gim tudi sistemi prenosa znanja, sistemi moči in avtoritete, evalvacijski sistemi (Schlechty 2005, xiv). Koncept konteksta je za evalvatorje posebej pomemben, sploh v primerjavi z raziskovalci tudi zato, ker »ne gre za produciranje univer- zalno posplošljivega znanja« (Bhola 2003, 391). Evalvatorji bi morali upoštevati dejstvo, da so vključeni v razvijanje znanja, ki bo uporabljeno za izboljševa- nje in/ali odgovornost znotraj določenega konteksta. Pri tem so evalvatorji v izobraževanju ugnezdeni v še en kontekst, to so šolski sistemi z njim lastnim etosom in normami vrednotenja, delovanja in ukrepanja. Trendi in razvoj (evalvacije) na drugih področjih vplivajo in bodo vpli- vali tudi na razvoj evalvacije v izobraževanju. Obstajajo določene silnice, ki trenutno oblikujejo evalvacijo v izobraževanju, in sicer mednarodni kontekst (o e c d, e u), usmerjenost v rezultate, kvazi trgi, na katerih naj bi učenci in starši kupovali izobraževanje, sistemi evalvacije, ki so vodeni s strani države in v katerih je evalvacija del državne birokracije, tehnologije, ki usmerjajo ka- kovost, kvantitativni podatki in hitre spremembe (Segerholm 2012). Mnoge države v svojih izobraževalnih sistemih krepijo evalvacijsko funk- cijo z namenom izboljševanja kakovosti in vzpostavitve na dokazih temelječe izobraževalne politike in prakse (Kellaghan in Stufflebeam 2003; Earl in Katz 2006; Scheerens 2008; Scriven 2003, Trunk Širca 2002). Ozadje poudarjanja evalvacijske funkcije sicer izhaja iz predpostavke, da avtonomija in odgovor- nost šol za izboljšave ter spremembe vodita v hitrejši in boljši odziv na lokalne 19 Aktualizacija obravnavane teme in globalne zahteve, s katerimi se učitelji, šole in šolski sistemi soočajo. Kre- pitev evalvacijske funkcije pa pogosto sovpada s politikami decentralizacije. Ob prenosu odločanja na nižje ravni v sistemu lahko pa protiutež temu pred- stavlja prav krepitev vloge in pomena evalvacij in odgovornosti. Obstaja tudi možnost, da sistemi evalvacijsko funkcijo deregulirajo in decentralizirajo do te stopnje, da šole ali mreže šol same določijo in upravljajo preizkuse znanja učencev (Scheerens 2008). Če pogledamo nacionalni kontekst, lahko ugotovimo, da Slovenija na pod- ročju kakovosti v izobraževanju sledi razvitim državam in deluje na podlagi mednarodnih usmeritev in priporočil. Kakovost v izobraževanju ni nekaj s či- mer bi se začeli ukvarjati šele v zadnjem času, gre pa vsekakor za aktualno tematiko in področje (Trnavčevič 2000, Barle Lakota 2007). Potreba ali bo- lje zahteva po kakovosti različnih vidikov vzgojno-izobraževalnega sistema je opredeljena v različnih nacionalnih dokumentih, ki se večinoma nanašajo na prednostne naloge razvoja Slovenije v prihodnjem obdobju. Kakovost v slo- venskih šolah je opredeljena z zakonskimi podlagami. Lahko bi rekli, da je delno strukturirana in da v slovenskem šolskem sistemu »obstajajo različni elementi ugotavljanja in zagotavljanja kakovosti, ki pa med seboj niso siste- matično povezani in ne izhajajo iz enotnih programskih ciljev« (Brejc, Jurič in Širok 2008, 29). Tako tudi samoevalvacija kot proces na ravni šole ni jasno opredeljena (vsebina, struktura itd.) oziroma prihaja celo do razlikovanj po različnih ravneh izobraževanja in določenih nejasnosti (npr. področje poklic- nega in strokovnega izobraževanja,3 višje šolstvo4). Mnoge šole imajo izkušnje z različnimi pristopi k uvajanju samoevalvacije, ki so se oblikovali bodisi na ravni sistema (Pluško idr. 2001), v okviru delovanja posameznih javnih zavo- dov na področju vzgoje in izobraževanja (Mileksič 1999; Erčulj in Trunk Širca 2000; Mali idr. 2007; Klemenčič, Možina in Vilič Klenovšek 2003; Brejc, Jurič in Širok 2008; Brejc in Koren 2011a), kot rezultat projektnega delovanja ene ali več šol (Marjanovič Umek idr. 2002; Bunford Selinšek in Kaloh 2008) itd. Zasledimo pa tudi druge pristope (Leon idr. 2004; Zavrl 2007). Nevarnost, ki jo vidimo, pa ni samo v tem, da država zakonsko predpi- suje šolam oziroma ravnateljem nalaga le pripravo »poročila o samoevalvaciji« (z of v i-u pb 5, 49. člen) in da se na različnih ravneh s samoevalvacijo ukvar- 3 Poleg poročila o samoevalvaciji (49. člen zofvi-upb5), je za področje poklicnega in strokovnega izobraževanja v 16. členu z p si-1 opredeljena še komisija za kakovost, ki pripravi in objavi Poročilo o delu komisije za kakovost. 4 V skladu z Zakonom o višjem strokovnem šolstvu (zvsi), področje kakovosti spada v okvir visokega šolstva. 20 1.2 Namen in cilji raziskave jajo različni ponudniki modelov, ki med seboj niso nujno usklajeni. Pri pre- nosu avtonomije in odgovornosti na nižje ravni je z vidika države pomembno tudi, da je nižja raven to odgovornost zmožna prevzeti. Ali rečeno drugače, če šolam naložimo samoevalvacijo, moramo poskrbeti tudi za okvir in podporo, znotraj katerega šole samoevalvacijo lahko izvajajo in uporabljajo kakovostno in trajnostno za namen izboljšanja temeljnih dejavnosti. Tu pa po našem mne- nju najpomembnejšo vlogo odigra zmožnost učiteljev in šol za samoevalvacijo, torej znanje, spretnosti in odnos. 1.2 Namen in cilji raziskave Naš namen je z vidika konteksta nacionalnih okvirov, obstoječega znanja in iz- kušenj, mednarodnih trendov in pogledov različnih deležnikov opisati in kri- tično ovrednotiti uvajanje samoevalvacije v okviru nastajajočega sistema ugo- tavljanja in zagotavljanja kakovosti. Raziskava se v empiričnem delu osredo- toča na proučevanje usposabljanja za samoevalvacijo z vidika krepitve zmož- nosti posameznika za učinkovito uvedbo samoevalvacije v šolah. Pri tem je v pregledu literature obravnavan tudi vidik prenosa znanstvenih paradigem v model in prakso šolskega sistema, šol. Skladno z namenom in cilji so pri pregledu in kritični osvetlitvi sodobnih raziskav in literature obravnavana na- slednja raziskovalna vprašanja: • Kako se koncept krepitve zmožnosti za samoevalvacijo odraža in uvelja- vlja v okviru vzpostavljanja sistema ugotavljanja in zagotavljanja kako- vosti v šolah v Sloveniji? • Kako usposabljanje za samoevalvacijo prispeva h krepitvi zmožnosti za uvajanje in izvajanje trajnostne prakse samoevalvacije v šolah? • Kakšne so možnosti in potrebe nadaljnjega razvoja »sistema« krepitve zmožnosti za samoevalvacijo v šolah v Sloveniji? Raziskovalni problem v empiričnem delu je strnjen v vprašanju »Kako iz- brana strategija usposabljanja prispeva h krepitvi zmožnosti šol za samoeval- vacijo?« Da bi na vprašanje odgovorili, smo na podlagi teoretičnih izhodišč o krepitvi zmožnosti za evalvacijo (Preskill in Boyle 2008; Taylor-Powell in Boyd 2008; García-Iriarte idr. 2011; Compton, Baizerman in Stockdill 2002; Nielsen Lemire in Skov 2011), izbranega modela evalvacije, uspešnosti usposabljanja (Kirkpatrick in Kirkpatrick 2007) ter zasnove usposabljanja za samoevalva- cijo (Brejc 2011a), oblikovali naslednje vsebinske sklope in znotraj njih razvili hipoteze, s katerimi empirično preverjamo uspešnost usposabljanja z različnih vidikov: 21 Aktualizacija obravnavane teme • usposabljanje krepi zmožnosti udeležencev za samoevalvacijo • uspešnost usposabljanja za samoevalvacijo se hkrati kaže na različnih rav- neh, • krepitev zmožnosti za samoevalvacijo je povezana s spremembami v de- lovanju na ravni šol ter • tim za samoevalvacijo je pomemben člen pri prenosu vsebin usposabljanja za samoevalvacijo v prakso šol. V prvem vsebinskem sklopu Usposabljanje krepi zmožnosti udeležencev za samoevalvacijo preverjamo hipoteze:5 h.1.1 Udeleženci imajo po usposabljanju boljše zmožnosti za samoevalvacijo kot pred usposabljanjem. h.1.2 Ravnatelji in člani timov za samoevalvacijo so z usposabljanjem bolj okrepili zmožnosti za samoevalvacijo kot učitelji. h.1.3 Med posameznimi vrstami zavodov (vrtec, osnovna in srednja šola) ni pomembnih razlik v tem, koliko so okrepili zmožnosti za samoevalva- cijo. h.1.4 Med zavodi različnih velikosti ni pomembnih razlik v tem, koliko so okrepili zmožnosti za samoevalvacijo. h.1.5 Šole s predhodnimi izkušnjami z različnimi projekti kakovosti so bolj okrepile svoje zmožnosti za samoevalvacijo kot šole, ki teh izkušenj ni- majo. V drugem vsebinskem sklopu Uspešnost usposabljanja za samoevalvacijo se hkrati kaže na različnih ravneh preverjamo hipoteze: h.2.1 Udeleženci so z usposabljanjem v povprečju zadovoljni. h.2.2 Udeleženci imajo po zaključku boljše znanje in spretnosti kot na za- četku usposabljanja in pozitiven odnos do samoevalvacije). h.2.3 Večina v usposabljanje vključenih ravnateljev in članov timov prido- bljeno znanje in spretnosti uporablja v lastni praksi delovanja. h.2.4 Večina udeležencev po zaključku usposabljanja v povprečju zaznava spremembe v delovanju njihovih šol, povezane z uvajanjem samoeval- vacije. h.2.5 Obstaja pozitivna korelacija med zadovoljstvom z usposabljanjem in krepitvijo zmožnosti za samoevalvacijo. 5 Hipoteze so označene nestandardno kot h.1.1, h.1.2 itd. Oblikovali smo namreč 4 vsebinske sklope in vsakega razdelali v merljive hipoteze. 22 1.2 Namen in cilji raziskave h.2.6 Obstaja pozitivna korelacija med zadovoljstvom z usposabljanjem in spremembami v delovanju na ravni šol, povezanimi s samoevalvacijo. S tretjim vsebinskim sklopom Krepitev zmožnostmi za samoevalvacijo je po- vezana s spremembami v delovanju na ravni šol preverjamo ali: h.3.1 Obstaja pozitivna koleracija med zmožnostmi za samoevalvacijo in re- zultati (spremembami) v delovanju šol, povezanimi s samoevalvacijo. h.3.2 Obstaja pozitivna koleracija med krepitvijo zmožnosti za samoevalva- cijo in rezultati (spremembami) v delovanju šol, povezanimi s samoe- valvacijo. V četrtem vsebinskem sklopu Tim za samoevalvacijo je pomemben člen pri prenosu vsebin usposabljanja za samoevalvacijo v prakso šol predpostavljamo, da: h.4.1 Obstaja pozitivna korelacija med uspešnostjo delovanja tima in krepi- tvijo zmožnosti za samoevalvacijo v šolah. h.4.2 Obstaja pozitivna korelacija med uspešnostjo delovanja tima in rezul- tati (spremembami) v delovanju šol, povezanimi s samoevalvacijo. h.4.3 Med skupinami udeležencev ni statistično značilnih razlik pri (samo)o- ceni uspešnosti delovanja timov za samoevalvacijo. Glavno sporočilo monografije je, da samoevalvacija v šolah ni več stvar vprašanja, ampak je dejstvo. In če želimo, da je kakovostna in trajnostna, je zanjo potrebno krepiti zmožnosti na ravni učiteljev, šol in šolskega sistema. Samoevalvacija v šolah je v Sloveniji od leta 2008 zakonsko obvezna, pri če- mer lahko rečemo, da se je v istem prostoru in z istimi udeleženci (učitelji in šolami) različni izvajalci lotevajo različno, kar omogoča ohlapna zakonska opredelitev, ki se nanaša le na odgovornost ravnatelja in od njih zahteva le- tno poročilo o samoevalvaciji. O krepitvi zmožnosti šol za samoevalvacijo v slovenskem šolskem prostoru pa tudi širše sicer ni zaslediti celovitejšega raz- misleka, čeprav literatura in praksa na širšem področju evalvacije kažeta na pomen in potrebo takšnega razmisleka. V sistemu, kjer se le deklarira končni cilj in namen samoevalvacije, ni pa natančneje opredeljen okvir, usmeritve, uporaba itd., brez krepitve zmožnosti tistih, ki (samo)evalvirajo, namreč ne gre. Zmožnosti za samoevalvacijo je tako potrebno krepiti na različnih ravneh in na različne načine oziroma pri tem uporabljati različne strategije. Ena od strategij je usposabljanje, za katero v empiričnem delu dokazujemo, da krepi zmožnosti šol za samoevalvacijo. Vendar pa samo usposabljanje, predvsem z 23 Aktualizacija obravnavane teme vidika trajnosti, ne zadostuje, zato oblikujemo predlog modela krepitve zmož- nosti šol za samoevalvacijo v slovenskem šolskem kontekstu. V drugem poglavju predstavljamo mednarodne in sistemske vidike ugota- vljanja in zagotavljanja kakovosti ter trenutno stanje na tem področju v slo- venskem šolskem sistemu, na ravni douniverzitetnega izobraževanja. Tretje poglavje namenjamo predstaviti koncepta krepitve zmožnosti za evalvacijo, ki ga zaključimo z izhodišči za oblikovanje modela krepitve zmožnosti šol za samoevalvacijo. V četrtem poglavju predstavljamo okvir ugotavljanja in zago- tavljanja kakovosti v slovenskem šolskem sistemu ter znotraj tega uresničeva- nje koncepta krepitve zmožnosti šol za samoevalvacijo. Posebej predstavljamo usposabljanje šol za samoevalvacijo, ki je predmet empiričnega raziskovanja. V poglavju štiri odgovarjamo na prvo raziskovalno vprašanje Kako se kon- cept krepitve zmožnosti za samoevalvacijo odraža in uveljavlja v okviru vzpo- stavljanja sistema ugotavljanja in zagotavljanja kakovosti v šolah v Sloveniji? V poglavjih 5 in 6 odgovarjamo na drugo vprašanje Kako usposabljanje za sa- moevalvacijo prispeva h krepitvi zmožnosti za uvajanje in izvajanje trajnostne prakse samoevalvacije v šolah? Pri tem najprej predstavimo zasnovo raziskave in podrobneje opredelimo oziroma operacionaliziramo hipoteze. Sledi analiza zbranih podatkov in njihova interpretacija. Z analizo in interpretacijo po- datkov empirično dokažemo, da je izbrano usposabljanje okrepilo zmožnosti šol za samoevalvacijo in da gre torej za pomembno strategijo. Ker pa samo usposabljanje ne more doprinesti h kakovostnemu in trajnostnemu izvajanju in uporabi samoevalvacije v šolah, v poglavju 7 odgovarjamo na tretje razisko- valno vprašanje Kakšne so možnosti in potrebe nadaljnjega razvoja »sistema« krepitve zmožnosti za samoevalvacijo v šolah v Sloveniji? s predstavitvijo predlog modela krepitve zmožnosti šol za samoevalvacijo, ki zajema sistemsko, organizacijsko in individualno raven. Prispevek k znanosti je predvsem v tem, da svetovni trend krepitve zmož- nosti za evalvacijo in njegov poudarek prenašamo in empirično preverjamo v slovenskem prostoru. Ob tem se v primerjavi z obstoječo tujo literaturo in raz- iskavami specifično ukvarjamo s krepitvijo zmožnosti šol za samoevalvacijo. S predstavitvijo stanja v Sloveniji na tem področju, empiričnimi izsledki in ugotovitvami tako nadgrajujemo in dopolnjujemo svetovno znanje, hkrati pa sistematično in celovito opredelimo tudi predlog modela krepitve zmožnosti za samoevalvacijo šol. 24  Ugotavljanje kakovosti in evalvacija šol Evalvacija v šolskih sistemih je vse bolj razširjena oblika ugotavljanja kako- vosti. Obstajajo mnoge aktivnosti na tem področju, vse bolj je poudarjen ra- zvoj in merjenje kazalnikov, uporaba rezultatov evalvacije in ocenjevanja je vse večja in tudi raznolika, namen je v veliki meri odgovornost, obstaja ve- lika stopnja zanašanja na izobraževalne standarde, ocenjevanje se internaci- onalizira, uporabljene tehnologije so vse bolj izpopolnjene. Kontekstualno so sicer na razvoj in opredelitev različnih oblik evalvacije šol vplivale spremembe v oblikah vodenja šol, vse večja decentralizacija in avtonomija šol, močnejša vloga mehanizmov tržnega tipa, pojav nove javne uprave, naraščajoč pomen izobraževanja v globalnem svetu, naraščajoč imperativ učinkovite porabe jav- nih sredstev, premik od kvantitete h kvaliteti za vse, vse večja pričakovanja do profesionalizma učiteljev, vse bolj izobraženi starši, vse bolj izdelani sistemi certificiranja učenja in priznavanja kompetenc, naraščajoč pomen na dokazih temelječe politike, tehnološki napredek, porajajoč komercialni interes v izo- braževanju in mediji kot gonilo odgovornosti v izobraževanju (oe c d 2013b). Kljub mednarodnim razsežnostim, nadnacionalnim trendom in z njimi povezanimi mehkimi priporočili ter nacionalnimi sistemskimi usmeritvami, pa je dejanska izvedba evalvacije, posebej samoevalvacije, v rokah šol samih oziroma ravnateljev in učiteljev, zato je pomembna jasna opredelitev njihove vloge oziroma odgovornosti in krepitev njihovih zmožnosti. Še posebej če oziroma kadar evalvacijo v šolah povezujemo z izboljševanjem kakovosti dela in predvsem dosežkov učencev. V nadaljevanju predstavljamo nadnacionalni okvir ugotavljanja kakovosti v izobraževanju, razpravljamo o paradigmah, trendih in priporočilih. V tem okviru opredeljujemo evalvacijo in podrob- neje samoevalvacijo šol. V zaključku poglavja predstavimo ugotavljanje in zagotavljanje kakovosti s samoevalvacijo v slovenskem šolskem sistemu, kar predstavlja nacionalni okvir našega raziskovalnega problema. 2.1 Mednarodni in sistemski vidiki ugotavljanja kakovosti Ugotavljanje kakovosti s poudarkom na evalvaciji spodbujajo številne medna- rodne in nacionalne smernice, priporočila, projekti, o tem beremo v mnogih 25 Ugotavljanje kakovosti in evalvacija šol raziskavah, ni pa prepoznanega najboljšega modela ali sistema za vzpostavi- tev na nacionalni ravni. Premalo poudarka je v praksi namenjenega krepitvi zmožnosti šol in učiteljev za izvajanja različnih oblik ocenjevanja in evalvacije, predvsem samoevalvacije. Ni enega samega modela ali globalnega primera dobre prakse sistema ugo- tavljanja kakovosti oziroma vzpostavitve celovitega okvira ocenjevanja in eval- vacije. O modelih in pristopih k ugotavljanju kakovosti, ki naj bi bili za iz- obraževanje najprimernejši, zasledimo sicer mnoge raziskave in razprave, ki kažejo na kompleksnost pojma kakovosti v izobraževanju ter s tem povezanih težav pri merjenju oz. ocenjevanju »kakovosti« na ravni šole, učiteljev, oddel- kov, vzgojno-izobraževalnega procesa. Kaže, da večina držav o e c d pravza- prav takšnega okvira nima, ima pa vrsto »sestavnih delov«, ki so se v času razvili relativno neodvisno eden od drugega na različnih ravneh, in sicer oce- njevanje učencev (angl. student assessment), ocenjevanje učiteljev (angl. tea- cher appraisal), ocenjevanje ravnateljev (angl. leadership appraisal) evalvacija šol in evalvacija šolskega sistema (oe c d 2013b; Brejc, Sardoč in Zupanc 2011). Nacionalni sistemi ugotavljanja kakovosti so bolj ali manj strukturirani, razlikujejo se v namenu, ciljih, instrumentih in procesnih vidikih (Brejc, Jurič in Širok 2008). Razlike nastajajo zaradi različnih politik, podpore instituci- onalnemu razvoju na področju ugotavljanja kakovosti, različne stopnje teh- nične razvitosti in razlik v pritiskih déležnikov. Prevladujočo vlogo pri dolo- čanju namena imajo cilji oziroma osnovni namen, ki mu sistemi sledijo (Stro- nach 2008, 75): Vprašanje namena je zapleteno, ker je politika zapleten skupek odzivov na številne različne težnje. Ni racionalen postopek odgovornosti, kot navaja retorika. Na splošno je politika bolj nenameren kot nameren re- zultat. To zlasti velja v zvezi s »kakovostjo« v izobraževalnem sistemu, ker se ta izraz uporablja za prečkanje številnih mostov med izobraževa- njem in gospodarstvom, med strokovnjaki in starši, med nacionalnimi agencijami in lokalnimi ponudniki. Njegov pomen se spreminja. V tem smislu je pomembno, da »kakovosti« ne razumemo kot samostojnega »preverjanja« uspešnosti, ampak kot ureditev, ki je sama po sebi zelo uspešna v zvezi z delovanjem celotnega izobraževalnega sistema. Ni me- rilna palica, ampak del stroja samega. Nameni vzpostavitve nacionalnih sistemov ugotavljanja kakovosti so to- rej različni. Najpogostejši so dvig kakovosti, zagotavljanje informacij javnosti, akreditiranje, vzpostavitev tesnejše in javno vidne povezanosti med financi- ranjem in uspešnostjo ter učinkovitostjo, podporo načrtovanju in nadzorom 26 2.1 Mednarodni in sistemski vidiki ugotavljanja kakovosti (Cave idr. 1997; Scheerens, Glas in Thomas 2003; Trunk Širca 2004). Lahko gre tudi za izboljšano informiranje in upravljanje s podatki med šolami, vla- dnimi institucijami in starši, pri čemer se moramo zavedati, da spremljanje in beleženje podatkov lahko vedno pomeni tudi določeno rangiranje (MacBeath 2006; Brejc in Trunk Sirca 2007). Prav tako je treba razumeti politični in eko- nomski kontekst v ozadju »dobrih namenov« uvajanja sistema ugotavljanja kakovosti na nacionalni ravni (MacBeath 2006). Med cilji sta namreč lahko zmanjševanje porabe javnih sredstev (Služba Vlade r s za razvoj in evropske zadeve 2011) in prenos upravljanja s sredstvi na izvajalce, šole, ki jo spremljata povečana izbira uporabnikov in institucionalna odgovornost. Pri vzpostavitvi sistemov ugotavljanja kakovosti politiko usmerjajo ali vo- dijo tudi različna »gonila« (Stronach 2008, 75–81). Prvo je nezaupanje vlade v profesionalno avtonomijo. Drugo je globalno gospodarstvo, ki izpodkopava vlogo države, ki postaja »vse bolj obsedena s svojo vlogo pri ustvarjanju znanja in spretnosti za uspešno konkuriranje na vse bolj konkurenčnem globalnem trgu. To se kaže v omejevanju ciljev na tiste, ki jih zahteva ›gospodarstvo zna- nja‹, ter preobremenjenosti z ekonomskimi idejami o učinkovitosti, uspešno- sti [. . .] – in seveda z idejo ›kakovosti‹ samo v specialističnem smislu sistem- skega ukrepa učinkovitosti in uspešnosti.« (2008, 76) Tretje gonilo (posledica) »je potreba po primerjavah in lestvicah kakovosti in pomanjkljivosti, ki zah- teva pozitivistično poznavanje rezultatov izobraževanja, izraženih v številkah kot ocene, odstotki, preglednice in zgledi odličnosti in primanjkljajev. To pa obratno povzroča razprave o ›uspešnosti‹ in ›učinkovitosti‹, ki določa naravo številnih izobraževalnih ›raziskav‹.« Četrti dejavnik so sistemi lestvic, ki na- vajajo imena krivcev, povzročajo občutek endemične krize v izobraževalnem sistemu. »Kmalu sledi moralna panika. Domnevno padajo standardi v mate- matiki, pismenosti, državljanski vzgoji, ob tem pa izbruhnejo občasni škandali [. . .]. Rezultat je normalizacija posebnih ›projektov‹, ›pobud‹, ›delovnih sku- pin‹, ki imajo pogosto nasprotujoče si cilje ali pa se prekrivajo. Moralna panika ogroža ›politično histerijo‹ (Stronach in Morris 1994) – vrsto kratkotrajnih odzivov na težave, ki so slabo zasnovani in se napačno obravnavajo. Za take pojave so običajno značilni ponavljajoči se valovi reforme, večkratne novosti, pogoste spremembe politik, ki so neusklajene in neskladne, vse bolj simbolna narava reform, spremembe pomenov konceptov, moralna panika, spodkopa- vanje poklicne presoje in nepreizkušene zahteve po uspehu, ki jih ni mogoče preizkusiti.« Peti dejavnik pa je, kot navaja avtor, učinek kulture presoje (glej tudi Strathern 2000) na učenje in poučevanje v šolah v smislu povzročanja iz- obraževalne kulture, ki poudarja poučevanje za teste in površinsko odgovor- nost. Sicer pa je »ugotavljanje in zagotavljanje kakovosti« jezik odgovornosti 27 Ugotavljanje kakovosti in evalvacija šol v višjem in visokošolskem izobraževanju v Združenem kraljestvu. Retorično to pomeni zagotavljanje, jamstvo strokovne »kakovosti«. »Šole se obravnavajo bolj neposredno in kaznovalno v smislu ›inšpekcij‹ in ›standardov‹ prek prisil- nega inšpekcijskega režima, ki ga vodi o f st e d (Urad za standarde in izobra- ževanje). [. . .] Dejansko obstaja velika industrija manipulacije takih rezultatov inšpekcij, ki še narašča. Koruptivna narava ocenjevanja kakovosti poučevanja v višjem in visokošolskem poučevanju je dobro poznana: univerze so se, tako kot šole, naučile, kako »izvesti inšpekcijske rituale na način, da so inšpek- torji ›zadovoljni‹«. Obstajajo pa premiki v smeri oblik odgovornosti, ki so bolj »organske« narave in vključujejo »glas« učencev, razvoj povezav šola – učitelj – starši in poskuse vključiti učence/študente v oblike kritičnega razmišljanja. Kot poudarja avtor, je malo šolam uspelo v znatni meri uresničiti te različne oblike »partnerstva«, čeprav jih je še manj, ki teh ekstravagantnih zahtev ne postavljajo. V ozadju je med drugim ideja proste izbire šol na trgu, »vendar je jasno, da imajo samo starši srednjega razreda kulturni in ekonomski kapi- tal za tako razlikovanje in izbiro, revnejše družine pa teh dveh virov nimajo« (Stronach 2008, 81–82). Pri razvoju in vzpostavljanju nacionalnega sistema ugotavljanja kakovosti so pomembna določena izhodišča, kot npr. (Brejc, Jurič in Širok 2008, 106): • definirati kakovost v izobraževanju na nacionalni ravni in pri tem poi- skati čim širši konsenz v izobraževalnem prostoru; • opredeliti in utemeljiti namen/-e uvedbe in oblikovati zasnovo sistema ugotavljanja kakovosti; • opredeliti sistem ugotavljanja kakovosti kot sistem izboljšav, ne kot sred- stvo za merjenje in nadzor; • zavedati se pomena kontekstualnih značilnosti šolskega sistema pri vzpostavljanju sistema ugotavljanja kakovosti (avtonomija, kultura eval- vacije, vzpostavljena podporna struktura); • pripraviti strateške dokumente kot podlage za sistem ugotavljanja kako- vosti; • oblikovati vseobsegajoče programe za uresničevanje predlogov, ki so osnova za delovanje v sistemu ugotavljanja kakovosti; • zagotoviti, da država vlaga v oblikovanje zmožnosti ljudi in sistemov sorazmerno s svojimi pričakovanji ter da zagotovi tako potreben čas kot denar za vzpostavitev sistema ugotavljanja kakovosti; • prepoznati in upoštevati pomen sprememb v šolskem okolju in zakono- daji, ki vplivajo na sistem ugotavljanja kakovosti (npr. vlogo evalvacije); 28 2.1 Mednarodni in sistemski vidiki ugotavljanja kakovosti • vzpostaviti temelje trajnosti in stabilnosti sistema ugotavljanja kakovo- sti; • prilagoditi procese lokalnemu okolju in šolam, saj dokazano zagota- vljajo večjo uspešnost in trajnost kot »ukazani« ukrepi od zgoraj; • vgraditi elemente ugotavljanja kakovosti kot integralni del izobraževal- nega sistema; • spodbujati oblikovanje kulture profesionalnega učenja in razvoja vode- nja; • vzpostaviti mehanizme učinkovite komunikacije in načine posvetova- nja z vsemi ključnimi deležniki; • zagotoviti vodjem v šolah potrebno podporo za spremembe, ki se poja- vijo ob njihovem prilagojenem delu; • poudariti pomen uporabe podatkov o delu šole ter podatkov o odnosu učiteljev, učencev in staršev do šole; • šola naj v čim večji meri postane lastnica procesov in rezultatov v sis- temu ugotavljanja in zagotavljanja kakovosti. Kljub mednarodnim primerom (dobrih) praks, nadnacionalnim priporo- čilom, raziskavam in bogati strokovni in znanstveni literaturi, države/politike nimajo na razpolago enostavnih rešitev pri odločitvah o sistemih ugotavljanja kakovosti, ki jih bodo uvajale (Koren in Brejc 2011a). Kot smo že ugotovili, namreč ni prepoznanega najboljšega sistema, ki bi deloval v različnih okoljih in kontekstih. Obstoječi sistemi ugotavljanja kakovosti se tudi nenehno raz- vijajo in nadgrajujejo in so hkrati predmet presoj in kritik. Tako na primer lahko med raziskovalci in politiki pride do konflikta med pogledi in vredno- tami ter razumevanjem znanja in učenja, oblikovalci politik kljub vzpostavlje- nim jasnim določbam o ocenjevanju in evalvaciji teh ne jemljejo dovolj resno, država postane vse bolj obsedena s svojo vlogo pri ustvarjanju znanja in spre- tnosti za uspešno konkuriranje na vse zahtevnejšem globalnem trgu, kar se kaže z omejevanjem ciljev na tiste, ki jih zahteva »gospodarstvo znanja«, ter preobremenjenostjo z ekonomskimi idejami o učinkovitosti, uspešnosti, »do- dani vrednosti«, država izvaja vse večji pritisk na delo šol, hkrati pa prevzema premalo odgovornosti za vlaganje v ljudi oziroma krepitev zmožnosti itd. Po- leg tega je opredelitev kakovosti v preveč kvantitativnem smislu lahko razlog za vrsto kratkotrajnih odzivov na težave, ki so slabo zasnovani in se napačno obravnavajo (Brejc, Jurič in Širok 2008). Uresničevanje pogojev, ki jih predvidevajo sistemi ugotavljanja kakovo- sti na nacionalni ravni, tako ni enostavno (Brejc in Koren 2011a). Oblasti se 29 Ugotavljanje kakovosti in evalvacija šol morajo ukvarjati s političnimi zadevami, razdeljevanjem sredstev, reševanjem trenutnih težav, ki se pojavljajo. Vezane na omejene politične mandate te- žijo k sistemskim spremembam, ki imajo bolj politične kot strokovne osnove. Tako imajo značilnosti, ki niso naklonjene uresničevanju zahtev zmernih spre- memb, ki bi upoštevale in krepile zmožnosti šol ter bile hkrati usmerjene v temeljne dejavnosti, to je izboljševanje dosežkov učencev, učenje, poučevanje (Levin 2010) Harris idr. 2012). Upoštevati pa je potrebno tudi, da so sistemi ugotavljanja kakovosti v najboljšem primeru le skelet oz. skupek idej o tem, kaj je na področju izobraževanja treba izboljšati in kako naj se to izvaja (Fu- hrman in Elmore 2004). Ti sistemi odgovornosti za dosežke in/ali kakovost izhajajo iz predpostavke, da le merjenje uspešnosti oz. kakovosti, ki deluje na podlagi nagrajevanja oz. sankcioniranja, spodbuja šole in posameznike v njej (učence, učitelje, vodstvo), da bolje in več delajo oziroma so bolj uspešni in učinkoviti. Zavedati se moramo, da se omenjena teorija, ki hkrati predstavlja začasne družbene poskuse v izvajanju, odvija v kompleksnem institucional- nem, političnem in organizacijskem okolju. Sistemi ugotavljanja kakovosti so v svoji osnovi namreč politični konstrukti, ki naj bi predstavljali konsenz med političnimi akterji o tem, kaj je smiselno in nujno pričakovati od učencev in učiteljev na področju izobraževanja. Šolske oblasti so nagnjene k temu, da se bolj kot avtonomiji in opolnomočenju posvečajo in verjamejo merjenju rezul- tatov in kvantificiranju razlik med šolami na nacionalni in mednarodni ravni. Raje se ukvarjajo z vprašanjem »Kakšne so učinkovite šole?«, pri čemer slabše krivijo za neuspehe učencev. Nadzor se jim pogosto zdi učinkovitejši kot spod- bujanje njihovih lastnih zmožnosti za izboljševanje dosežkov učencev (Elmore 2007; Sahlberg in Hargreaves 2011; Levin 2010). Mednarodna razsežnost in (globalni) vplivi pa tudi na področju ugotavlja- nja kakovosti zahtevajo ustrezno presojo o prenosu praks oziroma izposojanju politik (Koren in Shapiro 2006; Stronach 2010) in postopnemu poenostavlja- nju oziroma vplivu »prenašalcev« različnih pristopov in paradigem (Brejc in Koren 2012; v tisku). Prevladujoče paradigme, npr. učinkovitost in izboljšave1 1 Po obdobjih, ko sta v šolskih sistemih prevladovali predvsem kontrola in inšpekcija, sta se v 80-ih letih prejšnjega stoletja pričeli razvijati prevladujoči paradigmi učinkovitosti in izboljšav. »Pristop učinkovitosti je omejen na zelo ozek niz dosežkov učencev ter presoja in išče razlike v virih, procesih in organizacijski urejenosti, ki vplivajo na dosežke učencev. Pristop daje velik pomen šoli in njenemu vplivu na dosežke učencev, s čimer presega dajanje izključnega pomena socialnega kapitala na dosežke. Temeljna slabost pristopa je, da išče končne odgovore, kaj mora šola narediti, da bo učinkovita, in v večji meri krivi šolo in učitelje za neuspehe učencev. Pristop izboljšav je usmerjen v procese učenja in poučevanja ter kako šole izboljšujejo navedena procesa (in na ta način postanejo učinkovite). Ključne prednosti pristopa so sistematičnost, 30 2.1 Mednarodni in sistemski vidiki ugotavljanja kakovosti (Townsend 2007; Hopkins idr. 2011; Reynolds idr. 2011; Harris idr. 2012), ter sistemi ugotavljanja kakovosti, ki so prepoznani kot vodilni na tem področju, so večinoma anglosaksonski, delno skandinavski. Preostale države jim sledijo, pri čemer te pobude bolj ali manj uspešno umeščajo v svoj šolski kontekst. Države, ki v poznavanju raziskav, teorij in šolskih praks zaostajajo, sledijo na podlagi spodbud mednarodnih projektov in sredstev, kjer uveljavljeni strokov- njaki prenašajo načine izboljšav z večjim ali manjšim občutkom za posebnosti posameznih šolskih sistemov (Stronach 2010; Koren in Shapiro 2006). Ko torej druge države trendom sledijo, je nujno potrebno poznavanje kul- turnega konteksta in specifik šolskih sistemov, predvsem pa upoštevanje la- stnega družbenega in kulturnega konteksta in šolskega sistema. Prenašalci morajo biti na različnih ravneh dovolj senzibilni, da sistem kakovosti ustreza in zaživi v specifičnih nacionalnih okvirih ali če rečemo drugače, da je prila- gojen v tolikšni meri, da zanj lahko prevzamemo lastništvo. Tako je na ravni sistema potreben osnovni razmislek o tem, kako šolstvo v nacionalnih okvi- rih deluje, kakšni so cilji, (trenutne) prioritete in podobno (Halpin in Troyna 1995). Na ravni tistih, ki sistem ugotavljanja kakovosti uvajajo v šole in vrtce (npr. javni zavodi v primeru Slovenije), pomembno vlogo poleg sistemskih usmeritev odigrajo njihova profesionalna prepričanja, znanje in spretnosti ter viri, ki jih imajo, poznavanje delovanja šol, senzibilnost do njih itd. Na ravni šol, predvsem vodstva, se zgodba še nekoliko obrusi, saj svoje dodatno pri- spevajo prepričanja, znanje in spretnosti ravnateljev (skupaj z različnimi sku- pinami ali posamezniki, odgovornimi za kakovost), občutljivost za trenutno stanje, poznavanje lastnega konteksta, zmožnosti in pripravljenosti učiteljev itd. Na koncu pa na nek način odločijo učitelji, njihova pripravljenost (koliko želijo in/ali morajo), znanje in spretnosti. Na tej ravni (poglobljeno) pozna- načrtnost, usmerjenost, sodelovalnost, prostovoljnost in lastna zmožnost (šole) za vodenje izboljšav. To seveda terja širšo definicijo dosežkov. Ena izmed večjih slabosti pristopa je prevelika osredotočenost na raven šole oz. izključevanje ravni učitelja« (Koren 2009). Izhodišča so različna, sodobni pristopi v praksi pa poskušajo povezati prednosti obeh in hkrati omejiti njune slabosti, kar še ni dalo pričakovanih rezultatov. Paradigmi sta prav v zadnjem času predmet po-novnega razmisleka in kritičnih razprav (Hopkins idr. 2011; Reynolds idr. 2011; Creemers idr. 2010; Harris idr. 2012). Obe spodbujata razvoj in uvajanje (samo)evalvacije kot orodja za ugotavljanje kakovosti, kar je skupna točka številnih šolskih sistemov (Townsend 2008; MacBeath 2006; Vanhoof in Van Petegem 2010), priporočil in smernic e u, o e c d (2013) ter domačih in mednarodnih raziskav. V zadnjem času tako prevladujejo pobude za ugotavljanje kakovosti, ki poskušajo zajeti vse ravni, ter pri tem spodbuditi in uporabiti tako notranje (šolske) kot zunanje (sistemske) elemente, dejavnike in mehanizme. V ospredju je usmerjenost na temeljno dejavnost šol – izboljševanje dosežkov učencev. Dosežki so pri tem razumljeni v najširšem smislu, ne zgolj znanje, ki ga učenci »dokažejo« na zunanjih preverjanjih znanja (Townsend 2010). 31 Ugotavljanje kakovosti in evalvacija šol vanje velikih paradigem, teorij in tujih, prevladujočih sistemov kakovosti in nadnacionalnih usmeritev večinoma ni več prisotno ali je prisotno v manjši meri (Brejc in Koren 2012, 19). Ob tem Harris idr. (2012) opozarjajo na izbor in uvajanje šolskih reform, pristopov k izboljšavam, ukrepov in strategij, ki premalo (če sploh) temeljijo na zanesljivih empiričnih dokazih. Kot navajajo avtorji (Harris idr. 2012), so mnogi odločevalci na ravni politike popolnoma zadovoljni z zagovarjanjem rešitev, ki so le delno ali pa sploh ne podprte z raziskavami. Prav tako so mnogi praktiki prepričani v sprejemanje strategij za izboljšave, ki le v majhnem delu temeljijo na raziskavah ali pa izumljajo svoje lastne pristope. Redko torej se praktiki opirajo na temeljne raziskave, prav tako pa teoretiki, ki predpisujejo ali zagovarjajo določeno paradigmo ali pristop, le-tega redko preverjajo z vi- dika delovanja in učinkov v praksi. Po našem mnenju seveda ne gre kriviti le šol in sistemov, ki da se ne posvečajo dovolj raziskavam in z njimi povezanim dokazom. Kot ugotavljajo tudi Harris idr. (2012), je problem tudi v samih razi- skavah, ki so v veliki meri namenjene bolj drugim raziskovalcem v obliki član- kov in akademskih prispevkov, seznanjanje z raziskavami, bi od npr. učiteljev zahtevalo obvladovanje »raziskovalnega terena«, prav tako manjka napora, da bi raziskave postale bolj dostopne širši javnosti, ki ni zgolj akademska, razi- skovalna. Po našem mnenju imajo raziskave, o katerih mnogokrat poročajo in jih predstavljajo na različnih mednarodnih konferencah tudi to omejitev, da so narejene v specifičnih kontekstih različnih šolskih sistemov, nemalokrat je vključen zelo majhen vzorec, npr. nekaj šol. In iz tega vidika je seveda »zane- sljivost empiričnih dokazov« v smislu neke širše posplošljivosti ali usmeritev vprašljiva. V nadaljevanju se osredotočamo na evalvacijo šol kot eno od ravni evalva- cije v izobraževanju in orodja za ugotavljanje kakovosti. O evalvaciji razpra- vljamo v širšem (sistemskem) okviru evalvacije in ocenjevanja, predstavljamo različne načine evalvacije in njene namene ter jo umeščamo v okvir odgovor- nosti. Podrobneje predstavimo samoevalvacijo kot enega od načinov evalva- cije šol. 2.2 Evalvacija šol Evalvacija v izobraževanju vključuje široko vrsto dejavnosti: od ocenjevanja učencev, merjenja, testiranja, programske evalvacije, evalvacije učiteljev, akre- ditacije do evalvacije kurikuluma. Pojavlja se na vseh ravneh šolskega sistema, od individualnega ocenjevanja učencev v razredu, do ocenjevanja učiteljev in ravnateljev, evalvacije šol in šolskih sistemov (Kellaghan in Stufflebeam 2003; oe c d 2013b). Kot vsa druga področja, se tudi evalvacija v izobraževanju raz- 32 2.2 Evalvacija šol Okvir evalvacije in ocenjevanja Ocenjevanje učencev Razred Ocenjevanje učiteljev Ocenjevanje Šola Zunanja evalvacija ravnateljev Evalvacija šol Samoevalvacija Merila Sistem delovanja šol Sistemska evalvacija Slika 2.1 Okvir evalvacije in ocenjevanja v izobraževanju (povzeto po o e c d 2013b) vija skladno z razvojem teorije, metodologije in tehnologije, vse večjo stopnjo globalizacije, pojavljajočih se potreb in pritiskov ter medsebojne izmenjave z drugimi disciplinami (Kellaghan in Stufflebeam 2003). Evalvacija šol kot ena izmed ravni evalvacije v izobraževanju vse bolj po- staja vzvod sprememb v povezavi z odločanjem, razporejanjem virov in iz- boljšavami v šolah (oecd 2013b). Zato je pomembno, da v sistemu jasno opre- delimo njeno vlogo in izvedbo ter krepimo zmožnosti tistih, ki jo izvajajo, v našem primeru torej šol oziroma ravnateljev in učiteljev. Evalvacijo šol lahko izvajamo na različne načine, v splošnem pa kot: • notranjo evalvacijo (notranji pregled, ki ga opravijo praviloma stro- kovni delavci šole), • zunanjo evalvacijo (zunanji pregled, ki ga opravi posameznik ali sku- pina posameznikov izven šole). Pri pripravi pregledne študije o e c d (2013b) je bila kot oblika evalvacije šol izpostavljena posebej tudi primerjava šol (in s tem šolskih sistemov) na osnovi določenih standardiziranih meril, kriterijev ali kazalnikov, ki omogo- čajo primerjave z drugimi šolami ali nacionalnim oziroma mednarodnim pov- prečjem. Ob tem je bil na eni izmed delovnih razprav junija 2012 izpostavljen 33 Ugotavljanje kakovosti in evalvacija šol razmislek o tem, ali gre v primerih nacionalnih in mednarodnih zunanjih pre- verjanj znanja dejansko za eno od oblik evalvacije ali pa gre v prvi vrsti za zbiranje podatkov, ki šolam in šolskim sistemom služijo pri notranji pa tudi zunanji evalvaciji. Vsekakor gre za podatke, ki jih zunanji in/ali notranji eval- vatorji lahko upoštevajo z vidika odgovornosti in izboljšav v šolah in za po- datke, in so lahko vplivni, ko govorimo o ukrepih šolske politike na nacionalni ravni, npr. spodbujanje bralne pismenosti zaradi slabših rezultatov v medna- rodni raziskavi pi s a(Brejc in Koren 2012). Obseg in metode evalvacije šol, uporabljeni kriteriji in standardi ter orodja za zbiranje podatkov se med šolskimi sistemi precej razlikujejo glede na izo- braževalni kontekst in deležnike, ki so vključeni. Raznolikost izhaja iz različ- nih tradicij, različnih sistemov vodenja in izobraževalnih politik, ki niso po- vezane samo z evalvacijo, ampak tudi avtonomijo šol (Scheerens, van Amel- svoort in Donoughue 1999). Funkcionalen sistem evalvacije šol vrednoti vse pomembne vidike šole, priskrbi usmeritve za izboljšave, vzdržuje baze podat- kov ter izboljšuje razumevanje učenja, poučevanja in drugih procesov v šoli. »Institucionalizacija evalvacije šol je kompleksen, v cilje usmerjen proces, ki vključuje konceptualizacijo, organizacijo, financiranje, kadrovanje, vzposta- vljanje, delovanje, uporabnost, vrednotenje in trajnost sistematične evalvacije delovanja šole« (Stufflebeam 2003, 775). Evalvacija šol je skladno z opredelitvijo pojma kakovosti lahko usmerjena v različne vidike, npr. kakovost učnih dosežkov učencev, skladnost delovanja z nacionalnimi politikami, predpisi itd. Sanders in Davison (2003, 807) jo de- finirata kot: »sistematično preučevanje kakovosti šole in kako dobro služi po- trebam svoje skupnosti in je ena od pomembnejših investicij, ki jo lahko opra- vimo v izobraževanju.« Tako se lahko naučimo o močnih in šibkih točkah, opredelimo usmeritve in način, kako identificiramo in razrešujemo kritične zadeve. Z evalvacijo šole lahko naslavljajo potrebe mnogih staršev, ki želijo iz- vedeti, kako izbrati šolo ter potrebe učiteljev, ravnateljev in članov svetov šol, ki želijo izvedeti, kako izboljšati njihovo šolo. Priskrbi lahko pomembne informacije za vodje na lokalni ali nacionalni ravni, ki pomagajo pri odločitvah. Kot integralni del dobre prakse vodenja evalvacija šol prispeva k 1) identifi- kaciji potreb, 2) opredelitvi ciljev, 3) pojasnjevanju ciljev, 4) izboru strategij za doseganje ciljev, 5) spremljanju procesa in 6) ovrednotenju rezultatov in vpliva. Uporabimo jo lahko pri stikih z javnostmi in komunikaciji in tudi kot usmeritev pri načrtovanju. Pregledna študija o e c d (2013b) je pokazala, da se evalvacija šol v mnogo državah sicer nahaja v polju različnih vrst (dimenzij) odgovornosti. Tako Fau- bertova (2009, 7) navaja, da so konceptualno gledano za evalvacijo pomembne 34 2.2 Evalvacija šol predvsem naslednje tri dimenzije: pogodbena odgovornost (določena od zu- naj, povezana z zahtevami šolskega sistema), moralna odgovornost (povezana z zahtevami staršev in učencev) in profesionalna odgovornost (predvsem notranja, povezana z lastnimi pričakovanji učiteljev in ravnateljev in zahtevami pro- fesije). Odgovornost šol pa obstaja tudi na različnih ravneh. Tako lahko govorimo o vertikalni zunanji odgovornosti (informiranje pomembnih deležnikov na lokalni in nacionalni ravni, vpogled nadzornih organov v ustreznost vode- nja in dejavnosti) in horizontalni odgovornosti (vpogled deležnikov in skupnosti v šolske procese, odločitve/izbire in rezultate, razvoj notranje evalvacije). Kot ugotavljajo Brejc in drugi (Brejc, Jurič in Širok 2008, 107–108), je moč izpostaviti več prednosti in slabosti v sistemih ugotavljanja kakovosti, ki teme- ljijo na formalno vzpostavljeni (zunanji) odgovornosti šol, pri čemer se sklicu- jejo na različne avtorje (Hopkins 2007; Darling-Hammond 2004; Scheerens 2008). Prednosti formalno vzpostavljenega sistema odgovornosti so pred- vsem, da okvir odgovornosti lahko zagotavlja šolam uspešno in učinkovito delo za skupno dobro in za optimalni razvoj učencev. Z uporabo bogatih po- datkov dobimo jasno sliko prednosti in slabosti šole pri razvijanju sposobnosti učencev in da sistem odgovornosti združuje notranje procese šol z različnimi ravnmi zunanjega spremljanja oziroma evalvacije, ki najbolj ustrezajo tre- nutnemu stanju razvoja šole. Ob tem navajajo prednosti za učence, kot npr. standardi dosežkov so postavljeni pod drobnogled, dvignejo se pričakovanja do učencev, prizadevanja učiteljev se preusmerijo k uresničevanju sprememb, izboljša se uspeh učencev. Hkrati se kažejo tudi prednosti za učitelje, in sicer: razjasnitev vloge učiteljev, ki jih ne pušča v prepričanju, da so lahko vsemo- gočni za vse ljudi, podatki, ki izhajajo iz odgovornosti, so ključnega pomena za izboljšanje strokovnega znanja o najboljših praksah, odgovornost omogoča nastanek pomembnega kroga, ki učitelje povezuje z javnostjo. Hkrati sicer ugotavljajo, da študije niso uspele dokazati, da lahko poročanje o učinkovito- sti šol v okviru sistema odgovornosti postane prevladujoč in učinkovit vzvod izobraževalne politike, in prav tako tudi ne, da starši na podlagi podatkov o učinkovitosti dejansko v veliki meri izbirajo šole za svoje otroke. Sistem odgovornosti pa s sabo prinaša tudi slabosti, in sicer: zgodi se lahko, da učitelji učijo za teste, šole svojo konkurenčnost zvišujejo s prilagajanjem vpisnih pogojev, preveč poudarjanja zunanje odgovornosti povečuje odvisnost šole od zunanjih dejavnikov, zaradi česar ni več toliko inovacij znotraj sistema, preveč poudarjena kultura odgovornosti v javnem sektorju spodkopava javno zaupanje, iskanje odgovornosti zainteresiranim javnostim sicer zagotavlja več informacij, hkrati pa ustvarja sumničavost, znižuje moralo in povzroča stro- kovni cinizem, prevelika osredotočenost na podatke lahko povzroči, da upade 35 Ugotavljanje kakovosti in evalvacija šol morala učiteljev, lahko se celo zgodi, da ob strani pustimo najbolj občutljive učence in omejimo/zožamo kurikul (Brejc, Jurič in Širok 2008). Ko država torej vzpostavlja sistem ugotavljanja kakovosti, ki temelji na raz- ličnih načinih evalvacije šol, mora odločiti o njihovem namenu in pri tem upo- števati različne vrste in ravni odgovornosti, predvsem pa se zavedati tudi ome- njenih prednosti in slabosti. Evalvacija je tako lahko (Brejc, Jurič in Širok 2008; Koren in Brejc 2011a): • namenjena zgolj šolam (upoštevajoč vse omejitve) za namen razvoja in izboljšav in ne tudi spremljanju in razvoju sistema, • namenjena primarno šolam in v določenem obsegu (npr. spremljanje ozkega nabora kazalnikov na nacionalni ravni) tudi sistemu, • v prvi vrsti namenjena sistemu, v smislu zunanje odgovornosti šol do poročanja in odgovarjanja, pri čemer je uporabnost za šolsko raven lahko vprašljiva, pojavi se prilagajanje od zunaj postavljeni strukturi in okviru. Pri odločitvi o namenu evalvacije šol so ključnega pomena tudi odgovori na vprašanja, kdo naj bo odgovoren za izvajanje evalvacije, kateri postopki in metode bodo pri tem uporabljeni, kako bodo rezultati evalvacije uporabljeni, kateri elementi bodo služili zunanji odgovornosti in kateri izboljševanju ter kako bodo ti elementi usklajeni in uravnoteženi ter povezani oziroma kateri elementi bodo bolj poudarjeni. Tu je seveda pomemben predvsem nacionalni kontekst, opredeljeni cilji vzgoje in izobraževanja, prioritete, ki jih šolski sistem opredeljuje in razvija ter zmožnosti akterjev na različnih ravneh, od uči- teljev do šol in sistema, da usmeritve in zahteve vnašajo v svoje delo in jih ustrezno izvajajo. Sistemi se pri uvajanju evalvacije šol lahko srečujejo z različnimi izzivi ozi- roma omejitvami (oe c d 2013b), kot npr. kulturo, ki ni naklonjena evalvaciji, malo tradicije zunanjih evalvacij in medsebojne izmenjave šolskih praks, pra- ksami samoevalvacije v začetnih fazah, omejenim strokovnim znanjem tistih, ki so vključeni v evalvacije, nezadostno pripravljenostjo šol na evalvacijo, ome- jenim razumevanjem šol o namenu in uporabi rezultatov evalvacije, zahtev- nimi postopki samoevalvacije, občutkom nepravičnosti pri objavi rezultatov učencev, percepcijo zunanje evalvacije kot mehanizma kontrole, pomanjka- njem virov za izvajanje evalvacij itd. Ne glede na odločitev države o namenu/-ih in načinu/-ih evalvacije je po- membno spodbujanje avtonomije, krepitev zmožnosti šol in zagotavljanje po- gojev, da šola čuti varnost. Varnost za morebitni neuspeh kot tudi zagotovilo, da bodo imele šole čas, ki je potreben za izboljšave in izboljševanje dosežkov 36 2.2 Evalvacija šol Preglednica 2.1 Nameni evalvacije šol (Zunanja) odgovornost Izboljševanje »Učinkovitost šol« »Izboljševanje šol« Osredotočenost na šole Osredotočenost na učitelje Osredotočenost na organizacijo šole Osredotočenost na procese v šoli Temelječa na podatkih s poudarkom na Empirična evalvacija učinkov sprememb rezultatih Po naravi kvantitativna Po naravi kvalitativna Manko vedenja o tem, kako uporabiti Izključno ukvarjanje s spremembami v šolah strategije sprememb Ukvarjanje s spremembami v dosežkih Ukvarjanje s procesom izboljševanja šol bolj učencev kot s ciljem Ukvarjanje s šolami v določeni časovni točki Ukvarjanje s šolami, kot spreminjajočimi se Osredotočena na vedenje iz raziskav Osredotočena na vedenje praktikov Ukvarjanje z učinkovitimi šolami Ukvarjanje s tem, kako šole postanejo učinkovite Statična orientacija (šola kot je) Dinamična orientacija (šola kot je bila oziroma lahko bo) Povzeto po o e c d 2013b, 394. učencev na ravni šole. Vlada oziroma ministrstvo mora tudi jasno sporočati, da šolam zaupa, jih podpira pri izboljšavah in se zaveda, da ni nujno, da jim vedno uspe (Elmore 2004; Levin 2010). Pred šole se namreč postavljajo nove »evalvacijske zahteve«, s katerimi naj bi izboljšali predvsem dosežke učencev. Hkrati pa so zahteve postavljene tudi pred sistem, ki naj bi poskrbel za pod- poro šol z npr. določanjem okvirov samoevalvacije in povratnimi informa- cijami o nacionalnih preverjanjih znanja. In če se zdi, da je skupna skrb ve- čine šolskih sistemov, kako s postopki evalvacije ne ustvariti prevelike delovne obremenitve za šole, je pravi izziv v resnici krepitev zmožnosti za evalvacijo šol in potreba po podpori na nacionalni ravni. V pripravi študije oe c d o okvirih evalvacije in ocenjevanja za izboljšanje rezultatov šol (oe c d 2013b; Shewbridge 2013) so se izluščila naslednja »nad- nacionalna« priporočila šolskim politikam v povezavi z evalvacijo šol: • zagotoviti koherenten formalni okvir in pojasniti namen evalvacije šol; • osredotočiti se na kakovost učenja in poučevanja in to povezati z učnimi dosežki učencev; • povečati ozaveščenost o samoevalvaciji šol in jo povezati z zunanjo eval- vacijo; • razmisliti o premiku k raznolikim pristopom zunanje evalvacije šol; 37 Ugotavljanje kakovosti in evalvacija šol • razviti nacionalno sprejete kriterije za kakovost šol, ki naj vodijo eval- vacijo šol; • promovirati na dokazih temelječo kulturo evalvacije šol in ponuditi šo- lam ustrezna orodja za samoevalvacijo; • zagotoviti transparentnost v postopkih zunanje evalvacije šol; • promovirati kolegialno učenje med šolami; • zagotoviti kredibilnost zunanjih evalvatorjev in izboljšati njihovo objek- tivnost in povezanost; • okrepiti zmožnost vodij šol za vzpostavitev učinkovite kulture samoe- valvacije; • promovirati vključenost vseh strokovnih delavcev in učencev v samoe- valvacijo; • promovirati širšo uporabo rezultatov zunanje evalvacije šol; • zagotoviti sistematično nadaljevanje zunanje evalvacije šol in • poročati o kontekstualnih informacijah z merili o delovanju šol. V nadaljevanju razpravljamo o samoevalvaciji kot načinu evalvacije šol. V zaključku poglavja predstavljamo še okvir in dejavnosti na področju samoe- valvacije v slovenskem šolskem sistemu, kar nam služi kot okvir za predstavi- tev usposabljanja za samoevalvacijo v empiričnem delu. 2.2.1 Samoevalvacija šol Samoevalvacija šole je prepoznana kot eden od ključnih dejavnikov pri ne- nehnem izboljševanju delovanja šol in dosežkov učencev. V državah članicah oe c d in širše obstaja skoraj »univerzalna osredotočenost na ravni nacionalne politike za spodbujanje samoevalvacije šol« (o e c d 2013b, 406). Kot ugota- vljajo (prav tam) v večini držav, obstajajo določene formalne zahteve šolam za izvajanje samoevalvacije, ki pa se med seboj precej razlikujejo. Na razvoj sa- moevalvacije v državah e u pa je vplivalo tudi t. i. nadnacionalno Priporočilo Evropskega parlamenta in Sveta (Evropski parlament in svet 2001), da spod- budijo samoevalvacijo šol kot metodo ustvarjalnega učenja in izboljševanja šol. »V skoraj vseh državah članicah e u že obstaja določna oblika podpore samoevalvaciji v šolah« (Evropski parlament in svet 2001). V različnih sistemih ugotavljanja kakovosti ne obstaja enotna konceptua- lizacija oziroma opredelitev samoevalvacije, pravzaprav so »precejšnje razlike v konceptualizaciji ›samoevalvacije‹ v različnih državah« (oe c d 2013b, 408). Ta je na eni strani usmerjena v proces, npr. vzpostavljen sistem zunanje evalvacije in samoevalvacije, na drugi pa v produkt, npr. samoevalvacijsko poročilo 38 2.2 Evalvacija šol ali kakšen drug dokument, ki je s spremljanjem, merjenjem in izboljševanjem kakovosti povezan. Pod izrazi samoevalvacija in skrb za kakovost v šolah se v praksi pojavlja mešanica elementov, ki imajo različne usmeritve in izhajajo iz precej različnih tradicij, ki imajo z vidika šol tako prednosti kot slabosti (Hen- driks, Doolaard in Bosker 2002), in sicer: znanstveno usmerjenost evalvacije, ki poudarja natančnost, zanesljivost in veljavnost postopkov, administrativno in uporabniško usmeritev kot vejo sistemov vodenja kakovosti in bolj kvalita- tivno, na mnenjih temelječo usmerjenost izboljšav v šolah. Samoevalvacijo pa vendarle lahko opredelimo, in sicer kot obliko notranje evalvacije in proces, kjer strokovnjaki, ki izvajajo dejavnost, vrednotijo lastno organizacijo, v našem primeru šolo oziroma njeno delovanje, posamezne dele (npr. programe, področja) ali posameznike (npr. učitelje). Pri tem ima šola lahko pomoč zunanjih svetovalcev, a odgovornost za samoevalvacijo še vedno nosi sama. Primarni uporabnik rezultatov oziroma ugotovitev, pridobljenih s samoevalvacijo je šola. Proces samoevalvacije namreč upošteva posebnosti vsake posamezne šole glede na velikost, organiziranost, okolje, učence, zapo- slene itd. Omogoča torej, da šola sama opredeli prednostna področja oz. vidike kakovosti, ki so zanjo pomembni, kako jih bo spremljala in ovrednotila. Lahko jo opredelimo tudi kot refleksijo o pomembnih vidikih vzgojno-izobraževalne prakse (Brejc in Koren 2011a). Samoevalvacije se šole lotevajo iz več razlogov, lahko bi rekli, da zato, ker se je morajo ali ker se je želijo, lahko pa tudi zaradi obojega. Gre torej za na eni strani zunanjo odgovornost (delovanje v skladu z zakonodajo, odgovarjanje oziroma poročanje javnostim, pristop od zgoraj navzdol itd.) in na drugi strani notranjo ali profesionalno odgovornost oziroma izboljševanje (potrebe šol, da se izboljšujejo, profesionalno zavedanje in ravnanje, pristop od spodaj navzgor itd.). V državah o e c d lahko večinoma zasledimo kombinacijo obeh, različna je stopnja poudarka. »Pomen razločevanja je v tem, da samoe- valvacija šol navadno pojmovana kot notranja zadeva z močno usmeritvijo v izboljšave, določeni produkti samoevalvacije pa so pogosto namenjeni zuna- nji odgovornosti« (oecd 2013b, 410). Kot še navajajo različni avtorji (Vanhoof idr. 2009a; 2009b; Scheerens 2008) so pristopi k samoevalvaciji v šolah sicer navadno spodbujeni od zunaj in ni zaslediti mnogo iniciativ, ki bi jih v zvezi s tem prevzele šole same. Ob tem Stronach (2010) opozarja na paradoks, ko naj samoevalvacija spodbuja notranji profesionalizem, je pa praviloma spod- bujena od zunaj in njeni rezultati pokažejo šolo navzven. V strokovni in znanstveni literaturi obstajajo navedbe, da je v šolah premalo zavedanja o pomenu in uporabnosti samoevalvacije, hkrati pa zaradi vladnih direktiv šole samoevalvacijo lahko vidijo predvsem kot obvezo, v določenih 39 Ugotavljanje kakovosti in evalvacija šol Preglednica 2.2 Pogoji in ovire za uvedbo samoevalvacije Ugodni pogoji za samoevalvacijo Ovire za samoevalvacijo ik Kadar so rezultati samoevalvacije Pretirana osredotočenost »inšpektorjev«, uporabljeni izključno za razvojne namene. zunanjih evalvatorjev na t. i. Odgovornost. avniej Možnosti za vzpostavitev profesionalnega Pritiski nacionalnih preverjanj znanj. dji dialoga med zaposlenimi in zunanjimi Od zunaj določeni, vsiljeni kriteriji in nna evalvatorji. kazalniki za samoevalvacijo. uZ Nepristranska zunanja evalvacija. Nespoštovanje s strani zunanjih Spodbujanje šol k tveganju, preizkušanju evalvatorjev. novega. Negativne medijske objave. Pozitivna povratna informacija. Uporaba rezultatov, ki ima finančne Spoštovanje profesionalizma učiteljev. posledice. Prijazen, in »neogrožujoč« pristop zunanje Netočna poročila zunanje evalvacije. evalvacije. Papirnato delo. Preveč podroben zunanji pregled. Zaznana grožnja s strani javnosti. Omejenost izključno na zunanje kriterije in kazalnike. V ozadju izvedbe so šolske lestvice, standardi. li Zavedanje namena samoevalvacije. Časovne omejitve in delovna obremenitev. šov Pripadnost šole samoevalvaciji. Strah in nejasnost o namenu iik Medsebojno zaupanje in pripravljenost samoevalvacije. vn izmenjave znanj in izkušenj s sodelavci. Strah, da bodo kolegi opazili slabosti kot ja Dostop do podatkov oziroma ugotovitev neuspeh »kultura obsojanja«. De samoevalvacije. Neravnanje po ugotovitvah samoevalvacije. Sovpadanje z (razvojnim) načrtovanjem v Pomanjkanje podpore vodstva šole. šoli. Odpor zaposlenih do sprememb. Izmenjava dobre prakse. »Lastništvo« pristopa k samoevalvaciji. Usposabljanje za samoevalvacijo. Prirejeno po MacBeath 2006, 25. primerih celo kot nadzor in ne kot orodje za izboljšave (Schildkamp, Visscher in Luyten 2009; Schildkamp in Teddlie 2008; van Petegem idr. 2005). Avtorji navajajo pomanjkanje odprtosti in nepripravljenost strokovnih delavcev, da bi kritično ovrednotili svoje delo kot tudi, da prepoznavanje in soočenje s pro- blemi, vprašanji in dvomi ter odprta razprava o tem ni ustaljen način dela v šolah. Pojavlja se odpor do dodatne papirologije, ki naj bi jo samoevalvacija prinašala. Na uspešno uvedbo samoevalvacije v šolah vplivajo tako zunanji kot notranji pogoji in ovire, ki jih povzemamo v preglednici 2.2. Različni avtorji (npr. MacBeath 2006) kot enega od ključnih dejavnikov za kakovostno samoevalvacijo navajajo odnos do samoevalvacije, zavedanje, da samoevalvacija ima svoj namen in da z njo lahko dosežemo učinke. Raziskava 40 2.2 Evalvacija šol v Belgiji je pokazala, da gre predvsem za velike razlike v odnosu do samoe- valvacije med zaposlenimi znotraj šol in ne med šolami, zato je pri uvajanju procesov potrebno upoštevati ne le šolski, ampak tudi individualiziran pristop, pri tem je npr. odnos ravnateljev do samoevalvacije načeloma bolj pozitiven kot odnos strokovnih delavcev (Vanhoof idr. 2009). Prav tako se kaže, da je vloga ravnateljev pri uvajanju samoevalvacije v šolo ena od ključnih (Brejc in Zavašnik Arčnik 2011). Na uspešno uvajanje oziroma odnos do samoevalvacije vplivajo tudi določene značilnosti šole, kot na primer organizacijska učinkovi- tost in prisotnost profesionalne učeče se skupnosti. Zavašnik Arčnik in Gradi- šnik (2011) pišeta o dejavnikih šolske kulture izboljšav s samoevalvacijo, ki so za uspešno uvedbo in izvajanje pomembni, in sicer so to motivacija za izbolj- šave s samoevalvacijo, usposobljenost, vzpostavljena učeča se skupnost, dis- tribuirano vodenje v šoli in čas. Medveš (2000; 2002) navaja, da je uspešnost samoevalvacije odvisna tudi od zaupanja, prostovoljnosti, čim širšega kroga deležnikov ter demokratičnega doseganje soglasja znotraj šole. Pri samoeval- vaciji naj bi tako upoštevali (Medveš 2000, 17), da je vključenih čimveč (no- tranjih in zunanjih) deležnikov, v razpravi naj bodo prisotni različni pogledi, jasna naj bodo pravila o tem, kdo ima vpogled v podatke, kdo naj jih interpre- tira, komu se lahko posredujejo, kako zagotoviti anonimnost v posameznih primerih, za kakšne namene se lahko podatki uporabijo, vsi udeleženci samo- evalvacije morajo biti odgovorni za to, da podatki samoevalvacije niso zlora- bljeni, samoevalvacija naj bo transparentna, vse zainteresirane je treba obve- ščati o rezultatih samoevalvacije in ukrepih za zagotavljanje kakovosti. Ali kot ugotavljajo Schildkamp, Visscher in Luyten (2009), ustvarjanje zavedanja, da je samoevalvacija uporabna in pomembna. Različni rezultati raziskav (npr. Vanhoof 2011) kažejo, da ima proces samo- evalvacije večjo možnost za uspeh, če je skladen z medsebojno povezanimi načeli, ki samoevalvacijo opredeljujejo kot ukrep politike šole. Pomembno je ustvarjanje ustreznega, celovitega okvirja za izvedbo samoevalvacije v šoli, ki obsega npr. sledeče: • Učiteljski zbor je pripravljen na sistematično refleksijo. • Učiteljski zbor deluje v smeri doseganja skupnih ciljev. • V učiteljskem zboru je vodenje distribuirano. Zagotavljamo aktivno vključenost vseh. • Komunikacija v učiteljskem zboru je učinkovita. • Učiteljski zbor si prizadeva ustvariti spodbudne odnose in sodelovanje. • Učiteljski zbor vključuje proces samoevalvacije v obstoječo šolsko poli- tiko. 41 Ugotavljanje kakovosti in evalvacija šol • Učiteljski zbor je odziven na notranja in zunanja pričakovanja, ki se na- našajo na proces samoevalvacije (prav tam). 2.3 Ugotavljanje in zagotavljanje kakovosti šol s samoevalvacijo v Sloveniji Ravnatelji šol v Sloveniji so odgovorni za »ugotavljanje in zagotavljanje ka- kovosti s samoevalvacijo« (z o f v i-u pb 5, 49. člen). Lahko bi rekli, da samo- evalvacija formalno v ugotavljanju kakovosti v slovenskem šolskem sistemu zavzema osrednjo vlogo, kljub temu pa še vedno ostaja precej odprt prostor razumevanja pojma samoevalvacija in nabor pristopov k samoevalvaciji (Ko- ren in Brejc 2011a). V tem okviru je pomembno, da so šole zmožne ugotavljati (in zagotavljati) kakovost s pomočjo samoevalvacije, da imajo torej potrebno znanje, spretnosti in odnos, da vzpostavijo okvir delovanja na ravni organiza- cije in da prevzamejo odgovornost. V slovenskem šolskem sistemu o enovitem sistemu ugotavljanja kakovosti, ki bi celovito zajel različne načine in/ali ravni evalvacije v izobraževanju, nam- reč ni mogoče govoriti (Brejc idr. 2011). »Obstajajo različni elementi ugotavlja- nja in zagotavljanja kakovosti, ki pa med seboj niso sistematično povezani in ne izhajajo iz enotnih programskih ciljev.« (Brejc, Jurič in Širok 2008, 29) Na področju zagotavljanja in ugotavljanja kakovosti se Slovenija danes uvr- šča med države, ki deloma prakticirajo različne sisteme (modele) uzk. Pri tem pogosto ostajamo pri koncipiranju relativno zaokroženih pristopov (modelov) u z k in ne preidemo v obsežnejšo uporabo koherentnih delov teh pristopov. Pogosto se ob vseh razlikah v pristopih zadovoljimo s poskusnim uvajanjem modela (vrtci) ali pa zgolj rudimentarno uporabo izbranih tehnik iz posamič- nega modela u z k (osnovna šola, splošne srednje šole). Temeljni značilnosti modelov u z k v Sloveniji sta tako obrobno prakticiranje sistematičnih pristo- pov in pomembne razlike med njimi. Stroga ocena bi bila, da dejansko delu- jočih sistemov u z k na področju vzgoje in izobraževanja v Sloveniji nimamo (Gaber idr. 2011, 37). Slovenija na področju ugotavljanja kakovosti v vzgoji in izobraževanju, kot smo ugotovili že v uvodnem poglavju, sicer sledi razvitimi državam in institucionalnemu razvoju na področju e u ter deluje na podlagi medna- rodnih usmeritev in priporočil, ki so zapisana v pomembnejših dokumen- tih, kot so npr. Lizbonska deklaracija (European Union 2010), Izobraževanje in usposabljanje 2020 (Svet Evropske unije 2012), program vseživljenjskega učenja 2007–2013 (http://europa.eu/legislation_summaries/education _train- ing_youth/general_framework/ c11082_en.htm), Priporočilo Evropskega par- lamenta in Sveta o uvedbi evropskega ogrodja kvalifikacij za vseživljenjsko 42 2.3 Ugotavljanje in zagotavljanje kakovosti šols samoevalvacijo v Sloveniji učenje (Evropski parlament in svet 2008), Evropsko poročilo o kakovosti izo- braževanja (European Commission 2001), Priporočilo Evropskega parlamenta in Sveta z dne 12. februarja 2001 o evropskem sodelovanju pri evalvaciji ka- kovosti v šolskem izobraževanju (Evropski parlament in svet 2001), da »čla- nice podprejo izboljševanje kakovosti šolstva s spodbujanjem samoevalva- cije v šolah kot metodo izboljševanja šol«. Potreba po ugotavljanju kakovo- sti različnih vidikov vzgojno-izobraževalnega sistema je opredeljena tudi v različnih nacionalnih dokumentih, ki se večinoma nanašajo na prednostne naloge razvoja Slovenije v prihodnjem obdobju (Brejc, Jurič in Širok 2008). Kakovost v slovenskih šolah je opredeljena še z različnimi zakonskimi podla- gami. Ministrstvo, pristojno za izobraževanje, je v finančni perspektivi Evrop- skih socialnih skladov 2007–2013 sofinanciralo tudi več projektov, namenje- nih izvedbi razvojno-raziskovalnega dela za ugotavljanje kakovosti vzgojno- izobraževalnega sistema z mednarodno primerljivimi instrumenti in meha- nizmi, razvoj in preizkušanje mehanizmov ugotavljanja in zagotavljanja kako- vosti vrtcev in šol ter usposabljanje strokovnih in vodstvenih delavcev za uva- janje sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih zavodov.2 Pregled prakse (Brejc in Trunk Širca 2007; Brejc idr. 2011) tudi pokaže, da se v Sloveniji z različnimi elementi ugotavljanja kakovosti ukvarjamo na vseh stopnjah izobraževanja (od vrtca do univerze) in na vseh ravneh izobra- ževalnega sistema (od učitelja/vzgojitelja do mednarodnih primerjav). Slove- nija tako sodeluje v mednarodnih raziskavah pi s a , t i m s s, pi rl s, ta l i s idr. (Štraus 2011; 2007; Sardoč 2011). (Zunanjo) evalvacijo šol opravlja šolska inšpekcija (Širec 2004). Na nacionalni ravni je eden od pomembnejših ele- mentov ugotavljanja kakovosti nacionalno preverjanje znanja v osnovni in ob koncu srednje šole (Zupanc 2001; 2011; Semen 2010; 2009). Mnoge šole imajo izkušnje z različnimi pristopi k uvajanju samoevalvacije, ki so se oblikovali bo- disi na ravni sistema (Pluško idr. 2001), v okviru delovanja posameznih javnih zavodov na področju vzgoje in izobraževanja (Mileksić 1999; Erčulj in Trunk Širca 2000; Mali idr. 2007; Klemenčič, Možina in Vilič Klenovšek 2003; Ko- ren in Brejc 2011a; Vonta 2006), kot rezultat projektnega delovanja ene ali več šol (Rustja, Gajgar in Požar Matijašič 2008; Marjanovič Umek idr. 2002) itd. Zasledimo pa tudi druge pristope (Leon idr. 2004; Zavrl 2007). »Na posameznih ravneh in področjih vzgoje in izobraževanja tako obstajajo različna pojmovanja uzk, različna razmerja med notranjim in zunanjim spre- 2 Ministrstvo za šolstvo in šport je 20. 6. 2008 objavilo Javni razpis za sofinanciranje ugotavljanja in zagotavljanja kakovosti v izobraževanju in usposabljanju (št. 54450-16/2008/2). 43 Ugotavljanje kakovosti in evalvacija šol mljanjem kakovosti, različni so pri tem poudarki na t. i. mnenjski dimenziji o počutju in procesih ter presojanju učnih dosežkov. [. . .] različne so tako ravni kompleksnosti posamičnih zastavitev u z k in zahtevnosti izvedbe le tega.« (Gaber idr. 2011, 42) Kot še ugotavljajo avtorji, »se zastavlja tudi vprašanje stopnje njihove izvedljivosti, objektivnosti in uporabnosti izsledkov.« Vsem rav- nem pa je skupno, da posredno ali neposredno zaznavajo potrebo po a) obli- kovanju področnih protokolov, b) enotnih kazalnikih, c) svetovanju in d) ra- zvoju pripomočkov in baz, ki naj bi bile namenjene šolam za (samo)evalvacijo njihovih aktivnosti (prav tam). Kaže se torej potreba po krepitvi zmožnosti šol za samoevalvacijo oziroma jo je v tem kontekstu moč razumeti in interpreti- rati. Formalno podlago za uvajanje in izvajanje samoevalvacije v šolah, kot smo že ugotovili, torej opredeljuje Zakon o organizaciji in financiranju vzgoje in izobraževanja (z o f v i-u pb 5), ki opredeljuje, da je ravnatelj šole odgovoren za »ugotavljanje in zagotavljanje kakovosti s samoevalvacijo«. Ta mora letno pripravljati poročila o samoevalvaciji, ki jih sprejme svet šole. Predvideno je, da minister, pristojen za izobraževanje, na predlog Sveta za kakovost in evalva- cije sprejme tudi merila in postopke za ugotavljanje in zagotavljanje kakovosti v vrtcih in šolah na nacionalni ravni. To se zaenkrat še ni zgodilo, bodisi ker še ni oblikovanega predloga, ker ni jasno, kdo, kdaj in kako bi naj predlog oblikoval ali nemara zato, ker smo v zadnjih letih priča pogostim menjavam vlade in s tem ključnih akterjev na pristojnem ministrstvu. Z omejenim zakonom je bila leta 2008 uvedena nova odgovornost, ki šole postavlja pred potrebo in zahtevo sistematičnega ugotavljanja kakovosti s samoevalvacijo. Razumeli bi lahko, da s tem država šolam sporoča, da ni dovolj, da le vedo, da so dobre, ampak je njihova obveza, da to tudi pokažejo oziroma dokažejo in tako ute- meljijo svoje dejavnosti in dosežke, povezane z učenci. S tem v izobraževanju sledimo sodobnemu času, saj nikjer v družbi ni več možno oziroma dovolj reči, da smo dobri sami po sebi, po svoji lastni profesionalni presoji. Dejavnosti v družbi so vse bolj na očeh javnosti, podirajo se okopi samoumevne avtoritete in profesionalizma na področju politike, sodstva, zdravstva, v znanosti in tudi drugje. Tako tudi področje izobraževanja ne more pričakovati, da bo izjema (Brejc in Koren 2011a). Hkrati pa se je država »z osredotočenjem u z k na sa- moevalvacijo odločila za odmik od poudarjanja procesa zuk kot nadzora nad delom institucij (vrtcev, šol) in učiteljstva. [. . .] imamo opravka s prenosom skrbi za kakovost vzgoje in izobraževanja na institucije in učiteljstvo« (Gaber idr. 2011, 39). Samoevalvacija kot proces na ravni šole pa kljub vsaj delnemu prenosu od- govornosti in skrbi za kakovost na raven šol formalno ni jasno opredeljena 44 2.3 Ugotavljanje in zagotavljanje kakovosti šols samoevalvacijo v Sloveniji (vsebina, struktura itd.) oziroma prihaja celo do razlikovanj po različnih rav- neh izobraževanja in določenih nejasnosti (npr. področje poklicnega in stro- kovnega3 izobraževanja,4 višje šolstvo5). Različnim projektom oziroma pristo- pom, ki se z ugotavljanjem kakovosti in v tem okviru s samoevalvacijo ukvar- jajo (npr. p o k i,6 si qa-v et,7 k v i z,8 k z p9), je skupno, da samoevalvacijo sicer do neke mere opredeljujejo podobno, kot proces, ki z namenom izbolj- šav poteka na ravni šole, pri čemer pa so različna izhodišča, na katerih proces temelji (npr. vnaprej opredeljena področja kakovosti in/ali kazalniki oziroma standardi, šola področje izbere sama oziroma izboljšave usmeri na področje učenja in poučevanja, šola doseganje ciljev izboljšav vrednoti na osnovi me- ril, ki jih določi in oblikuje sama itd.) in usmerjenost (šola kot celota, dolo- čeno/izbrano področje izboljšav, raven učitelja). V tem okviru tudi ni (vedno) jasno opredeljeno, kdaj šola kakovost doseže. Ko vzpostavi notranji sistem ka- kovosti, ko doseže od zunaj določen standard ali npr. ko tako na osnovi interno oblikovanih meril presodi sama? Razlike v projektih oziroma pristopih se ka- žejo tudi v samem pristopu, orodjih ali mehanizmih oziroma podpori, ki jih le-ti ponujajo. Skupno omenjenim projektom oziroma pristopom pa je, da v osnovi temeljijo na izhodiščih nenehnega izboljševanja šol, šole se vključujejo prostovoljno, v procesu samoevalvacije zbrane podatke šole uporabljajo pra- viloma interno, samoevalvacija (ali notranja presoja) se kombinira (potrjuje) z zunanjo evalvacijo (presojo). Raznolikost pristopov in pobud tako pri nas kot v drugih državah povzroča mnogovrstne odzive šol na zahteve po odgovornosti za ugotavljanje kakovosti s samoevalvacijo. Nabor različnih pristopov je seveda lahko dober in dobrodo- šel. A le dokler jih ni preveč, dokler niso preveč raznoliki ali celo nasprotujoči si in ne začnejo premočno posegati v delovanje šol. Tako najdemo šole, ki pre-tiravajo, takšne, ki ignorirajo in tiste, ki znajo izbrati pristop/-e in jih uspešno umestiti v obstoječe dejavnosti. Podobno raznolikost lahko najdemo tudi pri snovalcih in izvajalcih različnih pristopov. So takšni z dvomljivo usposoblje- 3 Po Zakonu o poklicnem in strokovnem izobraževanju (zpsi-1). 4 Poleg poročila o samoevalvaciji (49. člen zofvi-upb5), je za področje poklicnega in strokovnega izobraževanja v 16. členu z p si opredeljena še komisija za kakovost, ki pripravi in objavi Poročilo o delu komisije za kakovost. 5 V skladu z Zakonom o višjem strokovnem šolstvu (zvsi) spada področje kakovosti v okvir visokega šolstva. 6 Ponudimo odraslim kakovostno izobraževanje, acs. 7 Slovensko središče za zagotavljanje kakovosti poklicnega in strokovnega izobraževanja, cpi. 8 Zasnova in uvedba sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževačnih pr-ganizacij, š r. 9 Kakovost za prihodnost vzgoje in izobraževanja, siq. 45 Ugotavljanje kakovosti in evalvacija šol nostjo, drugi, ki prenašajo neprilagojene modele kakovosti z drugih področij in oni, ki poglobljeno in odgovorno spodbujajo in podpirajo ugotavljanje ka- kovosti v izobraževanju. Zaradi pomanjkanja empiričnih raziskav o učinkih, prednostih in slabostih posameznih pristopov in izvajalcev pa so odločitve o primernosti včasih bolj politične kot strokovne (Brejc in Koren 2011a). Pred- vsem se to kaže na področju uvajanja različnih pristopov k samoevalvaciji. Različne izkušnje namreč kažejo, da javnih zavodov, ki sicer delujejo pod okri- ljem istega ministrstva, ni tako preprosto povezati v skupnem projektu. In sicer ne glede na to, da gre za delo z istimi šolami in da informacije in usmeritve, ki jih dajejo, niso vedno usklajene, in da šole tako celo postavljajo pred dilemo, kako različne pristope usklajevati ali celo silijo v razmislek in odločitev o tem, kateri od pristopov je »pravi«. Težave pri sodelovanju so objektivne (Brejc in Koren 2011a, 10): V zadnjih letih javni zavodi ne sodelujejo prav pogosto, bolj se osredo- točajo na lastne dejavnosti. Celo tam, kjer se te dotikajo, pride morda do razmejitve pristojnosti ali pa še to ne. Pa ne gre samo za to. Uvaja- nje samoevalvacije je zahtevno in odgovorno, zahteva dolgo in temeljito pripravo, še bolj pa razumevanje in usklajevanje profesionalnih prepri- čanj. Popolno poenotenje razumevanja pristopa, ki temelji na zaupanju do šol in vrtcev in njihovih zmožnosti za izbiro ciljev in izvedbo izbolj- šav, je težko doseči že znotraj enega, kaj šele pri vseh javnih zavodih. Učitelji so edinstvena, izjemno velika, močna in vplivna profesionalna sku- pina z velikim deležem v evalvaciji in dolgo zgodovino delovanja v vlogi eval- vatorjev, ki ocenjujejo dosežke svojih učencev in ki morajo biti upoštevani vsakokrat, ko gre za evalvacijo (Kellaghan in Stufflebeam 2003). Učitelji se to- rej pojavljajo v več vlogah kot evalvatorji, evalvirani in deležniki, zato je po- membno, da v sistemu posvetimo pozornost ne le spodbujanju in uvajanju različnih oblik ocenjevanja in evalvacije, pač pa tudi nenehni in sistematični krepitvi zmožnosti učiteljev za evalvacijo. V nadaljevanju predstavljamo kon- cept krepitve zmožnosti za evalvacijo, ki ga v povezavi z raziskovalnim pro- blemom apliciramo na samoevalvacijo v šolah. 46  Krepitev zmožnosti za evalvacijo Krepitev zmožnosti za evalvacijo (angl. evaluation capacity building – e c b, v nadaljevanju k z e) je v zadnjem času ena od aktualnih tem pogovorov, de- javnosti, konferenc in raziskav na področju evalvacije. Tako najdemo različne koncepte, opredelitve, modele itd., ni pa prevladujočega konceptualnega mo- dela, ki bi predstavil, kako naj bo k z e v praksi zasnovana in izpeljana, da bi bila kar najbolj uspešna. k z e je v zadnjih 10 letih predvsem v središču zani- manja evalvatorjev, ki se z evalvacijo ukvarjajo poklicno, v različnih organiza- cijah, nacionalno ali v mednarodnih okvirih. Ti želijo spodbuditi zavedanje in razumevanje deležnikov o pomenu evalvacije, evalvacijske kulture in prakse evalvacije (Boyle in Lemaire 1999; Compton, Baizerman in Stockdill 2002). Hkrati z vse večjim zanimanjem se širi tudi nabor dostopne literature o k z e (Compton, Baizerman in Stockdill 2002; Preskill in Boyle 2008). Po našem vedenju trenutno ni posebne opredelitve krepitve zmožnosti šol za samoevalvacijo in s tem povezanega kakršnegakoli modela, zato v nadalje- vanju najprej predstavljamo širši koncept k z e in različne modele, ki ga pod- pirajo, niso pa neposredno vezani na področje šolstva oziroma izobraževalne organizacije. Na podlagi pregleda novejše strokovne literature razpravljamo o tem, kaj o k z e trenutno vemo in kakšne so potrebne implikacije v pri- hodnje. Najprej predstavimo splošen koncept krepitve zmožnosti, ki ga nato apliciramo na k z e. V zaključku poglavja predstavimo izhodišča za oblikova- nje modela k z e, na osnovi katerih bomo oblikovali predlog modela krepitve zmožnosti za samoevalvacijo v slovenskih šolah. 3.1 Krepitev zmožnosti Koncept krepitve zmožnosti je »večplasten« (Fullan 2006) in pogosto še ve- dno napak razumljen. V organizacijskem smislu pa tudi širše vključuje tako notranje deležnike kot tudi zunanje, ki jih podpirajo – vključno s politiko – pri ustvarjanju in ohranjanju pogojev, kulture in struktur, usmerjanju učenja in na spretnosti temelječih izkušenj in priložnosti. Ugotovimo lahko, da je krepitev zmožnosti na nek način »modna beseda«, ki jo različni avtorji povezujejo z različnimi vidiki razvoja, sprememb, pomoči, 47 Krepitev zmožnosti za evalvacijo izboljšav na ravni posameznikov in/ali organizacij oziroma sistemov v lokal- nem, nacionalnem ali mednarodnem kontekstu. Krepitev zmožnosti pa nemalokrat tudi ni nič več kot le bolj resno zveneča alternativa usposabljanju. Ob zavedanju, da zgolj sprememba poimenovanja ne pripelje do sprememb v praksi in da je ozko videnje krepitve zmožnosti le kot usposabljanja prav tako neuporabno kot široko razumevanje termina, ki hkrati pomeni oziroma zajame vse in nič (Eade 2007). Krepitev zmožnosti to- rej ne sme biti ali postati »dodatek«, postati mora »način razmišljanja« (Costa in Kallick 2000). Preden opredelimo k z e, bomo razpravljali najprej o pojmu zmožnosti in kaj opredeljujemo kot zmožnost/-i na ravni posameznika in organizacije. Slovar slovenskega knjižnega jezika (1995) zmožnost opredeljuje kot: »la- stnost, značilnost koga, da more uresničiti, opravljati kako dejanje, dejavnost.« Podobno definicijo ima tudi izraz sposobnost (lastnost, značilnost, potrebna za opravljanje kake dejavnosti), vendar smo se odločili, da za angleški izraz »capacity« v prevodu uporabljamo izraz zmožnost. Širše zmožnost opredeli razvojni program Združenih narodov (u n d p), in sicer kot »sposobnost po- sameznikov, institucij in družb da opravljajo svoje funkcije, rešujejo probleme ter zastavljajo in dosegajo cilje na trajnosten način.« (u n dp 2010, 2) Kot izhodišče za nadaljnje opredeljevanje bomo vzeli drugo definicijo, ki po našem mnenju izpostavlja tri ključne poudarke, in sicer: • zmožnosti na različnih (vseh) ravneh od posameznika do družbe, • ciljno usmerjenost in • trajnost. Zmožnost/-i na področju izobraževanja tako lahko opredelimo na ravni šolskega sistema, šole in učitelja, saj so ravni med seboj povezane. V kon- tekstu sistemske reforme npr. gre za zmožnost šolskega sistema, da pomaga vsem učencem doseči višje standarde (O’Day, Goertz in Floden 1995). Zmo- žnost šolskega ali kateregakoli drugega sistema za doseganje zastavljenih ciljev pa lahko izboljšamo z boljšim delovanjem ljudi v tem sistemu, npr. posamez- nih učiteljev. In večina strategij za krepitev zmožnosti v šolstvu danes cilja na posamezne učitelje, pri čemer je zmožnost učitelja večdimenzionalna in raz- vijajoča se. Ne gre le za znanje in spretnosti, pač pa tudi za dovzetnost, nag- njenost oziroma odnos in videnje oziroma doživljanje samega sebe. Zmožnost učitelja je povezana z organizacijsko zmožnostjo. Med dejavniki, ki vplivajo, so formalne in neformalne mreže, ki jim učitelji pripadajo ter učni kontekst oziroma kultura šole. Pomembne organizacijske »dimenzije«, ki vplivajo na zmožnost učitelja, so tako: skupnosti praks, kontekst šole, vizija in vodenje, 48 3.1 Krepitev zmožnosti skupna predanost in kulturne norme, znanje ali dostop do znanja, organiza- cijske strukture in upravljanje, viri itd. V povezavi z izboljševanjem šol, kar lahko vzamemo kot v zgornji definiciji omenjeno ciljno usmerjenost, zmožnost opredeljujemo kot generičen in celo- vit koncept oziroma »moč vključiti se in ohranjati nenehno učenje učiteljev in šol samih z namenom spodbujanja učenja učencev preko vpliva posameznih učiteljev znotraj šole, šolskega družbenega in učnega konteksta ter zunanjega konteksta« (Stoll 2009, 116–117). Ali drugače, gre za »kakovost«, ki omogoča ljudem, da se, individualno in/ali skupaj, rutinsko učijo od sveta, ki jih obkroža in da pridobljeno znanje prenašajo in uporabljajo v novih situacijah, za doseganje ciljev v nenehno spreminjajočem se okolju. Po mnenju Stollove (2009, 116–117) šola z notranjo zmožnostjo lahko prevzame nadzor nad spremembo, ker je prilagodljiva. Po našem mnenju je v izobraževanju takšna prilagodljivost še posebej po- membna, saj se šole ne morejo le odzivati na zahteve in spremembe, ki se dogajajo v lokalnem, nacionalnem ali pa tudi mednarodnem okolju. V pri- meru dovoljšnjih zmožnosti, ki jih nenehno krepijo, se tako lahko prilagajajo in »ukrepajo« hitreje kot celoten šolski sistem. Hkrati pa tudi bolj konkretno in predvsem kontekstualno specifično, skladno s poznavanjem svojih zmož- nosti in potreb svojih primarnih deležnikov, to je učencev. Za to seveda morajo imeti tudi določeno stopnjo avtonomije, ki pa v tem primeru s seboj prinaša »obveznost« krepitve zmožnosti šole in učiteljev za izvajanje dejavnosti in iz- boljševanje dosežkov učencev. V literaturi danes zasledimo različne opredelitve razvoja zmožnosti (ang. capacity development) oziroma krepitve zmožnosti (ang. capacity building).1 Za razpravo pa so pomembna predvsem vprašanja, kakšne zmožnosti oziroma zmožnosti za kaj naj krepimo, na kateri ravni (posameznik, organizacija, sis- tem), kako jih krepimo in nenazadnje, kdo krepi čigave zmožnosti, o čemer bomo v nadaljevanju razpravljali. V učečih se organizacijah (Senge 1990) in profesionalnih učečih se skupno- stih (Katz 2010; Robertson in Timperley 2011) pogosto govorimo brez jasnega odgovora na vprašanje, kakšne zmožnosti ali zmožnosti za kaj krepimo. Kre- pitev lahko opredelimo skozi tri ključne zmožnosti (Mitchell in Sackney 2000, 13–15): • osebne/osebnostne (aktivna in reflektivna konstrukcija znanja, obliko- vanje vrednot, prepričanj, vrednostni sistem, praksa delovanja), 1 Ker se na področju evalvacije uporablja predvsem izraz »capacity building«, bomo v nadaljevanju uporabljali samo izraz krepitev zmožnosti. 49 Krepitev zmožnosti za evalvacijo Zunanji kontekst Učni kontekst šole Učitelj kot Učitelj kot učeči se: znanje, učeči se: znanje, čustvena stabilnost, čustvena stabilnost, motivacija, prepričanja, motivacija, prepričanja, soodvisnost, zaupanje, soodvisnost, zaupanje, spretnosti, življenj- spretnosti, življenj- ske in poklicne ske in poklicne izkušnje izkušnje Mikropolitične strukture Glo st b Učitelj kot o a n ln učeči se: znanje, p e O s d a čustvena stabilnost, sku il n n e o vi a s s p i motivacija, prepričanja, o d r o kaln em soodvisnost, zaupanje, Zg Lo e K m ult spretnosti, življenj- b ura ske in poklicne Pr V izkušnje o o f d es enj io e na Širša skupnost ln P Učenci kot kontekst o o dpora u Morala čno okolje Političnausmerjenostin»ton« Slika 3.1 Vplivi na notranjo zmožnost (povzeto po Stoll 1999, 116) • medosebne (vzpostavljanje medosebnostnih odnosov, kolektivne pra- ksa, skupnega razumevanja/pomena) in • organizacijske (vzpostavljanje struktur, ki oblikujejo trajnostne organi- zacijske procese, fleksibilnost, avtonomija). Obstajati mora »neposredna, trajnostna in usmerjena pozornost na krepi- tev zmožnosti vseh treh ›kategorij‹« (Mitchell in Sackney 2000, 14). Ob tem pa je seveda od konteksta odvisno, v katero od omenjenih zmožnosti se najprej ali najbolj osredotočimo. »Torej, ali nekdo začne krepiti osebno, medosebno ali organizacijsko zmožnost, je odvisno od potreb ljudi v določeni situaciji, poglobljena analiza konteksta bo verjetno nakazala, kje se nahajajo najvpliv- nejši vzvodi.« Postavlja se tudi vprašanje, ali naj se krepitev zmožnosti usmerja v trenutni kontekst učiteljev, šol in šolskih sistemov ali v prihodnost, ki je še vedno do določene mere ali pa vse bolj nejasna. 50 3.1 Krepitev zmožnosti »Zmožnost naj bo krepljena glede na osebno znanje in sposobnosti, medo- sebne odnose in dinamiko ter organizacijske strukture in okvire.« (Mitchell in Sackney 2000, 15) Krepitev zmožnosti (na katerem koli področju ali vsebini) se ne zgodi že samo zato, ker je tako zaukazano ali priporočeno ali ker pač vemo, da bi bilo to dobro. Tako npr. pošiljanje učiteljev zgolj na usposabljanja, kot eno od strategij za krepitev zmožnosti, ne pomeni nujno profesionalnega ra- zvoja ali generira sprememb v praksi izobraževanja. Krepitev zmožnosti naj bo smiselno vpeta v poslanstvo organizacije, v našem primeru šole, njenih pred- nostnih usmeritev in potreb. Zdi pa se, da šole potrebujejo tudi zunanji vložek in podporo, da pomembno premaknejo oziroma spremenijo trenutno prakso, zato je o krepitvi zmožnosti potrebno razmišljati tudi izven organizacijskega okvira. Torej krepitev zmožnosti ni le stvar posameznika, pač pa tudi organi- zacije in sistema. Da bi bila učinkovita, so potrebni vzvodi, pogoji, strukture in usmeritve na vseh treh ravneh. Pristopi h krepitvi zmožnosti se razlikujejo. Od predpisanih strategij (od zgoraj navzdol) se vse bolj premikamo k takšnim, ki so povezane z informira- nim profesionalizmom (od spodaj navzgor) – ko npr. ravnatelji in učitelji od- igrajo večjo vlogo pri določanju, kako naj bo sprememba uvedena (Hopkins 2007). Problem s predpisovanjem, ki se lahko pojavi, je namreč odvisnost uči- teljev in šol od receptov, ki so na voljo. V smislu zmožnosti bi rekli, da je to »zmanjšana zmožnost/zmanjševanje zmožnosti« (Stoll 2009, 118). Problem v povezavi z informiranim profesionalizmom pa je po našem mnenju lahko na drugi strani prevelika razdrobljenost pristopov v šolskem sistemu in prevelika vpetost v zgolj lokalni kontekst in trenutno situacijo šole brez potrebnega t. i. širokega pogleda in umestitve v kontekst celotnega šolskega sistema in poten- cialno tudi mednarodnih trendov. Za krepitev zmožnosti so torej potrebne nove oblike prakse in novi na- čini razmišljanja Vse preveč se namreč radi usmerjamo v materialne in vi- dne vidike zmožnosti organizacij in posameznikov. »Organizacije kot odprti sistemi so sestavljene iz številnih medsebojno povezanih in medsebojno od- visnih elementov« (Kaplan 2000, 518), od katerih so za doseganje organiza- cijske zmožnosti nekateri bolj ključni. Kaplan (2000) navaja naslednje ele- mente organizacijskega življenja po hierarhičnem zaporedju od najbolj do naj- manj pomembnega oziroma od najmanj do najbolj merljivega in oprijemlji- vega: konceptualni okvir, organizacijski odnos, vizija in strategija, organizacij- ska struktura, posedovanje spretnosti, materialni viri. »Najpomembnejši ele- menti v življenju organizacije so po naravi takšni, da so bolj ali manj odporni na ustaljene pristope h krepitvi zmožnosti« (2000, 520), zato je pomembno dvoje: 51 Krepitev zmožnosti za evalvacijo • da organizacije prevzamejo odgovornost za manko lastnih zmožnosti, da so sposobne razumeti same sebe in razlogov ali opravičil ne iščejo v zunanjih dejavnikih. Organizacije z zmožnostmi namreč izkazujejo tako močne »nevidne« elemente kot tudi sposobnost reflektiranja o njih; • tisti, ki krepijo zmožnost, bi morali preusmeriti ukrepe v elemente, ki so na vrhu hierarhije manj vidni in bolj kompleksni. »Organizacijska sprememba, bolj kot statični model, ki opisuje organiza- cijske elemente, je bistvo krepitve zmožnosti« (Kaplan 2000, 523). Potreben je torej tudi paradigmatski premik v gledanju na organizacije in krepitev organi- zacijskih zmožnosti kot statičnih modelov, saj ne gre za »hierarhično gledanje« na zgoraj omenjene elemente in pripisovanje večje ali primarne pomembnosti le določenim elementom. Organizacije so namreč razlikujejo po tem, v kateri fazi razvoja so in za kakšne vrste organizacijo gre. Tudi, če torej imamo ce- lovitejši model krepitve zmožnosti, je potrebno zavedanje, da je ne glede na podobnosti vsaka organizacija edinstvena, predvsem pa z modelom ni mo- goče napovedati ali določiti procesov organizacijskih sprememb. Paradigmat- ski premik, ki ga je Kaplan predlagal, je torej v prvi vrsti povezan s tem, da ne pripravimo najprej v celoti in vseh programov in ukrepov, ki jih organi- zacijam in/ali posameznikom ponujamo, pač pa usmerimo razvoj v ljudi in krepitev zmožnosti v organizacijo tako, da prepoznamo stopnjo razvoja, v ka- teri je trenutno določena organizacija in se na to (in nič drugega) ustrezno in prilagojeno odzovemo. V kontekstu izboljševanja šol, povezanega s prakso krepitve zmožnosti, je tako pomembno (Stoll 2009): • diferencirati krepitev zmožnosti glede na raznolike kontekste in raven zmožnosti; • skladno s širokim namenom šolanja krepitev zmožnosti osredotočiti na podporo izboljševanju na pedagoškem področju za poudarjanje učenja; • v hitro spreminjajočem se svetu krepitev zmožnosti usmeriti tako v se- danjost kot prihodnost; • zagotavljanje trajnosti je odvisno od miselne naravnanosti glede krepi- tve zmožnosti; • krepiti zmožnosti na vseh ravneh, vodenje izboljšav v šolah ne more biti individualno; • omogočiti in spodbujati lateralno (skupno) krepitev zmožnosti, ki jo zahteva vse bolj mrežna družba; • zagotoviti tudi sistemsko krepitev zmožnosti, saj izboljšave niso odvisne samo od posameznih šol. 52 3.2 Krepitev zmožnosti za evalvacijo Izziv je pogosto tudi, da je potrebna zmožnost, če želimo krepiti zmožnost (Hatch 2001), prav tako je pomemben odgovor na vprašanje, kdo krepi čigavo zmožnost (Eade 2007). Razmislek, ki se nam pri tem poraja, je, da o krepitvi zmožnosti lahko razmišljamo v odnosu zunanje–notranje. Torej ali zmožnosti posameznika ali organizacije, v našem primeru učitelja in šole, lahko krepi le nekdo zunanji, ali je krepitev zmožnosti v osnovi interna stvar. Če navežemo razmislek dalje na učitelja, ali lahko sam krepi svoje lastne zmožnosti brez zunanje »intervencije«? V tem okviru primarnega pomena niso toliko same dejavnosti in načini za krepitev zmožnosti, pač pa pogoji, okviri, strukture in spodbude, ki jih učitelji in šole pri tem imajo. Pomemben poudarek v nadaljevanju in izhodišče empiričnega dela je, da krepitve zmožnosti, v našem primeru krepitve zmožnosti šol za samoevalva- cijo, ne enačimo z usposabljanjem. Usposabljanje namreč pojmujemo le kot eno od strategij za krepitev zmožnosti, ki ni edina in tudi ne (nujno) najpo- membnejša. Šele ko opredelimo zmožnost za evalvacijo (kaj), namreč lahko začnemo razmišljati o njeni krepitvi (kako). V nadaljevanju bomo najprej predstavili splošni koncept oziroma definicije k z e, nato pa na osnovi različnih modelov in drugih dostopnih dokumentov oziroma literature podrobneje opredelili z e (kaj), strategije za k z e (kako) in okvir izvedbe k z e (kdo). To bomo kasneje aplicirali na krepitev zmožnosti šol za samoevalvacijo v slovenskem kontekstu. 3.2 Krepitev zmožnosti za evalvacijo Da bi evalvacijo v različnih kontekstih, od individualnega, organizacijskega, lokalnega, nacionalnega pa do mednarodnega, lahko izvajali kakovostno in v določenih primerih tudi trajnostno, je potrebna krepitev zmožnosti tistih, ki evalvacijo izvajajo ali so v izvedbo tudi kako drugače vključeni. kze je na področju evalvacije relativno nov koncept, ki je pritegnil tako po- zornost strokovnjakov kot evalvatorjev in obstajajo različni pogledi na k z e. Pregled obstoječe literature o k z e pokaže na širok konceptualni pluralizem na tem področju, raznolikost mnenj glede namena k z e, pomanjkanje celo- vite empirične baze za različne modele in pomembno osredotočenje na pri- stope in metode (Nielsen, Lemire in Skov 2011). Po navedbah Nielsena, Lemira in Skova (2011; primerjaj s Furubo, Rist in Sandahl 2002; Mackay 2002; Bai- zerman, Compton in Hueftle Stockdill 2002; Baizerman, Compton in Hueftle Stockdill 2002; Cousins idr. 2004; Preskill in Boyle 2008; Taut 2007a; Boyle in Lemaire 1999; McDonald, Rogers in Kefford 2003) k z e lahko apliciramo na makro (družbeno ali sistemsko) raven, mezo (organizacijsko) raven in mi- 53 Krepitev zmožnosti za evalvacijo kro (individualno) raven. Različni avtorji se osredotočajo primarno bodisi na stran »ponudbe« (razvoj človeškega kapitala, orodij, virov) ali na stran »pov- praševanja« (politike, načrti, organizacijske strukture, procesi, kultura). k z e lahko opredelimo kot enega od osrednjih elementov ugotavljanja in zagota- vljanja kakovosti na organizacijski ali sistemski ravni. Namen in cilji k z e so v veliki meri povezani s samo opredelitvijo vloge evalvacije in so torej lahko vodeni kot managementsko orodje v organizaciji, raziskovalno orodje za razumevanje dejavnosti v družbi ali kot orodje odgo- vornosti (Mayne, Divorski in Lemaire 1999). Namen kze je največkrat usmer- jen v zaposlene znotraj določene organizacije, da redno in učinkovito doku- mentirajo izvedbo in učinke njihovih programov kot izraz povečane zmož- nosti za evalvacijo (King idr. 2001; Mackay 2002; Preskill in Boyle 2008; Taut 2007b; García-Iriarte idr. 2011). Cilje kze z vidika organizacije lahko na kratko povzamemo kot povečati in ohranjati organizacijsko zmožnost (1) zasnove, iz- vedbe in vodenja učinkovitih evalvacijskih projektov, (2) dostopa do, krepitve in uporabe evalvacijskega znanja in spretnosti, (3) nenehnega organizacijskega učenja, izboljšav in odgovornosti ter (4) zavedanja in podpore za programsko evalvacijo in samoevalvacijo kot strategijo izboljšav delovanja (King in Volkov 2005). k z e je večinoma opredeljena s poudarkom na sposobnosti izvajanja viso- kokakovostnih evalvacij in sposobnosti uporabe evalvacij (Hueftle Stockdill, Baizerman in Compton 2002) ali gledano širše s poudarkom na zagotavlja- nju, da je znanje, pridobljeno s spremljanjem in evalvacijo, uporabljeno kot del zanesljivega javnega upravljanja. »Pri krepitvi zmožnosti za evalvacijo ne gre le za razvijanje strokovnosti za izvedbo ustreznih in uporabnih evalvacij; vključuje tudi ustvarjanje in ohranjanje trga za to stroko s promoviranjem or- ganizacijske kulture, v kateri je evalvacija rutinski del tega ›kako mi počnemo stvari pri nas‹« Beere (2005, 41). k z e je lahko opredeljena kot strategija za pomoč organizacijam, da se soočajo z zahtevami po odgovornosti (Baizer- man, Compton in Hueftle Stockdill 2002; Compton, Baizerman in Stockdill 2002; Carman in Fredericks 2010) ali kot prizadevanje za razvoj in ohranjanje praks v organizaciji, ki spodbujajo rutinsko uporabo evalvacijskih procesov in prakse (Hueftle Stockdill, Baizerman in Compton 2002; Compton, Baizer- man in Stockdill 2002). Gre za »obseg, do katerega ima organizacija potrebna sredstva in motivacijo, da izvaja, analizira in uporablja evalvacije.« (Gibbs idr. 2002, 261) k z e lahko pogledamo z vidika posameznika, organizacije ali sistema, naj- pomembnejši vidik pa je organizacijski. Dobro ga ponazori najpogosteje na- vajana definicija, da je k z e: »Načrtno delo na organizaciji kot sistemu, nje- 54 3.2 Krepitev zmožnosti za evalvacijo nih strukturah, kulturi in vsakodnevnih praksah z namenom vzpostavitve in ohranjanja okolja za profesionalno programsko evalvacijo in njeno uporabo« (Compton, Baizerman in Stockdill 2002, 11–12). Gre torej za vzpostavitev in ohranjanje procesov, ki na ravni organizacije omogočajo kakovostno evalva- cijo in njeno rabo. Ob tem Compton, Baizerman in Stockdill (2002, 8) pou- darjajo, da je k z e odvisna od konteksta, če in kako se k z e izvaja je namreč odvisno od realnosti in stanja vsake posamezne organizacije. k z e je načrto- van akcijski sistem, ki se izvaja v sodelovanju z drugimi in sčasoma se pokažejo določene značilnosti, ki jih lahko predstavimo kot smiseln sistem. k z e je ozi- roma naj bi bila vodena z načrtom vzpostavitve in ohranjanja ter nenehnega poustvarjanja priložnosti za k z e. k z e ni enkratna dejavnost, ampak proces z usmerjenimi prizadevanji in praksa vsakodnevnega izvajanja. Za k z e je po- membno ustvarjanje in ohranjanje razmer, v katerih evalvacije se in se bodo uporabljale. Potrebno je upoštevati razmere, torej vse, kar je v določeni orga- nizaciji potrebno, da se evalvacija izvaja in uporablja, organizacijsko in pro- gramsko infrastrukturo, družbene norme in prakse, kulturno umeščenost in diskurze, ustrezno usposobljenost praktikov itd. k z e se lahko dogaja znotraj in/ali med eno ali več organizacijami/programi/okolji, intra ali interorganiza- cijskimi konteksti in programi, skupnostmi, sodelovanje partnerjev. Omenjena definicija nam predstavlja izhodišče za opredelitev krepitve zmožnosti za samoevalvacijo, ki jo bomo v empiričnem delu umestili v orga- nizacijsko okolje šol, opredelili pa jo bomo tudi širše z vidika šolskega sistema. kze namreč lahko opredelimo tudi kot »dejavnosti, ki podpirajo sisteme eval- vacije, nenehnega pregleda (audit), povratne informacije in učenja iz politik, programov ali projektov, izvedenih na različnih ravneh. Čeprav je koncept opredeljen široko, izključuje dejavnosti, ki so namenjene izključno načrto- vanju in ocenjevanju. Prav tako svoj interes usmerja v dejavnosti, ki niso le začasne narave, ampak so namenjene podpori trajnostne funkcije evalvacije« (Schaumburg-Muller 1996). Pomembna je za »razvoj nacionalnega ali področ- nega evalvacijskega sistema« (Mackay 1999) in »sposobnost javnih inštitucij, da upravljajo z informacijami, ocenjujejo delovanje programov in se fleksi- bilno odzivajo na nove zahteve« (Picciotto 1998). Kuzmin (2009) k z e opre- deljuje kot krepitev kolektivne evalvacijske zmožnosti. To pa seveda pomeni več kot imeti le npr. neko evalvacijsko združenje, saj evalvatorjem omogoča, da se v večji meri zanesejo drug na drugega kot prej, da bi učinkoviteje lahko dosegli naslednje cilje (Leviton 2001, 1–2): • vplivati na svet programov in politike, ki še vedno napačno razume, zlo- rablja in se včasih boji evalvacije, s posledicami za evalvatorje; 55 Krepitev zmožnosti za evalvacijo • izboljšati odnose med evalvatorji; • okrepiti individualne močne točke in nadomestiti šibke z razumeva- njem, kje lahko delujemo neodvisno in kdaj imamo dolžnost sodelovati. Če smo ugotovili, da je najpomembnejši vidik k z e organizacijski in bomo k z e z organizacijskega vidika obravnavali v empiričnem delu, naj poudarimo še naslednje: »Krepitev organizacijske zmožnosti za evalvacijo mora biti vo- dena znotraj organizacije.« (McDonald, Rogers in Kefford 2003, 11) To pomeni, da ima na ravni organizacije nekdo primarno odgovornost zagotavljanja traj- nosti evalvacije, ki postane redna in nenehna praksa v organizaciji (Compton, Baizerman in Stockdill 2002). kze ne smemo gledati samo v povezavi z notra- njo evalvacijo (samoevalvacijo), saj takšen pogled lahko poveča tveganje, da evalvacija služi predvsem interesom zaposlenih, ne pa uporabnikom progra- mov, financerjem ali drugim legitimnim deležnikom. Obenem tudi ni dovolj, da posameznike samo naučimo, kako loviti ribe. Za učinkovito ribarjenje po- trebujemo opremo, učinkovit sistem distribucije, ljudi, ki ribe želijo jesti in celoten sistem ribarjenja, ki je trajnosten. In kaj to pomeni? Za k z e to po- meni, da se moramo osredotočiti na delovanje znotraj celotne organizacije, ne le na razvijanje znanja in spretnosti posameznikov. In kot dodaja Williams (2001), »vse znanje, spretnostni, tehnična usposobljenost in izkušnje na svetu ne bodo pomagale, [. . .] če [. . .] program, skupnost, organizacija ali okolje ne moreta vzdrževati in negovati teh spretnosti in sposobnosti.« Iz predstavljenih teoretičnih konceptov lahko sklepamo, da je potrebno ob različnih definicijah k z e razlikovati tudi med z e, k z e in prakso evalvacije (npr. programsko evalvacijo) (Compton, Baizerman in Stockdill 2002; Boyle in Lemaire 1999). z e so potreben pogoj za evalvacijsko prakso in se nanašajo na: »človeški kapital (znanje, spretnosti, izkušnje itd.) in finančne/materialne vire«. Evalvacijska praksa pa pomeni dejansko izvajati evalvacijo in se nanaša na: »definicijo evalvacije, raziskovalni okvir in izvedbo evalvacijskih aktivno- sti, kar pomeni izvedbo, rezultate in vpliv na določeno javno politiko. Praksa pa je mogoča le, če imamo ›hardware‹ (ali z drugimi besedami zmožnost za evalvacijo)« (Boyle in Lemaire 1999, 5). Če pogledamo še iz drugega zornega kota, je npr. programski evalvator strokovnjak, ki ima znanje in spretnosti, po- vezane z načrtovanjem in izvedbo evalvacije. Strokovnjak za k z e pa podpira procese in prakso, ki ohranjajo evalvacijo. V primeru notranjih evalvatorjev (Volkov in Baron 2011) se ti dve vlogi zlahka tudi pomešata (Taylor-Powell in Boyd 2008). k z e pa ni le teoretični koncept, temveč se razvija in empirično raziskuje tudi v praksi. V nadaljevanju bomo predstavili modele k z e, in sicer tako, da 56 3.3 Modeli krepitve zmožnosti za evalvacijo bomo sledili okvirni strukturi a) okvir kze (individualno, organizacijsko itd.), b) cilj/-i kze in opredelitev ze na individualni in organizacijski ravni2 c) stra- tegije oziroma dejavnosti za k z e, d) izvajalci k z e in e) evalvacija k z e. 3.3 Modeli krepitve zmožnosti za evalvacijo V modelih, ki jih bomo v nadaljevanju predstavili, je k z e predstavljena kot proces, pogledamo pa jo lahko tudi z vidika rezultatov. Obstajajo različni mo- deli kze, na osnovi katerih lahko krepitev zmožnosti za evalvacijo opredelimo kot namenski in usmerjen proces v raznolikih organizacijskih okoljih, s pou- darkom na osebnih zmožnostih, torej zmožnostih posameznika za izvajanje in uporabo kakovostne evalvacije. Namen oziroma cilji kze so oblikovanje in za- gotavljanje trajnostne prakse kakovostne evalvacije, ki služi organizacijskemu učenju (izboljšave, želja po učeči se skupnosti, na dokazih temelječa praksa, komuniciranje o rezultatih), soočanju z zunanjimi zahtevami (odgovornost in dokumentirani dokazi o delovanju). Razlogi za k z e so torej notranji in zuna- nji. V okvir procesa spadajo različni pristopi in strategije za k z e, npr. uspo- sabljanje, tehnična pomoč, mentorstvo idr. Rezultati k z e se kažejo na ravni organizacije (npr. vpetost evalvacije v delovanje) in na ravni posameznikov v organizaciji (znanje, spretnosti, odnos). Po našem mnenju oziroma z našega gledišča manjka v predstavljenih modelih poudarek kze-ja na sistemski ravni, pa ne le v smislu usmerjanja, navodil, podpore, strategij, ampak dejanske kre- pitve zmožnosti za evalvacijo. Seveda se zapletemo, če poskušamo razmišljati, kaj oziroma kdo sistem je, ampak gotovo to velja npr. za neko potencialno agencijo, ki recimo evalvacijo v šolah vrednoti in ocenjuje (v Sloveniji primer nak v i s-a na področju višjega in visokega šolstva), izvajalce usposabljanj, za ministrstvo, ki sprejema zakonodajne podlage itd. Po pregledu obstoječe literature o k z e Labin idr. (2012) ugotavljajo, da ob- staja relativno visoka stopnja konsistentnosti med koncepti v teoriji in praksi (večina je osnovana in temelji na kvalitativnem raziskovanju in študijah pri- mera), kar potrjuje, da je področje k z e preraslo začetniško fazo in da obstaja potreba in pripravljenost na bolj sistematično prakso poročanja in uporabe evalvacijskih metod. Koncept in praksa k z e je v fazi »raziskovanja« oziroma preučevanja, meje okvirov in modelov se oblikujejo in določajo, pri čemer je zaznati predvsem »pomanjkanje celovite empirične osnove za različne modele in primarno osredotočenost na pristope in metode za ukvarjanje s kze z manj 2 ze bomo iz modelov povzeli samo na individualni (osebnostni) in organizacijski ravni (Mitchell in Sackney 2000), medosebna raven v modelih ni posebej izpostavljena, zajeta je bodisi v eni ali drugi ravni, zato je tudi mi ne obravnavamo posebej. 57 Krepitev zmožnosti za evalvacijo pozornosti na to, kaj k z e dejansko je« (Nielsen, Lemire in Skov 2011, 324– 325). V precejšnji meri manjka tudi opredelitev samih zmožnosti za evalvacijo. Naccarella idr. (2007) zato opozarjajo na posledice takšne nepozornosti, saj ra- znolika konceptualizacija samih zmožnosti pripelje do raznolikih pogledov na to, kako te zmožnosti krepiti. Z raziskovalnega vidika pa to lahko pomeni raz- like v konceptualizaciji in kasneje operacionalizaciji pojma z e in posledično uporabnosti rezultatov različnih raziskav za tiste, ki se ukvarjajo s k z e. V nadaljevanju prikazujemo nekaj modelov krepitve zmožnosti za evalva- cijo, in v zaključku poglavja pripravimo skupek izhodišč oziroma naših raz- mislekov, ki jih je iz predstavljenih modelov, pa tudi drugih virov o k z e, moč povzeti. To nam bo služilo za razvoj modela, ki bi bil primeren za krepitev zmožnosti šol za samoevalvacijo v Sloveniji. 3.3.1 Multidisciplinarni model krepitve zmožnosti za evalvacijo Eden vidnejših modelov je »multidisciplinarni model kze«, ki izhaja iz okvira organizacijske zmožnosti za učenje in se usmerja v »zasnovo in izvedbo stra- tegij učenja in poučevanja za pomoč posameznikom, skupinam in organiza- cijam, da se naučijo, kaj tvori učinkovito, uporabno in strokovno prakso eval- vacije« (Preskill in Boyle 2008, 444). Avtorici se usmerjata predvsem v k z e znotraj organizacije. Temeljni cilj kze je »trajnostna praksa evalvacije [v orga- nizaciji] – kjer člani nenehno sprašujejo pomembna vprašanja, zbirajo, analizi- rajo in interpretirajo podatke in uporabljajo ugotovitve evalvacije za odločanje in ukrepanje. Da bi bila praksa evalvacije trajnostna, morajo udeležencem biti zagotovljeni podpora vodstva, pobude, viri in priložnosti za prenos njihovega učenja o evalvaciji v vsakodnevno delo. Trajnostna praksa evalvacije zahteva tudi razvoj sistemov, procesov, politik in načrtov, ki pomagajo vpeti evalvacijo v način, na katerega organizacija dosega svoje poslanstvo in strateške cilje« (Preskill in Boyle 2008, 444). Zmožnosti za evalvacijo (ze) so v obravnavanem modelu opredeljene pred- vsem na individualni oziroma osebnostni ravni, in sicer kot a) znanje o evalva- ciji, b) spretnosti za izvajanje evalvacije in c) odnos do evalvacije. Izhajajoč iz modela ugotavljamo, da za doseganje prej omenjenega cilja k z e – trajnostne prakse evalvacije – morajo obstajati tudi določene z e na ravni organizacije, in sicer a) splošneje opredeljene zmožnosti organizacije za učenje in evalvacijo (kultura, vodenje, sistemi in strukture, komunikacija) ter b) zmožnosti za za- gotavljanje trajnostne prakse evalvacije (oblikovana politika in vzpostavljeni postopki evalvacije, postavljeni okviri in procesi evalvacije, viri, namenjeni iz- vajanju evalvacije, uporaba ugotovitev/rezultatov evalvacije, skupna prepriča- 58 3.3 Modeli krepitve zmožnosti za evalvacijo i t načr Stratešk evalvacije edanost Skupna epričanja pr i pr evalvaciji e je in opk litik vaci o Po post val evalvacije e in - val- enje e znanja ksa uč ar isistem p Vzpo a vljanja evalvaciji n t a s stavljen vacijsk o esi n upr Nenehno j a viri oc r T Ok pr ev in evalvacije aba itvo 245) Upor evalvacije ri, ugot Vi 2008, nja namenjeni evalvaciji če yle u oB in žnost je s in e acija l n ra o e n zmo ltu enja d a zširjenje Vo Ku Pre uč reskil Sistemi struktur aR Komunik (P jo ganizacijsk i d e Or Predpostavke v U evalvaci za z aiv ečanja jem d hnologija Sr njea n žnosti valvacije ra Te v e g vae o a do d ev m zmo s sn e o o iz zu a j n Pi o ra n d j P prakse a itv o u E v n vništv o i sn a KZ k rep i a k t Z s Strategija iča o ripr n P Pr del t e Skupnosti r a p mo s , v e j n Koačing rni a ost n podpor Z Usposabljanje čenulj plina evalvacijo ci hnična Vk a j Te i c a ltidis v Evalviraj i t o u M M .23ak Sli 59 Krepitev zmožnosti za evalvacijo nja in predanost evalvaciji, vzpostavljen evalvacijski sistem upravljanja znanja, pripravljen in sprejet strateški načrt evalvacije, nenehno učenje o evalvaciji) (Preskill in Boyle 2008). Pomembno je, da postavimo jasne cilje, kaj želimo, da se udeleženci z vklju- čitvijo v evalvacijske aktivnosti in procese naučijo, saj brez tega ne moremo načrtovati učinkovitih učnih strategij. Za k z e lahko torej uporabljamo raz- lične strategije učenja in poučevanja, glede na značilnosti udeležencev, orga- nizacijsko pripravljenost in vire, relevantne teorije učenja in organizacijskih sprememb ter postavljene učne cilje in želene rezultate (Preskill in Boyle 2008, 447): • pripravništvo: sodelovanje v formalnih programih, ki novincem zagota- vljajo praktično izkušnjo z evalvacijo; • pisna gradiva: prebiranje in uporaba pisnih gradiv o procesih in rezul- tatih/ugotovitvah evalvacije; • tehnologija: uporaba internetnih virov, kot npr. spletnih strani in/ali e-izobraževanja za učenje iz in o evalvaciji; • srečanja: čas in prostor namenjen razpravam o evalvacijskih aktivnostih predvsem z namenom učenja o in na osnovi evalvacij; • poizvedovanje z razumevanjem: uporaba sodelovalnega pristopa za uče- nje o evalvaciji, ki se usmerja na močne točke v organizaciji; • skupnosti prakse: izmenjava evalvacijskih izkušenj praks, informacij in prebranega med člani, ki imajo skupne interese in potrebe (učni krogi); • usposabljanje: udeležba na delavnicah in seminarjih o evalvaciji; • vključenost v proces evalvacije: sodelovanje pri snovanju in/ali izvajanju evalvacije; • tehnična podpora: prejemanje pomoči od notranjih ali zunanjih evalva- torjev; • coaching 3 ali mentorstvo: vzpostavljanje odnosa s strokovnjakom s področja evalvacije, ki zagotavlja individualno tehnično in strokovno pod- poro. Tisti, ki se ukvarjajo z izvajanjem k z e, notranji ali zunanji, imajo različne vrste motivacij (odgovornost/zahteva, spremembe v zunanjem okolju, želja po podpori odločitvam na državni ravni, želja po izboljšavah . . .), delujejo skla- dno z naborom določenih predpostavk o evalvaciji, krepitvi zmožnosti itd. in 3 Zapis uporabljamo v izvirni obliki, čeprav ponekod v slovenski literaturi najdemo tudi zapis kovčing. 60 3.3 Modeli krepitve zmožnosti za evalvacijo imajo v zvezi s tem tudi oblikovana pričakovanja, kaj želijo doseči. »Četudi je aktivnost k z e dobro zasnovana, dejavnik implementacije v modelu nakazuje, da bodo čas prizadevanj za kze, strokovnost in učinkovitost moderatorja, po- gostost in kakovost udeležbe sodelujočih ter obseg implementacije aktivnosti v skladu z načrtovanim prav tako vplivali na to, koliko se bodo sodelujoči na- učili iz in o evalvaciji. In v tem kontekstu ne preseneča, da naj bi izvajalci svoja prizadevanja za k z e evalvirali, da bi lahko določili svojo učinkovitost in vpliv na znanje, spretnosti in odnos udeležencev ter na organizacijo.« (Preskill in Boyle 2008, 445) V predstavitvi interdisciplinarnega modela k z e je govora tudi o evalvaciji pobud za kze. Avtorici (Preskill in Boyle 2008, 452) navajata razloge, zakaj naj pobude oziroma izvedbo evalviramo (npr. ustvarjanje novega znanja o tem, kaj deluje, za koga in pod kakšnimi pogoji, pomoč praktikom k z e za povečanje njihove odgovornosti s prikazom vrednosti njihovega dela) in kaj je tisto, kar naj bi evalvirali (cilje kot rezultat naporov k z e, rezultate na področjih znanja, spretnosti in odnosa udeležencev različnih dejavnosti k z e in druge dosežke oziroma rezultate. Model ne ponuja instrumentarija za evalvacijo k z e, kot pa ugotavljata avtorici (Preskill in Boyle 2008, 445) je na tem področju tudi sicer opazen manko. 3.3.2 Okvir za krepitev zmožnosti za evalvacijo Model oziroma okvir za krepitev zmožnosti za evalvacijo, ki ga bomo povzeli v nadaljevanju, je nastal na osnovi preučevanja in sodelovanja s tremi organizacijami (King in Volkov 2005). Neprofitne organizacije so postavljene pred dilemo, saj morajo hkrati pridobivati dokaze za financerje in odločevalce, po drugi strani pa proizvajati informacije, ki zaposlenim pomagajo pri izboljše- vanju njihovega dela. Ti dve vrsti evalvacij sta le redko istovrstni in največ- krat se zgodi, da prevladajo zahteve po odgovornosti. To je torej izhodišče oziroma utemeljitev potrebe po k z e, ki jo King in Volkov (2005) umeščata v organizacijski okvir, pri čemer podobno poudarjata vseorganizacijski pri- stop, ne le razvijanje znanja, spretnosti in odnosa posameznikov v organiza- ciji. Model sicer izhaja iz programske evalvacije, ki se je razvijala kot odgovor na bodisi zahteve po odgovornosti ali na drugi strani zbiranje informacij, ki zaposlenim pomagajo pri izboljšavah programov (King in Volkov 2005, 10): »[. . .] mnogi so sprejeli izziv samoevalvacije, tako so zaposleni v agencijah in šolah vključeni v letni proces izboljšav, ki vključuje zbiranje in analiz podat- kov. Vendar pa je usmerjenost v odgovornost povzročila tem organizacijam tudi resne težave.« Tako se je pojavilo mnogo »naključnih evalvatorjev«, ki 61 Krepitev zmožnosti za evalvacijo Viri: dostop do virov evalvacije, viri Organizacijski kontekst: za podporo evalvaciji zunanji in notranji v organizaciji Krepitev zmožnosti za evalvacijo Strukture: usmerjen načrt KZE za organizacijo, podporna infrastruktura za proces evalvacije, usmerjena socializacija v proces evalvacije, strukture medsebojnega učenja Slika 3.3 Elementi okvira za krepitev zmožnosti za evalvacijo (povzeto po Volkov in King 2005, 13) so le malo ali pa sploh niso usposobljeni, pa kljub temu izvajajo evalvacije. Po Kingovi in Volkovu (2005, 11) je cilj k z e je »izboljšati in ohranjati učin- kovitost prakse programske evalvacije z izboljšanjem organizacijskih zmož- nosti: zasnove, izvedbe in vodenja učinkovitih evalvacijskih projektov, dostopa do, krepitve in uporabe evalvacijskega znanja in spretnosti, ustvarjanje vzdušja nenehnega organizacijskega učenja, izboljšav in odgovornosti ter ustvarjanje zavedanja in podpore programski evalvaciji in samoevalvaciji kot strategiji iz- boljševanja delovanja v notranjem in zunanjem okolju.« Okvir k z e temelji na treh kategorijah (organizacijski kontekst, strukture in viri), ki služijo doseganju ciljev k z e, pozornost pa je usmerjena predvsem na organizacijsko raven. »[Č]eprav je nedvoumno usmerjen v promoviranje in institucionalizacijo evalvacije v organizacijah, je uporaben tudi za vrsto drugih dejavnosti v organizaciji« (King in Volkov 2005, 12), npr. oblikovanje učeče se organizacije, zagotavljanje kakovosti in izboljšav, benchmarking itd. Zmožnosti v predstavitvi »modela« niso sistematično prikazane, jih pa lahko povzamemo iz »seznama za krepitev zmožnosti za evalvacijo« (Volkov in King 2007), ki je nastal na osnovi predstavljenega modela in lahko služi kot osnova za evalvacijo k z e. Organizacijski okviri (iz katerih lahko izpeljemo 62 3.3 Modeli krepitve zmožnosti za evalvacijo organizacijske zmožnosti) so predstavljeni v prej omenjenih 3 kategorijah in 8 podkategorijah: • organizacijski kontekst (vzpostavljen pozitiven notranji organizacijski kontekst, razumevanje in izkoriščanje prednosti zunanjega okolja in njegovih vplivov na organizacijo), • strukture (zmožnost razvoja in izvajanja namenskih in dolgoročnih ak- tivnosti k z e, zmožnost vzpostavitve in krepitve infrastrukture za pod- poro specifičnim vidikom evalvacijskega procesa in komunikacijskih sistemov, zmožnost uvajanja in ohranjanja namenske »socializacije« v organizacijski proces evalvacije, zmožnost vzpostavitve in razširjanja struktur vzajemnega učenja), • viri (zmožnost zagotavljanja in nenehnega razširjanja dostopa do eval- vacijskih virov, zmožnost ohranjanja virov podpore programski evalva- ciji v organizaciji). Model oziroma okvir v veliki meri poudarja notranji vidik organizacije in s tem tudi notranje izvajalce k z e. Kar je pri okviru k z e najbolj pomembno, je to, da se posamezniki v ustreznih pogojih lahko naučijo evalvacije hkrati s tem, ko jo izvajajo v lastnih programih in organizaciji. Gre torej za: »namenski akcijski sistem, ki je odvisen od konteksta in »učečega se«, hkrati pa usmerjen v ›učečega se‹«. In kot navajata King in Volkov (2005, 15), je k z e »primer sis- tema vodenih procesov in praks, ki nujno vključujejo raznolike procese učenja odraslih«. »Strategije« za k z e tako izhajajo primarno iz organizacije same in so usmerjene v »namensko socializacijo v organizacijski proces evalvacije« (King in Volkov 2005, 14), pri čemer je pomembno delo s celotno organizacijo, ne le razvijanje znanja in spretnosti posameznikov: • spodbude za sodelovanje v evalvaciji, • formalna usposabljanja, • profesionalni razvoj, • formalni in neformalni coaching na področju evalvacije, • povezovanje formalnih usposabljanj z izkušenjskim učenjem, • odprte razprave o evalvaciji, • priložnosti zaposlenih za sodelovanje, • vzpostavljeni mehanizmi povratnih informacij, • učinkovit komunikacijski sistem, • dostop do relevantne baze raziskav s primeri dobrih praks, 63 Krepitev zmožnosti za evalvacijo • informacije o virih za evalvacijo (knjige, revije, internetni viri), • učenje z delom oziroma izvajanjem evalvacije (learning-by-doing). 3.3.3 Okvir krepitve zmožnosti za evalvacijo Izhajajoč iz predhodnih del drugih avtorjev (King in Volkov 2005; Volkov in King 2007) je nastal še en »okvir krepitve zmožnosti za evalvacijo« (Taylor- Powell in Boyd 2008), ki izhaja iz istih ciljev kot predhodno predstavljeni mo- del (King in Volkov 2005). Avtorici v predstavitvi okvira poudarjata zunanje in notranje pritiske za k z e, ki je primarno usmerjena v organizacijski vidik. Okvir k z e temelji na 3 sestavnih delih in 17 elementih (Taylor-Powell in Boyd 2008, 58): • profesionalni razvoj – krepitev znanja, prepričanj in spretnosti posame- znikov in organizacij z usposabljanjem, tehnično pomočjo, skupnimi evalvacijskimi projekti, mentorstvom ter skupnostmi praks; • viri in podpora, potrebni za ohranjanje evalvacije – strokovnost na pod- ročju evalvacije in k z e, materiali, povezani z evalvacijo, zagovorniki evalvacije na ravni vodstva in med zaposlenimi, organizacijska sredstva, finance, tehnologija in čas; • spodbudno organizacijsko okolje – podpora s strani vodstva, zahteve po odgovornosti, pobude, povezane z motivacijo, izkušnjami, strukture (komunikacija, timsko delo, medsebojna podpora, učenje), politike in postopki, povezani z evalvacijo. Zmožnosti za evalvacijo v obravnavanem modelu lahko izpeljemo iz pred- videnih rezultatov in učinkov na individualni/osebnostni ravni (znanje, spretnosti, odnos in psihomotorika), timski (medosebni) ravni (skupno razumevanje, kritično poizvedovanje, uporaba podatkov za odločanje, lastništvo eval- vacije, cenjenje evalvacije, izboljšanje prakse evalvacije) in na ravni programa oziroma organizacije (evalvacija je vpeta v načrtovanje, učinkovitejše izvajanje evalvacije, boljši rezultati, uporaba ugotovitev, zahteva po izvajanju evalvacij, pridobivanje virov za izvajanje evalvacij, boljše reševanje problemov, evalva- tivno razmišljanje, izboljšano učenje in delovanje). Izvajalci k z e so lahko notranji ali zunanji, poudarek je na različnih stra- tegijah znotraj organizacije ter vzajemni k z e med zaposlenimi. Pomembno je, da k z e opredelimo kot »organizacijski in ne le profesionalni razvoj«, pri čemer hkrati razmišljamo o posamezniku, timu in organizaciji in se zave- damo, da vsem zaposlenim ni potrebno postati profesionalni evalvator. Imajo namreč raznolike potrebe, izkušnje in odgovornosti. Predvsem je za uspešnost 64 3.3 Modeli krepitve zmožnosti za evalvacijo Timske spremembe: skupno razu- mevanje, kritično poizvedovanje vpeto v timsko delo, uporaba podatkov pri odločanju, timsko lastništvo evalvacije, tim Organizacijske ceni evalvacijo, spremembe: izboljšana skupno razume- praksa evalvacije vanje, povečanje povpraševanja Individualne po evalvaciji, spremembe: viri namenjeni kognitivne, KZE evalvaciji, uporaba izboljšanje afektivne, podatkov za vedenjske, odločanje, boljše psihomotorične reševanje proble- Družbeno Programske mov, evalvativno, spremembe: razmišljanje v izražena teorija organizaciji, boljše sprememb, učenje in delovanje vključenost evalvacije v načrtovanje, učinkovitejša, dobri rezultati, uporaba podatkov za odločanje, uporaba naučenih lekcij Slika 3.4 Logični model teorije sprememb za krepitev zmožnosti za evalvacijo (povzeto po Taylor-Powell in Boyd 2008, 67) potrebno prepoznavati in podpirati tiste, ki jim je za evalvacijo mar (Taylor- Powell in Boyd 2008). Strategije k z e so eden od 3 osnovnih sestavnih delov okvira oziroma, kot navajata avtorici, celo »k z e pogosto vidimo kot profesi- onalni razvoj« (Taylor-Powell in Boyd 2008, 58). Tako kot v drugih je tudi v tem okviru k z e poudarjen pomen poznavanja organizacijskega konteksta v povezavi z izvajanjem evalvacije in udeležencev ter seveda zastavljenih ciljev, da bi »meni priložnosti za profesionalni razvoj« lahko kar najbolje prilagodili potrebam udeležencev: • usposabljanje: z namenom izboljševanja znanja, spretnosti in samozau- panja udeležencev za izvajanje ustreznih programskih evalvacij; 65 Krepitev zmožnosti za evalvacijo • tehnična podpora: predvsem različne, individualizirane oblike svetova- nja; • sodelovalni evalvacijski projekti: timska zasnova in izvedba evalvacije, razvoj evalvacijskih gradiv, člankov za objavo v različnih publikacijah, skupne predstavitve, skupno izvajanje delavnic ali usposabljanj, ustvar- janje virov in medosebnih odnosov; • mentorstvo in coaching; • skupnosti prakse: vzajemno učenje, izmenjava izkušenj, praks, sodelo- valno preučevanje, skupinsko reševanje problemov, vzajemna podpora, »svetovalna skupina« za evalvacijo; • sodelovanje z lokalnimi, regionalnimi ali nacionalnimi mrežami in delov- nimi skupinami (Taylor-Powell in Boyd 2008, 58–63). 3.3.4 Konceptualni okvir sistemov organizacijskega učenja Cousins idr. (2004) evalvacijo in tudi k z e uvrščajo v širok konceptualni okvir sistemov organizacijskega učenja, ki so ga oblikovali na osnovi pregleda številne literature, ki povezuje evalvacijo z organizacijskim razvojem in učenjem. Obravnavani okvir je bil kasneje operacionaliziran v mersko orodje (Cousins idr. 2008), ki s 125 postavkami v vprašalniku pokriva vse elemente predstavlje- nega okvira in iz katerega je mogoče izpeljati z e in tudi strategije k z e. V okviru avtorji v osnovi ločujejo interesna področja na tista, povezana z organizacijo samo, druga povezana z evalvacijskimi aktivnostmi in posledice v organizacijskem kontekstu (Cousins idr. 2004, 102): Organizacijske posledice so odvisne od organizacijske zmožnosti za učenje, ki se ohranja z različnimi strukturami organizacijske podpore. Ena od takšnih podpornih struktur je evalvacijsko preučevanje, ki vodi k različnim posledicam, vključujoč uporabo ugotovitev evalvacije. V tem kontekstu smatramo posledice evalvacije kot organizacijske po- sledice. Z uporabo evalvacijskega preučevanja in izkušnjami z uporabo evalvacije organizacija razvija zmožnost za evalvacijo. Takšna zmožnost postane del organizacijske zmožnosti za učenje in se odraža v razvoju kulturne spremenljivke »pripravljenost organizacije za evalvacijo«. kze je opredeljena kot »poseben primer evalvacijskega preučevanja, [. . .] ki lahko vodi k raznolikim oblikam uporabe oziroma bolj neposredno in usmer- jeno h krepitvi zmožnosti za evalvacijo« (Cousins idr. 2004, 105–106). Pri tem v osnovi izhajajo iz definicije, da gre za: »kontekstualno odvisen usmerjen ak- cijski sistem vodenih procesov in praks za vzpostavljanje in ohranjanje razmer, 66 3.3 Modeli krepitve zmožnosti za evalvacijo Posledice Evalvacijsko evalvacije: uporaba poizvedovanje: sode- ugotovitev (instrumen- lovanje, izbira metod, talna, konceptualna, notranje/zunanje, simbolična), uporaba KZE, namen procesa, pridobivanje Zmožnosti za eval- znanja vacijo: spretnosti za evalvacijo, evalvacijsko znanje in logika Organizacijska pripravljenost za evalvacijo Organizacijske zmožnosti za učenje: kultura ekspe- rimentiranja, vode- nje, prenos znanja, Organizacijske Organizacijske poslanstvo posledice: skupne podporne strukture: predstavitve, doseganje komunikacija, profesionalni ciljev, reševanje problemov razvoj, sistem nagrajevanja in odločanje, spraševanje o temeljnih predpostavkah Slika 3.5 Konceptualni okvir evalvacijskega poizvedovanja kot organizacijskega okvira učenja (povzeto po Cousins idr. 2004, 103) v katerih je izvedba kakovostne evalvacije in njena ustrezna uporaba običajen in stalen proces znotraj in/ali med eno ali več organizacijami, programi, loka- cijami« (Hueftle Stockdill, Baizerman in Compton 2002, 8). Evalvacijsko pre- učevanje smatrajo kot organizacijsko podporno strukturo, ki lahko spodbuja organizacijsko učenje. Zmožnosti za evalvacijo opredeljujejo z »organizacijskimi procesi in pra- ksami, s katerimi naj bi kakovostna evalvacija in njena uporaba postala rutin- ska« (Cousins idr. 2004, 107): • zmožnost za organizacijsko učenje (jasnost in podpora poslanstvu in vi- ziji organizacije, vodstvo, ki podpira učenje, eksperimentalna organiza- cijska kultura, sposobnost učinkovitega prenosa znanja, timsko delo in sodelovanje), • organizacijske podporne strukture (formalizacija, profesionalni razvoj s krepitvijo timskih kompetenc), 67 Krepitev zmožnosti za evalvacijo • zmožnost izvajanja evalvacije (znanje in spretnosti za izvajanje notranjih in/ali zunanjih evalvacij – načrtovanje, standardi profesionalne prakse), • viri znanja in spretnosti (neformalne izkušnje učenja pri delu, delavnice, seminarji, formalni/certificirani programi . . .), • evalvacijsko preučevanje (vrste evalvacij v organizaciji – od ugotavljanja potreb do programske evalvacije . . .), • zmožnost uporabe evalvacije (uporaba ugotovitev evalvacije za odgovor- nost in/ali izboljšave, učenje, boljše razumevanje . . .), • ugodni pogoji (kakovost evalvacije, kredibilnost evalvatorjev, vključe- nost uporabnikov, pravočasnost). Okvir in vprašalnik predstavljata »obetaven pristop k merjenju zmožnosti za evalvacijo, ki izhaja iz teorije in empiričnih raziskav, temelječih na kvantitativnih in kvalitativnih metodologijah.«. Iz obeh pa je mogoče povzeti tudi več strategij, ki vplivajo na integracijo evalvacije v organizacijsko kulturo in imajo implikacije tudi za k z e in organizacijsko prakso (Cousins idr. 2004): • usmerjevalno vodenje in oblikovanje, • neposredno sodelovanje zunanjega strokovnjaka, • nenehno usposabljanje in tehnična podpora, • obstoj predhodnega znanja, spretnosti in uporabe evalvacijske logike, • dostopnost virov za evalvacijo (npr. gradiva/priročniki skupaj z delav- nicami za njihovo uporabo), • zahteve po dokazih o programih, delovanju organizacije in rezultatih, • usklajenost aktivnosti k z e z drugimi aktivnostmi krepitve zmožnosti organizacije. »Ne glede na vse pa je jasno, da bodo morale organizacije izkusiti uspeh pri uporabi evalvacije, preden bo le-ta integrirana kot kulturna norma« (Cousins idr. 2004, 134). 3.3.5 Integrativni model krepitve zmožnosti za evalvacijo Najnovejši, t. i. integrativni model krepitve zmožnosti za evalvacijo je osnovan na, kot navajajo avtorji, prvem sistematičnem pregledu empirične literature o k z e (Labin idr. 2012). k z e je opredeljena kot »namenski proces za poveča- nje motivacije, znanja in spretnosti posameznikov ter spodbujanja skupinske ali organizacijske zmožnosti izvajanja ali uporabe evalvacije« (Labin idr. 2012, 308). Izpostavljeni so tako organizacijski kot skupinski (medosebni) in osebni 68 3.3 Modeli krepitve zmožnosti za evalvacijo 1. Potreba: zakaj 2. Dejavnosti: kaj in kako 3. Rezultati: kratkoročni ter Razlogi – motivacija: Strategije: teorija, način, dolgoročni in trajnostni deležniki (notranji raven (individualna – orga- Individualna raven: odnos, – zunanji), predpo- nizacijska), vrsta, vsebina. znanje, spretnosti/vedenje. stavke, pričakovanja. Izvedba: ciljna skupina Organizacijska raven: Namen – cilji (populacija, organizacija, procesi, politike in prakse, Kontekst: ocena področje), čas, pogostost, vodenje, organizacijska potreb, prilagojeno. intenzivnost, vmesni kultura, vključevanje, viri. popravki, ovire. Viri in močne točke: Programski rezultati: individualni – odnos, Evalvacija KZE: pristop, razvoj, uvajanje, rezultati. organizacijski (zaposle- ni, zasnova, merila, vrsta Negativne posledice čas, denar, evalva- cijska podatkov, časovni okvir, Naučene lekcije ekspertiza, prakse, vodenje, notranja ali zunanja. kultura, vključenost) Slika 3.6 Integrativni model krepitve zmožnosti za evalvacijo (povzeto po Labin idr. 2012, 309) (individualni) nivo, pri čemer »struktura logičnega modela nakazuje vzročno smer iz leve proti desni, torej, potrebe bodo vplivale na strategije, strategije bodo vplivale na doseganje rezultatov« (Labin idr 2012, 309). Bolj kot pri osta- lih, že omenjenih modelih, je v tem poudarjen vidik potreb oziroma jasna temeljna opredelitev, zakaj bomo v določenem (organizacijskem) kontekstu vpeljali in izvajali k z e. Po našem mnenju je pomemben del tega modela pou- darek na evalvaciji k z e. Kot namreč ugotavljajo snovalci modela, je področje k z e pripravljeno na razvoj skupnih meril, uporabo trdnejših zasnov in bolj sistematično poročanje o procesu in tudi rezultatih k z e (Labin idr. 2012). Iz integrativnega modela je mogoče izpeljati podrobneje opredeljene zmož- nosti za evalvacijo, na splošno pa so navedene na ravni posameznikov (odnos, termini, pristopi in metode evalvacije, logični modeli, načrt evalvacije, kako izvajati evalvacijo, interpretacija in uporaba podatkov) in na ravni organizacije (organizacijske prakse, podpora vodstva, evalvacijska kultura, vključevanje). Več pozornosti je namenjeno uporabljenim strategijam k z e, pri čemer je pre- gled literature in raziskav o k z e (Labin idr. 2012) pokazal, da je najpogosteje uporabljena strategija prav usposabljanje, pogosta je tudi uporaba raznolikih (sodelovalnih in interaktivnih) strategij in vključenost posameznikov v eval- vacije. 3.3.6 Konceptualni model za merjenje zmožnosti za evalvacijo V skladu z ugotovitvijo o potrebi po evalvaciji kze bomo v nadaljevanju pred- stavili še konceptualni model za merjenje zmožnosti za evalvacijo, ki je bil razvit 69 Krepitev zmožnosti za evalvacijo kot del študije o zmožnostih za evalvacijo na Danskem. Temelji na organiza- cijski teoriji in Leavittovem klasičnem organizacijskem modelu in zmožnost za evalvacijo neločljivo povezuje z (Nielsen, Lemire in Skov 2011): • organizacijskimi cilji (jasno izražen namen, zakaj organizacija izvaja evalvacije, evalvacijska politika, navodila, načrti, uporaba evalvacijske prakse in ugotovitev za odločanje itd.), • organizacijskimi strukturami in procesi (uporaba evalvacijskega znanja pri delovanju organizacije, določena vloga in umestitev evalvacije v or- ganizaciji, izvajanje in pogostost izvajanja evalvacij, finančni viri), • tehnologijo (preizkušeni evalvacijski modeli, metode zbiranja podatkov, sistemi spremljanja, programska oprema za zbiranje in analizo podat- kov itd.), • človeškim kapitalom (stopnja formalne izobrazbe, usposabljanje za eval- vacijo, praktične izkušnje z evalvacijami itd.). V modelu je ločen vidik t. i. povpraševanja od vidika ponudbe. Vsaka od dimenzij ima dve poddimenziji, ki jih tvori 12 podkategorij, ki so v vprašalniku, ki so ga pripravili, podrobneje razdelane in ovrednotene z indeksom zmož- nosti za evalvacijo.4 Vprašalnik so leta 2007 uporabili in preverili na nacionalni ravni ter na osnovi tega predlagali implikacije glede na definicijo, model in uporabnost. Kot navajajo, je pomembna v začetku že sama opredelitev in namen kze, torej krepitev zmožnosti za izvedbo visokokakovostne programske evalvacije in/ali dobrega vodenja v najširšem smislu besede (glej tudi Mackay 2002). S tem je povezan tudi razvoj in gibanje na področju evalvacije, ki zahteva ponovno opredelitev vloge evalvatorjev (Mayne in Rist 2006). Izhajajoč iz obstoječega nabora literature in modelov k z e avtorji ugotavljajo, da bi predstavljen mo- del merjenja z e bilo smiselno nadgraditi s poddimenzijami, ki bi upoštevale kontekst, vlogo kulture, vlogo vodenja, vlogo zagovornikov evalvacije in vlogo managementa znanja. S praktičnega vidika uporabnosti samega modela pa se avtorji sklicujejo na poudarke Preskillove in Boylove (2008, 244), ki navajata, da je le malo celovitih modelov k z e, ki bi usmerjali praktike k z e-ja in empi- rično preverjali učinkovitost procesov dejavnosti in rezultatov k z e. Ali kot se sprašujejo Nielsen, Lemire in Skov (2011, 341): »Konec koncev, ali naj se ne bi evalvatorji spraševali o svojih prizadevanjih za kakovost z enako mero evalva- cijske strogosti kot pri programih, ki so jih vajeni evalvirati?« 4 Do vprašalnika s podrobneje opredeljenimi postavkami ni bilo moč dostopiti. 70 3.4 Modeli krepitve zmožnosti za evalvacijo e š- ln u a cijo izk a ridobi- rm zbe p znanja a e alv fo ev nja n obr tičn z evalvacijo a e iz k v v a Obseg Pr nje Usposabljanje za l Ra itap ka škievloČ v je i n hnike jaa cijsk te ma v podatko e Iz evalvacije lva in Opr Eva modeli zbiranja hnologija Te ta žnosti e evalvacijo anizacijo Zmo za Funkcija rg inančnaF priorit Umeščenost ov esi ocpr Struktura in op jenavše aba rap evalvaciji v Namen rmalizacija Upor Po Fo Cilji Slika 3.7 Konceptualni model za merjenje krepitve zmožnosti za evalvacijo (povzeto po Nielsen, Lemire in Skov 2011, 328) 71 Krepitev zmožnosti za evalvacijo 3.4 Izhodišča za oblikovanje modela krepitve zmožnosti za evalvacijo V nadaljevanju predstavljamo izhodišča za oblikovanje modela k z e, ki smo jih oblikovali na osnovi predstavljenih modelov ter nekaterih drugih virov o k z e (García-Iriarte idr. 2011; Hueftle Stockdill, Baizerman in Compton 2002; Compton, Baizerman in Stockdill 2002; Mackay 2002; Labin idr. 2012; Nielsen, Lemire in Skov 2011; Preskill in Boyle 2008; Taylor-Powell in Boyd 2008; Cou- sins idr. 2004; Cousins 2008; Baizerman, Compton in Hueftle Stockdill 2002). Z izhodišči povzemamo ključne ugotovitve oziroma osrednje poudarke raz- ličnih (posameznih ali več hkrati) modelov. Pri opredeljevanju razmislekov smo izhajali tudi iz naših ciljev, predvsem cilja, vezanega na oblikovanje spe- cifičnega modela krepitve zmožnosti šol za samoevalvacijo, ki je predstavljen v zaključnem poglavju monografije. Za oblikovanje modela k z e je po našem mnenju torej potrebno upoštevati naslednja izhodišča, ki jih bomo v nadaljevanju tudi podrobneje predstavili: • k z e je potrebno opredeliti skladno z definicijo, namenom in cilji eval- vacije v določenem kontekstu in jo razumeti kot organizacijski, ne le profesionalni razvoj. • k z e potrebuje vzpostavitev zahteve za evalvacijo. • kze deluje na mnogih ravneh, ki jih je potrebno upoštevati in med seboj povezati. • Če želimo oblikovati in ohranjati k z e, potrebujemo široko bazo dele- žnikov in posameznike oziroma skupine, odgovorne za k z e. • k z e naj bo sodelovalna. • z e lahko krepimo na različne načine, k z e naj bo fleksibilna in konte- kstualno usmerjena. • Za k z e so na ravni organizacije potrebni človeški in finančni viri, na ravni sistema pa tudi institucionalni. • Obstajajo ovire za k z e. • Rezultati k z e se kažejo predvsem na individualni in organizacijski ravni. • k z e je potrebno spremljati in evalvirati. Prvič, k z e je potrebno opredeliti skladno z definicijo, namenom in cilji evalvacije v določenem kontekstu in jo razumeti kot organizacijski, ne le pro- fesionalni razvoj. O posameznikih, skupinah in organizaciji je potrebno raz- mišljati sočasno in pri tem ohranjati jasen namen kze (Taylor-Powell in Boyd 2008). 72 3.4 Izhodišča za oblikovanje modela krepitve zmožnosti za evalvacijo Drugič, k z e potrebuje vzpostavitev zahteve za evalvacijo, saj če ni zahteve in uporabe rezultatov evalvacije, trajnost ne bo dosežena (Compton, Baizer- man in Stockdill 2002). Z zahtevo je povezana potreba po kze, ki lahko temelji na notranjih dejavnikih organizacije (kot npr. želja vodje po več evalvacije v organizaciji) in/ali zunanjih dejavnikih (npr. zahteva financerja). Pri tem je potrebno potrebo k z e opredeliti še z vidika motivacija za k z e, predpostavk in pričakovanj do k z e ter opredelitve namena in ciljev k z e (Preskill in Boyle 2008). Ali rečeno drugače, zahteva oziroma potreba po k z e in njen namen morata biti usklajena. To pomeni, da mora biti vsem in ves čas jasno, ali je evalvacija namenjena zunanji odgovornosti, izboljšavam in učenju ali kom- binaciji le-teh, skladno s tem naj bo namreč načrtovan proces k z e. Ob tem Taylor-Powell in Boyd (2008, 66–67) poudarjajo še sledeče: »Uporabite zuna- njo zahtevo po rezultatih kot vzvod, ne kot nadzor. Zahteva po odgovorno- sti lahko motivira organizacijo in njene zaposlene; uporabite to motivacijo za krepitev zahteve in notranjih spodbud, kar bo ohranjalo kakovost evalvacije in krepilo evalvacijsko preučevanje.« Tretjič, k z e deluje na mnogih ravneh, ki jih je potrebno upoštevati in med seboj povezati. Ugotovili smo že, da se predlagani modeli primarno usmerjajo v individualno in organizacijsko raven. Razmišljati pa bi po našem mnenju morali tudi o medorganizacijski in sistemski ravni, pri čemer je seveda jasno, da vloge na različnih ravneh niso enake. To pomeni, da jih je potrebno ne le razjasniti, pač pa za učinkovito k z e tudi jasno opredeliti. k z e se na različnih ravneh kaže oziroma izvaja bodisi predvsem v obliki procesa ali pa rezultatov. Tako je po našem mnenju na sistemski in medorganizacijski, pa tudi organiza- cijski ravni nedvomno bolj izpostavljen proces v smislu dejavnosti in struktur, ki omogočajo k z e, medtem, ko se na individualni ravni kažejo predvsem re- zultati k z e v npr. izvajanju in uporabi evalvacije, evalvativnem razmišljanju itd. Četrtič, če želimo oblikovati in ohranjati kze, potrebujemo široko bazo de- ležnikov in posameznike oziroma skupine, odgovorne za k z e (Hueftle Stock- dill, Baizerman in Compton 2002; Compton, Baizerman in Stockdill 2002). Z vidika sistema bi to po našem mnenju pomenilo vse ali vsaj večino šol, z vidika organizacije pa vse ali vsaj večino zaposlenih. Lahko bi torej rekli, da tako kot ni smiselno, da bi z e krepili zgolj v nekaj šolah in znotraj šol pri nekaj posa- meznikih, tako tudi ni dobro, da je za k z e v organizaciji »odgovoren« en sam posameznik ali da kze prepustimo naključju. Pomembno je torej, da je znotraj organizacije za k z e pristojna skupina posameznikov, ki ima potrebno znanje in spretnosti za k z e, predvsem pa tudi vodstvene priložnosti za spreminja- nje organizacijske kulture, določanje vsebine in obsega nalog, razporejanje vi- 73 Krepitev zmožnosti za evalvacijo rov itd. ter jasno opredeljene pristojnosti. Ti posamezniki naj bodo zavezani k razširjanju znanja in spretnosti za evalvacijo v svoji organizaciji, imajo pa naj tudi podporo vodstva, predvsem v primerih »odpora« in nemotiviranosti zaposlenih (García-Iriarte idr. 2011). Za uspešno k z e v organizaciji moramo upoštevati tudi sledeče (Taylor-Powell in Boyd 2008): • ni potrebno, da vsi zaposleni postanejo profesionalni evalvatorji, saj imajo različne potrebe, izkušnje in odgovornost v zvezi z evalvacijo; • »praktiki k z e« naj bodo predvsem tisti, ki usposabljajo za evalvacijo in jo v praksi usmerjajo, saj bi npr. s preveč poudarjeno vlogo programskih evalvatorjev lahko prevzeli tudi preveč odgovornosti za izvedbo evalva- cij v celotni organizaciji; • pomembno je prepoznati tiste, ki jim je mar za evalvacijo, jih pridobivati vedno več in podpirati, zainteresirane pa opogumljati in spodbujati, da postanejo vodje evalvacij, mentorji in njeni zagovorniki. Petič, k z e naj bo sodelovalna. Sodelovanje se je pokazalo kot nujna rdeča nit prizadevanj za k z e (Labin idr. 2012, 324): »Sodelovalni procesi vključujejo načine interakcije ljudi in jih lahko smatramo kot del človeških odnosov pri k z e. Podatki iz sinteze so pokazali tudi potrebo po več pozornosti drugim dimenzijam kze, povezanimi s človeškimi odnosi, kot npr. targeting attitudes, vodenje in podporna organizacijska kultura.« Šestič, z e lahko krepimo na različne načine, k z e naj bo fleksibilna in kon- tekstualno usmerjena. Pregled literature in obstoječih modelov kaže, da ob- staja vrsta pristopov, metod in strategij k z e, namenjenih temu, da evalvacija postane rutina, vsakodnevna praksa in nacionalno ter mednarodno prepo- znana dejavnost. Kot lahko razberemo iz preglednice 3.1, modele, strategije izvajamo v splošnem na različne načine (usposabljanje, tehnična pomoč, so- delovanje v evalvaciji), usmerjene so na individualno ali organizacijsko raven, izhajajo iz različnih vsebin. Evalvacija v praksi naj bo kreativna in temelječa na različnih pristopih, priložnosti naj posameznikom in organizaciji poma- gajo razvijati evalvativni način razmišljanja (Katz, Sutherland in Earl 2002). Po našem mnenju je pomembno, da v vsakem modelu, ki se udejanja v pra- ksi, obstaja raznolik nabor metod in strategij, saj so organizacije in znotraj njih posamezniki na različnih ravneh znanja in spretnosti in z vsemi ni smiselno delati na enak način. Izbor in uvedba različnih strategij sta lahko oziroma mo- rata biti rezultat ugotavljanja potreb, prilagajanja določeni populaciji in kon- tekstu, kamor lahko štejemo tudi značilnosti organizacije, kot npr. odnos do evalvacije, dostopnost virov za k z e, notranja evalvacijska usposobljenost, ek- spertiza, podpora evalvaciji in k z e-ju s strani vodstva, organizacijske kulture 74 3.4 Izhodišča za oblikovanje modela krepitve zmožnosti za evalvacijo Preglednica 3.1 Vrsta, raven in vsebina strategij krepitve zmožnosti za evalvacijo Vrste strategij Usposabljanje, tehnična pomoč/coaching/podpora, vključenost v evalvacijo Vsebina strategij na Odnosi, termini, pristopi ali metode, logični modeli, načrt evalvacije, individualni ravni kako izvesti evalvacijo, interpretacija in uporaba podatkov Vsebina strategij na Organizacijske prakse, krepitev vodstvene podpore, oblikovanje eval- organizacijski ravni vacijske kulture, vključevanje Povzeto po Labin idr. (2012). Preglednica 3.2 Ovire za krepitev zmožnosti za evalvacijo Zunanje ovire Preveč omejen časovni okvir, zunanje zahteve niso usklajene z notranjimi potrebami Individualne ovire Odnosi/prepričanja, pomanjkanje sodelovanja, težave pri uporabi novega znanja in spretnosti, drugo Organizacijske ovire Pomanjkanje virov, menjave zaposlenih, pomanjkanje internega znanja/ekspertize, manko organizacijskih praks, manko podpore vodstva, odsotnost evalvacijske kulture, drugo Povzeto po Labin idr. (2012). itd. Ti dejavniki vplivajo na organizacijsko učenje in obseg, do katerega so re- zultati k z e trajnostni (Taylor-Powell in Boyd 2008, 67): »Upoštevajte različne potrebe, izkušnje in odgovornosti v zvezi z evalvacijo. Delujte prilagodljivo pri zasnovi in izvajanju pobud za k z e. Pričnite, kjer učeči se posameznik (ali or- ganizacija) je in krepite od tam dalje.« Sedmič, za k z e so na ravni organizacije potrebni človeški (profesionalni) in finančni viri, na ravni sistema pa tudi institucionalni. Viri se v veliki meri nanašajo na zmožnost vodenja procesa k z e, znotraj katerega so prepoznane nekatere vloge, ki so lahko med seboj ločene ali pa povezane v enem ali bolje nekaj posameznikih: vloga zagovornika evalvacije, vloga vodje ali koordina- torja aktivnosti za k z e, tehnična podpora evalvaciji. Osmič, obstajajo ovire za k z e. Za k z e obstajajo zunanje, individualne in organizacijske ovire (glej preglednico 3.2), pri čemer se najpogosteje pojavljajo organizacijske, povezane z viri, v mnogo primerih pa tudi individualne, pove- zane z odnosom, uporabo novega znanja in učenjem »evalvacijskih vsebin«. Devetič, rezultati kze se kažejo predvsem na individualni in organizacijski ravni. V skoraj vse primerih se kažejo rezultati k z e na individualni ravni, v mnogo primerih pa tudi na organizacijski ravni (Labin idr. 2012; García-Iriarte idr. 2011). Pomembno je, da z načrtovanimi strategijami ciljamo tako na individualno kot organizacijsko raven. Kaže namreč, da organizacijski dejavniki vplivajo na 75 Krepitev zmožnosti za evalvacijo Preglednica 3.3 Rezultati krepitve zmožnosti za evalvacijo na individualni in organizacijski ravni Rezultati na individualni ravni Odnosi. Znanje: termini, pristopi in metode, kako najeti/delati z evalvatorjem, logični modeli, elementi načrta evalvacije, kako izvesti evalvacijo, interpretacija in uporaba podatkov. Vedenja in spretnosti: najem in/ali delo z evalvatorjem, priprava logičnega modela, načrtovana evalvacija, izvedba evalvacije, interpretirani in uporabljeni podatki. Rezultati na organizacijski ravni Procesi, politike in prakse: izboljšane organizacijske zmožnosti, izboljšana sposobnost za pridobitev sredstev, več izvajanja evalvacije, več uporabe evalvacije, načrt za prihodnje aktivnosti k z e, načrt za evalvacije v prihodnje. Vodenje: večja podpora. Organizacijska kultura: učenje, vključenost, sodelovanje, uporaba podatkov/evalvacij. Vključevanje: evalvacija je bolj rutinska, ponovna opredelitev delovnih nalog, ki vključujejo evalvacijo, novi odnosi med organizacijami, nenehne priložnosti za učenje. Viri: pisni evalvacijski materiali, tehnologija, več virov, namenjenih evalvaciji, interna evalvacijska stroka. Povzeto po Labin idr. (2012). posameznike, njihovo učenje, motivacijo in spremembe v vedenjih, povezanih z evalvacijo (Preskill in Torres 1999; García-Iriarte idr. 2011). Desetič, k z e je potrebno spremljati in evalvirati. Področje k z e se razvija, rezultati se kažejo na vedno višjih (globljih) ravneh in da to zahteva tako za sisteme, organizacije in posameznike, kot tudi za celovito področje k z e bolj sistematično preučevanje, spremljanje in vrednotenje (Labin idr. 2012; Niel- sen, Lemire in Skov 2011; Taylor-Powell in Boyd 2008; Preskill in Boyle 2008; García-Iriarte idr. 2011). »Pristopi in metode za k z e se razvijajo v raznoli- kih kontekstih, ki so osnova za razlago in razumevanje – na primer, razlike glede globine in širine pobud za k z e, k z e, povezana z »izvajanjem evalva- cije«, v nasprotju s širšim evalvacijskim preučevanjem in namenskim nasproti bolj oportunističnim pristopom h kze« (Taylor-Powell in Boyd 2008, 66). Kot ugotavljajo Labin idr. (2012), bi lahko rekli, da je z vidika evalvacije prednost področja k z e veliko število opisanih študij primerov, ki temeljijo na mešanih metodah zbiranja podatkov, slabost pa izhaja predvsem iz dejstva, da je zelo omejeno poročanje o merilih in kvantitativnih podatkih. Ob tem je k z e tudi relativno novo področje, brez skupne terminologije, kazalnikov in natančnih meril. V zvezi z ocenjevanjem učinkovitosti tako npr. Wing (2004) izpostavlja, da je težko konkretno meriti abstraktne koncepte, izboljšanje delovanja brez določenih vnaprej postavljenih standardov. Sprašuje se, skladno s čigavimi ci- 76 3.4 Izhodišča za oblikovanje modela krepitve zmožnosti za evalvacijo lji naj merimo izboljševanje in ugotavlja, da »samo cilji, ki si jih udeleženci postavijo sami zase, so pomembni za izboljšanje dejavnosti« (2004, 156). Pri tem je seveda najbolj pomembno, da so cilji jasno izraženi in usklajeni med vsemi deležniki, ki v k z e sodelujejo. Dodaten razmislek je povezan s časov- nico – kdaj evalviramo k z e, ali jo ponovno preverjamo, je evalvacija vezana na obdobje pobude/programa za k z e, je trajnostna itd.? Ko merimo učinko- vitost krepitve zmožnosti, moramo pogledati tako ljudi kot sisteme, kako so povezani in kako vplivajo drug na drugega. Pomembno je, da smo z vidika krepitve zmožnosti usmerjeni v »interno učenje, brez katerega bodo zunanje spremembe samo začasne« in da se ne usmerjamo samo na lažje merljive vi- dike krepitve zmožnosti (Wing 2004, 158–159). V nadaljevanju ob upoštevanju spoznanj iz predhodnih poglavij predsta- vljamo kontekst naše raziskave, vezan na krepitev zmožnosti za samoevalva- cijo šol, pri čemer odgovarjamo na prvo vprašanje, ki smo si ga zastavili: Kako se koncept krepitve zmožnosti za samoevalvacijo odraža in uveljavlja v okviru vzpostavljanja sistema ugotavljanja in zagotavljanja kakovosti v šolah v Sloveniji? 77  Krepitev zmožnosti šol za samoevalvacijo Šole v Sloveniji morajo skladno z zakonodajo (z o f v i-u pb 5) kakovost ugo- tavljati in zagotavljati s samoevalvacijo, nismo pa zasledili celovitejšega raz- misleka ali modela krepitve zmožnosti šol za samoevalvacijo (v nadaljevanju k z s e). Trajnostne in kakovostne samoevalvacije na ravni šol se namreč ne da doseči samo z od zunaj predpisanimi zahtevami in vzpostavljenimi meha- nizmi (npr. inšpekcija, zunanja evalvacija, nabor kazalnikov kakovosti, rangi- ranje ipd.), ampak je predvsem potrebno okrepiti zmožnosti šol in učiteljev, da učinkovito načrtujejo in izvajajo dejavnosti za doseganje zastavljenih ciljev ter pri tem proces same nenehno tudi spremljajo in vrednotijo. Pri tem izhajamo iz izhodiščne predpostavke, da je kakovost šolstva eno od osnovnih vprašanj izobraževanja na vseh ravneh. Skrb za kakovost v praksi namreč lahko ope- racionaliziramo na več načinov, in sicer, 1) da opredelimo, kaj sam pojem ka- kovosti pomeni, 2) da ministrstvo, pristojno za izobraževanje, opredeli in za- gotovi okvire zagotavljanja kakovosti (zunanja prisila, spodbuda, mehanizmi, različne oblike podpore) in 3) da so šole in učitelji zmožni osvojiti in (traj- nostno) uporabljati mehanizem/-me, ki k izboljševanju in kakovosti šol(stva) najbolj doprinese/-jo. V slovenskem šolskem sistemu je kot eden od takšnih mehanizmov oziroma pristopov prepoznano ugotavljanje in zagotavljanje ka- kovosti (u z k) s samoevalvacijo, manjka pa element k z s e. Praksa dela s šolami pa tudi izkušnje sistemov v tujini ter teoretična in razi- skovalna izhodišča oziroma ugotovitve kažejo, da je za učinkovit, predvsem pa tudi trajnosten sistem ugotavljanja in zagotavljanja kakovosti s samoevalvacijo smiselno opredeliti model k z s e in ga v praksi aplicirati. V slovenskem konte- kstu je takšen model po našem mnenju potreben zato, ker, kot smo ugotovili, je samoevalvacija na nacionalni ravni opredeljena bolj kot ne zgolj z obvezno- stjo ravnatelja, ni pa na nacionalni ravni sprejetih usmeritev in izhodišč (npr. definicije, namena, ciljev, meril oziroma kazalnikov itd.), šole se v različne projekte oziroma pristope, ki temeljijo na ali vključujejo tudi samoevalvacijo (glej poglavje 2.3), vključujejo prostovoljno. Da bi o k z s e v kontekstu slovenskega šolskega sistema in raziskovalnega problema lahko razpravljali, smo oblikovali definicijo, iz katere v nadaljevanju 79 Krepitev zmožnosti šol za samoevalvacijo izhajamo. Skladno z opredelitvijo koncepta k z e (glej poglavje 3) za potrebe raziskave in oblikovanje modela, k z s e šol opredeljujemo kot proces pridobivanja in/ali izboljševanja znanja o, spretnosti za in odnosa učiteljev in ravnateljev do samoevalvacije, vzpostavitev institucionalnih okvirov in struktur za izvajanje uspešne in trajnostne samoevalvacije z namenom zagotavljanja kakovosti delovanja ter oblikovanje sistemskih usmeritev, zahtev in podpore šolam za izvajanje samoevalvacije. kzse opredeljujemo na individualni, organizacijski in sistemski ravni, kar pomeni predvsem to, da so zanjo odgovorni učitelji in ravnatelji, šole, pa tudi sistem. Ugotavljamo, da na ravni šol in šolskega sistema v Sloveniji že obstajajo določene strategije k z s e (primerjaj npr. s Preskill in Boyle 2008), in sicer: • področni protokoli (Mali idr. 2007; Možina 2012; Dodič idr. 2008; Gutknecht-Gmeiner, Klemenčič in Skubic 2009), • usposabljanja (Brejc 2011a; Dodič in Zavrl 2005; Možina 2007), • kombinacija samoevalvacije (notranje presoje) in zunanje evalvacije (zunanje presoje) (Brejc in Koren 2011b; Zavrl 2007; Knavs, Bauman in Mali 2010), • oblikovani instrumentariji (Marjanovič Umek idr. 2002; Pluško idr. 2001), • oblikovane skupine znotraj šol, ki skrbijo za kakovost (z p si-1) idr. Izvajali so se ali pa se izvajajo namreč različni projekti oziroma pristopi k uvajanju samoevalvacije v šole, ki jih bodisi parcialno sofinancira ministrstvo, pristojno za šolstvo, ali pa izhajajo iz drugih programskih izhodišč. Hkrati z zakonsko opredelitvijo »u z k s samoevalvacijo« v šolah (z of v i-u pb 5) pa se je leta 2008 pričelo tudi razvijanje sistema u z k, predvsem z dejavnostmi v projektih Zasnova in uvedba sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij (k v i z)1 ter Usposabljanje za uvedbo sis- tema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organi- zacij (u k v i z),2 ki sta primarno usmerjena v samoevalvacijo in deloma tudi v k z s e. Projekta v nadaljevanju na kratko predstavimo in pojasnimo njuno medse- bojno povezanost. Nato razpravljamo o izhodiščih in definiciji samoevalvacije v omenjenih projektih. Ob tem razpravljamo še o razliki med učitelji/ravnatelji kot evalvatorji in profesionalnimi evalvatorji ter programsko evalvacijo in sa- 1 Več o projektu na http://kviz.solazaravnatelje.si 2 Več o projektu na http://ukviz.solazaravnatelje.si 80 4.1 Razvijanje nacionalnega sistema ugotavljanja in zagotavljanja kakovosti moevalvacijo v šolah, saj bo to temelj za opredelitev zmožnosti za samoevalva- cijo (ZsE) oziroma znanja, spretnosti in odnosa na ravni učiteljev in ravnate- ljev. Pregledali bomo strategije kzse v projektih kviz in ukviz. V zaključku poglavja pa bomo podrobneje predstavili še usposabljanje šol za samoeval- vacijo kot eno od strategij za k z s e, ki je bila temeljna dejavnost v projektu u k v i z. Vključevala je namreč preko 4000 udeležencev, bila je najbolj inten- zivna in povezana s prakso in jo bomo raziskovalno z vidika kzse obravnavali v empiričnem delu. 4.1 Razvijanje nacionalnega sistema ugotavljanja in zagotavljanja kakovosti Slovenija na področju ugotavljanja in zagotavljanja kakovosti (u z k) sledi raz- vitimi državam in institucionalnemu razvoju na področju e u, deluje na pod- lagi mednarodnih usmeritev in priporočil, potreba in zahteva po u z k različ- nih vidikov šolskega sistema je opredeljena tudi v različnih nacionalnih doku- mentih. Pregled prakse kaže, da je različne elemente u z k moč najti na vseh stopnjah izobraževanja (od vrtca do univerze) in na vseh ravneh šolskega sis- tema (od učenca do mednarodnih primerjav). Kljub vsemu pa bi lahko rekli, da »dejansko delujočih sistemov u z k na področju vzgoje in izobraževanja v Sloveniji nimamo« (Gaber idr. 2011, 37). Ministrstvo, pristojno za izobraže- vanje, v obdobju 2008 do 2014 na podlagi javnega razpisa3 tako sofinancira več projektov Evropskih socialnih skladov (e s s), namenjenih »preverjanju kakovosti vzgojno-izobraževalnega sistema ter razvijanju sistema kakovosti vzgojno-izobraževalnih organizacij (zunanja in notranja evalvacija)«. Namen je izvedba razvojno-raziskovalnega dela za ugotavljanje kakovosti vzgojno- izobraževalnega sistema z mednarodno primerljivimi instrumenti in meha- nizmi, razvoj in preizkušanje mehanizmov ugotavljanja in zagotavljanja kako- vosti vrtcev in šol ter usposabljanje strokovnih in vodstvenih delavcev za uva- janje sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih zavodov: • Zasnova in uvedba sistema ugotavljanja in zagotavljanja kakovosti vzgoj- no-izobraževalnih organizacij (vrtcev in šol) – k v i z, s ciljem razvoja in uvedbe sistema kakovosti vrtcev in šol z opredeljenimi kazalniki kakovosti na nacionalni ravni (zunanja evalvacija) in na ravni vrtcev ter šol (samoevalvacija); 3 Javni razpis za sofinanciranje ugotavljanja in zagotavljanja kakovosti v izobraževanju in usposabljanju (št. 54450-16/2008/2), objavljen 20. 6. 2008. 81 Krepitev zmožnosti šol za samoevalvacijo • Usposabljanje za uvedbo sistema ugotavljanja in zagotavljanja kakovo- sti vzgojno-izobraževalnih organizacij (vrtcev in šol) – u k v i z, s ciljem usposobiti strokovne in vodstvene delavce vzgojno-izobraževalnih zavodov za uvajanje modela zunanje evalvacije in samoevalvacije vzgojno- izobraževalnih zavodov; • evalvacija vzgojno-izobraževalnih programov na podlagi mednarodno priznanih metodologij s ciljem izvedbe mednarodno primerljivih eval- vacijskih študij, ki temeljijo na mednarodno priznanih metodologijah in • razvoj modela dodane vrednosti s ciljem vzpostaviti sistem ugotavljanja dodane vrednosti, usklajen z mednarodno priznanimi smernicami. V nadaljevanju predstavljamo projekta kviz in ukviz, ki služita kot okvir za kasnejšo podrobnejšo predstavitev konteksta in raziskovalnega problema. Namen projekta k v i z je postopno uvajanje sistema u z k, ki bo pripeljal do celovite in usmerjene samoevalvacije in zunanje evalvacije v šolah (Ko- ren 2009) s cilji zasnovati, razviti in poskusno uvesti sistem u z k na področju vzgoje in izobraževanja v Sloveniji na poskusnih šolah; proučiti in podati pre- dlog o potrebnih pravnih, formalnih, institucionalnih in finančnih podlagah, ki bi omogočile uspešno uvedbo sistema u z k; opredeliti proces uvajanja sis- tema u z k; opredeliti kazalnike kakovosti na nacionalni ravni in na ravni šol; razviti model zunanje evalvacije; razviti model samoevalvacije; oblikovati pre- dlog vzpostavitve mehanizmov oz. teles za zagotavljanje kakovostnega in traj- nostnega delovanja sistema u z k (Koren in Brejc 2011b). Skladno s tem naj bi z aktivnostmi in rezultati (sistemom u z k) izvedba projekta prispevala k večji učinkovitosti in kakovosti vzgojno-izobraževalnega sistema, omogočila večjo primerljivosti slovenskega s tujimi šolskimi sistemi, spodbudila obveščanje in sodelovanje s strokovnimi in drugimi zainteresiranimi javnostmi o kakovosti vzgoje in izobraževanja, upoštevala do sedaj razvite pristope ugotavljanja in zagotavljanja kakovosti v Sloveniji in tujini, zmanjšala dodatno obremenitev končnih uporabnikov na nivoju v i z in nacionalnem nivoju z racionalno upo- rabo obstoječih podatkovnih virov in usmerjenostjo v uporabnost informacij o kakovosti, ki jih bo sistem generiral, spodbujala proces evalvacije in uporabe podatkov za uvajanje sprememb in izboljšav ter trajnostni razvoj na področju vzgoje in izobraževanja (Koren in Brejc 2011b). Ob projektnih aktivnostih kviz so v projektu ukviz sočasno potekala us- posabljanja strokovnih in vodstvenih delavcev za uvajanje samoevalvacije in zunanje evalvacije v šole s cilji krepitve zmožnosti učiteljev in šol za uzk, opolnomočenja udeležencev usposabljanja za uvajanje samoevalvacije in zunanje 82 4.1 Razvijanje nacionalnega sistema ugotavljanja in zagotavljanja kakovosti uKVIZ KVIZ – usposabljanje za UZK: (a) – razvijanje sistema UZK: usposabljanje šol (a) samoevalvacija za samoevalvacijo (b) zunanja evalvacija (b) usposabljanje zunanjih (c) kazalniki evalvatorjev Slika 4.1 Povezava med projektoma k v i z in u k v i z Preglednica 4.1 Število šol in udeležencev v projektih k v i z in u k v i z Cikel k v i z u k v i z (1) (2) (3) (4) (5) (6) 2009–2011 11 661 11 73 4164 32 2011–2013 29 1307 48 70 3658 80 2013–2014 60 3164 36 — — — Skupaj 100 5132 95 143 7822 112 Naslovi stolpcev: (1) samoevalvacija – šole, (2) samoevalvacija – udeleženci, (3) zunanja evalvacija – šole, (4) usposabljanje za se – šole, (5) usposabljanje za se – udeleženci, (5) usposabljanje za z e – udeleženci. Povzeto po Koren in Brejc (2011b), Brejc (2011a), Brejc, Savarin in Koren (2013) ter Gradišnik in Brejc (2013). evalvacije v šole, spodbujanja procesa samoevalvacije in uporabe podatkov za uvajanje sprememb in izboljšav v šolah in spodbujanja evalvacijske kulture. Pri pripravi vsebinske zasnove in dinamike usposabljanj u k v i z so bila upoštevana temeljna izhodišča za vzpostavitev sistema u z k, ki so nastala kot rezultat študije nacionalnih in mednarodnih pristopov h kakovosti (Brejc, Ju- rič in Širok 2008). Usposabljanja upoštevajo še zakonodajo (z o f v i-u pb 5) in specifike slovenskega šolskega sistema ter delovanja šol, profesionalna pre- pričanja izvajalcev in poznavanje, kaj šole in učitelji zmorejo (Brejc in Koren 2011b). V projekta so bile v obdobju od 2009 do 2014 vključene skupaj 338 ali 29  šol.4 Večina šol v obeh projektih (243 ali 21 ) je bila vključenih v usposabljanje za samoevalvacijo, ki ga bomo v poglavju 4.2 podrobneje predstavili. V nadaljevanju predstavljamo definicijo samoevalvacije v projektih k v i z in k v i z, ki osredotoča zasnovo sistema u z k. Iz definicije skladno s projek- 4 Po podatkih Ministrstva za izobraževanje, znanost in šport na dan 23. 6. 2013 je v Sloveniji 1152 v i z, od tega 450 osnovnih šol, 28 o š pp, 393 samostojnih vrtcev (brez enot) in vrtcev pri osnovnih šolah, 63 glasbenih šol, 179 srednjih šol in 39 dijaških domov (povzeto po http://www.mizs.gov.si/). 83 Krepitev zmožnosti šol za samoevalvacijo tnimi aktivnostmi izpeljemo zmožnosti za samoevalvacijo v šolah na indivi- dualni in organizacijski ravni. Nato predstavimo še katere od strategij za kzse je v obstoječem okviru razvoja u z k že mogoče najti. 4.1.1 Opredelitev samoevalvacije v okviru razvoja sistema ugotavljanja in zagotavljanja kakovosti Samoevalvacija v nastajajočem sistemu u z k je opredeljena kot »(sprotno) spremljanje in (končno) ovrednotenje doseganja zastavljenih prednostnih ci- ljev izboljšav na področju učenja in poučevanja oziroma dosežkov učencev v določenem časovnem obdobju, npr. v enem šolskem letu« (Brejc in Koren 2012, 24). Pri tem je pomemben poudarek, da »[s]amoevalvacija sama po sebi ne zagotavlja kakovosti in ne spreminja, njen namen tudi ni doseganje do- ločenih ciljev, ampak spremljanje in vrednotenje doseganja zastavljenih ciljev oziroma načrtovanih izboljšav« (Brejc in Koren 2011b, 17). Opredelitev samoe- valvacije izhaja tudi iz predpostavke, da so dosežki učencev kot končni rezultat in temeljna usmeritev (Koren 2009): [. . .] v veliki meri odvisni od procesov učenja in poučevanja, zato je po- membno, da samoevalvacija temelji tudi na usmeritvah v procese spre- memb učenja in poučevanja oz. učitelje kot nosilce sprememb in ključne dejavnike vpliva na dosežke učencev, saj se največ sprememb in izbolj- šav zgodi ravno v odnosu učitelj–učenec. Na ta način šola presoja ne le dosežke učencev, ki so lahko rezultat tudi mnogih drugih dejavnikov, ampak hkrati presoja, ali so procesi sprememb oz. izboljšav, ki jih uvaja in izvaja s samoevalvacijo, tisti, ki vplivajo na dosežke učencev. Dosežke, ki so povezani z rezultati samoevalvacije, je potrebno razumeti kot spre- membe oz. napredek v učenju in poučevanju ter spremembe, ki se od- ražajo tako pri učencih kot tudi pri učiteljih in šoli kot celoti.« Ključna izhodišča pri zasnovi samoevalvacije šol so (Brejc 2011a; Brejc in Koren 2011b, 19) usmerjenost v procese učenja in poučevanja oziroma do- sežke učencev, vsešolski pristop in prevzemanje odgovornosti vseh za ugo- tavljanje in zagotavljanje kakovosti, kultura šole, ki je naklonjena učenju na vseh ravneh, uvajanju sprememb, nenehnemu spremljanju in vrednotenju svo- jega dela, uporabi podatkov itd., vloga sodelovalnega vodenja pri ugotavljanju in zagotavljanju kakovosti in krepitev zmožnosti oziroma usposobljenosti za ugotavljanje in zagotavljanje kakovosti na ravni učiteljev, šol in sistema. Temeljni namen in osredotočenost samoevalvacije (k v i z in u k v i z) je to- rej »spremljati in vrednotiti izboljšanje kakovosti na področju učenja in pou- 84 4.1 Razvijanje nacionalnega sistema ugotavljanja in zagotavljanja kakovosti čevanja ter dosežkov učencev« (Brejc in Koren 2011b, 17). Samoevalvacija je v tej fazi razvoja sistema u z k »osredotočena ›le‹ na področje učenja in pouče- vanja oziroma dosežke učencev v najširšem smislu. Kot takšna torej ne posega na vsa področja in vse dejavnosti šole, ki so opredeljene v letnem načrtu. Iz- haja iz t. i. načrta izboljšav, v katerem so, prav tako na letni ravni, opredeljeni cilji za izboljšanje kakovosti na omenjenem področju.« (Brejc in Koren 2011b, 18)5 S to opredelitvijo se določa ne le vsebina, pač pa tudi način izvedbe ozi- roma proces. Opredeljena je namreč tudi kot ena od temeljnih dejavnosti v delovanju šole, ki je načrtovana in sistematična, kar pomeni, da so 1) na ravni šole izbrani prednostni cilji izboljšav v določenem časovnem obdobju, ki jih šola samoevalvira, torej sistematično spremlja in ovrednoti; 2) vnaprej dolo- čena merila (kazalniki) za spremljanje in ovrednotenje doseganja prednost- nih ciljev; 3) opredeljene metode zbiranja podatkov in načini sprotnega spre- mljanja doseganja ciljev (npr. vmesni pregled doseganja rezultatov, strokovne razprave, refleksije itd.); 4) ugotovitve, pridobljene s samoevalvacijo in obliko- vana priporočila eno izmed izhodišč za nadaljnje načrtovanje dejavnosti v šoli (Brejc in Jurič Rajh 2012; Brejc 2012). Samoevalvacija je tako pomembna za izboljšave v šolah, organizacijsko učenje in pridobivanje informacij za starše, lokalno okolje idr. Sistematičen pristop k zbiranju, analiziranju in vrednotenju različnih vidikov delovanja posamezne šole pa je lahko tudi osnova za razvoj nacionalnega šolskega sistema (Brejc in Gradišnik 2013). Lahko bi rekli (Brejc in Koren, 2011, 17–18), da samoevalvacija tudi »povezuje in zaokrožuje procese načrtovanja in poročanja, ki jih šole izvajajo v skladu s koncepti splošnega ter izobraževalnega managementa organizacije in z zakonodajo. Eden od ključnih poudarkov pri uvajanju procesa samoevalvacije je torej umeščenost v obsto- ječe dejavnosti načrtovanja, poročanja in uvajanja izboljšav.« Samoevalvacija je razumljena predvsem »kot proces izboljševanja kakovo- sti šol« (Zavašnik Arčnik in Gradišnik 2011, 13), ki skladno s pristopom iz- boljšav poudarja predvsem notranje okoliščine, kot so raven sodelovanja stro- kovnih delavcev, sodelovalno vodenje in sprejemanje odločitev in sposobnost trajnega izvajanja izboljšav. Kot pa poudarjajo avtorji (prav tam), »je vrednost takšnega pristopa dvomljiva, če se ne izboljšajo dosežki in učenje učencev« oz. učinkovitost šol in posredno učinkovitost sistema. 5 Samoevalvacija v poskusni fazi v projektih kviz in ukviz poudarja predvsem vidik oziroma področje učenja in poučevanja kot temeljne dejavnosti v šolah. Širše bi lahko zajela tudi druga področja, ki so prepoznana kot pomembna z vidika kakovosti, npr. profesionalni razvoj strokovnih delavcev, vodenje, sodelovanje z okoljem idr. V kombinaciji z zunanjo evalvacijo je samoevalvacija tudi usmerjena v posebnosti vsake posamezne šole in namenjena izboljševanju zmožnosti za doseganje zastavljenih ciljev izboljšav. 85 Krepitev zmožnosti šol za samoevalvacijo 4.1.2 Zmožnosti za samoevalvacijo v šolah Eno od izhodišč pri zasnovi samoevalvacije je krepitev zmožnosti na različnih ravneh, brez katere, kot ugotavljamo, ne more biti kakovostne in trajnostne sa- moevalvacije v šolah. Zato bomo v nadaljevanju predstavili zmožnosti, kot so opredeljene v projektih kviz in ukviz oziroma jih bomo iz nabora obstoječe dokumentacije in na osnovi našega lastnega poznavanja zasnove in izvedbe projektov povzeli. Predstavljamo samo okvir zmožnosti na individualni in or- ganizacijski ravni, ki jih bomo kasneje za potrebe naše raziskave podrobneje predstavili in opredelili v empiričnem delu. Na osnovi predstavljene opredelitve samoevalvacije je mogoče zmožnosti za samoevalvacijo v šolah, skladno s teorijo krepitve zmožnosti za evalvacijo (glej poglavje 3), opredeliti na: • individualni ravni kot znanje o samoevalvaciji, spretnosti za izvajanje samoevalvacije in odnos učiteljev in ravnateljev do samoevalvacije ter • organizacijski ravni kot skupno »politiko«, postopke, okvire, procese, vire, uporabo rezultatov, skupna prepričanja itd. Zmožnosti na individualni ravni so v splošnem opredeljene kot znanje in spre- tnosti, ki jih posameznik ima o/za izvajanje samoevalvacije (Koren in Brejc 2011b; Brejc 2011a; 2011b), in sicer (Brejc 2011a, 17): • sposobnost prepoznavanja, ugotavljanja in razvrščanja prioritet in do- ločanja ciljev, povezanih z nenehnim izboljševanjem šol; • sposobnost priprave dolgoročnega načrta izboljšav v šoli; • razumevanje vloge in pomena vodenja za samoevalvacijo; • poznavanje koncepta nenehnih izboljšav in pomena krepitve zmožnosti v šoli; • sposobnost uporabe podatkov za odločanje o izboljšavah v šolah; • sposobnost priprave letnega poročila o izboljšavah v šoli (samoeval- vacijskega poročila) na osnovi poznavanja pomembnih dosežkov šole, okvir za uvedbo izboljšav, odločanja o prioritetah za prihodnje leto itd.; • razumevanje vloge in sposobnost vključevanja različnih pomembnih deležnikov (učencev, staršev, učiteljev idr.) v proces samoevalvacije; • poznavanje in razumevanje vloge zunanje evalvacije pri procesu samo- evalvacije idr. Odnos do samoevalvacije predstavlja odnos, ki ga ima posameznik do sa- moevalvacije kot mehanizma za ugotavljanje in zagotavljanje kakovosti. V do- kumentaciji projekta k v i z je mogoče najti 18 podrobneje opredeljenih di- 86 4.1 Razvijanje nacionalnega sistema ugotavljanja in zagotavljanja kakovosti Preglednica 4.2 Primeri dimenzij odnosa do samoevalvacije Samoevalvacija se izvaja zaradi Samoevalvacija se izvaja z namenom izboljševanja izpolnjevanja določila z o f v i-u pb 5. šole. Samoevalvacija je enkraten dogodek. Samoevalvacija je proces. Samoevalvacijo izvede ravnatelj. V samoevalvacijo je vključen celoten kolektiv. Gradišnik in Zavašnik Arčnik (2010, 29). menzij odnosa do samoevalvacije (Gradišnik in Zavašnik Arčnik 2010), ki iz- hajajo iz pregleda strokovne literature in raziskav (MacBeath 1999; MacBeath idr. 2000; Vanhoof 2009a). V splošnem zmožnosti za samoevalvacijo na ravni šole lahko opredelimo kot zmožnosti, ki spodbujajo in omogočajo izvajanje kakovostne in trajnostne samoevalvacije oziroma kot potreben pogoj in organizacijski okvir. Zmožnosti za samoevalvacijo na ravni šole lahko po našem mnenju razumemo oziroma opredelimo tudi kot skup individualnih zmožnosti. Na organizacijski ravni se torej lahko manifestirajo kot rezultat zmožnosti na individualni ravni. Iz dokumentacije projektov teh zmožnosti sicer ni mogoče neposredno razbrati, jih pa lahko poskušamo opredeliti na osnovi definicije in izhodišč samoevalvacije ter zmožnosti na individualni ravni, in sicer kot: • skupna prizadevanja za kakovost, • skupno določanje prioritet in načrtovanje izboljšav na ravni šole, • sistematično spremljanje in vrednotenje dela, • uporaba kvalitativnih in kvantitativnih podatkov, • umeščenost samoevalvacije v obstoječe dejavnosti načrtovanja in poro- čanja, • prisotnost sodelovalnega vodenja. Da bi zmožnosti za samoevalvacijo lahko krepili, morajo na različnih rav- neh obstajati določene strategije (Preskill in Boyle 2008; King in Volkov 2005). V nadaljevanju bomo prikazali obstoječe strategije krepitve zmožnosti za sa- moevalvacijo v projektih k v i z in u k v i z, na osnovi katerih je v zaključku izpeljan model k z s e v šolah. 4.1.3 Strategije za krepitev zmožnosti za samoevalvacijo V projektih k v i z in u k v i z so izvedene različne dejavnosti, ki bi jih lahko umestili v okvir strategij za krepitev zmožnosti za samoevalvacijo (k z s e) v šolah (Koren in Brejc 2011b; Brejc 2011a). Če povzamemo, lahko ugotovimo, 87 Krepitev zmožnosti šol za samoevalvacijo Preglednica 4.3 Strategije krepitve zmožnosti za samoevalvacijo v nastajajočem sistemu ugotavljanja in zagotavljanja kakovosti Formalno usposabljanje Usposabljanje za samoevalvacijo (Brejc 2011b). Enodnevne ali dvodnevne delavnice na temo samoevalvacije (glej npr. Markič, Brejc in Gradišnik 2012; Brejc in Zavašnik Arčnik 2013). Usposabljanje za zunanjo evalvacijo (glej npr. Brejc in Jurič Rajh, 2012). Področni protokoli Letna priporočila za pripravo poročila o samoevalvaciji. Priročnik za zunanje evalvatorje in evalvirane zavode s poudarkom na presojanju izvajanja samoevalvacije v šolah (npr. Brejc 2012). Protokol za izvajanje samoevalvacije (v pripravi). Pisna gradiva in dostopnost Monografije (Brejc, Koren in Zavašnik Arčnik 2011; Kos virov za samoevalvacijo Kecojević in Gaber 2011). Članki (Zavašnik Arčnik in Gradišnik 2011; Zavašnik Arčnik in Koren 2010; Brejc, Gradisnik in Koren 2011). Gradiva za udeležence usposabljanj (Brejc in Zavašnik Arčnik 2011; Brejc, Koren in Townsend 2011). Individualne konzultacije (npr. svetovanje posameznim šolam pri pripravi načrtov izboljšav, podajanje povratnih informacij o poročilih o samoevalvaciji; izvedene so bile posamezne konzultacije, pri nekaterih je sodelovala tudi avtorica, ki pa v dokumentaciji projektov niso posebej zabeležene). Samoevalvacijska poročila šol. Informacije o kakovosti in samoevalvaciji (glej npr. Spletne strani projektov k v i z in u k v i z). Oblikovanje skupnosti praks Vzajemno učenje, izmenjava izkušenj iz prakse, sodelovalno preučevanje itd.: timov za samoevalvacijo (na formalnih usposabljanjih) in učiteljev v šolah (kot del t. i. vmesnih aktivnosti formalnih usposabljanj in procesa samoevalvacije v šolah). Tehnična podpora/sodelo- Izvedba delavnic in srečanj v šolah (Zavašnik Arčnik in vanje zunanjih strokovnjakov Koren 2010; Markič in Zavašnik Arčnik 2011). da so uporabljeni različni načini (individualno in skupinsko) in vrste strategij, ki so usmerjene bodisi na individualno ali organizacijsko raven. Posamezne strategije so uporabljene oz. izvedene neposredno (npr. uspo- sabljanja, tehnična podpora), druge pa posredno preko uporabe »primarnih« strategij (npr. oblikovanje skupnosti praks). Največ poudarka je usmerjenega v strategijo usposabljanja, v katerega je vključenih tudi največ udeležencev oz. šol. Manj oz. po našem mnenju premalo poudarka je na npr. »tehnični pod- pori« oziroma mentorstvu ali coachingu, ki je intenzivnejša oblika sodelova- 88 4.2 Usposabljanje za samoevalvacijo nja zunanjih strokovnjakov s posamezno šolo in ravnatelji oz. učitelji in se kot takšna lahko bolj prilagaja raznolikim kontekstom in potrebam šol ter upo- števa značilnosti posameznih organizacij v primerjavi z npr. standardiziranimi programi usposabljanja. Večji poudarek bi, kljub projektnemu oz. razvojnemu pristopu, morda bilo smiselno že v zgodnejših fazah projektov kviz in ukviz nameniti tudi oblikovanju področnega protokola za izvajanje samoevalvacije, saj bi ta potencialno lahko dosegel tudi šole, ki v projekt niso (bile) vključene. Pomanjkljivost večine strategij je namreč po našem mnenju ta, da so (bile) namenjene primarno vključenim šolam, učiteljem in ravnateljem. Ob tej ugo- tovitvi izhajamo iz predpostavke, da je prostovoljna vključenost šol v projekt v večini primerov pomenila tudi že v osnovi pozitiven odnos do samoevalvacije in pripravljenost na sodelovanje. V nadaljevanju predstavljamo Usposabljanje za samoevalvacijo, ki je v ob- dobju 2008–2014 a) zajelo največje število udeležencev (ravnateljev in učite- ljev) oz. šol, b) je po našem mnenju najbolj trajnostno usmerjeno in c) je naj- bolj neposredno osredotočeno na k z s e na individualni ravni. Usposabljanje opredeljujemo kot temeljno strategijo k z s e, v empiričnem delu bomo zato preverili prispevek usposabljanja za samoevalvacijo h k z s e na vključenih šo- lah. 4.2 Usposabljanje za samoevalvacijo Preden podrobneje predstavimo Usposabljanje za samoevalvacijo (v nadalje- vanju u s e),6 bomo razpravljali na splošno o usposabljanju kot strategiji za k z s e, katere so prednosti in pomanjkljivosti. Formalno ali neformalno uspo- sabljanje je ena od strategij k z s e (Preskill in Boyle 2008; Taylor-Powell in Boyd 2008), ki jo nemalokrat celo kar enačimo s konceptom k z e (Eade 2007) ali profesionalnim razvojem nasploh (Guskey 2000; Kirkpatrick in Kirkpa- trick 2007). Gre za »najpogostejšo obliko profesionalnega razvoja, tisto, s ka- tero imajo izobraževalci največ izkušenj« (Guskey 2000, 22). Je najbolj (stro- škovno) učinkovito za izmenjavo idej in informacij z večjim številom udele- žencev. Navadno vključuje predavatelja ali skupino predavateljev, ki z uporabo različnih metod in oblik (npr. skupinske predstavitve in razprave, delavnice, 6 Izraz usposabljanje (angl. training), ki ga uporabljamo, razumemo kot »postopen razvoj nekega ravnanja, znanja in spretnosti, ki jih mora obvladati posameznik, da ustrezno opravlja določene naloge« (Jelenc 1991, 70). Pri tem usposabljanje razumemo kot ožji pojem ali podpomenko izobraževanja (angl. education), pri čemer sicer ugotavljamo, da se v slovenskem šolskem sistemu pojma uporabljata skupaj, tj. izobraževanje in usposabljanje (glej npr. Pravilnik o nadaljnjem izobraževanju in usposabljanju strokovnih delavcev v vzgoji in izobraževanju). 89 Krepitev zmožnosti šol za samoevalvacijo seminarji, demonstracije, igre vlog, simulacije itd.) deli/-jo svoje ideje in zna- nje. Učinkovito usposabljanje temelji na potrebah udeležencev, ima opredeljene učne cilje (zavedanje, znanje, spretnosti, odnos, prenos znanja, uporaba novih strategij v razredu . . .), je načrtovano v pravem času (za izvajalce in udele- žence), se odvija na primernem mestu, v primernih pogojih, vključuje »prave« udeležence in učinkovite predavatelje, uporablja učinkovite tehnike in pripo- močke, doseže programske cilje, zadovolji udeležence in je evalviran (Kirkpa- trick in Kirkpatrick 2007; Guskey 2000). Največja pomanjkljivost usposablja- nja, kot navaja Guskey (2000, 23), pa je, da: »ponuja malo priložnosti za izbiro ali individualizacijo. Kot takšen ni nujno primeren za raznolike ravni znanja in spretnosti izobraževalcev. Usposabljanja morajo biti razširjena, primerno raz- porejena ali dopolnjena z nadaljevalnimi aktivnostmi, ki priskrbijo povratno informacijo in coaching, potreben za uspešno implementacijo novih idej.« Po- memben del vsakega usposabljanja je tudi njegova evalvacija, ki jo je smiselno načrtovati že pred izvedbo programa (Kirkpatrick in Kirkpatrick 2007), pri čemer je mogoče uporabiti različne modele, ki izhajajo iz različnih teoretičnih podlag in konceptualnih okvirov (Guskey 2000). Usposabljanje, ki ga v nadaljevanju predstavljamo, opredeljujemo kot te- meljno strategijo za k z s e. V obdobju trajanja projekta k v i z in u k v i z (2008 do 2013) je bilo v usposabljanje v dveh ciklih skupaj vključenih 7379 vodstve- nih in strokovnih delavcev vrtcev, osnovnega in srednjega šolstva iz 143 vrtcev, osnovnih in srednjih šol. Na sliki 4.2 je prikazano usposabljanje use, ki temelji na izhodiščih za opredelitev samoevalvacije, to so: usmerjenost samoevalva- cije v učenje in poučevanje oziroma dosežke učencev, sodelovalno vodenje, vsešolski pristop, kulturo (samo)evalvacije in izboljševanje na osnovi podat- kov. Obravnavane vsebine v usposabljanju so določanje prioritet, načrtovanje izvajanja in spremljanja izboljšav, poročanje in refleksija ter izboljšave in do- ločanje na osnovi podatkov. V usposabljanju so skladno s temeljnimi cilji pro- jekta opredeljeni učni cilji oziroma osnovna znanja, spretnosti in zmožnosti za uvedbo procesov samoevalvacije v šolah na individualni ravni in ki jih bomo v raziskovalne namene v empiričnem delu še podrobneje razdelali. Učni cilji so usmerjeni v udeležence in izhajajo iz vsebin usposabljanja. Glede na vnaprej opredeljene zahteve o učinkovitosti projekta (najmanj 3950 udeležencev in najmanj 7 dni usposabljanja na vsakega udeleženca) in okvir izvedbe usposabljanja (trajanje usposabljanja, npr. 2009–2011, človeški viri institucije, nosilke projekta idr.) ter izkušnje z usposabljanji ravnateljev in učiteljev (glej npr. Erčulj in Trunk Širca 2000) je bil za izvedbo usposabljanja izbran kaskadni način (Hayes 2000; Wedell 2005), »strategija, ki je pogosto 90 4.2 Usposabljanje za samoevalvacijo Določanje prioritet na področju učenja in poučevanje – dosežkov učencev Izboljšave in Načrtovanje Učenje odločanje na izboljšav v šolah in poučevanje – osnovi podatkov in vrtcih dosežki učencev Vodenje Vsešolski pristop Kultura (samo)evalvacije Izboljšave na osnovi podatkov Izvajanje in Refleksija in spremljanje poročanje izboljšav Slika 4.2 Usposabljanje za samoevalvacijo (u se) (povzeto po Brejc in Savarin 2011, 16) uporabljena za uvedbo večjih inovacij v šolski sistem« (Hayes 2000, 137). Za model je značilno, da lahko vključuje kar največje število udeležencev, pri če- mer je v neposredno usposabljanje vključeno manjše število udeležencev, ki vsebine dalje prenašajo drugim skupinam. »Je stroškovno učinkovit, ne zah- teva daljših odsotnosti z dela in vključuje učitelje kot soizvajalce« (Gilpin 1997, 185). Po našem mnenju, sodeč po izkušnjah s tovrstnim usposabljanjem, je prednost kaskadnega načina usposabljanja tudi ta, da standardiziranemu pri- stopu lahko doda določeno mero prilagodljivosti (po ravneh), da je sodelo- valno, da je usmerjeno v prakso, da opolnomoča oziroma krepi zmožnosti na vseh ravneh. Sicer pa je za uspešno kaskadno usposabljanje potrebno upošte- vati naslednje kriterije (Hayes 2000, 138): • metoda izvedbe usposabljanja mora temeljiti na izkušnjah in refleksiji namesto na prenosu; • usposabljanje mora biti odprto za razpravo namesto togega vztrajanja pri predpisanih načinih dela; 91 Krepitev zmožnosti šol za samoevalvacijo • strokovnost naj bo v sistemu kar najbolj razširjena, ne zbrana zgolj na vrhu; • različni deležniki naj sodelujejo pri pripravi učnih gradiv; • decentralizacija odgovornosti znotraj kaskadne strukture je zaželena. Po našem mnenju, ponovno sodeč po lastnih izkušnjah in glede na nefor- malne razgovore z udeleženci usposabljanja u se, je pri kaskadnem načinu us- posabljanja pomembno tudi, da imajo izvajalci usposabljanj na različnih rav- neh jasna navodila oziroma okvir za izvedbo usposabljanj, načrte oziroma sce- narije za izvedbo usposabljanj, vire (npr. gradiva, predstavitve), da je vnaprej dogovorjeno kdo in kakšen način usposabljanje na različnih ravneh spremlja in vrednoti (npr. z refleksijami, standardiziranimi poročili itd.) in seveda, da so izvajalci na vseh ravneh usposobljeni za izvedbo usposabljanj. To pa po- meni, da ne le poznajo in spremljajo vsebinsko področje, pač pa da poznajo tudi metode in oblike dela z odraslimi. Slabost kaskadnega načina usposabljanja je predvsem v tem, da se kakovost prenosa znanja iz ravni v raven izgublja in da dejanska ekspertiza ostaja le na najvišji ravni modela (Wedell 2005), kar je pomembna omejitev z vidika krepi- tve zmožnosti udeležencev. Kadar do tega pride, je seveda vprašljivo, v kolikšni meri sploh lahko dosežemo zastavljene cilje usposabljanja oziroma v kolikšni meri se približamo potrebam udeležencev na najnižji kaskadni ravni. Pri tem je pomembno še, da kaskadnega pristopa ne uporabljamo pri enkratnih do- godkih (npr. enodnevnih usposabljanjih), saj preverjanje vsebine in kakovosti prenosa ni mogoče. Predvidevamo še, da manj ko je kaskadnih ravni, večja je lahko kakovost prenosa vsebin v prakso. Usposabljanje u se je izvedeno na dveh kaskadnih ravneh, 1) na ravni ti- mov za samoevalvacijo in 2) na ravni učiteljskih zborov. Usposabljanje traja 18 mesecev in je zasnovano kot kombinacija delavnic (neposrednih kontak- tnih ur) in vmesnih aktivnosti med posameznimi delavnicami (npr. strokovne razprave v učiteljskih zborih, aktivih oziroma skupinah, individualne vmesne aktivnosti učiteljev ipd.), ki potekajo na ravni posameznih udeležencev (Brejc in Savarin 2011). Delavnice za time za samoevalvacijo na prvi kaskadni ravni potekajo v sku- pinah od 15 do 27 udeležencev iz 5 do 9 šol. Usposabljanja praviloma izvajajo pari predavateljev Šole za ravnatelje (Ažman in Gradišnik 2013), ki poleg pre- nosa vsebin na takšen način demonstrirajo tudi možne oblike dela z udele- ženci na drugi kaskadni ravni. Poleg gradiv, ki jih člani timov prejmejo kot udeleženci usposabljanja, prejmejo za izvedbo usposabljanja na drugi kaska- dni ravni tudi predlog scenarija izvedbe (»učni načrt«) in materiale za izvedbo 92 4.2 Usposabljanje za samoevalvacijo Šola za ravnatelje 6 predavateljev e vnic vmesne Dela in aktivnosti Timi za samoevalvacijo (73 šol) 227 udeležencev e vnic vmesne Dela in aktivnosti Učiteljski zbori (73 šol) 3937 udeležencev Slika 4.3 Kaskadni način usposabljanja za samoevalvacijo v prvem ciklu projekta u k v i z (2009–2011) (npr. predstavitev Powerpoint, delovne liste itd.). Delavnice za učiteljske zbore na drugi kaskadni ravni, v svojih šolah, izvajajo timi za samoevalvacijo, ki so tokrat torej v vlogi izvajalcev usposabljanja use. Delavnice so namenjene »ne- posrednemu uvajanju obravnavanih vsebin in pristopov v prakso« (Brejc in Savarin 2011, 25). Delavnice za v povprečju 54-članske učiteljske zbore7 izva- jajo dve- ali tričlanski timi za samoevalvacijo (Brejc, Savarin in Koren 2013). Izvedba delavnic v šolah po našem mnenju omogoča časovno in vsebinsko pri- lagoditev izvedbe, seveda glede na dogovorjen okvir. Po izvedbi vsake delav- nice v šoli, člani tima za samoevalvacijo kot izvajalci usposabljanj reflektirajo o izvedbi in izvajalcem na prvi kaskadni ravni posredujejo kratko standardi- zirano poročilo, v katerem ocenijo različne vidike izvedbe (npr. zahtevnost priprave na in izvedbe delavnice, motiviranost učiteljev na in po delavnici) in vsebinske vidike (npr. dogovore/načrte za nadaljnje delo na ravni šole itd.). Vsebine usposabljanja u s e so zasnovane tako, da sledijo fazam v pro- cesu načrtovanja, samoevalvacije in poročanja v šolah. Tako so na delavnicah obravnavane vsebine, kot npr.: določenja prioritet in ciljev (učenje in pouče- vanje, dosežki učencev), načrtovanje izboljšav in samoevalvacije, spremljanje izboljšav, vloga vodenja in deležniki v samoevalvaciji, analiza in refleksija kot 7 Velikost učiteljskih zborov šol, vključenih v usposabljanje use, je bila od 12 do 148. Člani timov so delavnice v svojih šolah prilagajali glede na število zaposlenih, npr. enkratna izvedba za cel učiteljski zbor, izvedba v več časovno zaporednih delih, sočasna izvedba v več skupinah, izvedba z vnaprejšnjo pripravo na skupno delavnico po aktivih itd. (Brejc, Savarin in Koren 2013). 93 Krepitev zmožnosti šol za samoevalvacijo temelj samoevalvacije, poročanje in dolgoročnejše načrtovanje izboljšav in sa- moevalvacije, model samoevalvacije na ravni šole (Brejc 2011b). Z vmesnimi aktivnostmi, ki sledijo delavnicam, pa udeleženci vsebine oziroma samoeval- vacijo po korakih uvajajo v dejavnost šole in posmeznega učitelja (Brejc in Savarin 2011, 23): Tako so tim za samoevalvacijo in učiteljski zbor npr. sodelovali pri do- ločanju prioritetnih ciljev in pripravi načrtov izboljšav na ravni šole, ak- tivov oziroma skupin ter pripravili individualne načrte, izvajali in spre- mljali načrtovane dejavnosti, sodelovali v vodenih strokovnih razpra- vah, reflektirali in poročali o svojem delu in izboljšavah, sooblikovali model samoevalvacije na ravni šole itd. Program usposabljanja je ne- posredno povezan z dejavnostmi na šolah, zato so prevladujoči načini dela z udeleženci sodelovalno delo v manjših skupinah, frontalna oblika z razpravo, predhodna priprava na delavnice, igra vlog, problemsko uče- nje, neposredno uvajanje procesa v prakso, sprotno spremljanje in vre- dnotenje, spodbujanje kritično-analitičnega vrednotenja, kritično pri- jateljevanje oziroma vzajemno svetovanje itd. V tem poglavju smo na osnovi pregleda literature predstavili okvir ugota- vljanja in zagotavljanja kakovosti v slovenskem šolskem sistemu ter znotraj tega uresničevanje koncepta krepitve zmožnosti za samoevalvacijo. Posebej smo predstavili usposabljanje u se, ki je predmet empiričnega raziskovanja in odgovarjali na prvo raziskovalno vprašanje (Kako se koncept krepitve zmož- nosti za samoevalvacijo odraža in uveljavlja v okviru vzpostavljanja sistema ugotavljanja in zagotavljanja kakovosti v šolah v Sloveniji?). V naslednjih dveh poglavjih pa bomo odgovarjali na drugo vprašanje Kako usposabljanje za samoevalvacijo prispeva h krepitvi zmožnosti za uvajanje in izvajanje trajnostne prakse samoevalvacije v šolah? Pri tem bomo v naslednjem poglavju najprej opredelili raziskovalni pristop, predstavili vsebinske sklope in hipoteze ter odvisne in neodvisne spremenljivke. Nato bomo predstavili proces raziskovanja, vzorec in omejitve. V poglavju 6 sledi prikaz rezultatov in interpretacija. 94  Zasnovaraziskave in predstavitev raziskovalnih hipotez V osrednjem delu proučevanja raziskovalnega problema smo osredotočeni na vprašanje: Kako usposabljanje za samoevalvacijo prispeva h krepitvi zmožnosti za uvajanje in izvajanje trajnostne prakse samoevalvacije v šolah? Koncept krepitve zmožnosti šol za samoevalvacijo (k z s e) je v slovenskem prostoru ne- raziskan. V tuji literaturi prav tako ni zaslediti raziskav in/ali evalvacij krepitve zmožnosti, ki bi bile povezane s samoevalvacijo v šolah. Pregled in analiza nabora dostopnih virov (Labin idr. 2012) tudi kaže, da v tujini sicer obstaja vrsta primerov evalvacij k z e, ki uporabljajo različne metode zbiranja podat- kov, manjka pa v zvezi s tem poročanje o merilih in kvantitativnih podatkih. Raziskavo o k z s e udeležencev v usposabljanju u se opredeljujemo kot empi- rično z uporabo kvantitativnih metod zbiranja podatkov, natančneje z anke- tno raziskavo, ki jo bomo podrobneje predstavili v naslednjih poglavjih (Toš in Hafner-Fink 1998; Vogt, Gardner in Haeffele 2012). Najprej predstavljamo zasnovo raziskave, za namen raziskave opredeljene vsebinske sklope in hipoteze, konceptualizacijo in operacionalizacijo odvisnih in neodvisnih spremenljivk. Nato opišemo proces raziskovanja, predstavimo vzorec in potek analize podatkov. V zaključku poglavja razpravljamo o ome- jitvah raziskovanja. 5.1 Zasnova raziskave Osrednji namen raziskave je preveriti, kako se krepitev zmožnosti za samo- evalvacijo z usposabljanjem u s e odraža v praksi izbranih šol v Sloveniji. Iz vprašanja izhaja, da nas zanima, kako se opazovani fenomen porazdeljuje na populaciji. To pa lahko, ob predpostavki, da je vzorec ustrezen, ugotovimo s pomočjo anketne raziskave (angl. survey research). Anketne raziskave, »s katerimi je bilo verjetno v družboslovju zbranih več podatkov kot s katerim koli drugim raziskovanjem« (Vogt, Gardner in Haeffele 2012, 15), so najučin- kovitejše, kadar »je najbolje, da podatke pridobimo neposredno od anketi- rancev, podatke lahko pridobimo s kratkimi odgovori na strukturirana vpra- šanja, lahko pričakujemo, da bodo anketiranci podali zanesljive informacije, vemo, kako bomo uporabili podatke in lahko pričakujemo primerno odziv- 95 Zasnova raziskave in predstavitev raziskovalnih hipotez nost« (Vogt, Gardner in Haeffele 2012, 16). Podatki v naši raziskavi so tako pridobljeni neposredno od udeležencev usposabljanja u se, od katerih smo po našem mnenju pridobili zanesljive informacije, pričakovali smo tudi ustrezno odzivnost anketirancev za zagotovitev zanesljivosti podatkov. Anketna razi- skava z uporabo vprašalnika na papirju (angl. paper and pencil questionnaire) je izvedena na celotni populaciji ravnateljev in članov timov, ki so sodelovali v usposabljanju u se. Ob tem nas je zanimala tudi raven učiteljev in posredno z njimi raven šol. Ker je bilo skupno število v usposabljanje vključenih učiteljev za zajem podatkov preveliko, je zajet vzorec učiteljev, ki ga predstavljamo v naslednjem poglavju. Ker gre kljub vzorčenju učiteljev za veliko število vklju- čenih v raziskavo, je bila anketna raziskava edini smiseln način zbiranja podat- kov. Predmet raziskovanja je usposabljanje, zato zasnovo raziskave vežemo še na Kirkpatrickov model evalvacije učinkovitosti usposabljanja (Kirkpatrick in Kirkpatrick 2007; Guskey 2000). Iz zasnove raziskave po omenjenem modelu oblikujemo vsebinske sklope in znotraj njih hipoteze, ki jih dalje operaciona- liziramo z opredelitvijo odvisnih in neodvisnih spremenljivk. Kirkpatrickov model evalvacije je v osnovi nastal za potrebe vrednotenja kakovosti, učinkovitosti in uspešnosti usposabljanja v poslovnem svetu in in- dustriji, pri čemer pa gre, kot pravita Bee in Bee (2003), verjetno za najpogo- steje uporabljen model. »Uporabnost modela izhaja iz tega, da ga lahko vza- memo kot diagnostičen proces ali pa kot sledenje (audit trail). [. . .] Vse ravni evalvacije so koristne, saj vsaka prispeva k oblikovanju celovite slike procesa« (Bee in Bee 2003, 141). Štiri ravni, na katerih temelji model, so: 1) reakcija, 2) učenje, 3) delovanje in 4) rezultati in jih je, kot kaže slika 5.1, moč povezati tudi s cilji oziroma načrtovanjem (Kirkpatrick in Kirkpatrick 2007; Chyung 2008). Model tako zajema vse od zadovoljstva udeležencev neposredno po končanem usposabljanju do rezultatov oziroma sprememb, ki se kot posledica usposab- ljanja kažejo na organizacijski ravni, torej v organizacijah, od koder prihajajo udeleženci. Pomembno je, da pri celoviti evalvaciji učinkovitosti usposablja- nja zajamemo vse ravni, saj so med seboj povezane. Tako spremembe v učenju (tj. prirast znanja in spretnosti) pripišemo usposabljanju le v primeru, da so udeleženci izrazili tudi zadovoljstvo z izvedbo usposabljanja (razumljivost te- matike, uporabnost tematike, ustrezna izvedba usposabljanja . . .). Prav tako sprememb v delovanju posameznikov na delovnem mestu ne moremo pove- zati z usposabljanjem, če pred tem ne ugotovimo, da so bili udeleženci z njim dejansko zadovoljni oziroma da so bili na usposabljanju doseženi pogoji, ki naj bi zagotavljali generiranje znanja ter da so dejansko tudi usvojili predvideno znanje in spretnosti. Pozitivne učinke na omenjenih treh ravneh lahko na če- trti ravni povežemo tudi s spremembami v delovanju na ravni organizacije. 96 5.1 Zasnova raziskave Cilji – načrtovanje Ravni evalvacije Kakšni so cilji organizacije za izboljšanje Rezultati delovanja? Ali je na ravni organizacije opazen rezultat? Kakšne spremembe pričakujemo Delovanje v delovanju oziroma kako morajo Ali in kako so posamezniki prenesli posamezniki v organizaciji biti sposobni, da pridobljeno znanje in spretnosti na svoje dosežemo zastavljene cilje? delovno mesto? Katero znanje spretnosti in kakšen odnos Učenje potrebujejo za delovanje skladno s cilji Ali so udeleženci pridobili potrebno znanje, organizacije? spretnosti in razvili primeren odnos? Reakcija Kaj morajo udeleženci dobiti, da bi se naučili Ali so udeleženci zadovoljni z izvedbo in izvajali? programa, so motivirani za učenje in delovanje? Slika 5.1 Načrtovanje in evalvacija usposabljanja na štirih ravneh (prirejeno po Kirkpatrick in Kirkpatrick 2007; Chyung 2008) Prva raven evalvacije (reakcija) se osredotoča na občutke udeležencev o usposabljanju. Ker model izhaja iz poslovnega sveta in industrije, je, kot na- vaja Guskey (2000, 55), »pomembno določiti, kako zadovoljni so s produktom (usposabljanjem), ki so ga prejeli«. Gre torej za »merila zadovoljstva uporabni- kov«, kar poudari njihov pomen in vrednost (Kirkpatrick in Kirkpatrick 2007, 24). Evalvacija na tej ravni je pomembna zato, da ugotovimo, ali so bili z uspo- sabljanjem zagotovljeni pogoji za doseganje učnih ciljev, kar se kasneje potem odraža na naslednjih ravneh. Pomembna je za pridobitev povratne informa- cije udeležencev o njihovih reakcijah, zadovoljstvu, motivaciji za učenje, za dopolnitev, spremembo ali nadgradnjo usposabljanja (sploh kadar ne gre le za enkraten dogodek), včasih pa tudi za odločitev o nadaljevanju usposab- ljanja nasploh. Zadovoljstvo z usposabljanjem oziroma reakcije udeležencev je relativno preprosto meriti, zato skoraj vsi, ki usposabljanja izvajajo, to tudi počnejo. Bee in Bee (1994) pravita, da obstaja precejšen skepticizem v zvezi z uporabnostjo tovrstne evalvacije in vprašalniki. Slaba stran evalvacije na tej ravni je namreč lahko, da izvajalcem zadovoljstvo udeležencev postane po- membnejše od dejanskega namena in ciljev usposabljanja (Bee in Bee 2003). Po našem mnenju smo izvajalci usposabljanj velikokrat (prevečkrat) tudi za- dovoljni že s pozitivno povratno informacijo udeležencev na tej ravni in samo na osnovi tega sklepamo, da so udeleženci pridobili predvideno znanje in spre- tnosti, ki so jih vnesli tudi v svojo prakso dela. 97 Zasnova raziskave in predstavitev raziskovalnih hipotez Druga raven evalvacije (učenje) »meri« a) pridobivanje znanja, b) usvajanje ali izboljšanje spretnosti in c) spremembo odnosa udeležencev kot rezultata udeležbe v usposabljanju oziroma kako učinkovito so bili doseženi učni cilji (Kirkpatrick in Kirkpatrick 2007; Guskey 2000). »Pomembno je meriti uče- nje, ker ne moremo pričakovati vedenjskih sprememb, če nismo dosegli enega ali več od omenjenih učnih ciljev« (Kirkpatrick in Kirkpatrick 2007, 47). Pri evalvaciji na tej ravni torej izhajamo iz jasno opredeljenih ciljev usposabljanja, potrebni so učinkoviti instrumentariji za evalvacijo, udeležencem usposabljanja mora biti jasno, s kakšnim namenom njihovo znanje, spretnosti in odnos merimo. Pomemben je poudarek, da prirasta znanja, spretnosti in oblikovanja odnosa ne moremo povezati z usposabljanjem, če predhodno (na prvi ravni evalvacije) nismo ugotovili, da so bili zagotovljeni pogoji za doseganje učnih ciljev. Na tretji ravni evalvacije ugotavljamo obseg sprememb v delovanju udele- žencev na njihovih delovnih mestih, torej »koliko in kakšne vrste spremembe so se dejansko zgodile v praksi« (Guskey 2000, 55). »Za večino programov usposabljanja je to najpomembnejša raven evalvacije« (Bee in Bee 1994, 233), zato je morda presenetljivo, da se redko izvaja sistematično oziroma »je najbolj zapostavljena. [. . .] Ugotavljamo, da učinkovita evalvacija na tretji ravni deluje kot spodbujevalec novih vedenj« (Kirkpatrick in Kirkpatrick 2007, 81). Če torej na tretji ravni ugotovimo spremembe na delovnem mestu, jih lahko pripišemo usposabljanju, če smo pred tem izmerili tudi prirast znanja in izboljšanje spre- tnosti (druga raven), pri čemer smo predhodno ugotovili še pozitivne reakcije udeležencev na izvedbo usposabljanja (prva raven). Četrta raven evalvacije (rezultati) predstavlja merjenje rezultatov, ki se od- ražajo v spremembah v delovanju na ravni organizacije (Kirkpatrick in Kir- kpatrick 2007). Bee in Bee (2003) npr. tretjo in četrto stopnjo združita v sto- pnjo delovanja, ker je evalvacija vpliva usposabljanja na delovanje posame- znika in preko tega na organizacijo dostikrat izpeljana istočasno. Problem, ki se pojavi, pa je dejansko dokazati, da so se spremembe na tej ravni zgodile prav zaradi določenega usposabljanja, na spremembe namreč vplivajo tudi drugi notranji in zunanji dejavniki, od motivacije posameznikov do organizacijskih struktur, postopkov, spodbud, ovir itd. Da bi torej spremembe v delovanju na ravni organizacije vsaj v določeni meri lahko pripisali tudi usposabljanju, mo- ramo pred tem upoštevati še prve tri ravni evalvacije. Kirkpatrickova zasnova evalvacije učinkovitosti usposabljanja je za nas pri- merna iz dveh razlogov. Prvič, usposabljanje u se, ki ga bomo evalvirali z vi- dika krepitve zmožnosti za samoevalvacijo, je namenjeno usposabljanju celo- tnih učiteljskih zborov za izvajanje in uporabo trajnostne in kakovostne samo- 98 5.2 Opredelitev in konceptualizacija hipotez evalvacije v šolah. S tega vidika torej ni pomembna samo izvedba usposablja- nja in prirast znanja in spretnosti udeležencev, pač pa predvsem spremembe v delovanju posameznikov in spremembe na ravni organizacije, kar pa omo- goča prav zasnova po Kirkpatricku in Kirkpatricku (2007). Samoevalvacija v našem kontekstu je namreč opredeljena kot organizacijska evalvacija, v katero so vključeni vsi učitelji v šoli. Drugič, usposabljanje u se, ki ga evalviramo, je bilo izvedeno prvič, celovitejša evalvacija na vseh štirih ravneh tako daje še pomembne informacije o učinkovitosti usposabljanja u se, ki je temeljna stra- tegija krepitve zmožnosti za samoevalvacijo pri razvoju sistema ugotavljanja in zagotavljanja kakovosti. V nadaljevanju po vsebinskih sklopih podrobneje predstavljamo hipoteze ter z njimi povezano operacionalizacijo odvisnih in neodvisnih spremenljivk, s pomočjo katerih bomo hipoteze preverili. 5.2 Opredelitev in konceptualizacija hipotez Skladno z vprašanjem Kako usposabljanje za samoevalvacijo prispeva h kre- pitvi zmožnosti za uvajanje in izvajanje trajnostne prakse samoevalvacije v šo- lah? in teoretičnimi izhodišči o krepitvi zmožnosti za evalvacijo (glej poglavje 3) smo izhajajoč iz predstavljenega modela evalvacije učinkovitosti usposab- ljanja oblikovali štiri vsebinske sklope in jih razvili v hipoteze, ki jih v nada- ljevanju predstavljamo. 5.2.1 Raziskovalne hipoteze Prvi vsebinski sklop izhaja iz predpostavke, da usposabljanje u se krepi zmož- nosti (znanje, spretnosti in odnos) vseh udeležencev za samoevalvacijo. To je pomembna predpostavka, saj je bilo usposabljanje izpeljano kaskadno, na dveh ravneh – na ravni tima za samoevalvacijo in na ravni učiteljskega zbora (glej poglavje 4.2). Hkrati so bili v usposabljanje vključeni udeleženci, ki imajo v samoevalvaciji različne vloge, tj. ravnatelji, člani timov za samoevalvacijo in učitelji. V okviru prvega vsebinskega sklopa Usposabljanje krepi zmožnosti za sa- moevalvacijo pri vseh udeležencih smo oblikovali pet hipotez. Prva hipoteza izhaja iz predpostavke, da so udeleženci z usposabljanjem izboljšali svoje znanje in spretnosti tj. zmožnosti za samoevalvacijo. h.1.1 Udeleženci imajo po usposabljanju boljše zmožnosti za samoevalvacijo kot pred usposabljanjem. Dalje predpostavljamo, da so ravnatelji in člani timov bolj okrepili svoje 99 Zasnova raziskave in predstavitev raziskovalnih hipotez zmožnosti za samoevalvacijo kot učitelji, saj so bili vključeni v delavnice na prvi kaskadni ravni usposabljanj u se, na katerih so posamezne vsebine, po- vezane s samoevalvacijo, obravnavali bolj podrobno. Hkrati s tem so morali ravnatelji in člani timov obravnavane vsebine prilagoditi in prenesti v prakso svojega okolja z izvajanjem delavnic za učiteljski zbor in vodenjem procesa samoevalvacije v svoji šoli. h.1.2 Ravnatelji in člani timov za samoevalvacijo so z usposabljanjem bolj okrepili zmožnosti za samoevalvacijo kot učitelji. Zanima nas tudi predpostavka, da za krepitev zmožnosti za samoevalvacijo z usposabljanjem u s e ni pomembna vrsta zavoda niti njegova velikost, ker gre za enotna izhodišča glede izvajanja samoevalvacije, ker je usposabljanje usmerjeno v podobno poslanstvo zavodov (učenje in poučevanje) na različnih ravneh in ker populacija zajema učitelje (profesionalce), ki so sposobni ne le prenosa znanja in spretnosti v lastno prakso, pač pa predvsem prilagoditve obravnavanih vsebin skladno s lastnim specifičnim kontekstom. h.1.3 Med posameznimi vrstami zavodov (vrtec, osnovna in srednja šola) ni pomembnih razlik v tem, koliko so okrepili zmožnosti za samoevalva- cijo. h.1.4 Med zavodi različnih velikosti ni pomembnih razlik v tem, koliko so okrepili zmožnosti za samoevalvacijo. V slovenskem šolskem prostoru obstajajo različni projekti in pristopi, ki so usmerjeni v kakovost v izobraževanju in v katere so bile ali so vključene različne šole (glej poglavje 2.3), tudi šole, ki so bile vključene v usposabljanje u se, ki ga obravnavamo. O posameznih pristopih po našem vedenju sicer ni podrobnejših študij, ki bi prikazovale rezultate in vpliv na delo oziroma kako- vost šol, kljub temu pa predpostavljamo, da imajo šole, ki so bile ali so trenutno vključene v različne projekte kakovosti, višjo raven predznanja, so bolj moti-virane in imajo bolj jasna pričakovanja, povezana z uvajanjem in izvajanjem samoevalvacije, kot šole, ki so bile vključene v manj projektov ali v nobenega. Skladno s tem predpostavljamo, da so šole z več izkušnjami v različnih pro- jektih bolj okrepile svoje zmožnosti za samoevalvacijo kot šole, ki v različne projekte niso (bile) vključene. h.1.5 Šole s predhodnimi izkušnjami z različnimi projekti kakovosti so bolj okrepile svoje zmožnosti za samoevalvacijo kot šole, ki teh izkušenj ni- majo. 100 5.2 Opredelitev in konceptualizacija hipotez Drugi vsebinski sklop je povezan z uspešnostjo usposabljanja na več ravneh. Ravni uspešnosti usposabljanja smo opredelili skladno z modelom evalvacije programov usposabljanja (Kirkpatrick in Kirkpatrick 2007; Guskey 2000), in sicer gre za (glej poglavje 5.1) 1) raven zadovoljstva udeležencev z usposablja- njem u se, 2) raven učenja oziroma pridobljenega znanja in spretnosti ter od- nosa udeležencev do samoevalvacije, 3) raven prenosa vsebin in pristopov v prakso udeležencev in 4) raven rezultatov, ki se kažejo v spremembah na ravni delovanja celotne organizacije, v našem primeru torej šole. Na osnovi lastnega zaznavanja izvedbe usposabljanja u se, glede na sprem- ljanje odzivov med usposabljanjem1 in neformalne razgovore z udeleženci predpostavljamo, da je bilo z zasnovo, vsebino in izvedbo usposabljanje uspe- šno na različnih ravneh. Tako smo oblikovali drugi vsebinski sklop Uspešnost usposabljanja za samoevalvacijo se hkrati kaže na različnih ravneh. V nadaljevanju smo izhajajoč iz različnih ravni uspešnosti usposabljanja oblikovali šest hipotez. Najprej, skladno s prvo ravnjo uspešnosti usposabljanja po izbranem mo- delu, tj. zadovoljstvo (Kirkpatrick in Kirkpatrick 2007) predpostavljamo, da so bili udeleženci na obeh kaskadnih ravneh usposabljanja u se z izvedbo, meto-dami in oblikami dela ter izvajalci usposabljanj zadovoljni. h.2.1 Udeleženci so z usposabljanjem v povprečju zadovoljni. Skladno z drugo ravnjo uspešnosti usposabljanja po izbranem modelu, tj. učenje (prav tam) dalje predpostavljamo, da so udeleženci usposabljanja u se na delavnicah in z vmesnimi aktivnostmi v okviru usposabljanja pridobili oziroma okrepili svoje znanje in spretnosti in da imajo do samoevalvacije po za- ključku usposabljanja pozitiven odnos. h.2.2 Udeleženci imajo po zaključku boljše znanje in spretnosti kot na za- četku usposabljanja ter pozitiven odnos do samoevalvacije. Skladno z tretjo ravnjo uspešnosti usposabljanja po izbranem modelu, tj. delovanje (prav tam) predpostavljamo, da so ravnatelji in člani timov za samo- evalvacijo, kot uvajalci in vodje samoevalvacije v šolah, vsebine, obravnavne v programu u se, in različne načine dela prenesli tudi v svoje siceršnje delo in prakso. 1 Neposredno po zaključku vsake posamezne delavnice so udeleženci na prvi kaskadni ravni (člani timov za samoevalvacijo) zapisali kratko refleksijo, ki je bila vezana na različne vidike, npr. vodenje delavnice, predvidena uporabnost vsebin, poudarki naučenega itd. Po vsaki delavnici na drugi kaskadni ravni v šolah so člani timov pripravili tudi kratko poročilo, v katerem so ocenili motiviranost udeležencev med in po delavnici (glej npr. Brejc 2011a). 101 Zasnova raziskave in predstavitev raziskovalnih hipotez h.2.3 Večina v usposabljanje vključenih ravnateljev in članov timov prido- bljeno znanje in spretnosti uporablja v lastni praksi delovanja. Iz četrte ravni uspešnosti usposabljanja po izbranem modelu, tj. rezultati (prav tam) izhaja še predpostavka, da se uspešnost usposabljanja kaže na ravni šol, torej sprememb v delovanju, ki jih udeleženci zaznavajo in presegajo de- lovanje na ravni posameznika. Tako smo oblikovali še naslednjo podhipotezo: h.2.4 Večina udeležencev po zaključku usposabljanja zaznava spremembe v delovanju njihovih šol povezane z uvajanjem samoevalvacije. Poleg omenjenih predpostavk nas je zanimala še povezanosti med različ- nimi ravnmi uspešnosti usposabljanja, ki jo predvideva tudi Kirkpatrickov model, ni pa sicer, kot ugotavljata Bee in Bee (2003), zaslediti veliko raziskav, ki bi povezavo teh ravni tudi dejansko preverjale. h.2.5 Obstaja pozitivna korelacija med zadovoljstvom z usposabljanjem in krepitvijo zmožnosti za samoevalvacijo. h.2.6 Obstaja pozitivna korelacija med zadovoljstvom z usposabljanjem in spremembami v delovanju na ravni šol, povezanih s samoevalvacijo. V nadaljevanju nas je zanimalo, ali zmožnosti šol za samoevalvacijo vpli- vajo na spremembe v delovanju na ravni šol, zato smo oblikovali tretji vse- binski sklop Krepitev zmožnosti za samoevalvacijo je povezana s spremembami v delovanju na ravni šol. Izhajamo iz izhodiščne predpostavke raziskovalnega problema, da je za uspešno samoevalvacijo pomembna krepitev zmožnosti, tako preverjamo hipotezi: h.3.1 Obstaja pozitivna korelacija med zmožnostmi za samoevalvacijo in spremembami v delovanju na ravni šol. h.3.1 Obstaja pozitivna koleracija med krepitvijo zmožnosti za samoevalva- cijo in rezultati (spremembami) v delovanju šol, povezanimi s samoe- valvacijo. Glede na zasnovo programa usposabljanja, v katerem so bili timi za samoe- valvacijo hkrati udeleženci usposabljanja, prenašalci vsebin (izvajalci usposab- ljanja na drugi kaskadni ravni) in načinov dela v svoje okolje (učiteljski zbor) ter tisti, ki so uvajali in vodili proces samoevalvacije v šolah, nas je zanimalo, kako uspešni so bili pri tem in kako je to povezano s spremembami v načinu delovanja šol. Oblikovali smo še četrti vsebinski sklop Tim za samoevalvacijo je pomemben člen pri prenosu vsebin usposabljanja za samoevalvacijo v prakso šol. Skladno s tem smo oblikovali tri hipoteze, in sicer: 102 5.2 Opredelitev in konceptualizacija hipotez Zadovoljstvo udeležencev z usposabljanjem ( ZADu) Uspešnost delovanja timov za samoevalvacijo ( DTu) Udeleženci (R, ČT in U) Vrsta zavoda Zmožnosti Krepitev udeležencev zmožnosti za za samoeval- samoevalva- Velikost zavoda vacijo ( ZSEu) cijo ( KZSEu) = znanje, = znanje in Udeležba šol v projek- spretnosti spretnosti tih kakovosti in odnos Udeležba v Mre r žah e Spremembe v delovanju na ravni šol ( SPREMu) Slika 5.2 Povezava med spremenljivkami h.4.1 Obstaja pozitivna korelacija med uspešnostjo delovanja tima in krepi- tvijo zmožnosti za samoevalvacijo v šolah. h.4.2 Obstaja pozitivna korelacija med uspešnostjo delovanja tima in rezul- tati (spremembami) v delovanju šol, povezanimi s samoevalvacijo. h.4.3 Med skupinami udeležencev ni statistično značilnih razlik pri (samo)o- ceni uspešnosti delovanja timov za samoevalvacijo. Za potrebe raziskave smo izhajajoč iz raziskovalnih hipotez opredelili ne- odvisne in odvisne spremenljivke ter preverjali obstoj povezav med njimi, kot kaže slika 5.2. V nadaljevanju predstavljamo konceptualizacijo in operaciona- lizacijo odvisnih in neodvisnih spremenljivk, pri čemer so odvisne spremen- ljivke latentne spremenljivke, saj imajo več pojavnih dimenzij in jih ni mogoče neposredno in preprosto meriti, zato jih opredeljujemo kot preproste indekse (DeVellis 2003). 5.2.2 Odvisne spremenljivke Glavni odvisni spremenljivki v raziskavi sta zmožnost udeležencev za samoe- valvacijo (zseu) in krepitev zmožnosti udeležencev za samoevalvacijo (kzseu). V naslednjih podpoglavjih predstavljamo njuno operacionalizacijo. 103 Zasnova raziskave in predstavitev raziskovalnih hipotez Zmožnost za samoevalvacijo (v nadaljevanju z se u), ki jo udeleženci oblikujejo in krepijo z usposabljanjem, smo opredelili kot povprečno vrednost vsote povprečne ocene znanja, spretnosti in odnosa do samoevalvacije pri vsakem udeležencu ob zaključku usposabljanja u se. z se u = ( x z n u + x spr u + x odn u) ÷ 3 (5.1) V nadaljevanju natančneje prikazujemo posamezne dimenzije zmožnosti za samoevalvacijo, ki smo jih opredelili na osnovi načrtovanih kompetenc pro- grama usposabljanja (Brejc 2011a), temeljnih izhodišč zasnove usposabljanja u se (Brejc in Koren 2011b), na osnovi teoretičnih izhodišč krepitve zmožnosti za evalvacijo (Preskill in Boyle 2008; Taylor-Powell in Boyd 2008; Cousins idr. 2008), načel kakovostne samoevalvacije (Vanhoof 2011; Vanhoof in Van Pete- gem 2010) in odnosa do samoevalvacije (Vanhoof 2009a): • znanje o samoevalvaciji ( x z n u), • spretnosti za samoevalvacijo ( x spr u), • odnos do samoevalvacije ( x odn u). Pri podrobnejši opredelitvi elementov znanja in spretnosti smo izhajali tudi iz pregleda različnih naborov kompetenc evalvatorjev in literature s področja krepitve zmožnosti za evalvacijo ter usposabljanj za evalvacijo (King idr. 2001; Stevahn idr. 2005; Trevisan 2004; Mertens 1994; Yarbrough idr. 2011; Beywl in Harich 2007; McDonald in Myrick 2008; Stufflebeam in Wingate 2005; Dewey idr. 2008; Preskill in Boyle 2008; Compton, Baizerman in Stockdill 2002; Preskill in Russ-Eft 2005). Pri pregledu nabora kompetenc evalvator- jev smo ugotovili, da gre v praktično vseh primerih za nabor kompetenc, ki jih potrebujejo profesionalni evalvatorji, ki se z evalvacijo profesionalno (po- klicno) ukvarjajo, so v večini primerov zunanji evalvatorji ali pa je njihova in- terna naloga v organizaciji izvajanje programskih evalvacij (Volkov in Baron 2011). Skratka nabor kompetenc ne izhaja iz konteksta institucionalne eval- vacije ali še konkretneje samoevalvacije v šolah. V literaturi tako zasledimo kompetence, ki so najprej razdeljene na več vsebinskih področjih in nato še podrobneje opredeljene (Caspari 2009; Stevahn idr. 2005), kot npr. teorija in zgodovina evalvacije, metodološko znanje in spretnosti oziroma sistematično poizvedovanje/raziskovanje, predmetno-specifična znanja oziroma situacijska analiza in projektno vodenje, socialne in osebne kompetence oziroma profesi- onalno delovanje, evalvacijska praksa oziroma reflektivna praksa. V vseh pri- merih opredeljenih kompetenc so precej poudarjene prav metodološke kom- petence, kot npr. znanje o kvantitativnih in kvalitativnih metodah zbiranja po- 104 5.2 Opredelitev in konceptualizacija hipotez datkov, uporaba mešanih metod, priprava instrumentarijev, oblikovanje razi- skovalnih oziroma evalvacijskih vprašanj, zbiranje podatkov, veljavnost in za- nesljivost zbranih podatkov itd. Pri razmisleku o znanju in spretnostih, ki jih ravnatelji in učitelji v šolah potrebujejo za samoevalvacijo in so tudi osnova za opredelitev ZsE, smo iz- hajali iz opredeljenega znanja in spretnosti, ki so nastale ob razvoju programa usposabljanja u se. Izhajajoč iz temeljnih izhodišč pri razvoju sistema samo- evalvacije (Koren in Brejc 2011b) in v programu usposabljanja opredeljenega znanja in spretnosti (Brejc 2011a) smo tako opredelili nabor znanja in spretno- sti, ki zajema proces uvajanja izboljšav in samoevalvacije. Nabor je ubeseden tako, kot je bil za namene raziskovanja uporabljen tudi v vprašalniku. Pri opredelitvi nabora znanja in spretnosti posebej ne poudarjamo izrazito specifičnih metodoloških znanj (npr. poznavanje in uporaba različnih stati- stičnih orodij), saj učitelji v šolah niso profesionalni evalvatorji ali izvajalci evalvacijskih študij in raziskav. Prav tako je po našem mnenju precej verjetno, da bi s prevelikim poudarkom na metodoloških znanjih samoevalvaciji pripisali preveliko zahtevnost in »znanstvenost« kot jo za izvajanje v šolah po- trebujejo in tako morda pri učiteljih okrepili občutek strahu in pomanjkanja znanja in spretnosti za zbiranje in uporabo podatkov, ki se po naših izkušnjah kaže v praksi pa tudi v literaturi (Earl in Katz 2006; Earl, Lai in Schildkamp 2012). Za izvajanje samoevalvacije v šolah prav tako, po našem mnenju, ni nujno potrebno poglobljeno znanje o različnih teorijah in modelih ter zgodo- vini evalvacije. Ker gre za pridobivanje znanja in spretnosti, ki naj bi šolam oziroma ravnateljem in učiteljem pomagala pri kakovostnejšemu spremljanju in vrednotenju določenih vidikov svojega dela, v že znanem okolju, s predvi- doma ustaljenim načinom medsebojnih odnosov, delovanja in komunikacije, tudi socialne kompetence niso posebej izpostavljene. Znanje o samoevalvaciji za namen raziskovanja opredeljujemo kot pov- prečno vrednost vsote ocen posameznega elementa znanja: x z n u = (z n1 + zn2 + . . . + zn9) ÷ 9 (5.2) Spretnosti za samoevalvacijo opredeljujemo kot povprečno vrednost vsote ocen posameznih spretnosti: x spr u = (spr1 + spr2 + · · · + spr14) ÷ 14 (5.3) V nadaljevanju predstavljamo še tretjo dimenzijo odvisne spremenljivke z s e u, in sicer odnos do samoevalvacije ( x odn u). Kot smo že zapisali (glej poglavje 2.2.1), raziskave sicer kažejo, da je odnos učiteljev in ravnateljev do 105 Zasnova raziskave in predstavitev raziskovalnih hipotez Preglednica 5.1 Znanje in spretnosti za samoevalvacijo v šolah Znanje Razumevanje pomena odgovornosti vsakega posameznika za kakovost. Razumevanje pomena skupnih prepričanj in predanosti samoevalvaciji v šoli. Razumevanje pomena vsešolskega pristopa (vključenosti in sodelovanja vseh strokovnih delavcev). Poznavanje povezave med prednostnim področjem, izbranimi cilji, dejavnostmi in pričakovanimi dosežki. Vedenje, da mora biti samoevalvacija usmerjena, načrtovana in sistematična dejavnost. Vedenje, da ugotovitve samoevalvacije prispevajo h kakovosti odločanja na ravni šole, vrtca in posameznika. Vedenje, da je pri uvajanju samoevalvacije potrebno upoštevati njene omejitve. Poznavanje prednosti in omejitev različnih načinov zbiranja kvalitativnih in kvantitativnih podatkov. Poznavanje pomena vključevanja različnih deležnikov v proces samoevalvacije. Spretnosti Sposobnost usmerjanja izboljšav pri svojem delu v skupne prioritetne cilje na ravni šole, vrtca. Sposobnost načrtovanja samoevalvacije. Sposobnost priprave načrta izboljšav. Sposobnost prepoznavanja prioritete izboljšav in določanja ciljev. Sposobnost določanja dejavnosti za doseganje izbranih ciljev. Sposobnost oblikovanja meril za spremljanje doseganja ciljev. Sposobnost načrtovanja spremljave izvedbe dejavnosti za doseganje izbranih ciljev. Sposobnost izbire ustreznega načina zbiranja kvalitativnih in kvantitativnih podatkov. Sposobnost vključevanja različnih deležnikov (učencev, staršev, idr.) v uvajanje izboljšav in samoevalvacijo. Sposobnost analiziranja in interpretacije podatkov ter oblikovanje ugotovitev. Sposobnost kritičnega ovrednotenja in osmislitve svojega dela (refleksija). Sposobnost priprave samoevalvacijskega poročila. Sposobnost uporabe zbranih podatkov za ukrepanje in nadaljnje načrtovanje izboljšav. Sposobnost prenašanja znanja o samoevalvaciji na druge strokovne delavce. samoevalvacije v osnovi pozitiven, v raziskavo pa smo ga vključili, ker tudi na osnovi te dimenzije opredeljujemo zmožnost posameznika za samoevalvacijo. Razsežnosti odnosa do samoevalvacije smo oblikovali na osnovi spoznanj iz literature in tujih raziskav (Vanhoof 2009a; Compton, Baizerman in Stockdill 2002), ter na osnovi slovenskega konteksta samoevalvacije v šolah in sistema samoevalvacije, ki je v razvoju v projektu k v i z (Koren in Brejc 2011b; Zava- šnik Arčnik in Gradišnik 2011). Odnos do samoevalvacije opredeljujemo kot povprečno vrednost vsote ocen posamezne razsežnosti, ki so navedene v preglednici 5.2: 106 5.2 Opredelitev in konceptualizacija hipotez Preglednica 5.2 Razsežnosti odnosa do samoevalvacije Samoevalvacija se izvaja zaradi izpolnjevanja Samoevalvacija se izvaja z namenom določila z o f v i-u pb 5. izboljševanja šole, vrtca. Samoevalvacija pomeni ocenjevanje in Samoevalvacija predstavlja pomembno rangiranje. povratno informacijo šoli, vrtcu. Samoevalvacija je enkratni dogodek, projekt. Samoevalvacija je proces. Samoevalvacija je usmerjena v preteklost. Samoevalvacija usmerja v prihodnost. Samoevalvacija je namenjena primerjavi z Samoevalvacija je namenjena spremljanju drugimi šolami, vrtci. izboljševanja in trendov znotraj šole, vrtca. Samoevalvacija je za vse šole in vrtce enaka. Samoevalvacija je prilagojena posamezni šoli, vrtcu. Samoevalvacijo izvede ravnatelj. Samoevalvacija vključuje vse strokovne delavce. Samoevalvacija pomeni nadzor in inšpekcijo. Samoevalvacija je pristop k izboljševanju kakovosti v šoli, vrtcu. Samoevalvacija ne prispeva h kakovosti Samoevalvacija prispeva h kakovosti učenja učenja in poučevanja. in poučevanja. Samoevalvacija ne vpliva na vodenje. Samoevalvacija vpliva na vodenje. Samoevalvacija je subjektivna in nezanesljiva. Samoevalvacija je objektivna in zanesljiva. Samoevalvacija ni pozitivno sprejeta pri Samoevalvacija je pozitivno sprejeta pri večini strokovnih delavcev. večini strokovnih delavcev. Nadaljevanje na naslednji strani x odn u = (odn1 + odn2 + · · · + odn21) ÷ 21 (5.4) Pri tem nas bo zanimalo predvsem h katerim razsežnostim – levo ali desno – se ravnatelji in učitelji bolj nagibajo. Izhajajoč iz zasnove samoevalvacije kot pozitiven odnos opredeljujemo trditve zapisane na desni strani. Krepitev zmožnosti za samoevalvacijo. Druga odvisna spremenljivka v raziskavi je krepitev zmožnosti za samoevalvacijo (k z seu). Opredeljujemo jo kot povprečje vsote razlik ( df ), ki se pri posameznem udeležencu usposabljanja kaže v znanju in spretnostih pred in po usposabljanju: k z se u = (( x z n u − x predzn u) + ( x spr u − x predspr u)) ÷ 2 = ( df zn + df spr) ÷ 2 (5.5) V opredelitev k z se u ni zajeta dimenzija odnosa do samoevalvacije. Pred- postavljamo namreč, da pomembnejših razlik v odnosu do samoevalvacije pred in po usposabljanju ni. Predpostavka temelji na dejstvu, da so se v uspo- sabljanje u s e šole vključile prostovoljno, kar pomeni, da so določen (pozi- tiven) odnos do samoevalvacije udeleženci že imeli. Praksa dela s šolami in 107 Zasnova raziskave in predstavitev raziskovalnih hipotez Preglednica 5.2 Nadaljevanje s prejšnje strani Večina strokovnih delavcev ni sposobna Večina strokovnih delavcev je sposobna izvajati samoevalvacije brez dodatnega izvajati samoevalvacijo brez dodatnega usposabljanja. usposabljanja. Samoevalvacija je zahtevna za izvajanje. Samoevalvacije ni težko izvajati. Samoevalvacija ne pove nič novega. Samoevalvacija nas veliko nauči. Samoevalvacija vzame veliko časa. Samoevalvacija ne vzame veliko časa. Samoevalvacija temelji na vnaprej določenih Samoevalvacija temelji na izbranih ciljih in kazalnikih, ki jih oblikuje država. kazalnikih, ki jih šola ali vrtec izbere in določi sam. Samoevalvacija je »posnetek« delovanja šole, Samoevalvacija prikazuje razvoj šole, vrtca. vrtca. Samoevalvacija ne vpliva na odzivnost šol, S samoevalvacijo se šola, vrtec učinkoviteje vrtcev na spremembe. prilagaja spremembam. O samoevalvaciji ni potrebno pridobivati O samoevalvaciji je potrebno nenehno novih znanj in spretnosti. pridobivati nova znanja in spretnosti. V samoevalvacijo ni vredno vlagati časa in V samoevalvacijo je vredno vlagati čas in virov. vire. rezultati nekaterih raziskav (glej npr. Vanhoof 2009a) tudi kažejo, da je odnos ravnateljev in učiteljev v šolah do samoevalvacije načeloma pozitiven. Za potrebe raziskave smo izhajajoč iz raziskovalnih hipotez, skladno z iz- branim modelom evalvacije (Kirkpatrick in Kirkpatrick 2007) in oblikovanim modelom spremenljivk (glej sliko 5.2) oblikovali še naslednje odvisne spre- menljivke, ki po našem mnenju bodisi vplivajo na glavni odvisni spremenljivki oziroma se kažejo kot rezultat vpliva glavnih odvisnih spremenljivk z se u in k z s e u: • zadovoljstvo udeležencev z usposabljanjem (v nadaljevanju z ad u), • uspešnost delovanja tima za samoevalvacijo (v nadaljevanju dt šola), • spremembe v delovanju šol (v nadaljevanju spre m šola). Zadovoljstvo udeležencev, uspešnost timov in spremembe na ravni šol. Za konceptualizacijo in operacionalizacijo zadovoljstva udeležencev smo izhajali iz teoretičnih izhodišč (Kirkpatrick in Kirkpatrick 2007; Guskey 2000), ele- mente smo opredelili skladno z zasnovo trajanja in izvedbe programa uspo- sabljanja (Brejc 2011a), zanimala nas je ocena uporabnosti obravnavanih vse- bin in odnos med izvajalci in udeleženci usposabljanja. Zadovoljstvo udeležencev z usposabljanjem u se (z a du) opredeljujemo kot povprečno vrednost vsote ocene različnih elementov izvedbe usposabljanja, ki so ubesedeni tako kot so uporabljeni v anketnem vprašalniku: 108 5.2 Opredelitev in konceptualizacija hipotez Preglednica 5.3 Elementi zadovoljstva udeležencev z izvedbo usposabljanja Splošna ocena delavnic. Časovna razporeditev delavnic. Trajanje delavnic. Sodelovanje udeležencev na delavnicah (odzivnost, izmenjava izkušenj itd.). Uporabnost vsebin za uvajanje izboljšav in procesa samoevalvacije v šoli, vrtcu. Splošna ocena dela izvajalcev usposabljanja. Spodbujanje udeležencev za samoevalvacijo. Usmerjanje udeležencev pri samoevalvaciji. Dostopnost udeležencev za vprašanja in dileme pri samoevalvaciji. Preglednica 5.4 Elementi uspešnosti delovanja tima za samoevalvacijo Splošna ocena dela tima za samoevalvacijo. Spodbujanje strokovnih delavcev za samoevalvacijo. Usmerjanje strokovnih delavcev pri samoevalvaciji. Dostopnost strokovnim delavcem za vprašanja in dileme pri samoevalvaciji. z a d u = ( x z a d1 + x z a d2 + · · · + x z a d n) ÷ n (5.6) Eden od pomembnih dejavnikov pri uvajanju in vodenju izboljšav in samo- evalvacije ter krepitvi zmožnosti za samoevalvacijo na ravni šole je delovanje tima za samoevalvacijo. Raziskave namreč kažejo, da v organizaciji mora biti posameznik ali skupina, ki je za evalvacijo odgovorna (glej npr. García-Iriarte idr. 2011). Tako smo opredelili nekaj elementov, ki so po našem mnenju ključni za uspešnost njihovega delovanja in izhajajo iz vloge, ki so jo timi pri prenosu usposabljanja in vodenju samoevalvacije v svojih šolah imeli. Uspešnost delovanja tima za samoevalvacijo (dtu) opredeljujemo kot pov- prečno vrednost vsote v preglednici 5.4 navedenih elementov: dt u = ( x dt u 1 + x dt u 2 + · · · + x dt un) ÷ n (5.7) Uspešnosti usposabljanja po Kirkpatricku (Kirkpatrick in Kirkpatrick 2007) se kaže tudi na ravni rezultatov oziroma sprememb v delovanju šol, poveza- nih z uvajanjem procesa samoevalvacije. Nabor sprememb v delovanju šole smo opredelili na osnovi načrtovanih kompetenc usposabljanja (Brejc 2011a), temeljnih izhodišč zasnove usposabljanja (Brejc in Koren 2011b) ter na osnovi pregleda znanstvene in strokovne literature ter primerov dobrih praks, po- vezanih z uvajanjem izboljšav in samoevalvacije (Erčulj in Trunk Širca 2000; MacBeath 1999; 2006; MacBeath idr. 2000; Medveš 2000; 2002; Musek Lešnik in Bergant 2001; Brejc, Jurič in Širok 2008; Nevo 2001; Vanhoof 2011; Schol- laert 2003; Meuret 2003; Hopkins 2005; Možina 2007; Rustja, Gajgar in Požar Matijasic 2008). 109 Zasnova raziskave in predstavitev raziskovalnih hipotez Preglednica 5.5 Spremembe v delovanju šol Bolj sistematično spremljamo in vrednotimo svoje delo. Večina strokovnih delavcev vidi samoevalvacijo le kot dodatno papirnato delo. Smo ravnatelj, tim in strokovni delavci dodatno časovno obremenjeni. Si pogosteje izmenjujemo primere dobre prakse na področju učenja in poučevanja. Si pogosteje zastavljamo vprašanja »Kako dobro delamo? Kaj deluje? Kaj in kako bi lahko izboljšali?« V učiteljskem, vzgojiteljskem zboru pogosteje strokovno razpravljamo. Pogosteje uporabljamo kvalitativne in kvantitativne podatke in se odločamo na njihovi osnovi. So se zaradi morebitnih »neugodnih rezultatov« okrepile napetosti med zaposlenimi. Ugotovitve samoevalvacije uporabljamo za načrtovanje izboljšav v šoli, vrtcu. So se pokazale pomanjkljivosti v znanju in spretnostih strokovnih delavcev, povezane z zbiranjem, analizo in uporabo podatkov. Smo okrepili profesionalni razvoj vseh strokovnih delavcev na področju samoevalvacije. Smo strokovni delavci motivirani za uvajanje izboljšav. Strokovni delavci prevzemamo odgovornost za kakovost procesov učenja in poučevanja. Je zaradi dodatnih aktivnosti upadla motivacija strokovnih delavcev za uvajanje izboljšav. Je vodenje na šoli bolj distribuirano, sodelovalno. So pomembno vlogo pri načrtovanju in uvajanju izboljšav prevzeli aktivi ali druge skupine. Smo izboljšali dosežke učencev na izbranih prioritetnih ciljih. Smo izboljšali sodelovanje z deležniki. Namenjamo izboljšavam dovolj časa in virov. Spremembe v delovanju na ravni šol smo opredelili kot vsoto povprečnih ocen sprememb, kot jih zaznavajo ravnatelji, člani timov in strokovni delavci: spre m šola = ( x spre mr + x spremt + x spremsd) ÷ 3 (5.8) V nadaljevanju predstavljamo še neodvisne spremenljivke, ki jih uporab- ljamo za predstavitev vzorca in analizo podatkov skladno s postavljenimi hi- potezami. 5.2.3 Neodvisne spremenljivke Za potrebe raziskave skladno s postavljenimi raziskovalnimi hipotezami opre- deljujemo naslednje neodvisne spremenljivke: • Spol: moški (m), ženski (ž). • Vrsta udeležencev: skladno z zasnovo usposabljanja u s e in načinom uvajanja samoevalvacije v šolah smo anketne vprašalnike pripravili za tri skupine anketirancev: ravnatelj (r), član tima za samoevalvacijo (t) in učitelj (u). • Vrsta zavoda: vrtec (v), osnovna šola (oš), gimnazija (g), poklicna, stro-110 5.3 Opis procesa raziskovanja kovna oziroma tehniška šola (p s š) in dijaški dom (d d). Ker gre v pri- meru vseh zavodov s področja srednjega šolstva za majhno število (14), smo zavode za potrebe analize podatkov združili v enotno skupino sre- dnje šole (s š). • Velikost šole smo opredelili glede na število strokovnih delavcev, saj je z vidika usposabljanja in uvajanja samoevalvacije to podatek, ki nam lahko pokaže potencialno statistično razliko v krepitvi zmožnosti za sa- moevalvacijo. Za potrebe analize podatkov smo zavode po velikosti raz- delili v 3 skupine, in sicer 1–40, 41–80 in 81. • Sodelovanje zavoda v projektih kakovosti. Sodelovanje smo opredelili tako, da smo navedli projekte oziroma programe, ki so povezani z uva- janjem kakovosti v izobraževanju in ki so se oziroma se trenutno iz- vajajo v slovenskem šolskem prostoru, in sicer: Ogledalo, Modro oko, Kakovost v vrtcih, Ugotavljanje in zagotavljanje kakovosti v poklicnem in strokovnem izobraževanju, Munus, Ponudimo odraslim kakovostno izo- braževanje, Mreže učečih se šol in Kakovost za prihodnost izobraževanja. Predvideli smo tudi dodaten, prosti vpis kateregakoli drugega projekta s področja kakovosti, ki se ga je zavod udeležil ali morda vodil sam. Ude- ležbo v različnih projektih smo za potrebe analize podatkov prešteli in zavode razdelili v skupine od 0 do 4 udeležbe v različnih projektih. • Sodelovanje v projektu Mreže učečih se šol. Ker zasnova usposabljanja uSE deloma izhaja iz izkušenj v projektu Mreže učečih se šol (Erčulj in Trunk Širca 2000), nas je zanimalo, ali so med šolami statistično zna- čilne razlike glede na to, ali so v Mrežah sodelovale oziroma sodelujejo ali ne. 5.3 Opis procesa raziskovanja Za osrednji namen raziskave, preveriti kako se k z se preko usposabljanja u se odraža v praksi izbranih šol v Sloveniji, je uporabljeno anketna raziskava z uporabo pisnega vprašalnika. Predmet raziskave je v slovenskem prostoru ne- raziskan, prav tako pregled literature kaže, da je empiričnih raziskav, predvsem kvantitativnih o k z e, malo (Labin idr. 2012), o k z s e pa jih po našem vedenju sploh ni. V procesu raziskovanja uporabljen vprašalnik je tako sestavljen pri- marno za potrebe naše raziskave, saj s pregledom literature in obstoječih raz- iskav nismo našli ustreznega instrumentarija, ki bi ga v celoti ali delno lahko uporabili. Izdelava vprašalnika je potekala samostojno, na osnovi vprašanja Kako usposabljanje za samoevalvacijo prispeva h krepitvi zmožnosti za uvajanje in izvajanje trajnostne prakse samoevalvacije v šolah? in opredeljenih razisko-111 Zasnova raziskave in predstavitev raziskovalnih hipotez valnih hipotez, ki izhajajo iz pregleda literature in zasnove usposabljanja u se ter izbranega modela evalvacije učinkovitosti usposabljanja. Vprašalnik, pri katerem so upoštevane usmeritve za pripravo (Flere 2000; Babbie 2007; Easterby-Smith, Thorpe in Lowe 2005; Neuman 2006) je sesta- vljen iz vprašanj pretežno zaprtega tipa, kar omogoča lažje zbiranje, obdelavo in analizo podatkov, poleg tega so takšni vprašalniki pri anketirancih nače- loma bolj priljubljeni. Da pa bi se vendarle izognili zgolj umeščanju odgovo- rov anketirancev v naprej opredeljene možnosti, smo dodali nekaj vprašanj, ki zahtevajo odprti odgovor oziroma ponujajo možnost dodatnega mnenja glede posameznega sklopa vprašanj. Vprašanja so oblikovana po naslednjih sklopih: • podatki o udeležencih in zavodih, • izvedba, metode in izvajalci usposabljanja, • delovanje tima za samoevalvacijo, • rezultati (spremembe) v delovanju šol, • usposobljenost udeležencev za samoevalvacijo in • odnos do samoevalvacije. Opredeljeni sklopi vprašanj služijo kot osnova za proučitev k z se, ki je v osnovi latentna spremenljivka, in je ni mogoče neposredno meriti. Eden od načinov merjenja je preverjanje stališč udeležencev na stopenjski lestvici z uporabo vprašalnikov, ena najpogosteje uporabljenih enodimenzionalnih le- stvic v družboslovnih raziskavah pa je Likertova lestvica, ki se jo uporablja za merjenje mnenj, prepričanj ter vedenja (Babbie 2007; Neuman 2006). Liker- tovo lestvico sestavlja nabor trditev, ki merijo določen konstrukt. Anketiranci na lestvici ocenjujejo svojo naravnanost in jakost do posamezne trditve, do ka- kšne mere se z njo strinjajo oziroma ne strinjajo. Vrednosti, ki so definirane na ordinalni lestvici, so točno določene in opredeljene na sodem ali lihem številu stopenj. Pri mnenjskih vprašanjih so anketiranci v naši raziskavi vnaprej oprede- ljene trditve označevali na šeststopenjski Likertovi lestvici. Odločili smo se za 6-stopenjsko lestvico, s katero smo anketirancem omogočili dovolj širok raz- pon ocen, hkrati pa so se morali opredeliti. V vprašalniku smo uporabili na- slednje kategorije, ki smo jih ustrezno prilagodili glede na vsebino zastavljenih trditev (DeVellis 2003). Večina vprašanj za različne skupine anketiranih (rav- natelji, člani timov za samoevalvacijo in učitelji) je enakih, s čimer je omogo- čena še možnost primerjave in soočenja različnih mnenj in izkušenj oziroma iskanje morebitnih statistično pomembnih razlik med udeleženci in zavodi. Razlike v vprašalnikih izhajajo iz različnih vlog, ki so jih posamezne skupine anketiranih imele pri usposabljanju in izvajanju samoevalvacije v šolah. 112 5.4 Predstavitev vzorca – viri podatkov Preglednica 5.6 Opredelitev kategorij pri mnenjskih vprašanjih 1 2 3 4 5 6 Se sploh ne Se večinoma Se delno ne Se delno Se večinoma Se popolno- strinjam ne strinjam strinjam strinjam strinjam ma strinjam Zelo slabo Večinoma Delno slabo Delno dobro Večinoma Zelo dobro slabo dobro Prvo različico pripravljenih vprašalnikov smo novembra 2010 poslali rav- nateljem treh šol, ki so sodelovale v usposabljanju in jih prosili, da jih kot udeleženci usposabljanja izpolnijo ter si zabeležijo, koliko časa so za izpol- njevanje porabili in morebitne druge komentarje o dolžini vprašalnika, jasno- sti in nedvoumnosti zastavljenih vprašanj, primernosti vprašanj za obravna- vano vsebino in opredeljene skupine anketirancev itd. Kot namreč ugotavljajo Easterby-Smith, Thorpe in Lowe (2005, 168), »vselej koristi, če vprašalnik naj- prej preskusimo na majhnem številu ljudi, preden ga uporabimo zares. To nam omogoči, da preverimo, ali so postavke razumljive in ali ni očitnih problemov, povezanih z dolžino, vrstnim redom vprašanj, občutljivimi postavkami itd.« Po tem smo se z ravnatelji osebno srečali in skupaj razpravljali o vsebini in zasnovi vprašalnika. Ravnatelji pomembnejših pripomb na pripravljen vpra- šalnik niso imeli. V nadaljevanju smo ga dopolnili s prebesedenjem nekaterih trditev. Končno različico vprašalnikov smo ravnateljem in članom timov vseh vključenih šol posredovali na zadnji delavnici v okviru usposabljanja u s e decembra 2010. Za vsako v usposabljanje vključeno šolo smo pripravili ku- verto z določenim številom natisnjenih vprašalnikov ter zapisanimi navodili za izpolnjevanje vprašalnikov in prošnjo, da izpolnjene vprašalnike vrnejo po pošti najkasneje do začetka februarja 2011. Anketiranci so tako imeli še svež spomin na usposabljanje u se, hkrati pa so lahko ocenili tudi prenos obrav- navanih vsebin v lastno prakso in delo šole ter prirast lastnega znanja in spre- tnosti za izvajanje samoevalvacije. Za tiskano različico anketnih vprašalnikov smo se odločili, ker smo želeli zagotoviti višjo stopnjo vrnjenih vprašalnikov. Ravnatelje in člane timov smo pri tem tudi neposredno nagovorili. Glede na hiter odziv in število vrnjenih vprašalnikov, udeležencev ni bilo potrebno po- novno nagovarjati ali opominjati oziroma prositi, da vprašalnike izpolnijo in pošljejo. 5.4 Predstavitev vzorca – viri podatkov V usposabljanje u se kot temeljno strategijo k z se v šolah, ki jo v empiričnem delu raziskujemo, je bilo v projektu u k v i z v obdobju 2009 do 2011 vključe- 113 Zasnova raziskave in predstavitev raziskovalnih hipotez nih 4164 udeležencev iz 71 šol (Brejc 2011a). V usposabljanje so bili vključeni vodstveni in strokovni delavci 71 zavodov, od tega 14 vrtcev, 40 osnovnih in 17 srednjih šol, ki so se v usposabljanje vključili prostovoljno, na osnovi javno objavljenega razpisa.2 Usposabljanje je potekalo kaskadno na dveh ravneh – na ravni timov za samoevalvacijo in na ravni učiteljskih zborov (glej poglavje 4.2). Udeleženci usposabljanja so v raziskavi razdeljeni v tri skupine anketiran- cev, in sicer so to 1) ravnatelji, 2) člani timov za samoevalvacijo in 3) učite- lji vključenih šol. Pri razdelitvi v skupine smo upoštevali vlogo, ki jo vsaka od skupin odigra v procesu samoevalvacije, za namen podrobnejše obravnave usposabljanj pa smo upoštevali tudi kaskadno raven, na kateri je usposablja- nje za posamezno skupino udeležencev potekalo, in sicer 1) raven timov za samoevalvacijo in 2) raven učiteljskih zborov. V raziskavi so zajeti vsi (71) ravnatelji in vsi (141) člani timov za samoe- valvacijo v usposabljanje vključenih šol. Glede na število učiteljev v usposa- bljanju (skupaj 3952) smo se odločili, da jih bomo vključili približno 30 , pri čemer smo oblikovali sistematični vzorec, ki zajame izbor vsake n-te enote znotraj izbrane populacije (Guest in Mitchell 2013, 55; Vogt, Gardner, in Haeffele 2012, 124). Vzorec smo oblikovali tako, da smo zajeli vsakega tretjega učitelja vsake v usposabljanje vključene šole, ki je sodeloval na usposabljanju use in pri uvajanju samoevalvacije, in sicer po abecednem seznamu priimkov, kar predstavlja naš »okvir vzorčenja« (Vogt, Gardner in Haeffele 2012, 124). Na takšen način smo v vzorčenje dejansko zajeli populacijo učiteljev v usposablja- nju u se in zmanjšali možnost vzorčne napake (angl. bias), ki se pri vzorčenju s pomočjo seznamov lahko zgodi, če so le-ti npr. nepopolni ali so na seznamu posamezniki, ki niso več del populacije (Vogt, Gardner in Haeffele 2012). Šte- vilo anketiranih učiteljev se je med šolami glede na velikost učiteljskega zbora razlikovalo, skupaj je bilo v vzorec zajetih 1024 učiteljev. Od 1236 posredovanih vprašalnikov smo prejeli 1145 ali 92,6  izpolnjenih vprašalnikov. Stopnja odzivnosti kaže na dobro strategijo izvedbe anketne raz- iskave. K visokemu deležu izpolnjenih vprašalnikov je po našem mnenju pri- spevalo dejstvo, da smo vprašalnike ravnateljem in članom timov posredovali na zadnji delavnici v okviru usposabljanja u se in jih pri tem tudi neposredno nagovorili. Ob tem naj izpostavimo, da izpolnjevanje vprašalnikov ni bil ob- vezen del usposabljanja in ni vplivalo na pogojevanje opravljene aktivnosti ali 2 Na razpis se je sicer prijavilo 154 zavodov, pri izboru zavodov za udeležbo v prvem ciklu usposabljanja so bili upoštevani različni kriteriji, kot npr. pokritost različnih ravni izobraževanja, regijska zastopanost, velikost in vrsta zavodov (Brejc 2011a). 114 5.5 Analiza podatkov Preglednica 5.7 Število sodelujočih v raziskavi in delež izpolnjenih anket Skupina (1) (2) (3) (4) Ravnatelji 71 71 64 90,0  Člani timov 141 141 132 93,6  Učitelji 3952 1024 950 92,8  Skupaj 4146 1236 1145 92,6  Naslovi stolpcev: (1) populacija, (2) vzorec v raziskavi, (3) število izpolnjenih vprašalnikov, (4) delež izpolnjenih vprašalnikov. izdajo potrdil udeležencem. Morda je k velikemu številu izpolnjenih vprašal- nikov prispevala tudi sama vsebina usposabljanja, saj so bili udeleženci redno spodbujani k refleksiji, ena od obravnavanih vsebin pa je bilo tudi zbiranje podatkov, izpolnjevanje vprašalnikov itd. 5.5 Analiza podatkov Podatki izpolnjenih vprašalnikov so analizirani s programskim paketom spss, uporabljena je bivariatna statistična analiza z grafičnimi prikazi podatkov. Po- vezanost spremenljivk ugotavljamo s Pearsonovim oziroma s Spearmanovim korelacijskim koeficientom, ki ga uporabljamo, kadar vrednosti obravnavanih spremenljivk niso normalno porazdeljene (Field 2005). Ker smo vnaprej pred- videli naravo odnosa med posameznimi spremenljivkami za preučitev hipotez uporabljamo enostranski test (sig. 1-tailed). Pri interpretaciji podatkov o med- sebojni povezanosti spremenljivk smo upoštevali tudi opozorila, ki jih v zvezi z vzročnostjo navaja Field (2005, 127–128). Previdnost je namreč potrebna iz dveh razlogov, in sicer dejstva, da na rezultat lahko vplivajo še druge merljive ali nemerljive spremenljivke ter dejstva, da korelacijski koeficient ne pove, ka- tera spremenljivka vpliva na spremembo druge. Ni torej statistične podlage za oblikovanje sklepov, kar pa seveda ne pomeni, da rezultatov ne gre interpre- tirati glede na teoretična izhodišča po zdravi pameti, kadar je smer (vzročne) povezanosti očitna. Ker raziskovalne hipoteze zahtevajo tudi primerjave med posameznimi skupinami, smo v ta namen uporabili metodo analize variance (an ova) (Field 2005). Kvalitativni podatki, to je odgovori anketirancev na odprta vprašanja, so analizirani s pomočjo procesa kodiranja besedila (Babbie 2007; Neuman 2006). Uporabljamo odprto kodiranje, pri čemer odgovore anketirancev naj- prej kodiramo skladno s teorijo, iz katere izhaja naša raziskava. Nato odgo- vore razvrščamo na osnovi konceptualne podobnosti ali medsebojne pomen- ske povezanosti skladno z opredeljenimi kodami in jih združimo v kategorije 115 Zasnova raziskave in predstavitev raziskovalnih hipotez s katerimi dopolnjujemo izsledke kvantitativne analize, upoštevajoč princip uporabe mešanih metod (Lobe 2006). 5.6 Omejitve raziskovanja Omejitev v empiričnem delu je usmeritev v izbrani vidik krepitve zmožnosti za samoevalvacijo, ki bi ga lahko raziskovalno opredelili tudi širše, sistemsko. Pri tem tudi nismo posebej preverjali prenosa znanja in spretnosti v prakso učiteljev, kar bi bil z vidika krepitve zmožnosti za samoevalvacijo pomemben podatek, saj imajo neposreden stik z učenci, katerih dosežke v šolah tudi s pomočjo samoevalvacije želijo oziroma morajo izboljševat Delno omejitev predstavlja sam način in čas zbiranja podatkov. Zaradi iz- vajanja raziskave ob zaključku usposabljanja so udeleženci namreč hkrati oce- njevali svoje znanje in spretnosti pred in po zaključenem usposabljanju. Upo- rabljen vprašalnik je nestandardiziran. Dodatna omejitev je neposredna vključenost avtorice v zasnovo in izvedbo usposabljanj za samoevalvacijo ter tudi zasnovo vprašalnika in izvedbo razi- skave, ki je tako nujno subjektivno zasnovana in poudarja avtoričin pogled, izkušnje in pričakovanja. Avtorica je bila vodja projekta u k v i z, pri čemer je vodila pripravo in izvedbo usposabljanj za samoevalvacijo in zunanjo evalva- cijo. Ob tem je aktivno sodelovala tudi pri vseh dejavnostih projekta k v i z. Je soavtorica ali avtorica mnogih v obeh projektih pripravljenih gradiv in poročil. V času izvedbe obeh projektov je v soavtorstvu pripravila tudi nekaj strokovnih in znanstvenih prispevkov, ki se odražajo in so uporabljeni tudi v tem besedilu. Subjektivnost, ki bi lahko izhajala iz omenjene aktivne vloge poskušamo pre- seči z dosledno uporabo projektnih izhodišč in dokumentacije, v empiričnem delu pa z uporabo podatkov, zbranih z anketno raziskavo. 116  Krepitevzmožnosti z usposabljanjem za samoevalvacijo Poglavje je namenjeno analizi in interpretaciji za namen raziskave zbranih po- datkov. Predstavljamo izsledke empirične analize, ki temelji na rezultatih vpra- šalnikov in odgovarja na drugo raziskovalno vprašanje, ki smo si ga zastavili Kako usposabljanje za samoevalvacijo prispeva h krepitvi zmožnosti za uvaja- nje in izvajanje trajnostne prakse samoevalvacije v šolah? in ga v okviru štirih vsebinskih sklopov operacionalizirali s hipotezami. Najprej predstavljamo vzorec in opisne statistike odvisnih in neodvisnih spremenljivk, nato analizo rezultatov predstavimo skladno z vsebinskimi sklopi in hipotezami. Poglavje zaključimo z vsebinsko interpretacijo podat- kov. 6.1 Značilnost vzorca in njegova reprezentativnost Osnovne informacije o anketirancih in njihovih šolah smo dobili na podlagi odgovorov v prvem sklopu vprašanj, pri čemer so podatke o šoli (glej pre- glednico 6.1) posredovali samo ravnatelji. Navajamo odgovore, ki prikazujejo glavne značilnosti. Izpolnjene vprašalnike so vrnili iz 63 ali 88,7  vseh v anketno raziskavo vključenih šol prvega cikla usposabljanja use, od tega 11 vrtcev, 39 osnovnih in 13 srednjih šol. Gre za različne zavode v velikosti 10 do 135 strokovnih delavcev (as = 51,46, so = 25,9), ki so bili ali so v povprečju vključeni vsaj v enega od osmih opredeljenih projektov s področja kakovosti v izobraževanju (as = 1,3, s o = 0,83). 60  vseh zavodov je bilo vključenih v program Mreže učečih se šol, ki ga v povezavi s k z se posebej obravnavamo. Vprašalnike je izpolnilo 63 ravnateljev, 132 članov timov in 950 učiteljev, ki imajo v povprečju dobrih 17 let delovne dobe v vzgoji in izobraževanju (as = 17,49, so = 9,9). Vzorec anketirancev sicer predstavlja 88  žensk in 22  moških, kar je za področje izobraževanja pričakovano razmerje. V nadaljevanju predstavljamo še opisne statistike odvisnih spremenljivk, pri čemer so posebej pomembne vrednosti asimetričnosti in sploščenosti, ki kažejo na porazdelitev posameznih spremenljivk in jih bomo pri prikazu re- zultatov podrobneje obravnavali. Pregled statistik v preglednici 6.3 kaže, da 117 Krepitev zmožnosti z usposabljanjem za samoevalvacijo Preglednica 6.1 Značilnosti vključenih šol Vrsta zavoda/značilnost (1) (2) (3) (4) (5) (6) Vrtec Število strokovnih delavcev v zavodu 11 49,09 20,71 19,3  24 80 Število projektov 11 1,18 0,87 17,5  0 2 Udeležba v mrežah 11 0,45 0,522 17,5  0 1 Osnovna šola Število strokovnih delavcev v zavodu 34 50,50 24,71 59,6  16 111 Število projektov 39 1,21 0,80 61,9  0 4 Udeležba v Mrežah 39 0,69 0,47 61,9  0 1 Gimnazija Število strokovnih delavcev v zavodu 4 66,50 25,94 7,0  38 100 Število projektov 4 1,50 1,00 6,3  0 2 Udeležba v Mrežah 4 0,25 0,50 6,3  0 1 Poklicna, strokovna ali tehniška šola Število strokovnih delavcev v zavodu 7 57,14 36,83 12,3  30 135 Število projektov 8 1,88 0,83 12,7  1 3 Udeležba v Mrežah 8 0,63 0,52 12,7  0 1 Dijaški dom Število strokovnih delavcev v zavodu 1 10,00 — 1,80  10 10 Število projektov 1 1,00 — 1,6  1 1 Udeležba v Mrežah 1 0,00 — 1,6  0 0 Naslovi stolpcev: (1) število zavodov (ravnateljev), ki so posredovali izpolnjene vprašalnike, (2) aritmetična sredina, (3) standardni odklon, (4) delež izpolnjenih vprašalnikov, (5) najmanjša vrednost izbranega parametra, (6) najvišja vrednost izbranega parametra. Preglednica 6.2 Značilnosti anketirancev Anketiranci Značilnost (1) (2) (3) (4) (5) (6) Ravnatelji Spol 63 0,73 0,45 5,5  Moški Ženski Delovna doba v v i z 63 26,48 6,39 5,5  10 37 Člani tima Spol 132 0,94 0,24 11,5  Moški Ženski Delovna doba v v i z 132 19,48 8,28 11,5  3 35 Učitelji Spol 949 0,88 0,33 83,0  Moški Ženski Delovna doba v v i z 950 16,62 10,01 83,0  0 37 Naslovi stolpcev: (1) število zavodov (ravnateljev), ki so posredovali izpolnjene vprašalnike, (2) aritmetična sredina, (3) standardni odklon, (4) delež izpolnjenih vprašalnikov, (5) najmanjša vrednost izbranega parametra, (6) najvišja vrednost izbranega parametra. vrednosti spremenljivk v glavnem niso normalno porazdeljene, normalni po- razdelitvi se še najbolj približa porazdelitev vrednosti spremenljivke spre m u 118 6.1 Značilnost vzorca in njegova reprezentativnost Preglednica 6.3 Opisne statistike odvisnih spremenljivk (1) (2) (3) (4) (5) (6) (7) (8) (a) (b) (a) (b) o d n u 1084 1,14 6,00 4,82 0,69 –1,16 0,07 2,48 0,15 df z n u 1000 –0,89 4,00 1,15 0,77 0,56 0,08 0,48 0,16 df spr u 994 –1,77 4,14 1,18 0,79 0,34 0,08 0,21 0,16 z se u 993 0,97 6,00 4,88 0,60 –0,91 0,08 1,99 0,16 k z se u 932 –1,22 3,96 1,17 0,73 0,44 0,08 0,31 0,16 z a d u 1130 1,20 6,00 4,70 0,88 –0,59 0,07 –0,22 0,15 dt u 1143 2,00 6,00 5,08 0,80 –0,87 0,07 0,34 0,15 sprem u 1162 3,24 5,10 4,23 0,36 0,14 0,07 0,04 0,14 Valid n 860 Naslovi stolpcev: (1) število anketirancev, ki so posredovali izpolnjene vprašalnike, (2) aritmetična sredina, (3) standardni odklon, (4) delež vseh posredovanih vprašalnikov, (5) najmanjša vrednost izbranega parametra, (6) najvišja vrednost izbranega parametra, (7) koeficient asimetričnosti, (8) koeficient sploščenosti, (a) statistika, (b) standardna napaka. (ka = 0,136, ks = 0,035). Vrednosti standardnih odklonov kažejo na ve- liko koncentriranost okoli povprečnih vrednosti. Vrednosti spremenljivk so zelo koničasto porazdeljene, vrednosti asimetričnosti pa kažejo na pozitivne učinke, kar podrobneje prikazujemo v naslednjih poglavjih. Analiza v nadaljevanju izhaja iz opredeljenih vsebinskih sklopov (glej po- glavje 5.2.1), in sicer od sklopa 1 do sklopa 4. 6.1.1 Usposabljanje krepi zmožnosti udeležencev za samoevalvacijo Pregled analize podatkov kaže, da lahko potrdimo raziskovalno hipotezo h.1.1, da imajo udeleženci po usposabljanju za samoevalvacijo (u s e) boljše zmo- žnost za samoevalvacijo kot pred usposabljanjem. Hipoteza izhaja iz zasnove usposabljanja, ki predvideva krepitev, torej izboljšanje znanja in spretnosti ter pozitiven odnos udeležencev do samoevalvacije kot rezultata usposabljanja. Udeleženci ocenjujejo, da so svoje zmožnosti za samoevalvacijo v povpre- čju okrepili za nekaj več kot en ocenjevalni razred na 6-stopenjski lestvici (as = 1,17, so = 0,73, n = 932). Vsi udeleženci ocenjujejo, da imajo po zaključku usposabljanja večinoma dobre zmožnosti za samoevalvacijo z s e (as = 4,9, so = 0,596, n = 933) V nadaljevanju predstavljamo odvisni spremenljivki k z se u in zse u glede na neodvisne spremenljivke, torej: vrsto udeležencev, vrsto in velikost zavodov, predhodno vključenost v projekte s področja kakovosti v izobraževanju in udeležbo v programu Mreže učečih se šol. 119 Krepitev zmožnosti z usposabljanjem za samoevalvacijo Izračun analize variance kaže, da: • Obstajajo statistično značilne razlike v krepitvi zmožnosti za samoeval- vacijo, in sicer med vsemi skupinami udeležencev, s čimer lahko potr- dimo hipotezo h.1.2. Člani timov krepitev zmožnosti ocenjujejo za 0,71 stopnje višje kot učitelji, ravnatelji pa za 0,42 stopnje višje kot učitelji. Razlika je tudi med člani tima in ravnatelji, pri čemer krepitev člani ti- mov ocenjujejo za 0,28 stopnje višje kot ravnatelji ( F(2,929) = 54,900, sig. = 0,000). • Med različnimi vrstami zavodov1 ni statistično značilnih razlik v krepi- tvi zmožnosti za samoevalvacijo ( F(3,58) = 1,45, sig. = 0,238). kar potr- juje hipotezo h.1.3. Pregled opisnih statistik pa pokaže, da so zmožnosti za samoevalvacijo v povprečju sicer najbolj okrepili vrtci (as = 1,29, s o = 0,31, n = 11) in najmanj gimnazije (as = 0,91, so = 0,36, n = 4). • Med zavodi različnih velikosti (po številu strokovnih delavcev) ni stati- stično značilnih razlik v krepitvi zmožnosti za samoevalvacijo ( F(2,55) = 0,057, sig. = 0,945) kar potrjuje hipotezo h.1.4. • Med šolami, ki so bile vključene v različno število projektov s področja kakovosti v izobraževanju ( F(4,59) = 0,565, sig. = 0,689) ni statistično značilnih razlik v krepitvi zmožnosti za samoevalvacijo, kar pomeni, da hipoteze h.1.5. ne moremo potrditi. Pregled opisnih statistik porazdeli- tve vrednosti sicer kaže, da je bila polovica šol (32) vključenih v 1 projekt s področja kakovosti v izobraževanju, tretjina šol v 2 projekta, 3 šole v 3 projekte, 1 šola v 4 projekte, 9 šol pa ni bilo vključenih v nobenega od projektov. Med šolami tudi ni statistično značilnih razlik v krepitvi zmožnosti za samoevalvacijo glede na vključenost v Mreže učečih se šol ( F(1,62) = 0,822, sig. = 0,368). Naše zanimanje izhaja iz dejstva, da je bilo v Mreže učečih se šol vključenih več kot polovica (38) v raziskavo vključenih šol in ker zasnova in izvedba usposabljanja za samoevalvacijo delno temeljita na dobrih izkušnjah dela s šolami v Mrežah. Prav tako je na osnovi lastnih izkušenj in neformalnih razgovorov z udeleženci us- posabljanja bilo mogoče sklepati, da imajo šole, ki so bile predhodno v Mrežah, manj težav z načinom dela in izvajanjem vmesnih aktivnosti, kar bi se posledično lahko odražalo v večji stopnji zadovoljstva, bolj- šemu znanju, spretnostih itd. Zanima nas še povezava med neodvisnimi spremenljivkami in zmožnostmi 1 Iz analize smo pri obdelavi teh podatkov izvzeli en dijaški dom, da smo zadostili minimalnim predpogojem za izračun analize variance. 120 6.1 Značilnost vzorca in njegova reprezentativnost za samoevalvacijo (z se) po zaključku usposabljanja, pri čemer analiza vari- ance kaže, da: • Obstajajo statistično značilne razlike v zmožnostih za samoevalvacijo med udeleženci po zaključku usposabljanja ( F(2,990) = 20,784, sig. = 0,000). Ocena ravnateljev je v povprečju za 0,36 stopnje, ocena članov timov pa za 0,29 stopnje višja od ocene učiteljev. • Med različnimi vrstami zavodov obstajajo statistično značilne razlike v zmožnostih za samoevalvacijo po zaključku usposabljanja ( F(3,58) = 6,13, sig. = 0,001). Tako po zaključku usposabljanja svoje zmožnosti za samoevalvacijo vrtci v povprečju ocenjujejo za 0,59 stopnje višje kot gimnazije in 0,37 stopnje višje kot poklicno-strokovne šole. Osnovne šole jih v povprečju ocenjujejo za 0,42 stopnje višje kot gimnazije. Pre- gled podatkov še pokaže, da svoje zmožnosti najbolje ocenjujejo vrtci (as = 5,1, so = 0,25, n = 11), najnižje, še vedno pa kot večinoma dobre, jih ocenjujejo gimnazije (as = 4,5, so = 0,39, n = 4). • Med zavodi različnih velikosti (po številu strokovnih delavcev) ni sta- tistično značilnih razlik v zmožnostih za samoevalvacijo po zaključku usposabljanja ( F(2,55) = 0,326, sig. = 0,723). • Ni statistično značilnih razlik v zmožnostih za samoevalvacijo med šo- lami, ki so bile vključene v različno število projektov s področja kako- vosti v izobraževanju ( F(3,59) = 1,554, sig. = 0,198). • Med šolami ni statistično značilnih razlik v zmožnostih za samoeval- vacijo glede na vključenost v Mreže učečih se šol ( F(1,62) = 0,806, sig. = 0,373). V nadaljevanju prikazujemo rezultate analize podatkov skladno z drugim vsebinskim sklopom, ki so povezani z različnimi ravnmi uspešnosti usposab- ljanja za samoevalvacijo. 6.1.2 Uspešnost usposabljanja za samoevalvacijo se kaže na različnih ravneh Na osnovi potrditve opredeljenih hipotez h.2.1 do h.2.4 potrjujemo, da se us- pešnost usposabljanja za samoevalvacijo kaže na različnih ravneh. Skladno s Kirkpatrickovim modelom evalvacije uspešnosti usposabljanja (Kirkpatrick in Kirkpatrick 2007) smo namreč predpostavili, da se uspešnost usposabljanja kaže 1) na ravni zadovoljstva vseh udeležencev z usposabljanjem, 2) na ravni učenja (pridobljenega znanja in spretnosti udeležencev usposabljanja ter po- zitivnega odnosa do samoevalvacije) vseh udeležencev, 3) na ravni delovanja, 121 Krepitev zmožnosti z usposabljanjem za samoevalvacijo torej prenosa vsebin v prakso ravnateljev in članov timov in 4) na ravni rezul- tatov (sprememb) v delovanju vseh vključenih šol, ki je povezano z uvajanjem procesa samoevalvacije. Udeleženci so z usposabljanjem v povprečju zadovoljni Udeleženci v povprečju kot večinoma dobro ocenjujejo svoje zadovoljstvo z usposabljanjem (as = 4,7, so = 0,875, n = 1130) na obeh kaskadnih ravneh, s čimer lahko potrdimo hipotezo h.2.1. Pregled opisnih statistik še pokaže, da so z usposabljanjem v povprečju najbolj zadovoljni ravnatelji (as = 5,3, s o = 0,54, n = 60) in člani timov (as = 5,1, so = 0,65, n = 131), le nekoliko manj učitelji (as = 4,6, so = 0,89, n = 939). Pri tem obstajajo tudi statistično značilne razlike v zadovoljstvu med udeleženci ( F(2,1127) = 32,977, sig. = 0,000) pri čemer ravnatelji v povprečju svoje zadovoljstvo ocenjujejo za 0,69 stopnje višje kot učitelji, člani timov pa za 0,53 stopnje višje kot učitelji. Med ravnatelji in člani timov, torej udeleženci usposabljanja na prvi kaskadni ravni, statistično značilnih razlik v zadovoljstvu ni. Udeleženci imajo po zaključku boljše znanje in spretnosti kot na začetku usposabljanja in pozitiven odnos do samoevalvacije V nadaljevanju potrjujemo hipotezo h.2.2, da se uspešnost usposabljanja za samoevalvacijo kaže na ravni učenja, to je pridobljenega znanja in spretnosti udeležencev usposabljanja ter njihovega pozitivnega odnosa do samoevalva- cije po zaključku usposabljanja. Hipotezo h.2.2 lahko potrdimo že v povezavi s potrjeno hipotezo h.1.1, s katero smo prikazali, da usposabljanje krepi zmož- nosti udeležencev za samoevalvacijo. V nadaljevanju pa podrobneje prikazu- jemo še porazdelitev spremenljivk odnos do samoevalvacije (odn u), razlika v znanju ( df z n u) in razlika v spretnostih ( df spr u) pri udeležencih. Da bi lahko ugotovili, h katerim razsežnostim odnosa se udeleženci v pov- prečju bolj nagibajo (glej preglednico 5.2), smo za izračun povprečne vredno- sti in standardnega odklona uporabili številčni kontinuum od 1 (trditve na levi strani) do 6 (trditve na desni strani). Pregled opisnih statistik kaže, da imajo vsi udeleženci po zaključku usposabljanja v povprečju večinoma pozitiven od- nos do samoevalvacije (as = 4,8, so = 0,69, n = 1084), najbolj ravnatelji (as = 5,1, so = 0,46, n = 59) in člani timov (as = 5,0, so = 0,53, n = 125), le nekoliko manj učitelji (as = 4,8, so = 0,71, n = 900). Levenov test pokaže, da podatki ne izpolnjujejo osnovne predpostavke analiza variance o homogeno-sti varianc (Field 2005, 350), zato je bil skladno z ustaljeno prakso uporabljen 122 6.1 Značilnost vzorca in njegova reprezentativnost Ravnatelji 5,095 Člani timov 5,045 Učitelji 4,765 Slika 6.1 Ocena odnosa udeležencev do samoevalvacije Welch test, ki je v nadaljevanju pokazal na statistično značilno razliko v od- nosu do samoevalvacije med skupinami udeležencev ( F(2,139,710) = 23,292, sig. = 0,000) pri čemer imajo ravnatelji v povprečju za 0,33 stopnje, člani ti- mov pa za 0,28 stopnje bolj pozitiven odnos kot učitelji. Razlik med ravnatelji in člani timov izračun ne kaže. Posebej nas v povezavi z učenjem zanima, koliko so udeleženci v usposa- bljanju izboljšali svoje znanje in spretnosti in kakšne so morebitne razlike med udeleženci. Pregled prikaza porazdelitev vrednosti odvisnih spremenljivk raz- like v znanju ( df z n u) in razlike v spretnostih ( df spr u) kaže, da so vsi udeleženci v usposabljanju izboljšali znanje in spretnosti, povezano z uvajanjem izboljšav in samoevalvacijo, in sicer v povprečju za as = 1,15 ocenjevalnega ra- zreda na 6-stopenjski lestvici (s o = 0,77, n = 1000), spretnosti pa v povprečju za as = 1,18 ocenjevalnega razreda (so = 79, n = 994). Pregled opisnih statistik kaže, da so znanje in spretnosti v usposabljanju v povprečju najbolj izboljšali člani timov (as = 1,8, so = 0,73, n = 108), nekoliko manj ravnatelji (as = 1,5, so = 0,74, n = 54) in najmanj učitelji (as = 1,1, so = 0,68, n = 770), vsi pa v povprečju za več kot en ocenjevalni razred. Rezultati analize variance kažejo: • Statistično značilne razlike v izboljšanju znanja ( F(2,997) = 41,85, sig. = 0,000) med ravnatelji in učitelji v povprečju za 0,46 stopnje in med člani tima in učitelji v povprečju 0,61 stopnje. Svoje znanje o uvajanju izbolj- šav in samoevalvaciji so sicer najbolj izboljšali člani timov (as = 1,7, s o = 0,79, n = 117), manj ravnatelji (as = 1,5, so = 0,55, n = 55) in najmanj učitelji (as = 1,1, so = 0,73, n = 828). • Statistično značilne razlike v izboljšanju spretnosti med vsemi skupi- nami udeležencev ( F(2,991) = 59,48, sig. = 0,000) pri čemer so spre- tnosti najbolj, za skoraj dva ocenjevalna razreda na 6-stopenjski lestvici, okrepili člani timov (as = 1,9, so = 0,78, n = 113), manj ravnatelji (as = 1,5, so = 77, n = 57) in najmanj učitelji (as = 1,1, so = 0,75, n = 824). Člani timov so v povprečju izboljšali svoje spretnosti za 0,34 stopnje bolj kot ravnatelji in kar za 0,78 stopnje bolj kot učitelji. Ravna- telji so svoje spretnosti izboljšali za 0,43 stopnje bolj kot učitelji. Poleg zadovoljstva udeležencev z usposabljanjem, njihovega odnosa do sa- 123 Krepitev zmožnosti z usposabljanjem za samoevalvacijo 3,900 Ravnatelji 1,511 3,600 Člani timov 1,659 3,900 Učitelji 1,051 Slika 6.2 Ocena izboljšanja znanja in spretnosti glede na vrsto udeležencev v usposabljanju – predznanje (temno) in okrepitev (svetlo) 3,600 Ravnatelji 1,510 3,100 Člani timov 1,900 3,700 Učitelji 1,071 Slika 6.3 Ocena izboljšanja znanja in spretnosti glede na vrsto udeležencev v usposabljanju – predspretnosti (temno) in okrepitev (svetlo) moevalvacije ter izboljšanega znanja in spretnosti je z vidika ocene uspešno- sti usposabljanja pomembno, da se obravnavane vsebine in pristopi prenesejo tudi v prakso delovanja posameznikov ter v spremembe v delovanju na ravni šol, kar prikazujemo v nadaljevanju. Večina v usposabljanje vključenih ravnateljev in članov timov pridobljeno znanje in spretnosti uporablja v lastni praksi delovanja Kvalitativna analiza rezultatov vprašanja za ravnatelje in člane timov, pri ka- terem so z »Da« ali »Ne« odgovarjali na vprašanje »Ali ste zaradi udeležbe na usposabljanju za samoevalvacijo karkoli spremenili pri svojem vodenju ozi- roma siceršnjem delu?«, kaže, da je skoraj 86  ravnateljev in članov timov zaradi udeležbe v usposabljanju za samoevalvacijo spremenilo način svojega vodenja oziroma siceršnjega dela. Na dodatno odprto vprašanje, kaj so spre- menili, je odgovorilo 56 (od 64) ravnateljev in 105 (od 132) članov timov. Ve- čino zapisanih odgovorov je mogoče uvrstiti v vsebinske sklope: • načrtovanje (ravnatelji in člani timov), • spremljanje in vrednotenje (ravnatelji in člani timov), • sodelovanje oziroma timsko delo (člani timov), • sodelovalno vodenje, poverjanje nalog, vključevanje (ravnatelji). Tako lahko potrdimo hipotezo h.2.3, da se uspešnost usposabljanja kaže na ravni prenosa vsebin usposabljanja v delo in prakso ravnateljev. 124 6.1 Značilnost vzorca in njegova reprezentativnost Vrtec 4,472 Osnovna šola 4,246 Gimnazija 3,799 Poklicno strokovna 4,014 Slika 6.4 Ocena zaznavanja sprememb v delovanju na ravni šol glede na vrsto zavoda Večina udeležencev po zaključku usposabljanja zaznava spremembe v delovanju njihovih šol, povezane z uvajanjem samoevalvacije Potrdimo lahko tudi hipotezo h.2.4, da se uspešnost usposabljanja za sa- moevalvacijo kaže na ravni sprememb v delovanju šol, povezanih z uvaja- njem izboljšav in samoevalvacijo. Prikaz porazdelitve vrednosti spremenljivke s pre m u (glej sliko 6.9) kaže, da se udeleženci usposabljanja use večinoma strinjajo, da je zaradi udeležbe v usposabljanju prišlo do določenih sprememb v delovanju na ravni šole, in sicer so svoje strinjanje ocenili v povprečju z as = 4,2 na 6-stopenjski lestvici, pri čemer je pomemben tudi nizek standar- dni odklon (s o = 0,36, n = 1162), ki kaže na relativno poenoteno zaznavanje sprememb med vsemi udeleženci usposabljanja. Pregled opisnih statistik ocene sprememb v delovanju po zavodih kaže, da v povprečju najvišjo stopnjo strinjanja z naborom sprememb v delovanju, ki so rezultat usposabljanja in uvajanja procesa samoevalvacije, navajajo vrtci (as = 4,5, s o = 0,17, n = 11), najnižjo pa gimnazije (as = 3,8, so = 0,28, n = 4). Analiza variance kaže: • V zaznavanju sprememb v delovanju na ravni šol med različnimi skupi- nami udeležencev (F(2,1007)=1,35, sig.=0,036) ni statistično pomemb- nih razlik. • V zaznavanju sprememb v delovanju na ravni šol med določenimi vr- stami zavodov (F(3,58)=5,09, sig.=0,003) obstaja statistično značilna razlika, in sicer jih vrtci v povprečju zaznavajo za 0,67 stopnje bolj kot gimnazije in 0,46 stopnje bolj kot poklicno-strokovne šole. Obstaja pozitivna korelacija med zadovoljstvom z usposabljanjem in krepitvijo zmožnosti za samoevalvacijo Pregled korelacije prve in druge ravni uspešnosti usposabljanja nakazuje stati- stično značilno povezanost med zadovoljstvom udeležencev z usposabljanjem (z ad u) in krepitvijo zmožnosti za samoevalvacijo (kzse u), ki je sicer šibka, vendar pa je pozitivna. Na to kaže vrednost Pearsonovega korelacijskega koeficienta r = 0,365 pri ničelni stopnji verjetnosti (sig. = 0,000). S tem lahko potrdimo hipotezo h.2.5. 125 Krepitev zmožnosti z usposabljanjem za samoevalvacijo Obstaja pozitivna korelacija med zadovoljstvom z usposabljanjem in spremembami v delovanju na ravni šol, povezanimi s samoevalvacijo Pregled korelacije prve in četrte ravni uspešnosti usposabljanja pokaže, da je zadovoljstvo z usposabljanjem (z adšola) močno pozitivno povezano s spre- membami v delovanju na ravni šole (spre mšola), kar potrjuje hipotezo h.2.6. Na to kaže vrednost Pearsonovega korelacijskega koeficienta r = 0,825 pri ničelni stopnji verjetnosti (sig. = 0,000), da bi se to pri vzorcu 63 šol zgo- dilo zgolj slučajno. Ker spremenljivki z adšola in spre mšola nista normalno porazdeljeni, smo korelacijo preverili še z izračunom Spearmanovega korela- cijskega koeficienta, ki prav tako kaže na močno pozitivno povezanost med obravnavanima spremenljivkama ( rs = 0,834, sig. = 0,000). Če povzamemo, smo v celoti potrdili tezo 2, saj se uspešnost usposabljanja za samoevalvacijo kaže z zadovoljstvom vseh udeležencev z usposabljanjem na obeh kaskadnih ravneh, s pozitivnim odnosom udeležencev do samoeval- vacije, z izboljšanim znanjem in spretnostmi uvajanja izboljšav in samoeval- vacije, s prenosom znanja in spretnosti v prakso vodenja ravnateljev oziroma dela članov timov v šolah ter nenazadnje v spremembah v delovanju na ravni šol, ki jih v povprečju pomembno zaznavajo udeleženci usposabljanja. Poka- zalo se je tudi, da je zadovoljstvo z usposabljanjem pozitivno povezano s spre- membami v delovanju na ravni šol, povezanimi s samoevalvacijo. V nadaljevanju bomo preverili še povezanost med:2 • zmožnostmi šol za samoevalvacijo in spremembami v delovanju šol, • krepitvijo zmožnosti šol za samoevalvacijo in spremembami v delova- nju šol, • uspešnostjo delovanja timov v šolah in krepitvijo zmožnosti šol za sa- moevalvacijo, • uspešnostjo delovanja timov v šolah in spremembami v delovanju šol. 6.1.3 Krepitev zmožnosti za samoevalvacijo je povezana s spremembami v delovanju na ravni šol Obstaja pozitivna korelacija med zmožnostmi za samoevalvacijo in spremembami v delovanju na ravni šol Najprej potrjujemo hipotezo h.3.1, da obstaja pozitivna korelacija med zmo- žnostmi za samoevalvacijo (z sesola) in spremembami v delovanju na ravni 2 Spremenljivke, ki jih obravnavamo v povezavi s tezama 3 in 4, so agregirane na ravni organizacije, medtem ko smo spremenljivke v hipotezah 1 in 2 (razen h.2.6) obravnavali na ravni posameznikov. 126 6.1 Značilnost vzorca in njegova reprezentativnost šol, povezanimi s samoevalvacijo (s pre msola). Pregled korelacije namreč kaže, da je zmožnost za samoevalvacijo na ravni šole močno pozitivno pove- zana s spremembami v delovanju na ravni šole, na kar kaže vrednost Pearso- novega korelacijskega koeficienta ( r = 0,835, sig. = 0,000). Ker spremenljivki z sešola in spre mšola nista normalno porazdeljeni, smo korelacijo preverili še z izračunom Spearmanovega korelacijskega koeficienta, ki sicer kaže neko- liko nižjo, vendar prav tako močno pozitivno povezanost med obravnavanima spremenljivkama ( rs = 0,774, sig. = 0,000). Obstaja pozitivna korelacija med krepitvijo zmožnosti za samoevalvacijo in spremembami v delovanju na ravni šol Na osnovi podatkov lahko potrdimo tudi hipotezo h.3.2, ki predpostavlja po- zitivno korelacijo med krepitvijo zmožnosti šol za samoevalvacijo (k z sesola) in spremembami v delovanju na ravni šol (spre msola). Izračun korelacijskih koeficientov tudi v primeru krepitve zmožnosti šol za samoevalvacijo kaže na močno pozitivno korelacijo s spremembami v de- lovanju šol, povezanimi s samoevalvacijo. Ker gre za spremenljivki, ki ni- sta normalno porazdeljeni, smo polega Pearsonovega korelacijskega koefici- enta ( r = 0,659, sig. = 0,000) izračunali še Spearmanovega ( rs = 0,649, sig. = 0,000) in ugotovili, da med njima ni bistvenih odstopanj. 6.1.4 Tim za samoevalvacijo je pomemben člen pri prenosu vsebin usposabljanja za samoevalvacijo v prakso šol V nadaljevanju bomo prikazali še rezultate, povezane z zadnjim vsebinskim sklopom, v kateremi preverjamo uspešnost delovanja timov za samoevalvacijo (dtšola) s krepitvijo zmožnosti šol za samoevalvacijo (kzsešola) in spremem- bami v delovanju na ravni šol (spre mšola), povezanimi s samoevalvacijo. Obstaja pozitivna korelacija med uspešnostjo delovanja tima in krepitvijo zmožnosti za samoevalvacijo v šolah Tim za samoevalvacijo je pomemben člen pri prenosu vsebin usposabljanja za samoevalvacijo v prakso šol, kar se najprej kaže v korelaciji uspešnosti delova- nja timov s krepitvijo zmožnosti za samoevalvacijo. Kaže, da je uspešnost de- lovanja tima (dtsola) pozitivno povezana s krepitvijo zmožnosti šol za samo- evalvacijo (k z sešola), s čimer potrjujemo hipotezo h.4.1. Statistično značilno linearno povezanost nakazuje vrednost Pearsonovega korelacijskega koefici- enta ( r = 0,464, sig. = 0,000). 127 Krepitev zmožnosti z usposabljanjem za samoevalvacijo Obstaja pozitivna korelacija med uspešnostjo delovanja timov in spremembami v delovanju na ravni šol Uspešnost delovanja tima (dtsola) je pozitivno povezana s spremembami v delovanju na ravni šol, povezanimi s samoevalvacijo (spre mšola), kar potr- juje hipotezo h.4.2. Ugotovitev lahko podkrepimo z vrednostmi Pearsonovega korelacijskega koeficienta ( r = 0,625, sig. = 0,000) in Spearmanovega korelacijskega koeficienta ( rs = 0,617, sig. = 0,000). Pregled opisnih statistik spremenljivke dtsola še pokaže, da delovanje ti- mov v povprečju najbolje ocenjujejo ravnatelji (as = 5,29, so = 0,53, n = 63), najnižje pa učitelji (as = 5,10, so = 0,83, n = 952), pri čemer ne gre za velika odstopanja v ocenah. Izračun analize variance je potrdil, da med ravnatelji, člani timov in učitelji ni statistično značilnih razlik v (samo)oceni delovanja timov za samoevalvacijo v šolah ( F(2,1140) = 2,602, sig. = 0,075) s čimer lahko potrdimo hipotezo h.4.3. Če povzamemo vsebino poglavja 6.1 lahko ugotovimo, da smo z izračuni vrednosti posameznih spremenljivk glede na zastavljene hipoteze potrdili vsa štiri izhodišča oblikovanih vsebinskih sklopov: • Ugotovili smo, da usposabljanje za samoevalvacijo krepi zmožnosti za samoevalvacijo pri vseh udeležencih usposabljanja, pri čemer se kažejo statistično značilne razlike med udeleženci usposabljanja (tj. med rav- natelji in člani timov ter učitelji), ni pa razlik glede na vrsto in velikost zavoda ter predhodno sodelovanje šol v različnih projektih s področja kakovosti v izobraževanju. • Uspešnost usposabljanja za samoevalvacijo se kaže na vseh štirih ravneh, ki smo jih opredelili po Kirkpatrickovem modelu (Kirkpatrick in Kir- kpatrick 2007), to je zadovoljstvo, učenje, delovanje in rezultati. Obsta- jajo pa določene, statistično značilne razlike med prvo in drugo kaska- dno ravnjo usposabljanja. Vsi udeleženci so v povprečju z usposablja- njem večinoma zadovoljni, kažejo se statistične razlike med udeleženci na prvi in drugi kaskadni ravni usposabljanja. Udeleženci imajo poziti- ven odnos do samoevalvacije, v usposabljanju so okrepili svoje znanje in spretnosti, pri čemer obstajajo statistično značilne razlike med ravna- telji in člani timov ter učitelji, v primeru spretnosti pa med vsemi skupi- nami udeležencev. Ravnatelji in člani timov poročajo o prenosu znanja v prakso svojega delovanja. Kažejo se spremembe v delovanju na ravni šol, ki so močno pozitivno povezane z zadovoljstvom udeležencev z iz- vedbo usposabljanja. • Spremembe v delovanju na ravni šol, povezane s samoevalvacijo so pozi- 128 6.2 Interpretacija tivno povezane s krepitvijo zmožnosti v usposabljanju in dejanskimi zmo- žnostmi po zaključku usposabljanja. Pri tem je pomembna tudi ugoto- vitev, da v zaznavanju sprememb delovanja na ravni šol ni statistično značilnih razlik med ravnatelji, člani timov in učitelji, obstajajo pa do- ločene razlike v zaznavanju med vrtci in srednjimi šolami. • Tim za samoevalvacijo je pomemben člen pri prenosu vsebin usposab- ljanja v prakso šol. Potrdili smo, da obstaja pozitivna korelacija med uspešnostjo delovanja timov in krepitvijo zmožnosti udeležencev ter pozitivna korelacija med uspešnostjo delovanja timov in spremem- bami v delovanju na ravni šol. Pri tem je pomembna tudi ugotovitev, da med različnimi skupinami udeležencev ni pomembnejših odstopanj v (samo)oceni uspešnosti delovanja timov. 6.2 Interpretacija V predhodnem poglavju smo empirično potrdili, da usposabljanje pomembno prispeva h krepitvi zmožnosti udeležencev in šol za samoevalvacijo. S tem smo potrdili in izpostavili pomen koncepta krepitve zmožnosti za samoevalvacijo v slovenskih šolah. V nadaljevanju rezultate vsebinsko interpretiramo, pri čemer izhajamo vse- binskih sklopov in v njihovem okviru opredeljenih hipotez ter z njimi pove- zanih ključnih ugotovitev, ki odgovarjajo na vprašanje Kako usposabljanje za samoevalvacijo prispeva h krepitvi zmožnosti za uvajanje in izvajanje trajnostne prakse samoevalvacije v šolah? V interpretaciji sledimo štirim ravnem evalvacije uspešnosti usposabljanja za samoevalvacijo, in sicer tako, da najprej raz- pravljamo o zadovoljstvu udeležencev z usposabljanjem na obeh kaskadnih ravneh in v povezavi s tem o uspešnosti delovanja timov za samoevalvacijo v šolah. Na osnovi podrobnejšega pregleda statistik nato predstavimo, katera znanja in spretnosti so udeleženci usposabljanja v povprečju najbolj oziroma najmanj okrepili in kakšen je njihov odnos do samoevalvacije. Interpretiramo še rezultate, povezane z zaznavanjem sprememb v praksi dela posameznikov oziroma v delovanju šol. 6.2.1 Zadovoljstvo udeležencev z usposabljanjem za samoevalvacijo in uspešnost delovanja timov za samoevalvacijo v šolah Usposabljanje za samoevalvacijo je sodeč po ocenah udeležencev potekalo ve- činoma dobro, kar je nedvomno pomemben podatek, saj je bilo vključenih skupaj 4164 udeležencev iz 71 šol, izvedeno pa je bilo na dveh kaskadnih rav- neh (glej sliko 4.3). Posebej pomemben je podatek, da so usposabljanje v svojih 129 Krepitev zmožnosti z usposabljanjem za samoevalvacijo šolah po ocenah učiteljev dobro izvajali in vodili timi za samoevalvacijo, torej ravnatelji in člani timov. Z usposabljanjem so v povprečju najbolj zadovoljni ravnatelji in člani timov, le nekoliko manj učitelji v šolah, kaže pa se statistična razlika v zadovoljstvu med udeleženci na prvi in drugi kaskadni ravni usposabljanja, kar nakazuje na morebitno omejitev uporabe kaskadnega modela, ki predvideva upad kakovo- sti usposabljanja iz ravni v raven (Wedell 2005). Razlogov za razlike v ocenah zadovoljstva je po našem mnenju lahko več. Šole so se v usposabljanje vklju- čile prostovoljno, pri čemer predvidevamo, da so bili ravnatelji in člani timov za udeležbo v usposabljanju u se v povprečju bolj motivirani kot pa učitelji. Po našem vedenju iz neformalnih razgovorov z udeleženci večina pobud za vključitev v usposabljanje namreč ni bila dana od učiteljev, pač pa ravnateljev. Usposabljanje na drugi kaskadni ravni so za učitelje izvajali ravnatelji in člani timov, ki sicer niso sodelovali pri pripravi zasnove in vsebin usposabljanja z izvajalci na prvi kaskadni ravni, za izvedbo se niso posebej usposabljali, niti izobraževanje odraslih in kakovost v izobraževanju oziroma samoevalvacija nista primarni področje njihovega dela. Kakovost izvedbe glede na ekspertizo izvajalcev lahko do določene mere torej upade. Ravnatelji in člani timov so bili hkrati tudi tako udeleženci na prvi kaskadni ravni kot izvajalci na drugi kaskadni ravni usposabljanja. Določene vsebine so v usposabljanju obravna- vali nekoliko podrobneje kot učitelji, hkrati pa so jih v pripravah na izvedbo morali še poglabljati in za prenos v prakso ustrezno prilagajati kontekstu svoje šole. Ravnatelji in člani timov zasnovo usposabljanja v povprečju ocenjujejo kot večinoma dobro in v njej vidijo koristi. Ker so ravnatelji in člani timov v uspo- sabljanju u se imeli prej omenjeni dve vlogi, nas je namreč posebej zanimala njihova ocena zasnove celotnega usposabljanja. Odgovor na odprto vprašanje je posredovalo 57 (od 63) ravnateljev in 108 (od 132) članov timov. Pregled za- pisov kaže, da je odgovore mogoče strniti v dva tematska sklopa: a) vloga tima in prenos vsebin usposabljanja v šole, b) izvedba usposabljanja za time. Najpogosteje (v približno polovici vseh odgovorov) ravnatelji in člani timov omenjajo svojo vlogo (tim za samoevalvacijo) in prenos vsebin usposabljanja v svoje šole. Tako npr. navajajo: Sam sistem prenosa in nastajajoče teorije v šolsko prakso je zelo dober. Tim ima dovolj časa za ureditev vtisov in refleksijo po izobraževanju. Pripravljene vsebine delavnic so dobrodošla pomoč pri izpeljavi v šoli. Pri tem jim je bilo: Usposabljanje 3-članskega tima v veliko pomoč pri dopolnjevanju, podajanju idej, medsebojnem razjasnjevanju in prenosu znanja na strokovne delavce. Nekaj ravnateljev tudi ocenjuje, da je ob tem zelo dobro, da v timu sodelujejo strokovni delavci. Le ti so včasih v veliko pomoč ravnatelju 130 6.2 Interpretacija in včasih dobra vez s kolektivom. Hkrati pa je prav, da sodeluje ravnatelj kot enakovredni član, saj vendarle on na koncu povzema in usmerja v skladu s cilji in koncepti l dn. Prenos obravnavanih vsebin sicer ocenjujejo večinoma kot zahtevno delo, zaradi medsebojnega usklajevanja in same priprave na izvedbo delavnic v šolah, pa tudi, ker smo naleteli na odpor posameznikov, različno teoretično predznanje, časovno omejenost in povezavo s številnimi zapisi. Sestavo timov ocenjujejo večinoma kot sprejemljivo, ustrezno oziroma dovolj za prenos informacij in usposabljanje kolektivov. Čeprav so bili timi v nekaj primerih po mnenju ravnatelja preobremenjeni oziroma premalo številčni, saj se je v praksi pojavil problem z izvedbo zaradi bolniške odsotnosti, nadomeščanja ali velikosti šole oziroma učiteljskega zbora, kar je vplivalo na potek izvedbe usposabljanj v šolah. Ob tem posamezni ravnatelji opozarjajo na pomen sestave tima. Od posamezne šole je odvisno, koliko je uspešna pri oblikovanju tima. Potreben je posvet, kdo bo sestavljal tim na nivoju šole, saj je tudi od tega odvisna us- pešnost in učinkovitost katerekoli vsebine, tudi samoevalvacije. Oceno izvedbe usposabljanja za time, torej usposabljanja na prvi kaskadni ravni pa lahko na osnovi pregleda odgovorov ravnateljev kratko povzamemo kot: Izvedba usposabljanja, metode in oblike dela ter predavatelji so bili zelo dobri. Prenos podanih vsebin je bil dobro predstavljen in podprt z materiali. Tudi po mnenju članov timov je takšen sistem dela dober, posebej kadar sodeluje veliko število šol in vrtcev. Zasnova usposabljanja timov je zelo primerna, ker enostavno in po korakih vodi celoten tim. Člani timov so na usposabljanju pridobili dodatno znanje in izkušnje za prenos samoevalvacije na vse strokovne delavce in na delo z otroki. So pa ravnatelji recimo opazili, da je šlo za poskusno izvedbo usposabljanja, ki je potekalo hkrati z razvojem sistema u z k. Vidno je bilo, da smo prvi, ki smo zagrizli v to jabolko in je bilo zato malo več tipanja pri vseh udeležencih. Ob tem so nekateri pogrešali celostno predstavitev vseh delavnic na začetku izobraževanja, ki bi jim omogočila lažjo pripravo in vodenje delavnic v šolah. Po mnenju nekaterih bi bilo usposabljanje mogoče tudi bolj strniti oziroma izvesti v krajšem časovnem obdobju, saj se je včasih izgubila rdeča nit (ne timu, pač pa učiteljskemu zboru). Nekateri posamezniki so pogrešali več metodoloških vsebin. Izpostavili so določene specifike, ki bi v okviru usposabljanja po njihovem terjale diferencirano obravnavo, npr. center, ki vključuje različne organizacijske enote ali šolo z večjim številom zaposlenih. Tudi ocena dela tima za samoevalvacijo, ki kot smo ugotovili vpliva na kre- pitev zmožnosti za samoevalvacijo in predvsem pomembno vpliva na dejanske spremembe v delovanju na ravni šol (glej poglavje 6.2.4), kaže na uspešno delo (delavnice in vmesne aktivnosti) v šolah. Udeleženci so uspešnost delovanja tima za samoevalvacijo ocenili v povprečju kot večinoma dobro (as = 5,1, 131 Krepitev zmožnosti z usposabljanjem za samoevalvacijo s o = 0,79, n = 1134), pri čemer je izračun analize variance pokazal, da med samooceno ravnateljev in članov timov ter oceno učiteljev ni statistično zna- čilnih razlik. Naj ob tem navedemo še nekaj individualnih zapisov učiteljev, ki so poleg ocene na osnovi vnaprej opredeljenih trditev odgovarjali še na odprto vprašanje Če želite v zvezi z izvedbo delavnic v vaši šoli še kaj posebej izpostaviti, lahko to na tem mestu zapišete. Zapisov je bilo sicer malo (20 od 950), jih pa nekaj navajamo, saj ponujajo vpogled ne le v splošno oceno, pač pa predvsem v individualna mnenja. Zapisi učiteljev so sicer v veliki večini pozitivni pri oce- njevanju dela timov v svojih šolah. Članice tima so se potrudile in nas spretno in sistematično vodile skozi dokaj zahteven projekt. Delavnice so bile izpeljane tako, da je to za strokovne delavke predstavljalo minimalno dodatno obremenitev. Učitelji pa so navedli tudi nekaj slabosti, kot npr. Motila me je neodzivnost in nezainteresiranost nekaterih sodelavk in komentarji »kaj nam je tega treba«. Po mnenju enega od učiteljev tudi o bstaja verjetnost, da bo posameznik svoje rezultate priredil za kolektiv in za vodstvo šole. Prebrati je moč tudi mnenja, kot npr.: Te zadeve so težko diktirane ali vodene od zunaj ali od zgoraj, konča pa se vedno z goro poročil in z abstraktnimi analizami. Tako povprečna ocena kot tudi zapisi udeležencev torej kažejo, da je bilo usposabljanje za samoevalvacijo izvedeno večinoma uspešno, s čimer so bili vzpostavljeni predpogoji za uspešnost na ravni učenja in sprememb v delova- nju na ravni posameznikov in šol. Izbira kaskadnega načina usposabljanja se je pokazala kot ustrezna. Tako ni bilo hkrati vključenih le veliko število udele- žencev, pač pa so usposabljanja potekala na ravni celotnih učiteljskih zborov (vsešolsko). Zmožnosti za samoevalvacijo v šolah so tako lahko hkrati kre- pili vsi, ne le nekaj posameznikov. To je po našem mnenju seveda lahko tako prednost kot tudi slabost. Čeprav je zadovoljstvo z usposabljanjem večinoma dobro in lahko rečemo, da je bila izbira takšnega načina usposabljanja ustrezna, pa se vendarle kažejo določena odstopanja med oceno na prvi in drugi kaskadni ravni, čemur je v prihodnje potrebno posvetiti dodatno pozornost. Predvsem je po našem mne- nju pomembno usposabljanje timov za samoevalvacijo, saj so bile vsebine us- posabljanja bolj ali manj standardizirane in prilagojene velikemu številu ude- ležencev, kar pomeni, da ni bilo dovolj podrobnega in poglobljenega obravna- vanja določenih vsebin, ki bi jih člani timov za samoevalvacijo lahko oziroma morali poznati in obvladati. Kaže namreč, da je uspešnost njihovega delovanja povezana s krepitvijo zmožnosti za samoevalvacijo in močno pozitivno pove- zana s spremembami v delovanju na ravni šol. S tem timi za samoevalvacijo ne prevzemajo le vloge prenašalca vsebin na drugi kaskadni ravni usposabljanja, pač pa se kaže pomen njihove vloge agentov oziroma voditeljev sprememb, ki 132 6.2 Interpretacija so pomembni pri uvajanju sprememb in izboljšav v šolah (Fullan 2008; 2009). Pomembna je tudi njihova vloga pri krepitvi zmožnosti za samoevalvacijo in zmožnost, da v svojih organizacijah z ustreznim znanjem in spretnostmi iz- vajajo tudi zahtevnejše programske evalvacije (Volkov in Baron 2011; García- Iriarte idr. 2011). Ker tega v obravnavanem usposabljanju ni bilo, je v prihodnje potreben razmislek o izvedbi dodatnih usposabljanj za člane timov za samo- evalvacijo. Morda tudi o podiplomskem študijskem programu ali usmeritvi, povezani z evalvacijami, kar poznajo tudi v številnih evropskih in drugih dr- žavah (glej npr. Beywl in Harich 2007). Takšnega programa po našem vedenju, razen posamičnih predmetov v okviru študijskih programov nekaterih fakul- tet, v Sloveniji trenutno ni, čeprav evalvacije potekajo na različnih področjih, ne le na področju izobraževanja (glej npr. Radej idr. 2011; Rihter, Rode in Kobal 2004). Kot pa smo že ugotovili in poudarili o ustreznosti in uspešnosti usposablja- nja za samoevalvacijo ni mogoče govoriti samo na osnovi zadovoljstva udele- žencev z usposabljanjem. Zadovoljstvo namreč še ne pomeni nujno tudi spre- memb v znanju, spretnostih, delu v organizaciji itd. (Bee in Bee 1994). V nada- ljevanju zato predstavljamo vsebinsko interpretacijo rezultatov anketne razi- skave, povezanih s krepitvijo zmožnosti udeležencev in šol za samoevalvacijo. 6.2.2 Krepitev zmožnosti šol za samoevalvacijo Analiza rezultatov kaže, da imajo vsi udeleženci po njihovem mnenju po za- ključku usposabljanja večinoma dobre zmožnosti za samoevalvacijo (znanje, spretnosti in odnos), ki so jih v usposabljanju tudi dejansko okrepili. Pri tem imajo ravnatelji in člani timov statistično značilno boljše zmožnosti, ki so jih z usposabljanjem tudi statistično značilno bolj okrepili kot učitelji. V nadaljevanju interpretiramo vsako posamezno dimenzijo zmožnosti za samoevalvacijo, pri čemer se posebej osredotočamo na krepitev zmožnosti, ki je opredeljena kot razlika v znanju in spretnostih udeležencev pred in po zaključku usposab- ljanja. Odnos do samoevalvacije po zaključku usposabljanja Vsi udeleženci imajo po zaključku usposabljanja v povprečju večinoma pozi- tiven odnos do samoevalvacije, statistično značilna razlika se kaže v odnosu ravnatelji in člani timov ter učiteljev. Stališča udeležencev usposabljanja smo preverjali na kontinuumu med dvema razsežnostma odnosa do samoevalva- cije. 133 Krepitev zmožnosti z usposabljanjem za samoevalvacijo Če rezultate pogledamo podrobneje, lahko ugotovimo, da se pri opredelitvi do razsežnosti samoevalvacije (glej preglednico 5.2) udeleženci v veliki meri nagibajo k stališču, da je samoevalvacija: • proces (a s = 5,6, so = 0,856, n = 1156), • namenjen izboljševanju kakovosti učenja in poučevanja (as = 5,4, so = 0,962, n = 1153), • ki vključuje vse zaposlene (a s = 5,6, so = 0,788, n = 1157) in • je prilagojena ter namenjena primarno šoli (as = 5,3, so = 1,02, n = 1157). Udeleženci usposabljanja samoevalvacije torej večinoma ne dojemajo kot enkratnega dogodka, ki je stvar ravnatelja, namenjena nadzoru in inšpekciji, ki ne prispeva h kakovosti učenja in poučevanja in je enaka za vse šole ter namenjena primerjavam med šolami. Navkljub sicer pozitivnemu odnosu v smislu določenih pričakovanj in vključenosti v samoevalvacijo, pa kaže, da ta v šolah še ni v celoti sprejeta. Najnižje ocenjeni vidiki razsežnosti se namreč navezujejo na določene proce- sne značilnosti in zmožnosti udeležencev za samoevalvacijo, kot npr.: • samoevalvacija vzame dosti časa (as = 3,1, so = 1,4, n = 1155), • samoevalvacijo je težko izvajati (as = 3,5, so = 1,4, n = 1153), • večina strokovnih delavcev ni sposobna izvajati samoevalvacijo brez do- datnega usposabljanja (as = 3,8, so = 1,3, n = 1155). Okrepitev znanja o uvajanju izboljšav in samoevalvaciji Udeleženci usposabljanja so svoje znanje o samoevalvaciji v povprečju izbolj- šali za as = 1,2 ocenjevalnega razreda na 6-stopenjski lestvici in jih po za- ključku usposabljanja ocenjujejo kot večinoma dobre. Pri tem se kažejo sta- tistično značilne razlike v izboljšanju znanja med ravnatelji in učitelji in med člani tima in učitelji. Svoje znanje o uvajanju izboljšav in samoevalvaciji so po našem mnenju pričakovano najbolj izboljšali ravnatelji in člani timov, saj so v usposabljanju najbolj aktivno sodelovali. Poleg izvajanja usposabljanja v svojih šolah so tudi vodili proces uvajanja izboljšav in samoevalvacije. Sicer rezultati kažejo, da so udeleženci v povprečju najbolj okrepili znanje, ki so ga pred usposabljanjem imeli manj, npr.: • vedenje, da mora biti samoevalvacija usmerjena, načrtovanja in siste- matična dejavnost (as = 1,34, so = 1,13, n = 1055), 134 6.2 Interpretacija • povezovanje področja, dejavnosti, ciljev in dosežkov/rezultatov (as = 1,16, s o = 1,01, n = 1052), • poznavanje prednosti in omejitev zbiranja podatkov (as = 1,19, so = 1,04, n = 1049) in • upoštevanje omejitev samoevalvacije (as = 1,23, so = 1,06, n = 1053). V tem delu po našem mnenju velja razmišljati o samem razumevanju samo- evalvacije, ki so ga udeleženci pred usposabljanjem imeli. Kot smo že ugotovili, je ugotavljanje in zagotavljanje kakovosti s samoevalvacijo namreč zakonska odgovornost ravnatelja, ki je dodatno opredeljena samo s pripravo in obrav- navo poročila. Iz neformalnih razprav z udeleženci usposabljanja ob zaključku je bilo razvidno, da so samoevalvacijo v veliki meri enačili tudi z individualno refleksijo na ravni učitelja, ne pa v tolikšni meri s procesom in dejavnostmi, ki vnaprej dogovorjeno potekajo na ravni šole. Glede na vsebino znanja, ki so ga udeleženci pred začetkom usposabljanja imeli najmanj, je z vidika sistemske implikacije potrebno poskrbeti za poenotenje razumevanja samoevalvacije v šolskem prostoru in jo sistematično uvrstiti v okvir obstoječih dejavnosti šol na področju načrtovanja in poročanja. Raba in poznavanje podatkov v šolah sta šibki področji tako pri nas, o tem poročajo tudi tuji avtorji. Kaže namreč, da v šolah za uporabo podatkov niso dovolj usposobljeni, niti nad njihovo uporabo niso najbolj navdušeni (Earl in Katz 2006). Dodatno je tako po našem mnenju potrebno osmisliti rabo podatkov in okrepiti znanje na tem področju. Pri tem ne gre v prvi vrsti za poudarjanje znanstveno-raziskovalnega vidika, pač pa predvsem razumevanje in povezovanje podatkov z uvajanjem izboljšav na eni in odgovornostjo na drugi strani. Manj so udeleženci v povprečju izboljšali oziroma okrepili znanje, ki so ga v večji meri imeli že pred začetkom usposabljanja, to je npr.: • razumevanje pomena odgovornosti posameznikov za kakovost (as = 0,73, s o = 0,91, n = 1063), • pomen skupnih prepričanj (a s = 1,05, so = 0,96, n = 1058) in • pomen vsešolskega pristopa pri uvajanju izboljšav in samoevalvaciji (as = 1,11, so = 1,02, n = 1054). V tem delu je rezultate deloma moč pripisati dejstvu, da usposabljanja, ki temeljijo na vsešolskem pristopu, v slovenskem šolskem prostoru niso novost (Erčulj in Trunk Širca 2000; Rupnik Vec idr. 2008). S tega vidika je gotovo smiselno usposabljanje graditi in dograjevati na že obstoječih dobrih temeljih različnih oblik usposabljanj in načinov delovanja šol. 135 Krepitev zmožnosti z usposabljanjem za samoevalvacijo Okrepitev spretnosti za uvajanje izboljšav in izvajanje samoevalvacije Udeleženci usposabljanja ocenjujejo, da so svoje spretnosti v usposabljanju v povprečju okrepili za as = 1,2 ocenjevalnega razreda na 6-stopenjski lestvici in jih po zaključku usposabljanja ocenjujejo v povprečju kot večinoma dobre. Kot pri krepitvi znanja se tudi pri krepitvi spretnosti kažejo statistično značilne razlike, tokrat med vsemi skupinami, pri čemer so spretnosti najbolj okrepili člani timov, manj ravnatelji in najmanj učitelji. Podroben pregled rezultatov kaže, da so udeleženci najbolj okrepili nasled- nje spretnosti: • načrtovanje izboljšav (a s = 1,36, so = 1,10, n = 1073), • načrtovanje samoevalvacije (as = 1,48, so = 1,11, n = 1067), • oblikovanjem meril za spremljanje (as = 1,27, so = 1,03, n = 1066) ter • pripravo samoevalvacijskega poročila (as = 1,36, so = 1,16, n = 1066). V nekaterih primerih je razlika v izboljšanju spretnosti med člani timov in učitelji en ali celo več ocenjevalnih razredov, kot npr. pri: • pripravi načrta izboljšav (tas = 2,38, uas = 1,07), • načrtovanju samoevalvacije (tas = 2,33, uas = 1,2), • pripravi samoevalvacijskega poročila (tas = 2,24, uas = 1,23). V omenjenih primerih gre (podobno kot pri znanju) sicer za spretnosti, ki so jih udeleženci ocenili kot tiste, ki so jih pred usposabljanjem imeli najmanj. Manko spretnosti na teh področjih lahko po našem mnenju utemeljimo z dej- stvom, da je izvajanje samoevalvacije v slovenskih šolah, vsaj z zakonodajnega vidika, relativno novo, saj je bilo uzakonjeno leta 2008 (z of v i-u pb 5). S sis- tematičnim pristopom k uvajanju izboljšav in samoevalvacije, ki ga spodbuja usposabljanje in ki temelji na podatkih, so se nekatere šole tako bodisi srečale prvič bodisi na tem področju niso imele dovolj znanja in spretnosti. Pred- vsem je po našem mnenju tu pomembno izpostaviti t. i. vsešolski pristop, saj je usposabljanje zasnovano tako, da se načrtovanje izboljšav, samoevalvacije in oblikovanje meril odvija tako na ravni šole, kjer so določene ključne usmeri- tve oziroma oblikovani prednostni cilji, kot nižje na ravni strokovnih aktivov oziroma drugih skupin in na ravni posameznega učitelja, kjer načrt in me- rila postanejo najbolj konkretni in neposredno povezani z delom v razredu. Na osnovi neformalnih razgovorov z udeleženci usposabljanj tudi menimo, da manko omenjenih spretnosti izhaja iz do sedaj manj sistematičnega pri- stopa k načrtovanju in samoevalvaciji, ki tudi ni nujno vključeval vseh stro- kovnih delavcev in vseh ravni od šole do učitelja. Rezultate lahko neposre- 136 6.2 Interpretacija dno povežemo z rezultati izboljšanja znanja, ki smo ga obravnavali zgoraj. Najmanj so udeleženci okrepili spretnosti, ki so jih kot boljše ocenili že pred usposabljanjem, in sicer sposobnost refleksije (as = 0,96, so = 0,97, n = 1070) in vključevanja različnih deležnikov v uvajanje izboljšav in samoevalvacijo (as = 1,01, so = 0,94, n = 1062). Refleksija v izobraževanju oziroma v pedagoškem delu in vodenju je v Sloveniji tudi sicer precej poudarjena tako v praksi kot literaturi (Marentič-Požarnik 2000; 2010; Cvetek 2003a; 2003b; Valenčič Zuljan 2001; Erčulj idr. 2008) in je praktično del večine programov nadaljnjega izobraževanja in usposabljanja (Pravilnik o nadaljnjem izobraže- vanju in usposabljanju strokovnih delavcev v vzgoji in izobraževanju). Ravnatelji in člani timov so po lastni oceni pomembno okrepili še sposob- nost prenosa znanj o samoevalvaciji na druge strokovne delavce (as = 2,04, s o = 1,16, n = 181). Glede na zasnovo in izvedbo usposabljanja in s tem povezano njihovo vlogo, lahko rečemo, da gre za pričakovan rezultat, ki ga nedvo- mno potrjuje tudi večinoma dobra ocena njihovega delovanja s strani učiteljev, ki smo jo predstavili v poglavju 6.2.2. Statistično značilno razliko v krepitvi zmožnosti (znanja in spretnosti) med različnimi skupinami udeležencev je po našem mnenju mogoče pojasniti na osnovi dveh razlogov: • Prvi razlog je ta, da so usposabljanja potekala na dveh kaskadnih rav- neh, pri čemer se je razlika med udeleženci na prvi (ravnatelji in člani timov) in udeleženci na drugi ravni (učitelji) pokazala že pri oceni za- dovoljstva z usposabljanjem. Hkrati z dvema vlogama (udeleženci uspo- sabljanja in izvajalci usposabljanja) pa so imeli timi za samoevalvacijo v nasprotju z učitelji tudi še možnost in priložnost sodelovanja s timi za samoevalvacijo drugih šol, saj so usposabljanja na prvi kaskadni ravni potekala v skupinah od 5 do 9 timov za samoevalvacijo z različnih šol (Brejc 2011a). To jim je omogočalo dodatno izmenjavo izkušenj prime- rov dobre in manj dobre prakse, kolegialno povratno informacijo itd. • Drugi razlog, ki ga vidimo, pa je, da so predvsem ravnatelji redno vklju- čeni v proces načrtovanja, spremljanja in poročanja na ravni šole, saj gre za eno od njihovih z zakonom določenih odgovornosti (z of v i-u pb 5). Glede na neformalne razgovore s timi v usposabljanje vključenih šol ve- čina teh timov tudi ni sestavljenih na novo oziroma v takšni sestavi ne delujejo prvič, pač pa so kot tim že delovali skupaj in na deloma podo- ben način vodili projekte in v svoje šole uvajali spremembe in izboljšave. Tako so tudi strokovni delavci, ki so člani timov, večinoma bolj vpeti v načrtovanje, spremljanje in poročanje na ravni šole, kot pa učitelji. 137 Krepitev zmožnosti z usposabljanjem za samoevalvacijo Zanimivo je, da v krepitvi zmožnosti za samoevalvacijo in tudi v sami oceni zmožnosti po zaključku usposabljanja v povprečju ni statistično značilnih raz- lik med šolami glede na število projektov s področja kakovosti v izobraževanju, v katere je (bila) šola vključena, vrsto zavoda in velikostjo zavoda. To po našem mnenju lahko pomeni, da je bil program zastavljen dovolj široko, da je pokril spekter raznolikih kontekstov, izkušenj in pričakovanj, pri čemer seveda ne gre pozabiti na razlike, ki se kažejo med posameznimi skupinami udeležencev. Iz vsebinske interpretacije podatkov, povezanih s krepitvijo zmožnosti v usposabljanju je v povzetku moč izpostaviti tri priporočila: • Prvo je povezano z oblikovanjem odnosa do samoevalvacije. Po našem mnenju je potrebno poenotenje razumevanja in izvedbe samoevalvacije v šolskem prostoru. Kot smo namreč ugotovili pri pregledu slovenskega konteksta (glej poglavje 2.3), šole za samoevalvacijo pripravljajo različni izvajalci, ki med seboj ne delujejo nujno usklajeno. Pri oblikovanju od- nosa je gotovo pomembno tudi jasno stališče oziroma opredelitev od zgoraj navzdol, torej v našem primeru opredelitev oziroma stališče pri- stojnega ministrstva. Samo zapis samoevalvacije v zakonodajo dolgo- ročno ni dovolj, če se ji ne daje ustreznega poudarka. • Drugič, pred izvedbami usposabljanj za samoevalvacijo je v prihodnje potrebna predhodna analiza stanja in potreb, ki bo pokazala na more- bitni manko znanja in spretnosti, s čimer bo usposabljanje lahko bolj neposredno usmerjeno v izbrane tematike. • Tretjič, v zvezi z oblikovanjem oziroma pridobivanjem in krepitvijo od- nosa, znanja in spretnosti je potrebna usmerjena in trajnostna krepi- tev znanja in spretnosti tistih (v našem primeru timov za samoevalva- cijo), ki v primeru kaskadnega usposabljanja prenašajo vsebine in imajo hkrati v šolah interno vlogo krepiteljev zmožnosti za samoevalvacijo. S tem lahko poskušamo kar najbolj preseči pomanjkljivost kaskadnega pristopa, pri katerem se lahko zgodi, da ekspertno znanje ostaja pred- vsem na najvišji kaskadni ravni (Wedell 2005). Oziroma če izhajamo iz koncepta in teorije krepitve zmožnosti in rečemo drugače, potrebna je zmožnost, če želimo krepiti zmožnost (Hatch 2001), hkrati pa tudi od- govor na vprašanje, kdo krepi čigavo zmožnost (Eade 2007). 6.2.3 Spremembe v delovanju na ravni udeležencev in šol Ugotovili smo pozitivne učinke na prvi in drugi ravni uspešnosti usposab- ljanja, to je zadovoljstvu z izvedbo usposabljanja in učenju oziroma krepitvi 138 6.2 Interpretacija znanja, spretnosti in odnosa do samoevalvacije, pri čemer med obema rav- nema obstaja tudi statistično značilna pozitivna povezanost. V nadaljevanju bomo razpravljali o vsebini rezultatov na tretji in četrti ravni uspešnosti uspo- sabljanja, torej o spremembah v delovanju na ravni udeležencev (ravnateljev in članov timov) in na ravni šol kot jih po zaključku zaznavajo udeleženci us- posabljanja. Spremembe pri delu ravnateljev in članov timov Podatki kažejo, da 55 (od 64) ravnateljev in 111 (od 132) članov timov opaža, da so zaradi udeležbe v usposabljanju spremenili določene stvari pri svojem vodenju oziroma siceršnjem delu v šoli. Spremembe niso vezane le na delo, povezano s samoevalvacijo (izvedba usposabljanja za učiteljske zbore, vode- nje samoevalvacije), pač pa so način dela in razmišljanja prenesli tudi na druge dejavnosti, ki jih izvajajo, bodisi sami, timsko, s celotnim učiteljskim zborom in učenci. Da bi dobili boljši vpogled, smo jih prosili, da zapišejo, kaj so zaradi udeležbe v usposabljanju spremenili pri svojem siceršnjem delu. Na odprto vprašanje je odgovorilo 55 (od 64) ravnateljev in 105 (od 132) članov timov. Ve- čino zapisanih odgovorov je bilo mogoče uvrstiti v naslednje vsebinske sklope, ki jih v nadaljevanju podrobneje predstavljamo z izjavami ravnateljev in čla- nov timov: • načrtovanje (ravnatelji in člani timov), • spremljanje in vrednotenje (ravnatelji in člani timov), • sodelovanje oziroma timsko delo (člani timov), • sodelovalno vodenje, poverjanje nalog, vključevanje (ravnatelji). Ravnatelji so približno četrtino (13) svojih odgovorov povezali s spremem- bami, povezanimi z načrtovanjem. Predvsem gre, kot navajajo, za bolj siste- matično, usmerjeno načrtovanje l dn, več skupnega načrtovanja, način izbora ciljev in usmeritev, oblikovanje dolgoročnih ciljev in aktivnosti v zvezi z doseglji-vostjo le-teh. Navajajo še, da so projekti zapisani akcijsko in dajejo boljši časovni pregled, ter da sistematičnost in usmerjenost omogočata evalviranje. Model se lahko uporablja na vseh nivojih. Tudi odgovori približno tretjine (32) članov timov se nanašajo na določene spremembe, povezane z načrtovanjem dela. Tako npr. predvsem bolj sistematično načrtujejo, pri čemer večkrat poudarjajo spoznanje manj je več. Spremenila sem pristop k zastavljanju ciljev – bolj premi- šljeno in manj velikopotezno. Hkrati kaže, da so v zvezi s tem pridobili tudi širši pogled, saj npr. na vse teme, dogodke gledam širše, bolj dolgoročno za vnaprej. 139 Krepitev zmožnosti z usposabljanjem za samoevalvacijo V približno četrtini (15) vseh odgovorov ravnatelji kot spremembo pri svo- jem delu navajajo določene vidike spremljanja in vrednotenja. Bolj sistema- tično in bolj zavestno vključujem elemente samoevalvacije v svoje delo (hospitacije, priprava poročil, letni razgovori, letno poročilo, ldn . . .). Cilji hospitacij so usklajeni s prednostnimi nalogami šole. Novo je to, da smo z učitelji oblikovali merila za spremljanje pouka, v katera smo uvrstili vprašanja, povezana s samoevalvacijo. Ob tem so se nekateri tudi prvič srečali s takšnim načinom zbiranja podatkov, postavljanja ciljev in oblikovanja meril. Bolj dosledno spremljamo izvajanje načrtovanih aktivnosti. Lahko bi celo rekli, da so osvojili evalvativno razmišljanje: Pri spremljanju dela strokovnih delavcev, pri poučevanju, pri svojem delu in zapisih se vprašam »kako veš?«. Seveda pa, kot ugotavljajo nekateri, ne gre za radikalne spremembe. Načeloma nismo spremenili načina dela, smo ga pa v marsičem korigirali. Tudi skoraj polovica (42) zapisanih odgovorov članov timov kaže, da kot največjo oziroma najpogostejšo spremembo pri svojem delu zaznavajo bolj sistematično spremljanje rezultatov svojega dela, s sprotnimi dnevniškimi zapisi in drugimi oblikami spremljanja. Ob tem je po našem mnenju potrebno posebej poudariti, da v zapisih večkrat poudarjajo tudi s tem povezan vidik dela z učenci oziroma dijaki. Npr. ko načrtujem potek pouka, se največkrat sprašujem, ali sem pripravila vsebine tako, da so razumljive, zanimive . . . Vedno več iščem možnosti povezav s strokovnimi vsebinami in poiščem po- vezave s splošnimi vsebinami. V glavnem je spodbudilo razmišljanje, kako spre- meniti, da bo še boljše. Ali: Redno evalviram delo, na vrednotenje dela navajam učence. In: Delo bolj skrbno načrtujem in spremljam – v pouk vključujem dejavnosti, metode dela, ki učencem omogočajo dosegati določen cilj. Oziroma: Tudi dijake navajam na samoevalvacijo. Kot ugotavljajo, s sistematičnim in dosle-dnim spremljanjem bolj spoznavajo sebe, prednosti, slabosti in kako jih premo- stiti. Hkrati pa z več opazovanja posledično bolj poznamo otroke, vrednotimo delo učencev in svoje delo. Dobra petina odgovorov (22) članov timov kaže še na spremembe pri timskem delu in njihovem sodelovanju z ostalimi učitelji. Boljše timsko delam in več se pogovarjam s kolegi. Pridobljeno znanje uporabljam pri timskem delu in reševanju nalog. Posamezni odgovori članov timov poudarjajo tudi npr. spremembe oziroma izboljšanje spretnosti nastopanja in vodenja in boljše sodelovanje s starši. Približno tretjina (19) odgovorov ravnateljev pa se nanaša tudi na spremembe pri vodenju. Predvsem so poudarjeni raz- lični vidiki sodelovalnega vodenja oziroma poverjanje nalog in vključevanje zaposlenih. Tako npr. navajajo zavedam se pomena samoevalvacije in jo vpelju- jem pri svojem pedagoškem vodenju. V dejavnosti bolj vključujejo zaposlene. Oblikovali smo prednostna področja, bolj sem vključevala zaposlene v strokovno razpravo, posredovanje predlogov in iskanje rešitev je postalo del prakse (sodelo-140 6.2 Interpretacija valno vodenje). Svoje delo tudi bolj poverjajo, lažje je priti do ciljev, če sodelavci odgovorno prevzamejo del nalog. Ob tem ugotavljajo, da prenos odgovornosti poveča aktivnost v kolektivu, kar je bolj uspešno pri uvajanju sprememb v šolo. Tudi priprave poročila o samoevalvaciji ne smatrajo več kot le lastno odgovor- nost. Izpeljavo določenih nalog sem poverila timu, samoevalvacijsko poročilo je nastalo v sodelovanju s timom in aktivi. In še: samoevalvacijsko poročilo je sedaj naloga celotnega kolektiva. Posamezni zapisi odgovorov ravnateljev kažejo tudi, da so tekom usposabljanja in izvajanja aktivnosti v svojih šolah nekateri spremenili pogled na soustvarjalce v šoli, ko so se poglobili v analize. Pa tudi pogled in prakso uvajanja sprememb. Začela sem ceniti manjše korake in manjše dosežke, ki pa peljejo k istemu cilju. Kot navajajo, je ob tem pomembno jasno in konkretno posredovanje informacij. Spremembe v delovanju na ravni šol Rezultati kažejo, da je po mnenju udeležencev udeležba v usposabljanju dopri- nesla tudi k spremembam v delovanju na ravni šol, pri čemer ni pomembnejših odstopanj med ravnatelji, člani timov in učitelji, kar pomeni, da znotraj zavo- dov v povprečju približno enako podobno zaznavajo spremembe. Obstajajo pa statistično značilne razlike med vrtci in srednjimi šolami. Podrobnejši pregled rezultatov kaže največjo stopnjo strinjanja udeležen- cev3 pri trditvah, kot so: • ugotovitve samoevalvacije uporabljamo za načrtovanje izboljšav v šoli, vrtcu (as = 5,3, so = 0,69, n = 62), • skupaj določamo prioritete na ravni šole, vrtca (a s = 5,2, so = 0,84, n = 61), • smo v šoli, vrtcu oblikovali skupna prizadevanja za kakovost (a s = 5,0, s o = 0,92, n = 62) in • bolj sistematično spremljamo in vrednotimo svoje delo (as = 4,9, so = 1,08, n = 61). Najmanj pa se udeleženci strinjajo s trditvami, ki se hkrati kažejo kot naj- večje »slabosti« samoevalvacije: • nismo dodatno časovno obremenjeni (as = 2,4, so = 1,15, n = 62) in • se niso pokazale pomanjkljivosti v znanju in spretnostih pri uporabi po- datkov (as = 2,8, so = 1,4, n = 62). 3 Podatki so agregirani po zavodih, povprečne vrednosti so izračunane po vrstah zavodov. 141 Krepitev zmožnosti z usposabljanjem za samoevalvacijo Nižje so tudi ocene strinjanja s trditvama: samoevalvacije ne vidimo kot dodatnega papirnatega dela (as = 3,6, so = 1,4, n = 62) in ni nelagodja pred morebitnim odkritjem šibkih točk šole in posameznika (as = 3,6, so = 1,4, n = 62). Da bi o spremembah na ravni šol dobili tudi opisne podatke, smo udeležen- cem zastavili še odprto vprašanje: Če želite izpostaviti še druge rezultate procesa samoevalvacije v vaši šoli, vrtcu, jih lahko na tem mestu zapišete. Odgovore je zapisalo 28 (od 64 ravnateljev), 33 (od 132) članov timov in 15 (od 950) učiteljev. Zapisi bolj ali manj potrjujejo relativno visoko oceno prej omenjenih ocen zaznavanja sprememb, ki jih v nadaljevanju povzemamo glede na sku- pino udeležencev. Kot je zapisal eden od ravnateljev, je pozitivni učinek že to, da so se strokovno delavci srečali s samoevalvacijo in tako ozavestili pojem, zakonsko obveznost in poročilo o samoevalvaciji. Sicer pa so po mnenju ravnateljev rezultati samoevalvacije vidni tudi konkretneje, kot npr. spoznali in uporabili smo nove me- tode za preverjanje bralne pismenosti, razvrščanje pomena oblikovanja navodil. Kažejo se dobri rezultati na vzgojnem področju, samoevalvacijo smo povezali z vzgojnim načrtom. Več je sodelovalnega dela pri strokovnih delavcih in do-slednosti pri izvajanju dodatnih nalog. Učitelje sem razbremenila pisanja letnih priprav in jih usmerila v večjo kakovost učenja. Akcijske načrte sproti evalvirajo, za doseganje večje kakovosti so se aktivi začeli povezovati po vertikali. S pomočjo načrtnega dela se sodelavci večkrat sestanejo, se bolj odkrito pogovarjajo in skupno iščejo rešitve. Ko prepoznajo problem, se z njim poistovetijo in težko izstopijo iz rešitve. V splošnem ravnatelji ugotavljajo, da se je spremenila klima do se. Strokovni sodelavci so večinoma odgovorno sprejeli delo v delavnicah. Sicer pa posamezni ravnatelji upajo, da bodo samoevalvacijska poročila iz leta v leto boljše narejena na konkretni dejavnosti šol. Še vedno je tudi prisotno, da učitelji ne želijo poglobljeno sodelovati. Ko so prišli do spoznanja da se bo vrednotilo njihovo delo, bi želeli izpostaviti le uspehe, ne pa poti, ki je do njih pripeljala. Člani timov so izpostavili spoznanje, da uvajanje samoevalvacije ni popolna novost ali, kot je zapisal eden od članov tima, je tudi dosedanje delo vsebovalo vsaj 60  smernic, ki jih je zastavila formalna samoevalvacija. Sicer pa večinoma ugotavljajo, da se je izboljšalo komuniciranje s sodelavci, medpredmetno povezovanje, timsko delo. Mešane skupine so delovale konstruktivno. Udeležba v usposabljanju je pripomogla k povezovanju strokovnih delavcev različnih enot. Eden od članov timov je zapisal: z določitvijo prioritetnih ciljev smo kot kolektiv začeli sodelovati in se zavedati, da le s skupnimi močmi lahko dosežemo cilj, postavljen v načrtu izboljšav. Ker je cilj enoten za šolo in za vrtec, lahko z večjim 142 6.2 Interpretacija optimizmom pričakujemo rezultate. Sicer pa podobno kot nekateri ravnatelji opažajo tudi, da se vedno najdejo posamezniki, ki so nastrojeni proti vpeljeva-nju novosti. Lahko pa pride tudi do poslabšanja klime, ker se strokovni delavci počutijo dodatno opazovani. Zanimivi in po našem mnenju povedni/zgovorni so tudi zapisi učiteljev, predvsem tisti, ki niso nujno pozitivni, čeprav jih je, kot smo že ugotovili, malo. Tako se npr. posameznim učiteljem zdi, da zapis in analiza kvalitativ- nih in kvantitativnih podatkov vzame kar nekaj dodatnega časa. Po mnenju enega od njih je do uspešnih rezultatov težko priti, saj je tendenca med učitelji ta, da znamo biti dostikrat nedosledni in se ne držimo dogovorjenega. Ob tem kot morebitni razlog nekateri navajajo npr.: Pisarije v šolstvu je preveč. Uči-telju zmanjkuje časa, da bi se posvetil poučevanju. Pomembno je le, da je vse natančno zapisano in vodeno, na račun kvalitete poučevanja. Ali pa: Zaradi samoevalvacije moje delo ni nič bolj kvalitetno. Kvečjemu mi zmanjka motivacije za večje korake v korist učencev. Ena od učiteljic je zapisala tudi: Pri se je veliko odvisno od tega, kako jo izpeljemo. Če ni dobro pripravljena, če je okvir preveč tog (je bil!), ima negativne učinke. Sama samoevalvacijo vidim kot nekaj pozitivnega, zato me žalosti, da imamo zaradi tega projekta na šoli negativno izkušnjo. V prihodnje naj bodo podobni projekti bolj domišljeni, pripravljeni in bolje vodeni. Z vidika sistemske implikacije je vsekakor potreben ponoven razmislek o celotni zasnovi samoevalvacije tako z vidika pristopa k njenemu uvajanju (preko usposabljanja timov za samoevalvacijo) kot tudi z vidika morebitne dodatne ali odvečne »pisarije«. Z vidika usposabljanja je nedvomno potrebno največ pozornosti posvetiti pripravi delavnic in izvedbi usposabljanja timov za samoevalvacijo, hkrati pa tudi najti način spremljanja njihovega dela v šolah (npr. z zunanjo evalvacijo, vzajemnim svetovanjem ali kritičnim prijateljeva- njem med timi različnih šol ipd.). Hkrati pa je po našem mnenju potreben večji poudarek tudi osmišljanju posameznih dokumentov (načrta in poročila, analize podatkov) za profesionalni razvoj in spremljanje dela učiteljev in šole, ne pa kot dodatne papirologijo. Sodeč po naših izkušnjah oziroma izhajajoč iz razgovorov z udeleženci usposabljanja se včasih namreč zdi, da je zapisovanje ponekod doseglo mejo, ko učitelji že vsak zapis oziroma dokument enačijo s papirologijo in v dokumentih, pa četudi gre za res kratke zapise, ne vidijo dodane vrednosti v smislu lažjega spremljanja in izboljševanja kakovosti dela v šolah. Hkrati s tem bi bilo morebiti smiselno tudi krepiti zmožnost šol, da pregledajo in kritično ovrednotijo dokumente oziroma »pisarijo«, ki so si jo zastavili in naložili interno in ki je prav tako včasih namenjena sama sebi. Si- cer pa je naše mnenje, da je interne zapise, ki ne služijo nikomur in ničemur, 143 Krepitev zmožnosti z usposabljanjem za samoevalvacijo smiselno opustiti. O dokumentih, ki jih je potrebno pripravljati zakonsko, pa razmisliti v smeri, da bodo vsaj v določeni meri koristili tudi šoli. Rezultati v zvezi s spremembami v delovanju šol so tudi pokazali, da je z njimi močno pozitivno povezana uspešnost delovanja timov za samoevalva- cijo. O uspešnosti delovanja timov smo podrobneje že razpravljali (glej po- glavje 6.2.4), v nadaljevanju bomo predstavili še odgovore ravnateljev in čla- nov timov na vprašanje: Kaj je po vašem mnenju najpomembneje, ključno, da kot ravnatelj/član tima storite za uspešno samoevalvacijo v vaši šoli, vrtcu? Odgovore je zapisalo kar 60 (od 64) ravnateljev in 121 (od 132) članov timov, kar po našem mnenju kaže na njihovo zavedanje pomena lastne vloge. Iz zapisov ravnateljev je mogoče razbrati, da svojo vlogo za uspešno samo- evalvacijo v šoli vidijo predvsem s treh vidikov, in sicer: • razumevanje, poznavanje in zavedanje pomena samoevalvacije (18 za- pisov), • motiviranje in spodbujanje tima in strokovnih delavcev za uvajanje iz- boljšav in samoevalvacijo (18 zapisov) in • zagotavljanje trajnosti procesa izboljšav in samoevalvacije (11 zapisov). Če zapise povzamemo, navajajo, da je najprej pomembno, da ima ravna- telj pozitivno prepričanje o pomenu samoevalvacije, da jo razume, pozna, se zaveda njenega pomena in le-tega predstavi vsem vključenim deležnikom ter da je usposobljen za njeno izvajanje, in sicer zato, da se samoevalvacija uvaja zato, ker na tak način izboljšamo svoje delo, ne zato, ker je predpisana. Pri tem mora ravnatelj znati oceniti in vzpodbujati, uveljavljati samo tisto, kar je smiselno in samoevalvacijo mora uporabljati tudi sam. Z vidika motivacije strokovnih delavcev in tima je, kot navajajo, potrebno spodbujanje v vsaki fazi, saj je proces lahko uspešen le, če ravnatelj zanj motivira vse zaposlene in potem tudi dosledno spremlja potek. Potrebno je nenehno spodbujanje k izboljšavam, zlasti glede vzgojno-izobraževalnega dela. Učitelji radi zapadejo v utečen način, uvajanje izboljšav jemljejo kot veliko spremembo, te pa v prvi vrsti povzročajo odpor. Ob tem se jim zdi pomemben prikaz konkretnih primerov dobre prakse, pohvala in redna vmesna evalvacija narejenega in doseženega, osveščanje zaposlenih o prednostih samoevalvacije, usmerjanje k izboru primernih ciljev, ki jih je možno doseči oziroma jim slediti in obenem evalvirati na čim bolj racionalen način. Po njihovem mnenju morajo učitelji pridobiti občutek, da tvorno sodelujejo pri načrtovanju procesov skrbi za kakovost in postati odgovorni in učinkoviti pri evalvaciji tega dela. Pomembna je sodelovalnost, odprt dialog, omogočanje izobraževanja, možnosti za spremembe, opažanje kvalitetnega dela in pohvala, 144 6.2 Interpretacija pa tudi skrb, da bo dodatna obremenitev ob tem čim manjša. Za uspešno sa- moevalvacijo je po mnenju ravnateljev njihova vloga pomembna tudi z vidika zagotavljanja trajnosti procesa. Tako je po njihovem mnenju npr. pomembno, da sami vzpostavimo proces in ga spremljamo, da je samoevalvacija vpeta v vsakodnevno delo in da se samoevalvacija uvaja kot osnovni princip skrbi za kakovost v šoli v smislu procesne aktivnosti. Pomembno je, da, kot še navajajo, z delom nadaljujemo, da poskrbimo za proces izboljšav, ki bo dosegel veliko večino in posledično prinesel boljše rezultate. Hkrati mora ravnatelj pri tem vztrajati, saj navdušenje raste in pade – pri ravnatelju ne sme zanihati navzdol (da bi bilo to opazno). Pregled zapisov odgovorov članov timov kaže, da bistvo svoje vloge vidijo predvsem v: • prenosu znanja o uvajanju izboljšav in samoevalvaciji na učitelje in kon- kretni podpori pri izvajanju s tem povezanih dejavnosti ter • učinkoviti in strokovni organiziranosti tima za samoevalvacijo. Med drugim člani timov tako navajajo, da je pomembno, da sodelavcem do- bro predstavimo proces, njegovo umeščenost v šolsko delo in smiselnost le tega, in sicer tako, da so stvari razložene na jasen in preprost način oziroma pra-vilno, nevsiljivo predstaviti problematiko samoevalvacije in zainteresirati kolege za nek skupen cilj, ki nas vodi k boljšemu delu ter samoevalvacijo izvajati tako, da ne vzame veliko časa. Najpomembneje je, kot npr. navajajo, da ne govorimo o samoevalvaciji, ampak kaj in kako lahko storimo bolje . . . pomembno je, da načrtovano uresničimo in iskati različne poti do cilja, kolege je potrebno dodatno motivirati, pomemben je osebni kontakt, pomembno je, da vedo, kaj delajo in trud nagraditi – nematerialno nagrajevanje. Potrebna je dobra predstavitev določenih ciljev in konkretni rezultati, ki smo jih dosegli in predstavitev le-teh sodelujočim. Za člane tima je tako ključno, da so dostopni za vprašanja in dileme, pa tudi da jih samo odpiramo in o njih razpravljamo. Jasno je potrebno določiti cilje, natančneje opredeliti, kaj se spremlja in kako ter kdo je za kaj odgovoren ali drugače: funkcionirati, kot da sem njihov opomnik. Za uspešno delo z učitelji je, kot ugotavljajo člani tima, pomembna učinkovita in strokovna organiziranost tima. Člani tima morajo biti usklajeni, delavni, prepričani v po- membnost samoevalvacije, imeti morajo ugled na šoli in potrebujejo podporo ravnatelja. Pomembna je komunikacija in razdelitev vlog v timu, medsebojno sodelovanje članov tima in poznavanje različnih načinov motiviranja zaposle- nih. Tim mora delovati na principu timskega dela, biti mora dovolj odprt za sodelovanje in nove predloge. Hkrati je potrebno večkrat posegati po literaturi, sistematično spremljati svoje delo, vsak član tima mora poznati področje samo-145 Krepitev zmožnosti z usposabljanjem za samoevalvacijo evalvacije, pomembno je samoizobraževanje in lasten zgled. Ob tem morajo člani tima poenotiti razumevanje navodil, pojmov, postopkov, če ne, se to negativno odraža na motivaciji in pogledu na samoevalvacijo. Eden od udeležencev je zapisal še: Najprej mora priti v glavah delavcev – učiteljev do spoznanja, da gre za osmislitev svojega dela, ki ga že opravljamo in za zavedanje, da je od vsakega posameznika odvisna izboljšava v šoli. In da ne sprejmejo samoevalvacije kot dodatnega dela. Če nam je uspelo kot timu v to prepričati delavce, smo dosegli cilj, to pa je bilo najtežje. Pri tem je pomembno, da tim stoji za samoevalvacijo, saj le tako lahko prenese svoje znanje in izkušnje na sodelavce. Z vidika sistemske implikacije je po našem mnenju potrebna jasnejša, morda tudi zakonska opredelitev vloge in nalog tima za samoevalvacijo v šo- lah, saj je uspešnost njihovega delovanja pozitivno povezana tako s krepitvijo zmožnosti za samoevalvacijo kot s spremembami v delovanju na ravni šol. Ob tem je smiselno izhajati iz obstoječih načinov in oblik timskega dela v sloven- skih šolah (Rupnik Vec idr. 2008; Cirman 2011; Erbrus, Mlakar in Pukšič 2011) ter zakonodajnih okvirov (npr. 16. člen z o f v i-u pb 5), hkrati pa podrobneje vsebinsko opredeliti naloge članov, njihovo vlogo utemeljiti in predlagati nji- hovo sestavo ter predlagati način vrednotenja njihovega dela v okviru obveze, ki jo kot posamezniki v šolah imajo in opravljajo. Z organizacijskega vidika je pomemben tudi razmislek o podpori ravnateljem pri vodenju kakovosti v šo- lah in hkrati preverjanje, da za kakovost s sistemsko opredeljenimi mehanizmi dejansko skrbijo. Z analizo in interpretacijo podatkov smo empirično potrdili, da je uspo- sabljanje okrepilo zmožnosti šol za samoevalvacijo, da je zasnova kaskadnega usposabljanja ustrezna in da gre za pomembno strategijo krepitve zmožnosti za samoevalvacijo. Vendar pa po našem mnenju in glede na pregled obsto- ječe literature in raziskav s področja krepitve zmožnosti za evalvacijo samo usposabljanje ne more doprinesti h kakovostnemu in trajnostnemu izvajanju in uporabi samoevalvacije v šolah. Zato v naslednjem poglavju predstavljamo predlog modela krepitve zmožnosti za samoevalvacijo, ki zajema sistemsko, organizacijsko in individualno raven? 146  Model krepitve zmožnosti šol za samoevalvacijo Koncept krepitve zmožnosti šol za samoevalvacijo (kzse) je kompleksen, zato ga prikazujemo z modelom kot poenostavitvijo realnosti. Model smo zasno- vali na temeljnih ugotovitvah oziroma odgovorih na prvi dve v uvodu zasta- vljeni raziskovalni vprašanji: Kako se koncept krepitve zmožnosti za samoeval- vacijo odraža in uveljavlja v okviru vzpostavljanja sistema ugotavljanja in zagotavljanja kakovosti v šolah v Sloveniji? in Kako usposabljanje za samoevalvacijo prispeva h krepitvi zmožnosti za uvajanje in izvajanje trajnostne prakse samoevalvacije v šolah? Ob tem upoštevamo še: • predlog splošnih izhodišč za oblikovanje nacionalnega sistema u z k (Brejc, Jurič in Širok 2008), ki med drugim izpostavlja pomen krepitve zmožnosti; • nadnacionalna priporočila oe c d šolskim sistemom v zvezi z evalvacijo v šolah (oe c d 2013b), posebej samoevalvacijo in krepitvijo zmožnosti posameznikov; • ugotovitve pregleda trenutnega stanja v slovenskem šolskem sistemu in posebej projektov, v katerih se razvijajo in preizkušajo elementi nacio- nalnega sistema u z k in • ugotovitve empirične raziskave uspešnosti izbranega usposabljanja za samoevalvacijo kot ene od strategij za krepitev zmožnosti. Z oblikovanjem modela odgovarjamo na tretje raziskovalno vprašanje Ka- kšne so možnosti in potrebe nadaljnjega razvoja »sistema« krepitve zmožnosti za samoevalvacijo v šolah v Sloveniji? To je tudi temeljni prispevek. Pri tem se naslanjamo tudi na pregled literature o krepitvi zmožnosti za evalvacijo, v katerem ugotavljamo, da je za razmislek o krepitvi zmožnosti in oblikovanje modela potrebno upoštevati nekatera izhodišča, in sicer: • k z se je potrebno opredeliti skladno z definicijo, namenom in cilji sa- moevalvacije v določenem kontekstu in jo razumeti kot organizacijski, ne le profesionalni razvoj; 147 Model krepitve zmožnosti šol za samoevalvacijo • potrebuje vzpostavitev zahteve, saj se samoevalvacija ne zgodi sama po sebi; • deluje na več ravneh, individualni, organizacijski in sistemski, ki jih je potrebno upoštevati in med seboj povezati; • za trejnostni pristop h krepitvi zmožnosti potrebujemo široko bazo de- ležnikov in posameznike oziroma skupine, odgovorne za k z s e, kar predvsem velja za organizacijsko raven; • pomembna je sodelovalnost in vključenost vseh učiteljev v posamezni šoli; • zasnova krepitve zmožnosti za samoevalvacijo naj bo fleksibilna in kon- tekstualno usmerjena, zmožnosti lahko krepimo na različne načine; • potrebni so človeški, finančni in institucionalni viri. Potrebo po modelu kzse in njegovi realizaciji v praksi utemeljujemo pred- vsem iz treh razlogov. Prvič, ker je samoevalvacija šole prepoznana kot eden od ključnih dejavnikov pri nenehnem izboljševanju delovanja šol in dosežkov učencev. V državah članicah o e c d pa tudi širše obstaja skoraj »univerzalna osredotočenost na ravni nacionalne politike za spodbujanje samoevalvacije šol« (o e c d 2013b, 406). V strokovni in znanstveni literaturi hkrati najdemo navedbe, da je v šolah še vedno premalo zavedanja o pomenu in uporabnosti samoevalvacije, hkrati pa zaradi vladnih direktiv šole samoevalvacijo lahko vidijo predvsem kot obvezo in ne kot orodje za izboljšave (Schildkamp 2007; Van Petegem idr. 2005; Vanhoof idr. 2009). Učinkovitega spremljanja in vre- dnotenja (samoevalvacije) na ravni šol se torej ne da doseči samo z od zunaj predpisanimi zahtevami in vzpostavljenimi mehanizmi, ampak je potrebno okrepiti zmožnosti šol in učiteljev, da učinkovito načrtujejo in izvajajo dejav- nosti za doseganje zastavljenih ciljev ter pri tem proces same nenehno tudi spremljajo in vrednotijo. Za uspešno uvedbo (nacionalnega) sistema u z k s samoevalvacijo je tako pomembno vlaganje v boljše delovanje učiteljev ozi- roma šol. Drugič, ugotovili smo, da v slovenskem šolskem sistemu že obstajajo dolo- čene strategije, ki jih lahko povežemo s konceptom k z s e, ni pa celovitejšega razmisleka ali modela, čeprav praksa dela s šolami, pa tudi izkušnje sistemov v tujini ter teoretična in raziskovalna izhodišča oziroma ugotovitve kažejo, da bi bilo za učinkovit, predvsem pa tudi trajnosten sistem »u z k s samoevalva- cijo« (zofvi-upb5) to potrebno. V slovenskem kontekstu je takšen razmislek oziroma model po našem mnenju potreben tudi zato, ker, kot smo ugotovili, je samoevalvacija na nacionalni ravni opredeljena bolj kot ne zgolj z obvezno- stjo ravnatelja, ni pa na nacionalni ravni sprejetih usmeritev in izhodišč (npr. definicije, namena, ciljev, meril oziroma kazalnikov itd.), šole se v različne pro-148 7.1 Opredelitev modela jekte oziroma pristope, ki temeljijo na ali vključujejo tudi samoevalvacijo (glej poglavje 2.3), vključujejo prostovoljno, »ponudba« različnih pristopov se med seboj ne dopolnjuje ali kombinira. Tretjič, v empiričnem delu smo sicer potrdili, da izbrani program usposab- ljanja krepi zmožnosti šol in učiteljev za uvajanje izboljšav in samoevalvacijo, vendar pa je samo strategija usposabljanja brez celovitejšega pristopa h k z s e na individualni, organizacijski in sistemski ravni po našem mnenju na kratki rok. Tudi ugotovitve pregleda literature in raziskav kažejo, da je h k z s e po- trebno pristopiti celoviteje, na različnih ravneh in z naborom različnih strate- gij, med katerimi so tudi različne oblike usposabljanja. 7.1 Opredelitev modela Model k z s e izhaja iz definicije samoevalvacije v nastajajočem sistemu u z k v Sloveniji (projekt kviz), ki je opredeljena kot »sprotno spremljanje in končno ovrednotenje doseganja zastavljenih prednostnih ciljev izboljšav na področju učenja in poučevanja oziroma dosežkov učencev v določenem časovnem ob- dobju, npr. enem šolskem letu« (Brejc in Koren 2012, 24). Cilj samoevalvacij- skih prizadevanj je izboljšanje dosežkov učencev, temeljni namen prizadevanj za k z s e skladno s ciljem pa torej lahko opredelimo kot izvajanje in uporabo kakovostne in trajnostne samoevalvacije v šolah, kar smo postavili v središče modela (glej sliko 7.1). Izvajanje in uporaba kakovostne in trajnostne samoevalvacije v šolah po- meni, da je samoevalvacija sistematična, načrtovana in kot dejavnost in proces vpeta v delovanje šol, ob tem je v šolah vzpostavljena evalvacijska kultura. Sa- moevalvacijo v šoli učitelji izvajajo in uporabljajo na letni ravni, vzpostavljeni so okviri in strukture v šoli, ki to omogočajo in spodbujajo, rezultati oziroma ugotovitve samoevalvacije se uporabljajo pogosteje in za različne namene (npr. izboljšave v šoli, odgovornost do ustanoviteljev in/ali financerjev, osnova za nadaljnje načrtovanje in odločanje itd.), izvajanje in uporaba samoevalvacije je del organizacijskega učenja in profesionalne odgovornosti učiteljev, šole se z izvajanjem samoevalvacije lažje prilagajajo zahtevam in spremembam od zu- naj ter prevzemajo avtonomijo in odgovornost za strokovna vprašanja in di- leme o učenju in poučevanju, ki so tudi kontekstualno specifične. Širši okvir krepitve zmožnosti v predlaganem modelu predstavljajo: • evalvacijska kultura, • profesionalna odgovornost in • zaupanje. Ko govorimo o k z s e, je potrebno poudariti prav pomen kulture, na ka- 149 Model krepitve zmožnosti šol za samoevalvacijo Evalvacijska kultura Zaupanje Sistemska Odgovornost Raven šole: raven: zahteve, politika, izvedba, usmeritve, viri, učenje . . . podpora Izvajanje in uporaba Izboljšanje oji t učenja in poučevanja c ra a j v n ————— la o v s Dosežki li t e n o e šo učencev m i v n sa k P ak ro o ljšave v iza f o o e st b st ne s samoevalvacije o Iz io žn n o aln zm a od itev go ep v kr or Individualna nost raven: strategije za krepitev zna- prizadevanj za nja, spretnosti in odnosa Evalvacija Sistemska raven: zahteva šolam za u z k s samoevalvacijo, usmeritve za izvajanje samoevalvacije, podpora pri izvajanju samoevalvacije. Raven šole: samoevalvacija kot ukrep politike šole, vpetost samoevalvacijo v delovanje šole, vodenje samoevalvacije, dogovor o okvirih in procesu, načrtovanje in sistematično izvajanje samoevalvacijo, viri za samoevalvacijo, interna krepitev zmožnosti za samoevalvacijo in organizacijsko učenje, medorganizacijsko sodelovanje. Individualna raven: strategije za krepitev znanja, spretnosti in odnosa do samoevalvacije: uporaba nacionalnega področnega protokola/-ov, svetovanje in podpora zunanjih strokovnjakov, sodelovanje v medšolskem mreženju, udeležba na formalnih usposabljanjih, uporaba internega protokola/ov v šolah, uporaba komunikacijskega sistema in mehanizema povratnih informacij v šoli, spodbuda učiteljem in vključenost v izvajanje samoevalvacije v šoli, mentorstvo, vzajemno svetovanje in kolegialna presoja v šoli, vključenost v profesionalne učeče se skupnosti v šoli, uporaba dostopih virov za samoevalvacijo, samoizobraževanje. Slika 7.1 Model krepitve zmožnosti šol za samoevalvacijo tero pa seveda ne kaže zgolj izvajanje samoevalvacije (kvantiteta) oziroma njen tehnični ali postopkovni vidik. »Notranja evalvacijska kultura je bistvena za 150 7.1 Opredelitev modela vpliv poizvedovanja na ustvarjanje in aplikacijo uporabnega znanja« (Owen 2003, 43). Za vzpostavitev in ohranjanje evalvacijske kulture je na ravni po- sameznikov pomembna profesionalna odgovornost. Tu je po našem mnenju pomembno predvsem, da so posamezniki, torej učitelji, profesionalno (in ne pod prisilo ali prostovoljno (samo kdor želi) na osnovi morebitnega lastne na- ravnanosti) zavezani skrbi za kakovost oziroma izvajanju samoevalvacije z na- menom spremljanja in izboljševanja učenja in poučevanja ter posledično do- sežkom učencev v najširšem smislu. V povezavi z evalvacijsko kulturo gre v tem primeru za prepoznavanje prednosti in vrednosti samoevalvacije za delo posameznika, hkrati pa zavezo in željo po krepitvi znanja, spretnosti in odnosa do samoevalvacije. Za oblikovanje evalvacijske kulture in uresničevanje profe- sionalne odgovornosti vsakega posameznika pa je potrebno zaupanje znotraj in med posameznimi ravnmi – sistemom, šolami in učitelji. V okviru zaupa- nja tako samoevalvacija ni namenjena nadzorovanju in/ali rangiranju nižjih ravni, morebitnemu sankcioniranju in odkrivanju napak šol ali učiteljev. Gre za mehanizem, ki je v okviru uvajanja izboljšav namenjen iskanju in krepitvi močnih ter odpravljanju šibkih točk na področju učenja in poučevanja. Po- membno je medsebojno zaupanje v zmožnosti na različnih ravneh, hkrati pa tudi zmožnost kritičnega vrednotenja obstoječih usmeritev in okvirov. Za kakovostno in trajnostno izvajanje samoevalvacije v šolah je potrebno krepitev zmožnosti opredeliti na treh medsebojno povezanih ravneh: • na sistemski ravni (s i s t e m) kot oblikovanje »zahtev«, usmeritev in podpore šolam pri u z k s samoevalvacijo, • na organizacijski ravni (š o l a) kot vzpostavitev okvirov in struktur za izvajanje samoevalvacije in • na individualni ravni (uitelj) kot proces pridobivanja in/ali izboljše- vanja znanja, spretnosti in odnosa do samoevalvacije, za kar so potrebne različne strategije. Najpomembnejša je opredelitev in izvedba krepitve zmožnosti na organi- zacijski in individualni ravni (glej npr. Preskill in Boyle 2008; Taylor-Powell in Boyd 2008; Cousins idr. 2004), kamor je v prvi vrsti tudi usmerjena, saj gre za najbolj neposreden vpliv na izvajanje samoevalvacije in posredno izboljšanje dosežkov učencev. V ospredju prizadevanj k z s e z vidika namena samoeval- vacije na teh dveh ravneh je nenehno izboljševanje šol oz. notranja ali pro- fesionalna odgovornost za kakovost delovanja. Na sistemski ravni pa morajo biti oblikovane tudi določene »zahteve« in usmeritve, ki šole k samoevalvaciji spodbujajo, kot tudi različne oblike podpore, posebej kadar je samoevalva- cija kot mehanizem u z k prepoznana na nacionalni ravni (glej npr. z o f v i- 151 Model krepitve zmožnosti šol za samoevalvacijo u pb 5). V ospredju je na tej ravni poleg spodbujanja nenehnega izboljševanja šol predvsem zunanja odgovornost in zahteve po poročanju in »dokazovanju« kakovosti delovanja. Za ugotavljanje uspešnosti in učinkovitosti implementacije modela v pra- ksi šol in delovanju šolskega sistema je potrebna evalvacija prizadevanj za krepitev zmožnosti. Kot smo že ugotovili, različni avtorji ugotavljajo, da se širše področje krepitve zmožnosti za evalvacijo, ki sicer ni neposredno povezano s samoevalvacijo v šolah, razvija. Rezultati se kažejo na vedno višjih (globljih) ravneh, kar zahteva bolj sistematično preučevanje, spremljanje in vrednotenje (Labin idr. 2012; Nielsen, Lemire in Skov 2011; Taylor-Powell in Boyd 2008; Preskill in Boyle 2008; García-Iriarte idr. 2011). »Pristopi in metode za krepitev zmožnosti za evalvacijo se razvijajo v raznolikih kontekstih« (Taylor-Powell in Boyd 2008, 66) in eden takšnih, o katerem je zaslediti le malo literature in/ali raziskav, je prav kontekst krepitve zmožnosti šol za samoevalvacijo. V zvezi z učinkovitostjo sicer Wing (2004) izpostavlja, da je težko konkretno meriti abstraktne koncepte. Zato je pomembno, da je namen prizadevanj krepitve zmožnosti jasno opredeljen in konkretno razdelan po različnih ravneh. Po- membno je, da smo usmerjeni v »interno učenje, brez katerega bodo zunanje spremembe samo začasne« (Wing 2004, 158–159) in da se ne usmerjamo samo na lažje merljive vidike krepitve zmožnosti. Najpomembneje je torej evalvi- rati prizadevanja na ravni učiteljev, njihovo znanje, spretnosti in odnos. Na ravni šol je potrebno evalvirati kakovost procesa samoevalvacije in jo povezati z izboljšanjem delovanja šole, predvsem dosežkov učencev. Na ravni sistema pa je predvsem potrebno spremljati implementacijo usmeritev in podpore ter vrednotiti njihove učinke. V nadaljevanju predstavljamo posamezne ravni krepitve zmožnosti od sis- temske, ki najmanj vplivna v smislu končnega (posrednega) cilja k z s e, torej izboljšanja dosežkov učencev, preko organizacijske do izvedbene ravni učite- ljev. 7.1.1 Sistemska raven krepitve zmožnosti za samoevalvacijo – zahteve, usmeritve in podpora Na ravni sistema morajo biti za krepitev zmožnosti šol za samoevalvacijo obli- kovane in vzpostavljene določene »zahteve«, hkrati pa tudi usmeritve in pod- pora za izvajanje in uporabo kakovostne in trajnostne samoevalvacije v šolah. Kaže namreč, da ni zaslediti mnogo iniciativ, ki bi jih v zvezi s tem prevzele šole same (Vanhoof 2009a; 2009b), pri čemer gre dejansko za paradoks, na katerega opozarja Stronach (2010), ko naj samoevalvacija spodbuja notranji 152 7.1 Opredelitev modela profesionalizem, je pa praviloma spodbujena od zunaj in njeni rezultati poka- žejo šolo navzven. Izhajajoč iz širšega okvira izhodišč za razvoj in vzpostavitev nacionalnega sistema ugotavljanja in zagotavljanja kakovosti (Brejc, Jurič in Širok 2008) in »nadnacionalnih« priporočil šolskim politikam za evalvacijo šol (o e c d 2013b) je v zvezi s samoevalvacijo šol in posredno s krepitvijo zmožnosti po našem mnenju potrebno: • jasno opredeliti namen samoevalvacije in njeno vlogo v sistemu ugota- vljanja in zagotavljanja kakovosti (npr. opredelitev kakovosti v izobraže- vanju na nacionalni ravni in s tem povezana usmeritev samoevalvacije, izboljšave vs. odgovornost) ter zagotoviti koherenten formalni okvir; • ozaveščati o samoevalvaciji šol in jo povezati z zunanjo evalvacijo; • pripraviti področni/-e protokol/-e za izvajanje samoevalvacije v šolah z usmerjenostjo v kakovost učenja in poučevanja v povezavi z učnimi dosežki učencev ter ponuditi šolam ustrezna orodja za samoevalvacijo; • pripraviti ozek nabor nacionalno sprejetih kriterijev (kazalnikov, stan- dardov) za kakovost šol, ki naj usmerjajo tudi samoevalvacijo; • promovirati na dokazih temelječo kulturo evalvacije šol in poudariti po- men uporabe podatkov o delu šole; • promovirati vključenost vseh učiteljev in učencev v samoevalvacijo ter kolegialno učenje oziroma mreženje med šolami; • vzpostaviti mehanizme učinkovite komunikacije in načine posvetova- nja z vsemi ključnimi deležniki; • poročati o kontekstualnih informacijah z merili o delovanju šol; • vlagati v krepitev zmožnosti šol in učiteljev ter zagotoviti potreben čas in denar za vzpostavitev in delovanje sistema ugotavljanja in zagotavljanja kakovosti s samoevalvacijo; • okrepiti zmožnost vodij šol za vzpostavitev učinkovite kulture samoe- valvacije; • zagotoviti, da šole v čim večji meri postanejo lastnice procesov in rezul- tatov samoevalvacije. Ob tem je potrebno upoštevati zunanje dejavnike, ki lahko na uvajanje sa- moevalvacije in v zvezi s tem tudi na krepitev zmožnosti pomembno vplivajo. Tako npr. kot ugodne pogoje MacBeath (2006, 25) med drugim navaja upo- rabo rezultatov samoevalvacije za razvojne namene oziroma namene izboljše- vanja (in ne primarno nadzora ali rangiranja), možnosti za vzpostavitev pro- fesionalnega dialoga med zaposlenimi in zunanjimi evalvatorji, nepristransko 153 Model krepitve zmožnosti šol za samoevalvacijo zunanjo evalvacijo, spodbujanje šol k tveganju, preizkušanju novega, pozitivno povratno informacijo, spoštovanje profesionalizma učiteljev in vzpostavitev zaupanja namesto nadzora, kar se kot pomemben dejavnik širše uspešnosti delovanja kaže tudi v nekaterih najuspešnejših šolskih sistemih (glej npr. Sahl- berg in Hargreaves 2011). Ob tem pa samoevalvacije v šolah in krepitve zmož- nosti za njeno izvajanje ne spodbujajo oziroma jo celo ovirajo npr. pretirana osredotočenost »inšpektorjev« oziroma zunanjih evalvatorjev na odgovornost (Stronach 2008), pritiski v zvezi z rezultati nacionalnih preverjanj znanja, od zunaj določeni, vsiljeni kriteriji in kazalniki za samoevalvacijo, uporaba rezul- tatov, ki ima finančne posledice, omejenost izključno na zunanje kriterije in kazalnike idr. Po našem mnenju je pomembno primerno uravnoteženje »pri- sile« in podpore, pri čemer praksa najuspešnejših šolskih sistemov kaže, da je bolj kot nadzor dolgoročneje pomembna vzpostavitev in ohranjanje zaupanja med vsemi deležniki na področju šolstva (Sahlberg in Hargreaves 2011). V slovenskem šolskem prostoru je že vzpostavljena »zahteva« šolam ozi- roma postavljena odgovornost ravnateljem, da »ugotavljajo in zagotavljajo ka- kovost s samoevalvacijo« (z of v i-u pb 5 49. člen) in da letno pripravljajo »po- ročilo o samoevalvaciji«, ki ga obravnava in sprejme svet zavoda (48. člen). Nevarnost pa po našem mnenju ni samo v tem, da država zakonsko predpi- suje šolam oziroma ravnateljem nalaga le pripravo poročila o samoevalvaciji in da se na različnih ravneh s samoevalvacijo ukvarjajo različni izvajalci, ki med seboj niso nujno usklajeni. Pri prenosu avtonomije in odgovornosti na nižje ravni je z vidika države pomembno predvsem, da je nižja raven to odgovornost zmožna prevzeti. Ali rečeno drugače, če država šolam naloži samoevalvacijo, naj poskrbi tudi za določene usmeritve in podporo, v okviru in s pomočjo ka- terih šole samoevalvacijo lahko izvajajo kar najbolj uspešno in učinkovito z namenom izboljšanja kakovosti delovanja oziroma dosežkov učencev. Tako bi bilo po našem mnenju potrebno oblikovati še: • Natančnejše, poenotene usmeritve za izvajanje samoevalvacije v šolah, npr. pripraviti in sprejeti področni/-e protokol/-e, letno izdajati navo- dila oziroma priporočila za pripravo in obravnavo poročil o samoeval- vaciji, zakonsko opredeliti odgovornost in naloge tima za samoevalva- cijo1 itd. Ob tem je ključnega pomena,2 da se jasno opredeli vloga tima za 1 Trenutno je v tem smislu opredeljena Komisija za kakovost, in sicer na področju poklicnega in strokovnega izobraževanja (z p si-1, 16. člen). 2 Ključni pomen timu za samoevalvacijo ali kako drugače poimenovani skupini, ki ima interno odgovornost, skrbi za kakovost in/ali izvajanje samoevalvacije v šoli pripisujemo na osnovi rezultata raziskave, ki je pokazala močno pozitivno korelacijo med uspešnostjo delovanja tima za 154 7.1 Opredelitev modela samoevalvacijo ali kako drugače poimenovane skupine posameznikov, ki vključuje predvsem tudi interno nalogo oziroma odgovornost za kre- pitev zmožnosti in skrb za zagotavljanje kakovostnega in trajnostnega izvajanja samoevalvacije. • Trajnostne in raznolike oblike podpore šolam pri izvajanju samoeval- vacije, npr. akreditacija oziroma potrditev formalnih in neformalnih programov usposabljanja za (samo)evalvacijo in/ali študijskih progra- mov, zagotavljanje zunanje evalvacije primarno kot podpore procesom itd., oblikovanje priporočil za izvajanje samoevalvacije, priprava po- dročnega protokola itd. 7.1.2 Organizacijska raven krepitve zmožnosti za samoevalvacijo – okviri in strukture Za izvajanje in uporabo kakovostne in trajnostne samoevalvacije morajo biti v šolah vzpostavljeni določeni okviri in strukture, ki učiteljem to omogočajo, jih pri tem usmerjajo in spodbujajo. Lahko bi torej rekli, da je potrebno načrtno delo v organizaciji, ki vzpostavlja in ohranja okolje za izvajanje samoevalva- cije in njeno uporabo. Pri tem je, če se navežemo na ugotovitve Comptona, Baizermana in Stockdilla (2002), pomembno, da šole izhajajo iz svojih lastnih kontekstov, kar v našem primeru pomeni, da v okviru od zunaj postavljenih zahtev in usmeritev izvedbo samoevalvacije prilagajajo skladno z lastnimi po- trebami in zmožnostmi, da torej prevzamejo lastništvo. Rezultati raziskav kažejo, da ima samoevalvacija večjo možnost za uspeh, če je opredeljena in prepoznana kot ukrep politike šole. Pomembno je torej ustvarjanje ustreznega, celovitega okvirja za izvedbo samoevalvacije v šoli, ki obsega npr. jasno opredelitev namena samoevalvacije, vpetost v (razvojno) na- črtovanje, sistematično refleksijo, delovanje v smeri doseganja skupnih ciljev, sodelovalno vodenje in aktivno vključenost vseh, učinkovito komunikacijo, spodbudne odnose in sodelovanje, pripravljenost izmenjave izkušenj med uči- telji, odzivnost na notranja in zunanja pričakovanja (Vanhoof 2011; MacBeath 2006). Kot navajajo nekateri avtorji (npr. MacBeath 2006) in kot se je poka- zalo tudi v empiričnem delu, se šole srečujejo z ovirami, kot so npr. nejasnost v zvezi z dejanskim namenom samoevalvacije, nepripravljenost učiteljev na spremembe, časovna omejitev in delovna obremenjenost, občutek, da gre le za dodatno papirologijo, pomanjkljivosti v znanju in spretnostih, povezanih samoevalvacijo in spremembami v delovanju na ravni šol, povezanimi z uvajanjem izboljšav in samoevalvacijo. 155 Model krepitve zmožnosti šol za samoevalvacijo z uporabo podatkov, nelagodje pred odkritjem morebitnih šibkih točk šole in posameznika, neravnanje po dejanskih ugotovitvah samoevalvacije, pa tudi pomanjkanje podpore vodstva. V nadaljevanju podrobneje opredeljujemo in pojasnjujemo organizacijske okvire in strukture, pri čemer izhajamo iz ugotovitev pregleda različnih mode- lov krepitve zmožnosti za evalvacijo (Preskill in Boyle 2008; Cousins idr. 2004; Taylor-Powell in Boyd 2008; Nielsen, Lemire in Skov 2011; King in Volkov 2005), »kriterijev kakovostne samoevalvacije«, ki so nastali v projektu k v i z za potrebe poskusnega izvajanja zunanjih evalvacij v šolah (Brejc 2012; Brejc idr. 2013), deloma pa izhajamo tudi iz ugotovitev naše empirične raziskave. Organizacijski okviri in strukture: • Samoevalvacija kot ukrep politike šole in vzpostavitev evalvacijske kul- ture. Odnos vodstva in strokovnih delavcev do samoevalvacije je pozi- tiven, ravnatelj spodbuja in podpira samoevalvacijo ter v procesu tudi aktivno sodeluje. Ob tem so oblikovana skupna prepričanja in pripa- dnost ideji in izvedbi samoevalvacije, samoevalvacija je profesionalna odgovornost vseh. Samoevalvacija je usmerjena v izboljšanje učenja in poučevanja oziroma dosežkov učencev. Vodstvo šole in učitelji sproti in sistematično spremljajo, reflektirajo in vrednotijo svoje delo. • Vpetost samoevalvacije v delovanje šol pomeni, da šola ustrezno pove- zuje različne dejavnosti z izvajanjem samoevalvacije in da je le-ta vse- binsko in operativno povezana s programom razvoja ali razvojnim na- črtom šole, z letnim delovnim načrtom in s poročilom o realizaciji l dn (z of v i-u pb 5, 49. člen). • Vodenje samoevalvacije, dogovor o okvirih in procesu, kar pomeni naj- prej, da se samoevalvacija izvaja letno, skladno z na ravni šole določe- nimi skupnimi cilji izboljšav. Ob tem je v šoli imenovana skupina za vodenje uvajanja izboljšav in samoevalvacije (npr. tim za samoevalva- cijo ali komisija za kakovost), pomembno vlogo nadalje prevzemajo tudi npr. aktivi. Vodenje je sodelovalno. Učitelji so vključeni v načrtovanje izboljšav in sprejemanje odločitev. V samoevalvacijo so vključeni tudi drugi deležniki, npr. učenci in starši. Vzpostavljena je učinkovita ko- munikacija o izvajanju načrtovanih dejavnosti (spremljanje) in dosega- nji ciljev izboljšav (vrednotenje). V šolah poteka izmenjava primerov dobre prakse, vzpostavljen je učinkovit proces komunikacije. • Načrtovanje in sistematično izvajanje samoevalvacije, pri čemer šola izhaja iz zapisanih dolgoročnih ciljev. Ob tem ima šola izdelan (večletni) načrt izboljšav. Načrtovanje in odločanje temelji na analizi podatkov o 156 7.1 Opredelitev modela stanju v zavodu. Opredeljene so prednostne naloge in cilji izboljšav ter dejavnosti za doseganje ciljev izboljšav. Opredeljena so merila (kazal- niki) za spremljanje in ovrednotenje doseganja ciljev. Zbiranje podatkov poteka na načrtovan in sistematičen način. Zbrani podatki so analizi- rani ter sistematično in pregledno prikazani. Šola izvajanje načrtovanih dejavnosti in doseganje ciljev tekom šolskega leta sproti spremlja. Ugo- tovitve o doseganju ciljev in priporočila za nadaljnje delo izhajajo iz po- datkov. Letna samoevalvacijska poročila obravnava in sprejme svet šole. Priporočila so upoštevana pri načrtovanju za naslednje šolsko leto. • Zagotavljanje virov za samoevalvacijo, kot so npr. prostor in čas za razprave o uvajanju izboljšav in samoevalvaciji, finančni in človeški viri za izvajanje samoevalvacije, pisni samoevalvacijski materiali (interni pro- tokol, dogovorjene oblike zapisa načrtov in poročil). • Krepitev zmožnosti za samoevalvacijo in organizacijsko učenje. V šoli z različnimi strategijami sistematično krepijo zmožnosti za izvajanje in uporabo samoevalvacije. Spodbujeno je nenehno učenje o samoevalva- ciji, ugotovitve samoevalvacije se uporabljajo za izboljšanje delovanja šol, spodbujeno je razširjanje znanja in izmenjava različnih praks v šoli. • Medorganizacijsko sodelovanje. Tako kot sodelovanje znotraj šole je za krepitev zmožnosti za samoevalvacijo pomembno tudi sodelovanje med šolami, in sicer izmenjava dobre prakse med šolami, iskanje skupnih re- šitev, odpiranje vrat učilnic in šol. Lahko bi rekli »iz prakse za prakso« tako na področju samoevalvacije kot širšega konteksta uvajanja izbolj- šav. Na ravni organizacije je po našem mnenju pomembno poudariti predvsem to, da ima nekdo (posameznik ali bolje skupina) primarno odgovornost za- gotavljanja trajnosti evalvacije, da postane redna in nenehna praksa v orga- nizaciji (Compton, Baizerman in Stockdill 2002), opredeljene ali prepoznane pa morajo biti tudi naloge in odgovornost drugih deležnikov. Šole namreč lahko izboljšamo predvsem s profesionalnim sodelovanjem med učitelji in so- delovalnim vodenjem (Hargreaves in Fink 2006; Fullan 2007; Koren 2007). V okviru organizacijskega vidika krepitve zmožnosti je pomembna skupina za vodenje uvajanja izboljšav in samoevalvacije, saj »krepitev organizacijske zmožnosti za evalvacijo mora biti vodena znotraj organizacije« (McDonald, Rogers in Kefford 2003, 11). Formalno odgovornost za samoevalvacijo v slo- venskih šolah ima sicer ravnatelj, ugotovitve naše empirične raziskave pa ka- žejo, da so spremembe v delovanju na ravni šole pozitivno povezane z uspe- šnostjo delovanja širšega tima za samoevalvacijo. Pomembno je torej, da skla- 157 Model krepitve zmožnosti šol za samoevalvacijo dno s formalno opredelitvijo vloge tima za samoevalvacijo, ki jo predlagamo na sistemski ravni, takšna skupina, katere del je tudi ravnatelj, dejansko deluje na ravni šole. Vloga ravnatelja in članov tima je tako povezana s postavlja- njem okvirov in usmeritev, podporo in tudi skrbjo za krepitev zmožnosti. In kot je zapisal eden od ravnateljev v empirični raziskavi: »Od posamezne šole je odvisno, koliko je uspešna pri oblikovanju tima. Potreben je posvet, kdo bo se- stavljal tim na nivoju šole, saj je od tega odvisna uspešnost in učinkovitost ka- terekoli vsebine, tudi samoevalvacije.« Takšno ugotovitev lahko podkrepimo tudi z raziskavami in literaturo, ki kažejo na pomembnost vloge ravnatelja in timov pri uvajanju sprememb in izboljšav v šolah (Fullan 2008; Polak idr. 2003; Polak in Razdevšek-Pucko 2007; Rupnik Vec idr. 2008). Za učinkovito izva- janje samoevalvacije v svojih šolah morajo, kot izhaja iz ugotovitev empirične raziskave (glej poglavje 6.3.3): • ravnatelji a) razumeti, poznati in zavedati se pomena samoevalvacije, b) motivirati in spodbujati tim in učitelje za uvajanje izboljšav in samoevalvacijo in c) zagotavljati trajnost procesa izboljšav in samoevalvacije; • člani tima pa a) prenašati znanje o uvajanju izboljšav in samoevalva- ciji na učitelje, b) jih konkretno podpirati pri izvajanju s tem povezanih dejavnosti in c) učinkovito in strokovno organizirati tim za samoeval- vacijo. Izvajanja in uporabe kakovostne in trajnostne samoevalvacije pa seveda ne more biti brez aktivnega sodelovanja učiteljev, zato krepitev zmožnosti za sa- moevalvacijo v nadaljevanju obravnavamo še na individualni ravni učiteljev. 7.1.3 Individualna raven krepitve zmožnosti za samoevalvacijo – strategije Krepitev zmožnosti za samoevalvacijo na individualni ravni mora biti usmer- jena v pridobivanje in izboljševanje znanja, spretnosti ter oblikovanje ustre- znega odnosa učiteljev do samoevalvacije, kar je mogoče storiti na različne načine oziroma z uporabo različnih strategij, ki spodbujajo evalvativno razmi- šljanje in vključenost v prakso evalvacije. Pomembno je, da za krepitev zmož- nosti za samoevalvacijo v praksi obstaja raznolik nabor strategij. Šole in zno- traj njih učitelji so namreč na različnih ravneh znanja in spretnosti, imajo raz- lične vloge in z vsemi ni smiselno in mogoče delati na enak način. Izbor in uvedba različnih strategij sta lahko oziroma morata biti rezultat ugotavljanja potreb, prilagajanja določeni populaciji in kontekstu, kamor lahko štejemo tudi značilnosti šole, kot npr. odnos do evalvacije, usposobljenost za izvaja- 158 7.1 Opredelitev modela nje samoevalvacije, podpora vodstva, organizacijska kultura itd. Ti dejavniki vplivajo na organizacijsko učenje in obseg, do katerega so rezultati krepitve zmožnosti za samoevalvacijo trajnostni. Ali kot poudarjata Taylor-Powell in Boydova (2008, 67): »Upoštevajte različne potrebe, izkušnje in odgovornosti v zvezi z evalvacijo [. . .]. Pričnite, kjer učeči se posameznik je in krepite od tam dalje.« Strategije naj torej izhajajo iz natančneje opredeljenega znanja in spretnosti za izvajanje in uporabo kakovostne in trajnostne samoevalvacije v šolah, usmerjene pa morajo biti tudi v spodbujanje ustreznega odnosa oziroma motivacijo za samoevalvacijo. Ko opredeljujemo strategije za krepitev zmožnosti, je pomembno upošte- vati, da »[. . .] različne strategije zadostijo določenim učnim ciljem in spodbu- jajo različne vrste učnih dosežkov. Nekatere strategije se usmerjajo v ›vedeti kako‹, nekatere v ›vedeti kaj‹. Nekatere podpirajo ›soustvarjanje pomena in razumevanja‹ in ›krepitev močnejših odnosov‹, medtem ko druge ponujajo ›priložnosti za razvoj spretnosti in povratno informacijo‹« (Preskill in Boyle 2008, 448). Mi dodajamo še, da so nekatere strategije kot oblika podpore lahko opredeljene na sistemski ravni, druge se izvajajo znotraj šol ali med šolami, ne- katere so individualne oziroma potekajo vzajemno med učitelji. Kakorkoli že, »[. . .] preden skočimo v snovanje prizadevanj za k z(s)e, moramo vedeti, da je zasnova in izvedba učenja prakse (samo)evalvacije pomembna« (Preskill in Boyle 2008, 448). Skladno z obstoječim naborom strategij krepitve zmožnosti za samoeval- vacijo v slovenskem šolskem sistemu (glej poglavje 4.1.3) in skladno z ugoto- vitvami pregleda literature (glej poglavje 3) ter empiričnih ugotovitev v zvezi z usposabljanjem kot eno od strategij (glej poglavje 6) so za krepitev zmožnosti pomembne naslednje strategije: • uporaba nacionalnega področnega protokola, kot npr. okvir ugotavlja- nja in zagotavljanja kakovosti z opredeljenim protokolom za izvajanje samoevalvacije, letna priporočila za pripravo poročil o samoevalvaciji, priročnik za izvajanje zunanjih evalvacij z opredeljenimi kriteriji kako- vostne samoevalvacije idr.; • svetovanje in podpora zunanjih strokovnjakov, npr. svetovanje timom za samoevalvacijo v šolah, podpora pri izvajanju internih srečanj z učitelj- skim zborom, zunanje evalvacije z usmeritvijo v izvajanje samoevalva- cije in doseganje ciljev izboljšav; • sodelovanje učiteljev v medšolskem mreženju, npr. sodelovanje timov za samoevalvacijo, medsebojna izmenjava izkušenj in primerov dobre prakse, sodelovanje pri izvajanju samoevalvacije na drugih šolah; 159 Model krepitve zmožnosti šol za samoevalvacijo • udeležba na formalnih usposabljanjih, npr. osnovno daljše usposablja- nje za celoten učiteljski zbor, nadaljevalna usposabljanja za ravnatelje in člane timov za samoevalvacijo, usposabljanja za nove člane timov za samoevalvacijo, krajša usposabljanja na temo različnih vidikov samoe- valvacije, konference z možnostjo aktivnega sodelovanja strokovnih de- lavcev šol; • uporaba internega protokola/-ov v šolah, npr. opredeljene vloge ravnatelja, tima in učiteljev ter drugih deležnikov v samoevalvaciji, dogovorjeni postopki načrtovanja, izvedbe in samoevalvacije uvajanja izboljšav, pri- pravljeni osnutki načrtov in poročil; • uporaba vzpostavljenega komunikacijskega sistema in mehanizma povra- tnih informacij v šoli, npr. dogovorjen način poročanja od ravni učitelja preko aktiva do tima za samoevalvacijo, poročanje in razprava o ugotovitvah samoevalvacije; • spodbuda učiteljem in vključenost v izvajanje samoevalvacije v šoli, npr. samoevalvacija kot profesionalna odgovornost vsakega posameznika, ravnatelj in tim za samoevalvacijo kot zgled, priložnosti za izvajanje sa- moevalvacije; • mentorstvo, vzajemno svetovanje in kolegialna presoja v šoli, npr. men- torstvo novozaposlenim, timsko delo, izmenjava izkušenj in primerov dobre prakse, povezanih z uvajanjem izboljšav in samoevalvacijo; • vključenost v profesionalne učeče se skupnosti v šoli, npr. odprte razprave o samoevalvaciji in ugotovitvah samoevalvacije v povezavi z izboljšanjem učenja in poučevanja oziroma dosežkov učencev; • uporaba dostopnih virov za samoevalvacijo, npr. pisna gradiva, dostopna samoevalvacijska poročila, članki, ki jih pripravljajo zaposleni, informacije o dostopni literaturi in raziskavah; • samoizobraževanje. 7.2 Zaključno razmišljanje o predlogu modela Predlagani model je prvi tovrstni poskus sistematične opredelitve kzse v kon- tekstu slovenskega šolskega sistema in šol, po našem mnenju je lahko upora- ben tudi v drugih nacionalnih kontekstih, saj primerljivega ali v šole usmerje- nega modela k z s e v literaturi nismo zasledili. Pomembno je, da model razu- memo kot izhodišče za razmislek, saj predvsem nakazuje »zahteve«, usmeritve in podporo šolam pri samoevalvaciji na sistemski ravni, okvir in strukture na organizacijski ravni ter katero znanje, spretnosti, kakšen odnos in kako naj ga 160 7.2 Zaključno razmišljanje o predlogu modela razvijejo in oblikujejo učitelji na individualni ravni. Hkrati ponuja izhodišča za spremljanje in vrednotenje krepitev zmožnosti na posameznih ravneh ali celovito. Oblikovan model lahko služi razmisleku o k z s e kot o celovitem in sistematičnem, hkrati pa prilagodljivem procesu, ki lahko deluje v raznolikih kontekstih, upoštevajoč raznolike potrebe. Pri tem je pomembno poudariti, da naj zmožnosti za samoevalvacijo krepimo na osnovi obstoječega znanja, spretnosti in odnosa na individualni ravni, organizacijskih zmožnosti in pri- pravljenosti ter na osnovi postavljenih sistemskih »zahtev« in usmeritev. Pri tem krepitve zmožnosti za samoevalvacijo tudi ne smemo obravnavati ali ra- zumeti kot niz usmeritev, okvirov ali dejavnosti, ki so ločene druga od druge ali namenjene razvoju in krepitvi zgolj na posamezni ravni. Dejansko aplikativno vrednost predlaganega modela bi seveda pokazal sis- tematičen in celovit poskus uvedbe, spremljanja in evalvacije krepitve zmož- nosti šol za samoevalvacijo v praksi. Na takšen način bi ga bilo v prihodnje potrebno tudi nadgrajevati in na novo opredeljevati – vezan je namreč na do- ločen šolski kontekst in znotraj njega prakso samoevalvacije, ki v osnovi nista statična in enovita, pač pa kompleksna, spreminjajoča in razvijajoča se. Po- drobneje bi bilo mogoče in smiselno v kontekstu krepitve zmožnosti za samo- evalvacijo preveriti trenutno obstoječe strategije, pri čemer kot izziv vidimo predvsem njihovo ovrednotenje v luči izboljševanja učenja in poučevanja ozi- roma dosežkov učencev. Ob razmisleku o že obstoječih strategijah se namreč porajajo vprašanja, kot npr. Ali je mogoče ugotoviti koliko posamezne strate- gije dejansko oz. posredno prispevajo k temu, da samoevalvacija in izboljšave, ki se uvajajo, dejansko prispevajo k izboljšanju učenja in poučevanja oziroma k boljšim dosežkom učencev? Kako so si različne strategije v tej usmerjenosti enake ali različne, kaj to pomeni za šole in učitelje, ki so jim namenjene in jih uporabljajo? Kako oziroma ali lahko pripravljalci in izvajalci različnih strategij utemeljeno argumentirajo vrednost in potrebo po določeni strategiji? Izziv, ki ga ob morebitni uvedbi modela trenutno prepoznavamo v praksi je najprej poenotena opredelitev in umestitev samoevalvacije kot elementa u z k ter izvajanje sistematične in trajnostne spodbude in podpore šolam. Pri tem pomembno, da se namen in okvir samoevalvacije opredeli natančneje, znotraj tega pa so potem še vedno mogoči različni pristopi, ki upoštevajo npr. spe- cifike posamezne ravni izobraževanja. Pomembno je, da se v različnih fazah uvajanja samoevalvacije v šole nudijo oziroma poudarjajo različne oblike pod- pore, ki se skladno z razvojem sistema u z k in umestitvijo samoevalvacije v ta sistem smiselno nadgrajujeo, dopolnjujejo, lahko pa tudi opuščajo. Izziv na ravni šol vidimo v umestitvi samoevalvacije kot ukrepa politike šole, osmislitvi izvajanja samoevalvacije z namenom izboljšanja dosežkov učencev in trajno- 161 Model krepitve zmožnosti šol za samoevalvacijo stnem izvajanju. Kot so v raziskavi ugotavljali ravnatelji je pomembno, da kot vodje samoevalvacijo poznajo in razumejo, da jo v okviru uvajanja izboljšav v šoli spodbujajo in motivirajo učitelje, ter da poskrbijo za trajnostno izvajanje. Kljub načeloma pozitivnemu odnosu do samoevalvacije je iz izkušenj dela z ravnatelji in učitelji včasih moč zaznati, da uvajanje samoevalvacije vidijo kot zgolj še enega od projektov, katerega slabost je časovni vidik, ki ga dejavno- sti terjajo in dodatna papirologija. Iz raziskave izhaja tudi pomen vloge tima za samoevalvacijo kot prenašalca znanja ter usmerjevalca in koordinatorja de- javnosti uvajanja izboljšav in samoevalvacije. Na ravni šole je torej pomembna tudi jasna opredelitev formalne vloge in nalog tima ter vzpostavitev relacije v odnosu do učiteljev in ravnatelja. Na individualni ravni so izzivi seveda po- vezani s krepitvijo znanja, spretnosti in odnosa – kdo, kdaj, kako, kje itd. Za celovit nabor strategij za krepitev je gotovo najprej pomembno ugotavljanje stanja in dejanskih potreb učiteljev, torej podrobnejše spremljanje izvajanja sa- moevalvacije v šolah.Na individualni ravni je pomembno najprej oblikovanje ustreznega odnosa do samoevalvacije, potem pa skrb za razvijanje in krepi- tev znanja in spretnosti, saj udeleženci v raziskavi npr. ugotavljajo, da večina samoevalvacije brez dodatnega usposabljanja ni sposobna izvajati. Ob tem je usposabljanje zgolj ena od oblik podpore oziroma strategij krepitve zmožnosti, ki je verjetno zelo pomembna v začetni fazi. Kot pa ugotavljamo v raziskavi ni in ne more biti edina. 162 Literatura Andersen, Niels Åkerstrøm. 2008. »The World as Will and Adaptation: The Interdiscursive Coupling of Citizens’ Contracts.« Critical Discourse Studies 5 (1): 75–89. Ažman, Tatjana, in Sanja Gradišnik. 2013. »Učenje učiteljev in vzgojiteljev z metodo vzajemne refleksije.« Vodenje v vzgoji in izobraževanju 11 (2): 71–91. Babbie, Earl R. 2007. The Practice of Social Research. 11. izd. Belmont, c a: Thomson. Baizerman, Michael, Donald Compton in Stacey Hueftle Stockdill. 2002. »New Directions for e c b.« New Directions for Evaluation 93: 109–120. Barle, Andreja. 2007. »Aktualizacija kakovosti – zarota evalvativne države?« Vodenje v vzgoji in izobraževanju 5 (2): 29–40. Bee, Frances, in Roland Bee. 1994. Training Needs Analysis and Evaluation. London: Institute of Personnel Management. Bee, Frances, in Roland Bee. 2003. Learning Needs Analysis and Evaluation. London: Chartered Institute of Personnel and Development. Beere, Diane. 2005. »Evaluation Capacity-Building: A Tale of Value-Adding.« Evaluation Journal of Australasia 5 (2): 41–47. Beywl, Wolfgang, in Katja Harich. 2007. »University-Based Continuing Education in Evaluation.« Evaluation 13 (1): 121–134. Bhola, H. S. 2003. »Introduction.« V International Handbook of Educational Evaluation, ur. Thomas Kellaghan in David L. Stufflebeam, 389–397. Dordrecht: Kluwer. Boyle, Richard, in Donald Lemaire. 1999. Building Effective Evaluation Capacity: Lessons from Practice. New Brunswick, n j: Transaction. Brejc, Mateja. 2011a. Usposabljanje za uvedbo sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij (vrtcev in šol): poročilo o izvedbi 1. cikla usposabljanj. Kranj: Šola za ravnatelje. Brejc, Mateja. 2011b. Usposabljanje za samoevalvacijo: usposabljanje za uvedbo sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij u k v i z; predstavitev programa. Kranj: Šola za ravnatelje. Brejc, Mateja. 2012. »Zunanje evalvacije: priročnik za zunanje evalvatorje in evalvirane zavode.« Interno gradivo, Šola za ravnatelje, Kranj. Brejc, Mateja, in Sanja Gradišnik. 2013. »Samoevalvacija v vrtcih in šolah: predstavitev programa.« Interno gradivo, Šola za ravnatelje, Kranj. Brejc, Mateja, Sanja Gradišnik, Lidija Goljat Prelogar in Andrej Savarin. 2013. Poročilo o izvedbi zunanjih evalvacij: izvedba zunanjih evalvacij na zavodih, prijavljenih na javni razpis za zunanje evalvacije (november 2012). Kranj: Šola za ravnatelje. 163 Literatura Brejc, Mateja, Sanja Gradišnik in Andrej Koren. 2011. »Teachers’ Roles in Self-evaluation in Education.« In Knowledge as Business Opportunity: Proceedings of the Management, Knowledge and Learning International Conference 2011, ur. Valerij Dermol, Nada Trunk Širca, Goran Ðaković in Urška Lindav, 531–537. Celje: International School for Social and Business Studies. Brejc, Mateja, in Alenka Jurič Rajh. 2011. »Usposabljanje za zunanjo evalvacijo: usposabljanje za uvedbo sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij ukviz: predstavitev programa.« Interno gradivo, Šola za ravnatelje, Kranj. Brejc, Mateja, in Alenka Jurič Rajh. 2012. »Zunanje evalvacije 2102: priročnik za evalvirane zavode.« Interno gradivo, Šola za ravnatelje, Kranj. Brejc, Mateja, Alenka Jurič in Klemen Širok. 2008. Študija nacionalnih in mednarodnih pristopov h kakovosti v vzgoji in izobraževanju. Kranj: Šola za ravnatelje. Brejc, Mateja, in Andrej Koren. 2011a. »Zasnova modela samoevalvacije v sistemu ugotavljanja in zagotavljanja kakovosti.« V Ugotavljanje in zagotavljenje kakovosti: teorija in praksa uvajanja samoevalvacije v šole in vrtce, ur. Mateja Brejc, Andrej Koren in Mihaela Zavašnik Arčnik, 7–11. Kranj: Šola za ravnatelje. Brejc, Mateja, in Andrej Koren. 2011b. »Uvajanje samoevalvacije v solah in vrtcih kot pristop h kakovosti na nacionalni ravni.« V Ugotavljanje in zagotavljenje kakovosti: teorija in praksa uvajanja samoevalvacije v šole in vrtce, ur. Mateja Brejc, Andrej Koren in Mihaela Zavašnik Arčnik, 13–43. Kranj: Šola za ravnatelje. Brejc, Mateja in Andrej Koren. 2012. »Zunanja evalvacija v šolah in vrtcih.« Vodenje v vzgoji in izobraževanju 10 (3): 17–36. Brejc, Mateja in Andrej Koren. V tisku. »Implementing External Evaluation in Schools: The Case of Slovenia.« International Journal of Management in Education. Brejc, Mateja, Andrej Koren in Tony Townsend. 2011. »Usposabljanje za samoevalvacijo: usposabljanje za uvedbo sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij u k v i z: delavnica 1.« Študijsko gradivo, Šola za ravnatelje, Kranj. Brejc, Mateja, Andrej Koren in Mihaela Zavašnik Arčnik. 2011. Ugotavljanje in zagotavljanje kakovosti: teorija in praksa uvajanja samoevalvacije v šole in vrtce. Kranj: Šola za ravnatelje. Brejc, Mateja, Mitja Sardoč, Darko Zupanc, Justina Erčulj, Sanja Gradišnik, Alenka Jurič, Andrej Koren, Andrej Savarin in Mihaela Zavašnik Arčnik. 2011. »o e c d Review on Evaluation and Assessment Frameworks for Improving Schools Outcomes: Country Background Report: Slovenia.« http://www.oecd.org/education/school/48853911.pdf Brejc, Mateja in Andrej Savarin. 2011. »Usposabljanje za samoevalvacijo: poročilo o izvedbi 1. cikla.« V Usposabljanje za uvedbo sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij (vrtcev in šol): poročilo o izvedbi 1. cikla usposabljanj, ur. Mateja Brajc, 15–42. Kranj: Šola za ravnatelje. Brejc, Mateja, Andrej Savarin in Andrej Koren. 2013. Usposabljanja za evalvacijo v šolah in vrtcih: končno poročilo o izvedbi projekta Usposabljanje za uvedbo sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij (vrtcev in šol) – u k v i z. Kranj: Šola za ravnatelje. 164 Literatura Brejc, Mateja, in Nada Trunk Širca. 2007. »Sistemi vodenja kakovosti – sinergija med notranjo in zunanjo evalvacijo.« Vodenje v vzgoji in izobraževanju 5 (2): 41–50. Brejc, Mateja, in Mihaela Zavašnik Arčnik. 2011. »Usposabljanje za samoevalvacijo: usposabljanje za uvedbo sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij u k v i z; delavnica 2.« Študijsko gradivo, Šola za ravnatelje, Kranj. Brejc, Mateja, in Mihaela Zavašnik Arčnik. 2012. »Usposabljanje za samoevalvacijo: usposabljanje za uvedbo sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij u k v i z; delavnica 4.« Študijsko gradivo, Šola za ravnatelje, Kranj. Brejc, Mateja, in Mihaela Zavašnik Arčnik. 2013. »Samoevalvacija kot orodje izboljšav v v i z: delavnica za nove člane timov za samoevalvacijo, 1. dan.« Študijsko gradivo, Šola za ravnatelje, Kranj. Bunford Selinšek, Marjeta, in Karin Kaloh. 2008. »Do višje kakovosti s samoevalvacijo.« V Mreže kakovosti: samoevalvacija šol, ur. Rustja, Erika, Mateja Gajgar in Nada Požar Matijašič, 57–72. Ljubljana: Zavod Republike Slovenije za šolstvo. Carman, Joanne, in Kimberly Fredericks. 2010. »Evaluation Capacity and Nonprofit Organizations.« American Journal of Evaluation 31 (1): 84–104. Caspari, Alexandra. 2009. Recommendations on Education and Training in Evaluation: Re-quirement Profiles for Evaluators. Mainz: Degeval. Cave, Martin, Stephen Hanney, Mary Henkel in Maurice Kogan. 1997. The Use of Performance Indicators in Higher Education: A Critical Analysis of Developing Practice. London: Kingsley. Chyung, Seung Youn. 2008. Foundations of Instructional and Performance Technology. Amherst, m a: h rd. Cirman, Branko. 2011. »Razmislek o timu kot vodji uvajanja samoevalvacijskega modela k v i z.« V Ugotavljanje in zagotavljanje kakovosti: teorija in praksa uvajanja samoevalvacije v šole in vrtce, ur. Mateja Brejc, Andrej Koren in Mihaela Zavašnik Arčnik, 181–186. Kranj: Šola za ravnatelje. Compton, Donald W., Michael Baizerman in Stacey Hueftle Stockdill. 2002. The Art, Craft, and Science of Evaluation Capacity Building. San Francisco: Jossey-Bass. Costa, Arthur L., in Benna Kallick. 2000. Activating and Engaging Habits of Mind. Alexan-dria, va: Association for Supervision and Curriculum Development. Cousins, J. Bradley, Catherine Elliott, Courtney Amo, Isabelle Bourgeois, Jill Chouinard, Swee C. Goh in Robert Lahey. 2008. »Organizational Capacity to Do and Use Evaluation: Results of a Pan-Canadian Survey of Evaluators.« Canadian Journal of Program Evaluation 23 (3): 1–35. Cousins, J. Bradley, Swee C. Goh, Shannon Clark in Linda E. Lee. 2004. »Integrating Evaluative Inquiry into the Organizational Culture: A Review and Synthesis of the Knowledge Base.« Canadian Journal Of Program Evaluation 19: 99–142. Cvetek, Slavko. 2003a. »Profesionalnost in profesionalizem v poučevanju in izobraževanju za poklic učitelja.« Sodobna pedagogika 54 (3): 78–96. Cvetek, Slavko. 2003b. »Refleksija in njen pomen za profesionalno usposobljenost učiteljev.« Sodobna pedagogika 54 (1): 104–121. Dahler-Larsen, Peter. 2012. The Evaluation Society. Stanford, ca: Stanford University Press. 165 Literatura Darling-Hammond, Linda. 2004. »Standards, Accountability, and School Reform.« Teachers College Record 106 (6): 1047–1085. Dean, Mitchell. 2009. Governmentality: Power and Rule in Modern Society. London: Sage. DeVellis, Robert F. 2003. Scale Development: Theory and Applications. Thousand Oaks, ca: Sage. Dewey, Jennifer D., Bianca E. Montrosse, Daniela C. Schröter, Carolyn D. Sullins in John R. Mattox. 2008. »Evaluator Competencies: What’s Taught Versus What’s Sought.« American Journal of Evaluation 29 (3): 268–287. Dodič, Marinka, Peter Kunc, Branko Škafar, Sonja Zavrl, Vesna Zmazek, in Tatjana Žagar. 2008. Kakovost za prihodnost vzgoje in izobraževanja: zahteve. Ljubljana: Slovenski in- štitut za kakovost in meroslovje. Dodič, Marinka, in Sonja Zavrl. 2005. »Model ›Kakovost za prihodnost vzgoje in izobraževanja‹.« V Inovativnost in spremembe – temelj dolgotrajnega uspeha, 142–144. Ljubljana: Slovensko združenje za kakovost, 2005 Eade, Deborah. 2007. »Capacity Building: Who Builds Whose Capacity?« Development in Practice 17 (4–5): 630–639. Earl, Lorna, Mei Kuin Lai, in Kim Schildkamp. 2012. Data-Based Decision Making in Education: Challenges and Opportunities. Dordrecht: Springer. Earl, Lorna M, in Steven Katz. 2006. Leading Schools in a Data-Rich World: Harnessing Data for School Improvement. Thousand Oaks, c a: Corwin. Easterby-Smith, Mark, Richard Thorpe, in Andy Lowe. 2005. Raziskovanje v manage-mentu. Koper: Fakulteta za management. Elmore, Richard F. 2004. School Reform from the Inside Out: Policy, Practice, and Performance. Cambridge, m a: Harvard Education Press. Elmore, Richard F. 2007. Educational Improvement in Victoria. Melbourne: Office for Government School Education. Erbrus, Darija, Elka Mlakar in Irena Pukšič. 2011. »Evalvacija tima za samoevalvacijo na Osnovni šoli Ljudski vrt Ptuj.« V Ugotavljanje in zagotavljanje kakovosti: teorija in praksa uvajanja samoevalvacije v šole in vrtce, ur. Mateja Brejc, Andrej Koren in Mihaela Zavašnik Arčnik, 169–180. Kranj: Šola za ravnatelje. Erčulj, Justina, Polonca Kenda, Nevenka Matelič Nunčič, Ernest Nemec, Nada Pignar, in Metka Rupnik. 2008. »Refleksija in spodbujanje profesionalnega razvoja učiteljev.« Vodenje v vzgoji in izobrazevanju 6 (2): 55–70. Erčulj, Justina, in Nada Trunk Širca. 2000. S sodelovanjem do kakovosti: mreže učečih se šol. Ljubljana: Šola za ravnatelje. Evropski parlament in svet. 2001. »Priporočilo Evropskega parlamenta in Sveta z dne 12. februarja 2001 o evropskem sodelovanju pri evalvaciji kakovosti v šolskem izobraževanju.« Uradni list Evropske unije, l 060. Evropski parlament in svet. 2008. »Priporočilo Evropskega parlamenta in Sveta o uvedbi evropskega ogrodja kvalifikacij za vseživljenjsko učenje.« Uradni list Evropske unije, c 111. 166 Literatura European Commission. 2001. European Report on the Quality of School Education: Sixteen Quality Indicators. Luxembourg: Office for Official Publications of the European Communities. European Union. 2010. Consolidated Versions of the Treaty on European Union and the Treaty on the Functioning of the European Union: Charter of Fundamental Rights of the European Union. Luxembourg: Office for Official Publications of the European Union. Faubert, Violaine. 2009. »School Evaluation: Current Practices in oe c d Countries and a Literature Review.« oe c d Education Working Paper 42, oe c d, Pariz. Field, Andy. 2005. Discovering Statistics Using sps s (and Sex, Drugs and Rock’n’Roll). London: Sage. Firestone, William. A., in Dorothy Shipps. 2005. »How Do Leaders Interpret Conflicting Accountabilities to Improve Student Learning?« V A New Agenda for Research in Educational Leadership, ur. William. A. Firestone in Carolyn Riehl, 81–100. New York: Teachers College Press. Flere, Sergej. 2000. Sociološka metodologija: temelji družboslovnega raziskovanja. Maribor: Pedagoška fakulteta. Fuhrman, Susan, in Richard F. Elmore. 2004. Redesigning Accountability Systems for Education. New York: Teachers College Press. Fulcher, James, in John Scott. 2011. Sociology. Oxford: Oxford University Press. Fullan, Michael. 2006. Turnaround Leadership. San Francisco: Jossey-Bass. Fullan, Michael. 2007. The New Meaning of Educational Change. New York: Teachers College Press. Fullan, Michael. 2008. The Six Secrets of Change: What the Best Leaders Do to Help Their Organizations Survive and Thrive. San Francisco: Jossey-Bass. Fullan, Michael. 2009. The Challenge of Change: Start School Improvement Now! Thousand Oaks, c a: Corwin. Furubo, Jan-Eric, Ray C. Rist in Rolf Sandahl. 2002. International Atlas of Evaluation. New Brunswick, n j: Transaction. Gaber, Slavko, Andrej Koren, Vinko Logaj, Darko Mali, Vladimir Mileksič in Darko Zupanc. 2011. »Pregled stanja, primerjave z izbranimi državami in predlogi dograditve ugotavljanja in zagotavljanja kakovosti v Sloveniji.« V Kakovost v šolstvu v Sloveniji, ur. Živa Kos Kecojević in Slavko Gaber, 37–73. Ljubljana: Pedagoška fakulteta. García-Iriarte, Edurne, Yolanda Suarez-Balcazar, Tina Taylor-Ritzler in Maria Luna. 2011. »A Catalyst-for-Change Approach to Evaluation Capacity Building.« American Journal of Evaluation 32 (2): 168–182. Gibbs, Deborah, David Napp, David Jolly, Bonita Westover in Gary Uhl. 2002. »Increasing Evaluation Capacity within Community-Based h i v Prevention Programs.« Evaluation and Program Planning 25 (3): 261–269. Gilpin, Arlene. 1997. »Cascade Training: Sustainability Or Dilution?« V Learning to Train: Perspectives on the Development of Language Teacher Trainers, ur. I. McGrath, 185–195. London: Prentice Hall. 167 Literatura Gradišnik, Sanja, in Mateja Brejc. 2013. Zasnova in uvedba sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij: poročilo o 2. ciklu projekta (obdobje od 1. 2. 2011 do 31. 8. 2013). Kranj: Šola za ravnatelje. Gradišnik, Sanja, in Mihaela Zavašnik Arčnik, ur. 2010. »Samoevalvacija v vrtcih in šolah: uvodno srečanje poskusnih šol in vrtcev 2. cikla.« Interno gradivo, Šola za ravnatelje, Kranj. Guest, Greg, in Marilyn L Mitchell. 2013. Collecting Qualitative Data: a Field Manual for Applied Research. Thousand Oaks, c a: Sage. Guskey, Thomas R. 2000. Evaluating Professional Development. Thousand Oaks, c a: Corwin. Gutknecht-Gmeiner, Maria, Sonja Klemenčič in Barbara Skubic. 2009. Priročnik o kolegialnem presojanju v svetovanju v izobraževanju odraslih, prirejen po evropskem priročniku o kolegialnem presojanju v začetnem poklicnem in strokovnem izobraževanju. Ljubljana: Andragoški center Slovenije. Halpin, David, in Barry Troyna. 1995. »The Politics of Education Policy Borrowing.« Comparative Education 31 (3): 303–310. Haralambos, Michael, Martin Holborn, Matej Makarovič, Barbara Medved, Polona Ram- šak, in Mitja Žakelj. 1999. Sociologija: teme in pogledi. Ljubljana: d z s. Hargreaves, Andy, in Dean Fink. 2006. Sustainable Leadership. San Francisco: Jossey-Bass. Harris, Alma, Chris Chapman, Daniel Muijs in David Reynolds. 2012. »Lost in Translation? The Limited International Take Up of Educational Effectiveness Research (e e r), Teacher Effectiveness Research (t e r) and School/System Improvement Research (s si r) by Practitioners and Policymakers.« Prispevek na 25th International Congress for School Effectiveness and Improvement, Malmø, 5.–8. januar. Hatch, Thomas. 2001. »It Takes Capacity to Build Capacity.« Education Week 29 (22): 44– 47. Hayes, David. 2000. »Cascade Training and Teachers’ Professional Development.« e lt Journal 54 (2): 135–145. Hendriks, Maria A., Simone Doolaard in Roel J. Bosker. 2002. »Using School Effectiveness as a Knowledge Base for Self-Evaluation in Dutch Schools: The z e b o-Project.« V School Improvement through Performance Feedback, ur. Adrie J. Visscher in Robert Coe, 115–142. Lisse: Swets & Zeitlinger. Hood, Christopher. 1991. »A Public Management for All Seasons?« Public Administration Public Administration 69 (1): 3–19. Hopkins, David. 2005. The Practice and Theory of School Improvement. Dordrecht: Springer. Hopkins, David. 2007. Every School a Great School: Realizing the Potential of System Leadership. Maidenhead: Open University Press in McGraw-Hill. Hopkins, David, Alma Harris, Louise Stoll in Tony Mackay. 2011. »School and System Improvement: State of the Art Review.« Prispevek na 24th International Congress of School Effectiveness and School Improvement, Limassol, 4.–7. januar 2011. 168 Literatura Hopman, S. T. 2008. »No child, No School, No State Left Behind: Schooling in the Age of Accountability.« Journal of Curriculum Studies 40 (4): 417–456. Hueftle Stockdill, Stacey, Michael Baizerman in Donald W. Compton. 2002. »Toward a Definition of the e c b Process: A Conversation with the e c b Literature.« New Directions for Evaluation New Directions for Evaluation 2002 (93): 7–26. Kaplan, Allan. 2000. »Capacity Building: Shifting the Paradigms of Practice.« Development in Practice 10 (3–4): 517–526. Katz, Steven. 2010. »Learning About Networked Learning Communities.« School Effectiveness and School Improvement 21 (1): 27–51. Katz, Steven, Stephanie Sutherland in Lorna Earl. 2002. »Developing an Evaluation Habit of Mind.« Canadian Journal of Program Evaluation 17 (2): 103–119. Kellaghan, Thomas, in Daniel L Stufflebeam. 2003. International Handbook of Educational Evaluation. Dordrecht: Kluwer. King, Jean A., Laurie Stevahn, Gail Ghere in Jane Minnema. 2001. »Toward a Taxonomy of Essential Evaluator Competencies.« a m e eva American Journal of Evaluation 22 (2): 229–247. King, Jean A., Boris Volkov. 2005. »A Framework for Building Evaluation Capacity Based on the Experiences of Three Organizations.« c u r a Reporter 35 (3): 10–16. Kirkpatrick, Donald L., in James D. Kirkpatrick. 2007. Implementing the Four Levels a Practical Guide for Effective Evaluation of Training Programs. San Francisco: Berrett-Koehler Publishers. Klemenčič, Sonja, Tanja Možina in Tanja Vilič Klenovšek. 2003. Ponudimo odraslim kakovostno izobraževanje: kazalniki kakovosti. Ljubljana: Andragoški center Slovenije. Knavs, Simona, Barbara Bauman in Darko Mali. 2010. »Kolegialno presojanje v srednjem poklicnem in strokovnem izobraževanju: poročilo o pilotnem uvajanju metode kolegialnega presojanja. Center rs za poklicno izobraževanje, Ljubljana.« http://www.cpi.si/ files/cpi/userfiles/Datoteke/evalvacija/Porocilo_o_kolegialnem_presojanju_2010.pdf Koren, Andrej. 2006. Avtonomija in decentralizacija v izobraževanju: študija vidljivosti v slovenskem šolskem sistemu. Koper: Fakulteta za management; Ljubljana: Šola za ravnatelje. Koren, Andrej. 2007. Ravnateljevanje: vprašanja o vodenju šol brez enostavnih odgovorov. Koper: Fakulteta za management; Ljubljana: Šola za ravnatelje. Koren, Andrej. 2009. »Izhodišča projekta Zasnova in uvedba sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij (vrtcev in šol).« Interno gradivo, Šola za ravnatelje, Kranj. Koren, Andrej, in Mateja Brejc. 2011a. »Vloga države, šol, učiteljev in učencev pri ugotavljanju in zagotavljanju kakovosti.« V Kakovost v šolstvu v Sloveniji, ur. Živa Kos Kecojević in Slavko Gaber, 316–346. Ljubljana: Pedagoška fakulteta. Koren, Andrej, in Mateja Brejc. 2011b. Zasnova in uvedba sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobrazevalnih organizacij (k v i z) poročilo o prvem ciklu projekta (obdobje od 1. 9. 2009 do 31. 8. 2011). Kranj: Šola za ravnatelje. 169 Literatura Koren, Andrej, in Arthur S. Shapiro. 2006. »A National Educational Cultural Reform Model: Professionalizing the Principalship to Reform a Nation’s Educational System.« International Journal of Educational Reform 15 (3): 302–308. Kos Kecojevič, Živa, in Slavko Gaber, ur. 2011. Kakovost v šolstvu v Sloveniji. Ljubljana: Pedagoška fakulteta. Kuzmin, Alexey. 2009. »Evaluation Capacity Building Strategy: Towards a Mature Profession Alexey Kuzmin, Process Consulting Company, Moscow, Russia.« Prispe- vek na Conference on National Evaluation Capacity, Casablanca, 15.–17. december. http://web.undp.org/evaluation/workshop/nec/2009/documents/papers/Kuzmin.pdf Labin, Susan N., Jennifer L. Duffy, Duncan C. Meyers, Abraham Wandersman in Cathe- rine A Lesesne. 2012. »A Research Synthesis of the Evaluation Capacity Building Literature.« American Journal of Evaluation 33 (3): 307–338. Lane, Jan-Erik. 1993. The Public Sector. London: Sage. Leon, Loredana, Karmen Kern-Pipan, Janja Sever, Miro Germ, Vojko Križman, Peter Palma, Igor Likar, idr. 2004. Model odličnosti e f qm: javni in prostovoljni sektor. Ljubljana: Ministrstvo za šolstvo, znanost in sport in Urad Republike Slovenije za meroslovje. Levin, Ben. 2010. How to Change 5000 Schools: A Practical and Positive Approach for Leading Change at Every Level. Cambridge, m a: Harvard Education Press. Leviton, L. C. 2001. »Presidential Address: Building Evaluation’s Collective Capacity.« American Journal of Evaluation American Journal of Evaluation 22 (1): 1–12. Lobe, Bojana. 2006. »Združevanje kvalitativnih in kvantitativnih metod – stara praksa v novi preobleki?« Družboslovne razprave 22 (53): 55–73. Markič, Peter, Mateja Brejc in Sanja Gradišnik. 2012. »Motiviranje strokovnih delavcev za uvajanje izboljšav in samoevalvacijo.« Interno gradivo, Šola za ravnatelje, Kranj. Markič, Peter, in Mihaela Zavašnik Arčnik. 2011. »Poročilo o poskusnem obisku šole kot obliki podpore v sistemu samoevalvacije.« Interno gradivo, Šola za ravnatelje, Kranj. MacBeath, John E. C. 1999. Schools Must Speak for Themselves: The Case for School Self-Evaluation. London: Routledge. MacBeath, John E. C. 2006. School Inspection and Self-evaluation: Working with the New Relationship. London: Routledge. MacBeath, John, Michael Schratz, Denis Meuret in Lars Jakobsen. 2000. Self-Evaluation in European Schools: A Story of Change. London: Routledge. Mackay, Keith. 1999. »A Diagnostic Tool and Action Framework.« e c d Working Paper Series 6, The World Bank, Washington, d c. Mackay, Keith. 2002. »The World Bank’s e c b Experience.« New Directions for Evaluation 93: 81–100. Mali, Darko, Albin Vrabic, Marija Pevec, Miran Papež, Klara S. Ermenc, Slava Pevec Grm, Saša Kerkoš in Romana Mlačak. 2007. Priporočila šolam za izvajanje samoevalvacije: ugotavljanje in zagotavljanje kakovosti v poklicnem in strokovnem izobraževanju. Ljubljana: c pi in Center r s za poklicno izobraževanje. 170 Literatura Marentič-Požarnik, Barica. 2000. »Profesionalizacija izobraževanja učiteljev: nujna predpostavka uspešne prenove.« Vzgoja in izobraževanje 31 (4): 4–11. Marentič-Požarnik, Barica. 2010. »Kompleksnost mentorjeve vloge terja kakovostno usposabljanje s poudarkom na spodbujanju refleksije.« Vzgoja in izobraževanje 41 (6): 20– 26. Marjanović Umek, Ljubica, Urška Fekonja, Tina Kavčič, Anja Podlesek, Maja Zupančič in Matija Klas Brenk. 2002. Kakovost v vrtcih. Ljubljana: Znanstveni inštitut Filozofske fakultete. Mayne, John, Stan Divorski in Donald Lemaire. 1999. »Locating Evaluation: Anchoring Evaluation in the Executive or the Legislature, or Both or Elswhere?« V Building Evaluation Capacity: Lessons from Practice, ur. Richard Boyle in Donald Lemaire, 23–52. New Brunswick, n j: Transaction. Mayne, John, in Ray C. Rist. 2006. »Studies Are Not Enough: The Necessary Transforma-tion of Evaluation.« Canadian Journal of Program Evaluation 21 (3): 93–120. McDonald, Bron, Patricia Rogers in Bruce Kefford. 2003. »Teaching People to Fish? Building the Evaluation Capability of Public Sector Organizations.« Evaluation 9 (1): 9–29. McDonald, Katherine E., in Shannon E. Myrick. 2008. »Principles, Promises, and a Personal Plea: What Is an Evaluator to Do?« American Journal of Evaluation 29 (3): 343–351. Medveš, Zdenko. 2000. »Kakovost v šoli.« Sodobna pedagogika 51 (4): 8–26. Medveš, Zdenko. 2002. »Ravnatelj in samoevalvacija.« Sodobna pedagogika 53 (1): 28–46. Mertens, Donna M. 1994. »Training Evaluators: Unique Skills and Knowledge.« New Directions for Program Evaluation New Directions for Program Evaluation 62: 17–27. Meuret, Denis. 2003. »Conditions of Success of a School’s Self-Evaluation: Some Lessons of an European Experience.« School Effectiveness and School Improvement 14 (1): 53–71. Milekšič, Vladimir. 1999. »Ogledalo.« Vzgoja in izobraževanje 30 (6): 16–26. Mitchell, Coral, in Larry Sackney. 2000. Profound Improvement: Building Capacity for a Learning Community. Exton, pa: Swets & Zeitlinger. Møller, Jorunn. 2005. »Reason and Emotion: Coping with Accountability.« V Passionate Principalship: Learning from Life Histories of School Leaders, ur. Ciaran Sugrue, 89– 104. London: Routledge Falmer. Møller, Jorunn. 2009. »School Leadership in an Age of Accountability: Tensions Between Managerial and Professional Accountability.« Journal of Educational Change 10 (1): 37–46. Moos, Lejf. 2011. »Sustaining Leadership through Self-Renewing Communication.« V How School Principals Sustain Success over Time, ur. Lejf Moos, Olof Johansson in Christopher Day, 127–150. Dordrecht: Springer. Moos, Lejf, Guri Skedsmo, Jonas Höög, Anders Olofsson in Lauri Johnson. 2011. »The Hurricane of Accountabilities?« V How School Principals Sustain Success over Time, ur. Lejf Moos, Olof Johansson in Christopher Day, 199–222. Dordrecht: Springer. Možina, Tanja. 2007. »Samoevalvacija kakovosti izobraževanja odraslih: usposabljanje in svetovanje za uporabo modela samoevalvacije Ponudimo odraslim kakovostno izo-brazevanje – p ok i.« Andragoška spoznanja 13 (2): 68–77. 171 Literatura Možina, Tanja. 2012. Mozaik kakovosti: priporočila za vzpostavitev in razvoj notranjega sistema kakovosti v izobraževalni organizaciji. Ljubljana: Andragoški center Slovenije. Musek Lešnik, Kristijan, in Katra Bergant. 2001. Samoevalvacija v vzgojno-izobraževalnih organizacijah. Ljubljana: Inštitut za psihologijo osebnosti. Naccarella, Lucio, Jane Pirkis, Fay Kohn, Belinda Morley, Philip Burgess in Grant Blashki. 2007. »Building Evaluation Capacity: Definitional and Practical Implications from an Australian Case Study.« Evaluation and Program Planning 30 (3): 231–236. Nevo, David. 2001. »School Evaluation: Internal or External?« Studies in Educational Evaluation 27 (2): 95–106. Nielsen, Steffen, Sebastian Lemire in Majbritt Skov. 2011. »Measuring Evaluation Capacity: Results and Implications of a Danish Study.« American Journal of Evaluation 32 (3): 324–344. Neuman, W. Laurence. 2006. Social Research Methods: Qualitative and Quantitative Approaches. 6. izd. Boston, m a: Pearson. O’Day, Jennifer A., Margaret E. Goertz in Robert. E Floden. 1995. »Building Capacity for Education Reform.« c pre Policy Briefs. http://www2.ed.gov/pubs/CPRE/rb18/index .html oe c d. 1998. Education Catalogue. Pariz: oe c d. oe c d. 2013a. Education at a Glance 2013: oe c d Indicators. Pariz: oe c d. oe c d. 2013b. Synergies for Better Learning. Pariz: oe c d. Olsen, Mark, John Codd in Ann-Marie O’Neill. 2004. Educational Policy: Globalisation, Citizenship and Democracy. London: Sage. Owen, John M. 2003. »Evaluation Culture: A Definition and Analysis of Its Development within Organisations.« Evaluation Journal of Australasia 3 (1): 43–47. Patton, Michael Quinn. 1997. Utilization-Focused Evaluation: The New Century Text. Thousand Oaks, c a: Sage. Pedersen, Ove K. 2010. »Institutional Competitiveness: How Nations came to Compete.« V The Oxford Handbook of Comparative Institutional Analysis, ur. Glenn Morgan, John L. Campbell, Colin Crouch, Ove Kaj Pedersen in Richard Whitley, 1625–1658. Oxford: Oxford University Press. Picciotto, Robert. »Evaluation Capacity Development: Issues and Challenges.« V Evaluation Capacity Development in Africa: Selected Proceedings from a Seminar in Abidjan, 39–45. Washington, d c: The World Bank. Pluško, Alojz, Andrej Koren, Andreja Trtnik Herlec, Anita Trnavčevič, Darko Zupanc, Di-omira Tkalčič, Ivan Lorenčič idr. 2001. Modro oko: spoznaj, analiziraj, izboljšaj; ugotavljanje in zagotavljanje kakovosti v vzgoji in izobraževanju: 2001/2002. Ljubjana: Zavod r s za šolstvo. Polak, Alenka. 2007. Timsko delo v vzgoji in izobraževanju. Ljubljana: Modrijan. Polak, Alenka. 2003. »Program usposabljanja učiteljev za timsko delo.« Doktorska diserta-cija, Univerza v Ljubljani, Ljubljana.Pont, Beatriz, Deborah Nusche, Hunter Moorman in David Hopkins. 2008. Improving School Leadership. Pariz: oe c d. 172 Literatura Power, Michael. 1997. The Audit Society: Rituals of Verification. Oxford: Oxford University Press. »Pravilnik o nadaljnjem izobraževanju in usposabljanju strokovnih delavcev v vzgoji in izobraževanju.« http://zakonodaja.gov.si/rpsi/r08/predpis_PRAV5958.html Preskill, Hallie, in Shanelle Boyle. 2008. »A Multidisciplinary Model of Evaluation Capacity Building.« American Journal of Evaluation 29 (4): 443–459. Preskill, Hallie S, in Darlene F. Russ-Eft. 2005. Building Evaluation Capacity 72 Activities for Teaching and Training. Thousand Oaks, c a: Sage. Preskill, Hallie S., in Rosalie T. Torres. 1999. Evaluative Inquiry for Learning in Organizations. Thousand Oaks, c a: Sage. Radej, Bojan, Mojca Golobič, Mirna Macur, Srečo Dragoš in Darko Štrajn. 2011. Vrednotenje politik: obzorja nove miselnosti. Ljubljana: Vega. Reynolds, David, Pam Sammons, Bieke De Fraine, Tony Townsend in Jan Van Damme. 2011. »Educational Effectiveness Research (e e r): A State of the Art Review.« Prispevek na 24th International Congress of School Effectiveness and School Improvement, Limassol, 4.–7. januar 2011. Rihter, Liljana, Nino Rode in Barbara Kobal. 2004. »Izhodišča za oblikovanje sistema evalvacije izvajanja socialnovarstvenih programov.« Socialno delo 43 (5–6): 257–263. Rist, Ray C., in Nicoletta Stame, ur. 2006. From Studies to Streams. New Brunswick, n j: Transaction. Robertson, Jan, in Helen Timperley. 2011. Leadership and Learning. Los Angeles: Sage. Rossi, Peter H., Mark W. Lipsey in Howard E. Freeman. 2004. Evaluation: A Systematic Approach. Thousand Oaks, c a: Sage. Rupnik Vec, Tanja, Brigita Žarkovič Adlešiš, Zora Rutar Ilc, Cvetka Bizjak, Sonja Sentoč- nik, Brigita Rupar, Mojca Pušnik, Dušan Rutar in Katja Pavlič Škerjanc. 2008. Vpelje-vanje sprememb v šole. Ljubljana: Zavod Republike Slovenije za šolstvo. Rustja, Erika, Mateja Gajgar in Nada Požar Matijašič. 2008. Mreže kakovosti: samoevalvacija šol. Ljubljana: Zavod Republike Slovenije za šolstvo. Sahlberg, Pasi. 2010. »Rethinking Accountability in a Knowledge Society.« Journal of Educational Change 11 (1): 45–61. Sahlberg, Pasi, in Andy Hargreaves. 2011. Finnish Lessons: What Can the World Learn from Educational Change in Finland? New York: Teachers College Press. Sanders, James R., in E. Jane Davidson. 2003. »A Model for School Evaluation.« V International Handbook of Educational Evaluation, ur. Thomas Kellaghan in Daniel L. Stufflebeam, 807–826. Dordrecht: Kluwer. Sardoč, Mitja. 2011. »Mednarodna raziskava poučevanja in učenja: tal i s 2008.« http:// www.mss.gov.si/fileadmin/mss.gov.si/pageuploads/podrocje/mednarodno/OECD _seminar/Gradivo_OECD_TALIS_Sardoc.pdf Schaumburg-Müller, Henrik. 1996. Evaluationg Capacity Building: Donor Support and Experience: Report for Development Assistance Committee Expert Group on Aid Evaluation, oe c d. Copenhagen: Danish International Development Assistance. 173 Literatura Scheerens, Jaap, H. W. C. Gonnie van Amelsvoort in Carol Donoughue. 1999. »Aspects of the Organizational and Political Context of School Evaluation in Four European Countries.« Studies in Educational Evaluation 25 (2): 79–108. Scheerens, Jaap. 2008. Vzpostavljanje sistema ugotavljanja in zagotavljanja kakovosti v vzgoji in izobraževanju. V Študija nacionalnih in mednarodnih pristopov h kakovosti v vzgoji in izobraževanju, ur. Mateja Brejc, 34–49. Ljubljana: Šola za ravnatelje. Scheerens, Jaap, Cees A. W. Glas in Sally Thomas. 2003. Educational Evaluation, Assessment, and Monitoring: A Systemic Approach. Lisse: Swets & Zeitlinger. Scheerens, Jaap, Melanie Ehren, Peter Sleegers, in Renske de Leeuw. 2012. »Educational Evaluation and Assessment in the Netherlands: Country Background Report for the o e c d Study on Evaluation and Assessment Frameworks for Improving School Out- comes.« http://purl.utwente.nl/publications/84057 Shewbridge, Claire. 2013. »Od skladnosti z zakoni do kakovosti: pristopi k evalvaciji šol v državah oe c d.« Vodenje v vzgoji in izobraževanju 11(1): 3–30. Schildkamp, Kim. 2007. The Utilization of a Self-Evaluation Instrument for Primary Education. Enschede: University of Twente, Department of Educational Organization and Management. Schildkamp, Kim, in Charles Teddlie. 2008. »School Performance Feedback Systems in the u s aand in The Netherlands: A Comparison.« Educational Research and Evaluation 14 (3): 255–282. Schildkamp, Kim, Adrie Visscher in Hans Luyten. 2009. »The Effects of the Use of a School Self-evaluation Instrument.« School Effectiveness and School Improvement 20 (1): 69– 88. Schlechty, Phillip C. 2005. Creating Great Schools: Six Critical Systems at the Heart of Educational Innovation. San Francisco, c a: Jossey-Bass. Schollaert, Rudi. 2003. Disclosing the Treasure Within: Towards Schools as Learning Communities. Antwerpen: Garant. Schuller, Tom, Wim Jochems, Lejf Moos in Agnes van Zanten. 2006. »Evidence and Policy Research.« European Educational Research Journal 5 (1): 57–70. Scriven, Michael. 1991. Evaluation Thesaurus. Newbury Park, c a: Sage. Scriven, Michael. 2003. »Evaluation Theory and Metatheory.« V International Handbook of Educational Evaluation, ur. Thomas Kellaghan in David L. Stufflebeam, 15–30. Dordrecht: Kluwer. Segerholm, Christina. 2012. »Evaluation in the Hands of the State.« Prispevek na konferenci Evaluation 2012, Minneapolis, m n, 25. oktober. Semen, Erika. 2009. »Stališča ravnateljev in dijakov do mature.« Prispevek na strokovnem posvetu Vodenje in dosežki učencev v teoriji in praksi, Portorož, 31. marec–2. april. Semen, Erika. 2010. »Objektivnost meril za izbiro kandidatov pri omejitvi vpisa v programe srednješolskega izobraževanja.« Sodobna pedagogika 61 (2): 164–179. Senge, Peter M. 1990. The Fifth Discipline: The Art and Practice of the Learning Organization. New York: Currency Doubleday. Slovar slovenskega knjižnega jezika. 1995. Ljubljana: d z s. 174 Literatura Služba Vlade r s za razvoj in evropske zadeve. 2011. »Povzetek Ekonomskega pregleda o e c d za Slovenijo 2010.« http://www.mzz.gov.si/fileadmin/pageuploads/svez.gov.si/ pageuploads/docs/OECD/OECD_Ekonomski_pregled_povzetek_in_priporocila _SI.doc Stevahn, Laurie, Jean A. King, Gail Ghere in Jane Minnema. 2005. »Establishing Essential Competencies for Program Evaluators.« American Journal of Evaluation 26 (1): 43–59. Stoll, Louise. 2009. »Capacity Building for School Improvement or Creating Capacity for Learning? A Changing Landscape.« Journal of Educational Change 10 (2–3): 115–127. Strathern, Marilyn. 2000. Audit Cultures: Anthropological Studies in Accountability, Ethics, and the Academy. London in New York: Routledge. Stronach, Ian. 2008. »Ugotavljanje in zagotavljanje kakovosti v angleškem šolskem sistemu: svarilna pripoved.« V Študija nacionalnih in mednarodnih pristopov h kakovosti v vzgoji in izobraževanju, ur. Mateja Brejc, 75–86. Ljubljana: Šola za ravnatelje. Stronach, Ian. 2010. Globalizing Education, Educating the Local: How Method Made Us Mad. London in New York: Routledge. Stronach, Ian, in Brian Morris. 1994. »Polemical Notes on Educational Evaluation in the Age of ›Policy Hysteria‹.« Evaluation and Research in Education 8 (1–2): 5–19. Stufflebeam, David L. 2003. »Institutionalizing Evaluation in Schools.« V International Handbook of Educational Evaluation, ur. Thomas Kellaghan in Daniel L. Stufflebeam, 775–806. Dordrecht: Kluwer. Stufflebeam, Daniel L., in Lori A Wingate. 2005. »A Self-Assessment Procedure for Use in Evaluation Training.« American Journal of Evaluation 26 (4): 544–561. Svet Evropske unije. 2012. »Sklepi Sveta z dne 26. novembra 2012 o izobraževanju in usposabljanju v okviru strategije Evropa 2020 – prispevek izobraževanja in usposabljanja k oživitvi in rasti gospodarstva ter delovnim mestom.« Uradni list Evropske unije, C 393. Širec, Alojz. 2004. »Katero inšpekcijo lahko pričakujem?« Vodenje v vzgoji in izobraževanju 2 (1): 101–108. Štraus, Mojca. 2007. »Vloga mednarodnih raziskav pi s a , t i m s s, pi rl s ter nacionalnega preverjanja znanja v razvoju šolskega sistema.« Vodenje v vzgoji in izobraževanju 5 (2): 75–87. Štraus, Mojca. 2011. »Bralna, matematična in naravoslovna pismenost dijakinj in dijakov 1. letnikov srednjih šol v Sloveniji v raziskavi pi s a2009.« Šolsko polje (22): 35–68. Taut, Sandy. 2007a. »Defining Evaluation Capacity Building: Utility Considerations.« American Journal of Evaluation American Journal of Evaluation 28 (1): 120–120. Taut, Sandy. 2007b. »Studying Self-Evaluation Capacity Building in a Large International Development Organization.« American Journal of Evaluation American Journal of Evaluation 28 (1): 45–59. Taylor-Powell, Ellen, in Heather Boyd. 2008. »Evaluation Capacity Building in Complex Organizations.« New Directions for Evaluation, št. 120: 55–69. Toš, Niko, in Mitja Hafner-Fink. 1998. Metode družboslovnega raziskovanja. Ljubljana: Fakulteta za družbene vede. 175 Literatura Townsend, Tony. 2007a. International Handbook of School Effectiveness and Improvement. Dordrecht: Springer. Trevisan, Michael S. 2004. »Practical Training in Evaluation: A Review of the Literature.« American Journal of Evaluation 25 (2): 255–272. Trnavčevič, Anita. 2000. »O kakovosti še malo drugače.« V Raznolikost kakovosti, ur. Anita Trnavčevič, Andreja Trtnik-Herlec in Silva Roncelli-Vaupot, 9–24.Ljubljana: Šola za ravnatelje. Trnavčevič, Anita, Roberto Biloslavo, Boris Snoj, Vinko Logaj in Borut Kodrič. 2007. Ko država šepeta: marketinška kultura v šoli. Koper: Fakulteta za management; Ljubljana: Šola za ravnatelje. Trunk Širca, Nada. 2002. »Understandind the Interwoven Processes of Institutional Evaluation and Continuous Improvement: An Action Research Study.« Doktorska diser- tacija, University of Manchester, Manchester. Trunk Širca, Nada. 2004. Amodelnost samoevalvacijskih procesov. Koper: Fakulteta za management. u n dp. 2010. »Measuring Capacity.« United Nations Development Programme, New York. http://www.undp.org/content/dam/aplaws/publication/en/publications/capacity -development/undp-paper-on-measuring-capacity/UNDP_Measuring_Capacity _July_2010.pdf Valenčič Zuljan, Milena. 2001. »Modeli in načela učiteljevega profesionalnega razvoja.« Sodobna pedagogika 52 (2): 122–141. Van Petegem, Peter, Jan Vanhoof, Frans Daems in Paul Mahieu. 2005. »Publishing Information on Individual Schools?« Educational Research and Evaluation 11 (1): 45–60. Vanhoof, Jan. 2009a. »Attitudes Towards School Self-Evaluation.« Studies in Educational Evaluation 35 (1): 21–28. Vanhoof, Jan. 2009b. »Linking the Policymaking Capacities of Schools and the Quality of School Self-evaluations.« Educational Management Administration & Leadership 37 (5): 667–686. Vanhoof, Jan. 2011. »Načrtovanje in vrednotenje procesa samoevalvacije v šoli.« V Ugotavljanje in zagotavljanje kakovosti: teorija in praksa uvajanja samoevalvacije v šole in vrtce, ur. Mateja Brejc, Andrej Koren in Mihaela Zavašnik Arčnik, 107–122. Kranj: Šola za ravnatelje. Vanhoof, Jan, Peter Dahler-Larsen, Jef Verhoeven in Ina Buvens. 2009. »Linking the Policymaking Capacities of Schools and the Quality of School Self-evaluations.« Educational Management Administration & Leadership 37 (5): 667–686. Vanhoof, Jan, in Peter Van Petegem. 2010. »Evaluating the Quality of Self-evaluations: The (Mis)match between Internal and External Meta-Evaluation.« j se e Studies in Educational Evaluation 36 (1): 20–26. Vogt, W. Paul, Dianne C. Gardner in Lynne M Haeffele. 2012. When to Use What Research Design. New York: Guilford Press. Volkov, Boris, in Michelle E. Baron. 2011. Internal Evaluation in the 21st Century. San Francisco: Jossey–Bass. 176 Literatura Volkov, Boris, in Jean A. King. 2007. »A Checklist for Building Evaluation Capacity.« http://www.wmich.edu/evalctr/archive_checklists/ecb.pdf Vonta, Tatjana, ur. 2006. i s s a mednarodni certifikat odličnosti za vzgojitelje in učitelje: osnovne informacije o postopkih, ciljih in pogojih certifikacijskega procesa. Ljubljana: Pedagoški institut in Razvojno-raziskovalni center pedagoških iniciativ Korak za ko-rakom. Wedell, Martin. 2005. »Cascading Training down into the Classroom: The Need for Parallel Planning.« International Journal of Educational Development International Journal of Educational Development 25 (6): 637–651. Weick, Karl E. 2001. Making Sense of the Organization. Oxford: Blackwell. Williams, Bob. 2001. »Building Evaluation Capability.« http://www.bobwilliams.co.nz/ Works_in_Progress_files/capability233.pdf Wing, K. 2004. »Assessing the Effectiveness of Capacity-Building Initiatives: Seven Issues for the Field.« Nonprofit and Voluntary Sector Quarterly 33 (1): 153–160. Woods, Philip A. 2012. »Trends and Tendencies in External Expectations: Policies, Culture and Governance.« In »European Policy Network On School Leadership«, 7–12. http://www.schoolleadership.eu/sites/default/files/del2.1.pdf Yarbrough, Donald B., Lyn M. Shulha, Rodney K. Hopson in Flora A. Caruthers. 2011. The Program Evaluation Standards: A Guide for Evaluators and Evaluation Users. Thousand Oaks, c a: Sage. »Zakon o organizaciji in financiranju vzgoje in izobraževanja (uradno prečiščeno besedilo) (z of v i-u pb 5)«. http://zakonodaja.gov.si/rpsi/r04/predpis_ZAKO5124.html »Zakon o poklicnem in strokovnem izobraževanju (zpsi-1).« http://zakonodaja.gov.si/rpsi /r05/predpis_ZAKO4325.html »Zakon o višjem strokovnem izobraževanju (z vsi).« http://zakonodaja.gov.si/rpsi/r03/ predpis_ZAKO4093.html Zavašnik Arčnik, Mihaela, in Sanja Gradišnik. 2011. »Dejavniki šolske kulture izboljšav s samoevalvacijo skozi prizmo poskusnih šol.« V Ugotavljanje in zagotavljanje kakovosti: teorija in praksa uvajanja samoevalvacije v šole in vrtce, ur. M. Brejc, A. Koren in M. Zavašnik Arčnik, 45–66. Kranj: Šola za ravnatelje. Zavašnik Arčnik, Mihaela, in Andrej Koren. 2010. »Vključevanje učencev kot deležnikov v načrtovanje samoevalvacije.« Šolsko polje (21): 71–92. Zavrl, Sonja. 2007. »Model kakovost za prihodnost vzgoje in izobraževanja.« V Izkoristimo priložnosti, 30–32. Murska Sobota: Pomursko društvo za kakovost. Zupanc, Darko. 2001. »Zunanje preverjanje znanja v funkciji merjenja učinkovitosti šol.« Sodobna pedagogika 52 (5): 160–181. Zupanc, Darko. 2011. »Analiziranje izkazanega znanja kot orodje pri ugotavljanju in zagotavljanju kakovosti.« V Kakovost v šolstvu v Sloveniji, ur. Živa Kos Kecojević in Slavko Gaber, 257–286. Ljubljana: Pedagoška fakulteta. 177 Document Outline Naslovnica Kazalo Seznam slik Seznam preglednic Aktualizacija obravnavane teme Opredelitev raziskovanega problema Namen in cilji raziskave Ugotavljanje kakovosti in evalvacija šol Mednarodni in sistemski vidiki ugotavljanja kakovosti Evalvacija šol Ugotavljanje in zagotavljanje kakovosti šols samoevalvacijo v Sloveniji Krepitev zmožnosti za evalvacijo Krepitev zmožnosti Krepitev zmožnosti za evalvacijo Modeli krepitve zmožnosti za evalvacijo Izhodišca za oblikovanje modela krepitve zmožnosti za evalvacijo Krepitev zmožnosti šol za samoevalvacijo Razvijanje nacionalnega sistema ugotavljanja in zagotavljanja kakovosti Usposabljanje za samoevalvacijo Zasnova raziskave in predstavitev raziskovalnih hipotez Zasnova raziskave Opredelitev in konceptualizacija hipotez Opis procesa raziskovanja Predstavitev vzorca – viri podatkov Analiza podatkov Omejitve raziskovanja Krepitev zmožnosti z usposabljanjem za samoevalvacijo Znacilnost vzorca in njegova reprezentativnost Interpretacija Model krepitve zmožnosti šol za samoevalvacijo Opredelitev modela Zakljucno razmišljanje o predlogu modela Literatura Literatura