fl Od skladnosti z zakoni do kakovosti: ^ pristopi k evalvaciji šol v državah q OECD
Claire Shewbridge
^ oecd, Direktorat za izobraževanje
a

V clanku predstavljamo povzetek analize o politikah evalvacije šol, ki je rezultat velike mednarodne študije o politikah evalvacije in ocenjevanja v šolstvu: oecd pregledna študija okvirov evalvacije in ocenjevanja za izboljšanje rezultatov šol. V pregledni študiji je sodelovalo 24 držav, med njimi tudi Slovenija. S študijo je oecd ^^H proučevala, do kolikšne mere države opredeljujejo svoje pristope k evalvaciji in ocenjevanju v šolstvu kot del splošnega okvira za ^^ evalvacijo in ocenjevanje. Pogosto so se te razlicne politike razvile scasoma na razlicnih podrocjih: ocenjevanje ucencev, ocenjevanje h^H uciteljev, evalvacija šole, ocenjevanje ravnateljev in evalvacija
sistema. Študija je odkrila velike razlike med državami na razlicnih podrocjih evalvacije in ocenjevanja v osnovnem in srednjem izobraževanju. V clanku podrobneje osvetljujemo nekatere smernice oziroma priporocila oecd, ki se v zvezi z ocenjevanjem in evalvacijo nanašajo tudi na Slovenijo.
Ključne besede: ocenjevanje, evalvacija, šolski sistem, šole, oecd
Ozadje: velik mednarodni pregled OECD
Od leta 2010 do 2013 je oecd izvajal veliko mednarodno študijo o politikah evalvacije in ocenjevanja v šolstvu: oecd pregledna študija okvirov evalvacije in ocenjevanja za izboljšanje rezultatov šol (oecd Review on Evaluation and Assessment Frameworks for Improving School Outcomes). Dejstvo, da je sodelovalo 24 držav, med njimi tudi Slovenija, kaže, da sta evalvacija in ocenjevanje prednostni vprašanji javne politike in bosta v prihodnjih letih najbrž to postali še bolj. Cilj študije je bil pridobiti nekaj odgovorov na vprašanje: Kako lahko politike ocenjevanja in evalvacije učinkoviteje povežemo za izboljšanje dosežkov ucencev v osnovnih in srednjih šolah?
S študijo je oecd proucevala, do kolikšne mere države opredeljujejo svoje pristope k evalvaciji in ocenjevanju v šolstvu kot del splošnega okvira za evalvacijo in ocenjevanje. Pogosto so se te razlicne politike razvile scasoma na razlicnih podrocjih: ocenjevanje ucencev, ocenjevanje uciteljev, evalvacija šole, ocenjevanje
vodenje 1I2013: 3-30
ravnateljev in evalvacija sistema. Študija je odkrila velike razlike med državami na različnih področjih evalvacije in ocenjevanja v osnovnem in srednjem izobraževanju.
V	študiji je dejavno sodelovalo štiriindvajset držav, kar pomeni široko paleto gospodarskih in socialnih okoliščin ter precejšnjo raznolikost pristopov k evalvaciji in ocenjevanju v šolskih sistemih. To je omogocilo primerjalni pogled na kljucna vprašanje politike.
Sodelovale so države: Avstralija, Avstrija, Belgija (flamska skupnost in francoska skupnost), Kanada, Cile, Ceška republika, Danska, Finska, Francija, Madžarska, Islandija, Irska, Koreja, Luksemburg, Mehika, Nizozemska, Nova Zelandija, Norveška, Poljska, Portugalska, Slovaška republika, Slovenija, Švedska in Združeno kraljestvo (Severna Irska). V štirinajstih od teh držav je bil opravljen podroben pregled v izvedbi clanov sekretariata oecd in zunanjih strokovnjakov in pripravljeno porocilo, ki analizira trenutno politiko evalvacije in ocenjevanja ter predlaga, kako jo razvijati naprej. Zbrani podatki so bili dopolnjeni z obsežnimi pregledi raziskovalnih in mednarodnih podatkov. Nastala je koristna baza znanja za nadaljnje raziskovanje na tem podrocju (www.oecd.org/edu/evaluationpolicy).
V	clanku predstavljamo povzetek analize o politikah evalvacije šol. Celotna analiza je objavljena v 6. poglavju porocila Synergies for Better Learning: An International Perspective on Evaluation and Assessment (oecd 2013).
Evalvacija šol
V pregledni študiji oecd je evalvacija šole opredeljena kot evalvacija štirih pomembnih vidikov:
•	ucinkovitost struktur in procesov, vzpostavljenih v šoli,
•	izvajanje nacionalne izobraževalne politike in predpisov v šoli,
•	kakovost ucnih dosežkov ucencev v šoli in
•	zmožnost šol za izboljševanje.
Slika 1 prikazuje, kako se evalvacija šol povezuje z drugimi po-drocji okvira evalvacije in ocenjevanja. Osvetljuje tudi temeljna izhodišca analize: oblikovanje okvira evalvacije šol; zagotavljanje ucinkovitosti postopkov za evalvacijo šol; razvijanje kompetenc za izvajanje evalvacije šol in uporabo povratnih informacij; kar najboljšo uporabo rezultatov evalvacije šol.
slika 1
Evalvacija šol v okviru evalvacije in ocenjevanja
Ocenjevanje učencev
evalvacija sol
Ocenjevanje učiteljev
Upravljanje zasnova okvira, nameni, zahteve, dolžnosti, funkcije Postopki
referenčni standardi, instrumenti, pogostnost, naknadni ukrepi Zmožnost
ocenjevalci, priprava, kompetence, zasnova agencij
Uporaba rezultatov objava rezultatov, povratne informacije, nacrti izboljšav, nagrade, sankcije
Evalvacija šolskega sistema
Ocenjevanje ravnateljev
V pregledni študiji oecd so opredeljene smernice za razvoj politike evalvacije šol, ki jih navajamo in nekatere podrobneje pojasnjujemo v nadaljevanju.
Upravljanje:
•	pojasniti vlogo in namen evalvacije šole v širšem okviru evalvacije in ocenjevanja;
•	zagotoviti poudarek evalvacije šole na izboljševanje pouce-vanja, ucenja in dosežkov ucencev;
•	ovrednotiti in prilagoditi zunanjo evalvacijo šole, da odraža zrelost evalvacijske kulture šole;
•	okrepiti samoevalvacijo na ravni šole;
•	povezati zunanjo evalvacijo s samoevalvacijo šole.
Postopki:
•	razviti na nacionalni ravni dogovorjena merila kakovosti za usmerjanje evalvacije šol;
•	razviti ustrezne vire za samoevalvacijo šol;
•	zagotoviti mocno bazo »dokazov« za zunanjo evalvacijo šol in primerna orodja za analizo;
•	zagotoviti preglednost postopkov zunanje evalvacije šol.
Zmožnost:
•	zagotoviti verodostojnost zunanjih evalvatorjev in okrepiti njihovo nepristranskost in skladnost;
•	zagotoviti dovolj zmožnosti in potrebnega preusposabljanja skladno s pristopom k zunanji evalvaciji šol;
•	okrepiti zmožnosti ravnateljev za spodbujanje učinkovite kulture samoevalvacije šol;
•	spodbuditi sodelovanje vseh zaposlenih in učencev v samoe-valvaciji šole;
•	spodbuditi vzajemno učenje med šolami.
Raba rezultatov:
•	optimizirati povratne informacije o podatkih, zbranih na nacionalni ravni za samoevalvacijo in razvojno nacrtovanje;
•	spodbuditi širšo rabo rezultatov zunanje evalvacije šole;
•	zagotoviti sistematicne naknadne ukrepe po zunanjih eval-vacijah šole;
•	porocati o široki paleti meril šolske uspešnosti z dovolj kon-tekstualnimi informacijami.
V nadaljevanju podrobneje osvetljujemo nekaj smernic, ki se nanašajo tudi na Slovenijo.
Upravljanje
Vzpostavitev zahtev za evalvacijo šol
Slovenija je ena od mnogih držav oecd, v katerih so vzpostavljene zahteve tako za zunanjo evalvacijo kot samoevalvacijo šol. Toda vrste vzpostavljenih zahtev se med državami mocno razlikujejo. Obstajajo tudi razlike v tem, ali sta zunanja evalvacija šol in sa-moevalvacija med sabo povezani in kako.
Velika vecina držav oecd si je že ustvarila pravno podlago za izvajanje zunanje evalvacije šol, ceprav se zelo razlikujejo po obsežnosti in vrsti zastavljenih zahtev. Edine države oecd, ki nimajo nobenih zahtev po zunanji evalvaciji šol, so Finska, Grcija, Madžarska, Italija, Japonska (z izjemo višjih srednješolskih programov poklicnega izobraževanja), Luksemburg in Mehika. Tako na Finskem kot Madžarskem so ukinili državni šolski inšpektorat (leta 1991 oziroma 1985) in ne izvajajo nobene sistemske zunanje evalvacije, ceprav je v obeh državah nacionalno prepoznana zmožnost za zunanjo evalvacijo šole, ce bi se šole zanjo odlocile. V
Sloveniji ureja zadeve o skladnosti s šolskimi predpisi v osnovnem in srednjem šolstvu Zakon o šolski inšpekciji (iz leta 1996, zadnje spremembe in dopolnitve so bile leta 2005).
Velika veČina držav oecd ima vzpostavljene tudi zakonske zahteve za izvajanje samoevalvacije, Čeprav se po naravi precej razlikujejo. Navadno je »samoevalvacija« opredeljena kot zahteva, da šole izdelajo porocilo o stanju dejavnosti ali strateško porocilo o razvoju šole ali celo oboje. Na Švedskem se nanaša na splošnejšo zahtevo po sistemu zagotavljanja ali vodenja kakovosti in ne zahteva oblikovanja posebnih porocil (zahtevo po posebnem poroca-nju so opustili leta 2010). V nekaterih šolskih sistemih se od šol zahteva oblikovanje letnih porocil ali razvojnih nacrtov, medtem ko ni nobene izrecne zahteve za samoevalvacijo šole (francoska skupnost v Belgiji, Danska in Nizozemska). Enako je dolga leta veljalo na Irskem, vendar so leta 2012 uvedli izrecno zahtevo po samoevalvaciji.
V mnogo državah (npr. Avstraliji, Nemciji in Angliji znotraj Velike Britanije) so bile pobudnice za samoevalvacijske dejavnosti posamicne šole ali skupine šol v povezavi z univerzo ali šolskim okrožjem (MacBeath 2008). V Kanadi obstaja znacilen pristop k razvijanju evalvacijske prakse od spodaj navzgor (Fournier in Mil-don 2013). Na primer, v atlantskih provincah v Kanadi so dejavnosti samoevalvacije šol obstajale pred zakonodajo za nacrtovanje šolskih izboljšav. Toda skoraj v vseh državah obstaja na ravni državne politike težnja k spodbujanju samoevalvacije šol.
Vzpostavitev zahtev, da šole oblikujejo dolocena porocila, - ce-prav je morda prvotni namen spodbujati samoevalvacijo - vnese element odgovornosti. To lahko ovira razvojno funkcijo samoevalvacije. Toda že seznanjanje sveta šole/uprave, staršev in ucencev z izidi evalvacije šole kot tako je povezano z dejavnostmi izboljševanja šol.
Samoevalvacija šole se navadno razume kot notranja zadeva, trdno usmerjena v razvoj šole (Livingston in McCall 2005; Maes, Ver Ecke in Zaman 2002; Yeung 2011). Toda nekateri »izdelki« samoevalvacije šol so pogosto namenjeni odgovornosti (Janssens in van Amelsvoort 2008). Na primer, izdelek samoevalvacije je lahko vir informacij za šolsko skupnost. To je pomembna oblika horizontalne odgovornosti. (Čedalje vec dokazov iz aktualnega evropskega projekta nakazuje, da je horizontalna odgovornost do deležnikov skupaj z jasnostjo pricakovanj v zunanji evalvaciji šole mocna determinanta dejavnosti izboljšav na ravni šole (Ehren idr. 2013).
Priporočilo pregledne študije oecd: okrepiti samoevalvacijo na ravni šole
Samoevalvacija šole je ključnega pomena za izboljševanje šole in zagotavljanje kakovosti ter jo je treba v šolskih sistemih utrditi. Ena od možnosti za krepitev samoevalvacije je, da se šolam postavijo zahteve, ki na šolah spodbujajo strateško načrtovanje, na primer izoblikovanje 4- ali 5-letnega strateškega načrta in redno obveščanje o napredku šole glede na načrt ali priprava letnih poročil šole o njenih dosežkih, izzivih in strategijah za izboljšave. Izpolnjevanje opredeljenih zahtev strateškega načrtovanja bi bilo za mnoge šole spodbuda, da razvijajo samoevalvačijo, in bi imel velik potenčial za izboljševanje šole, če: se poročanje in načrtovanje dovolj posvečata ključnim pročesom poučevanja in učenja ter široki paleti rezultatov; pročes poročanja in načrtovanja zadostno vključuje šolsko skupnost; in se šolska skupnost vneto zavzema za napredek šole k strateškim čiljem. Na primer, pri opredelitvi letnega strateškega načrta bi šole določile prednostne naloge za prihajajoče leto, si zastavile lastne čilje v skladu z lokalnimi potrebami in prioritetami ter izbrale metode očenjevanja za spremljanje napredka. Ta pristop omogoča šolam, da prevzamejo odgovornost za svoje strategije izboljševanja. Pri postavljanju zahtev po objavi določenih rezultatov samoevalvačije šol pa je treba biti pazljiv, ker lahko to ovira uporabo rezultatov za razvoj šole. Temeljni namen sodelovanja pri pročesu samoevalvačije, je da, ga šola naredi svojega, si pomaga z rezultati in nenehno prizadeva za izboljšanje poučevanja in učenja na šoli.
Samoevalvacija in zunanja evalvacija šole se lahko povezujeta na razne načine
Stopnja artikulačije med zunanjo evalvačijo in samoevalvačijo šol se po državah oecd razlikuje. V večini sistemov, ki zahtevajo oboje, je samoevalvačija šole sestavni del pročesa zunanje evalvačije šole (glej pregledničo 1). Z izjemo Islandije in Koreje, šole rezultate samoevalvačije delijo neposredno z institučijami, pristojnimi za zunanjo evalvačijo šol. Mnogo institučij, pristojnih za zunanjo evalvačijo šol dejansko omogoči dostop do svojih kazalnikov kakovost (npr. v inšpekčijskih okvirih) ali priskrbi opredeljene kazalnike kakovosti, ki naj bi usmerjali samoevalva-čijo šol. Na Portugalskem obstaja izrečna povezava med zunanjo evalvačijo in samoevalvačijo, toda vlada šolam ne nalaga nobenega izbranega pristopa k samoevalvačiji, saj ji je ljubši pristop,
ki temelji na raznolikosti in organski rasti (Santiago idr. 2012a).
Alvik (1996) ugotavlja, da lahko soobstoj samoevalvacije in zunanje evalvacije v različnih državah ponazorijo trije prevladujoči modeli:
•	vzporedni - v njem delujeta sistema drug ob drugem, vsak s svojimi merili in protokoli;
•	zaporedni - v njem se zunanje institucije, pristojne za zunanjo evalvacijo šol, opirajo na samoevalvacijo šole in jo uporabljajo kot jedro svojega sistema zagotavljanja kakovosti;
•	sodelovalni - v njem zunanje institucije, pristojne za zunanjo evalvacijo šol, sodelujejo s šolami za razvoj skupnega pristopa k evalvaciji.
Vzporedni in zaporedni model implicirata, da naj bi pri zunanji evalvaciji prevladoval namen zunanje odgovornost; vzporedni model implicira, da je samoevalvacija šole samo za namen razvoja šole; zaporedni model implicira, da so rezultati samoevalvacije osnova za zunanjo evalvacijo, hkrati se pricakuje, da se rezultati zunanje evalvacije vkljucujejo v samoevalvacijo šole (Kyriakides in Campbell 2004). Ko se šolski sistem razvija, napreduje iz vzporednega v zaporedni in nato sodelovalni model, npr. šole, ki opravljajo delo dobro, imajo »milejšo« zunanjo evalvacijo. Ta koncept zrelosti je podlaga za spodbudo k združevanju zunanje evalvacije šol s samoevalvacijo šol, ko se za šole že predpostavlja, da so same dovolj zavzete za izboljševanja svojega dela (Barber 2004). Nova Zelandija ima primer sistema, ki je blizu sodelovalnemu modelu.
Nova Zelandija si prizadeva za sodelovalni model evalvacije šol, v katerem se samopregled šole (school self-review) in zunanji pregled šol (external school review) dopolnjujeta in opirata druga na drugo (Nusche idr. 2012). Za tak model je nujna visoka raven zaupanja na obeh straneh. Zadnjih pet let se institucija, pristojna za zunanji pregled (Education Review Office, ero) trudi uresniciti nacrt umestitve samopregleda šol v središce samoevalvacijskega procesa. Ministrstvo za izobraževanje in ero ne predpisujeta metod za samopregled, temvec dajeta na voljo orodja in storitve profesionalnega razvoja. ero zagotavlja usmeritvene dokumente, v katerih se samopregled pojmuje kot temeljit proces, s katerim šole sistematicno ocenjujejo svojo prakso, pri cemer uporabljajo za okvir proucevanja kazalnike in si pomagajo z naborom anali-ticnih in formativnih orodij. Zdi se, da so šole s svoje strani zavzete za oblikovanje podatkovne baze dokazov in izvajanje anket med ucenci. ero spodbuja samopregled kot nekaj, kar naj bi bilo
Ci	ce M	
	&	
	o	
	M	
CJ		
	ce	ce ^
		
s	fi	3
	ce	fi
s? Q	•13 PQ	n tu ^
e	ce	ce
s	£	M
N	>	>t» (U
		
N N fi fi (U j j (3 (c K K ^ ^ m
M M -fi	-fi
IV (V fi	fi
-û ¿3 cc	cc
^	^

a a a a a a
Nfifififififi-H£H£H£H£H£H •cccccccececefifififififi fi tt) tt) tt) tt) tt)
>o >o >o
fi	fi	fi
>o	>o	>o
o	o	o
£3	£3	a
^ <v <v <v

JdJDJDSSSSSS
>CA >CA >CA
tuceccccccccccccccccccccce fi '"O '"O '"O '"O '"O '"O '"O '"O '"O '"O '"O '"O
B -a S -a -a
td cc cc cc b t3 t3 t3
cecece^^cececececececece
-Q
B
a
'Si M
ce tz S B ce ce
T3 ,—I
s s
ce «

Ph >
ce ce
Ph ^ Z,
ce ce E5 g
g >£
S) Sj SJ
Oj Oj Oj
N N N

a a a
a a a
a a a
a a a
a a a a
S i" £
ce o
n n n
a a a a
vpeto v razmišljanje in delo uciteljev. Za veliko šol je to morda res zahteven cilj, vendar je mogoce (v vodilni konici) videti tudi šole, v katerih je dialog o podatkih glede dosežkov nenehen in zasidran tudi v ucilnicah. Pri samopregledu šol je poudarek na sodelovalnih pristopih, ki vkljucujejo tako ucitelje kot ucence. Ucenci imajo svojo vlogo pri evalvaciji kakovosti svoje šole in prispevajo tudi k zunanjemu pregledu. Takšna njihova vkljucitev zahteva, da so soudeleženi v jeziku ocenjevanja in evalvacije in da imajo zaupanje izraziti svoje poglede in tudi svojo zaskrbljenost. Pregled oecd je pri obiskanih šolah odkril vzorcne dokaze, da so ravnatelji šol in ucitelji vzeli to vprašanje resno in svoje ucence opremili z znanjem in besedišcem za pogovor z zunanjimi obiskovalci o vprašanjih dosežkov in kakovosti. Ceprav je to morda praksa samo na vodilni konici in manj po celotnem sistemu, je potencial za širše vkljucevanje prednost.
Priporočilo pregledne študije oecd: ovrednotite in prilagodite zunanjo evalvacijo šole, da bo odražala zrelost evalvacijske kulture šole
V splošnem obstaja potreba po boljši proucitvi vpliva razlicnih pristopov k zunanji evalvaciji šol. Mocna baza dokazov o delovanju šolskega sistema je bistvena za usmerjanje odlocitev o tem, kako najucinkoviteje porazdeliti vire za zunanjo evalvacijo šol. Obstajajo lahko zahteve po zmanjšanju pogostnosti zunanjih evalvacij šole ali intenzivnosti evalvacijskih obiskov v smislu dolžine casa, ki ga evalvatorji preživijo na šoli. Ampak take odlocitve morajo temeljiti na pazljivi evalvaciji dokazov o delovanju šol in samoe-valvacijske kulture po vsem šolskem sistemu in morajo zagotoviti nenehno legitimnost in spoštovanje izobraževalcev do procesa zunanje evalvacije šol.
Pristopi k zunanji evalvaciji šol se spreminjajo na razne nacine s prehodom k diferenciranemu pristopu, ki temelji na oceni tveganj za kakovost šole v razlicnih šolah. Izhodišcna zamisel za to je usmeriti zunanjo evalvacijo šol v šole, ki so je najbolj potrebne, in na pedagoška podrocja, ki potrebujejo najvec pozornosti. Sistemi, ki se odlocijo za tak diferenciran pristop, navadno sprejmejo politiko, ki zagotavlja evalvacijo vseh šol v dogovorjenem casovnem obdobju (npr. od treh let do desetih), vendar zunanjo evalvacijo usmerijo v šole, kjer se je pojavila posebna zaskrbljenost pri sekundarni presoji tveganj (npr. med drugim po pritožbah staršev, zaradi pogostega menjavanja zaposlenih, slabših rezultatov ucen-
cev ali slabšanje teh rezultatov). Diferenciacija lahko obstaja tudi v smislu usmerjenosti evalvacije šol, tj. poudarka na izbranih dejavnikih, ki povzročajo zaskrbljenost glede tiste šole, in ne na celotnem naboru dejavnikov, opredeljenem v nacionalnem okviru zunanje evalvacije šol.
Prehod k diferenciranim modelom zunanje evalvacije šol zahteva visoko raven poznavanja znacilnosti in dela šol. Zato se pri-poroca, da sistemi preidejo na ta pristop, ko je evalvacijska kultura utrjena, evalvacijska zmožnost na šolah zadovoljiva in vzpostavljeno zbiranje in analiza podatkov v okviru evalvacije šol. Pri prehodu na diferenciran pristop je posebej pomembno zagotoviti, da šole, ki niso izbrane za zunanjo evalvacijo šol (šole, za katere smo presodili, da je pri njih tveganje manjše in so boljše), ne postanejo prevec samozadovoljne. Zato morajo politike do šol z manjšim tveganjem vzpostaviti zahteve po zagotavljanju dokazov o napredku na širšem podrocju delovanja.
Postopki
Merila za evalvacijo kakovosti izobraževalnih procesov in rezultatov
V številnih sistemih so razvili skupno definicijo »dobre šole«, da bi zagotovili skupno osnovo za evalvacijo kakovosti izobraževalnih procesov in izidov. Cilj takšnih definicij je zagotoviti standardna merila za evalvacijo kakovosti, in slednja praviloma temeljijo na raziskovanju izobraževanja in dokazih dobre prakse. Ucenci ucin-kovitih šol napredujejo bolj, kot je pricakovano glede na dejavnike njihovega družbenega izvora in prejšnje dosežke (Creemers 2007; Reynolds in Teddlie 2000), in te šole imajo vzpostavljene procese, s katerimi ucinkovitost izboljšujejo (Creemers idr. 2007; Harris in Chrispeels 2006). Znacilnosti ucinkovitih šol dobro razumemo (Sammons, Hillman in Mortimore 1995) in so v širšem skupne mnogim nacionalnim sistemom in šolskim kulturam. Nanašajo se na kakovost poucevanja in ucenja; na nacin, kako se ucitelji razvijajo in kakšno oporo imajo, da postajajo ves cas kariere cedalje ucinkovitejši (Robinson, Lloyd in Rowe 2008); na kakovost pedagoškega vodenja na šolah (Leithwood idr. 2006) kot tudi dejavnike v zvezi z ucnim nacrtom, vizijo in pricakovanji, ocenjevanjem za ucenje, stopnjo napredka ucencev in njihovih izobraževalnih dosežkov. Dejavnike, kot so ti, v splošnem povezujemo s kakovostjo in standardi šol.
Pomembno je, da ministrstva in institucije, pristojne za izvaja-
nje zunanje evalvacije, za spodbujanje skupne vizije »dobre šole« v razvijanje kazalnikov in meril kakovosti šol vkljucujejo izobraževalce in druge strokovnjake. Nizozemska inšpekcija je okvir šolske evalvacije razvila v sodelovanju z izobraževalci in omogoca poenoteno razumevanje kakovosti v osnovnih in srednjih šolah (Scheerens idr. 2013). V Koreji so okvir evalvacije šol razvili s skrbno proucitvijo raziskav o ucinkovitosti šol v Koreji in mednarodnem pogledu tako, da so se lotili svoje raziskave o ucinkovitih šolah in v zadnjih korakih vkljucili strokovni prispevek uciteljev, ravnateljev šol in raziskovalne skupnosti (Korean Educational Development Institute 2010). Na Novi Zelandiji je Služba za pregled izobraževanja razvila izobraževalne kazalnike, ki so podprti z raziskavami, kot je Sinteza najboljših dokazov ministrstva za izobraževanje, in z izkušnjami Službe za pregled izobraževanja o ucinkovitih šolah (Ministry of Education 2010).
Zlasti glede okvirov za samoevalvacijo bi bilo neodgovorno zapostaviti znaten vpliv, ki ga ima »škotski pristop«. Zunanje evalva-torje šol s Škotske v Veliki Britaniji pogosto vabijo k sodelovanju na raznih prireditvah po Evropi in škotska institucija, pristojna za zunanjo evalvacijo (Education Scotland) tudi sprejema veliko mednarodnih gostov (van Bruggen 2009). Omeniti je treba, da so projekt ucinkovite samoevalvacije šol, ki ga je financirala Evropska komisija, usklajevali škotski zunanji evalvatorji, pri cemer se je pomemben del delovanja posvecal obstoju inšpekcijskih okvirov (The Standing International Conference of Inspectorates 2003). Škotski vpliv se je širil tudi izven Evrope, na primer: v Avstraliji je institucija katoliškega izobraževanja v Novem Južnem Walesu sprejela škotski inšpekcijski okvir za razvoj temeljitega sistemskega pristopa k samoevalvaciji (Santiago idr. 2011); v Mehiki sta dve pomembni publikaciji, ki so ju leta 2003 in 2007 razdelili šolam za spodbujanje samoevalvacije, mocno crpali iz kazalnikov kakovosti in drugega gradiva, razvitega v podporo samoevalvaciji na Škotskem (Secretariat of Public Education 2011).
Faubert (2009) sicer z dokazi iz nepreverjenih pripovedovanj odkriva, da lahko pomanjkanje jasnosti meril, uporabljenih v zunanji evalvaciji šol, omaja legitimnost procesa zunanje evalvacije šol. Zaposleni se lahko pritožijo zaradi pomanjkanja jasnosti uporabljenih meril in zaradi navidezno nakljucnih izjav zunanjih evalvatorjev. V državah, kjer standardi in merila, uporabljena za zunanjo evalvacijo šol, niso objavljeni, lahko obstajata predstava in zaznava, da se pogoji, v katerih se izvajajo posamicne zunanje evalvacije šol, izrazito razlikujejo. Kjer zunanja evalvacija šol do-
loci jasna pričakovanja, pravila in standarde in so deležniki vključeni ter poznajo proces zunanje evalvacije, to močno vpliva na šole (Ehren idr. 2013).
Na Novi Zelandiji Služba za pregled izobraževanja objavlja merila, ki jih uporablja pri zunanji evalvaciji šol. Sistematične povratne informacije, ki jih zbere od ravnateljev šol po zunanji evalvaciji, kažejo na višjo raven zaupanja v jasnost presoje procesa (Ministry of Education 2010). Obstaja ocena, da so uporabljeni eval-vacijski procesi in kriteriji odkriti in pregledni. V splošnem je zdaj na šolah veliko manj tesnobe glede procesa zunanje evalvacije kot pred 20 leti, ko je bila uvedena.
Povratne informacije, ki jih je zbral inšpektorat od šol v letu 2008/09 na Portugalskem, kažejo, da je dostop do inšpekcijskih okvirov, metodologije zunanje evalvacije in njenih instrumentov zelo cenjen (o tem poroca 89%, 82% oziroma 79% ravnateljev šol) (Santiago idr. 2012a).
Priporočilo pregledne študije oecd; razvijte nacionalno sprejeta merila kakovosti šol za usmerjanje evalvacije šol
Jasnost evalvacije šol je posebej poudarjena, ko temelji na nacionalno sprejetem modelu ucinkovitosti šol. Nacionalni model naj bi se opiral tako na mednarodne kot nacionalne raziskave, ki odkrivajo dejavnike, v splošnem povezane s kakovostjo poucevanja in ucenja. To bi dalo jasna merila za ucinkovitost šol in zagotovilo krepko osnovo, ki bi temeljila na raziskavah, tako za samoe-valvacijo šol kot zunanjo evalvacijo šol. Taka merila bi lahko bila podlaga za kakršnikoli okvir zunanje evalvacije šol, npr. za okvir državne inšpekcije. Šole bi merila in primerjave uporabljale tudi za razmislek, katere dokaze potrebujejo za oceno svoje ucinkovitosti. »Kako dobra je naša šola?« je glavno vprašanje ne samo za ucence in starše, temvec tudi ljudi, ki šole vodijo in delajo v njih. Podobno je za izobraževalne oblasti vprašanje »Kako dobre so naše šole?«
Potrebno je vzpostaviti sprejet okvir kazalnikov kakovosti šole, do katerega lahko nato šolam in organizatorjem šol omogocimo širši dostop za uporabo v njihovih lastnih evalvacijskih procesih. S tem bi povecali usklajenost med samoevalvacijo šol in zunanjo evalvacijo šol, prednost cesar je, da se šole ves cas posvecajo glavnim merilom kakovosti bolj sistematicno in ne samo glede na cikle zunanje evalvacije šol. Kazalniki kakovosti šol upoštevajo dejavnike okolišcin, vložka in procesa, vendar bi morali dati pouda-
rek širokemu razponu dosežkov ucencev. Na primer, med kazalniki kakovosti dosežkov ucencev in stopnje njihovega napredka bi lahko za vsakega ucenca šole vkljucevali merjenje: koliko boljši je njegov napredek glede na prejšnje dosežke; kako zadovoljen je z izobraževanjem na šoli; kako varen in srecen se pocuti na šoli; kako osvaja znanje, vešcine, razumevanje in odnos, potreben za vseživljenjsko zadovoljstvo itd.
In navsezadnje bi morala obstajati redna evalvacija šolskega okvira kazalnikov in meril kakovosti, ki bi poskrbela, da odražajo posodobljene dokaze, pridobljene iz raziskav in od deležnikov, glede dejavnikov, povezanih s kakovostjo poucevanja in uce-nja.
Opazovanje pouka
Kakovost procesov poucevanja in ucenja je v srcu izboljševanja šol. Zato bi moralo neposredno opazovanje procesa poucevanja in ucenja v razredu prinesti kljucne informacije za evalvacijske procese šol. V sistemih s šolskimi inšpekcijami in zunanjimi eval-vacijami so opazovanja v razredu znacilen in kljucni del procesov zunanje evalvacije šol. V zvezi s tem se je poudarek v premaknil z ocenjevanja posameznega ucitelja na ocenjevanje kakovosti poucevanja. Vseeno ima zunanja evalvacija zmerno mocan vpliv na ocenjevanje posameznih uciteljev v osmih šolskih sistemih v oecd in mocan vpliv v francoski skupnosti v Belgiji, na Irskem, Poljskem, v Slovaški republiki, Turciji in Angliji v Veliki Britaniji (oecd 2011).
Informacije, zbrane med ravnatelji nižjega srednjega izobraževanja v študiji oecd o poucevanju in ucenju v letu 2007/2008, kažejo, da se opazovanju pouka pripisuje razmeroma manj pomembnosti kot drugim merilom kakovosti poucevanja (oecd 2009). Vsaj 80 % anketiranih uciteljev v Mehiki, Turciji, na Poljskem, v Koreji in Slovaški republiki je bilo na šolah, s katerih so ravnatelji poro-cali, mnenja, da je neposredna ocena poucevanja v razredu velikega ali zmernega pomena pri evalvacijah šole (slika 2). Enako je veljalo za manj kot 50% uciteljev na Norveškem, Portugalskem, Islandiji in Danskem. Tako na (Češkem kot Slovaškem je pregled odkril kulturo »odprte ucilnice«, v kateri je neposredno opazovanje poucevanja v razredu dobro uveljavljen del življenja na šoli (Santiago idr. 2012b; Shewbridge idr. 2013).
Poleg ustreznega usposabljanja lahko razvijanje in uporaba sklopa skupnih kazalnikov za opazovanje v razredu vnese vec ja-
Mehika	94,4 %
Turčija	88,9 %
Poljska	86,7 %
Koreja	81,9%
Slovaška	80,8 %
Irska	75,7 %
Povp. tališ	71,1%
Belgija (fl)	70,4%
Italija	69,5 %
Slovenija	68,7 %
Avstrija	68,5 %
Madžarska	66,3 %
Španija	64,4 %
Estonija	60,7 %
Avstralija	58,8 %
Danska	50,8 %
Islandija	46,1 %
Portugalska	40,8 %
Norveška	31,7%
slika 2 Neposredno ocenjevanje poučevanja v razredu kot del evalvacije šole
opomba Delež učiteljev nižjega srednjega izobraževanja, katerih ravnatelj šole je poročal, da ima to velik ali zmeren pomen za samoevalvacijo šole ali zunanjo evalvacijo; podatki so prikazani za sodelujoče članice oecd. Pripravljeno po podatkih oecd (2009, 175).
snosti v opazovanje razreda, ki ga izvajajo zunanji evalvatorji šol. V mednarodni primerjalni analizi učenja in poučevanja (icalt) so sodelovale evropske institucije, pristojne za zunanjo evalvacijo šol, ki so želele razviti instrument za opazovanje in analiziranje kakovosti poučevanja in učenja v osnovnih šolah. Študija je odkrila, da je mogoče zanesljivo in veljavno primerjati naslednjih pet vidikov, ki so v pozitivni korelaciji z udejstvovanjem učencev, njihovim odnosom, vedenjem in dosežki: učinkovito vodenje razreda; varna in spodbudna učna klima, jasno poučevanje, prilagajanje poučevanja in strategij poučevanja in učenja (van de Grift 2007). Instrument opazovanja zajema konkretne kazalnike na vsakem od naštetih podro čij, skupaj s primeri dobre prakse (Inspectie van het Onderwijs 2009). Na primer, pet kazalnikov velja za »varno in spodbudno u čno klimo«, tudi »učitelj podpira samozavest učen cev«. Med primeri dobre prakse so: učitelj daje povratne informa cije o vprašanjih in odgovorih u cen cev na pozitiven na čin učitelj učen ce pohvali za rezultate in učitelj ceni prispevek učencev. Zadnji instrument opazovanja so sprejeli za uporabo v institucijah, pristojnih za zunanjo evalvacijo
šol v flamski skupnosti v Belgiji, na Spodnjem Saškem v Nemčiji, na Nizozemskem, v Slovaški republiki in na Škotskem v Veliki Britaniji.
V flamski skupnosti v Belgiji je flamski inšpektorat za izobraževanje razvil model kazalnikov kakovosti za izboljšanje zanesljivosti sodbe med evalvatorji glede kakovosti šolskih pročesov (kot opredeljeno v inšpekčijskem okviru) (Shewbridge idr. 2011). S tem si zunanji evalvatorji šol pomagajo razčleniti razlike med šolami v presojanju, kako pročesi na šoli vodijo do dosežkov šole - kar je pomemben del pristopa k zunanji evalvačiji šol. Model zajema štiri medsebojno povezane kategorije: usmerjenost k dosežkom (opredelitev jasnih in konkretnih čiljev ter načinov njihove utemeljitve), podpora (usposobljeno osebje, material in strukturna podpora za doseganje čiljev), učinkovitost (izkazovanje, kako pročesi na šoli prispevajo k doseganju čiljev) in razvoj (posvečanje neprekinjenemu razvoju in izboljševanju kakovosti).
Priporočilo pregledne študije oecd: poskrbite, da je poudarek evalvacije šole na izboljševanju poučevanja, učenja in dosežkov učencev
Evalvačija šole zahteva prečejšnjo zmožnost na mnogo ravneh šolskega sistema. Pomembno je zagotoviti, da evalvačija šole prispeva k izboljšanju šole in ni vaja v poslušnosti. Pristop k evalvačiji šole (tako zunanji kot samoevalvačiji), merila in vprašanja, ki odločajo o presoji, in uporabljene metode se morajo posvečati neposredno kakovosti poučevanja in učenja ter njunemu odnosu z učnimi izkušnjami in dosežki učenčev. To zahteva kulturo odprtosti in razmišljanje o tem, kaj se dogaja med pročesom poučevanja in učenja, tudi pri opazovanju pouka.
Pomembno je, da se evalvačije šol ne posvečajo zgolj odnosu med politiko, načrtovanjem in učinki ter rezultati. Najpomembnejši prispevek, ki ga evalvačija šole lahko prinese k razumevanju uspešnosti šole, je njeno posvečanje poučevanju in učenju. Kakovost poučevanja je bistvena za kakovost učenja učenčev in je ključna spremenljivka, na katero lahko šola vpliva. Osrednja naloga evalvačije šole je torej ugotoviti, kakšna je kakovost poučevanja med pedagoškim osebjem kot čeloto. To je občutljivo vprašanje, vendar učenčem, učiteljem in staršem sporoča, da evalvačija šole ni birokratski postopek, s katerim se v glavnem ukvarja vodstvo šole, temveč da se nanaša na delo prav vsakega strokovnega delavča.
Priporočilo pregledne študije oecd: zagotovite močno bazo dokazov za zunanjo evalvacijo šol in primerna orodja za analizo Verodostojna zunanja evalvacija mora temeljiti bolj na zanesljivih in relevantnih dokazih kot na mnenjih. Sprejetje rezultatov zunanje evalvacije šol lahko zagotovimo s sistematicnim zbiranjem in analiziranjem dokazov ter sklicevanjem na in povezovanjem s podatki oz. dokazi. Ucinkovit nacin pridobivanja kljucnih informacij je, da sestavimo profil šole s kljucnimi kazalniki kakovosti šole. Ce ga pred evalvacijo priskrbimo skupini za zunanjo evalvacijo šole, ji pomagamo k vecji ucinkovitosti, ker lahko pozornost posveti kljucnim vprašanjem. Profil šole lahko pomaga pri primerjavah in umestitvi presoj evalvatorjev. Tak profil je posebej koristen, ce temelji na krepki osnovi primerljivih dokazov o dosežkih šole. Je kljucni element v tistem sistemu zunanje evalvacije šol, ki se pri dolocanju ciljev in poudarkov zunanjih evalvacij šol opira na neko obliko ocene tveganja.
Podobno je potrebno dokaze zbirati tudi med izvajanjem zunanje evalvacije šole, med drugim prebrati in analizirati dokumentacijo, zbrati povratne informacije o kakovosti šole z anketiranjem deležnikov in z intervjuji z reprezentativnim vzorcem deležnikov.
Kljucni del zunanje evalvacije šol je opazovanje poucevanja in ucenja v razredu. Zahteva veliko vešcino opazovanja in ustrezno usposobljenost. Toda nepristranskost opažanj je mogoce okrepiti z razvojem kazalnikov opazovanja in posebnim usposabljanjem za uporabo le-teh. Podobne instrumente je mogoce razviti v oporo procesu odlocanja zunanjih evalvatorjev šol med obiskom na šolah. Z njimi prepoznavamo kljucna merila in si pojasnjujemo pravila o oblikovanju sodb, ker nam dajejo primere, kako ovrednotiti razlicne pojave, kijih opazimo.
Zmožnost
Usklajevanje zmožnosti za zunanjo evalvacijo z izbranim pristopom k zunanji evalvaciji šole
Sistemske odlocitve za opredelitev splošnega pristopa k zunanji evalvaciji šol vplivajo na zahteve glede usposobljenosti v institucijah, pristojnih za zunanjo evalvacijo. Pregled oecd opozarja, da odlocitev Nove Zelandije za prehod k sistemu diferenciranih zunanjih evalvacij spremlja naložba Službe za pregled izobraževanja v usposabljanje osebja za obravnavo in tolmacenje dokazov iz samo-ocene šol. To so uporabili tudi za spodbujanje krepitve zmožnosti na šolski ravni. Podobno je tudi flamski inšpektorat za izobraževa-
nje pred kratkim uvedel »diferenciran pristop« k zunanji evalvaciji šol in je »na poti ucenja nenehnega razmišljanja, dodelovanja in izboljševanja« (Flemish Ministry of Education and Training 2010). Flamski inšpektorat za izobraževanje skrbi za usposabljanje vseh zunanjih evalvatorjev šol za »diferenciran pristop« in redno pridobiva povratne informacije od deležnikov z anketami in konferencami, z namenom obogatitve preudarnosti, kako prilagoditi in dodelati novi pristop k zunanji evalvaciji. Tudi kitajski Hongkong intenzivno vlaga v preusposabljanje zunanjih evalvatorjev na prehodu iz inšpekcijskega gledanja k evalvatorskemu pristopu, v katerem so evalvatorji pojmovani kot posredniki, ki spodbujajo in podpirajo šole, da govorijo zase (MacBeath 2008, 395).
Na Švedskem izvajajo zunanjo evalvacijo šol v dveh glavnih oblikah: redni nadzor in tematske evalvacije kakovosti. Med rednim nadzorom je glavni poudarek na zakonitosti; smisel je zagotavljanje pravic vsakega posameznika v zvezi z veljavnim zakonom o izobraževanju in predpisi. Podobno tudi občasne pritožbe staršev vedno proucijo na zakonski podlagi. Za take namene se švedski šolski inšpektorat obraca na posameznike s pravno izobrazbo.
V	Koreji se je v politiki zgodil izrazit premik z uvedbo sistema zunanje evalvacije šole kot celote, v katerem kakovost šole ocenjujejo po državnem okviru kazalnikov kakovosti. (Čeprav je prednost sistema v tem, da je evalvacija bolj zaokrožena, kot ce bi se preprosto zanašali na merila uspešnosti šole, zahteva od zunanjih evalvatorjev veliko strokovnega znanja. Korejski inštitut za razvoj izobraževanja na nacionalni ravni pripravlja programe usposabljanja, ki so preplet predavanj in delavnic o pravni podlagi, vlogi in pravicah vkljucenih organizacij, o osnovnem nacrtu evalvacije, o tolmacenju in prakticni uporabi kazalnikov ter o etiki evalvatorjev in vkljucuje vodniki za pisanje evalvacijskih porocil. Okrepili so tudi podporo na lokalni ravni, da pomagajo evalvatorjev »vaditi« uporabo kazalnikov. Toda raziskave so pokazale na potrebo po po-vecanju ponudbe usposabljanja (Jung, Namgoong in Kim 2008).
V	Franciji je širok presek deležnikov mnenja, da bi bilo zunanjo vsešolsko evalvacijo težko vpeljati zaradi nezadostne zmožnosti zunanje evalvacije šol in pomanjkanja specializacije v znanju in kompetencah, ki so potrebni za izvedbo cesa takega. V 90. letih so nekateri šolske institucije (académies v Parizu, Lillu, Rouenu in Toulousu) vpeljale vsešolske evalvacije. Izvajali so jih vrsto let, vendar so se izkazale za zamudne in zahtevne z vidika cloveških virov, ravnatelji pa jih niso vedno cenili, zato so jih opustili. Podo-
ben poskus so v 90. letih izvajali z državno inšpekcijo (igaenr), da bi uvedli vsešolske evalvacije, s katerimi bi nastala poročila o glavnih značilnostih, prednostih in slabostih šol, ki bi jih poslali šoli in pristojni instituciji (académie), toda takim poročilom ni sledilo nič in so jih zato opustili.
Priporočilo pregledne študije oecd: zagotovite dovolj zmožnosti in potrebnega preusposabljanja za ujemanje s pristopom k zunanji evalvaciji šol
Sistemske odločitve o pristopu k zunanji evalvaciji šol neposredno vplivajo na zmožnost, potrebno za zunanjo evalvacijo šol. Vodijo lahko do uvedbe ali ponovne uvedbe sistema zunanje evalvacije šol, kar bi zahtevalo ustanovitev pristojne institucije za zunanjo evalvacijo šol. Take odločitve imajo močan vpliv na potrebe po virih. Zadostnost sredstev in zagotavljanje usposabljanja novi instituciji, pristojni za zunanjo evalvacijo šol, sta bistvena za ustvarjanje njegovega slovesa med šolami. V drugačnih okoliščinah pa nemara obstaja potreba po zmanjšanju zmožnosti institucije, pristojne za zunanjo evalvacijo, kar bi vplivalo na pogostnost in/ali intenzivnost zunanjih evalvacij šol. Z okrepitvijo vloge samoeval-vacije šol za okvir evalvacije šol morajo zunanji evalvatorji šol nadgraditi svoje znanje, da bodo lahko evalvirali samoevalvacijo šol ali celo sodelovali s šolami pri njihovih samoevalvacijah.
Zagotavljanje vodenja dejavnosti, povezanih s samoevalvacijo šole
Mednarodne raziskave so pokazale, da lahko vodstvo šole, ki se posveča zastavljanju ciljev, ocenjevanju, presoji in evalvaciji, ugodno vpliva na uspešnost učiteljev in učna okolja (Pont, Nusche in Moorman 2008). Dokazi iz študije tališ kažejo, da je pri ravnateljih, ki imajo izrazitejši pedagoški slog vodenja, verjetneje, da se učitelji udejstvujejo v sodelovalnih aktivnostih s kolegi (to velja za več kot četrtino držav študije tališ) (oecd 2009).
Na Ceškem je študija o zunanji podpori, ki je bila na voljo ravnateljem za proces samoevalvacije na dvanajstih osnovnih šolah v Pragi, pokazala, da je imela podpora ugoden vpliv na odnos ravnateljev in njihovo pripravljenost uvedbe samoevalvacije (Chval in Stary 2008). Analiza vsebine samoevalvacijskih aktivnosti, ki so jih razvili ravnatelji, je razkrila očitno potrebo po zunanji podpori; ker ni bilo zunanje strokovne podpore, so se pokazale tudi resne
pomanjkljivosti v ucnih izmenjavah med ravnatelji, ko so si medsebojno pregledovali razvojne nacrte šol.
V	francoski skupnosti v Belgiji ravnatelji poročajo, da je razvojno načrtovanje lahko koristen proces, če ga ceni in vanj vlaga celoten šolski tim. Ce ne, je samo vsiljena dolžnost, ki zahteva veliko dela. Deležniki tudi navajajo potrebo po zmanjšanju velikega administrativnega bremena, ki teži ravnatelje, da se sprosti cas za pedagoško vodenje - to je posebej težak izziv v osnovnih šolah.
Na Danskem so ravnatelji izrazili zaskrbljenost nad tem, kako naj cedalje vecje zunanje zahteve po dokumentiranju kakovosti šole uskladijo z mocno klimo zaupanja na svojih šolah (Danmarks Evalueringsinstitut 2007). Odrazila se je v zahtevah ravnateljev po usposabljanju za izpolnjevanje dokumentacijskih zahtev (Danmarks Evalueringsinstitut 2010). Neka druga študija je ugotovila, da 70% ravnateljev zahteva strokovno izpopolnjevanje v evalvaciji, strateškem razvoju in zagotavljanju kakovosti (Skole-râdet 2009). Ravnatelji in ucitelji se lahko prostovoljno udeležijo nacionalnih programov usposabljanja za delo z evalvacijo, pri ce-mer imajo na voljo tudi spletna evalvacijska orodja in primere.
V	Franciji je pri usposabljanju vodstva zelo malo, ce sploh kaj, poudarka na samoevalvaciji. Tako Šola za državno izobraževanje, visoko izobraževanje in raziskovanje (esen) kot institucije za izobraževanje na regionalni ravni (autorités académiques) so razvile ciljno usmerjene programe izpopolnjevanja s posebnim poudarkom na tem, kako uporabljati kazalnike. Direktorat za evalvacijo, napovedi in uspešnost (de??) skrbi za pakete, s katerimi pomaga šolam oblikovati lastni sklop kazalnikov. Širok presek deležnikov poroca, da potrebujejo ravnatelji in ucitelji usposabljanje iz izvajanja samoevalvacij, tudi zastavljanja ciljev in uporabe kazalnikov in orodij, ki so jim na voljo.
Evalvacija novega pristopa k zunanji evalvaciji šol s poudarkom na samoevalvaciji šol v kitajskem Hongkongu je odkrila, da je samozavestno in mirno vodstvo pomemben dejavnik za lažje vzpostavljanje kulture refleksije in proucevanja (MacBeath 2008).
Priporočilo pregledne študije oecd: okrepite zmožnosti ravnateljev za spodbujanje učinkovite kulture samoevalvacije šol
Jasno je potrebno prepoznati, da je proces samoevalvacije zelo odvisen od zmožnosti vodstva za spodbujanje udejstvovanja, za iz-korišcanje virov in za zagotavljanje ustreznega izpopolnjevanja in podpore. Z oblikovanjem nacionalnih in/ali strokovnih profi-
lov usposobljenosti za ravnatelje in pomocnike ravnateljev bi bilo treba pojasniti pomen samoevalvacijskega procesa šol, tudi opazovanja pouka in vloge ravnatelja. Paziti je potrebno, da so ravnateljem na voljo ustrezne možnosti usposabljanja na teh kljucnih podrocjih. Samoevalvacijo šole lahko spodbujamo z izpopolnjevanjem ravnateljev na podrocju ucinkovitosti šol in njene evalvacije, tudi v tehnikah opazovanja in ocenjevanja poucevanja in ucenja ter zagotavljanja povratnih informacij o napredku. Nujno je zagotoviti, da imajo ravnatelji in drugi z evalvacijskimi dolžnostmi znanje, potrebno za opazovanje razreda, opravljanje intervjujev, zbiranje podatkov, analizo in tolmacenje rezultatov, kar zagotavlja tako veljavnost kot zanesljivost procesa evalvacije, ki omo-gocata razumevanje rezultatov evalvacije. Razmisliti je potrebno tudi o financiranju struktur za krepitev usposobljenosti ravnateljev za ucinkovito izvajanje samoevalvacijskih procesov, na primer z ustvarjanjem in oblikovanjem novih evalvacijskih vlog in nalog za razlicne zaposlene.
Uporaba rezultatov
Uporaba primerjalnih meril uspešnosti šol v aktivnostih, povezanih s samoevalvacijo
Pregled oecd je za številne države odkril, da obstaja potreba po optimiziranju povratnih informacij o rezultatih tako pri preizkusih znotraj šole kot pri nacionalnem ocenjevanju ucencev in v raziskavah. Ce ni pravocasnih informacij ali odziva na rezultate notranjih šolskih evalvacij (kvantitativnih ali kvalitativnih študij), se zmanjša podpora izobraževalcev za samoevalvacijo na podlagi dokazov. Nekaj podobnega se dogaja tudi v šolah, saj šole in ucite-lji praviloma ne prejmejo povratnih porocil z nacionalnih preverjanj pravocasno, da bi prepoznali ucne potrebe preverjanih ucencev. Takšne zamude pri posredovanju povratnih informacij lahko zmanjšajo uporabnost informacij pri samoevalvaciji šol (in lahko celo povzrocijo upad podpore izobraževalcev za nacionalna preverjanja, ker se jim lahko zazdi, da so odmaknjena in da niso ne veliko vredna ne uporabna, ne zanje in ne za njihove ucence). In ko šole koncno prejmejo povratne informacije centralnih sistemov, rezultati prav lahko ostanejo v domeni vodstva šole in se ne uporabljajo širše med zaposlenimi ali pa zaposleni o njih ne razpravljajo.
Sistemi povratnih informacij o uspešnosti šol so lahko ucinkovito orodje, ki zagotavlja pravocasne, visokokakovostne informa-
cije o uspešnosti, ki jih lahko šola uporabi za izboljševalne ukrepe (Visscher in Coe 2003). To je lahko šolam v pomoc, da prepoznajo probleme prej in proucijo, katere vrste ukrepov glede na okoli-šcine bolje delujejo. Razpoložljivost racunalniških sistemov za obdelavo informacij je precej izboljšala logistiko povratnih informacij o uspešnosti šol (Visscher, Wild in Fund 2001). Pravocasne povratne informacije o podatkih uspešnosti, v dostopni in razumljivi obliki, so pomembna znacilnost podatkovnih sistemov, ki lahko spodbuja rabo rezultatov na šolah. Toda enako pomembne so zna-cilnosti uporabnikov podatkov, med drugim tudi, ali verjamejo v podatke, ali imajo znanje, vešcine in motivacijo za njihovo uporabo in ali se pocutijo dovolj mocne za uvedbo sprememb oziroma ali se jim zdi, da je izboljševanje odvisno od stvari, nad katerimi nimajo vpliva (Schildkamp, Rekers-Mombarg in Harms 2012). Raziskave o vtisih deležnikov glede rabe podatkov v Združenih državah so pokazale, da so zaradi nepravocasnosti povratnih informacij o uspešnosti in pomanjkanja virov za podporo uporabi podatkov, npr. dodatnega casa, osebja ali usposabljanja, podatki lahko nepomembni za ucitelje (Englebert idr. 2007). Raziskava je nadalje pokazala veliko bolj naklonjen odnos do uporabe rezultatov pri izboljševanju šol.
Sodec po porocilih ravnateljev v študiji pisa (oecd 2010) je v srednjih šolah po vsej oecd pri samoevalvaciji šol uporaba podatkov s preverjanj dokaj trdno uveljavljena. V povprecju za oecd velja, da 77% ucencev obiskuje šole, katerih ravnatelji porocajo, da podatke o ocenjevanjuznanjaucencevuporabljajoza spremljanje napredka šole iz leta v leto in za odkrivanje tistih vidikov po-ucevanja oziroma ucnega nacrta, ki jih je mogoce izboljšati (slika 3). Ti rezultati kažejo, da je uporaba podatkov o zunanjem preverjanju znanja dobro uveljavljena na Novi Zelandiji, v Veliki Britaniji in Združenih državah. V vseh državah razen dveh je vsaj 50% ucencev s šol, katerih ravnatelji porocajo, da podatke zunanjih preverjanj znanja uporabljajo za izboljševanje kurikuluma -in v osemnajstih državah vsaj 80% ucencev. To kaže na mocno rabo rezultatov v razvojne namene.
Seveda takšna porocila o lastnem delovanju ne osvetljujejo dejanske kakovosti uporabe podatkov o uspešnosti ucencev. Na Irskem je bila ena od ugotovitev nacionalnih preverjanj znanja v osnovnih šolah leta 2009 ta, da so, ceprav so o zbranih rezultatih s standardiziranih preverjanj znanja ucencev široko razpravljali na šolskih uciteljskih konferencah, te rezultate manj pogosto uporabljali za zastavljanje ciljev na ravni šole (Eivers idr. 2010).
Nova Zelandija
zda
Velika Britanija Islandija Poljska Mehika (Čile Španija Izrael Italija Koreja Kanada Avstralija Slovaška Danska (Češka Japonska Švedska Portugalska Estonija Povp. oecd Slovenija Norveška Irska Madžarska Nizozemska Avstrija Belgija Luksemburg Nemčija Finska Turčija Švica Grčija
o 10 20 30 40 50 60 70 80 90 100 slika 3 Uporaba rezultatov načionalnih preverjanj znanja učenčev pri samoevalvačiji šol (v odstotkih)
| za odkrivanje vidikov poučevanja in učnega načrta, ki jih je mogoče izboljšati 0 za primerjanje šole z drugimi šolami ali z načionalno/regionalno uspešnostjo 0 za spremljanje napredka šole iz leta v leto
opomba Delež učenčev na šolah, katerih ravnatelji poročajo, da v te namene uporabljajo očene učenčev v načionalnem modusu za 15-letnike; podatki so prikazani za države oecd. Pripravljeno po podatkih oecd (2010, 230).
To potrjujejo zunanje evalvacije šol na Irskem, ki razkrivajo, da imajo šole omejeno zmožnost spremljanja napredka (Department
of Education and Skills 2012). Na Novi Zelandiji je služba za pregled izobraževanja z zunanjo evalvacijo šol leta 2007 odkrila, da je samo 17% šol uporabilo podatke o dosežkih učencev kot pomoc pri odločitvah za izpolnjevanje učnih potreb državno opredeljenih prioritetnih skupin učencev (Education Review Office 2007). Z zunanjo evalvacijo so tri leta pozneje ugotovili, da so, ceprav sta dve tretjini šol uporabili podatke za odkrivanje »ranljivih« skupin ucencev, samo nekatere šole to izkoristile za odkrivanje nadarjenih ucencev, ki bi morda potrebovali dodatne izzive (Education Review Office 2010). Nekatere šole so na podlagi podatkov vpeljale ukrepe za boljše uresnicevanje potreb identificiranih ucencev, ampak le malo šol je preverilo, kako uspešni so bili ukrepi.
V Veliki Britaniji je raziskava na 178 srednjih šolah v Angliji pokazala, kakšna je uporaba spletne programske opreme za samoe-valvacijo (raise Online), ki jo ima na voljo institucija, pristojna za zunanjo evalvacijo šol (Kelly in Downey 2011). Ravnatelji šol prejmejo gesla in racun administratorja ter imajo možnost nadzorovanja dostopa do programske opreme. 95 % anketiranih uciteljev je odgovorilo, da nimajo dostopa do raise online. To odraža znacilni pristop k upravljanju podatkov (zanj so zadolženi višji vodstveni delavci) in znacilno zagotavljanje povratnih informacij uciteljem v obliki vnaprej analiziranih podatkov - menda zaradi vecje ucin-kovitosti, in da prejmejo ucitelji »informacije«, ne surovih podatkov. Raziskava je pokazala, da bi ucitelji raje analizirali podatke v skupinah ali po aktivih.
Priporočilo pregledne študije oecd: optimizirajte povratne informacije o podatkih, zbranih na nacionalni ravni, šolam za samoevalvacijo in razvojno načrtovanje
Upravljanje in zbiranje rezultatov iz nacionalnih programov zunanjega preverjanja ucencev sta pomembna naložba. Zato je torej kljucno, da so vzpostavljeni sistemi, ki optimizirajo porocanje in zagotavljanje povratnih informacij o rezultatih šolam. O vprašanju optimiziranja odloca vec ravni. Prvic, gre za vprašanje zaupnosti podatkov. Drugic, gre za vprašanje, kako razne ravni seznanjati z rezultati, da se optimizira uporaba podatkov za izboljševanje. Na primer, ravnatelji šol bi imeli korist od pregleda rezultatov šole in tudi od primerjalnih podatkov o uspešnosti glede na druge šole, regije in državna povprečja. Ucitelji bi imeli korist od povratnih informacij na ravni razreda in posamicnih ucencev kot uporabnih diagnosticnih dokazov. Tretjic, kljucno vprašanje je casovni potek
povratnih informacij o rezultatih. Hitreje ko dobijo učitelji povratne informacije o rezultatih učencev, pomembnejše so za prilagajanje prakse poučevanja v nekaterih razredih ali pri nekaterih učencih.
Tehnologija daje možnosti za izboljšanje tako narave povratnih informacij kot njihovega casovnega poteka. Hitrost zagotavljanja povratnih informacij mocno vpliva na izbiro sredstva za vrednotenje: rezultate racunalniških preverjanj znanj je mogoce hitreje zbrati in oceniti ter o njih prej porocati uciteljem in šolam. Pri porocanju rezultatov po elektronskih portalih lahko izkoristimo možnost vzpostavitve zaupnega dostopa za razlicne uporabnike do razlicnih porocil in uporabnikom priskrbi analiticno programsko opremo za izbor in primerjavo uspešnosti razlicnih skupin, izbranih po meri.
Tudi samoevalvacija šol ima korist od takojšnjega dostopa do centralnih informacij, na primer pri porocanju v primerjavi z okviri zunanje evalvacije šole.
Literatura
Alvik, T. 1996. School Self-Evaluation: A Whole School Approach. Dundee:
CIDREE.
Barber, M. 2004. »The Virtue of Accountability: System Redesign,
Inspection, and Incentives in the Era of Informed Professionalism.« Journal of Education 185 (1): 7-38. http://www.bu.edu/ journalofeducation/files/20ii/o6/BUJOE-i85.iBarber.pdf
Chval, M., in K. Stary. 2008. »Autoevaluace škol v reflexi poskytovane odborne podpory.« Orbis Scholae 2 (3): 53-73.
Creemers, B. P. M. 2007. »Educational Effectiveness and Improvement: The Development of the Field in Mainland Europe.« V International Handbook of School Effectiveness and Improvement, ur. T. Townsend, 223-242. Dordrecht: Springer.
Creemers, B. P. M., L. Stoll, G. Reezigt in the esi Team. 2007. »Effective School Improvement - Ingredients for Success: The Results of an International Comparative Study of Best Practice Case Studies.« V International Handbook of School Effectiveness and Improvement, ur. T. Townsend, 825-838. Dordrecht: Springer.
Danmarks Evalueringsinstitut. 2007. Kvalitetsarbejde: erfaringerfra 20 skoler. Copenhagen: Danmarks Evalueringsinstitut.
Danmarks Evalueringsinstitut. 2010. icsei 2010:Educational Evaluation. Copenhagen: Danmarks Evalueringsinstitut.
Department of Education and Skills. 2012. »oecd Review on Evaluation and Assessment Frameworks for Improving School Outcomes: Country Background Report for Ireland.« Department for Education and Skills, Dublin.
Education Review Office. 2007. The Collection and Use of Assessment Information in Schools. Wellington: Education Review Office.
Education Review Office. 2010. oecd Review on Evaluation and
Assessment Frameworks for Improving School Outcomes: New Zealand Country Background Report. Wellington: Education Review Office.
Ehren, M. C. M., H. Altrichter, G. McNamara in J. O'Hara. 2013. »Impact of School Inspections on Improvement of Schools: Describing Assumptions on Causal Mechanisms in Six European Countries.« Educational Assessment, Evaluation and Accountability 25 (1): 3-43.
Eivers, E., S. Close, G. Shiel, D. Millar, A. Clerkin, L. Gilleece in J. Kiniry. 2010. The 2009 National Assessment of Mathematics and English Reading in Primary Schools. Dublin: Department for Education and Skills. www.erc.ie/documents/na2009_report.pdf
Englebert, K., D. Fries, M. Martin-Glenn in B. Douglas. 2007.
»Accountability Systems: A Comparative Analysis of Superintendent, Principal and Teacher Perceptions.« International Journal of Education Policy and Leadership 2 (4): 1-12.
Faubert, V. 2009. »School Evaluation: Current Practices in oecd
Countries and a Literature Review.« oecd Education Working Paper 42, oecd, Pariz.
Fournier, G., in D. Mildon. 2013. »oecd Review on Evaluation and Assessment Frameworks for Improving School Outcomes: Country Background Report for Canada.« Council of Ministers of Education, Ottawa.
Harris, A., in J. Chrispeels. 2006. Improving Schools and Educational Systems. London: Routledge.
Inspectie van het Onderwijs. 2009. International Comparative Analysis ofLearning and Teaching in Math Lessons in Several European Countries. Utrecht: Inspectie van het Onderwijs. http://www .onderwijsinspectie.nl/binaries/content/assets/Actueel_publicaties/ 2009/ICALT.pdf
Janssens, F., in G. van Amelsvoort. 2008. »School Self-Evaluations and School Inspections in Europe: An Exploratory Study.« Studies in Educational Evaluation 34 (1): 15-23.
Jung, T., J. Namgoong in J. Kim. 2008. Synthetic Report of School Assessment. Seoul: Korean Educational Development Institute.
Kelly, A., in C. Downey. 2011. »Professional Attitudes to the Use of Pupil Performance Data in English Secondary Schools.« School Effectiveness and School Improvement 22 (4): 415-437.
Korean Educational Development Institute. 2010. »oecd Review on Evaluation and Assessment Frameworks for Improving School Outcomes: Country Background Report for Korea.« Korean Educational Development Institute, Seul.
Kyriakides, L., in R. J. Campbell. 2004. »School Self-Evaluation and
School Improvement: A Critique of Values and Procedures.« Studies in Educational Evaluation 30 (1): 23-36.
Leithwood, K., C. Day, P. Sammons, A. Harris in D. Hopkins. 2006. Seven Strong Claims about Effective School Leadership. Nottingham: The National College for Leadership of Schools and Children's Services.
Livingston, K., in J. McCall. 2005. »Evaluation: Judgmental or
Developmental?« European Journal of Teacher Education 28 (2): 165-178.
MacBeath, J. 2008. »Leading Learning in the Self-Evaluating School.« School Leadership and Management 28 (4): 385-399.
Maes, B., E. Ver Eecke in M. Zaman. 2002. School Self-Evaluation and Inspection: A Review of the Literature. Belfast: The Standing International Conference of Inspectorates.
Ministry of Education. 2010. »oecd Review on Evaluation and
Assessment Frameworks for Improving School Outcomes: Country Background Report for New Zealand.« Ministry of Education, Wellington.
Ministry of Education and Training. 2010. »oecd Review on Evaluation and Assessment Frameworks for Improving School Outcomes: Country Background Report for the Flemish Community of Belgium.« Ministry of Education and Training, Bruselj.
Nusche, D., D. Laveault, J. MacBeath in P. Santiago. 2012. oecd Reviews of Evaluation and Assessment in Education: New Zealand. Pariz: oecd.
oecd. 2009. Creating Effective Teaching and Learning Environments: First Results from talis. Pariz: oecd.
oecd. 2010. pisa 2009 Results: What Makes a School Successful? Resources, Policies and Practices. Pariz: oecd.
oecd. 2011. Education at a Glance 2011: oecd Indicators. Pariz: oecd.
oecd. 2013. Synergies for Better Learning: An International Perspective on Evaluation and Assessment. Pariz: oecd.
Pont B., D. Nusche in H. Moorman. 2008. Improving School Leadership. 1. zv., Policy and Practice. Pariz: oecd.
Reynolds, D., in C. Teddlie. 2000. »The Processes of School
Effectiveness.« V The International Handbook of School Effectiveness Research, ur. C. Teddlie in D. Reynolds. London: Falmer.
Robinson, V. M. J., C. Lloyd in K. J. Rowe. 2008. »The Impact of Leadership on Student Outcomes: An Analysis of the Differential Effects of Leadership Type.« Education Administration Quarterly 44 (5): 635-674.
Sammons, P., J. Hillman in P. Mortimore. 1995. Key Characteristics of Effective Schools: A Review of School Effectiveness Research. London: Institute of Education and the Office for Standards in Education.
Santiago, P., G. Donaldson, A. Looney in D. Nusche. 2012a. oecd Reviews of Evaluation and Assessment in Education: Portugal. Pariz: oecd.
Santiago, P., A. Gilmore, D. Nusche in P. Sammons. 2012b. oecd Reviews of Evaluation and Assessment in Education: Czech Republic. Pariz: oecd.
Santiago, P., G. Donaldson, J. Herman in C. Shewbridge. 2011. oecd Reviews of Evaluation and Assessment in Education: Australia. Pariz: oecd.
Scheerens, J., M. Ehren, P. Sleegers in R. de Leeuw. 2013. »oecd Review on Evaluation and Assessment Frameworks for Improving School Outcomes: Country Background Report for the Netherlands.« University of Twente, Enschede.
Schildkamp, K., L. T. M. Rekers-Mombarg in T. J. Harms. 2012. »Student Group Differences in Examination Results and Utilisation for Policy and School Development.« School Effectiveness and School Improvement: An International Journal of Research, Policy and Practice 23 (2): 229-255.
Secretariat of Public Education. 2011. »oecd Review on Evaluation and Assessment Frameworks for Improving School Outcomes: Report on Assessment Practices of Basic Education in Mexico, 2010.« Secretariat of Public Education, Mexico City.
Shewbridge, C., J. van Bruggen, D. Nusche in P. Wright. 2013. oecd Reviews of Evaluation and Assessment in Education: Slovak Republic. Pariz: oecd.
Shewbridge, C., M. Hulshof, D. Nusche in L. Stoll. 2011. oecd Reviews of Evaluation and Assessment in Education: School Evaluation in the Flemish Community of Belgium. Pariz: oecd.
Skolerádet. 2009. Beretning om Evaluering og Kvalitetsudvikling af Folkeskolen 2009. Copenhagen: Formandskabet for Rádet for Evaluering og Kvalitetsudvikling af Folkeskolen.
The Standing International Conference of Inspectorates. 2003. Effective School Self-Evaluation (esse). Belfast: The Standing International Conference of Inspectorates.
van Bruggen, J. 2009. »Inspectorate Profile: Scotland.« The Standing International Conference of Inspectorates, Bruselj. www.sici-inspectorates.eu/en/87080-scotland
van de Grift, W. 2007. »Quality of Teaching in Four European Countries: A Review of the Literature and Application of an Assessment Instrument.« Educational Research 49 (2): 127-152.
Visscher, A. J., in R. Coe. 2003. »School Performance Feedback Systems: Conceptualisation, Analysis and Reflection.« School Effectiveness and School Improvement: An International Journal ofResearch, Policy and Practice 14 (3): 321-349.
Visscher, A. J., A. Fung in P. Wild. 2001. Information Technology in
Educational Management: Syntesis of Experience, Research and Future Perspectives on Computer-Assisted School Information Systems. Dordrecht: Kluwer.
Yeung, S. 2012. »A School Evaluation Policy with a Dual Character: Evaluating the School Evaluation Policy in Hong Kong from the Perspective of Curriculum Leaders.« Educational Management Administration and Leadership 40 (1): 37-68.
»Zakon o šolski inšpekciji (zsoll).« http://zakonodaja.gov.si/rpsi/roo/ predpis_ZAKO460.html
■ Claire Shewbridge je analiticarka v oECD-jevem Direktoratu za izobraževanje. claire.shewbridge@oecd.org
Claire From Compliancy to Quality: Approaches to School Evaluation Shewbridge in OECD Countries
The paper presents the analysis on school evaluation policies based on major international study of evaluation and assessment policies in school systems: the oecd Review on Evaluation and Assessment Frameworks for Improving School Outcomes. 24 countries participated, Slovenia was one of them. The oecd Review examined to what extent countries conceptualise their approaches to evaluation and assessment in school systems as part of an overall framework for evaluation and assessment. Often these different policies have developed over time in different areas or 'components.' The oecd Review identifies major components of the overall evaluation and assessment framework as: student assessment, teacher appraisal, school evaluation, school leader appraisal and system evaluation. The oecd Review has revealed great variation among countries in different components of evaluation and assessment in primary and secondary education. The paper highlights some oecd recommendations taking into account also Slovenia.
Keywords: Keywords: assessment, evaluation, school system, school, oecd
todenje 1I2013: 3-30
Mihaela Zavašnik Arcnik and Ksenija Mihovar Globokar
Regular Annual Work Performance Evaluation of Teachers in View of Equity, Accountability and Quality
The article presents views on the system of individual annual performance evaluation based on the Civil Servants Act (zju) and the Public Sector Salary System Act (zspsj). The aim is to shed light on the system regarding some value terms, i.e. equity, teacher accountability and quality of teachers' work as well as indicate some possible solutions for optimal establishment and sustainability of the system. The distribution of work performance evaluation results namely shows that in the public sector 50 up to more than 80% of civil servants are rated above average. The Article is structured in a way that it first outlines the relations between work performance, equity, accountability and quality, and furthermore continues to present legislation and practice of the Slovene system of individual work performance according to the Public Sector Salary System Act. In conclusion certain dilemmas or challenges are confronted that should be taken into account while some directions and solutions for reviewing individual work performance in schools are indicated.
Keywords: work performance, equity, accountability, quality, teacher voDENJE 112013:31-62