o
fl Zunanja evalvacija v šolah in vrtcih
^^ Mateja Brejc in Andrej Koren
O
>
^ Spremljanje in vrednotenje kakovosti v izobraževanju
0	Pojem kakovosti v vzgoji in izobraževanju uporabljamo pogosto.
Od tega, da poenostavljeno zajame vse, kar (dobro) delamo, do • ^	tega, da natančneje opredelimo, kaj s tem konkretno mislimo, v
^^	kaj se usmerjamo in na kakšen način se s kakovostjo ukvarjamo.
^	Seveda je pojem kakovosti različno definiran, odvisno od tega, kdo
^^	ga definira (sistem, šola, učenec, starš), kakšen je njegov namen,
J^g	pristop, katera od obstoječih paradigem je nemara v ozadju itd.
Kakršnakoli že je opredelitev kakovosti, skladno z njo izberemo načine za njeno izboljševanje, ob tem pa tudi oblike spremljanja in vrednotenja oziroma evalvačije.
Ugotavljanje in zagotavljanje kakovosti v šolskih sistemih, šolah in vrtčih sičer spodbujajo številne mednarodne in načionalne smerniče, priporočila, projekti, o tem beremo v mnogih raziskavah (Townsend 2008; MačBeath 2006; Vanhoof in Van Petegem 2010; Brejč in Koren 2011). Ena zadnjih je pregledna študija oecd o okvirih evalvačije in očenjevanja za izboljšanje rezultatov šol (oecd 2009), katere namen je odzvati se na močno zanimanje za evalvačijo in očenjevanje na načionalni in mednarodni ravni. S študijo, v kateri sodeluje tudi Slovenija, bo predstavljena zasnova, izvedba in uporaba postopkov evalvačije in očenjevanja v sodelujočih državah, analizirane bodo močne in šibke točke različnih pristopov in pripravljena priporočila za izboljšave. Izhajajoč iz razprav delovne skupine predstavnikov oecd in načionalnih koordinatorjev, ki v okviru priprave študije tečejo vzporedno s pripravo načionalnih poročil in študij primerov posameznih držav, je mogoče izpostaviti, da je evalvačija šol ali pa evalvačija v šolah vse bolj prepoznana kot tisti dejavnik ali vir, ki lahko podpira odločanje, razporejanje finančnih, materialnih in človeških virov, izboljšave v šolah itd. Še posebej kadar so šole prepoznane kot ključne pri izboljševanju učenja in dosežkov učenčev.
Evalvačija v šolah je skladno z opredelitvijo pojma kakovosti lahko usmerjena v različne vidike, npr. kakovost učnih dosežkov učenčev, skladnost delovanja z načionalnimi politikami, predpisi itd. Prav tako jo izvajamo na različne načine, in sičer v splošnem kot:
vodenje 3I2012: 17-36
•	notranjo evalvacijo oziroma samoevalvacijo (notranji pregled, ki ga opravijo praviloma strokovni delavci šole),
•	zunanjo evalvacijo (zunanji pregled, ki ga opravi posameznik ali skupina posameznikov izven šole).
Ko država vzpostavlja sistem ugotavljanja in zagotavljanja kakovosti, ki temelji na različnih oblikah evalvacije, mora odločiti o namenu posameznih oblik, in sicer so lahko (Brejc 2008; Koren in Brejc 2011):
•	namenjene zgolj šolam (upoštevajoc vse omejitve) in ne tudi spremljanju in razvoju sistema,
•	namenjene primarno šolam in v dolocenem obsegu (npr. spremljanje ozkega nabora kazalnikov na nacionalni ravni) tudi sistemu,
•	v prvi vrsti namenjene sistemu, v smislu odgovornosti šol do porocanja in odgovarjanja, pri cemer je uporabnost za šolsko raven lahko vprašljiva, pojavi se prilagajanje od zunaj postavljeni strukturi in okviru.
Ne glede na odlocitev države o namenih in oblikah evalvacije je pomembno spodbujanje avtonomije, krepitev zmožnosti šol in zagotavljanje pogojev, da šola cuti varnost. Varnost za morebitni neuspeh kot tudi zagotovilo, da bodo imele šole cas, ki je potreben za izboljšave in izboljševanje dosežkov ucencev na ravni šole. Vlada oziroma ministrstvo mora tudi jasno sporocati, da šolam zaupa, jih podpira pri izboljšavah in se zaveda, da ni nujno, da jim vedno uspe (Elmore 2007; Levin 2010).
V razpravah delovne skupine, v katerih sta sodelovala tudi avtorja prispevka, za pripravo prej omenjene pregledne študije oecd, je bila kot oblika evalvacije v šolah izpostavljena posebej tudi primerjava šol (in s tem šolskih sistemov) na osnovi dolocenih standardiziranih meril, kriterijev ali kazalnikov, ki omogocajo primerjave z drugimi šolami ali nacionalnim oziroma mednarodnim povprečjem. Ob tem je bil na zadnji razpravi junija 2012 izpostavljen razmislek o tem, ali gre v primerih nacionalnih in mednarodnih zunanjih preverjanj znanja dejansko za eno od oblik evalvacije ali pa gre v prvi vrsti za zbiranje podatkov, ki šolam in šolskim sistemom služijo pri notranji pa tudi zunanji evalvaciji. Vsekakor gre za podatke, ki jih zunanji ali notranji evalvatorji lahko upoštevajo z vidika odgovornosti in izboljšav v šolah in za podatke, ki so lahko »vplivni«, ko govorimo o ukrepih šolske politike na nacionalni ravni (npr. spodbujanje bralne pismenosti zaradi slabših rezultatov v mednarodni raziskavi pisa).
Mednarodna razsežnost in vplivi pri vzpostavljanju nacionalnega sistema ugotavljanja in zagotavljanja kakovosti zahtevajo ustrezno presojo o prenosu praks oziroma sposojanju politik (Koren in Shapiro 2006; Stronach 2010) in postopnemu poenostavljanju oziroma vplivu »prenašalcev« različnih pristopov in paradigem. Prevladujoče paradigme, npr. ucinkovitost in izboljšave (Townsend 2010; Hopkins idr. 2011; Reynolds idr. 2011; Harris idr. 2012), ter sistemi ugotavljanja in zagotavljanja kakovosti, ki so prepoznani kot »vodilni« na tem področju, so vecinoma anglosaksonski, delno skandinavski. Ko torej druge države tem trendom »sledijo«, je nujno potrebno poznavanje kulturnega konteksta in specifik šolskih sistemov, predvsem pa upoštevanje lastnega kulturnega konteksta in šolskega sistema. »Prenašalci« morajo torej biti na razlicnih ravneh dovolj senzibilni, da sistem ugotavljanja in zagotavljanja kakovosti ustreza in zaživi v drugacnih nacionalnih okvirih. Tako je na ravni sistema potreben osnovni razmislek o tem, kako šolstvo v nacionalnih okvirih deluje, kakšni so cilji in (trenutne) prioritete in podobno (Halpin in Troyna 1995).
Na ravni tistih, ki sistem ugotavljanja in zagotavljanja kakovosti uvajajo v šole in vrtce (npr. javni zavodi v primeru Slovenije), pomembno vlogo poleg sistemskih usmeritev odigrajo njihova profesionalna prepricanja, znanje in spretnosti ter viri, ki jih imajo, poznavanje delovanja izobraževalnih organizacij, senzibilnost do njih itd. Na ravni šol in vrtcev, predvsem vodstva, se »zgodba« še nekoliko obrusi, saj svoje dodatno prispevajo prepricanja, znanje in spretnosti ravnateljev (skupaj z razlicnimi skupinami ali posamezniki, odgovornimi za kakovost), obcutljivost za trenutno stanje, poznavanje lastnega konteksta, zmožnosti in pripravljenosti uciteljev itd. Na koncu pa na nek nacin »odlocijo« ucitelji, njihova pripravljenost (koliko želijo in/ali morajo), znanje in spretnosti. Na tej ravni (poglobljeno) poznavanje velikih paradigem, teorij in tujih sistemov kakovosti vecinoma ni vec prisotno in najbrž tudi ni potrebno.
Namen prispevka je razpravljati o zunanji evalvaciji v okviru ugotavljanja in zagotavljanja kakovosti v izobraževanju ter predstaviti rezultate evalvacije izvedb zunanje evalvacije v projektu Zasnova in uvedba sistema ugotavljanja ter zagotavljanje kakovosti vzgojno-izobraževalnih organizacij (v nadaljevanju Kviz). V uvodnem delu je tako na podlagi teoreticnih izhodišc ter objavljenih raziskav in prakse v državah oecd in eu opredeljena zunanja evalvacija, predstavljene so dosedanje oblike zunanje evalvacije v Sloveniji. V nadaljevanju je prikazana zasnova zunanjih evalvacij v projektu Kviz in evalvacija izvedbe v letu 2012. V zadnjem delu
so prikazani rezultati evalvacije, zaključujemo z razpravo o ugotovitvah in predlogih za nadaljnji razvoj načrtovane uvedbe zunanje evalvacije v slovenski šolski sistem.
Zunanja evalvacija
Poudarjanje pomena kakovosti v šolah in šolskih sistemih je povezano s splošno sprejetimi politikami decentralizacije. Da se jo razumeti v luči okrepljene avtonomije šol, saj se posledice decentralizacije kažejo v novih vlogah in odgovornostih tako na lokalni kot na centralni ravni. Prenos odgovornosti na šole in vrtce pomeni, da imajo te vec »svobode« kot kdajkoli prej, da odlocajo do ravni razreda. Avtonomija je po eni strani privilegij za prispevek, ki ga šole dajejo družbi, po drugi strani pa odgovornost, ki jo morajo opraviciti s kakovostnim delom in »dokazili« o dobrih rezultatih (Brejc in Koren 2011). Tako države v primeru krepitve avtonomije šol in vrtcev hkrati sprejmejo ukrepe za ocenjevanje njihovih rezultatov ter vzpostavijo dolocen sistem vrednotenja, nagrajevanja, v dolocenih primerih pa tudi sankcioniranja.
Zaradi vseh teh razlogov išcejo države nacine spodbujanja notranje ali profesionalne odgovornost, ki presega zunanjo, predpisano in je primarno usmerjena v izboljšanje kakovosti in dosežkov (Nevo 2001; Vanhoof in Petegem 2007; MacBeath 2006). Hkrati pa išcejo tudi nacine preverjanja, kako si šole in vrtci prizadevajo za doseganje visokih standardov za vse ucence in znajo to tudi dokazati (Vanhoof in Van Petegem 2009; Scheerens 2008).
Pregled nekaterih nacionalnih porocil o okvirih evalvacije in ocenjevanja (Australian Government 2010; Ministry of Education and Training and the University of Antwerp Edubron Research Group 2010; Ministry of Education and Rambell 2011 idr.) kaže, da se je v zadnjem casu pokazal širši politicni trend uporabe zunanje evalvacije v javnem sektorju. Vse bolj se tako poudarja potreba po okrepitvi prednosti, ki jih prinaša zunanja evalvacija, ob tem, da se cim bolj zmanjša pritisk ali breme, ki ga šole ob tem doživljajo. Takšen poudarek pomeni, da se zunanja evalvacija ne usmerja vec le v preverjanje delovanja šol skladno s predpisi in doloce-nimi standardi delovanja, temvec se vse bolj usmerja tudi v izboljševanje in procese, ki se v šolah dogajajo. Hkrati z »mehkejšim« pristopom zunanje evalvacije pa postaja vse pomembnejša samo-evalvacija in nove zahteve, ki so v zvezi s tem postavljene pred šole. Države tako vec poudarka oziroma skrbi namenjajo podpori, in sicer tako, da postavljajo npr. sisteme oziroma okvire samoeval-
vacije, vzpostavljajo sisteme povratnih informacij o nacionalnih preverjanjih znanja itd.
Zaradi pojavljajocih se trendov, nadnacionalnih priporočil in usmeritev ter medsebojne povezanosti držav clanic oecd in eu se je zunanja evalvacija v zelo razlicnih oblikah (od inšpekcije pa do kriticnega prijateljevanja) uveljavila v mnogih državah. Izvajajo jo Islandija, Irska, Velika Britanija, Francija, Belgija, Nizozemska, Portugalska, Španija (delno), Francija (delno), Norveška, Švedska, Danska, Slovaška, (Češka, Nemcija, Estonija, Madžarska, Avstralija (Viktorija), Kanada (Ontario), Nova Zelandija (Janssens idr. 2008; Education Quality and Accountability Office 2005a; 2005b; Eurydice 2012).
Za uvajanje (zunanje) evalvacije obstaja vec razlogov, in sicer:
•	formalno reguliranje pricakovane kakovosti rezultatov in ukrepov (izpiti, akreditacija, certificiranje, primerjave, mednarodne študije ...);
•	odgovornost izobraževalnih sistemov za njihovo delovanje in ucinkovitost s posredovanjem informacij zainteresirani javnosti, dobro izbiro izobraževalnih ciljev (pomembnost), preverjanjem, ali so le-ti bili doseženi (uspešnost), enakovredno porazdeljenost virov izobraževanja (enakost) in/ali preverjanjem ekonomske izrabe virov (ucinkovitost);
•	mehanizem za spodbujanje izboljšav v izobraževanju - spodbujanje ucenja in samoizboljševanja šol - organizacijsko ucenje, samoevalvacija;
•	politika decentralizacije - decentralizacija oziroma centralizacija nastopata kot protiutež razlicni stopnji avtonomije (Scheerens, Glas in Thomas 2003).
Govorimo torej o zunanji odgovornosti šol in vrtcev ter o vplivu države na kakovost z dolocenimi mehanizmi nadzora, ki jih raz-licne oblike zunanje evalvacije bolj ali manj vsebujejo. Tako je z zunanjo evalvacijo lahko izveden celovit pregled delovanja šole, pregled posameznih programov, pregled, kako šola ugotavlja in zagotavlja kakovost - dejavnosti, porocila in nacrti, pregled, kako šola uvaja izboljšave in izvaja samoevalvacijo na izbranih podroc-jih kakovosti itd. (Brejc in Koren 2011; Brejc in Trunk Širca 2007).
Pri uvajanju zunanje evalvacije je potrebno razumeti in upoštevati vidik nadzora oblasti v decentraliziranih sistemih. V njih sta moc in oblast sicer prenesena na nižje ravni, a ima država skozi pristope h kakovosti, npr. z okvirjanjem in usmerjanjem samoe-
valvacije in ustrezno zunanjo evalvacijo na nek nacin še boljši vpogled in lahko izvaja oblast s »pastoralnim vplivom« (Koren 2006). V tem smislu trdi Ryan (1999), da oblast na ljudi deluje od znotraj, s posameznikovim samoposredovanjem v družbenih razmerjih. S tem postanejo ključna vprašanja oblasti, nadzorovanja in kaznovanja, o katerih je mogoce razpravljati s stališca, da je oblast nekaj spreminjajo cega se in brezoblicnega, a vendar prisotnega in vpletenega v razmerje med ljudmi. Država svojo oblast izvaja bolj posredno in tako daje obcutek pristojnosti in avtonomnosti (Foucault 1977). Hkrati država prenaša del svoje odgovornosti za dosežke ucencev na raven šol in vrtcev v casu, ko so le-ti zaradi mednarodnih primerjav rezultatov otrok in globalizacije vse bolj pomembni.
Zunanja evalvacija v slovenskem šolskem prostoru
Kot pogosto navajamo, Slovenija na podrocju kakovosti v vzgoji in izobraževanju »sledi« razvitim državam in institucionalnemu razvoju na podrocju eu ter deluje na podlagi mednarodnih usmeritev in priporocil, ki so zapisana v pomembnejših dokumentih. Potreba po kakovosti razlicnih vidikov vzgojno-izobraževalnega sistema je tako opredeljena v razlicnih nacionalnih dokumentih, ki se vecinoma nanašajo na prednostne naloge razvoja Slovenije v prihodnjem obdobju (Brejc 2008).
Kakovost v slovenskem šolskem sistemu je dolocena z razlic-nimi zakonskimi podlagami. Lahko bi rekli, da je vsaj delno opredeljena in strukturirana in da posredno zajema ali daje pozornost tudi zunanji evalvaciji. Tako Zakon o organizaciji in financiranju vzgoje in izobraževanja (zofvi, 48. in 49. clen) opredeljuje, da je ravnatelj šole odgovoren za ugotavljanje in zagotavljanje kakovosti s samoevalvacijo, pri cemer letno pripravlja porocila o samoe-valvaciji, ki jih sprejme svet zavoda. V zakonu (zofvi, 20. a clen) je predvideno še, da minister, pristojen za izobraževanje, na predlog Sveta za kakovost in evalvacije sprejme merila in postopke za ugotavljanje in zagotavljanje kakovosti v vrtcih in šolah na nacionalni ravni. To bi potencialno lahko služilo kot »pomoc« ali iz-hodišce pri samoevalvaciji, hkrati pa lahko država na osnovi meril tudi z zunanjo evalvacijo preverja izbran vidik kakovosti vrtcev ter primarnega in sekundarnega izobraževanja.
Skladnost delovanja šol z zakonodajo ureja Zakon o šolski inšpekciji (zsoli) s cilji varovanja zakonitosti v vzgoji in izobraževanju, zašcite pravic otrok, ucencev, dijakov, vajencev, študentov
in udeležencev izobraževanja odraslih ter varovanja pravic strokovnih delavcev in njihove strokovne avtonomije. Zagotavljanje kakovosti v srednjem poklicnem in strokovnem izobraževanju je še dodatno opredeljeno z Zakonom o poklicnem in strokovnem izobraževanju (zpsi, 15., 16. in 17. clen), ki šolam nalaga, da kakovost vzgojno-izobraževalnega dela zagotavljajo po načelih celovitega sistema vodenja kakovosti z upoštevanjem skupnega evropskega okvira zagotavljanja kakovosti v poklicnem in strokovnem izobraževanju. Kazalnike kakovosti za podrocje doloca pristojni strokovni svet.
Posebej opredeljene ali poimenovane zunanje evalvacije z izjemo šolske inšpekcije (kot ene od oblik zunanje evalvacije) na ravni primarnega in sekundarnega izobraževanja tako nimamo, jo pa v okviru razlicnih projektov oziroma programov izvaja vec javnih zavodov, in sicer Andragoški center Slovenije - ekspertne zunanje evalvacije v izobraževanju odraslih (Priročnik o kolegi-alnem presojanju 2009), Center za poklicno izobraževanje - kole-gialno presojanje v srednjem poklicnem in strokovnem izobraževanju (Knavs, Bauman in Mali 2010) in Šola za ravnatelje - zunanja evalvacija (Brejc 2012). Ob tem se vrtci in šole vkljucujejo še v druge oblike zunanje evalvacije ali zunanjega pregleda, npr. Evropski model poslovne odlicnosti (Kern Pipan 2011) ter Kakovost za prihodnost vzgoje in izobraževanja (Zavrl 2007). Skupna vsem navedenim oblikam je prostovoljnost šol in vrtcev o vklju-citvi, hkrati pa tudi dejstvo, da so namenjene vrtcem in šolam in ne segajo na raven sistema s pridobivanjem podatkov, ki bi potencialno lahko informirali, usmerjali ali regulirali tudi aktivnosti šolske politike.
V okvir zunanje evalvacije šol bi pogojno lahko uvrstili tudi še procese akreditacije, ki jih opravi ministrstvo, pristojno za izobraževanje, s katerimi ugotavlja izpolnjevanje temeljnih pogojev za kakovost dela vrtcev in šol (ustrezni prostorski, kadrovski, programski pogoji ...) ter ocenjevanje delovne uspešnosti ravnateljev, vezano na letno nacrtovanje in porocanje o realizaciji dela.
Zunanja evalvacija v projektu zasnova in uvedba sistema ugotavljanja ter zagotavljanja kakovosti vzgojno-izobraževalnih organizacij
Pri oblikovanju zasnove zunanje evalvacije v projektu Kviz je bil opredeljen temeljni namen dati šolam in vrtcem širši in strokovno objektiven pogled na lastno prakso, kar naj bi potencialno vpli-
valo na večanje motivacije in odgovornosti za kakovostno delo ter s tem izboljšanje dosežkov učencev. Namen zunanje evalvacije kviz tako ni nadzor in rangiranje, temvec zunanja spodbuda k izvajanju samoevalvacije ter obveza za javno porocanje šole o rezultatih delovanja - posredovanje transparentnih informacij udeležencem izobraževanja. Zunanja evalvacija s tem predstavlja eno od spodbud za samoevalvacijo in hkrati podporo in usmeritev pri njenem izvajanju. Kot podobne se npr. kažejo uspešne rešitve v nekaterih državah, kjer je samoevalvacija usmerjena v dosežke ucencev, v zunanji evalvaciji pa je poudarjena vloga dodane vrednosti izboljševanju področja ucenja in poucevanja, samoevalva-ciji, svetovanje pri uporabi podatkov, kazalnikov, primerjavah z drugimi šolami, vrtci pri izboljšavah itd. (Townsend 2008; Elmore 2007; Santiago idr. 2011; Nusche idr. 2011; Shewbridge idr. 2011; Brejc 2012).
Okvir za zasnovo sistema zunanje evalvacije predstavlja nasta-jajoci sistem ugotavljanja in zagotavljanja kakovosti, predvsem samoevalvacije. Pri tem je samoevalvacija opredeljena kot »(sprotno) spremljanje in (koncno) ovrednotenje doseganja zastavljenih prednostnih ciljev izboljšav v dolocenem obdobju«. Kot ena od osnovnih dejavnosti je nacrtovana in sistematicna dejavnost, pri cemer šola ali vrtec sama izbere oziroma doloci prednostne cilje izboljšav, ki jih bo sistematicno spremljala in ovrednotila ter v naprej doloci merila (kazalnike) za spremljanje in ovrednotenje doseganja prednostnih ciljev, opredeli metode zbiranja podatkov in nacin sprotnega spremljanja doseganja ciljev (npr. vmesni pregled doseganja rezultatov, strokovne razprave, refleksija itd.). Ugotovitve, pridobljene s samoevalvacijo, so eno od izhodišc za nadaljnje nacrtovanje dejavnosti v šoli in vrtcu. Posebej so opredeljene ali prepoznane vloge in naloge posameznikov in skupin v samoevalvaciji, npr. vloga ravnatelja, tima za samoevalvacijo, komisije za kakovost, strokovnega aktiva, ucencev idr. Prednostne cilje izboljšav izbere ravnatelj skupaj s timom za samoevalvacijo in strokovnimi delavci, rezultati uvajanja izboljšav in samoevalvacije pa se kažejo na ravni šole, strokovnih delavcev in predvsem ucencev (Brejc 2012).
Pri zasnovi zunanje evalvacije kviz so upoštevane tudi slovenske izkušnje na podrocju zunanjih pregledov, tako z inšpekcijskimi pregledi kot izkušnje z zunanjimi evalvacijami na podrocju višjega in visokega šolstva ter temeljna izhodišca za vzpostavitev nacionalnega sistema ugotavljanja in zagotavljanja kakovosti v vzgoji in izobraževanju (Brejc 2008). Upoštevana je zakonodaja
in specifike slovenskega šolskega sistema ter delovanja šol, profesionalna prepricanja izvajalcev in poznavanje, kaj šole, vrtci in ucitelji zmorejo in potrebujejo.
Zunanja evalvacija naj bi torej na premici med inšpekcijo in nadzorom na eni ter samoevalvacijo na drugi strani sodila v pre-krivajoce se polje ali »varovalko«. Pri tem naj bi zmanjšala slabosti zgolj notranje odgovornosti, kot tudi nevarnosti popolnega zunanjega nadzora. Ob takšni usmeritvi zunanje evalvacije se seveda postavlja vprašanje, katere dejavnosti šole ali vrtca naj zajame v presojo. Skladno z zasnovo sistema ugotavljanja in zagotavljanja kakovosti je zunanja evalvacija kviz usmerjena v:
•	proces uvajanja izboljšav in samoevalvacije,
•	rezultate uvajanja izboljšav in samoevalvacije,
•	uvajanje izboljšav in samoevalvacije v delovanje šole in vrtca.
Zunanja evalvacija ob tem, da presodi dodano vrednost oziroma izboljšave na področju ucenja in poucevanja, vrednoti torej najprej predvsem proces uvajanja izboljšav in samoevalvacije ob predpostavki, da v tem okviru zajeta usmerjenost na podrocje ucenja in poucevanja, vsešolski pristop, sodelovalno vodenje, uporaba podatkov in krepitev zmožnosti šol prispevajo k bolj kakovostnemu delu šol ter posledicno k izboljševanju dosežkov ucencev.
Izvedba zunanjih evalvacij KVIZ 2012
Prvih 11 poskusnih zunanjih evalvacij v projektu kviz je bilo izvedenih novembra in decembra 2010 (Koren idr. 2011). Dodatne zunanje evalvacije, o katerih bomo v nadaljevanju podrobneje razpravljali, so bile izvedene spomladi 2012 (Brejc in Policnik 2012).
Zunanje evalvacije je marca 2012 izvajalo 20 ravnateljev in drugih strokovnih delavcev osnovnega in srednjega šolstva, ki so uspešno zakljucili Usposabljanje za zunanjo evalvacijo v projektu ukviz (Juric Rajh in Brejc 2011), sodelovali pri izvedbi poskusnih zunanjih evalvacij 2010 in so se udeležili dodatnega dvodnevnega usposabljanja na temo komuniciranja in podajanja povratne informacije, pisanja porocil ter priprave na izvedbo zunanjih evalvacij. Timi za zunanjo evalvacijo so bili imenovani s sklepom Šole za ravnatelje. V vsak tim so bili imenovani dva ali trije clani.
V zunanjo evalvacijo je bilo vkljucenih devet zavodov, od tega en vrtec, šest osnovnih in dve srednji šoli. Sedem zavodov je bilo pred tem vkljucenih v Usposabljanje za samoevalvacijo v projektu
ukviz (Brejč in Savarin 2011), dva zavoda se omenjenega usposabljanja nista udeležila. Evalvirani zavodi, vključeni v projekt ukviz, so bili za izvedbo izbrani naključno, zavoda, ki v projekt nista bila vključena, sta bila izbrana na predlog članov projektne skupine kviz. Zavodi so se v zunanje evalvačije vključili na povabilo Šole za ravnatelje, vendar prostovoljno. Prva komunikačija z izbranimi zavodi je potekala septembra 2011, o vključitvi so bili zavodi obveščeni oktobra 2011, o natančnem poteku izvedbe zunanje evalvačije pa januarja 2012.
Februarja 2012 je bilo za zunanje evalvatorje in evalvirane zavode organizirano srečanje za pripravo na izvedbo zunanjih eval-vačij. Na srečanju so zunanji evalvatorji dobili natančnejša navodila za izvedbo zunanjih evalvačij in dokumentačijo šol (v e-obliki). Evalviranim šolam je bil na srečanju podrobneje pojasnjen okvir zasnove zunanjih evalvačij, usmeritve za pripravo na obisk zunanjih evalvatorjev in časovniča izvedbe. Timi za zunanjo evalvačijo in predstavniki evalviranih zavodov so se na srečanju med seboj spoznali, opravili prve informativne pogovore in določili datum ter način priprave in usklajevanja urnika obiska na šoli.
Skladno z zasnovo so marča 2012 potekali enodnevni obiski šol. Z ogledom šole in razgovori (intervjuji) so zunanji evalvatorji dopolnili informačije, pridobljene s pregledom dokumentačije. V štirinajstih dneh po obisku na šoli so pripravili osnutek poročil o zunanji evalvačiji in jih posredovali ravnateljem evalviranih šol, ki so v osmih dneh lahko posredovali pripombe in predloge za dopolnitev poročil. Po prejemu povratne informačije so zunanji evalvatorji v petih dneh oblikovali končna poročila in jih posredovali šolam. En izvod vsakega poročila je bil v elektronski obliki posredovan tudi Šoli za ravnatelje za pripravo vsebinske analize kakovosti pročesov uvajanja izboljšav in samoevalvačije v šolah in priporočila za nadaljnji razvoj zunanje evalvačije.
Evalvacija izvedbe zunanjih evalvacij
V nadaljevanju predstavljamo rezultate spremljanja in evalvačije izvedbe zunanjih evalvačij 2012 (Brejč in Poličnik 2012), katere namen je bil ovrednotiti razvoj zasnove zunanjih evalvačij, pripraviti vsebinsko analizo kakovosti pročesov uvajanja izboljšav in samoevalvačije v šolah ter oblikovati priporočila za izboljšanje zunanjih evalvačij pred predvideno uvedbo načionalnega sistema ugotavljanja in zagotavljanja kakovosti.
Zbiranje podatkov in omejitve
Za pridobivanje podatkov je bilo uporabljeno opazovanje, analiza dokumentacije in razgovori s sodelujočimi evalvatorji in predstavniki evalviranih šol in vrtcev.
Opazovalci, predavatelji Šole za ravnatelje, so v dveh šolah (marca 2012) opazovali delo zunanjih evalvatorjev, njihove spretnosti in odzive vseh sodelujocih. Podrocja opazovanja so bila vnaprej opredeljena. Opazovalci so pripravili strukturirane zapise o opazovanju. Analiza dokumentacije je temeljila na pregledu devetih porocil o zunanji evalvaciji. Pri tem je bila ovrednotena kakovost zapisov, predvsem pa so bila porocila osnova za pripravo kljucnih ugotovitev in priporocil, povezanih z uvajanjem izboljšav in samoevalvacijo na evalviranih šolah.
Razgovori z evalvatorji in predstavniki evalviranih zavodov so potekali na zakljucnem srecanju maja 2012, in sicer v dveh delih. V prvem delu loceno za zunanje evalvatorje in predstavnike evalviranih zavodov (ovrednotenje usposabljanja, skupnega sre-canja in pripravljenih gradiv), v drugem delu pa so bile oblikovane skupine zunanjih evalvatorjev in predstavnikov evalviranih zavodov, ki so razpravljale in predstavile mnenja in ugotovitve o trenutni zasnovi zunanje evalvacije. Moderatorji zakljucnega sre-canje so poudarke razprav zapisovali, za analizo zbranih podatkov so bili uporabljeni tudi zapisi dela v skupinah udeležencev. V razpravi je sodelovalo 20 zunanjih evalvatorjev in 17 predstavnikov iz osmih evalviranih vrtcev in šol (ravnateljev in strokovnih delavcev).
Zaradi kvalitativne narave opisanega evalvacijskega pristopa posploševanje rezultatov ni mogoce, kar tudi ni bil namen, so pa ugotovitve pomembne za nadaljnji razvoj sistema ugotavljanja in zagotavljanja kakovosti, zunanjih evalvacij in usposabljanja strokovnih delavcev na tem področju. Doloceno omejitev pri objektivnosti lahko pripišemo temu, da sta avtorja prispevka aktivno vklju-cena v oblikovanje zasnove in vodenje izvedbe zunanjih evalvacij, kar pa je hkrati lahko tudi prednost v smislu poglobljenega poznavanja izhodišc, zasnove in izvedbe zunanjih evalvacij.
Z evalvacijo smo iskali odgovore na vprašanja: Kako sodelu-joci v zunanji evalvaciji ocenjujejo izvedbo zunanjih evalvacij? Kako ocenjujejo zasnovo zunanjih evalvacij v nastajajocem sistemu ugotavljanja in zagotavljanja kakovosti? Ali je iz analize po-rocil o zunanji evalvaciji mogoce dobiti povratno informacijo o samoevalvaciji v elvalviranih šolah in vrtcih? Kakšna priporocila
za nadaljnji razvoj zunanje evalvacije je na osnovi spremljanja in evalvacije mogoce oblikovati?
Priprava na zunanje evalvacije
Podatki o pripravi evalvatorjev in evalviranih zavodov na zunanje evalvacije so bili pridobljeni v razgovorih na zaključnem srečanje. V okvir priprave smo uvrstili delavnice za zunanje evalvatorje, srečanje evalvatorjev in evalviranih zavodov ter pripravljena gradiva.
Zunanji evalvatorji so izvedbo delavnic ocenili kot zelo dobro, saj so, kot navajajo, v tem casu pregledali nabor priporocene literature, z vmesnimi aktivnostmi poglobili znanje o samoevalva-ciji, se skupaj pripravili na izvedbo zunanjih evalvacij, izmenjali svoja stališca, znanje, mnenja in izkušnje in pridobili novo znanje. Predlagajo, da se za vsako naslednjo izvedbo zunanjih evalvacij organizira vsaj eno srecanje oziroma delavnica za zunanje evalvatorje z namenom seznanitve o dopolnitvah zasnove zunanje evalvacije in krepitve znanja in spretnosti, potrebnih za izvedbo zunanjih evalvacij. Za usposabljanje zunanjih evalvatorjev v prihodnje predlagajo analizo študijskih primerov, podrobnejši pregled razlicnih modelov kakovosti, ki se izvajajo v šolah, terminsko bolj zgošceno usposabljanje, sprotno obravnavo prednosti in slabosti izvedbe zunanjih evalvacij in pripravljenih porocil (konkretno povratno informacijo evalvatorjem).
Uvodno srecanje pred izvedbo zunanjih evalvacij so predvsem evalvirane šole in vrtci ocenili kot zelo dobro. To podkrepijo z navedbami, da so na srecanju dobili vpogled v aktivnosti v projektih kviz in ukviz s poudarkom na predstavitvi zasnove sistema ugotavljanja in zagotavljanja kakovosti (samoevalvacije in zunanje evalvacije). Prejeli so vse potrebne informacije o zunanji eval-vaciji, se srecali z zunanjimi evalvatorji, izmenjali informacije in opravili prvi korak priprave na obisk šol. Za uvodno srecanje pred izvedbo naslednjih zunanjih evalvacij predlagajo možnost predstavitve primerov šol, ki so že imele zunanjo evalvacijo.
Za izvedbo zunanje evalvacije 2012 sta bila pripravljena opomnik za zunanjo evalvacijo in prirocnik za izvedbo (Brejc in Juric Rajh 2012). V opomniku za zunanjo evalvacijo so bila podrobneje opredeljena posamezna kljucna vprašanja, ki so izhajala iz usmeritve zunanje evalvacije. Po mnenju evalvatorjev, šol in vrtcev je bil opomnik kot izhodišce za pripravo na zunanjo evalvacijo zelo uporaben, ker po njihovem mnenju jasno in strukturirano opredeljuje potek uvajanja izboljšav in samoevalvacije. Evalvirani zavodi
poudarjajo, da kot tak lahko šolam služi za razmislek o procesu samoevalvacije, vodi in usmerja zunanjo evalvacijo, je osnova za pripravo poročila o zunanji evalvaciji, uporaben za pripravo na obisk šole (razgovore). Opomnik je po mnenju sodelujocih v nekaterih delih, ki se v razlicnih vsebinskih sklopih ponavljajo, smiselno skrajšati.
Tudi Priročnik za izvedbo zunanjih evalvacij so vsi udeleženci ocenili kot zelo uporabnega, saj je, kot navajajo, konkreten, jasen in kratek ter opredeljuje formalnosti, postopke, datume, protokol (vsebinski in organizacijski napotki). Po mnenju evalvatorjev in predstavnikov evalviranih zavodov prirocnik omogoca, da se na izvedbo dobro pripravijo. Posebej so izpostavili dragocen nabor literature v prirocniku. Pomembnejših dopolnitev ali sprememb prirocnika sodelujoci niso predlagali, bi naj pa po njihovem prirocnik bil v prihodnje dostopen v e-obliki. Ob tem so evalvatorji predlagali še vzpostavitev baze dokumentov, ki nastajajo v okviru zunanje evalvacije, ki bi bila predvsem evalvatorjem dostopna v informacijskem sistemu Šole za ravnatelje.
Obiski na evalviranih šolah in vrtcih
Na osnovi strukturiranih zapisov opazovanj, nekaterih ugotovitev iz analize porocil o zunanjih evalvacijah in razgovorov s sodelu-jocimi na zakljucnem srecanju je mogoce ugotoviti, da so bili obiski šol dobro nacrtovani in izvedeni. Sodelujoci so bili na obisk dobro pripravljeni, kot navajajo, je potekala konstruktivna izmenjava mnenj, izkušenj in skupno iskanje predlogov izboljšav.
Šole in vrtci so v razpravi izpostavili, da so pricakovali bolj strogo, »uniformirano« dogajanje. Sicer pa ocenjujejo, da so bili evalvatorji dobro pripravljeni, pokazali so veliko vedenja o šoli, se skušali vživeti v delo šole, pri cemer so spodbujali partnersko vzdušje in komunikacijo.
Izkušnjo z zunanjo evalvacijo kviz šole in vrtci na splošno ocenjujejo pozitivno. Kot navajajo, cenijo predvsem pogled »od zunaj«, saj je takšen pogled (lahko) drugacen in bolj objektiven. Dobili so dobra priporocila za delo v prihodnosti. Na nekaterih šolah so ucitelji, ki so sodelovali pri zunanji evalvaciji, zaceli bolj poglobljeno razmišljati o vlogi in vrednosti samoevalvacije.
Zasnova zunanje evalvacije
Na zakljucnem srecanju po izvedbi zunanjih evalvacij je bila v razpravi ovrednotena tudi trenutna zasnova zunanjih evalvacij - za-
kaj je takšna zasnova zunanjih evalvacij dobra ter kako in zakaj bi jo morali nadgraditi.
Po mnenju evalvatorjev in evalviranih šol in vrtcev je zunanja evalvacija, ki je usmerjena v ovrednotenje uvajanja izboljšav in samoevalvacije, dobra in ustrezna, saj je »v celoti usmerjena v vzgojno-izobraževalni proces, osredotocena na samoevalvacij-sko porocilo in proces samoevalvacije ter posledicno na kakovost dela v zavodu, kar je dobro, ker ostala podrocja pokrivajo druge oblike evalvacije v šoli (npr. šolska inšpekcija)«. Daje »povratno informacijo o konceptu samoevalvacije, zavod dobi o svojem delu kriticno, dobronamerno in strokovno povratno informacijo.« Takšna zasnova in izvedba zunanje evalvacije tudi »osmisli ponoven pregled dokumentacije in usmeritev na izbrano področje kakovosti« ter pomeni »spodbudo za izboljšave, spremembe, temeljitejše delo na izbranih podrocjih«. Kot še navajajo predstavniki evalviranih zavodov, je bila izvedba zunanje evalvacije »za vse udeležence izkušnja, ki je povzrocila pozitivno napetost zaposlenih (ne pa strahu), in dodatno motivacijo za sodelovanje v procesu same-valvacije«. Pri tem je bilo pomembno dejstvo to, da »zunanji eval-vatorji prihajajo iz prakse«.
Izvajanje zunanjih evalvacij bi bilo po mnenju sodelujocih »dobro predstaviti širši javnosti in tako opozoriti na dobro prakso v procesu samoevalvacije«. Po njihovem mnenju bi se »kakovost šolstva v slovenskem prostoru lahko izboljšala tudi na osnovi zunanje evalvacije, ki bi postopoma postala obvezujoca za vse šole«. Ob tem izpostavljajo še periodicnost zunanje evalvacije: »V dolo-cenem casovnem obdobju (npr. dve leti) naj bi isti zunanji eval-vatorji obiskali šolo in preverili priporocene izboljšave.« Možnost zunanje evalvacije pa bi lahko »šolam omogocila poiskati pomoc oz. nadzor, tudi kadar šola to sama želi«. Za kakovostno izvedbo zunanjih evalvacij je potrebno tudi »nenehno in dodatno izobraževanje zunanjih evalvatorjev«.
Poročila o zunanjih evalvacijah
Analiza devetih porocil o zunanjih evalvacijah je pokazala, da so se evalvatorji pri pisanju trudili, da bi porocila kar najbolj optimalno odražala stanje na podrocju samoevalvacije v evalviranih šolah in vrtcih, pri cemer v porocilih, kar je pomembno, ni zaslediti vrednostnih sodb. Ugotovitve kažejo, da bo v prihodnje v posameznih porocilih vecjo pozornost potrebno posvetiti še sklicevanju na ustrezne relevantne dokumente in na razgovore v toliko, da osve-
tlijo dokumentirano. Predvsem pa bo v vecji meri potrebno povezati ugotovitve zunanje evalvacije s priporočili za nadaljnje delo.
Na osnovi zapisov celotnih poročil lahko ugotovimo, da je praksa uvajanja izboljšav in samoevalvacije v šolah in vrtcih razlicna. Pri tem ugotavljamo, da je dolocene »minimalne standarde« samoevalvacije mogoce zaslediti v vseh zavodih, pri cemer pa so precejšnje razlike v tem, kako se procesa lotevajo (individualno, skupinsko ali vsešolsko), v kaj so izboljšave usmerjene, kdo sodeluje ali je drugace vkljucen, kako nacrtno in sistematicno uvajanje izboljšav in samoevalvacija poteka do tega, da je samoevalvacija vpeta v delovanje šole ali vrtca in ne gre le še za enega izmed projektov z omejenim rokom trajanja. Skladno z navedenim navajamo primere priporocil šolam in vrtcem za izboljšanje prakse uvajanja izboljšav in samoevalvacije:
•	proces samoevalvacije vsebinsko in operativno povezati z drugimi dejavnostmi in projekti na šoli, izbrana prednostna podrocja in cilje zapisati v ldn in druge dokumente šole ter jih povezati z vizijo šole ter dejavnosti nacrtovati dolgorocno;
•	dolociti merila ter bolj sistematicno in dosledno spremljati in ovrednotiti rezultate;
•	spremljati in beležiti nacrtovane dosežke ucencev ter jih obravnavati v šoli in predstaviti javnosti;
•	uporabiti podatke, ki so pridobljeni na ravni aktivov in posameznih strokovnih delavcev ter na njihovi osnovi zapisati ugotovitve ter konkretnejša priporocila za nadaljnje nacrto-vanje in izvedbo dejavnosti;
•	spodbuditi vecjo aktivnost strokovnih aktivov in s tem porazdeliti odgovornosti za izboljšave;
•	spodbujati izmenjavo primerov dobre prakse v šoli;
•	v proces uvajanja izboljšav in samoevalvacije aktivneje vklju-citi druge deležnike, npr. ucence, starše;
•	se dodatno usposobiti za nacrtno in sistematicno zbiranje, analizo in interpretacijo podatkov ter predvsem uporabo le-teh za samoevalvacijo.
Zaključki in priporočila za razvoj in uvedbo zunanje evalvacije
Evalvacija zunanjih evalvacij kviz, ki so potekale spomladi 2012, omogoca oblikovanje dolocenih ugotovitev, ki so pomembna osnova za pripravo na naslednje izvedbe, kažejo pa tudi obrise sistema
morebitne uvedbe zunanje evalvacije v šolski sistem. Ob snovanju se je zdelo, da bo najpomembnejši dogodek v izvedbi zunanje evalvacije obisk evalvatorjev na šoli. Priprava, izvedba in evalva-cija zunanjih evalvacij pa kažeta, da je sicer pomemben, hkrati pa le ena od dejavnosti, ki jih je potrebno pripraviti.
Kaže, da je bila odlocitev, da bodo evalvatorji ravnatelji in drugi strokovni delavci vrtcev in šol, dobra. Evalvirane šole namrec poudarjajo pomen poznavanja in razumevanja prakse šol. Hkrati se kaže tudi pomen usposabljanja zunanjih evalvatorjev, ki mora biti intenzivno in trajnostno, ter oblikovanje profesionalne skupnosti evalvatorjev, ki pomembno prispeva k uspešni izvedbi. Za izvedbo zunanjih evalvacij so potrebne jasne usmeritve in navodila.
Izvedba zunanje evalvacije je bila po oceni sodelujocih uspešna, kar je gotovo rezultat intenzivnih priprav. V izvedbah, ki bodo morda postale del nacionalnega sistema ugotavljanja in zagotavljanja kakovosti, to v sedanji organizaciji in enakem obsegu ne bo mogoce. Zato je v naslednjih korakih razvoja potrebno preveriti tudi izvedbo z manj obsežnimi pripravami, brez skupnega uvodnega srecanja šol in evalvatorjev itd. Prav tako bo v naslednjih korakih potrebno iskati druge nacine vkljucevanja šol v zunanjo evalvacijo (npr. javni razpis, nakljucni izbor iz baze šol...).
Analiza porocil o zunanjih evalvacijah kaže, da le-ta ne omo-gocajo hitre ali koncne presoje uspešnosti uvajanja izboljšav in samoevalvacije, ki se da le deloma povzeti iz priporocil. Zato bo v naslednjih izvedbah potrebno izhodišca (opomnik) še natancneje opredeliti in dodati okvir dolocene skupne, koncne ocene. Ta bi ob informaciji šoli in informaciji na ravni šolskega sistema lahko bila tudi podlaga za odlocitev, kdaj je potrebna naslednja zunanja evalvacija na posamezni šoli ali vrtcu in na katere vidike uvajanja izboljšav in samoevalvacije je v sistemu (podpore, usposabljanja itd.) potrebno biti posebej pozoren.
V trenutni fazi je zunanja evalvacija usmerjena v proces in vrednoti uvajanje izboljšav in samoevalvacijo v okviru dejavnosti šol. Iz spremljanja in analize zasnove ter izvedbe je razvidno, da ne daje dovolj poudarka preverjanju doseganja ciljev (rezultatov) z vidika dosežkov ucencev. Tako bo potrebno v naslednjih izvedbah bolj poudariti vidik ovrednotenja izboljšav na ravni ucencev. Razmislek snovalcev zasnove zunanje evalvacije gre tudi v smeri predloga, da bi bila prva zunanja evalvacija v šoli ali vrtcu primarno usmerjena v proces uvajanja izboljšav in samoevalvacije. Z naslednjimi obiski (na vsakih nekaj let), pa bi ta vidik v šolah »le« ponovno preverili, primarno pa bi se usmerjali v druga
področja kakovosti v šolah in vrtcih, npr. vodenje, ucenje in poučevanje idr.
Z vidika uporabnosti ne le za vrtce in šole, pač pa tudi za raven šolskega sistema, bo trenutno usmeritev zunanje evalvacije potrebno nadgraditi z naborom nekaj pomembnih kazalnikov, ki bodo pokazali na stanje ali kakovost predvsem na podrocju uce-nja in poucevanja oziroma dosežkov ucencev.
Literatura
Australian Government. 2010. »oecd Review on Evaluation and
Assessment Frameworks for Improving School Outcomes: Country Background Report for Australia.«
http://www.oecd.org/education/preschoolandschool/48523989.pdf
Brejc, M., ur. 2008. Študija nacionalnih in mednarodnih pristopov h kakovosti v vzgoji in izobraževanju. Kranj: Šola za ravnatelje.
Brejc, M. 2012. »Zunanje evalvacije: prirocnik za zunanje evalvatorje in evalvirane zavode.« Interno gradivo, Šola za ravnatelje, Kranj.
Brejc, M., in A. Koren. 2011. »Uvajanje samoevalvacije v šolah in vrtcih kot pristop h kakovosti na nacionalni ravni.« V Ugotavljanje in zagotavljanje kakovosti: teorija in praksa uvajanja samoevalvacije v šole in vrtce, ur. M. Brejc, A. Koren in M. Zavašnik Arcnik, 13-44. Kranj: Šola za ravnatelje.
Brejc, M., in V. Policnik. 2012. Poročilo o izvedbi zunanjih evalvacij 2012. Kranj: Šola za ravnatelje.
http://www.solazaravnatelje.si/ISBN/978-961-6637-38-1.pdf
Brejc, M., in A. Savarin. 2011. »Usposabljanje za samoevalvacijo -porocilo o izvedbi 1. cikla.« V Usposabljanje za uvedbo sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij (vrtcev in šol): porocilo o izvedbi prvega cikla usposabljanj, ur. M. Brejc, 15-42. Kranj: Šola za ravnatelje http://www.solazaravnatelje.si/ISBN/978-961-6637-34-3.pdf
Brejc, M., in A. Juric Rajh. 2012. »Zunanje evalvacije 2012: prirocnik za zunanje evalvatorje.« Interno gradivo, Šola za ravnatelje, Kranj.
Brejc, M., in N. Trunk Širca. 2007. »Sistemi vodenja kakovosti: sinergija med notranjo in zunanjo evalvacijo.« Vodenje v vzgoji in izobraževanju 5 (2): 41-50.
Education Quality and Accountability Office. 2005a. »Guide to School and Board Improvement Planning.« Ontario: Education Quality and Accountability Office.
Education Quality and Accountability Office. 2005b. »Working Together for Student Success: A School Improvement Planning Guide.« Ontario: Education Quality and Accountability Office.
Elmore, F. 2007. Educational Improvement in Victoria. Melbourne: Office for Government School Education, Department of Education.
Eurydice. 2012. Key Data on Education in Europe 2012. Briselj: Eurydice.
http://eacea.ec.europa.eu/education/eurydice/documents/key_data _series/i34EN.pdf
Foucault, M. 1977. Discipline and Punish: The Birth of Prison. New York: Pantheon.
Halpin, D., in B. Troyna. 1995. »The Politics of Education: Policy Borrowing.« Comparative Education 31 (3): 303-310.
Harris, A., C. Chapman, D. Muijs in D. Reynolds. 2012. »Lost in
Translation?« Predstavljeno na 25th International Congress for School Effectiveness and Improvement, Malmo, 4.-9. januar.
Hopkins, D., A. Harris, L. Stoll in T. Mackay. 2011. »School and System Improvement: State of the Art Review.« Predstavljeno na 24th International Congress for School Effectiveness and Improvement, Limassoll, 5.-7. januar.
Janssens, F. J. G., in G. H. W. C. H. van Amelsvoort. 2008. »School Self-Evaluation and School Inspections in Europe: An Exploratory Study.« Studies in Educational Evaluation 34: 15-23.
Juric Rajh, A., in M. Brejc. 2011. »Usposabljanje za zunanjo evalvacijo -poročilo o izvedbi 1. cikla. V Usposabljanje za uvedbo sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij (vrtcev in šol): poročilo o izvedbi prvega cikla usposabljanj, ur. M. Brejc, 34-58. Kranj: Šola za ravnatelje http://www.solazaravnatelje.si/ISBN/978-961-6637-34-3.pdf
Kern Pipan, K., ur. 2011. efqm model odličnosti. Ljubljana: Ministrstvo za visoko šolstvo, znanost in tehnologijo.
Prirocnik o kolegialnem presojanju v svetovanju v izobraževanju odraslih. 2009. Ljubljana: Andragoški center Slovenije. http://kakovost.acs.si/doc/N-465-1.pdf
Knavs, S., B. Bauman in D. Mali. 2010. Kolegialno presojanje v srednjem poklicnem in strokovnem izobraževanju: porocilo o pilotnem uvajanju metode kolegialnegapresojanja. Ljubljana: Center rs za poklicno izobraževanje.
Koren, A. 2006. Avtonomija in decentralizacija slovenskega šolskega sistema. Koper: Fakulteta za management.
Koren, A., in A. Shapiro. 2006. »A National Educational Cultural Reform Model: Professionalizing the Principalship to Reform a Nation's Educational System.« International Journal of Educational Reform 15 (3): 302-308.
Koren, A., in M. Brejc. 2011. »Vloga države, šol, uciteljev in ucencev pri ugotavljanju in zagotavljanju kakovosti.« V Kakovost v šolstvu v Sloveniji, ur. Ž. Kos Kecojevic in S. Gaber, 316-346. Ljubljana: Pedagoška fakulteta.
Koren, A., M. Brejc, A. Juric Rajh in V. Policnik. 2011. »Porocilo o
vzpostavljanju modela zunanje evalvacije v vrtcih in šolah: izvedba pilotnih zunanjih evalvacij.« V Zasnova in uvedba sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij (kyiz): porocilo o prvem ciklu projekta, ur. Koren A. in M.
Brejc, 33-48. Kranj: Šola za ravnatelje.
http://www.solazaravnatelje.si/ISBN/978-961-6637-33-6.pdf
Levin, B. 2010. How to Change 5000 Schools: A Practical and Positive Approach for Leading Change at Every Level. Cambridge, ma: Harvard Education Press.
MacBeath, J. 2006. School Inspection and Self-Evaluation: Working with the New Realtionship. London: Routledge.
Ministry of Education and Training and the University of Antwerp Edubron Research Group. 2010. »oecd Review on Evaluation and Assessment Frameworks for Improving School Outcomes: Country Background Report for the Flemish Community of Belgium.« http://www.oecd.org/education/preschoolandschool/46974684.pdf
Ministry of Education and Ramboll. 2011. »oecd Review on Evaluation and Assessment Frameworks for Improving School Outcomes: Country Background Report for Denmark.« http://www.oecd.org/edu/preschoolandschool/47747224.pdf
Nevo, D. 2001. »School Evaluation: Internal or External?« Studies in Educational Evaluation 27 (2): 95-106.
Nusche, D., D. Laveault, J. MacBeath in P. Santiago. 2011. oecd Reviews of Evaluation and Assessment in Education: New Zealand 2011. Pariz: oecd.
oecd. 2009. »oecd Review on Evaluation and Assessment Frameworks for Improving School Outcomes Design and Implementation Plan for the Review.«
http://www.oecd.org/education/preschoolandschool/44568070.pdf
Reynolds, D., P. Sammons, B. De Fraine, T. Townsend in J. Van Damme. 2011. »Educational Effectiveness Research: A State of the Art Review.« Predstavljeno na 24th International Congress for School Effectiveness and Improvement, Limassoll, 5.-7. januar.
Ryan, J. 1999. Representing Race/Ethnicity in Multiethnic Schools: A Critical Case Study. Philadelphia: Multilingual Matters.
Santiago, P., G. Donaldson, J. Herman in C. Shewbridge. 2011. oecd Reviews of Evaluation and Assessment in Education: Austraila. Pariz: oecd.
Shewbridge, C., E. Jang, P. Matthews in P. Santiago. 2011. oecd Reviews of Evaluation and Assessment in Education: Denmark. Pariz: oecd.
Scheerens, J. 2008. Vzpostavljanje sistema ugotavljanja in zagotavljanja kakovosti v vzgoji in izobraževanju. V Študija nacionalnih in mednarodnih pristopov h kakovosti v vzgoji in izobraževanju, ur. M. Brejc, 34-49. Ljubljana: Šola za ravnatelje.
Scheerens, J., C. Glas in S. M. Thomas. 2003. Educational Evaluation, Assessment and Monitoring: A Systemic Approach. Lisse: Swets & Zeitlinhger.
Stronach, I. 2010. Globalizing Education, Educating the Local: How Method Made Us Mad. London: Routledge.
Townsend, T. 2008. Ugotavljanje in zagotavljanje kakovosti v Viktoriji,
Avstralija. V Študija nacionalnih in mednarodnih pristopov h kakovosti v vzgoji in izobraževanju, ur. M. Brejc, 89-101. Ljubljana: Šola za ravnatelje.
Townsend, T. ur. 2010. International Handbook of School Effectiveness and Improvement: Review, Reflection and Reframing. London: Springer.
Vanhoof, J., in P. Van Petegem. 2007. »Matching Internal and External Evaluation in an era of Accountability and School Development: Lessons from a Flemish Perspective.« Studies in Educational Evaluation 33: 101-119.
Vanhoof, J., in P. Van Petegem. 2010. »Evaluating the Quality of
Self-Evaluations: The (Mis)match between Internal and External Meta Evaluation.« Studies in Educational Evaluation 36: 20-26.
Vanhoof, J., in P. Van Petegem. 2009. »Attitudes towards School Self-Evaluation.« Studies in Educational Evaluation 35: 21-28.
»Zakon o organizaciji in financiranju vzgoje in izobraževanja (zovfi).« http://zakonodaja.gov.si/rpsi/r05/predpis_ZAKO445.html
»Zakon o poklicnem in strokovnem izobraževanju (zpsi).« http://zakonodaja.gov.si/rpsi/r02/predpis_ZAKO982.html
»Zakon o šolski inšpekciji (zsoli).«
http://zakonodaja.gov.si/rpsi/r00/predpis_ZAKO460.html
Zavrl, S. 2007. »Model kakovost za prihodnost vzgoje in izobraževanja.« V Izkoristimo priložnosti: zbornik 13. letne konference Pomurskega društva za kakovost, 30-32. Murska Sobota: Pomursko društvo za kakovost.
■ Mag. Mateja Brejc v Šoli za ravnatelje vodi projekt Usposabljanje za uvedbo sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacija (uKviz). mateja.brejc@solazaravnatelje.si
Dr. Andrej Koren v Šoli za ravnatelje vodi projekt Zasnova in uvedba sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij (kviz). andrej.koren@solazaravnatelje.si
Mateja Brejc, Zunanja evalvacija v šolah in vrtcih
Andrej Koren	,	..
V prispevku razpravljamo o zunanji evalvaciji v okviru ugotavljanja
in zagotavljanja kakovosti v izobraževanju ter predstavljamo rezultate evalvacije izvedb zunanje evalvacije v projektu Zasnova in uvedba sistema ugotavljanja ter zagotavljanje kakovosti vzgojno-izobraževalnih organizacij (Kviz). V uvodnem delu je na podlagi teoretičnih izhodišč ter objavljenih raziskav in prakse v državah oecd in eu opredeljena zunanja evalvacija, predstavljene so dosedanje oblike zunanje evalvacije v Sloveniji in zasnova zunanjih evalvacij v projektu Kviz. Evalvacija izvedb, ki so na devetih vrtcih in šolah potekale spomladi 2012 na osnovi zbranih podatkov z opazovanjem, analizo dokumentacije ter razgovori s predstavniki osmih evalviranih zavodov in 20 zunanjimi evalvatorji kaže, da so bile zunanje evalvacije skladno z zasnovo izvedene uspešno. Clanek zakljucujemo z razpravo o ugotovitvah, ki so pomembna osnova za pripravo na naslednje izvedbe, kažejo pa tudi okvire morebitne uvedbe zunanje evalvacije v slovenski šolski sistem.
Ključne besede: kakovost v vzgoji in izobraževanju, zunanja evalvacija, evalvacija, šola, vrtec
External Evaluation in Schools and Kindergartens
In the paper we discuss external evaluation in the framework of quality assessment and assurance in education and present the results of the evaluation of external evaluations in the project 'Design and introduction of a system of quality assessment and assurance in educational organizations (Kviz).' In the introductory part we define esternal evaluation based on literature review, published research and practice in oecd and eu countries, present the forms of external evaluation currently existing in Slovenia and the design of external evaluation in project Kviz. The evaluation of the external evaluations in 9 schools and kindergarten in spring 2012 based on data gathered by observation, documentary analysis and discussions with representatives of 8 schools, kindergartens and 20 external evaluators shows that the implementation was successful. In conclusion we discuss the findings that present a solid ground for furthur implementation as well as show the show the potential frame of introducing the external evaluation in the Slovenian school system.
Keywords: quality in education, external evaluation, evaluation, school, kindergarten
vodenje 3I2012: 17-36