Projekt: Zasnova in uvedba sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij (vrtcev in šol) - KVIZ POROČILO 0 IZVEDBI ZUNANJIH EVALVACIJ Izvedba zunanjih evalvacij na poskusnih zavodih 2. cikla projekta KVIZ (marec 2013) September 2013 POROČILO O IZVEDBI ZUNANJIH EVALVACIJ Izvedba zunanjih evaLvacij na poskusnih zavodih 2. cikla projekta KVIZ (marec 2013) Sanja Gradišnik Lea Avguštin Mateja Brejc Andrej Savarin Odgovorna oseba: Andrej Koren Oblikovanje: B&S d. o. o. Kranj, 2013 © 2013 Šola za ravnatelje Priprava publikacije je financirana iz sredstev Evropskega socialnega sklada. CIP - Kataložni zapis o publikaciji Narodna in univerzitetna knjižnica, Ljubljana 37:005.336.3(497.4)(0.034.2) POROČILO o izvedbi zunanjih evalvacij. Izvedba zunanjih eval-vacij na poskusnih zavodih 2. cikla projekta KVIZ(marec 2013) [Elektronski vir] / Sanja Gradišnik ... [et al.]. - El. knjiga. - Kranj : Šola za ravnatelje, 2013. - (Projekt Zasnova in uvedba sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij (vrtcev in šol) KVIZ) Način dostopa (URL): http://www.solazaravnatelje.si/ISBN/978-961-6637-47-3.pdf Način dostopa (URL): http://www.solazaravnatelje.si/ISBN/978-961-6637-49-7/flipbook.html ISBN 978-961-6637-47-3 (pdf) ISBN 978-961-6637-49-7 (html) 1. Gradišnik, Sanja 269118976 Projekt: Zasnova in uvedba sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij (vrtcev in šol) - KVIZ POROČILO 0 IZVEDBI ZUNANJIH EVALVACIJ Izvedba zunanjih evalvacij na poskusnih zavodih 2. cikla projekta KVIZ (marec 2013) September 2013 VSEBINA M~ u o UVOD.................................................................................................................................................4 k d n o P S > ° I. IZVEDBA ZUNANJIH EVALVACIJ......................................................................................................5 M z o< .2.1 I l kj i o 1.1 Priprava zunanjih evalvatorjev in evalviranih zavodov na obisku..............................................6 S" ~ m o v v a m 1-2 Obisk zunanjih evalvatorjev na evalviranih zavodih...................................................................7 ( v < m 1.3 Poročila o zunanji evalvaciji.......................................................................................................7 3S a o II 1-4 Spremljanje in evalvacija zunanjih evalvacij..............................................................................8 e ^ __ O CD is II. OCENA UVAJANJA IZBOLJŠAV IN SAMOEVALVACIJE NA EVALVIRANIH ZAVODIH.....................9 (f) III. PRIPOROČILA ZA IZBOLJŠANJE UVAJANJA IZBOLJŠAV IN m SAMOEVALVACIJE V EVALVIRANIH ZAVODIH...............................................................................19 N ! IV. OCENA EVALVIRANIH ZAVODOV O ZASNOVI IN IZVEDBI ZUNANJE EVALVACIJE......................23 V. OCENA ZUNANJIH EVALVATORJEV O IZVEDBI ZUNANJE EVALVACIJE.....................................31 VI. OCENA OPAZOVALCEV O IZVEDBI ZUNANJE EVALVACIJE.........................................................37 VII. ZAKLJUČEK....................................................................................................................................41 VIII. VIRI..................................................................................................................................................43 PRILOGE.................................................................................................................................................45 KAZALO TABEL Tabela 1 Tabela 2 Tabela 3 Tabela 4: Tabela 5: Tabela 6: Tabela 7: Tabela 8: Tabela 9: Tabela 10: Tabela 11: Tabela 12: Tabela 13: Tabela 14: Tabela 15: Tabela 16: Tabela 17: Tabela 18: Tabela 19: Časovnica izvedbe zunanjih evalvacij................................................................................6 Število obravnavanih poročil o izvedbi zunanje evalvacije..............................................10 Ovrednotenje poročila o samoevalvaciji in/ali poročila o delu komisije za kakovost za preteklo šolsko leto......................................................12 Vpetost samoevalvacije v delovanje zavoda....................................................................12 Vodenje uvajanja izboljšav in samoevalvacije.................................................................13 Načrtnost in sistematičnost uvajanja izboljšav in samoevalvacije.................................14 Rezultati uvajanja izboljšav in samoevalvacije...............................................................15 Spremljanje in vrednotenje dosežkov učencev...............................................................15 Splošna ocena uvajanja izboljšav v zavodu.....................................................................15 Utemeljitev splošne ocene uvajanja izboljšav v zavodu..................................................16 Priprava na zunanjo evalvacijo........................................................................................25 Ocena tima za zunanjo evalvacijo....................................................................................25 Poročilo o zunanji evalvaciji............................................................................................26 Pričakovanja o zunanji evalvaciji.....................................................................................27 Usklajevanje tima za zunanjo evalvacijo.........................................................................32 Delovanje tima za zunanjo evalvacijo..............................................................................33 Zahtevnost priprave poročila o zunanji evalvaciji...........................................................34 Priprava in obravnava poročila o zunanji evalvaciji........................................................34 Dodana vrednost zunanje evalvacije...............................................................................35 N M ■0 i v (D CZ o l CL Z M O" QJ O "O N z i j C D QJ o a o K < e v < M l v < 3 QJ o o QJ e O n QJ KAZALO GRAFOV Graf 1: Število zavodov glede na statistično regijo............................................................................10 Graf 2: Pregledana dokumentacija zavoda........................................................................................11 Graf 3: Uresničitev pričakovanj..........................................................................................................27 Graf 4: Dodana vrednost zunanje evalvacije......................................................................................28 < O ■O o 0 1 O O O CD UVOD V poročilu je obravnavana izvedba zunanjih evalvacij v marcu 2013 in zajema predstavitev ocene uvajanja izboljšav in samoevalvacije v evalviranih zavodih, priporočila zavodom za izboljšave ter mnenja zavodov, zunanjih evalvatorjev in opazovalcev o izvedbi zunanje evalvacije. Izvedenih je bilo 29 zunanjih evalvacij, ki so potekale na poskusnih zavodih drugega cikla projekta Zasnova in uvedba sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij (KVIZ1). Zunanje evalvacije je izvajalo 69 zunanjih evalvatorjev, sodelovalo je 23 opazovalcev. Uvajanje izboljšav in samoevalvacije v evalviranih zavodih je po kriterijih zunanje evalvacije ustrezno oziroma odlično. Ocene predstavnikov zavodov, zunanjih evalvatorjev in opazovalcev kažejo na v povprečju dobro izvedbo zunanjih evalvacij. Zavodi in zunanji evalvatorji zasnovo zunanje evalvacije ocenjujejo kot ustrezno. Kljub vsemu se kažejo še določena področja izboljšav in nadaljnjega razvoja, kot npr.: • opredeliti vsebine, trajanje in organizacijo dodatnih usposabljanj zunanjih evalvatorjev, ki so pred tem že zaključili osnovno usposabljanje; • opredeliti ponovne obiske zunanjih evalvatorjev; • v nadaljevanju preizkusiti tudi druge načine vključitev zavodov v zunanjo evalvacijo. V poročilu je najprej predstavljena izvedba zunanjih evalvacij. Sledi prikaz splošne ocene uvajanja izboljšav in samoevalvacije na evalviranih zavodih glede na vnaprej opredeljene kriterije oziroma kazalnike. Splošna ocena je dopolnjena s predstavitvijo priporočil zavodom za izboljšave. Namen spremljanja in evalvacije je bil pridobiti tudi povratno informacijo o izvedbi in zasnovi zunanjih evalvacij, tako so v poročilu predstavljena tudi mnenja in ocene ravnateljev evalviranih zavodov, zunanjih evalvatorjev in opazovalcev, ki so prisostvovali obisku evalvatorjev v zavodih. Na osnovi navedenega so v zaključku poročila predstavljene temeljne ugotovitve in priporočila za nadaljnje izvedbe in razvijanje zasnove zunanje evalvacije v nastajajočem sistemu ugotavljanja in zagotavljanja kakovosti vzgojno--izobraževalnih organizacija (vrtcev in šol). 1 KVIZ - Zasnova in uvedba sistema ugotavljanja ter zagotavljanja kakovosti vzgojno-izobraževalnih organizacij (vrtcev in šol) N M ■0 i v (D CZ o • l CL Z M O" QJ O r N z I j C • D QJ O a O • K < e v O M =T i v QJ o Z QJ e o n QJ • Zunanje evalvacije so bile izvedene v poskusnih zavodih drugega cikla projekta KVIZ, tj. 29 zavodov. Med temi je bilo 6 vrtcev, 17 osnovnih in 6 srednjih šol (glej prilogo A). Poskusni zavodi so bili pred tem vključeni v sedemdnevno Usposabljanje za samoevalvacijo (glej Gradišnik in Brejc 2013). O vključitvi v zunanje evalvacije so bili zavodi obveščeni na začetku usposabljanja, decembra 2010, o natančnem poteku pa na zaključku usposabljanja, septembra 2012. V zunanjih evalvacijah so izbrani zavodi sicer sodelovali prostovoljno. Cilji zunanjih evalvacij so bili: na zavodih ovrednotiti proces uvajanja izboljšav in samoevalvacije, rezultate uvajanja izboljšav in samoevalvacije ter vpetost samoevalvacije v dejavnost zavoda; preizkusiti zasnovo zunanjih evalvacij v praksi; predlagati nadaljnje korake razvoja zunanje evalvacije v sistemu ugotavljanja in zagotavljanja kakovosti. proces uvajanja izboljšav in samoevalvacije, rezultati uvajanja izboljšav in samoevalvacije, vpetost uvajanja izboljšav in samoevalvacije v delovanje zavoda. 1.1 Priprava zunanjih evalvatorjev in evalviranih zavodov na obisku Zunanji evalvatorji in člani timov za samoevalvacijo evalviranih zavodov so se srečali januarja 2013. Namen srečanja je bil, da se sodelujoči med seboj spoznajo, izmenjajo ključne informacije za pripravo na obisk in dogovorijo datum izvedbe zunanje evalvacije na posameznem zavodu. Približno polovica šol je obiske načrtovala februarja 2013, druga polovica pa marca 2013 (glej tabelo 1). Tabela 1: Časovnica izvedbe zunanjih evalvacij Aktivnost Izvedba zavodi pripravijo in posredujejo dokumentacijo (po e-pošti) do 15. januarja 2013 uvodno srečanje - skupna priprava na izvedbo: • predstavitev zasnove in izvedbe (protokola) zunanjih evalvacij • srečanje s timom za zunanjo evalvacijo, dogovor o izvedbi priprava timov zunanjih evalvatorjev na obisk zavodov 28. januar 2013 (skupini 1 in 2) 29. januar 2013 (skupini 3 in 4) februar 2013 enodnevni obiski zavodov 13. februar do 6. marec 2013 priprava osnutka poročila o zunanji evalvaciji 14 dni po obisku zavoda komentar zavoda na osnutek poročila 8 dni po prejemu osnutka končno poročilo 5 dni po prejemu komentarja zaključno srečanje šol in zunanjih evalvatorjev po ZE (evalvacija izvedbe, predlogi ...) 15. maj 2013 Evalvirani zavodi so pred skupnim srečanjem posredovali naslednjo dokumentacijo: • izpolnjen pregledni vprašalnik za izvedbo zunanjih evalvacij, • letni delovni načrt 2011/12, 2012/13, • poročilo o realizaciji letnega delovnega načrta 2010/11, 2011/12, • načrt izboljšav in spremljave samoevalvacije za šolski leti 2010/11, 2011/12, • letno poročilo o samoevalvaciji 2010/11, 2011/12, • poročilo o delu komisije za kakovost 2010/11, 2011/12, • dodatne dokumente po presoji zavoda, ki so povezani z ovrednotenjem pristopov h kakovosti. Zunanji evalvatorji so zgoraj našteto dokumentacijo prejeli v elektronski obliki na dan skupnega srečanja z namenom priprave na enodnevni obisk. Zunanji evalvatorji so imeli za pripravo na obisk zavodov do štiri tedne časa. V tem času so pregledali dokumentacijo zavoda in pripravili oporne točke za vodenje razgovorov, sestavili urnik obiska in ga uskladili s predstavnikom zavoda ter se dogovorili glede prihoda na zavod. 1.2 Obisk zunanjih evalvatorjev na evalviranih zavodih Zunanje evalvacije je izvajalo devetinšestdeset (69) ravnateljev in drugih strokovnih delavcev osnovnega in srednjega šolstva (glej prilogo B), ki so bili vključeni v drugi cikel Usposabljanja za zunanjo evalvacijo (2011-2013) v projektu Usposabljanje za uvedbo sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij - uKVIZ (glej Brejc, Savarin in Koren 2013). Šola za ravnatelje je s sklepom imenovala vodje in člane timov za zunanjo evalvacijo za vsak evalviran zavod posebej. V vsak tim so bili imenovani dva ali trije člani. Pri sestavi timov za zunanjo evalvacijo so bili upoštevani naslednji kriteriji: • skladnost ravni izobraževanja, kjer so zaposleni zunanji evalvatorji in raven evalviranega zavoda, • zastopanost ravnateljev in strokovnih delavcev v timu, • vsaj en član tima je bil vključen v Usposabljanje za samoevalvacijo v projektu KVIZ ali uKVIZ. Obisk šol je trajal en dan oz. povprečno osem (8) ur. Ob prihodu so si zunanji evalvatorji ogledali zavod, nato pa izvedli razgovore (intervjuje) z izbranimi strokovnimi delavci šole: • ravnateljem, • timom za samoevalvacijo in/ali komisijo za kakovost in • drugimi strokovnimi delavci (izbiro strokovnih delavcev so določili zunanji evalvatorji in jo pred obiskom uskladili z ravnateljem). Na osnovi pregleda dokumentacije in razgovorov s predstavniki zavoda so zunanji evalvatorji pregledali in ovrednotili: • POROČILO O SAMOEVALVACIJI in/ali POROČILO O DELU KOMISIJE ZA KAKOVOST za šolsko leto 2010/11 in 2011/12; • Kako so NAČRTI IZBOLJŠAV in POROČILA O SAMOEVALVACIJI in/ali POROČILA O DELU KOMISIJE ZA KAKOVOST vsebinsko in operativno povezani s PROGRAMOM RAZVOJA oziroma RAZVOJNIM NAČRTOM, LETNIMI DELOVNIMI NAČRTI, POROČILI O REALIZACIJI LDN itd. in kako je iz dokumentacije razvidna povezanost različnih dejavnosti v zavodu, vpetost samoevalvacije v delovanje zavoda; • Kako poteka vodenje samoevalvacije v zavodu; • Kako načrtovana in sistematična je samoevalvacija; • Kako kakovosten je proces samoevalvacije; • Kako se kažejo rezultati uvajanja izboljšav. m ^ ^S e < v M l --v -> o CU j o ■O O 0 1 o o o CD 1.3 Poročila o zunanji evalvaciji Zunanji evalvatorji so v štirinajstih dneh po obisku na zavodu pripravili osnutek poročil o zunanji evalvaciji in jih posredovali ravnateljem evalviranih zavodov, ki so v osmih dneh lahko posredovali pripombe in predloge za dopolnitev poročil. Po prejemu povratne informacije z zavodov so zunanji evalvatorji v petih dneh oblikovali končna poročila ter jih natisnjene in podpisane poslali zavodom. En izvod vsakega poročila je bil v elektronski .z M "O M • vpetost uvajanja izboljšav in samoevalvacije v delovanje šole • vodenje uvajanja izboljšav in samoevalvacije • načrtnost in sistematičnost uvajanja izboljšav in samoevalvacije • rezultati uvajanja izboljšav in samoevalvacije 5. PRILOGE N o Poročila o zunanji evalvaciji so na evalviranih zavodih obravnavali timi za samoevalvacijo in jih predstavili strokovnim delavcem. Evalvirani zavodi so po lastni presoji predstavili poročila še drugim deležnikom zavoda ali jih objavili na spletnih straneh zavodov. Evalviranim zavodom je bilo priporočeno, da ugotovitve zunanje evalvacije upoštevajo pri nadaljnjem uvajanju izboljšav in vodenju procesa samoevalvacije. 1.4 Spremljanje in evalvacija zunanjih evalvacij Izvedba zunanjih evalvacij je bila spremljana in evalvirana z namenom: • ovrednotenja razvoja zasnove zunanjih evalvacij, • priprave vsebinske analize kakovosti procesov uvajanja izboljšav in samoevalvacije v zavodih in • priprave priporočil za izboljšanje zunanjih evalvacij pred uvedbo nacionalnega sistema ugotavljanja in zagotavljanja kakovosti. Podatki o zunanjih evalvacijah so bili pridobljeni z: • analizo poročil o zunanjih evalvacijah, • analizo elektronskih zapisnikov zunanjih evalvatorjev, • analizo poročil opazovalcev o izvedbah zunanje evalvacije, • evalvacijskim vprašalnikom za zunanje evalvatorje in • evalvacijskim vprašalnikom za ravnatelje evalviranih zavodov. V nadaljevanju predstavljamo oceno uvajanja izboljšav in samoevalvacije na izbranih zavodih, priporočila zavodom za njihovo izboljšanje ter oceno s strani različnih deležnikov (ravnateljev, zunanjih evalvatorjev in opazovalcev zunanjih evalvacij) o zasnovi in izvedbi zunanje evalvacije. obliki posredovan Šoli za ravnatelje za pripravo vsebinske analize kakovosti procesov uvajanja izboljšav in samoevalvacije v zavodih in priporočila za nadaljnji razvoj zunanje evalvacije. Poročila o zunanji evalvaciji obsegajo od 8 do 10 strani. Struktura poročila je sledeča: 1. KONTEKST ZAVODA 2. IZVEDBA ZUNANJE EVALVACIJE 3. UGOTOVITVE ZUNANJE EVALVACIJE • vpetost uvajanja izboljšav in samoevalvacije v delovanje šole e n0 • vodenje uvajanja izboljšav in samoevalvacije o< • načrtnost in sistematičnost uvajanja izboljšav in samoevalvacije • rezultati uvajanja izboljšav in samoevalvacije (D QJ t j 4. PRIPOROČILA ZUNANJE EVALVACIJE II. OCENA UVAJANJA IZBOLJŠAV IN SAMOEVALVACIJE NA EVALVIRANIH ZAVODIH Zunanji evalvatorji so po izvedeni zunanji evalvaciji izpolnili e-Poročilo o izvedbi zunanje evalvacije, ki je razdeljeno na 9 sklopov: 1. splošni podatki o evalviranem zavodu, 2. podatki o zunanji evalvaciji, 3. ovrednotenje poročila o samoevalvaciji in/ali poročila o delu komisije za kakovost za preteklo šolsko leto, N Z P 4. i v (D cz o l Q_ z 5. M O" QJ o "O N z I 6. j C (D t QJ j O 7. a O K < e v < 8. M l v < 9. 3 QJ o O QJ Zu e O n QJ lestvice (da, delno, ne), pri čemer so morali končno splošno oceno uvajanja izboljšav v zavodu tudi utemeljiti (sklop 9). Splošni podatki o zavodu V analizo je bilo vključenih 29 zavodov, od tega 6 vrtcev, 17 osnovnih in 6 srednjih šol (tabela 2) Tabela 2: Število obravnavanih poročil o izvedbi zunanje evalvacije Zavod Število odstotek vrtec 6 21 osnovna šola 17 58 srednja šola 6 21 Skupaj 29 100,0 V grafu 1 je prikazana zastopanost zavodov glede na statistično regijo. Največ zavodov (7) je iz osre-dnjeslovenske regije, najmanj (1) pa iz savinjske in spodnjeposavske regije. Graf 1: Število zavodov glede na statistično regijo Pomurska Podravska Savinjska Zasavska Spodnjeposavska Jugovzhodna Slovenija Osrednjeslovenska Gorenjska Goriška Obalno-kraška 3 1 2 1 7 4 Podatki o zunanji evalvaciji Zunanji evalvatorji so pregledali dokumentacijo zavoda, ki jo je zavod predhodno posredoval timu za zunanjo evalvacijo. V nadaljevanju prikazujemo, koliko (%) zavodov je oddalo posamezen dokument. Graf 2: Pregledana dokumentacija zavoda Poročilo o delu komisije za kakovost 2011/12 Poročilo o delu komisije za kakovost 2010/11 Samoevalvacijsko poročilo 2011/12 Samoevalvacijsko poročilo 2010/11 Poročilo o realizaciji letnega delovnega načrta 2011/12 Poročilo o realizaciji letnega delovnega načrta 2010/11 Letni delovni načrt 2012/13 Letni delovni načrt 2012/13 Izpolnjen pregledni vprašalnik za izvedbo zunanjih evalvacij s z m iS <= id z s S" a p z ■O o O . _ o< c j — ea t tj O s S v la a ( a- v 3 8 a rs o O O v o CD 0.0 10.0 20.0 30.0 40.0 50.0 60.0 70.0 80.0 90.0 100.0 Iz grafa 2 je razvidno, da so vsi zavodi (100 %) oddali samo dva dokumenta, letni delovni načrt 2012/13 in poročilo o realizaciji letnega delovnega načrta 2011/12, skoraj v celoti (95%) so oddali izpolnjen pregledni vprašalnik za izvedbo zunanjih evalvacij. Precej manj zavodov (60%) je oddalo samoevalvacijsko poročilo za predhodno leto 2010/11, v večjem deležu (90%) pa so oddali samoevalvacijsko poročilo za leto 2011/12. Pri naslednjih izvedbah bo tako s strani Šole za ravnatelje potrebno poskrbeti, da bodo vsi zavodi oddali vso obvezno dokumentacijo. Zavod je lahko po lastni presoji poleg zahtevane obvezne dokumentacije predložil dodatne dokumente, ki so povezani z uvajanjem izboljšav in samoevalvacijo. Večina zavodov je poleg zahtevane dokumentacije predložila še: • akcijski načrt (na ravni šole, na ravni aktiva oz. skupine, na ravni učitelja), • načrt izboljšav, • razvojni načrt zavoda, • poročilo oddelka/aktiva, • poročilo o uresničevanju vzgojnega načrta, • letni delovni načrt aktiva. Zunanji evalvatorji so za pripravo poročila o zunanji evalvaciji potrebovali med 8 in 28 dni, v povprečju so potrebovali 19 dni. Pri tem je potrebno poudariti, da gre za časovni okvir in ne delovno obremenitev. Pri naslednjih izvedbah bo potrebno z organizacijskega vidika skrbeti, da izvedba zunanje eval-vacije poteka skladno s predvidenim časovnim okvirom (največ 27 dni od obiska šole do končnega poročila o zunanji evalvaciji). < A ■O o 0 1 O O Ovrednotenje poročila o samoevalvaciji in/ali poročila o delu komisije za kakovost za preteklo šolsko leto Izkazalo se je, da v večini zavodov (28) letno poročilo o samoevalvaciji praviloma najprej obravnava učiteljski zbor, nato pa še svet zavoda. Iz tabele 3 je razvidno, da ima večina zavodov (22) napisano letno poročilo o samoevalvaciji in/ali poročilo o delu komisije za kakovost za vsaj dve pretekli šolski leti. Zavodi imajo največ težav z opredeljevanjem meril za spremljanje in doseganje izbranih prednostnih ciljev, zato tudi ugotovitve in priporočila za nadaljnje delo niso dovolj jasno in konkretno opredeljene. Velik delež zavodov (14) je vključenost različnih deležnikov v dejavnosti za doseganje ciljev v letnem poročilu o samoevalvaciji le delno opredelil. Tabela 3: Ovrednotenje poročila o samoevalvaciji in/ali poročila o delu komisije za kakovost za preteklo šolsko leto m QJ < QJ i Trditev da delno ne e o QJ Zavod ima samoevalvacijska poročila in/ali poročila o delu komisije za kakovost za vsaj dve pretekli šolski leti. 22 6 1 Predstavljeni in utemeljeni so cilji izboljšav. 23 6 0 Opredeljena so merila za spremljanje in ovrednotenje doseganja ciljev. 17 12 0 Predstavljena je vključenost različnih deležnikov v dejavnosti za doseganje ciljev. 15 14 0 Predstavljeni so doseženi cilji. 17 10 2 Ugotovitve temeljijo na analizi zbranih podatkov in so povezane z izbranimi cilji izboljšav. 15 11 3 Priporočila so jasna in konkretna. 13 13 3 Poročilo obravnava učiteljski zbor, obravnava in sprejme ga svet zavoda. 28 1 0 Vpetost samoevalvacije v delovanje zavoda Iz e-Poročil zunanjih evalvatorjev je mogoče ugotoviti, da večina (23) zavodov dokumente, kot so letni delovni načrt in poročilo o realizaciji letnega delovnega načrta, vsebinsko povezujejo z načrtom izboljšav in letnim poročilom o samoevalvaciji (glej tabelo 4). Štirje zavodi poročila o samoevalvaciji vsebinsko in operativno niso povezali s programom razvoja oz. razvojnim načrtom šole, šest pa le delno. Tabela 4 Vpetost samoevalvacije v delovanje zavoda Načrti izboljšav in poročila o samoevalvaciji in/ali poročila o delu komisije za kakovost so vsebinsko in operativno povezani: Da Delno ne s programom razvoja ali razvojnim načrtom šole 19 6 4 z letnimi delovnimi načrti 23 5 1 s poročili o realizaciji LDN 23 5 1 Zavod ustrezno povezuje različne dejavnosti, samoevalvacija je vpeta v delovanje zavoda. 23 5 1 Vodenje uvajanja izboljšav in samoevalvacije Iz tabele 5 je razvidno, da imajo vsi zavodi (29) oblikovan tim za samoevalvacijo in/ali komisijo za kakovost, ki v celoti vodi uvajanje izboljšav in samoevalvacijo. Praviloma ravnatelj spodbuja in podpira samoevalvacijo ter v njej aktivno sodeluje (28), prav tako je odnos vodstva in strokovnih delavcev do samoevalvacije pozitiven (27). Na zavodih je moč zaznati vsešolski pristop uvajanja izboljšav in samoevalvacije. Namreč pomembno vlogo pri uvajanju izboljšav in samoevalvaciji so prevzeli aktivi ali druge obstoječe skupine v celoti (27) ali delno (2), prav tako so v načrtovanje izboljšav in sprejemanje odločitev v celoti (25) ali deloma (4) vključeni strokovni delavci. Iz rezultatov je razvidno, da je uvajanje izboljšav usmerjeno v procese učenja in poučevanja oziroma v dosežke učencev v celoti (26). Zmožnosti strokovnih delavcev za učinkovito uvajanje izboljšav in samoevalvacije v zavodih v celoti (25) ali delno (4) krepijo na sistematičen način. V celoti (19) ali delno ? (9) zavodov opravlja sprotno evalvacijo, s pomočjo katere sistematično spremljajo in vrednotijo svoje delo. Vključenost drugih deležnikov, kot so starši, učenci ipd., je nekoliko slabša, v celoti jih je namreč vključenih le 10, delno jih je vključenih 18, v enem zavodu pa niso vključeni. Tabela 5: Vodenje uvajanja izboljšav in samoevalvacije m ^ ^S e < v M l --v -> o CU j o ■O O 0 1 o o o CD Trditev Da Delno Ne Odnos vodstva in strokovnih delavcev do samoevalvacije je pozitiven. 27 2 0 Tim za samoevalvacijo in/ali komisija za kakovost vodi uvajanje izboljšav in samoevalvacijo. 29 0 0 Ravnatelj spodbuja, podpira samoevalvacijo, v njej aktivno sodeluje. 28 1 0 Pomembno vlogo pri uvajanju izboljšav in samoevalvaciji so prevzeli aktivi ali druge obstoječe skupine. 27 2 0 Strokovni delavci so vključeni v načrtovanje izboljšav in sprejemanje odločitev. 25 4 0 V uvajanje izboljšav in samoevalvacijo so vključeni tudi drugi deležniki (npr. učenci, starši itd.). 10 18 1 Uvajanje izboljšav in samoevalvacija sta usmerjeni v procese učenja in poučevanja oziroma dosežke učencev. 26 3 0 Vzpostavljena je komunikacija o izvajanju načrtovanih dejavnosti in doseganju ciljev izboljšav. 27 2 0 Vodstvo šole in strokovni delavci sprotno in sistematično spremljajo, reflektirajo in vrednotijo svoje delo. 19 9 1 V zavodu poteka izmenjava primerov dobre prakse, povezane z izbranimi cilji izboljšav. 19 9 1 Načrtnost in sistematičnost uvajanja izboljšav in samoevalvacije Kako načrtno in sistematično zavodi uvajajo izboljšave in samoevalvacijo, smo preverili s pomočjo spodnjih trditev (tabela 6). Splošna slika odseva prisotnost sistematike in načrtnosti. Tako lahko sklepamo iz rezultatov, da ima večina zavodov zapisane dolgoročne cilje (27), opredeljene prednostne naloge in cilje izboljšav za preteklo šolsko leto (27) ter opredeljene dejavnosti za doseganje ciljev izboljšav (29), pri čemer pri oblikovanju ciljev izboljšav in določanju dejavnosti sodelujejo strokovni delavci v celoti (24) in delno (5). Sistematičnost pa se izgubi pri postavljanju meril, namreč zavodi imajo največ težav z opredelitvijo meril (kazalnikov) za spremljanje in ovrednotenje doseganja ciljev, ker merila niso povsem ustre- N M ■0 i < (D CZ o l CL Z M O" QJ O "O z z I j C k QJ O a O K < e v < M l v < =T QJ o O QJ e o n QJ zna oziroma skladna z izbranimi prednostnimi cilji. Zbiranje podatkov poteka v celoti (19) in delno (10) na načrtovan in sistematičen način, zbrani podatki pa so v celoti (7) in delno (19) analizirani ter sistematično in pregledno prikazani. Iz rezultatov je med drugim razvidno, da zavodi iz že zbranih in analiziranih podatkov težje razberejo ključne ugotovitve ter posledično težje začrtajo priporočila in smernice za nadaljnje delo. Tabela 6: Načrtnost in sistematičnost uvajanja izboljšav in samoevalvacije Trditev Da Delno Ne Zavod ima zapisane dolgoročne cilje. 27 2 0 Zavod ima izdelan (več)letni pisni načrt izboljšav. 23 6 0 Načrtovanje in odločanje temelji na analizi podatkov o stanju v zavodu. 20 7 2 Opredeljene so prednostne naloge in cilji izboljšav za preteklo šolsko leto. 27 2 0 Opredeljene so dejavnosti za doseganje ciljev izboljšav. 29 0 0 Cilji izboljšav so povezani z drugimi pobudami in projekti oziroma delovanjem zavoda. 17 11 1 Pri oblikovanju ciljev izboljšav in določanju dejavnosti sodelujejo vsi strokovni delavci. 24 5 0 Z izbranimi cilji izboljšav so seznanjeni vsi pomembni deležniki (npr. učenci, svet šole, starši idr.). 24 5 0 Opredeljena so merila (kazalniki) za spremljanje in ovrednotenje doseganja ciljev. 15 14 0 Merila (kazalniki) so skladna z izbranimi cilji in ustrezna. 11 17 1 Zbiranje podatkov poteka na načrtovan in sistematičen način. 19 10 0 Zbiranje podatkov poteka na različnih ravneh (zavod, aktiv/skupina, strokovni delavec). 25 4 0 Zbrani podatki so analizirani ter sistematično in pregledno prikazani. 7 19 3 Zavod izvajanje načrtovanih dejavnosti in doseganje ciljev tekom šolskega leta sproti spremlja. 21 8 0 Ugotovitve o doseganju ciljev in priporočila za nadaljnje delo izhajajo iz podatkov. 20 8 1 Letna samoevalvacijska poročila obravnava in sprejme svet zavoda. 28 1 0 Priporočila so upoštevana pri načrtovanju za naslednje šolsko leto. 22 6 1 Rezultati uvajanja izboljšav in samoevalvacije Večina zavodov je v preteklem šolskem letu le deloma dosegla zastavljene cilje izboljšav (21) in posledično le delno izboljšala dosežke učencev (15), kljub vsemu pa rezultati uvajanja izboljšav kažejo na jasne spremembe na dveh ravneh (na ravni zavoda in na ravni strokovnih delavcev), ki so pomembno vplivale na izboljšano sodelovanje, izmenjavo izkušenj in zadovoljstvo med strokovnimi delavci (25). Manj kot polovica zavodov (14) je ocenila, da je zavod v okviru zastavljenih ciljev izboljšal dosežke učencev, malo več kot polovica zavodov (15) pa je ocenila, da so to dosegli delno. Tabela 7: Rezultati uvajanja izboljšav in samoevalvacije Trditev da delno Ne Zavod je v preteklem šolskem letu dosegel zastavljene cilje izboljšav. 8 21 0 Zaznane so spremembe na ravni zavoda in strokovnih delavcev (npr. izboljšano sodelovanje, izmenjava izkušenj, zadovoljstvo, inovativnost itd.). 25 4 0 Zavod je v okviru zastavljenih ciljev izboljšal dosežke učencev. 14 15 0 Spremljanje in vrednotenje dosežkov učencev Več kot polovica zavodov (18) za spremljanje in vrednotenje dosežkov učencev ter uvajanje izboljšav uporablja tudi rezultate nacionalnih in mednarodnih preverjanj znanj. Prav tako jih več kot polovica (18) lahko rezultate nacionalnih in mednarodnih preverjanj znanja povezuje z izbranimi prednostnimi cilji. Tabela 8: Spremljanje in vrednotenje dosežkov učencev m ^ ^S e < v M l --v -> o CU j o ■O O 0 1 o o o CD Trditev da delno Ne ^^^H V šoli za spremljanje in vrednotenje dosežkov učencev ter uvajanje izboljšav uporabljajo tudi rezultate nacionalnih (NPZ, matura) in mednarodnih (PISA, TIMSS) preverjanj znanja. 18 4 7 Šola rezultate nacionalnih in mednarodnih preverjanj znanja lahko poveže tudi z izbranimi prednostnimi cilji. 18 3 8 Splošna ocena uvajanja izboljšav in samoevalvacije Zunanji evalvatorji so s pomočjo 3-stopenjske opisne lestvice (odlično, ustrezno, neustrezno) podali končno splošno oceno uvajanja izboljšav in samoevalvacije v zavodu (glej tabelo 9). Malo več kot polovica zavodov je prejela oceno odlično (15), ostali zavodi so prejeli oceno ustrezno (14). Noben zavod ni bil ocenjen neustrezno. Tabela 9: Splošna ocena uvajanja izboljšav v zavodu Ocena Št. zavodov ODLIčNO [Šola izpolnjuje večino kriterijev (vsaj 80 % »Da«), dodatni ukrepi na ravni šole za izboljšanje kakovosti uvajanja izboljšav in samoevalvacije niso nujno potrebni, 15 priporočene so manjše izboljšave.] uSTREZNO [Šola izpolnjuje več kot polovico kriterijev (50-80 % »Da«), za izboljšanje kakovosti uvajanja izboljšav in samoevalvacije je potrebnih nekaj ukrepov na ravni šole v 14 naslednjem šolskem letu.] neustrezno [Šola izpolnjuje manj kot polovico kriterijev (manj kot 50 % »Da«), za izboljšanje kakovosti uvajanja izboljšav in samoevalvacije so potrebni celovitejši ukrepi na ravni šole v naslednjem šolskem letu.] V nadaljevanju prikazujemo utemeljitve splošnih ocen (glej tabelo 10), ki so jih zunanji evalvatorji pripravili na osnovi pregleda dokumentacije, opravljenih razgovorov v zavodu in skladno s kriteriji v preglednem vprašalniku za zunanjo evalvacijo. Tabela 10: Utemeljitev splošne ocene uvajanja izboljšav v zavodu ocena utemeljitev ocene < O ■O o 0 1 O O O CD odlično 1 Ocenjujemo, da šola odlično uvaja izboljšave in izvaja samoevalvacijo. Za izboljšanje so priporočene manjše izboljšave na ravni šole v naslednjem šolskem letu. Načrtovanje in odločanje v zvezi s prednostnim področjem naj še bolj oprejo na analizo podatkov o stanju v zavodu. Da bodo to lahko storili, naj še natančneje in konkretneje opredelijo merila (kazalnike) za spremljanje in ovrednotenje doseganja ciljev. Tudi sami prepoznavajo postavljanje meril in kazalnikov kot najtežji del, sploh glede na izbrano prednostno področje, saj zasledujejo težko merljiv in procesni cilj. O tem, kako bodo na načrtovan in sistematičen način čim lažje zbirali in analizirali podatke, veliko razmišljajo in iščejo načine in poti. Priporočamo, da nadaljujejo s primeri dobre prakse, s svojimi aktivnostmi, ki jih skupaj prepoznavajo kot ustrezne na poti doseganja cilja, naj pa jih še nadgradijo in izpopolnijo v skladu z danimi priporočili. 1 Šola odlično uvaja in izvaja proces samoevalvacije. Za izboljšanje v prihodnjem šolskem letu so priporočene manjše izboljšave. Na šoli se proces samoevalviranja izvaja skladno s predpisi in je vpet v osnovno delovanje šole; vključena je večina strokovnih delavcev; ravnateljica in tim za samoevalvacijo aktivno sodelujeta in koordinirata pobude, načrtno in sistematično izvajajo in vrednotijo izboljšave; na ravni zavoda in strokovnih delavcev je zaznati pozitivne spremembe v komunikaciji in distribuciji vodenja; zastavljeni cilji so kvantitativno in kvalitativno ovrednoteni in v veliki večini doseženi; rezultati zunanjih preverjanj znanja konstantno presegajo slovensko povprečje; vodena je vsa potrebna dokumentacija o načrtovanju, uvajanju, izvajanju in vrednotenju izboljšav. 1 Na ravni šole se opazi, da se je večina strokovnih delavcev vključila in sprejela proces samoevalvacije kot sestavni del učiteljevega dela. Zastavljeni so bili cilji, ki so neposredno povezani s pedagoškim delom in s poslanstvom izobraževalnega zavoda, ter naloge in dejavnosti v skladu s cilji in z usmeritvami. Opaziti je, da je v samoevalvacijo ter dejavnosti za doseganje zastavljenih ciljev vključena večina zaposlenih, ki aktivno sodelujejo v procesu dela. Občuti se velik premik dela iz načelne ravni učitelja na raven učenca. Večina dejavnosti je bila prilagojena individualni ravni in starosti otrok. Zelo dobro in natančno so bile razdelane ter nazorno prikazane pohvale in vzgojni ukrepi. Večina učiteljev se je pritoževala nad obsežnim administrativnim delom pri beleženju opažanj. Predlagamo večjo vključitev deležnikov (staršev in učencev) pri sami izbiri ciljev in tudi spremljanju dejavnosti za dosego ciljev. Kazalniki bi lahko bili bolj konkretni. Predlagamo razmislek o učinkih samoevalvacije, ugotovitev diskrepance med želenimi in doseženimi cilji ter krepitev dejavnosti za doseganje želenih in potrebnih rezultatov. 1 Na šoli je opaziti zelo usklajeno delovanje med ravnateljem, timom za SE in strokovnimi delavci. Vsi vključeni vidijo SE kot nekaj pozitivnega, kar lahko doprinese k še kvalitetnejšemu pedagoškemu delu. SE je iz projekta prerasla v proces, ki jim daje mehanizme individualne refleksije in s tem tudi pozitivno vpliva na konkretno pripravo in izvedbo pedagoškega dela. V proces SE jim je uspelo vključiti vse deležnike. Kljub ugotovitvi, da so si sprva zastavili preveč ciljev in tudi te preširoko, kar pa uspešno popravljajo in odpravljajo, nimajo težav pri konkretizaciji ciljev in aktivnosti. Za izboljšanje že sedaj kvalitetnega dela in kot dodaten izziv za naslednja šolska leta, so priporočene manjše izboljšave. Ugotavljamo, da kljub manjšim pomanjkljivostim šola odlično izvaja procese SE in skrbi za uvajanje izboljšav. ZE je podala ugotovitve in izpostavila tista področja izboljšav, kjer tudi sami ugotavljajo, da jih morajo še nadgraditi in izpopolniti. To, da se sami zavedajo svojih šibkih področij in že razmišljajo, kako jih bodo izpopolnili in nadgradili, je zelo pozitivno, saj so s tem korak bližje k še večji kakovosti šole in lastnega dela. Vsekakor so z zastavljenim konceptom SE in uvajanja kakovosti na pravi poti do uresničitve zastavljenih ciljev. Slednje jim bo z lastnim delom in ob upoštevanju priporočil zagotovo uspelo realizirati. 1 Samoevalvacijsko poročilo je kvalitetno in temeljito pripravljeno. Cilji izboljšav so bili konkretno predstavljeni in utemeljeni, skladni z vsemi krovnimi dokumenti vrtca. Odnos vodstva in strokovnih delavcev do samoevalvacije je pozitiven, usmerjen v dvig kakovosti delovanja vrtca. Med obiskom vrtca sva opazili pozitivno komunikacijo med vsemi strokovnimi delavci, ki sistematično spremljajo, reflektirajo, vrednotijo svoje delo in med seboj sodelujejo. Iz zapisa poročila in razgovora je razvidno, da ima zavod izdelane kratkoročne in dolgoročne cilje, tudi za obdobje treh let, kar se nama zdi pohvalno. V dejavnosti izboljšav so vključeni vsi deležniki (strokovni delavci, otroci, starši, stari starši, lokalna skupnost in druge institucije). Z zadovoljstvom ugotavljava, da vrtec svoja področja izboljšave načrtno in sistematično nadgrajuje, kar pripomore k temu, da otroci poglobljeno spoznavajo in usvajajo znanja in vedenja o izbrani tematiki. ■ Vrtec izkazuje visoko stopnjo motiviranosti za uvajanje izboljšav in samoevalvacije. Vrtec ima postavljene postopke za doseganje izbranega cilja, določene dejavnosti, merila so skladna z izbranim ciljem; strokovni delavci so aktivno vključeni v cel proces, poročajo o zadovoljstvu nad dosežki otrok. Vrtec vodi različne dokumente, s katerimi izkazuje izbran cilj, dejavnosti za doseganje cilja, merila, določen način zbiranja in analiziranja podatkov, podatki so interpretirani, iz tega izhaja usmeritev za naslednje leto. Samoevalvacija je povezana z drugimi dejavnostmi v zavodu in vključuje različne deležnike. Vrtec je, glede na SE poročilo, izboljšal dosežke otrok. ■ Ocenjujemo, da šola ustrezno uvaja izboljšave in izvaja samoevalvacijo. Za izboljšanje je potrebnih nekaj ukrepov na ravni šole v naslednjem šolskem letu, kot so: večja povezanost področij izboljšav s krovnimi dokumenti šole, priprava refleksije opravljenega dela v okviru strokovnih aktivov in tudi natančnejši prikaz zbranih podatkov in oprijemljivejša merila za izbrana področja. Samoevalvacijsko poročilo je kvalitetno pripravljeno. Cilji izboljšav so konkretno predstavljeni in utemeljeni, v njem so predstavljene tudi dejavnosti, ki so jih izvajali. Odnos vodstva in strokovnih delavcev do samoevalvacije je pozitiven in usmerjen v dvig kakovosti zavoda. Med obiskom sva opazili pozitiven odnos med zaposlenimi, ki sistematično izvajajo, reflektirajo in vrednotijo svoje delo ter med seboj sodelujejo in izmenjujejo mnenja. Šola svoja področja izboljšave sistematično načrtuje in nadgrajuje, vse to pa vodi k uspešnemu delu in usvajanju znanja o izbrani tematiki. ■ Ocenjujemo, da vrtec ustrezno uvaja izboljšave in izvaja samoevalvacijo. Za izboljšanje je potrebnih nekaj ukrepov na ravni vrtca v naslednjem šolskem letu. Pri načrtovanju izboljšav in procesu samoevalvacije pogrešamo sistematičnost in usklajenost dokumentov. Priložnost za izboljšave vidimo na področju načrtovanja - na ravni vrtca, aktivov in oddelkov. Načrti naj bodo medsebojno usklajeni po vertikali in bolj konkretni. Analize, evalvacije naj postanejo osnova za načrtovanje strokovnega dela in izboljšav. Vrtec naj poveže različne dejavnosti in jih načrtuje po vertikali: vrtec-aktiv-strokovni delavec, po vertikali naj poteka tudi zbiranje in obdelava podatkov. Zbrani podatki naj bodo analizirani in interpretirani, na podlagi katerih naj bodo predstavljena konkretna priporočila za naslednje šolsko leto. Samoevalvacijsko poročilo naj bo vezano na LDN in E-LDN vrtca. O ■O o 0 1 o O v o CD Na šoli je vzpostavljen proces samoevalvacije, ki se iz leta v leto izboljšuje. Zaposleni od ustrezno analize do analize svojega dela spoznavajo pomen in namen samoevalvacije. Se učijo na lastnih napakah in iščejo nove poti za dosego zastavljenega cilja. Cilji, ki so zastavljeni v okviru samoevalvacije, so dolgoročni, zato se za enkrat le deloma vidijo uspehi zastavljenih ciljev izboljšav in posledično dosežki pri učencih. Pri posameznih strokovnih delavcih je zaznati pripravljenost za več sodelovanja v smislu strokovnih izmenjav in izkušenj, vendar ne pri večini. Zato bi bilo smiselno, da se na ravni šole prevetrijo zastavljeni prednostni cilji izboljšav na učnem in vzgojnem področju in skupno (s konsenzom) določijo cilje, kjer bodo vsi strokovni aktivi in posamezni strokovni delavci vanje aktivno vključeni. Pri tem bi bilo smiselno razmisliti, na kakšen način bi bilo možno sistematično povezovanje med aktivi in kako čim bolj učinkovito vključiti ostale projekte in podatke, ki so se že pridobili na drugih področjih. Na učno-vzgojnem področju smo lahko še bolj uspešni, če k sodelovanju aktivno in smiselno vključimo učence in njihove starše, o čemer naj se razmišlja v aktivih in pripravi načrt dejavnosti. Za lažje spremljanje napredka predlagamo, da se merila določijo tako, da se bo lahko primerjalo začetno, vmesno in končno stanje. Tako se bo lahko že v enem šolskem letu opazil napredek, ki bo posledično prinesel tudi zadovoljstvo pri strokovnih delavcih. ■ Napori, ki jih šola vlaga v skrb za izboljšanje kvalitete dela na področju pouka in poučevanja, so zelo opazni, rezultati, ki jih s tem dosega, pa so dobri. Ugotavljamo pa, da ima šola še precej manevrskega prostora, da še izboljša rezultate svojih naporov, predvsem na področju izvajanja samoevalvacije. Je pa na dobri poti, da to uresniči, saj je tako vodstvo šole kot dobršen del strokovnih delavcev (tako vključenih v ŠRT kot v tim za samoevalvacijo) odločeno, da nadaljuje samoevalvacijski proces. Dijaki, učitelji in vodstvo šole so zelo aktivni na številnih področjih. Da bodo svoje dosežke in uvid v izboljšave ter celoten proces razvoja lahko še boljše predstavili sebi in drugim, pa priporočamo sistematično postavitev meril in kriterijev, ki bodo tako spremljavo omogočili. V o ■O o 0 1 O O O CD Na podlagi sistematičnega spremljanja in posledičnega poročila bo nastal celovit dokument, iz katerega bo moč razbrati napredek šole ter skrb in aktivnosti, ki jih posvečajo dijakom, zaposlenim, celotnemu zavodu in ne nazadnje svojemu širšemu okolju. Na gimnaziji se ogromno reči počne, zelo dobro dela ŠRT, prav tako tim za samoevalvacijo, tudi evalvacija dela se je izvajala, le da ta ni potekala tako sistematično, pač pa bolj kot evalvacija posameznih dejavnosti in projektov. Obstaja vtis, da je bil tim za SE imenovan predvsem z namenom, da se je vključil v izobraževanje v okviru ŠR. Dejavnosti, ki jih je izvedel do sedaj, so bile bolj za potrebe izobraževanja za SE, kot za neko bolj poglobljeno SE za potrebe šole. Vtis je tudi, da tim za SE trenutno dela bolj v senci ŠRT-ja. Vsekakor bo moral tim za SE najti svoje mesto in svoj način dela, svoj pomen; procesu SE pa bodo na ravni šole morali najti ustrezen pomen, ustrezno vrednost in ustrezno mesto. 1 Po pregledu dokumentacije in razgovorih z udeleženci zaunanje evalvacije ugotavljamo, da v samoevalvacijo vlagajo veliko naporov, da pa naj bodo cilji bolj jasni in ozaveščeni, več sistematičnosti pri spremlajnju rezultatov, sprotno spremljanje (večkratno) rezulatatov. Bolje meriti. Spremljati učinke posamezne aktivnosti. Delajo bolje, kot je zapisano, spremljanje merjenja in zajem podatkov sta šibka. Novi člani tima za samoevalvacijo naj se vključijo v usposabljanje v ŠR. Močno pa je bilo v samem poteku ZE zaznati, da je šola, kljub združevanju organizacijskih enot in majhnemu vpisu dijakov, zelo vpeta v ožje okolje in kot taka predstavlja eno od pomembnih točk v izgradnji socialnega omrežja za okolje, v katerem deluje. 1 Ustrezno. Šola ima še nekaj manevrskega prostora, da izboljša rezultate svojih naporov, predvsem na področju dela komisije za kakovost, izboljšali naj bi nekatera merila za doseganje kratkoročnih in dolgoročnih ciljev. Šola je na dobri poti, da to uresniči, saj so tako vodstvo šole kot strokovni delavci odločeni, da nadaljujejo s procesom samoevalvacije tudi v prihodnjih letih. Za izboljšanje je potrebno nekaj ukrepov na ravni vrtca za naslednje šolsko leto, predvsem v smislu poenotenja meril za sistematično analiziranje podatkov. V načrtovanju LDN naj upoštevajo rezultate in ugotovitve samoevalvacije. Cilj spodbujanje pozitivnih medsebojnih odnosov pa naj opusti. Vrtec naj organizira dodatna izobraževanja za strokovne delavce, ki so vezana na temo zastavljenega cilja. Iz navedenih ocen lahko za večino zavodov razberemo priporočila zunanjih evalvatorjev, naj načrtovanje in odločanje v zvezi s prednostnim področjem še bolj oprejo na analizo podatkov o stanju v zavodu. Za to je potrebno še natančneje in konkretneje opredeliti merila (kazalnike) za spremljanje in ovrednotenje doseganja ciljev, kar je razvidno tudi iz odgovorov ravnateljev v evalvacijskem vprašalniku (tabela 6). Prav tako bi veljajo večjo pozornost nameniti vključitvi drugih deležnikov (staršev, učencev) pri sami izbiri ciljev in tudi spremljanju dejavnosti za dosego ciljev. III. PRIPOROČILA ZA IZBOLJŠANJE UVAJANJA IZBOLJŠAV IN SAMOEVALVACIJE < EVALVIRANIH ZAVOD IH < O ■O o 0 1 O O V O CD Za ovrednotenje zunanje evalvacije so bila analizirana vsa (29) poročila o zunanji evalvaciji. Predvsem nas je zanimalo: • povezava priporočil s posameznimi vsebinskimi sklopi; • vsebina in ubeseditev priporočil. Iz poročil o zunanji evalvaciji je razvidno, da so priporočila smiselno povezana s posameznimi vsebinskimi sklopi. Posebno pozornost smo namenili priporočilom, ki se nanašajo na vodenje uvajanja izboljšav in samoevalvacije ter rezultate uvajanja izboljšav in samoevalvacije. Vodenje uvajanja izboljšav in samoevalvacije je namreč ključno pri vzpostavljanju samoevalvacijske kulture v zavodu, pri tem so izjemno pomembni učinki oz. rezultati, ki jih proces uvajanja izboljšav in samoevalvacije prinaša. Ugotavljamo, da so določena priporočila premalo konkretna oz. presplošno zapisana in v takšni obliki zavodom pri nadaljnjem uvajanju izboljšav in samoevalvacije niso v veliko pomoč. Večina priporočil se vsebinsko osredotoča predvsem na izbiro meril, večjo stopnjo vključevanja drugih deležnikov (predvsem staršev in učencev) ter sprotno in sistematično spremljavo in vrednotenje uvajanja izboljšav in samoevalvacije. Prav tako so priporočila premalo usmerjena na raven rezultatov oz. dosežkov učencev. V nadaljevanju povzemamo nekaj priporočil, ki so jih zunanji evalvatorji izpostavili pri omenjenih sklopih. Priporočila, vezana na vodenje uvajanja izboljšav in samoevalvacije: Na osnovi pregledane dokumentacije osnovne šole je razbrati, da je na šoli uveljavljeno in ustrezno vodeno uvajanje izboljšav in samoevalvacije. Dobro je, da je vodenje izboljšav usmerjeno v čim večjo kakovost, v vzpostavitev izbranih prednostnih področij ter usmerjeno in organizirano postavitev ustreznih kazalnikov in meril, prilagojenih specifiki šole in šolski strukturi. V prihodnosti bi veljalo predvsem razmisliti o možnostih in strategijah za čim boljšo vključitev in sodelovanje tistih strokovnih delavcev, ki svojo delovno obveznost dopolnjujejo na sosednjih šolah. Prav tako bi bilo dobro, da bi razmislili, kako v načrtovanje ter v izvajanje prioritet v večji meri vključiti starše in jih čim bolj aktivno pritegniti. Glede vloge strokovnih aktivov smo ugotovili, da je vrtec majhen kolektiv, ki deluje zelo enotno in tako za uvajanje izboljšav ne potrebuje dodatnih podpor strokovnih aktivov. Dobro pa bi bilo razmisliti o tem, da bi povezanost in delovanje strokovnih delavk po starostnih obdobjih pripomoglo k boljšemu uresničevanju zastavljenih ciljev pri uvajanju izboljšav. Npr. cilj: Otroke bomo vzgajali za medsebojno strpnost in sposobnost živeti v demokratični družbi. Je zelo zahteven cilj za otroke v prvem starostnem obdobju in delujoči strokovni aktiv prvega starostnega obdobja bi z različnimi predlogi vzgojiteljicam pomagal pri uresničevanju zastavljenih ciljev. V prihodnosti je smiselno razmišljati o večji stopnji vključevanja učencev, staršev in subjektov okolja v proces samoevalvacije. S tem bi obogatili nabor idejnih izhodišč za novo dolgoročno in kratkoročno načrtovanje. Ob tem je potrebno poudariti, da širjenje vključenosti različnih deležnikov pomeni tudi večjo obremenitev ravnateljice in učiteljev, ki bodo morali pretehtati, v kolikšni meri je šola pripravljena na tak izziv. Na osnovi predstavljenih ugotovitev predlagava večkratno sprotno preverjanje in spremljanje kazalnikov napredka na različnih ravneh. Ugotovitve o doseganju ciljev in priporočila za nadaljnje delo naj še bolj očitno izhajajo iz pridobljenih podatkov. Za bolj nazorno predstavitev rezultatov izvajanja dejavnosti za doseganje zastavljenih ciljev samoevalvacije bi bilo smiselno le-te predstaviti z merljivimi kvantitativnimi podatki. Tako lahko spremljamo napredek pri doseganju ciljev skozi več let. Predlagamo, da se v naslednjem šolskem letu komisija za kakovost in tim za samoevalvacijo bolj povežeta in skupaj načrtujeta svoje delo. Za pretok informacij o projektu samoevalvacije predlagamo predstavitve doseženih rezultatov ne samo ustno (na pedagoški konferenci), ampak tudi na oglasni deski šole. To bo pozitivno vplivalo na sodelovanje čim širšega kroga sodelavcev. Strokovni delavci šole so vključeni v načrtovanje izboljšav in sprejemanje odločitev samo delno, kar kaže na še večjo potrebo po povezovanju v aktivih in povezovanju vodij aktivov z vodstvom šole. Zasledili smo, da tisti strokovni delavci, ki niso sodelovali pri samoevalvaciji, sproti ne spremljajo izvajanja aktivnosti samoevalvacije. V prihodnje priporočamo izmenjavo primerov dobre prakse, povezano z izbranimi cilji izboljšav tudi širše v učiteljskem zboru. Priporočamo večji pretok informacij o dosežkih in s tem krepitev zmožnosti do sedaj ne vključenih strokovnih delavcev za učinkovito uvajanje izboljšav in samoevalvacije. Priporočila: - Priporočamo, da bi v prihodnje v samo poročilo vnesli več podatkov (tabel), iz katerih bo bolj jasno razvidno doseganje zastavljenih ciljev. - Priporočamo, da v prihodnje šola oblikuje tudi tim za samoevalvacijo oziroma še eksplicitneje to nalogo opredeli v okviru že obstoječih teles (ŠRT, komisija za kakovost). - Priporočamo, da šola morda v prihodnje pridobi mnenje in pripombe na zastavljene prioritetne cilje tudi od staršev in dijakov. - Za sprotno sistematično spremljanje, reflektiranje in vrednotenje svojega dela priporočamo, da šola v procesu Usposabljanja za samoevalvacijo izdela merila in kriterije, s katerimi bo to omogočeno. Priporočava, da v vrtcu organizirajo potek izmenjave primerov dobrih praks, ki so povezane z izbranimi cilji izboljšav. Predlagava tudi aktivno vključitev ravnateljice v sam proces, predvsem kot svetovalca. Iz obsežnih poročil je zaznati zelo živahno dejavnost različnih deležnikov v zavodu, predlagamo, da se postopoma vanjo vključi še več deležnikov, predvsem pa da se zanjo navduši več strokovnih delavcev. In še: - Predlagamo, da tim za samoevalvacijo tesno sodeluje v skrbi za kvaliteto dela na področju pouka in poučevanja z vsemi deležniki, ki so se do sedaj ukvarjali s tem (ŠRT, vodstvo šole, strokovni aktivi, dijaško skupnostjo, starši in okoljem). - Priporočamo, da ravnatelj tudi v prihodnje podpira samoevalvacijski proces na šoli, saj je podpora vodstva ključnega pomena za njegovo zaživetje v praksi. - Tim za samoevalvacijo naj si postavi za eno od prioritetnih nalog tudi aktivnost, s katero bodo v proces samoevalvacije vključili čim več strokovnih delavcev šole. - Ker šola tesno sodeluje s starši dijakov, prav tako tudi z nekaterimi nekdanjimi dijaki, priporočamo, da po možnosti tudi od njih pridobi mnenje o postavljanju prioritetnih ciljev in načinih realizacije. - V nadaljevanju samoevalvacije priporočamo, da šola izvede eno do dve delavnici na temo komunikacije. - Za sprotno sistematično spremljanje, reflektiranje in vrednotenje svojega dela priporočamo, da šola izdela merila in kriterije, s katerimi bo to omogočeno. - Na šoli poteka kar nekaj uspešnih dejavnosti, povezanih z izbranimi cilji (npr. »didaktični forum«, medpredmetno povezovanje idr.), zato priporočamo, da šola morda še dodatno predstavi in popularizira te aktivnosti (uporaba informacijske tehnologije - spletne učilnice) tako znotraj šole kot v ožjem okolju. m ^ ^S e < v M l --v -> o CU j o ■O O 33 0 1 o o o CD Priporočila, vezana na rezultate uvajanja izboljšav in samoevalvacije: Vrtec ima konkretno zapisana merila, s katerimi evalvirajo, manjkajo pa konkretni zapisi vzgojiteljic, kaj so otroci dosegli, česa še niso, kako bo potekalo njihovo nadaljnje delo ... Glede na konkretno zapisane dosežene cilje bo lahko zavod na vseh ravneh - na ravni vzgojiteljic, na ravni aktivov in na ravni zavoda - načrtoval nove poti uvajanja izboljšav. N M ■0 i v (D CZ o l CL Z M O" QJ A O "O N z I j C D QJ O a O K < e v M l v < 3 QJ o A O QJ e o n QJ Šola naj nadaljuje s sodelovanjem in komunikacijo med strokovnimi delavci tudi na nivoju šole, ne le aktivov. Ugotovitve o napredku učencev naj bodo konkretne in podprte s podatki. Opredelijo naj natančna merila za posamezno dejavnost, saj bodo tako lažje ocenili napredek učencev in hkrati uspešnost procesa. Glede na to, da so zaposleni že sami povedali, da sta njihovi prednostni področji takšni, kjer ni realno pričakovati hitre spremembe, priporočava, da se izbrani področji realizirata v daljšem časovnem obdobju. Prav tako bi bilo dobro, da se v predstavitev rezultatov uvajanja izboljšav vključi vse deležnike, še posebno starše in se jih morda tudi na ta način poskusi motivirati še za večjo vpletenost pri uvajanju izboljšav. Za še večjo učinkovitost uvajanja izboljšav priporočamo rednejše zapisovanje refleksij in poročil o izvedenih aktivnostih. Priporočamo še večjo pozornost pri uvajanju potrebnih sprememb za nadaljnje izboljšave (uporaba PDCA metode - Demingov krog). Priporočava, da vrtec nadaljuje z izboljšavami in samoevalvacijo s tako aktivnim pristopom in visoko motivacijo. Glede na vidne izboljšave otrok pri upoštevanju pravil priporočava, da se vrtec poveže z osnovno šolo, kamor se vpišejo njihovi otroci. Seznanijo naj jih s projektom samoevalvacije, z dosežki otrok in naj šoli predlagajo, da tudi tam sledijo izbranemu cilju. Učitelji in vodstvo šole, ki sva jih pri svojem obisku spoznala, so usmerjeni tudi na področju samoevalvacije k dolgoročnemu kvalitetnemu delu in prepričana sva, da jim bo to z načrtnim in postopnim delom tudi uspelo. Priporočava, da se na tem področju še naprej strokovno izpopolnjujejo in izmenjujejo izkušnje med seboj (učitelji, strokovni aktivi) ter z učitelji drugih osnovnih in srednjih šol. Priporočava dodelavo sedanjih zapisov in izdelavo enotnega dokumenta na področju branja z razumevanjem na osnovi že izdelanega triletnega načrta izboljšav, iz katerega bo možno nazorno razbrati vse elemente samoevalvacije, v katerih bo še bolj transparentno mogoče na enem mestu prebrati načrtovane dejavnosti na ravni aktiva, potrebne vire, nosilce dejavnosti, vključene v dejavnosti, želeno stanje oz./in merila za spremljanje doseganja ciljev. Šola je vpeta v številne projekte, kamor se posamezni strokovni delavci samoiniciativno vključujejo. Predlagamo, da se velika delovna vnema zaposlenih in samoiniciativnost poveže s cilji samoevalvacije tako, da bodo tudi zaposleni videli povezanost projektov. Tim za samoevalvacijo naj ponudi več priložnosti za strokovna srečanja z namenom razvijanja sistematičnosti in načrtnosti uvajanja izboljšav in samoevalvacije pri vseh zaposlenih. Več pozornosti naj se nameni jasnim kriterijem in oblikovanim merilom, ki bodo kasneje v veliko pomoč pri vrednotenju. Strokovni aktivi naj načrtovane dejavnosti in dosežke učencev ob koncu šolskega leta predstavijo širše (staršem in lokalni skupnosti) z namenom učinkovitega načrtovanja in stopnjevanja zahtevnosti in pričakovanj do učencev. Smiselno bi bilo rezultate in dosežke predstaviti tudi učencem z namenom, da bi se tudi sami aktivneje vključili v cilje in dejavnosti samoevalvacije. Priporočamo, da strokovni delavci sproti preverjajo napredek posameznih dijakov in šole kot celote. .z M "O a e Po opravljenih zunanjih evalvacijah je bil ravnateljem evalviranih zavodov, ki so bili vključeni v poskusno zunanjo evalvacijo aprila 2013, posredovan evalvacijski vprašalnik, s pomočjo katerega smo želeli pridobiti povratno informacijo o izvedbi zunanje evalvacije na posameznem zavodu. Evalvacijski vprašalnik je vseboval 5 sklopov: 1. odločitev in pričakovanja, 2. priprava na zunanjo evalvacijo, 3. tim za zunanjo evalvacijo, 4. poročilo o zunanji evalvaciji, e <- o 5. uresničitev pričakovanj in ocena zasnove zunanje evalvacije. Posamezni sklopi so vsebovali vprašanja odprtega in zaprtega tipa, pri slednjem je bila uporabljena 5-stopenjska Likertova lestvica. Ob koncu nekaterih vprašanj je bilo postavljeno še odprto vprašanje za možnost pripisov dodatnih pojasnil in komentarjev. mm c V analizo so bili vključeni vsi zavodi, ki so evalvacijski vprašalnik izpolnili do konca aprila 2013. V analizo smo zajeli odgovore 21 od 29 ravnateljev (72 %), ostali vprašalnika niso oddali. Odločitev in pričakovanja Ravnatelji so navajali razloge in pričakovanja o izvedbi zunanje evalvacije, ki jo vidijo kot: • pogled na naše delo »od zunaj«, • pregled dokumentacije, postopkov, aktivnosti, • analizo, • objektivno oceno, • povratno informacijo, • usmeritve in priporočila, • kaj pravzaprav zakonodajalec želi od nas, • izboljšanje kakovosti dela v vrtcu, • pogovor in pregled izvedenih dejavnosti v sklopu izvedenega dela za doseganje cilja našega prednostnega področja, • potrditev oziroma napotki za odpravo morebitnih pomanjkljivosti pri izvedenem delu na prednostnem področju, • realno mnenje o tem, kako vidijo našo samoevalvacijo, kritične pripombe in predloge izboljšav, • zanimalo me je njihovo mnenje o delu na šoli in njihovi predlogi za izboljšave. Priprava na zunanjo evalvacijo Ravnatelji so ovrednotili pripravo na zunanjo evalvacijo (glej tabelo 11). Iz rezultatov je razvidno, da so po njihovem mnenju imeli dovolj informacij in časa za pripravo na obisk zunanjih evalvatorjev, ki je pri večini v celoti (19) potekal po načrtovanem urniku. Večina ravnateljev je menila, da so bili dovolj seznanjeni z namenom in potekom zunanje evalvacije, le dva ravnatelja sta na 5-stopenjski lestvici izbrala oceno 4 in eden 3. S potekom obiska so tudi v večini seznanili druge strokovne delavce, samo pet jih je izbralo oceno 4. Tabela 11: Priprava na zunanjo evalvacijo 1 2 3 4 5 Povp. Pred izvedbo zunanje evalvacije sem dobil/-a informacije o poteku izvedbe. 0 0 1 5 15 4,7 0,58 Seznanjen/-a sem bil/-a z namenom in cilji zunanje evalvacije. 0 0 1 2 18 4,8 0,51 Seznanjen/-a sem bil-/a s potekom obiska zunanjih evalvatorjev v zavodu. 0 0 0 0 21 5,0 0,00 Z namenom in cilji zunanje evalvacije sem seznanil/-a strokovne delavce. 0 0 0 3 18 4,9 0,36 S potekom obiska sem seznanil/-a strokovne delavce. 0 0 0 5 16 4,8 0,44 Priprava na zunanjo evalvacijo je bila zahtevna. 2 2 11 5 1 3,0 0,97 Obisk tima zunanjih evalvatorjev je potekal po načrtovanem urniku. 0 0 0 2 19 4,9 0,30 Razpon od 1 [sptoh se ne strinjam) do 5 [se poponoma strinjam) Kot je razvidno iz tabele 11, je večina ravnateljev (11) ocenila pripravo na zunanjo evalvacijo kot srednje zahtevno. Tim za zunanjo evalvacijo Prevladujoče zelo pozitiven odziv kaže na dobro načrtovanje in pripravo obiska zunanjih evalvatorjev. Večina ravnateljev je tim za zunanjo evalvacijo ocenila kot dobro ali zelo dobro (glej tabelo 17), pri tem so v celoti z oceno zelo dobro ocenili profesionalen in spoštljiv odnos, kar kaže posledično tudi na vzpostavitev zaupnega odnosa med timom in zavodom. Tabela 12: Ocena tima za zunanjo evalvacijo 1 2 3 4 5 Povp. poznavanje izobraževalne ravni obiskanega zavoda 0 0 0 4 17 4,8 0,40 poznavanje dokumentacije, ki smo jo posredovali za pripravo na obisk 0 0 1 1 19 4,9 0,48 konstruktivnost dialoga 0 0 1 2 18 4,8 0,51 strokovnost razprave 0 0 0 4 17 4,8 0,40 profesionalnost in spoštljivost odnosa 0 0 0 0 21 5,0 0,00 vzpostavitev zaupnega odnosa do nas 0 0 1 1 19 4,9 0,48 usklajenost delovanja tima 0 0 0 2 19 4,9 0,30 podajanja povratnih informacij 0 0 0 4 17 4,8 0,40 Razpon od 1 (zelo stabo) do 5 (zelo dobro) M k CL a o" QJ "O z ■O o O o< j _ e a k j e v c j — O o o O CD < O ■O o 33 0 1 O O O CD Ravnatelje smo tudi vprašali, kaj bi nam o članih tima še želeli sporočiti, spodaj povzemamo nekaj odgovorov, večinoma se nanašajo na strokoven in profesionalen odnos tima za zunanjo evalvacijo: • Člana tima sta se korektno in strokovno načrtovala in izvedla zunanjo samoevalvacijo. Morda bi samo izpostavili, da se je na trenutke med nami vzpostavila napetost, za katero ni bilo potrebe. • Člani tima so bili strokovni, pripravljeni na dialog in dosledni pri načrtovanju in izvedbi. • Članice našega kolektiva, ki so sodelovale v razgovorih s timom za zunanjo evalvacijo, so bile prijetno presenečene. Člani tima so bili s problematiko strokovnih in poklicnih šol dobro seznanjeni in so imeli realen in odprt pogled na poučevanje na teh šolah. • Ne velja vedno pravilo prvega vtisa. Bili sta zelo profesionalni, a vendar topli in prijetni osebi, s katerima smo strokovno razpravljali o svojem delu. Priznavali sta nam strokovnost, povezanost in angažiranost za skupne cilje. • Nimamo posebnih pripomb, lahko le pohvalimo njuno delo, komunikacijo in odnos do delavcev šole. • Prijazen, korekten odnos. Bili smo enakovredni sogovorniki. Korektno postavljanje vprašanj in podaja mnenj. Bili so prijazni, korektni. Komunikacija na enakopravni ravni, konstruktivni dialog. Poročilo o zunanji evalvaciji Ravnatelji vidijo v poročilu o zunanji evalvaciji realno sliko uvajanja izboljšav in samoevalvacije zavoda, pri pripravi poročila so večinoma sodelovali s timom za zunanjo evalvacijo. Priporočila večinoma izhajajo iz ugotovitev, ki jih bodo upoštevali pri nadaljnjem delu (glej tabelo 13). Tabela 13: Poročilo o zunanji evalvaciji 1 2 3 4 5 Povp. Pri pripravi poročila o zunanji evalvaciji sem sodeloval/-a z vodjem tima za zunanjo evalvacijo. 0 0 3 8 10 4,3 0,73 Poročilo prikazuje uvajanje izboljšav in samoevalvacijo v zavodu. 0 0 0 8 13 4,6 0,50 Ugotovitve povzemajo uvajanje izboljšav in samoevalvacijo v zavodu. 0 0 0 8 13 4,6 0,50 Priporočila izhajajo iz ugotovitev. 0 0 0 5 16 4,8 0,44 Priporočila bomo upoštevali za izboljšave v zavodu. 0 0 0 6 15 4,7 0,46 uresničitev pričakovanj in ocena zasnove zunanje evalvacije Pričakovanja v zvezi z zunanjo evalvacijo so se ravnateljem delno (3), precej (9) ali v celoti (9) uresničila (glej graf 3). Graf 3: Uresničitev pričakovanj s s ^S e < v S i — v 3 -> o CU j o ■O O 33 0 1 o O v o CD 2 "O O O Pozitiven odziv na uresničitev pričakovanj in izvedbo bolje pojasnjujejo naslednje trditve v tabeli 14: Tabela 14: Pričakovanja o zunanji evalvaciji Pričakovanja Pričakovali smo, da se bomo z zunanjimi evalvatorji bolj dotaknili vsebine - torej našega cilja prednostnega področja. Zunanja evalvacija je bila zgolj preverjanje formalnosti. Delno Večinoma da. Ne zaradi tega, ker so zunanji evalvatorji svoja mnenja lahko podajali predvsem na podlagi vseh napisanih poročil, manj pa na podlagi drugih dejavnikov, ki so morda bolj verodostojna. Nekatere ugotovitve in priporočila so v navzkrižju z ugotovitvami, ki smo jih pridobili v procesu izobraževanja ŠR. Zunanja evalvacija je potekala po pričakovanjih, ugotovili smo, da imamo pri samoevavaciji enake pomisleke in dileme. Precej Pogovor je bil konstruktiven, pozitivno naravnan. Dobili smo potrditev, da smo na pravi poti. Pričakovali smo, da bodo vključili več strokovnih delavcev. Sicer so nam evalvatorji povedali, da so dobili dovolj informacij, a delavci so bili pripravljeni sodelovati. Nič narobe! Zaposleni so bili prav tako zadovoljni, a pričakovali so, da »bodo poklicani«. Pridobili smo si veliko informacij o tem, kako naše delo nadgraditi in ga usmeriti v uresničitev ciljev vrtca. Zunanja evalvacija je sicer zajela naša področja, vendar bi morda bilo v korist zavoda, da bi potekala več časa in bi nam omogočila več strokovne razprave z evalvatorji. Pričakovanja so bila v celoti izpolnjena. Vsebina poročila nas je zadovoljila in razveselila. V celoti Pričakovanja v zvezi z evalvacijo so bila predvidena. Priporočila, ki smo jih dobili v zunanji evalvaciji, so konkretna in jih lahko uporabimo v praksi. V procesu zunanje evalvacije smo bili opozorjeni na nekatere možne rešitve pri uvajanju izboljšav, kar smo tudi pričakovali; zunanji evalvatorki sta bili zelo korektni in izvrstni kritični prijateljici. e < v o ■O o 33 0 1 O O O CD Ravnatelji so na osnovi izkušnje z zunanjo evalvacijo in potreb njihovega zavoda podali predloge, kaj bi spremenili pri zunanji evalvaciji in zakaj. V nadaljevanju navajamo predloge: • da tim prisostvuje sestanku vzgojiteljskega zbora, na katerem je predstavljeno poročilo o ZE, • da poleg poročila dobimo tudi oceno kvalitete dela, • da so zunanji evalvatorji osebe, ki so sodelovale in izpeljale projekt KVIZ na podobnem prednostnem področju, kot ga je imela šola, na kateri izvajajo ZE, • da načrtujemo samoevalvacije za daljše časovno obdobje na istih vsebinah, • da zunanji evalvatorji zaključke predstavijo celotnemu kolektivu in z njimi izvedejo strokovno razpravo. Ob koncu so ravnatelji ocenili, ali ima zunanja evalvacija dodano vrednost k uvajanju izboljšav v zavodu. Kot je razvidno iz grafa 4, jih je odgovorilo da 13 in delno 8. Graf 4: Dodana vrednost zunanje evalvacije 14 12 10 8 6 4 2 0 Ne delno da V nadaljevanju povzemamo pojasnila, ki so jih ravnatelji zapisali kot oceno delno k dodani vrednosti: • Ima neko dodano vrednost, saj ti nekdo od zunaj pove, kako vidi stvari, kaj je dobro, kje so težave, kaj popraviti. • Pogled z drugega zornega kota gotovo nudi neka videnja, do katerih sami nismo prišli. • S poročilom zunanjih samoevalvatorjev smo seznanili strokovne delavce naše šole. Ker smo delo v projektu opravljali vestno in korektno, je vsebina poročila pomenila potrditev in s tem motivacijo strokovnih delavcev za nadaljnje delo. • Vsak pogled od zunaj je dobrodošel, res pa je, da ima vsak zavod svojo specifiko, ki ima prav zagotovo vpliv na vsak proces, ki se znotraj njega dogaja. Predvsem je pomembno, da so strokovni delavci ozaveščeni o izvedbi na osebni ravni. V nadaljevanju povzemamo pojasnila ravnateljev, ki so ocenili, da ima zunanja evalvacija dodano vrednost: • S pomočjo znanj, izkušenj in ciljev, ki smo si jih zastavili, vsako leto stopimo stopničko višje. • Poročilo vsebuje potrditev pravilnosti našega načrtovanja in izvajanja dela, dviga kolektivno samozavest in je vzpodbuda za nadaljnje delo. • Strokovni delavci so dobili potrditev pomena samoevalvacije kot procesa pri lastnem delu. • Ugotavljamo, da nam samoevalvacija prinese izboljšanje vzgojno-izobraževalnega dela, z zunanjo evalvacijo pa naše delo in dosežke ter proces samoevalvacije še dodatno pretehtamo in ocenimo s pomočjo zunanjih strokovnih delavcev. • Veseli smo, da je ZE potrdila naša večletna prizadevanja po nenehnem izboljševanju. Potrditev, da smo na pravi poti. Pokazala je tudi področja šibkosti, ki jih bomo skušali odpraviti. • Izboljšala se je klima in kultura, postali smo še bolj povezani in zavezani skupnim ciljem. m ^ ^S e < v M l --v -> o CU j o ■O O 33 0 1 o o o CD POROČILO O IZVEDBI ZUNANJIH EVALVACIJ Izvedba zunanjih evalvacij na poskusnih zavodih 2. cikla projekta KVIZ (marec 2013] e < v o ■O o 33 0 1 O O O CD Po opravljenih zunanjih evalvacijah so zunanji evalvatorji izpolnili evalvacijski vprašalnik, s pomočjo katerega smo želeli pridobiti povratno informacijo o izvedbi zunanje evalvacije na posameznem zavodu. Evalvacijski vprašalnik je vseboval 3 sklope: • splošni podatki, • ocena Usposabljanja za zunanjo evalvacijo, • izvedba zunanje evalvacije. Posamezni sklopi so vsebovali vprašanja odprtega in zaprtega tipa, pri slednjem je bila uporabljena 5-stopenjska Likertova lestvica. Ob koncu nekaterih vprašanj je bilo postavljeno še odprto vprašanje za možnost pripisov dodatnih pojasnil in komentarjev. V analizo so bili vključeni vsi zunanji evalvatorji, ki so evalvacijski vprašalnik izpolnili do 23. aprila 2013. Tako smo v analizo zajeli odgovore 54 od 69 zunanjih evalvatorjev (78 %), ki so izvajali zunanje evalvacije na poskusnih zavodih drugega cikla projekta KVIZ. V nadaljevanju so prikazani rezultati, ki se nanašajo na izvedbo zunanje evalvacije, rezultati vezani na oceno Usposabljanja za zunanjo evalvacijo so podrobneje predstavljeni v Končnem poročilu o izvedbi projekta uKVIZ2. ocena tima za zunanjo evalvacijo Zunanji evalvatorji so na petstopenjski lestvici, pri čemer 1 pomeni ne in 5 v celoti, ocenili, v kolikšni meri so bili kot tim medsebojno usklajeni. Analiza evalvacijskih vprašalnikov pokaže, da so timi za zunanjo evalvacijo po večini delovali zelo usklajeno (glej tabelo 15). Tabela 15: Usklajevanje tima za zunanjo evalvacijo 1 2 3 4 5 Povp. načina pregleda dokumentacije (opomnike, vprašanja, strukturo poročila) 0 0 0 6 48 4,9 0,32 razdelitve nalog 0 0 1 4 49 4,9 0,37 ugotovitev analize dokumentacije 0 0 1 11 42 4,8 0,47 načina izvedbe zunanje evalvacije 0 0 0 5 49 4,9 0,29 obiska zavoda 0 0 0 2 52 5,0 0,19 nalog za pripravo poročila 0 0 2 2 50 4,9 0,42 ugotovitev in priporočila, zapisana v končnem poročilu o zunanji evalvaciji 0 0 2 5 47 4,8 0,47 * TZE = tim za zunanjo evalvacijo V nadaljevanju so ocenili delovanje tima za zunanjo evalvacijo. Rezultati kažejo, da timi za zunanjo evalvacijo svoje delovanje ocenjujejo kot zelo dobro (glej tabelo 16). 2 uKVIZ - Usposabljanje za uvedbo sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij Tabela 16: Delovanje tima za zunanjo evalvacijo 1 2 3 4 5 Povp. poznavanje izobraževalne ravni obiskanega zavoda 0 0 0 15 39 4,7 0,45 konstruktivnost dialoga 0 0 0 11 43 4,8 0,41 strokovnost razprave 0 0 1 12 41 4,7 0,48 profesionalnost in spoštljivost odnosa 0 0 0 3 51 4,9 0,23 podajanje povratnih informacij 0 0 0 9 45 4,8 0,38 Na vprašanje, ali bi nam želeli o članih tima še kaj sporočiti, so navajali sledeče: • Čeprav smo navzven (med obiskom zavoda) delovali povsem usklajeno in nas je ravnateljica izrecno pohvalila tako pred kolektivom kot tudi izven, smo imeli nekaj težav pri usklajevanju naših pristojnosti pri pripravi na zunanjo evalvacijo. • Čeprav sva se s kolegico komaj poznali in sva prihajali iz dveh različnih javnih ustanov, sva se pri delu lepo in konstruktivno usklajevali. • Delo v timu je bilo spodbudno, dobro smo se dopolnjevali in skupaj oblikovali stališča tako pred kot tudi po obisku. • Delo v timu je potekalo zelo organizirano in vse članice tima smo enakovredno sodelovale pri pripravi, izvedbi in evalvaciji ZE. • Dobrodošla je sestava tima z dveh različnih izobraževalnih ravni, menim, da je ustreznejše število članov tima 2 kot pa 3. • Izredno dobro sva se ujeli, menim, da je bistveno, da je tim usklajen, strokoven, se drži dogovorjenih rokov in načina dela, ni rivalstva in prevladanja. • Pomembno se mi zdi, da sva s kolegico zelo dobro poznali raven obiskanega zavoda. Na ta način je bilo laže zastavljati vprašanja. Zelo dobro je bilo, da je ena pokrivala področje razrednega pouka, druga pa predmetne stopnje. • Predlagam, da se priporoči članom tima, da vsak dogovor zapišejo in si ga izmenjajo v e-obliki, da ne pride do nesporazumov v razumevanju dogovorjenega. • Raje ne bi opravljala ZE v isti območni enoti ZRSŠ, kot sem sama. • Sodelovali sva presenetljivo dobro in glede na osebnosti sva se dopolnjevali pri zapisih in razgovorih. • Vsak član se je zavzeto in odgovorno lotil dela in svoje delo tudi korektno in odgovorno opravil. Člani smo se med seboj tudi dopolnjevali glede vrste naloge: nekateri bolj natančno prebrali dokumentacijo, drugi znali povzemati, tretji znali oblikovati. • Zelo dobro sva sodelovali. Moje mnenje je, da je nujno, da se tudi člani tima »lahko« dogovarjajo. Meni osebno bi bilo težko delati z nekom, s katerim ne bi mogla premostiti prevelike različnosti. Najino sodelovanje je bilo izredno dobro, čeprav sva si bili karakterno popolnoma različni, z drugih koncev Slovenije, ona iz vrtca, jaz iz osnovne šole ... Razlik je bilo veliko, a je šlo super. m ^ ^S e < v M l --v -> o CU >1= o ■O O 33 0 1 o o o CD Poročilo o zunanji evalvaciji Iz tabele 17 je razvidno, da večina timov za zunanjo evalvacijo pripravo poročila o zunanji evalvaciji ocenjuje na zgornjem delu 5-stopenjske lestvice, tj. od srednje do zelo zahtevno. Tabela 17: Zahtevnost priprave poročila o zunanji evalvaciji ^S e < v O ■o O 33 0 1 O O O CD Število Odstotek Nič 1 1,9 Malo 3 5,6 Srednje 13 24,1 Precej 27 50,0 Zelo veliko 10 18,5 Skupaj 54 100,0 V nadaljevanju so timi ocenjevali stopnjo strinjanja s posameznimi trditvami o pripravi in obravnavi poročila o zunanji evalvaciji. Iz rezultatov je razvidno, da se večina udeležencev v celoti strinja z danimi trditvami (glej tabelo 18). Tabela 18: Priprava in obravnava poročila o zunanji evalvaciji Trditev 1 2 3 4 5 Povp. Pri pripravi poročila smo sodelovali s predstavniki zavoda. 0 0 3 12 39 4,7 0,58 Za pripravo poročila smo imeli člani TZE* dovolj časa. 0 0 1 9 44 4,8 0,45 Poročilo smo pripravili v skladu z navodili projekta (oz. Šole za ravnatelje). 0 0 1 6 47 4,9 0,41 * TZE = tim za zunanjo evalvacijo Zasnova in dodana vrednost zunanje evalvacije Na vprašanje, ali bi pri zunanji evalvaciji kaj spremenili in zakaj, so zunanji evalvatorji odgovarjali: • Holističen pristop - večkratni obiski šol v določenih časovnih obdobjih. • Isti tim naj obišče isto šolo tudi naslednje leto. • Konkretno pri našem primeru izvajanja ZE bi zmanjšala število intervjuvancev in dodatna poročila. • Ne spoznam se na delovanje srednjih šol, zato bi raje evalvirala osnovne šole in vrtce, saj se mi zdi pregled dokumentacije zahteven. Da bi bila samo dva člana tima - zdi se mi, da se trije težko uskladijo. • Nerodnosti glede originalnih podpisov, če so člani tima iz popolnom različnih krajev! Predlagam tudi elektronski podpis. • Ravnatelj/-ica zavoda mora obvezno podati mnenje k poročilu. • Sestavo članov timov za ZE (ker se z nekaterimi lažje sodeluje, z drugimi manj), več poizkusov ZE, da se oblikuje učinkovit tim. • Usklajevanje poročila med timom za ZE in šolo bi moralo potekati »v živo« in ne preko e- pošte. V razgovoru je možnost pojasnjevaja, argumentiranja, odpravljanja nejasnosti in dvoumnosti bistveno večja. • Vprašalnik je bil za nas v veliko pomoč in je bil že zelo pregleden. Poročilo bi skrajšala v tistem delu, kjer so že v vprašalniku dovolj jasni odgovori. Zunanji evalvatroji so prepričani, da ima zunanja evalvacija dodano vrednost k uvajanju izboljšav v zavodu (glej tabelo 19). Tabela 19: Dodana vrednost zunanje evalvacije Število odstotek Ne 0 0 Delno 5 9,3 Da 48 88,8 Brez odg. 1 1,9 Vse skupaj 54 100,0 Svojo oceno [ne, delno, da) so morali tudi utemeljiti. V nadaljevanju povzemamo nekatera pojasnila: Delno Kadar je potrditev pravilnosti poti, ki jo šole peljejo. Odločila sem se za delno, ker je izboljševanje odvisno od več deležnikov. Prepogosto je področje izboljšav omejeno na vodstvo ali ravnatelja. Odvisno od evalvirane šole. Odvisno od posameznega zavoda in izbranega cilja. Da Če ga zavod vzame za relevantnega, je v pomoč, kaj bi veljalo izboljšati. Če so priporočila zapisana konkretno in če so predstavljena na način, ki zaposlenim pomaga pri prepoznavanju dobrih in nekoliko slabših področij. Če so si šola in zaposleni izbrali cilj na podlagi želja vsega kolektiva, če so dejansko želeli pregled stanja in priporočila za nadaljnje delo in želijo izboljšave na področju, ki so ga samoevalvirali, potem ima ZE dodano vrednost. Menim, da je razgovor in poročilo v pomoč ravnatelju in timu pa tudi strokovnim delavcem pri nadaljnjem delu. Menim, da šola dobi s tem dobro povratno informacijo o svojem delu in lahko kaj popravi. Ob razgovoru s starokovnimi delavci vrtca smo razbrale, da so šele po obisku zunanjih evalvatork razumele smisel in način dela pri samoevalvaciji. Omogoča vpeljavo izboljšav in njihovo spremljanje, pripomore k zavedanju vsakega posameznega člana v zavodu, da je kakovostno delo pomembno tako za posameznega deležnika kot celotno družbo, omogoča krepitev pripadnosti zavodu, omogoča povezavo med? SE predpostavlja refleksivnega učitelja in le takšen učitelj lahko uvaja spremembe. SE daje načine, kako učitelje pripeljati do refleksije lastnega dela. Vsi sodelujoči dobijo povratno informacijo in zunanjo potrditev o kvaliteti vloženega dela. Zdi se mi, da je to dodatna stimulacija za deležnike. Zavod resneje pristopa k izboljšavam in se trudi priporočila vnesti v nadaljnje delo; koristno je, če nekdo zunanji posreduje povratno informacijo o delu zavoda, taka informacija ima večjo težo in vrednost. Da, zato ker nam nastavlja ogledalo, kaj smo že dobro naredili in kje imamo še omejitve oziroma priložnosti. S S e o CU j o ■O O 33 0 1 O O O CD POROČILO O IZVEDBI ZUNANJIH EVALVACIJ Izvedba zunanjih evalvacij na poskusnih zavodih 2. cikla projekta KVIZ (marec 2013] .z M "O iž <= O Id Z ;o s a > o PM Z 0< (D QJ Z3 N 3' i ^ g rs : II ž ^ __ V okviru spremljave in ovrednotenja zunanje evalvacije je bilo 24 od 29 zunanjih evalvacij tudi opazovanih. V vlogi opazovalcev so bili zunanji evalvatorji prvega cikla Usposabljanja za zunanjo evalvacijo in predavatelji Šole za ravnatelje (glej prilogo C). Opazovalci so po izvedenem obisku zavoda (februarja in marca 2013) pripravili in posredovali delno strukturiran zapis o poteku obiska na zavodu. Zapisi so bili razdeljeni na štiri sklope: 1. pripravljenost in odnos zunanjih evalvatorjev (poznavanje področja, pripravljenost na izvedbo, organiziranost in spretnosti članov tima, predvsem govorijo/pojasnjujejo ali sprašujejo, so vzpostavili pozitivno, spodbudno okolje ali negativno, pritisk itd.), 2. vsebina obiska (vsebina razprav na obisku, osredotočanje na posamezna dejstva ali proces v šoli, iskanje in soočanje več mnenj itd.), 3. »dodana vrednost« obiska (spodbujanje razmisleka o nadaljnjih ukrepih, izmenjave mnenj in idej v zavodu, osmišljanje, širši pogled itd 4. drugo: po lastni presoji. V nadaljevanju po sklopih povzemamo ugotovitve analiziranih zapisov. Pripravljenost in odnos zunanjih evalvatorjev Večina timov za zunanjo evalvacijo je imela vnaprej oblikovane urnike, ki so jih predhodno uskladili z zavodom in jih posredovali tudi opazovalcem zunanjih evalvacij. Nekateri timi za zunanjo evalvacijo so imeli urnik preveč podrobno zastavljen in razdrobljen, zato se ga niso uspeli natančno držati. Včasih je bilo zaradi organizacijskih zadev na zavodu potrebno urnik tudi sproti usklajevati in delno spremeniti, pri čemer pa so bili timi za zunanjo evalvacijo običajno precej fleksibilni. Ugotovitve kažejo, da je večina zunanjih evalvatorjev prišla na obisk zelo pripravljenih. Doma so si podrobno pregledali dokumentacijo zavoda (letni delovni načrt, poročilo o samoevalvaciji, publikacija, spletne strani ...), izdelali urnik obiska, si razdelili vloge pri sami izvedbi, se dogovorili o načinu dela (merjenju časa in zapisovanju) ipd. Opazovalci opažajo, da nekateri člani tima (tj. posamezniki) niso bili dobro pripravljeni na izvedbo razgovorov s predstavniki zavoda. Opazovalci so izpostavili pomembnost uvodnega srečanja z vsemi udeleženci zunanje evalvacije, kjer je praviloma vodja tima za zunanjo evalvacijo že na začetku sporočil namen obiska, predstavil tim za zunanjo evalvacijo in omenil oz. pojasnil vlogo opazovalca. Izkazalo se je, da sodelujoči iz evalviranega zavoda pred izvedbo zunanje evalvacije na njihovem zavodu običajno ne vedo, kaj lahko pričakujejo, zato je začetni razgovor z vsemi udeleženci zunanje evalvacije zelo dobrodošel, ker pozitivno vpliva na nadaljnji potek zunanje evalvacije. Večina zunanjih evalvatorjev se je na razgovore z udeleženci pripravila vnaprej. Tako so imeli večji del vprašanj že oblikovanih, pri tem so vprašanja postavljali smiselno, dosledno in organizirano, v povezavi s prebrano dokumentacijo in z namenom dodatne razjasnitve uvajanja izboljšav in samoevalvacije v zavodu. Kljub temu se je našel kakšen tim za zunanjo evalvacijo, ki je bil precej neusklajen. V timu so se tako na primer dogovorili, kdo bo postavljal vprašanja in kdo bo zapisoval, vendar se v nadaljevanju tega niso držali. Občasno se je zgodilo, da so drug drugega prekinjali ali posegali v besedo in tako na zunaj delovali precej nepovezano. Prav tako se je zaradi neusklajenosti vlog zgodilo tudi to, da je tehnika sprotnega zapisovanja več evalvatorjev hkrati v nekaterih trenutkih prekinila tok razgovora oziroma stik s sodelujočimi. Opazovalci navajajo, da so razgovori večinoma potekali v zelo prijetnem vzdušju in sproščeno. Zunanji evalvatorji so bili do evalviranega zavoda spoštljivi, pozitivno naravnani in spodbudni. Pri podajanju povratnih informacij so udeležence spodbujali k razmisleku o rešitvah nastalih dilem, težav in problemov. V pogovorih so zunanji evalvatorji večinoma aktivno poslušali in niso segali v besedo vprašanim, sproti so preverjali razumevanje povedanega in dobro povzemali odgovore. Pri zastavljanju vprašanj so spodbujali udeležence, da so lahko svobodno in brez zadržkov povedali svoje izkušnje. Vprašanja so bila povezana izključno s samoevalvacijo in z vpetostjo samoevalvacije v ostalo delo na zavodu. Vprašanja so bila jasna, konkretna, zahtevala so odgovore, ki pojasnjujejo zapisane ugotovitve v dokumentaciji. .z M "O iS <= o kd -z. -O Večina zunanjih evalvatorjev je med izvedbo zunanje evalvacije pokazala spretnosti, ki jih mora imeti vsak zunanji evalvator. Opazovalci pri tem navajajo, da so pokazali zmožnost empatije, vodenja pogovora, postavljanja primernih vprašanj in podvprašanj, povzemanja, vključevanja v pogovor ipd. Vprašanim so zastavljali vprašanja odprtega tipa in jim ponudili možnost, da so pojasnili svoje videnje problema. Med intervjuji je bila primerna tudi neverbalna komunikacija, pogosti so bili očesni stiki, prikimavanje, nasmehi ipd. Pogovori so potekali s prijetnim tonom, primerno jakostjo in hitrostjo. Govorica teles zunanjih evalvatorjev je bila ustrezna, nevsiljiva in sproščena. Znali so tudi pohvaliti dobro opravljeno delo in rezultate. Opazovalci so pohvalili tudi način komunikacije. Seveda pa je v smislu komunikacije med izvedbo zunanjih evalvacij bilo tudi nekaj izjem. Nekateri vodje in člani timov so več govorili in pojasnjevali kot spraševali. Kot zelo pozitivno so opazovalci ocenili to, da se je ob koncu izvedbe zunanje evalvacije, pred začetkom zaključnega pogovora na temo zaključkov in ugotovitev, vodja tima najprej zahvalil vsem sodelujočim in jih vprašal, če so bila njihova pričakovanja uresničena ter kako so se počutili med samo izvedbo zunanje evalvacije. Zgodilo se je tudi to, da tim za zunanjo evalvacijo med potekom obiska ni oblikoval ugotovitev in priporočil. Tega niso naredili niti ob koncu obiska, ko bi morali evalviranemu zavodu oz. vsem udeležencem zunanje evalvacije sporočiti ključne ugotovitve za nadaljnje delo. 2 P O O Kot pomanjkljivost pa je bilo pri nekaterih zunanjih evalvatorjih zaznati dajanje sprotnih komentarj ev na podlagi lastnih izkušenj iz svojih vrtcev ali šol. To lahko prinaša potencialno nevarnost prevelikega subjektivnega vpliva in premajhnega spodbujanja razmisleka pri članih tima za samoevalvacijo, zato je pomembno, da zunanji evalvatorji niso vsiljevali svojega mnenja ali med intervjuji vrednotili odgovorov. i Vsebina obiska Zunanji evalvatorji so spraševali predvsem po začetnem stanju oz. po tem, zakaj in kako so si v zavodu izbrali določeno področje izboljšav. Preverjali so proces uvajanja izboljšave, cilje in spremljavo. Zanimalo jih je predvsem, kako tim za samoevalvacijo ve, da so prišli do določene izboljšave ter kakšna merila so uporabili pri spremljavi. Zunanji evalvatorji so se osredotočali na proces samoevalvacije, na način izbire ciljev, na odnos do samoevalvacije ter na vključevanje različnih deležnikov v proces samoevalvacije. Govorili so o vpetosti samoevalvacije v celotno šolsko delo in poenotenju skrbi za kakovost na ravni zavoda. Ponekod se je večina vprašanj nanašala bolj na razjasnjevanje posameznih dejstev kot na proces samoevalvacije, ki v zavodu poteka. Vsebina teh vprašanj se je v veliki meri navezovala na osebna zanimanja posameznih članov tima za zunanjo evalvacijo. Del vprašanj pa je bil kljub temu namenjen tudi procesu samoevalvacije in nastajanju poročila o samoevalvaciji. Zunanja evalvacija je pokazala, da so strokovni delavci s samoevalvacijo v glavnem razširili znanje glede spremljave prioritetnih ciljev, največ težav pa imajo pri postavljanju meril. Učitelji pri učencih opažajo napredovanje, torej izboljšanje dosežkov. Vsa opažanja pa zaenkrat izhajajo zgolj iz učiteljeve intuicije in še niso podkrepljena s potrebnimi podatki oz. dokazili. Zaposleni so pogosto sami ugotavljali, da proces samoevalvacije še ni dovolj vpet v šolsko delo ter da mu vsi učitelji še niso naklonjeni. Večinoma pa že zaznavajo pozitivne učinke samoevalvacije. Med razgovori so člani tima za samoevalvacijo pogosto sami ugotovili, kaj bi lahko še izboljšali in na kakšen način. »Dodana vrednost« obiska Sama priporočila so bila večinoma korektno podana in so spodbudila razmislek o nadaljnjih ukrepih, izmenjavo mnenj in idej v zavodu, osmišljanje samoevalvacije in širši pogled nanjo. Morda bi s strani zunanjih evalvatorjev bilo dobro, da bi izrekli tudi kakšno spodbudo ali pohvalo za do sedaj opravljeno delo v zavodu na področju samoevalvacije. Po drugi strani pa je težko reči, če so priporočila zunanjih evalvatorjev bila dovolj jasno izražena, saj precej evalvatorjev ni direktno spodbudilo razmisleka o nadaljnjih ukrepih ali izboljšavah, pač pa so v večji meri le potrjevali uspešnost doseženega. Po mnenju opazovalcev je dodano vrednost prinesel že sam obisk zunanjih evalvatorjev na zavodu, ker je sprožil razmislek in strokovno razpravo o delu in skrbi za kakovost ter o nadaljnjih aktivnostih — in spremembah. < O ■O o 33 0 1 O O O CD drugo Kar nekaj opazovalcev je izrazilo pobudo, da bi želeli pred izvedbo zunanje evalvacije tudi sami pregledati dokumentacijo zavoda. Na ta način bi lažje sledili vsebini celotnega obiska. Nekateri so se pred opazovanjem zunanje evalvacije že sami na spletni strani pozanimali o zavodu, kdo je ravnatelj, kakšen je zavod, kje se nahaja, koliko imajo učencev, kakšne so njihove dejavnosti itd. Želeli so dobiti občutek o sami ustanovi ter njeni vpetosti v lokalno okolje, saj je pomembno, da kot opazovalec zunanje evalvacije, kljub temu, da ni direktno vključen v izvedbo, pozna zavod, na katerem se izvaja zunanja evalvacija. Opazovalci opažajo, da v kolikor so bili člani tima za zunanjo evalvacijo predhodno udeleženci Usposabljanja za samoevalvacijo v okviru Šole za ravnatelje, so bolje razumeli proces samoevalvacije in posledično lažje zastavljali primernejša vprašanja. Poleg tega so opazovalci ocenili, da je zaradi dobrega poznavanja področja pomembno, da zunanji evalvatorji prihajajo iz iste ravni izobraževanja kot je zavod, na katerem izvajajo zunanjo evalvacijo. Opazovalci so med drugim poudarili, da bi jih bilo potrebno opolnomočiti glede dajanja povratne informacije o opravljenem delu zunanjih evalvatorjev po končanem obisku na zavodu. Menijo, da so zunanji evalvatorji to povratno informacijo ob koncu obiska pogrešali. V nadaljevanju bo potrebno razmisliti, kako vzpostaviti mehanizem, po katerem bo Šola za ravnatelje lahko presodila, kdo je po končanem Usposabljanju za zunanjo evalvacijo dejansko sposoben izvajati zunanjo evalvacijo in kdo ne. Na nekaterih obiskih se je namreč pokazalo, da temu niso vsi kos. Mogoče bi bilo potrebno večjo težo nameniti razmisleku, kako sestaviti oz. oblikovati time za zunanjo evalvacijo. Morda bi bilo potrebno že v sklopu usposabljanja posebno pozornost nameniti ugotavljanju tega, kdo ni ponotranjil koncepta zunanje evalvacije in se ga posledično v izvedbo ne vključi. N M ■0 i v (D CZ o a CL Z 33 M O" CL) A O "O N z I j C eD a O a O K < e v M a v V =T a o A O QJ e O n a V zaključku so povzete ključne ugotovitve poročila in podana nekatera priporočila za nadaljnji razvoj zunanjih evalvacij v nastajajočem sistemu ugotavljanja in zagotavljanja kakovosti vzgojno-izobraže- valnih organizacij (vrtcev in šol). • Zunanje evalvacije so bile izvedene skladno s predvidenim časovnim okvirom, za pripravo končnega poročila so evalvatorji od dneva obiska porabili v povprečju 19 dni. • Iz e-Poročil o izvedbi zunanjih evalvacij sledi, da evalvirani zavodi imajo letna poročila o samoevalvaciji in da je vpetost samoevalvacije v delovanje teh zavodov večinoma ustrezna. • Vodenje uvajanja in samoevalvacije je v evalviranih zavodih ustrezno oziroma skladno z opredeljenim naborom kazalnikov. Poudarek bo v prihodnje potreben predvsem še spodbujanju sistematičnega spremljanja, refleksije in vrednotenja na ravni ravnateljev in učiteljev ter izmenjavi dobre prakse v povezavi z doseganjem zastavljenih prednostnih ciljev v zavodih. Posebno pozornost velja nameniti tudi vključevanju drugih deležnikov, učencev, staršev idr. • Podrobnejši pregled ocen evalvatorjev o načrtnosti in sistematičnosti uvajanja izboljšav in samoevalvacije kaže na šibkost evalviranih zavodov pri določanju ustreznih meril za vrednotenje zastavljenih ciljev ter posledično zbiranje in analizo podatkov ter njihovo uporabo za nadaljnje načrtovanje in odločanje. • Rezultati zunanjih evalvacij kažejo, da je večina zavodov zastavljene cilje dosegla vsaj delno. Bolj kot na ravni dosežkov učencev pa opažajo spremembe v delovanju na ravni zavodov. V prihodnje bo tako potreben poseben poudarek spremljanju in doseganju rezultatov na ravni dosežkov učencev. • Večina zavodov za spremljanje in vrednotenje dosežkov učencev uporablja tudi rezultate nacionalnih in mednarodnih preverjanj znanja, večinoma jih lahko povezujejo tudi z izbranimi prednostnimi cilji. • Splošna končna ocena kaže, da evalvirani zavodi po vnaprej opredeljenih kazalnikih uvajajo izboljšave in izvajajo samoevalvacijo ustrezno ali odlično. Neustrezne prakse zunanji evalvatorji niso zaznali. • Iz poročil o zunanji evalvaciji je razvidno, da so priporočila evalvatorjev smiselno povezana s posameznimi vsebinskimi sklopi, pri čemer pa so določena priporočila premalo konkretna oz. presplošno zapisana in v takšni obliki zavodom pri nadaljnjem uvajanju izboljšav in samoevalvacije niso v veliko pomoč. Večina priporočil se vsebinsko osredotoča predvsem na izbiro meril, večjo stopnjo vključevanja drugih deležnikov (predvsem staršev in učencev) ter sprotno in sistematično spremljavo in vrednotenje uvajanja izboljšav in samoevalvacije. Prav tako so priporočila premalo usmerjena na raven rezultatov oz. dosežkov učencev. • Ocene evalviranih zavodov, evalvatorjev in opazovalcev kažejo na v povprečju ustrezno izvedbo zunanjih evalvacij, bo pa v nadaljevanju potrebno vsebinski okvir zunanje evalvacije dopolniti z naborom kazalnikov še na drugih področjih in poskrbeti za nadaljnje usposabljanje zunanjih evalvatorjev. • Zunanje evalvatorje bo potrebno opremiti s konkretnejšimi smernicami, kako opredeliti oz. pojasniti splošno oceno o uvajanju izboljšav in samoevalvaciji v zavodu. • V nadaljevanju bo potrebno vzpostaviti mehanizem, po katerem bo mogoče tudi presojati delo zunanjih evalvatorjev. Hkrati kaže, da je zelo pomembna sestava timov za zunanjo evalvacijo, torej v 2-3 članski tim povabiti ljudi, ki so zmožni skupnega dela in se pri delu dopolnjujejo. • V letu 2014 bo potrebno preizkusiti druge načine vključitev zavodov v zunanjo evalvacijo, kot je npr. naključni izbor iz baze zavodov. • Opredeliti je potrebno ponovne obiske na že evalviranih zavodih in s tem povezanim časovnim okvirom. Ob tem bo potreben tudi premislek ali ponovni obisk izvedejo isti zunanji evalvatorji, ki so že bili na določenem zavodu, ali je morda bolje tim za zunanjo evalvacijo zamenjati. .z M < Brejc, M. 2012. Priročnik za izvedbo zunanjih evalvacij za evalvatorje in evalvirane zavode. Kranj: Šola za ravnatelje. Brejc, M., in V. Poličnik. 2012. Poročilo o izvedbi zunanjih evalvacij 2012. Kranj: Šola za ravnatelje. Brejc, M., S. Gradišnik, L. Goljat Prelogar in A. Savarin. 2013. Poročilo o izvedbi zunanjih evalvacij: izvedba zunanjih evalvacij na zavodih, prijavljenih na javni razpis za zunanje evalvacije (november 2012). Kranj: Šola za ravnatelje. Brejc, M., A. Savarin in A. Koren. 2013. Usposabljanja za evalvacijo v šolah in vrtcih: Končno poročilo o izvedbi projekta Usposabljanje za uvedbo sistema ugotavljanja in zagotavljanja kakovosti vzgojno- CD QJ k Z3 izobraževalnih organizacij (vrtcev in šol)-uKVIZ. Kranj: Šola za ravnatelje. http://ukviz.solazaravnatelje.si/usposabljanja/koncno-porocilo-o-usposabljanjih/ Gradišnik, S., in M. Brejc. 2013. Zasnova in uvedba sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobraževalnih organizacij (vrtcev in šol)-KVIZ: Poročilo o drugem ciklu projekta. Kranj: M Šola za ravnatelje. r-= : o ro e http://kviz.solazaravnatelje.si/files/2013/09/KVIZ-porocilo-2-cikel-2013.pdf priloge Priloga A: Evalvirani zavodi Vrtec Mavrica Brežice Vrtec Kanal Vrtec Mengeš Vrtec Ig Vrtec Belokranjskega odreda Semič Vrtec Šenčur OŠ Kanal OŠ Trbovlje OŠ Danile Kumar OŠ Dragotina Ketteja Ilirska Bistrica OŠ Belokranjskega odreda Semič OŠ Antona Ukmarja Koper OŠ Vavta vas OŠ Fokovci OŠ Beltinci OŠ Sava Kladnika Sevnica OŠ Ivana Cankarja Ljutomer OŠ Koroška Bela Jesenice OŠ Šenčur OŠ Martina Konšaka Maribor IV. OŠ Celje OŠ Brinje Grosuplje OŠ Bogojina Gimnazija Kočevje Gimnazija Nova Gorica III. gimnazija Maribor Srednja trgovska šola Ljubljana Srednja tehniška šola Koper SŠ Črnomelj s s ^S e < v s i — v m r -> o CU j o ■O O 33 0 1 O O o CD Priloga B: Zunanji evalvatorji Simona Angelini Tatjana Leskovec Marija Lubšina Novak Darja Vidovič Metka Blatnik Alenka Budihna Slavka Crljen Breda Kerčmar Mojca Zavašnik Jože Bogataj Ivanka Stopar Dušan Vodeb Feodora Lužovec Kuburovic Vladimir Anžel Maja Skubic Avsec Jelka Bajželj Barbara Radič Nevenka Žlebnik Majda Piki Mojca Brglez Barbara Štante Tomaž Čeplak Albin Vrabič Sonja Kuželj Juhant Irena Rozman Danica Starkl Borut Hvalec Polona Učakar Aleksander Vrščaj Lidija Grmek Zupanc Nataša Sever Darja Babič Saša Markovič Milena Vidovič Nevenka Lamut Rafko Lah Mateja Postružnik Irena Prašnikar Špela Novljan Potočnik Mirko Žmavc Marija Osvald Novak Marjeta Košak Evgenija Peternel Alenka Helbl Dragica Šegula Primož Garafol Doris Kužel Majda Jurkovič Ana Kotnik Krajnc Irena Črešnar Milena Mali Primož Škofic Saša Kocijančič Mirjana Jelančič Nives Cek Nives Počkar Marko Jerebič Erna Žgur Nataša Glodež Jolanda Lazar Martina Kutnar Tadeja Jurkovič Tanja Rošer Anica Stare Hedvika Rosulnik Anita Malovič Marjeta Oman Jana Tavčar Alijana Kroflič Alma Požar < O ■O o 33 0 1 O O O CD Priloga 0: opazovalci Anita Ambrož Mateja Andrejčič Nada Barbarič Suzana Deutsch Nataša Djuzic Kunej Gabrijela Gregorič Manica Habjanič Gaberšek Polonca Kenda Inga Krusič Lamut Mojca Miklič Ernest Nemec Tatjana Novak Anica Novak Nada Paj Andreja Sabati Šuster Karmen Šepec Renata Škodnik Janez Šušteršič Tatjana Ažman Lidija Goljat Prelogar Sanja Gradišnik Peter Markič Mihaela Zavašnik Arčnik REPUBLIKA SLOVENIJA MINISTRSTVO ZA IZOBRAŽEVANJE, ZNANOST IN ŠPORT I Naložba v vašo prihodnost Operacijo delno financira Evropska unua Evropski sodatni sklad Sola za ravnatelje