10 Sodobna pedagogika/Journal of Contemporary Educational Studies Tanja Taštanoska Šolska samoevalvacija kot dejavnik šolske učinkovitosti v srednjem strokovnem izobraževanju (primerjalna študija primerov) Povzetek: Osrednji namen raziskave je bil proučiti procese samoevalvacije v slovenskih strokovnih šolah in njihovo povezanost s šolsko učinkovitostjo. Skozi primerjalno študijo primerov šol – dveh viso- ko in dveh nizko učinkovitih – smo z uporabo kvalitativnega in kvantitativnega pristopa izluščili ključ- ne razlike v šolskih kulturah in procesih samoevalvacije šol. Opravili smo polstrukturirane intervjuje s štirimi ravnatelji in 12 strokovnimi delavci ter v raziskovanje z vprašalniki zajeli 527 dijakov z vseh štirih vključenih šol. Z raziskavo smo pokazali na povezanost med temeljnimi predpostavkami šolske kulture in vsebino samoevalvacije ter umestitvijo tega procesa v delovanje šole. Na podlagi rezultatov smo oblikovali kulturni model šolske učinkovitosti ter priporočila za nadaljnji razvoj in podporo proce- sov samoevalvacije v slovenskem strokovnem izobraževanju. Ključne besede: samoevalvacija, učinkovitost v izobraževanju, šolska učinkovitost, šolska kultura, dodana vrednost UDK: 37.091.2 Znanstveni prispevek Tanja Taštanoska, Ministrstvo za vzgojo in izobraževanje, Urad za razvoj in kakovost izobraževanja, Sektor za kakovost in analize, Masarykova 16, SI-1000 Ljubljana, Slovenija; e-naslov: tanja.tastanoska@gov.si Let./Vol. 74 (140) Številka 3/2023 Str. 10-33 ISSN 0038 0474 11 Uvod Zakonska zahteva po izvajanju šolske samoevalvacije je v polju slovenskih edukacijskih politik za vse vzgojno-izobraževalne institucije v veljavi 15 let (Zakon o organizaciji in financiranju vzgoje in izobraževanja 2022, člena 48 in 49). Njena uvedba temelji na težnji po odmiku politik ugotavljanja in zagotavljanja kakovosti iz polja nadzora nad delom institucij in v njih zaposlenih k prenosu skrbi za ka- kovost na strokovne delavce, kar lahko pojmujemo kot »premik iz polja prevlad mehanizmov nadzora v polje vzpostavljanja mehanizmov varnosti« (Gaber in Kos Kecojević 2011, str. 8). V skladu s spoznanjem, da »ni smotrno pedagoške prakse podrobno urejati s centralnega mesta« (Medveš 2000, str. 11), izobraževalna poli- tika torej vse bolj stavi na zmožnost šol, da prek samoevalvacije same ugotavljajo in zagotavljajo kakovost. Pri tem pa ni povsem jasno, ali so šole to odgovornost zmožne avtonomno prevzeti na svoja pleča. Povečevanje avtonomije šol ob sočas- nem delovanju v pogojih tekmovanja za delež vpisane populacije dijakov je hkrati lahko razumljeno kot pritisk na šole, da prevzamejo odgovornost za lastno delo (Trnavčevič 2007). Namen članka je prispevati k poznavanju procesov šolske samoevalvacije, njihove umestitve v specifične šolske kulture ter povezanosti s šolsko učinkovitostjo, 1 pri čemer smo se osredotočili na šole, ki izvajajo programe srednjega strokovnega izobraževanja. Učinkovitost v izobraževanju Učinkovitost v izobraževanju razumemo kot uspešnost pri doseganju za- stavljenih ciljev. Strukturo izobraževalne učinkovitosti razumemo kot hierarhični 1 Šolsko učinkovitost smo v tej raziskavi operacionalizirali s pomočjo dodane vrednosti šol, ki zajema vidik učinkovitosti na polju kognitivnih učnih dosežkov. Redukcija učinkovitosti zgolj na ta vi- dik šolskega delovanja je posledica dejstva, da v Sloveniji ni sistemsko dostopnih virov o nekognitivnih izidih na ravni šol in zato teh ni bilo mogoče vključiti v vzorčenje v raziskavi. Pri tem je pomembno poudariti, da kognitivni učni izidi niso edini in tudi ne edini relevantni izidi izobraževanja in da je mogoče, da je posamezna šola različno učinkovita pri različnih vrstah izidov. Taštanoska 12 Sodobna pedagogika/Journal of Contemporary Educational Studies model medsebojno povezanih ravni delovanja, kjer imajo posamezne ravni kljub nadzoru višje ravni vendarle visoko stopnjo avtonomije pri svojem delovanju (Creemers in Kyriakides 2008; Kyriakides idr. 2021; Scheerens 2015). Višje ravni sistema predstavljajo kontekstualne preddoločenosti za nižje ravni sistema, izidi 2 nižjih ravni pa povratno vplivajo na višje ravni (Scheerens 2015). Učinkovitost, kot rečeno, razumemo kot uspešnost pri doseganju ciljev. Glede na dikcije te- meljne zakonodaje (Zakon o organizaciji in financiranju vzgoje in izobraževanja 2022, 2. člen in Zakon o poklicnem in strokovnem izobraževanju 2017, 2. člen) so cilji slovenskega strokovnega izobraževanja tako kvalifikacijski, socializacijski kot subjektivacijski, kot smotre izobraževanja strne Biesta (2010, str. 13). 3 Fokus članka je usmerjen na raven šole in na šolske izide. Scheerens kot najpomembnejše dejavnike, ki vplivajo na učinkovitost, navaja vodenje, organiza- cijo in šolske politike ter šolsko ekologijo. V slednjo umešča informacije o sestavi oddelkov in učiteljskega kolektiva, o šolski klimi, učnih gradivih in zunajšolskih dejavnostih. 2 Izidi (output) izobraževanja so lahko kognitivni, afektivni, psihomotorični, socialno-psiholo- ški in lahko imajo v nadaljevanju tudi dolgoročnejše posledice (outcome): ekonomske, socialne, zdra- vstvene itd. V hierarhičnem modelu lahko kot izid izobraževanja razumemo npr. posameznikove učne dosežke na posameznih predmetnih področjih, njegovo (učno) samopodobo, učno zavzetost, doseženo raven in vrsto izobrazbe, občutek vključenosti v družbo, vrednote, gibalno učinkovitost itd. Razredna ali oddelčna raven izidov je agregat izidov posameznika, ki obiskujejo posamezni oddelek. Šolski izidi so agregat izidov učencev, ki obiskujejo isto šolo. Sistemska raven je agregat izidov posameznikov na ravni nekega izobraževanega sistema. 3 Kljub temu širšemu diapazonu izobraževalnih smotrov tradicija raziskovalnega polja učinkovi- tosti v izobraževanju najpogosteje posveča pozornost predvsem kvalifikacijskemu vidiku, merljivemu z učnimi dosežki udeležencev izobraževanja, v aktualnem času pa vse bolj še z merami zaposljivosti diplomantov, kar lahko beremo kot podreditev sfere izobraževanja trgu dela (Laval 2005). Drugi razlog za tovrstno redukcijo raziskovalnega fokusa študij učinkovitosti v izobraževanju gre pripisati tudi dejstvu, da sistematično dostopnih in primerljivih podatkov o doseganju socializacijskih in subjektiva- cijskih ciljev izobraževanja pogosto sploh ni. Taštanoska 13 Slika 1: Integrirani večnivojski model učinkovitosti izobraževanja (Scheerens 2015) 4 4 Opomba k sliki: Črtkane puščice od ene do druge ravni sistema ponazarjajo vplive med različ- nimi ravnmi; povratne zanke potekajo od izidov vsake od ravni k okviru, ki vsebuje ekološke pogoje in politike na vsaki ravni, in od nižjih k višjim ravnem, vendar v modelu niso prikazane, da bi se izognili prekompleksni sliki. Šolska samoevalvacija kot dejavnik šolske učinkovitosti v srednjem ... 14 Sodobna pedagogika/Journal of Contemporary Educational Studies Dinamični model učinkovitosti v izobraževanju (Creemers in Kyriakides 2010) v središče dejavnikov na šolski ravni postavlja tudi evalvacijsko delovanje šol, kar je središče naše raziskave. Dodana vrednost kot mera učinkovitosti šol Dodana vrednost je razlika med statistično napovedanim dosežkom in dejanskim dosežkom posameznega učenca, pri čemer je statistično napovedani dosežek rezultat izbranega modela, ki opredeljuje odnos med predhodnimi in trenutnim dosežkom ter različnimi kontekstualnimi spremenljivkami, če so te vključene v model. Dodana vrednost šol se lahko ugotavlja kot agregirana vrednost mer dodane vrednosti za posamezne učence (povprečna dodana vrednost učenca na šoli) ali pa jo izračunamo iz statističnega modela (kot rezidual med dejanskim in napovedanim dosežkom šole) (Cankar v Gaber in Kos Kecojević 2011). Model dodane vrednosti torej omogoča ocenjevanje prispevka šole (učitelja, oddelka ali kakšne druge enote izobraževanja) k učnim dosežkom učencev (ali drugim izidom). Model vsebuje podatek o predhodni ravni določenega izida (npr. predmetnega znanja) in izhodni ravni. Omogoča primerjavo med šolami, ob tem pa vsebuje predpostavko, da so na šole vpisani enaki učenci in da struktura popu- lacije šol na dodano vrednost nima vpliva. Dileme oblikovanja modela, ki naj bi dal nepristransko oceno učinkovitosti šol, se nanašajo na identifikacijo in vključitev kontrolnih spremenljivk ter razpoložljivost podatkov, ki omogočajo korekcijo do- bljenih ocen učinkovitosti (npr. podatke o socialno-ekonomskem statusu učencev, posebnih potrebah, maternem jeziku itd.). Dodana vrednost kot mera učinkovitosti je tako mera, s katero lahko ocenjujemo učinkovitost šol in ki služi tako učencem z nižjimi začetnimi dosežki kot tistim z višjimi. Dodana vrednost je namreč podatek Slika 2: Dinamični model učinkovitosti v izobraževanju, dejavniki na šolski ravni (Creemers in Kyriakides 2010) Taštanoska 15 o relativnem napredku učečih se v določenem obdobju v nasprotju s podatkom o končnem dosežku ali npr. zaključeni ravni izobrazbe, ki ponuja informacijo o tistih, ki so dosegli neko minimalno zahtevano raven, pri tem pa ne vključuje informacije o predhodni ravni doseženega znanja (Meyer in Dokumaci 2015). Dodana vrednost je tudi mednarodno prepoznano merilo učinkovitosti izo- braževanja in šol. Poročilo ekspertne skupine OECD Merjenje izboljšav pri učnih dosežkih prepoznava »tri široke cilje šolske politike, ki jim uporaba modeliranja dodane vrednosti koristi: pobude za izboljševanje delovanja šol, spodbujanje od- govornosti šol in izbira šol s strani staršev« (Državni izpitni center, OECD 2012, str. 22). V Sloveniji javna objava podatkov o dodani vrednosti šol ni dovoljena, v nekaterih državah pa je predpisana praksa in na njej slonijo tako odločitve staršev in otrok o izbiri šole kot tudi ukrepi vzpostavljanja odgovornosti v sistemu zago- tavljanja kakovosti izobraževanja. Samoevalvacija kot instrument za ugotavljanje in zagotavljanje kako- vosti Samoevalvacija je ob različnih oblikah zunanje evalvacije in sistemov odgo- vornosti eno od orodij za ugotavljanje in zagotavljanje kakovosti v izobraževanju, vendar je odgovornost za izvedbo v domeni posamezne šole. Za namen naše raziskave smo samoevalvacijo v skladu z opredelitvami mnogih raziskovalcev (Chapman 2016, str. 58; MacBeath 2005; Musek Lešnik in Bergant 2001, str. 9; Vanhoof idr. 2011) opredelili kot sistematično dejavnost šole formativnega značaja, ki jo izvajajo njeni zaposleni, z namenom opisati, reflektirati, evalvirati in po pot- rebi izboljšati lastno delovanje. Predpostavili smo, da se šole razlikujejo tudi po kakovosti in uspešnosti sa- moevalvacijskih procesov, zato smo s pomočjo nabora teorije opredelili tudi temelj- ne značilnosti kakovostnega procesa samoevalvacije. Prva je nenehnost oziroma procesnost. Ponazorilo tovrstnega delovanja najdemo v Demingovem (1986) krogu, ki se v povratni zanki vrti med fazami: načrtuj – izvedi – preveri – ukrepaj (plan – do – check – act). Druga značilnost kakovostnega samoevalvacijskega procesa, ki je proces konstrukcije novega znanja, je kritična naravnanost v akcijo. Strinjamo se s Hopkinsom (2001), ki ugotavlja, da avtentičen proces samoevalvacije poraja naravnanost šole, ki je najbliže paradigmatskemu pristopu kritične teorije, ki jo Habermas (1972) umešča v emancipatorno modaliteto usvajanja novega znanja (prav tam, str. 301–317). Za kritično teoretsko paradigmo je značilna temeljna aktivnost (samo)refleksije s temeljnim interesom izboljšanja družbenega stanja. Osredinja se na proces učenja, intervencijo in opolnomočenje. Kot tretjo značilnost kakovosti samoevalvacijskega procesa smo prepoznali ciljno usmerjenost, saj se brez ciljev krog ne more zavrteti, kot četrto vključenost deležnikov, ki omogoča pridobivanje in soočanje različnih pogledov na kakovost. Kot zadnjo, peto značilnost smo prepoznali rabo podatkov. Tradicionalno razliku- jemo tri tipe rabe procesa zbiranja podatkov (Alkin in King 2016): instrumentalno, konceptualno in simbolno. Simbolna raba je navadno povezana z zbiranjem podat- Šolska samoevalvacija kot dejavnik šolske učinkovitosti v srednjem ... 16 Sodobna pedagogika/Journal of Contemporary Educational Studies kov za izkazovanje odgovornosti (accountability) v procesih zunanje evalvacije, medtem ko sta konceptualni in instrumentalni tip bliže namenom samoevalvacije in uvajanja izboljšav. Izraelska raziskovalca Aderet-German in Ben-Perez (2020) dodajata četrti tip, ki je lahko ključen pri premagovanju učiteljskega odpora in graditvi pozitivne šolske kulture za rabo podatkov. To je tip rabe, ki ga poimenu- jeta pozitivna okrepitev. Praktična implikacija pozitivne okrepitve s pomočjo po- datkov, ki kažejo na močne plati šolskega delovanja, je torej potencial, da spodbuja nadaljevanje samoevalvacijskih prizadevanj. Šolska kultura Procesi šolske samoevalvacije so umeščeni v šolske kulture. Študije izbolj- ševanja šol (school improvement) so organizacijsko kulturo šole prepoznale kot ključni dejavnik za uspešno izboljšanje poučevanja in učenja (Cameron in Quinn 2011; Fullan 2001; Schoen 2005). Kot ustreznega prepoznavamo Scheinov model organizacijske kulture, ki združuje koncepta kulture in klime kot dve ravni istega konstrukta. Organizacijska kultura se manifestira na treh različnih ravneh, prek artefaktov in praks, prek izraženih vrednot in prepričanj ter prek temeljnih pred- postavk (prav tam, str. 24). Z združevanjem in primerjanjem različnih pristopov so raziskovalci (Schoen in Teddlie 2008) poleg ravni identificirali tudi dimenzije kulture, ki jih najdemo tako na ravni temeljnih predpostavk kot na ravni organizacijske klime. Dimenzije, ki so jih prepoznali, so profesionalna orientacija, organizacijska struktura, kako- Slika 3: Relacija ravni šolske kulture do ravni organizacijske kulture po Scheinovem modelu (Schoen in Teddlie 2008, str. 138) Taštanoska 17 vost učnega okolja in šolska osredotočenost na učence (prav tam). Dimenzija profesionalne orientacije poleg vključenosti učitelja v profesionalni razvoj, odnosa do osebnega in kolektivnega profesionalnega razvoja ter sodeloval- nosti učiteljev vključuje tudi učiteljeva pričakovanja do učencev, odnos do uvajanja sprememb, občutek samoučinkovitosti in motivacijo. Dimenzija organizacijske strukture vključuje tip vodenja, vprašanje, kdo je vpet v vodstvene dejavnosti, kako poteka oblikovanje vizije in ciljev šole. Dimenzija kakovosti učnega okolja zajema možnosti učencev za vključevanje v dejavnosti, ki imajo zanje smisel in jim ponujajo primeren kognitivni izziv ter socialno vključenost. Dimenzija osre- dotočenosti na učence se nanaša na obseg prilagoditve šolskega programa, politik, ritualov potrebam posameznega učenca. Po pregledu literature smo ugotovili, da zadnje dimenzije (osredotočenosti na učence) operativno ni smiselno obravnavati ločeno od prvih treh. Kaže se namreč kot njihov ključni integralni del, in sicer na samem presečišču vseh treh. Raziskovalna vprašanja Naš cilj je bil ugotoviti, kako je proces samoevalvacije umeščen v šolsko kul- turo in kako je povezan z učinkovitostjo šole. Želeli smo ugotoviti, ali so katere od komponent šolske kulture determinante kakovosti procesa samoevalvacije in ali je kakovost procesa samoevalvacije povezana s šolsko učinkovitostjo. Namen prispevka je prikazati odgovore na vprašanje, kako se v šolah z visoko in nizko dodano vrednostjo razlikuje(jo): – organizacijske šolske kulture in klime, še zlasti glede dimenzij: – profesionalne orientacije, – organizacijske strukture in – kakovosti učnega okolja, – ter procesi samoevalvacije. Metodologija Slika 4: Raziskovane dimenzije šolske kulture Šolska samoevalvacija kot dejavnik šolske učinkovitosti v srednjem ... 18 Sodobna pedagogika/Journal of Contemporary Educational Studies Uporabili smo primerjalno multiplo študijo primerov, pri čemer je kot posa- mični primer obravnavana ena šola. Izvedli smo jo s pomočjo zajema kvalitativnih in kvantitativnih podatkov na štirih šolah. Sledili so analiza podatkov, štirje zapisi študije primera ter sinteza ugotovitev v obliki primerjalnega opisa. Zajem vseh podatkov je potekal v maju in juniju 2022. Šolsko učinkovitost smo operacionalizirali glede na kognitivne izide, saj primerljivih afektivnih in podobnih izidov v slovenskem prostoru ni na voljo. Pri opredelitvi mere učinkovitosti smo želeli zajeti več kot absolutni končni šolski rezultat, saj menimo, da ima presojanje učinkovitosti ustanove glede na končni dosežek zgolj po absolutni vrednosti več pomanjkljivosti. Kot mero učinkovitosti smo opredelili povprečno razliko v dosežkih dijaka od vstopa v izobraževalno ustanovo do zaključka šolanja – dodano vrednost (DV) šole, ki je tudi mednarodno prepoznano merilo učinkovitosti izobraževanja in šol. Uporabljeni model DV ne upošteva korekcijskih spremenljivk, kot je npr. socialno-ekonomski status učenca. Uporabili smo povprečno DV učenca na šoli, izračunano iz dosežkov pri mate- matiki in slovenščini na NPZ v 9. razredu in pri poklicni maturi. Izbrali smo mero, ki v slovenskem prostoru ni namenjena informiranju in sodbam javnosti, temveč je njena funkcija omogočiti formativno povratno informacijo šolam. Uporabljene DV so šolam za lastno uporabo na voljo prek Državnega izpitnega centra. Vzorec Izbor šol za študije primerov 5 V vzorec so bile vključene štiri šole, ki izvajajo strokovne programe. Glede na DV pri poklicni maturi v spomladanskih rokih 2019, 2020 in 2021 smo jih opredelili kot šole z visoko (V1 in V2) ali šole z nizko (N1 in N2) DV . Podatke o DV so nam posredovale šole same. Od Državnega izpitnega centra smo pridobili podatke o mejah kvintilov DV za populacijo vseh šol, ki so izvajale poklicno maturo in so imele na spomladanski rok prijavljenih več kot pet kandidatov za posamezno šolsko leto za posamezen predmet – matematiko in slovenščino v zadevnih letih. Na podlagi teh podatkov smo vključene šole umestili v kvintilne skupine glede na DV (vrednost 1 predstavlja kvintilno skupino šol z najnižjo DV , vrednost 5 pa šole z najvišjo DV) in izračunali povprečno triletno kvintilno umestitev. 5 Za več informacij o vzorcu izbranih šol glej tudi Prilogo 1. Vse priloge k članku so objavljene na spletni strani revije Sodobna pedagogika. Taštanoska 19 Šola V1 V2 N1 N2 Skupni povprečni kvintil 2019–2021 4,33 5,00 2,50 2,83 Preglednica 1: Opis vzorca štirih šol glede na merilo dodane vrednosti Vzorec strokovnih delavcev z izbranih šol Na vsaki šoli smo izvedli polstukturirani intervju z ravnateljem/-ico in tremi strokovnimi delavci: vodjo komisije za kakovost, sodelavcem/-ko v kolektivu z najkrajšim stažem na šoli ob pogoju, da na šoli dela vsaj eno šolsko leto, in sode- lavcem/-ko v kolektivu z najdaljšim stažem. Vzorec dijakov z izbranih šol Podatek o številu dijakov v posameznem letniku strokovnih programov smo pridobili od ravnateljev šol. Skupno je na anketni vprašalnik odgovorilo 527 respondentov. Šola Število dija- kov, 1. letnik Število so- delujočih v anketi, 1. letnik Delež odzi- va, 1. letnik Šte- vilo dija- kov, 4. letnik Število so- delujočih v anketi, 4. letnik Delež odzi- va, 4. letnik Skupaj dijakov Skupaj sodelujo- čih Skupaj delež odziva V1 268 171 63,81 % 268 116 43,28 % 536 287 54 % V2 80 34 42,50 % 62 35 56,45 % 142 69 49 % N1 58 46 79,31 % 47 36 76,60 % 105 82 78 % N2 88 53 60,23 % 67 36 53,73 % 155 89 57 % Sku- paj 494 304 61,54 % 444 223 50,23 % 938 527 56 % Preglednica 2: Opis vzorca dijakov Instrumenti Spletni vprašalnik za dijake je vseboval 33 vprašanj in 122 spremenljivk. Vsebinsko so se vprašanja nanašala na demografske podatke in druge postavke. V tem članku se bomo osredotočili na vidike kakovosti učnega okolja, ki so vključeni Šolska samoevalvacija kot dejavnik šolske učinkovitosti v srednjem ... 20 Sodobna pedagogika/Journal of Contemporary Educational Studies v postavke pripadnost šoli, povezanost s sošolci, povezanost z učitelji, zadovolje- vanje potrebe po kompetentnosti, ocena vedenj učiteljev, ki spodbujajo dijakovo avtonomijo, izostajanje od pouka, doživljanje nadlegovanja sošolcev/medvrstni- škega nasilja, nespodbudna vedenja učiteljev, somatske in psihične težave ter ocena občutka zaradi pritiska dela za šolo. Kot kvalitativni instrument za zbiranje podatkov smo uporabili polstrukturirani intervju. Glavne teme so se navezovale na šolsko kulturo s poudarkom na temeljnih predpostavkah in vrednotah, profe- sionalno orientacijo, organizacijsko strukturo, zaznano kakovost učnega okolja, usmerjenost na posameznika ter proces samoevalvacije. Obdelava podatkov Statistično analizo smo izvedli s programom SPSS 22. Mejo za statistično pomembnost razlik smo glede na obstoj pogojev za posamezen test razlike med skupinami ugotavljali s preskusom x 2 ali Kullbackovim testom. Pri ordinalnih spremenljivkah smo glede na nenormalnost porazdelitve pri vseh spremenljivkah za ugotavljanje razlik med šolami uporabili Kruskal-Wallisov neparametrični test za ugotavljanje razlik med skupinami. Tako ugotovljene razlike med skupinami smo dodatno testirali in potrdili s post-hoc Dunnovim testom. Z združevanjem postavk v vprašalnikih za dijake smo ustvarili več različnih dimenzij. Pred obde- lavo smo preverili zanesljivost ustvarjenih dimenzij z izračunom Cronbachovega koeficienta alfa. Izračun je za izdelane dimenzije pokazal odlično α ≥ 0,9 ali dobro 0,7 ≤ α < 0,9 zanesljivost. V okviru kvalitativne analize podatkov smo analizirali dva tipa kvalitativnih virov podatkov: šolske dokumente, povezane z ugotavljanjem in zagotavljanjem kakovosti na šoli, ki so jih po lastni presoji predložile vzorčene šole, in polstruk- turirane intervjuje z ravnatelji in strokovnimi delavci na šolah. Na predloženih šolskih dokumentih smo izvedli vsebinsko analizo, polstrukturirane intervjuje pa smo analizirali z večstopenjskim postopkom kodiranja. Začeli smo z odprto meto- do kodiranja in nadaljevali z vrednotnim kodiranjem (Saldaña 2013, str. 110–115). Rezultat odprtega kodiranja je bil 564 kod v 1587 citatih. Temu koraku je sledil nov krog osredotočenega kodiranja (Saldaña 2013, str. 213–217; Vogrinc 2008, str. 65), s katerim smo združevali sorodne kode in sočasno definirali relevantne pojme. Naposled smo oblikovali in definirali kategorije (Vogrinc 2008, str. 61). Rezultati Kot rezultat kvalitativne analize intervjujev smo izluščili tri glavne katego- rije: – vrednote, – organizacijsko učenje s podkategorijama vodenje in učeča se skupnost ter – samoevalvacija. Taštanoska 21 Kategorija Podkategorija Kode Vrednote / Koncept učinkovitosti Koncept kakovosti Eksplicitno izražene vrednote šole Implicitno izražene vrednote šole Dogodki šole Čarobna palica Organizacijsko učenje Vodenje Cilj šole po mnenju ravnatelja Značilnosti vodenja Personalni cilj ravnatelja Formalne skupine na šoli Učeča se skupnost Profesionalni razvoj Profesionalno sodelovanje Projektno sodelovanje Komunikacija Klima med strokovnimi delavci Pričakovanja do strokovnih delavcev Reševanje težav Samoevalvacija Proces samoevalvacije Komisija za kakovost Podatki Uvajanje sprememb Preglednica 3: Rezultati kvalitativne analize – odprtega kodiranja intervjujev z ravnatelji in strokovnimi delavci; kategorije, podkategorije in kode Ugotovili smo, da se konceptualizacije kakovosti in učinkovitosti v okviru šolske kulture umeščajo na raven temeljnih predpostavk, z njimi pa so povezane tako eksplicitno kot implicitno izražene vrednote, ki usmerjajo organizacijsko delovanje in se izražajo v različnih dimenzijah šolskih kultur ter utelešajo tudi v umestitvi samoevalvacijskih procesov v šolsko kulturo. Konceptualizacijo kakovosti in učinkovitosti, medsebojno povezanost teh dveh konceptov in njuno povezanost z vrednotami šole smo prepoznali kot osnovno razlikovalno značilnost med kulturami učinkovitih in neučinkovitih šol. 6 V kulturah obeh šol z visoko DV sta koncepta kakovosti in učinkovitosti po- vezana, primarno usmerjena v učne dosežke (npr. V2DS: 7 »Ja, učinkovitost precej je seveda na uspehu, […] mislim, da ta procent, ta številka uspešnih dijakov nam kar nekaj pove.« in V2KS: »[…] se itak kakovost kar hitro z učinkovitostjo običajno pokaže«), sekundarno pa v druge vidike dobrobiti dijakov in zaposlenih (npr. V1R na vprašanje, kako razume kakovost, odgovarja: »[…] da najde svoje mesto, da se razvije, da ga nekdo sliši na tej šoli«) ter skladna z implicitno in eksplicitno izraženimi vrednotami šole (npr. V1KS: »Kakovosti je pa cilj. Učinkovitost je tista, kako mi učinkovito delujemo čez leta […], da pridemo do tiste neke kakovosti na 6 V Prilogi 2: preglednica S kvalitativno analizo intervjujev identificirani ključni pojmi v kate- goriji: »vrednote« pod kodami koncept učinkovitosti, koncept kakovosti, eksplicitno izražene šolske vrednote in implicitno izražene šolske vrednote, dogodki šole in čarobna paličica. 7 V nadaljevanju navajane citate iz intervjujev kodiramo govorce s šolo (V1, V2, N1, N2) in vlogo – vodja komisije za kakovost VK, sodelavec z najkrajšim stažem KS, sodelavec z najdaljšim stažem DS, ravnatelj R. Npr. ravnatelj v šoli V2 je kodiran kot V2R. Šolska samoevalvacija kot dejavnik šolske učinkovitosti v srednjem ... 22 Sodobna pedagogika/Journal of Contemporary Educational Studies koncu […]. To, kar smo mi želeli pripeljat in to, kar smo mi želeli od njih, ne samo strokovno znanje, to empatijo, to spoštovanje … da čutijo človeka, ki ga imajo pred sabo… Je pa, da pridemo do te meje kakovosti na šoli, potrebna en tak velik krog, ki se ves čas obrača in se ne ustavi. In če se kdaj ustavi, ga moramo skupaj popraviti, pa pustimo, da gremo naprej.«). Temu sledi tudi organizacija procesov, ki ugotavljanje in zagotavljanje kakovosti organsko umešča v letno načrtovanje šole, na kar kaže več dokazov – analiza intervjujev, v katerih delavci šole in ravnatelja navajajo, da samoevalvacija poteka v sklopu rednega letnega načrtovanja (npr. V2R: »Spremljanje kakovosti smo izvajali primarno že v sklopu vsakega projekta ali pa vsake aktivnosti, ki jo opravljamo. […] In potem to nekak zberemo, s tem da se pa to spet zbere v letnih poročilih na konferencah se predstavi, pa se zato spet vse spet zmenimo. Zato se mi zdi, da v nekem poročilu komisije za kakovost spet na novo neke tabele, pa grafe, pa spet en dokument, odveč, no … je tisti ključni dokument [letni delovni načrt, op. avt.], po katerem nekak delamo. No, pa se nam zdi tudi bistven. In ker se mi zdi, … ko ga pripravljamo, se naredi nek celovit premislek nad vsem skupaj.«), dejstvo, da sta šoli ob pozivu, da predložita dokumente, ki so povezani z ugotavljanjem in zagotavljanjem kakovosti, predložili poročili o realizaciji letnega delovnega načrta, ki vsebujeta tudi vsebine, povezane s samoevalvacijo – cilje, oceno doseganja ciljev, načrt izboljšav. V kulturah šol z nizko DV sta koncepta kakovosti in učinkovitosti manj razdelana in neujemajoča se, še posebno do koncepta učinkovitosti smo zaznali odklonilen odnos ali odnos nelagodja (npr. N1DS: »Učinkovitost je mogoče mal težje zmerit. Ne vem, ali je to učinkovitost, ko mi na koncu seštevamo svoje procente, … kolk, kdo doseže.« in N1VK v odgovoru na vprašanje, ali se na šoli pogovarjajo o učinkovitosti, kaj za njih pomeni učinkovitost: »Ne da bi bila jaz je prisotna pri kakih razgovorih.«, rav- nateljica na tej šoli pa na vprašanje o pogovorih o učinkovitosti odgovarja s topiko promocije in vpisa: »Ja, seveda. Seveda se pa pogovarjamo tudi o učinkovitosti. Že pri tem, ko v bistvu izvajamo ene delavnice za osnovnošolce, se sprašujemo po tem, ko ti dijaki se vpišejo k nam, koliko smo bili dejansko učinkoviti ali smo jim uspeli predstaviti vse tisto, kar želimo, pa kar pri nas že živimo.«). Na ravni implicitno in eksplicitno izraženih vrednot v teh dveh šolah smo zaznali večjo usmerjenost v odnosne vidike šolskega delovanja kot v učne dosežke, poudarjena je vrednota prijaznosti šole (npr. N1VK: »Poskušam biti ustrežljiva, če se le da … Če desetkrat popravljajo, pa desetkrat popravljajo … se trudimo, da bi bili prijazni, da bi dijakom omogočili, da tu razvijajo … te osnovne vrednote […] smo zelo taka prijazna šola.«, N1KS: »Meni se zdi, da se zelo veliko na šoli da na dobro odnosov med profesorji in dijaki.« in N1R: »Karakterno smo ljudje različni in pač jaz imam, jaz pravim, v službi preživi človek največ časa in tu ti mora biti prijetno. Zato se mi zdi toliko bolj pomembno, da skrbimo, da nam je v šoli fajn in radi gremo v službo.«). Šolska samoevalvacija v teh šolah poteka v paralelnem procesu letnega načrtovanja, kar dokazujejo odgovori ravnateljev in strokovnih delavcev o organizaciji letnega načrtovanja in obrobnem delovanju komisije za ka- kovost (npr. N1VK: »Ni pa to neka jedrna dejavnost na šoli. Ni. (smeh nelagodja) Je pač treba narediti – v tem smislu.«), pa tudi dejstvo, da sta šoli ob pozivu za predložitev dokumentacije o ugotavljanju in zagotavljanju kakovosti predložili le Taštanoska 23 ločeni samoevalvacijski poročili, ki nista povezani z letnim delovnim načrtom in poročilom o realizaciji letnega delovnega načrta. Razlike v dimenziji profesionalne orientacije smo izluščili s kvalitativno analizo intervjujev, predvsem v kategoriji vrednote 8 in podkategoriji učeča se skupnost v kategoriji organizacijsko učenje. 9 V šoli N2 v intervjujih nismo zaznali eksplicitno in implicitno izraženih vrednot, povezanih s sodelovanjem strokovnih delavcev, medtem ko je v drugi šoli z nizko DV , šoli N1, sodelovanje kot vrednota ter primarni fokus na odnose in povezanost kolektiva razvidno na več ravneh šolske kulture, tako med temeljnimi vrednotami kot na ravni klime in običajev skupnostnega delovanja (izleti, skupno pitje kave, srečevanja v zbornici, skupni dopusti; npr. N1VK: »Ja, čeprav zdaj po covidu se zdi, da se je malo spremenilo. Včasih je bila vedno polna miza, tam pa je vsak kaj prinesel. Zdaj, ko sem gledala, so tudi češnje, dve skledi … Tako, da se vrača nazaj v predkoronske čase. Spet to druženje v tej mali zbornici […] nas je [bolj povezanih, v kolektivu skupno 27 op. avt.] deset. Gremo skupaj na morje, tudi.«). Razlika, ki smo jo prepoznali v dimenziji profesionalne orientacije med šolama z visoko (V1 in V2) in šolo z nizko DV (N1), se kaže predvsem v fokusu sodelovanja – pri šolah z visoko DV sta namreč sodelovanje in usposabljanje bolj eksplicitno postavljena v funkcijo učnih dosežkov (npr. o sodelovanju V1DS: »Zelo se trudimo, da bi te strokovno teoretični oziroma splošno teoretični predmeti sode- lovali s strokovnimi predmeti. Tudi sama sem v dogovoru s kolegicami, da bomo delale medpredmetne povezave, zato da se to profesionalna mnenja izmenjujejo, pa tudi da se dijaki, ker se jim zdi malo drugačen način poučevanja, da si bolj stvari zapomnijo.« in o ciljih usposabljanja V2DS: »[...] kakšne novosti na maturi. To mi je zelo pomembno, da dijake pripravljam točno na to, kar zdaj se specifično tam dogaja.«), medtem ko je v šoli N1 sodelovanje bolj usmerjeno v dobro počutje vseh udeleženih, tam je tudi izjemno tesno povezan kolektiv. Razlike v organizacijski strukturi šolske kulture smo ugotavljali z analizo in- tervjujev s strokovnimi delavci in ravnatelji, pri tem smo se osredotočili predvsem na vodenje, ciljno naravnanost, možnosti za vključevanje zaposlenih v odločanje, obstoj formalnih skupin na šoli 10 in po presoji intervjuvancev pomembne šolske dogodke 11 ter značilnosti šole. 12 8 Glej Prilogo 2, preglednico S kvalitativno analizo intervjujev identificirani ključni pojmi v ka- tegoriji »vrednote«. 9 V Prilogi 3 preglednica S kvalitativno analizo intervjujev identificirani ključni pojmi v podka- tegoriji »učeča se skupnost« pod kodami profesionalni razvoj, profesionalno sodelovanje, klima med strokovnimi delavci in pričakovanja do strokovnih delavcev. 10 V Prilogi 4 preglednica S kvalitativno analizo intervjujev identificirani ključni pojmi v podka- tegoriji »vodenje« pod kodami cilj šole glede na ravnatelja, značilnosti vodenja, osebni cilj ravnatelja in formalne skupine na šoli in preglednica S kvalitativno analizo intervjujev identificirani ključni pojmi v samostojni kodi značilnosti šole. 11 V Prilogi 2 preglednica S kvalitativno analizo intervjujev identificirani ključni pojmi v katego- riji »vrednote« vključuje ključne pojme pod kodo dogodki šole in čarobna paličica, relevantne za analizo razlik med šolami v organizacijski strukturi. 12 V Prilogi 4 preglednica S kvalitativno analizo intervjujev identificirani ključni pojmi v samos- tojni kodi značilnosti šole. Šolska samoevalvacija kot dejavnik šolske učinkovitosti v srednjem ... 24 Sodobna pedagogika/Journal of Contemporary Educational Studies S kvalitativno analizo intervjujev smo ugotovili, da je eden od pomembnejših kontekstualnih dejavnikov, ki vpliva na cilje in vodenje šole, položaj glede zago- tavljanja vpisa dijakov. Dve od štirih izbranih šol – šola z najvišjo DV , V2, in šola z najnižjo DV , N1 – namreč glede na odgovore, pridobljene v intervjujih z ravnatelji in strokovnimi delavci, občutita upad vpisa dijakov kot grožnjo za lasten obstoj, v šoli N2 pa ta problem opažajo v delu programov (npr. N1R: »Vpis je tako, zelo niha […] Ampak to je generalni problem po vseh slovenskih šolah, ki izvajamo te programe. Da je tu bil precejšen upad.«, učiteljica z najdaljšim stažem v isti šoli: »Danes poučujem strokovne module v gostinstvu, ker takrat se je nekak ugotovilo čez leta, da tele ‚gospodinjske storitve‘ tak negativen prizvok in je blo vseskozi en problem z vpisi« ali na vprašanje o osebnem cilju ravnatelja V2R: »[…]Seveda pa je delo v teh časih, ko so številke vpisov zelo pomembne, mi je glavno to, da ohranjam zaposlitev […] da je šola prepoznavna, da smo uspešni, da bomo imele dovolj vpisa, bomo rekli.«). Medtem imajo v šoli V1 na vseh programih omejitve vpisa. Kvazitržna pozicija javnih šol (Apple 2004), ki skozi vpis prek »lump sum« financiranja ohranjajo lasten obstoj, usmerja vodstvene in druge človeške resurse v promocijo. Prežemajoči vpliv marketizacije (Trnavčevič 2007) lahko v šolah N1 in V2 razberemo tako iz ciljev šol, personalnih ciljev ravnateljev, v kategoriji vred- note, kjer bi zaposleni s »čarobno palico« reševali problem zadostnega vpisa, ter v poudarku na pomenu informativnega dne kot pomembnega dogodka v šolskem življenju (npr. N1VK: »Promocija se mi zdi, je na vrhu, promocijska aktivnost, med temi dogodki, ki smo jih prej omenjali, se mi zdi, da se zelo vse usmerja v to promocijo.«). Trem šolam z zaznanim vsaj delnim pomanjkanjem vpisa, N1, V2 in N2, je skupno tudi oblikovanje formalnih skupin za promocijo. Hkrati pa lahko ugotovimo, da razlika v DV med šolami, torej učinkovitost šole, ni povezana z usmeritvijo šole v promocijske aktivnosti. Slika 5: Vpliv kvazitržne pozicije šol na usmerjenost organizacijske dimenzije šolske kulture v promocijo Taštanoska 25 V intervjujih smo razlikovalno prakso pri vključevanju strokovnih delavcev v odločanje zaznali v šoli V1, kjer so učitelji poročali, da vodstvo strukturirano ponuja priložnosti za vključevanje strokovnih delavcev v odločanje pri oblikovanju krovnih smernic delovanja šole (npr. V1DS: » […] se oblikuje ena skupina, ki vse predloge pregleda, pripravi nek osnutek. Se ta osnutek potem predstavi celotnemu učiteljskem zboru. Potem se upošteva pripombe ustne in potem je še nek rok, z njim določi, do kdaj se lahko pošlje tudi pisne pripombe […] To je nek proces, ker se pri nas dalj časa oblikuje … In vsaj jaz bom rekla, imam občutek in verjamem, da vsi moji kolegi, da lahko vplivamo mi na to in da se je potem to tudi... upoštevalo.« V šoli V1 so tudi oblikovali formalno skupino za podporo razrednikom, česar nismo srečali na nobeni od preostalih šol. V šoli N2 smo prek intervjujev zaznali, da od- govori strokovnih delavcev kažejo v smer manj distribuiranega in bolj centralnega stila vodenja (npr. N2DS: »Mislim, da da drugače, kot je, ne more biti. Ker sem na šoli, se morajo vsi zaposleni zavedati, kdo je vodja, kdo je direktor, kdo ima najvišjo odgovornost in kdo je na čelu.«). Analiza zbranih podatkov, prek katerih smo z mnogih različnih zornih kotov osvetlili organizacijsko dimenzijo šolske kulture, vključujočo vodenje, kaže pravza- prav precej nejasno sliko glede razlikovanja med učinkovitimi in neučinkovitimi šolami v tej dimenziji šolske kulture. Večkrat se v primerjavi te dimenzije zdi, da sta si med seboj bolj podobni šoli, ki sodita v različni kategoriji učinkovitosti, kot obratno. Tudi v naši raziskavi se torej ponavlja to, kar so ugotovili že nekateri pred nami (Hattie 2009; Day in Sammons 2013, str. 35), da ni mogoče pokazati na neposredno povezanost med načini vodenja in organizacijsko strukturo ter učnimi dosežki. Kvalitativni pristop je omogočil poglobljen vpogled v vsebino ciljev šole in cilje ravnatelja ter značilnosti vodenja. Opazili smo, da sta oba ravnatelja višje učinkovitih šol kot eno od značilnosti svojega vodenja navedla vodstveno konsis- tentnost z namenom doseganja razvojnega napredka pri delovanju pedagoških delavcev, ki vključuje »vztrajanje pri nepriljubljenem« (npr. V2R: »V tem trenutku bomo nadaljevali z nekaj nadgradnje teh inovativnih pedagogik. Formativno spremljanje, čeprav ta je beseda zelo nepriljubljena, ampak neki sodobni učni pristopi, sodobni pristopi k učenju. To področje formativnega se zdi, da bomo tu delali.«). Z vidika ciljev šole, kot jih opredeljujejo ravnatelji, smo, skladno s temeljnimi vrednotami teh šol, 13 opazili razliko v vsebini fokusa šolskih ciljev med paroma bolj in manj učinkovitih šol. V višje učinkovitih šolah se bolj eksplicitno usmerjajo na učne dosežke, prav posebej tudi na dosežke na maturi (v V1 zastavl- jajo tudi jasne številčne cilje) kot v nižje učinkovitih šolah, kjer je fokus ciljev bolj splošen. Raziskovanje dimenzije kakovosti učnega okolja smo izvedli prek vprašalnika za dijake. Odkrili smo vrsto statistično pomembnih razlik, nismo pa ugotovili sta- tistično pomembnih razlik v počutju dijakov in zadovoljstvu dijakov z življenjem. 13 Glej Prilogo 2, preglednico S kvalitativno analizo intervjujev identificirani ključni pojmi v kategoriji »vrednote«. Šolska samoevalvacija kot dejavnik šolske učinkovitosti v srednjem ... 26 Sodobna pedagogika/Journal of Contemporary Educational Studies Statistično pomembne razlike med šolami smo prepoznali za naslednja področja: 14 – občutek pritiska zaradi dela za šolo (p 0,024), – izostanki od pouka: – izostajanje za ves dan (p 0,012), – izostajanje za posamezno uro (p 0,000), – nespodbudna vedenja učiteljev, statistična razlika pri postavkah: – profesorji/-ice so moje znanje ocenili strožje kot znanje drugih dijakov/-inj (p 0,003), – profesorji/-ice so mi pred drugimi rekli/-e kaj žaljivega (p 0,039), – pozitivna povezanost z učitelji (p 0,000), – nadlegovanje vrstnikov, statistična razlika pri postavkah: – dijaki/-inje so mi grozili/-e (p 0,029), – dijaki/-inje so mi vzeli/-e ali uničili/-e moje stvari (p 0,043), – dijaki/-inje širijo grde govorice o meni (p 0,002), – pozitivna povezanost s sošolci (p 0,021), – povezanost dijakov s šolo (p 0,000), – zadovoljevanje potrebe po kompetentnosti (p 0,000), – ocena učiteljevih vedenj, ki spodbujajo avtonomijo (p 0,000). Eno od področij, kjer smo zabeležili razliko, je občutek pritiska zaradi dela za šolo. O statistično pomembno močnejšem občutenju tega pritiska so poročali dijaki šol N1 in V2, torej ene z nizko in ene z visoko DV , ob tem pa dijaki šole V1 niso poročali o slabšem počutju kot dijaki preostalih šol. Dijaki šol z visoko DV so pomembno manj od dijakov šol z nizko DV poročali o pojavih izostajanja (za ves dan ali nekaj ur). Z vidika občutka povezanosti negativno izstopa šola N2, šola z nizko DV , in sicer tako pri povezanosti z učitelji kot s sošolci in tudi pri splošnem občutku povezanosti s šolo. Podobno negativno izstopa šola N2 pri zadovoljitvi potrebe po kompetentnosti in vedenjih učiteljev, ki spodbujajo avtonomijo. Za to šolo je značilno največ negativnih odstopanj glede kakovosti učnega okolja od ostalih šol. Zanimivo je, da je pri zadovoljitvi potrebe po avtonomiji kot šola z najvišjo ravnjo izstopala šola N1, torej šola z nizko DV . V šoli N1 smo zaznali tudi pozitiven vidik povezanosti dijakov z učitelji, kljub temu pa šola kaže nižjo učinkovitost. Krovna primerjava razlik med šolami glede kakovosti učnega okolja (glej tudi Prilogo 5) razkriva, da je v šolah z visoko DV več pozitivnih vidikov kakovostnega učnega okolja kot v šolah z nizko DV, to velja tako za zagotavljanje prisotnosti pri pouku kot tudi povezanosti s sošolci in učitelji, odsotnost vrstniškega nasilja in manj negativnih vedenj učiteljev. Pri šolah z visoko DV smo ugotovili tudi, da je v njih v večji meri zadovoljena temeljna potreba dijakov po kompetentnosti. Razlike v procesih samoevalvacije smo ugotavljali z analizo intervjujev in dokumentov, ki so jih kot dokumente, relevantne za ugotavljanje in zagotavljanje kakovosti na šoli, predložile šole. Zanimale so nas predvsem razlike v procesih glede temeljnih elementov kakovosti samoevalvacijskega procesa. 14 V Prilogi 6 preglednica Sinteza statistične analize vprašalnika za dijake – razlike med šolami v dimenziji šolske kulture – kakovost učnega okolja. Taštanoska 27 Glede procesnosti smo iz intervjujev in z analizo prejetih dokumentov 15 ugo- tovili, da v šolah z visoko DV v okviru procesa samoevalvacije detektirajo šibke in močne plati ter načrtujejo ukrepe za odpravo oziroma zmanjšanje šibkih plati, periodično spremljajo spremembe, ugotavljajo vzroke za uspeh ali neuspeh ter zavrtijo »nov krog«. V šolah z nizko DV smo, nasprotno, ugotovili, da so procesi enkratni in nimajo zagona v ciklus nenehnega izboljševanja, saj ne vključujejo povratne zanke. Glede ciljne usmerjenosti smo ugotovili, da v šolah z nizko DV umanjkajo eksplicitno zastavljeni šolski cilji kot tudi eksplicitno zastavljeni cilji izboljšav, medtem ko so v šolah z visoko DV cilji operacionalizirani v večji meri, opredeljeni opisno in v nekaterih primerih tudi številčno ter se njihovo doseganje preverja v procesu samoevalvacije. Glede vključenosti deležnikov smo razbrali različno globino vključenosti deležnikov v procese samoevalvacije in tudi razlike pri tem, kateri deležniki so vključeni. Iz intervjujev izhaja, da je vključenost kolektiva v šoli N1 večinoma plitka, saj je omejena na izvajanje anket in informiranje o njihovih rezultatih na pedagoških konferencah. Majhno vključenost strokovnih delavcev in obveščenost o procesu samoevalvacije smo zaznali tudi v šoli N2, drugi šoli z nizko DV (npr. učiteljica z najdaljšim stažem N2DS na vprašanje: »Na šoli izvajajte neke vrste samoevalvacijo. Ste vanjo vključeni?« enostavno odgovarja z: »Ne.«, v šoli N1 N1VK na vprašanje o vključenosti sodelavcev v samoevalvacijo odgovarja: »Ja, če jih kaj prosim, mi pomagajo. Seznanim potem tudi na učiteljskih zborih sodelavcev z rezultati določenega anketiranja. Ja, to bi bilo to.«). V šolah z visoko DV , V1 in V2, smo prek intervjujev in analize dokumentov zaznali globoko vključenost strokovnih delavcev v samoevalvacijski proces, 16 sa- moevalvacijsko delovanje poteka od ravni posameznega strokovnega delavca, ki prek različnih podatkov evalvira kakovost lastnega dela in o tem poroča v aktivih, prek skupnega evalviranja aktivov in projektnih skupin, ki v kaskadi poročanja zlivajo posamezne ugotovitve v skupna dognanja in jih tudi obravnavajo na peda- goških konferencah. Pomembna razlika med šolami z visoko in nizko DV je torej detektirana pri razširjenosti in globini vključenosti strokovnih delavcev. V šolah N1 in V1 so poleg vključenosti strokovnih delavcev poročali tudi o 15 V Prilogi 6 preglednica S kvalitativno analizo intervjujev identificirani ključni pojmi v kate- goriji »samoevalvacija« pod kodami proces samoevalvacije, komisija za kakovost, podatki in uvajanje sprememb in preglednica Glavne ugotovitve vsebinske analize po presoji šol predloženih dokumentov, povezanih z ugotavljanjem in zagotavljanjem kakovosti. 16 V šoli V2 smo ugotovili, da formalni proces v okviru dejavnosti komisije za kakovost v šoli ne obstaja, da proces samoevalvacije poteka v okviru letnega načrtovanja in da so vanj vključeni vsi stro- kovni delavci. Glede na poimenovanje procesov verjamemo, da so zaposleni na šoli v večji meri označili, da v procesu samoevalvacije ne sodelujejo, ker formalnega procesa na šoli nimajo. Podobna interpre- tacija se ponuja pri podatkih o občutku vključenosti v šoli V1, ker »samoevalvacija«, v kateri sodeluje ožja skupina ljudi, pomeni le del širšega procesa, ki ga v šoli ne poimenujejo »samoevalvacija«, temveč »skrb za kakovost«. Glede na odgovore ravnateljice in strokovnih delavcev v intervjujih ter pridobljene dokumente lahko sklepamo o velikem deležu vključenosti v proces ugotavljanja in zagotavljanja kako- vosti, ki skozi letno načrtovanje in kaskado poročanja ter oblikovanje in izvedbo ukrepov za izboljšave zajame celoten strokovni kolektiv. Šolska samoevalvacija kot dejavnik šolske učinkovitosti v srednjem ... 28 Sodobna pedagogika/Journal of Contemporary Educational Studies vključenosti delodajalcev skozi komisijo za kakovost. V vseh šolah, kjer deluje komisija za kakovost (v V2 ta ne deluje), pa so poročali še o vključenosti dijakov in staršev v delo te komisije. V šoli V1 so pri tem posebej poudarili odprtost šole za predloge dijakov za izboljšave ter v intervjujih in s poročilom o realizaciji letnega delovnega načrta tudi pokazali na implementacijo predlaganih izboljšav. V vseh šolah so v intervjujih poročali o vključevanju dijakov na ravni pridobivanja podat- kov skozi ankete. Tudi glede rabe podatkov za namene samoevalvacije smo med šolami zaznali pomembne razlike. V šolah z nizko DV smo zaznali plitke rabe podatkov, predv- sem iz anket, z občasno segregacijo podatkov na raven oddelka. V nobeni od šol z nizko DV ni razvidno, da bi obstajal utečen sistem poglobljenega dela s podatki o uspehu dijakov ali dosežkih na poklicni maturi za namen samoevalvacije. V šoli N2 v intervjujih sicer poročajo o izvajanju analize učnega uspeha po oddelkih, s posebnim fokusom na nezadostne dosežke, v okviru strokovnih aktivov, vendar je ta proces ločen od samoevalvacijskega procesa. V šolah z visoko DV smo skozi intervjuje in šolske dokumente zaznali razvitejšo kulturo dela s podatki in pozi- tivno naravnanost do podatkov. Pri delu s podatki o šolskem uspehu in uspehu na maturi dosledno analizirajo spremembe in vzroke zanje, v praksi je primerjava med šolskimi in maturitetnimi ocenami, podatke segregirajo na različne ravni in spremljajo tudi posebne skupine, npr. dijake s posebnimi potrebami in nadarjene, kar kažejo tako izjave v intervjujih kot tudi šolski dokumenti. Podatki služijo tudi za ugotavljanje doseganja šolskih ciljev in spremljavo uvedenih sprememb. Ob tem občasno izvajajo tudi ankete zadovoljstva med zaposlenimi in dijaki ter merijo šolsko klimo. Tudi pri elementu kritične naravnanosti smo ugotovili, da je v šolah z visoko DV ta bolj prisoten. Najbolj se to izkazuje prek instrumentalne rabe podatkov, ki jih tako v šoli V1 kot v šoli V2 zbirajo, analizirajo in uporabljajo prav z name- nom vpliva na delovanje, medtem ko v šolah z nizko DV raba podatkov ostaja na legitimacijski ravni, kar sklepamo tako iz intervjujev kot iz analiziranih šolskih dokumentov, kjer na podlagi podanih podatkov ne identificirajo kritičnih točk in potreb po izboljšavah. V šolah V1, V2 in tudi N1 smo zaznali, da poleg tega podatke uporabljajo tudi za pozitivno okrepitev, z luščenjem pozitivnih vidikov oziroma šolskih dosežkov krepijo interes za nadaljnje sodelovanje deležnikov v procesih samoevalvacije. V šolah z nizko DV smo po drugi strani odkrili, da proces samoevalvacije ob- staja predvsem na simbolni ravni, torej za zadovoljitev formalne zakonske zahteve po izpeljavi procesa, v šoli N1 pa poleg tega služi tudi ustvarjanju harmonične klime v profesionalnem kolektivu. Ugotovili smo tudi, da je umeščenost – v center letnega načrtovanja ali na obrobje temeljne vzgojno-izobraževalne dejavnosti – ena glavnih razlik v procesu šolske samoevalvacije, ki smo jo zaznali med šolami z visoko in nizko DV . Ugo- tavljamo, da za kakovost procesa samoevalvacije ni ključnega pomena njegova formalizacija v obliki obstoja komisije in oblikovanja ločenega poročila, temveč njegova vpetost v proces letnega načrtovanja v šoli. Za obe šoli z visoko DV so šolski cilji po besedah ravnateljev povezani s ciljem uspešnosti na maturi, ki pa za Taštanoska 29 nobeno od šol ni edini zastavljeni šolski cilj. V procesih samoevalvacije šol z visoko in nizko DV smo zaznali tudi razlike v vsebinskem fokusu. Poglobljen primarni vsebinski fokus samoevalvacije na učne dosežke, v katerem v kaskadi poročanja sodeluje večina kolektiva, pri tem pa zbir- no ugotavlja trende, doseganje šolskih ciljev in razloge za odklone od pričakovanj, je značilen za obe šoli z visoko DV . Iz šolskih poročil sklepamo, da se sekundarno obe šoli osredotočata tudi na prisotnost pri pouku kot z učnim uspehom rele- vantno povezanim kazalnikom. Po drugi strani v šolah z nizko DV niti poročila o samoevalvaciji niti pogovori s strokovnimi delavci ne kažejo na poglobljeno analizo učnih dosežkov z namenom samoevalvacije in uvajanja izboljšav, čeprav navajajo statistike o uspehu na maturi in prehodnosti letnikov. Zdi se, da imajo odločilno vlogo pri tem prav na ravni temeljnih predpostavk obstoječe konceptualizacije o kakovosti in učinkovitosti, njihova medsebojna skladnost ter odnos zaposlenih do njih. Odklonilno stališče do učinkovitosti v smislu učnih dosežkov oziroma njeno razumevanje skozi zadovoljstvo in/ali vpis usodno vpliva na proces samoevalvacije. To stališče temelji na predpostavki, da je za učinkovitost v smislu učne uspešnosti treba »žrtvovati« osrednjo šolsko vrednoto – prijaznost, pri čemer sta prijaznost in iz nje izhajajoče zadovoljstvo razumljena kot modus preživetja v tržnem kontekstu usihajočega vpisa. Glede na zgornje ugotovitve smo oblikovali kulturni model šolske učinkovi- tosti in vanj umestili proces samoevalvacije. Slika 6: Kulturni model šolske učinkovitosti Šolska samoevalvacija kot dejavnik šolske učinkovitosti v srednjem ... 30 Sodobna pedagogika/Journal of Contemporary Educational Studies Sklep S primerjalno študijo primerov smo pokazali, da je učinkovitost šol povezana s kakovostjo in vsebino samoevalvacijskih procesov ter njihovo umestitvijo v šolsko kulturo in delovanje. Z vidika prizadevanja za šolsko učinkovitost torej lahko pokažemo na smiselnost instrumenta samoevalvacije in umestitev zahteve po njegovi izvedbi v sistemski okvir ugotavljanja in zagotavljanja kakovosti, pri čemer učinkovitost razumemo kot vidik kakovosti izobraževanja. Pokazali smo, da na proces samoevalvacije znatno vplivajo značilnosti šolske kulture, ki temeljijo na institucionalnih vrednotah in temeljnih predpostavkah ter usmerjajo vidne de- javnosti posameznikov in institucije kot celote. To temeljno ugotovitev smo zajeli v oblikovani kulturni model šolske učinkovitosti. Raziskovanje procesov samoevalvacije nam je omogočilo še nekatera druga za oblikovanje izobraževalnih politik pomembna spoznanja: Za kakovost procesa samoevalvacije se kot eden ključnih dejavnikov kaže njegova umestitev v delovanje šole, saj ga v šolah z visoko učinkovitostjo umešča- jo v procese letnega načrtovanja, medtem ko ima v šolah z nižjo učinkovitostjo obroben formalistični značaj. Formalni obstoj komisije za kakovost in priprava poročila še zdaleč nista jamstvo za kakovostno izpeljavo procesa, zato je umesten premislek o dodatnem zamiku sistema, ki bi spodbudil umeščanje samoevalvacije v proces šolskega načrtovanja. Vsebinska poglobitev v samoevalvacije štirih izbranih šol je pokazala na razlike v fokusu, ki jih prav tako lahko povežemo s šolskimi izidi, kar kaže na potrebo po eksplicitnejši usmeritvi šolskega samoevalviranja na ključna področja vzgojno-izobraževalnega delovanja. V nobeni od zajetih šol niso sodelovali v nobenem od številnih projektov s področja kakovosti in niso bili seznanjeni z nobenim od ustvarjenih gradiv (osnut- kom okvira za kakovost, Protokolom za samoevalvacijo, ki so ga pripravili v Šoli za ravnatelje, in zbirko Kakovost v šoli). Iz tega izhaja priporočilo za krepitev dejavnosti razširjanja relevantnih gradiv v strokovni javnosti na komunikacijsko učinkovit način, ki bo dosegel ravnatelje kot odgovorne za procese in vse strokovne delavce. Posebno pozornost v okviru profesionalnega razvoja je smiselno nameniti cilj- nemu vodenju in dvigu podatkovne pismenosti, npr. za delo s podatki o dosežkih na maturi in o dodani vrednosti, ki so šolam sistemsko dostopni in v veliki meri neizkoriščeni za namene samoevalvacije. 17 Ugotovili smo tudi nadaljnje potrebe šol po: – sistemsko dostopnih instrumentih za merjenje šolske klime, ki bi šolam omogočali teoretsko utemeljen in primerjalni vpogled, – sistemsko dostopnih povratnih podatkih o prehodnosti diplomantov na višjih ravneh izobraževanja in njihovi zaposljivosti, – izgrajevanju zmožnosti za izvajanje samoevalvacije, ki jo je mogoče s sistema- tično podporo šolam tudi zadovoljevati (Brejc 2014). 17 V nobeni od vključenih šol niso bili seznanjeni z možnostjo analize dosežkov glede dodane vrednosti in te v preteklosti niso nikoli izvedli. Taštanoska 31 V temeljnih predpostavkah šolskih kultur smo z raziskavo prepoznali zna- čilne razlike glede konceptualizacije učinkovitosti in kakovosti, iz katerih izhajajo pomembne razlike v delovanju, vključno z utelešenjem v procesih samoevalvacije. Tudi to kaže na potrebo po širši diskusiji in večjem poenotenju razumevanja kako- vosti (znotraj nje učinkovitosti) v slovenskem prostoru. Literatura in viri Aderet-German, T . in Ben-Peretz, M. (2020). Unsing data on school strenghts and weakne- sses for school improvement. Studies in Educational Evaluation, 64, 100831. Aldridge, J. M. in Fraser, B. J. (2018). Teachers’ perceptions of the organisational climate: A tool for promoting instructional improvement. School Leadership and Management, 38, št 3, str. 323–344. Apple, W . M. (2004). Schooling, markets and an audit culture. Educational Policy, 18, št. 4, str. 614–621. Alkin, M. C. in King, J. A. (2016). The historical development of evaluation use. The Ame- rican Journal of Evaluation, 37, št. 4, str. 568–579. Brejc, M. (2014). Krepitev zmožnosti za samoevalvacijo v šolah. Kranj: Šola za ravnatelje. Cameron, K. S. in Quinn, R. E. (2011). Diagnosing and changing organizational culture based on the competing values framework (third edition). San Francisco: Jossey Bass. Cankar, G. (2011). Opredelitev dodane vrednosti znanja (Izhodišča, primeri, dileme). V: S. Gaber in Ž. Kos Kecojević (ur.). Kakovost v šolstvu v Sloveniji. Ljubljana: Pedagoška fakulteta, str. 287–313. Chapman, C. R. (2016). Educational effectiveness and improvement research and practice. V: C. R. Chapman (ur.). The Routledge international handbook of educational effecti- veness and improvement. Abington in New York: Routledge, str. 1–24. Creemers, B. in Kyriakides, L. (2008). The dynamics of educational effectiveness: A contribu- tion to policy, practice and theory in contemporary schools. New York, NY: Routledge. Creemers B. in Kyriakides L. (2010). School factors explaining achievement on cognitive and affective outcomes: Establishing a dynamic model of educational effectiveness. Scandinavian Journal of Educational Research, 54, št. 3, str. 263–294. Day, C. in Sammons, P . (2013). Successfull leadership: A review of the international litera- ture. Reading: CfBT Education Trust. Dostopno na: https://files.eric.ed.gov/fulltext/ ED546806.pdf (pridobljeno 2. 5. 2019). Državni izpitni center in OECD. (2012). Merjenje izboljšav pri učnih dosežkih: dobre prakse za presojanje dodatne vrednosti šol. Ljubljana: Državni izpitni center. Dweck C. S. (2006). Mindset. The new psychology of success. New York: Random House. Fullan, M. (2001). Leading in a culture of change. San Francisco, CA: Jossey Bass. Gaber, S. in Kos Kecojević, Ž. (2011). Zagotavljanje kakovosti kot del dispozitiva varnosti. V: Ž. Kos Kecojević in S. Gaber (ur.). Kakovost v šolstvu v Sloveniji. Ljubljana: Pedagoška fakulteta, str. 10–36. Hattie, J. (2009). Visible learning. A synthesis of over 800 meta-analyses relating to achie- vement. London: Routledge. Habermas, J. (1972). Knowledge and human interests. London: Heinemann. Hopkins, D. (2001). School improvement for real. London: Routledge Falmer. Kyriakides, L., Creemers, B., Panayiotou, A. in Charalambous, E. (2021). Quality and equity in education. Revisiting theory and research on educational effectiveness and improvement. New York: Routledge. Šolska samoevalvacija kot dejavnik šolske učinkovitosti v srednjem ... 32 Sodobna pedagogika/Journal of Contemporary Educational Studies Laval, C. (2005). Šola ni podjetje. Neoliberalni napad na javno šolstvo. Ljubljana: Krtina. MacBeath, J. (ur.). (1998). Effective school leadership: responding to change. London: Paul Chapman. Medveš, Z. (2000). Kakovost v šoli. Sodobna pedagogika, 51, št. 4, str. 9–26. Meyer, R. H. in Dokumaci, E. (2015). Value-added models and the next generation of assessments. V: R. W . Lissitz in H. Jiao (ur.). Value added modeling and growth mo- deling with particular application to teacher and school effectiveness. Charlotte, NC: Information Age Publishing Inc., str. 139–190. Musek Lešnik, K. in Bergant, K. (2001) Samoevalvacija v vzgojno-izobraževalnih organiza- cijah. Ljubljana: Inštitut za psihologijo osebnosti. OECD. (2018). Student questionnaire for PISA 2018. Dostopno na: https://www.oecd.org/ pisa/ data/ 2018database/ CY7_201710_QST_MS_STQ_NoNotes_final.pdf (pridoblje- no 22. 5. 2019). Saldaña, J. (2013). The coding manual for qualitative researchers (second edition). Los Angeles, London, New Delgi, Singapore, Washington DC: Sage. Scheerens, J. (2015). Theories on educational effectiveness and ineffectiveness. School Effectiveness and School Improvement, 26, št. 1, str. 10–31. Schein, E. H. (2010). Organizational culture and leadership (4th edition). San Francisco, CA: Jossey-Bass. Schoen, T . in Teddlie, C. (2008). A new model of school culture: a response to a call for con- ceptual clarity. School Effectiveness and School Improvement, 19, št. 2, str. 129–153. Schoen, L. T. (2005). Conceptualizing, describing, and contrasting school cultures: a com- parative case study of school improvement processes [Doktorska disertacija, Louisiana State University]. Dostopno na: http://etd.lsu.edu/ docs/ available/ etd-01262005- 072743/ unrestricted/ Schoen_dis.pdf (pridobljeno 21. 2. 2016). Trnavčevič, A. (2007). Marketizacija šolstva: mit in realnost. V: A. Trnavčevič, R. Biloslavo, B. Snoj, V . Logaj in B. Kodrič (ur.). Ko država šepeta : marketinška kultura v šoli. Koper: UP Fakulteta za management; Ljubljana: Šola za ravnatelje, str. 13–28. Vogrinc, J. (2008). Kvalitativno raziskovanje na pedagoškem področju. Ljubljana: Pedago- ška fakulteta. Vanhoof, J., De Maeyer, S. in Van Petegem, P . (2011). Variation in the conduct and the quality of self-evaluations: a multi-level path analysis. Educational Studies, 37, št. 3, str. 277–287. Zakon o organizaciji in financiranju vzgoje in izobraževanja (ZOFVI). (2023). Uradni list RS, št. 16/07 – uradno prečiščeno besedilo, 36/08, 58/09, 64/09 – popr., 65/09 – popr., 20/11, 40/12 – ZUJF , 57/12 – ZPCP-2D, 47/15, 46/16, 49/16 – popr ., 25/17 – ZV aj, 123/21, 172/21, 207/21, 105/22 – ZZNŠPP , 141/22,158/22 – ZDoh-2AA in 71/23). Dostopno na: http://www.pisrs.si/Pis.web/pregledPredpisa?id=ZAKO445 (pridobljeno 12. 8. 2023). Zakon o poklicnem in strokovnem izobraževanju (ZPSI-1). (2019). Uradni list RS, št. 79/06, 68/17 in 46/19. Dostopno na: http://pisrs.si/Pis.web/pregledPredpisa?id=ZA- KO4325 (pridobljeno 12. 8. 2023). Taštanoska 33 Tanja TAŠTANOSKA (Ministry of Education of the Republic of Slovenia, Slovenia) SCHOOL SELF-EVALUATION AS A FACTOR OF SCHOOL EFFECTIVENESS IN UPPER SECONDARY TECHNICAL EDUCATION (A COMPARATIVE CASE STUDY) Abstract: The primary aim of the research was to gain deeper insight into the processes of school self-evaluation in Slovenian schools through the lens of school effectiveness. A comparative multiple case study of 2 low effective and two highly effective upper secondary technical schools with a combi- ned quantitative and qualitative methodology allowed us to isolate key differences in school cultures and self-evaluation processes. 4 school heads and 12 members of education staff were included in semi-structured interviews, while 527 students replied to on-line questionnaires. Our research shows the connectedness of basic assumptions in school cultures with the content and place of the school self -evaluation process in the school operation. Based on the results we have designed a cultural model of school effectiveness and some policy recommendations for further development and support of school self-evaluation in Slovenia. Keywords: self-evaluation, effectiveness in education, school effectiveness, school culture, value-ad- ded. Email for correspondence: tanja.tastanoska@gov.si Šolska samoevalvacija kot dejavnik šolske učinkovitosti v srednjem ...