180 SODOBNA PEDAGOGIKA 2/2008 Tina Vršnik Tatjana Kovač, dr. Metod Resman, dr. Vladislav Rajkovič Kriteriji ocenjevanja kakovosti šol na podlagi ekspertnega modela Moč participacije učencev Povzetek: Kakovost slovenske srednje šole je pogosta tema razprav strokovne in širše javnosti. Govorimo o slabih in dobrih šolah, pri tem pa ne povemo, zakaj so nekatere šole slabe in druge dobre. Veliko prizadevanj in sredstev je bilo vloženo v prenovo osnovnega šolstva in proces še ni končan. Še več prizadevanj bo verjetno potrebnih na področju srednješolskega izobraževanja, kjer ugotavljamo številne probleme, kot so: velik osip, slabo obiskovanje pouka, nemotiviranost učencev in učiteljev za šolsko delo. Skrb za kakovost se prebuja tudi na področju višjega in visokega šolstva, kar kaže na to, da stroki v Sloveniji ni vseeno, kakšno znanje in sposobnosti bodo imeli prihodnji državljani Slovenije. H kakovosti šolskega dela prispevajo vsi, ki so vanj vključeni: vodstvo šole, učitelji, učenci, starši, delodajalci, lokalna skupnost in zakonodajalec. Posebej želimo izpostaviti participacijo učencev kot del šolske kulture, po kateri se šole med seboj razlikujejo. Različne stopnje participacije učencev vzpostavljajo različne načine identifikacije učencev s cilji šole, razvijajo različno stopnjo motivacije učencev za delo in vplivajo na kakovost šolskega dela. Ta vpliv se da s pomočjo računalniške tehnologije tudi izmeriti, na podlagi rezultatov pa je mogoče načrtovati ukrepe za večjo kakovost šolskega dela. Ključne besede: kakovost šolskega dela, ocenjevanje kakovosti, srednja šola, participacija učencev, kultura šole, načrtovanje sprememb v šoli. UDK: 371.01 Pregledni znanstveni prispevek Tatjana Kovač, Visoka komercialna šola Celje; e-naslov: tanja@vks-celje.si Dr. Metod Resman, redni profesor, Univerza v Ljubljani, Filozofska fakulteta; e-naslov: metod. resman@uni-lj.si Dr. Vladislav Rajkovič, Univerza v Mariboru, Fakulteta za organizacijske vede; e-naslov: vladislav. rajkovic@ijs.si SODOBNA PEDAGOGIKA 2/2008, 180-201 181 Uvod Slovenska srednja šola se soo~a s številnimi problemi, kot so: velik osip, prevelika stopnja nedokon~anja v na~rtovanem ~asu, slabo obiskovan pouk, ne-motiviranost u~encev za u~enje in šolsko delo, depresivnost in stres, nasilništvo nad u~itelji in vrstniki. Delovna klima na šoli je vedno slabša, ni prepoznavne kulture šole, ne znamo opredeliti kakovosti šolskega dela, govorimo le na splošno o slabi šoli. Starši opozarjajo, da so u~enci preobremenjeni, depresivni in pod stalnim stresom. Tudi u~enci so nezadovoljni, ne hodijo radi v šolo (jemljejo jo kot nujno zlo). V strokovnih razpravah se najpogosteje omenja, da je problem nezadovoljstva s šolskim delom v motivaciji u~encev in u~iteljev. V Sloveniji si prizadevamo ustvariti u~inkovit in kakovosten šolski sistem, primerljiv z najboljšimi izobraževalnimi sistemi. Vendar kakovosti naše srednje šole ne moremo reševati le z administrativnimi metodami, kot so predpisani nacionalni kurikul, pravilnik o šolskem redu, predpisi o vzgojnih ukrepih in kaznih, o u~iteljevih pravicah ali z uvajanjem varnostne službe v šolskem prostoru. Narediti bo treba mnogo ve~: razvijati kulturo šole, ki bo prepoznavna v okolju in v kateri se bodo prepoznali njeni u~enci, u~itelji, vodstvo šole in starši. Osnovna organizacijska enote šole je oddelek. V oddelku se izvaja vzgojno-izobraževalni proces; deloma kot ga predpisuje nacionalni kurikul, ve~inoma pa kot prikriti kurikul (Apple 1992). Vez med delovanjem u~encev na oddel~nem in šolskem nivoju je participacija u~encev (Resman 2000). Participacija u~encev je del šolske kulture, po kateri se šole med seboj razlikujejo. Razli~ne stopnje participacije u~encev vzpostavljajo razli~ne na~ine identifikacije u~encev s cilji šole, razvijajo razli~no stopnjo motivacije u~encev za delo in vplivajo na kakovost šolskega dela. Participacija u~encev vpliva na spreminjanje u~iteljevih stališ~ in nasprotno. Vse to dokazuje, da je kakovost šolskega dela oziroma uspešnost izobraževalnega procesa odvisna od stopnje vklju~enosti, sodelovanja, participacije vseh, ki v tem procesu sodelujejo. 182 SODOBNA PEDAGOGIKA 2/2008 Tatjana Kovač Namen prispevka je dokazati, da lahko učenci pomembno prispevajo k višji kakovosti šolskega dela, ter predstaviti metodo in tehniko za merjenje vpliva participacije učencev na kakovost šole. Zastavili smo si naslednje raziskovalne cilje: • povezati različne definicije kakovosti šolskega dela z dejavniki (kazalniki) kakovosti v šoli; • ugotoviti nekatere vrste participacije učencev in njihov vpliv na kakovost šolskega dela; • identificirati kriterije ocenjevanja kakovosti šole z vidika participacije učencev; • izdelati ekspertni model za ocenjevanje kakovosti šole in prikazati simulacijo učinkov participacije učencev na kakovost šole. Izhodišče raziskave predstavlja naslednja hipoteza: Stopnja participacije u~encev vpliva na kakovost šolskega dela. Vredno je izmeriti vpliv participacije u~encev na posamezne vrste kakovosti šole in ugotoviti na~ine ter u~inke zviševanja participacije. Pri izdelavi ocenjevalnega modela smo uporabili računalniško podprta ekspertna sistema Dexix in Vredano2. Prispevek predstavlja metodološka in metodična priporočila za nova merjenja kakovosti šolskega dela, ki jih je mogoče uporabiti za različne namene evalvacije, za načrtovanje ukrepov v smeri večje kakovosti ter spremljanja učinkov teh ukrepov, in to na vseh ravneh izobraževanja. Kakovost vzgojno-izobraževalnega dela K dobri šoli sodita individualnost institucije in njena specifična ponudba. Dežele z razvitim šolskim sistemom so spoznale, da kakovosti v šoli ni mogoče zagotavljati le od zunaj in se opirati na predstave, da za ugotavljanje, ocenjevanje in zagotavljanje kakovosti v šoli lahko poskrbi klasična šolska inšpekcija. Na podlagi tega spoznanja so v zadnjem desetletju nastali v mnogih deželah Evropske unije nacionalni projekti za spodbujanje kakovosti v šoli, ki jim je skupno izhodišče, da kakovost lahko zagotovijo predvsem šola kot organizacija in ljudje v šoli. 1 Dexi, Decision Expert je lupina ekspertnega sistema, ki je namenjena večparametrskemu ocenjevanju in je učinkovita pomoč za odločanje pri kompleksnejših problemih. Variante ocenjujemo po posameznih kriterijih (parametrih, atributih), ki jim določamo ustrezno težo ali vpliv. Celotna ocena variante se izračuna s postopkom agregacije delnih ocen kriterijev. Pomembno je, da odločevalec aktivno vpleta svoje mišljenje oziroma poglede kot stopnje zaželenosti oziroma nezaželenosti kriterijev. 2 Vredana je računalniški program, ki omogoča »kaj-če« analizo variant, ki smo jih ocenili v dexi-jevem modelu. Grafično in numerično prikazuje, kako se spremembe vpliva posameznih parametrov v modelu kažejo v končni oceni variante. Kriteriji ocenjevanja kakovosti šol 183 Kaj je kakovost v šoli? Zamisel o kakovosti šole se je razvijala sočasno z večjo strokovno avtonomijo šole in učitelja, kar je pomenilo tudi njuno večjo odgovornost za kakovost pouka, učenja, odnosov, upravljanja, počutja in predvsem učnih in vzgojnih rezultatov. Tudi Slovenija si prizadeva s svojim sistemom vzgoje in izobraževanja, da bi učenci na vseh ravneh izobraževanja dosegli znanje, primerljivo z njihovimi vrstniki po svetu. To ni pomembno le z vidika globalnih zaposlitvenih priložnosti, temveč je povezano tudi s kakovostjo bivanja in dela. Enotne definicije »kaj je dobra šola« ni. V teoriji se kakovost v šoli navadno obravnava z vidika uspešnosti in učinkovitosti ali kot stalno izboljševanje šolskega dela. Opredeljevanje kakovosti šolskega dela v praksi pa je odvisno predvsem od tega, kdo jo definira (ravnatelj, učitelj, učenci, starši, delodajalci) in kakšna so njegova preferiranja posameznih dimenzij kakovosti, čemu daje prednost. V vseh teh prizadevanjih za kakovost vzgojno-izobraževalnega dela gre v bistvu za uvajanje nenehnih sprememb v šoli, tako na sistemski ravni glede organizacijskih in menedžerskih izboljšav kot na oddelčni ravni glede izvajanja kurikula in raznih zunajšolskih dejavnosti, pri čemer se posebej poudarja pomen vključevanja in upoštevanja učencev. Večino teoretičnih in strokovnih razprav o kakovosti šole lahko povežemo v naslednjo definicijo: Kakovostna je tista šola, ki zna u~ence motivirati, da z aktivno participacijo v vzgojno-izobraževalnem delu dosegajo dobre u~ne rezultate ter usvojijo spretnosti in vrednote, potrebne za življenje. Pomembno je, da znamo takšno kakovost tudi izmeriti. Dejavniki merjenja kakovosti vzgojno-izobraževalnega dela šole Različno razumevanje kakovosti v šoli raziskovalcem in pedagoškim delavcem onemogoča, da bi enotno opredelili kazalnike, s katerimi bi kakovost merili in ocenjevali. Pojem kakovosti šole je vezan na cilje in vrednote, po katerih se ocenjuje delo, zanje pa je težko postaviti ustrezne kvalitativne in kvantitativne merske lestvice. Izobraževanje je individualna korist in hkrati javna dobrina (Aspin 1994, str. 173-175). Šole so primarno namenjene ustvarjanju znanja, učenju in razumevanju v vseh dimenzijah individualnega razvoja učencev. Kako to izmeriti, oceniti in primerjati, da bomo dobili relevantno podobo kakovostne šole? Kakovost v šoli ima ekonomsko, politično, socialno, ideološko, etično-mo-ralno in strokovno razsežnost. če želimo oceniti, kaj je kakovostno in kaj ne, potrebujemo dejavnike (kazalnike), ki jih je smotrno razdeliti v dva sklopa: • »trde« ali formalne (sistemske) dejavnike kakovosti: so tisti, ki jih pedagoška praksa že uporablja za bolj ali manj transparentno merjenje kakovosti na sistemski ravni in ne segajo v globino (v prikriti kurikul). Z njimi ocenjujemo učni uspeh učencev, napredovanje oziroma osip, uspeh na maturi, vedenje, dosežene cilje formalnega kurikula, obseg in kakovost virov ter opreme; 184 SODOBNA PEDAGOGIKA 2/2008 Tatjana Kovač • »mehke« ali neformalne (subjektivne) dejavnike kakovosti, o katerih se veliko govori in piše, teže pa jih je izmeriti. Z njimi ocenjujemo pridobljene izkušnje učencev za življenje, nove metode učenja in poučevanja, medosebne odnose na šoli, povezovanje šole z okoljem, kulturo vodenja šole ter klimo in kulturo šole. Podrobnejšo identifikacijo dejavnikov kakovosti v povezavi z raznimi teoretičnimi definicijami kakovosti in s pogoji za kakovostno delo v šoli prikazuje preglednica 1 (primerjaj Aspin 1994, str. 173-175). Dejavniki kakovosti omogočajo identificirati prisotnost oziroma odsotnost posameznih vrst kakovosti, pokažejo, kolikšna je stopnja zagotavljanja pogojev za kakovostno vzgojno-izobraževalno delo in so mera za kakovost v šoli. Participacija učencev Participacija ima na različnih področjih različen pomen: participacija pri odločanju pomeni soodločanje; participacija v medosebnih odnosih pomeni delitev nekih skupnih pogledov s soljudmi; participacija v financah pomeni prispevek v denarju; participacija v raziskovalni dejavnosti je način dela, ki ga poznamo kot timsko in projektno delo; participacija v politiki pa se navezuje na vključevanje državljanov v lokalno upravo in vodenje države; participacija v šoli odpira nove možnosti za kakovostno delo v šoli. Participacija, ki je princip, metoda, proces, sredstvo vodenja in sodelovanja med ljudmi, zboljšuje kakovost šolskega dela, in to velja za participacijo učiteljev, učencev in staršev. Vrste participacije učencev in kako se kaže v šoli V zvezi s participacijo v šoli se večkrat omenja t. i. Kolhbergova pravična skupnost (angl. just community ali ethical community, Devjak 2003), ki poskuša odgovoriti na vprašanje, kakšna naj bo moralna vzgoja v šoli, da bodo učenci sposobni delovati kot avtonomni in svobodni posamezniki. Kohlberg je v svoji teoriji izpostavil predvsem moralno razsežnost participacije učencev, ki jo povezuje z moralnim razvojem osebnosti v procesu moralne vzgoje v šoli. Participacija učencev pa ima poleg moralne tudi politično in strokovno razsežnost (Res-man 2005), ki prav tako pomembno vplivata na razvoj osebnosti in na kakovost vzgojno-izobraževalnega dela šole. Definicije kakovosti Pogoji za kakovost Dejavniki (kazalniki) kakovosti (kaj je kakovost) (zagotavljanje pogojev) (meijenje kakovosti) OBJEKTIVNI (trdi) pogoji OBJEKTIVNI (trdi) dejavniki • Kakovost kot učinkovitost Materialno-finančni • Rezultati učencev in uspešnost Kadrovski pogoji • Obseg in globina vsebine • Kakovost kot dodana vred- Normativni • Obseg in kakovost virov ter opreme (primernost zapo- nost slenih in šolskih prostorov, obseg finančnih sredstev) • Kakovost kot kakovostno znanje • Kakovost kot doseganje ciljev in vrednot šole SUBJEKTIVNI (mehki) pogoji SUBJEKTIVNI (mehki) dejavniki • Kakovost kot odličnost, izbirnost, pravičnost, za- • Organizacija in vodenje • Vodenje za kakovost (kontrola, evalvacija, orga- konitost, socialna enakost vzgojno-izobraževalnega dela niziranje, stil vodenja) • Kakovost kot profesionalno - vodenje za kakovost: • Načrtovanje in izvajanje kurikula (metode delovno okolje poučevanja, učenja in ocenjevanja; participacija) • Kakovost kot zagotavljanje • Pridobljene izkušnje v kurikulu (znanje in spretnosti, potreb, želja in pričakovanj odnos do šolskega reda in vrednot šole) uporabnikov • Šolska klima in kultura šole (kultura odnosov, kultura • Kakovost kot osebna • Organizacija in sodelovanje sreča in osebnostni razvoj med ljudmi navad) učencev • Demokracija in avtonomija šole, učiteljev in učencev • Kakovost kot kultura • Motivacija vodenja šole • Sodelovanje z okoljem • Kakovost kot učeča se • Odprtost šole organizacija • Načini, kako šola promovira svoje cilje navzven • Kakovost kot aktivna par- ticipacija učencev Preglednica 1: Dejavniki kakovosti vzgojno-izobraževalnega dela šole 186 SODOBNA PEDAGOGIKA 2/2008 Tatjana Kovač Participacijo učencev v šoli je treba obravnavati zelo široko, z različnih vidikov. Participacija učencev je odločanje ali soodločanje o življenju in delu ter sodelovanju pri načrtovanju, uresničevanju in evalvaciji šolskega dela; torej, povsod tam, kjer so udeleženi učenci ali se zadeve nanašajo nanje. Glede na to, v kakšni obliki se pojavlja, lahko govorimo o aktivni in pasivni participaciji učencev. Glede na pogoje, ki jih šola zagotavlja s sistemsko ureditvijo in z določeno stopnjo šolske kulture in klime, pa govorimo o formalni in neformalni participaciji. Vse pojavne oblike lahko opazujemo na šolskem, na oddelčnem in individualnem nivoju. Razen na individualnem nivoju se participacija lahko pojavlja v vseh razsežnostih: politični, strokovni in moralni (primerjaj Resman 2005, str. 91). Participacijo učencev lahko neposredno povežemo z objektivnimi in subjektivnimi pogoji za kakovostno šolsko delo. Od šole se danes, bolj kot kdaj koli v zgodovini, pričakuje, da sistematično in trajno usmerja učence k doseganju visokega nivoja znanja in spretnosti za življenje. O novih oblikah organiziranja in vodenja šole pišejo svetovni teoretiki, npr. Davies in Ellison (1997, str. 147), Caldwell (2005), Wintersteiner (2003), Giancola in Hutchison (2005), Morrison (1998), Glasser (1998). Vodenje šole, ki zagotavlja varno in spodbudno šolsko okolje, spoštuje normativno in demokratično ureditev na šoli, ponuja sodobne organizacijske oblike dela, vzpostavlja in ohranja želeno kulturo šole in skrbi za ljudi, lahko obravnavamo kot novo kulturo vodenja šole in oddelka, ki zahteva osebno in organizacijsko preobrazbo. Sodobne oblike vodenja šole so torej splet teh elementov, ki spodbujajo razvoj aktivne participacije, predvsem njene moralne in strokovne dimenzije, in pomembno prispevajo h kakovosti šolskega dela. Vpliv participacije u~encev na kakovost vzgojno-izobraževalnega dela šole Participacija učencev v objektivnih dejavnikih kakovosti nima vpliva, ki bi pomembno prispeval h kakovosti šolskega dela (glej preglednico 1). Rezultati učencev, ki se kot »trdi« dejavniki kakovosti merijo s šolskimi ocenami, so seveda močno odvisni od vključevanja in sodelovanja učencev, od t. i. aktivne strokovne participacije. Odvisni pa so tudi od vseh subjektivnih dejavnikov kakovosti in vseh razsežnosti aktivne participacije, ki se v njih pojavljajo. Takšno pojmovanje rezultatov učencev v najširšem pomenu lahko razumemo kot relevantno kakovost šolskega dela. Vpliv participacije učencev na šolsko delo je odvisen od priložnosti, ki jih učencem za sodelovanje ponudi šola, in sicer: z vodenjem v stilu participativnega menedžmenta, timsko organiziranostjo šolskega dela in dela v oddelku, s kulturo medsebojnega sodelovanja in navad, z ozračjem na šoli, demokratično ureditvijo, s spoštovanjem avtonomije, z motivacijskim delovnim okoljem in s povezovanjem šole z okoljem. Šola, ki razvija te priložnosti ali subjektivne dejavnike kakovosti, ima več možnosti za razvoj kakovosti po meri ljudi, tudi učencev. Zato bomo poskušali identificirati kriterije za merjenje subjektivnih dejavnikov kakovosti, tistih, kjer ima participacija učencev največjo moč. Z ocenjevanjem teh kriterijev bomo hkrati izmerili tudi vpliv participacije učencev na kakovost šolskega dela. Kriteriji ocenjevanja kakovosti šol 187 Merjenje vpliva participacije u~encev na kakovost vzgojno-izobraževalnega dela šole Za merjenje vpliva participacije učencev na kakovost šolskega dela smo izdelali ekspertni model s programom Dexi. Model (prototip) smo verificirali in korigirali z metodo anketiranja na vzorcu izbranih srednjih šol3. Z vprašalniki smo pridobili mnenje ravnateljev in učiteljev o kriterijih za ocenjevanje kakovosti šole z vidika participacije učencev in ocene teh kriterijev. Učenci pa so ocenjevali kriterije, ki se nanašajo na njihove aktivnosti in doživljanja v šoli. Ker šole zelo različno zbirajo podatke o šolskem delu, smo z anketami pridobljene ocene morali preurediti tako, da so bile primerljive. Pri tem smo uporabili metodo izračunavanja aritmetične sredine4 in metodo primerjanja s slovenskim statističnim poprečjem (npr. za oceno napredovanja učencev). Za statistično obdelavo anket smo uporabili metodo »descriptives« v programu SPSS in osnovne statistike, kot so: aritmetična sredina, standardna napaka aritmetične sredine in standardni odklon. Za tiste kriterije, kjer smo pridobili oceno ravnatelja, učiteljev in učencev, smo oblikovali novo aritmetično sredino vseh ocen kot končno oceno kriterija za šolo. Validacijo modela smo opravili z analiziranjem ocenjenih šol tako, da smo poskušali: • ugotoviti, ali lahko z ocenjevanjem subjektivnih kriterijev kakovosti merimo učinek participacije učencev na kakovost šole; • razložiti, kako in kje zviševati participacijo učencev, da se bo izboljšala tudi kakovost šole. Uporabili smo t. i. »kaj-če« analizo v programu Vredana. Identifikacija kriterijev in njihova struktura Strukturo kriterijev kakovosti prikazuje slika 1. Podrobnejše strukture kriterijev za ocenjevanje posameznih dejavnikov kakovosti so prikazane na slikah 2 in 3. Ker je vpliv participacije učencev v objektivnih dejavnikih kakovosti minimalen, jih ne bomo podrobneje razčlenjevali. Predpostavili bomo, da so objektivni dejavniki eksistenčni pogoj za vzgojno-izobraževalno delo šole in prvi pogoj za razvijanje vseh drugih oblik kakovosti, tudi participacije učencev5. Kriterije za merjenje subjektivnih dejavnikov kakovosti smo strukturira-li glede na identificirane pojavne oblike participacije učencev. Večinski delež 3 Vzorec srednjih šol smo izbrali tako, da se šole čim bolj razlikujejo po vrsti in številu izobraževalnih programov, velikosti (številu učencev in učiteljev) ter glede na okolje (urbano in predmestno). Za sodelovanje v raziskavi smo pridobili ustrezna dovoljenja ravnateljev. Izbrali smo osem vzorčnih šol in anketirali njihove ravnatelje (8), 90 učiteljev in 623 učencev. Za namen raziskave nismo potrebovali velikega vzorca šol, ampak čim več podatkov o posameznih dimenzijah kakovosti na vsaki šoli, in to z vidika vseh uporabnikov: ravnateljev, učiteljev in učencev. 4 Npr. učni uspeh smo ocenili kot aritmetično sredino med oceno ravnatelja in povprečno oceno vzorca učencev. 5 Ocenjevanje objektivnih dejavnikov kakovosti bomo uporabili v postopku validacije modela, kjer bomo poskušali dokazati, da obstaja korelacija med t. i. objektivno in subjektivno kakovostjo šole oziroma med potrebnimi objektivnimi pogoji kakovosti in participacijo učencev. 188 SODOBNA PEDAGOGIKA 2/2008 Tatjana Kovač subjektivnih dejavnikov smo poimenovali kultura šole in klima, ki zajema: organiziranje in vodenje šole (School management), organiziranje in vodenje oddelka (Class management) ter kulturo odnosov in navad. Motivacija ravnatelja, učiteljev in učencev je pogoj za participacijo na vseh nivojih šolskega dela, zato je ta kriterij smotrno postaviti v strukturi subjektivnih kriterijev na najvišji nivo. Dobimo strukturo subjektivnih kriterijev kakovosti, ki izpostavlja kulturo šole (v katero je močno vpeta participacija učencev) kot tisto karakteristiko, po kateri so šole prepoznavne in edinstvene (slika 3). Kakovost šole Objektivni kriteriji kakovosti Rezultati učencev Obseg in globina učne vsebine Viri in oprema Subjektivni kriteriji kakovosti Organiziranje in vodenje V-l dela šole Organizacija in sodelovanje med ljudmi na šoli Organizacija In vodenje šole (School management) Organizacija in vodenje oddelka (Class management) Odnosi in navade Počutje na šoli (klima) Motivacija Kultura šole in klima f \ Sodelovanje šole z okoljem Odprtost šole Promocija ciljev šole Slika 1: Kriteriji kakovosti šole (primerjaj s preglednico 1) Slika 2: Struktura objektivnih kriterijev kakovosti Kriteriji ocenjevanja kakovosti šol 189 Slika 3: Struktura subjektivnih kriterijev kakovosti Merske lestvice kriterijev Kriterijem je treba dodeliti vrednosti, s katerimi jih bomo ocenjevali. To so merske lestvice, ki so obi~ajno pet- ali tristopenjske, odvisno od tega, kako natan~no oceno želimo dobiti. Domena vrednosti merskih lestvic bo sestavljena iz opisnih ocen, saj s tem ohranjamo pomensko predstavo o merjenju, primerjanju in razlagi posameznih kriterijev (numeri~ne ocene so morda bolj prakti~ne, vendar pa ob njih nujno potrebujemo semanti~no interpretacijo zaradi zagotavljanja ve~je transparentnosti med šolami). Pravila merjenja (ocenjevanja) Razli~ni dejavniki kakovosti imajo na kakovost šolskega dela razli~en vpliv oziroma imajo zanj razli~no težo. Ker je naš poglavitni namen izmeriti vpliv participacije u~encev na kakovost vzgojno-izobraževalnega dela šole, bomo vpliv subjektivnih kriterijev na kakovost dolo~ili glede na mo~ participacije u~encev. V dexiju je to postopek definiranja ocenjevalnih pravil. Ekspertni model Ekspertni model za merjenje kakovosti vzgojno-izobraževalnega dela šole z vidika participacije u~encev smo izdelali s pomočjo ra~unalniškega programa 190 SODOBNA PEDAGOGIKA 2/2008 Tatjana Kovač Dexi (Jereb, Bohanec, Rajkovič 2003). Program Dexi se je v teoriji in praksi izkazal kot primerno orodje za ocenjevanje in merjenje šolskega dela, kar so dokazali nekateri teoretiki in praktiki.6 Šole ocenjujemo s kriteriji na najnižjem nivoju, ocena nadrejenega kriterija se oblikuje avtomatsko glede na dodeljeni vpliv kriterija in ocenjevalna pravila v modelu. Pri določanju vpliva kriterijev in definiranju ocenjevalnih pravil je ključna vloga ocenjevalca, ki tako izraža svoj pogled na predmet ocenjevanja. Ocenjevalni model predstavlja bazo znanja (Pivec, Rajkovič 1999), ki jo sestavljajo: drevo kriterijev, ocenjevalna pravila in ocenjene šole. Drevo kriterijev za ocenjevanje kakovosti šole, izdelano v programu Dexi, prikazuje slika 4 (primerjaj s sliko 1). Ocenjujemo le elementarne kriterije Drevo kriterijev Kriterij_ KAKOVOST ŠOLE Objektivni kriteriji Rezultati učencev Učna vsebina Viri in oprema Subjektivni kriteriji in kultura KULTURA ŠOLE IN KLIMA Organizacija in vodenje Kultura vodenja šole -Profesionalnost -Tirni in učenje Soodločanje Kultura vodenja ljudi hDemokracija Avtonomija Organizacija in vodenje oddelka ^Soustvarjanje kurikuluma ^Priložnosti Izraba priložnosti ^Izkušnje v kurikulu -Dodana vrednost Drža do reda Odnos do vrednot Kultura odnosov in navad Medosebni odnosi -Kolegialnost -Zaupanje -Pravičnost LSkrb Navade, običaji -Navade -Trendi okolja Druženje Klima ŠOLA IN OKOLJE Odprtost šole -do staršev -do delodajalcev do soc. okolja Promocija ciljev MOTIVACIJA Opis_ Kakovost vzgojno-izobraževalnega dela šole Kriteriji za ocenjevanje objektivnih dejavnikov kakovosti Učni in vzgojni rezultati učencev Predpisani kurikul Materialni, finančni, kadrovski viri in oprema Kriteriji za ocenjevanje subjektivnih dejavnikov kakovosti in partic. učencev Kultura vodenja šole in oddelka, kultura odnosov in navad, klima Organiziranje dela in kultura vodenja šole ter ljudi Stil vodenja šole, organizacijske oblike dela, učenje organizacije Profesionalno delovno okolje (strokovnost, varnost, avtonomija šole) Timska organiziranost šolskega dela, šola kot učeča se organizacija Participativni menedžment (soodločanje, porazdelitev moči) Demokratično delovno okolje, spoštovanje avtonomije ljudi Demokratični odnosi; svoboda, enakopravnost, enakovrednost Avtonomija učiteljev in učencev; dialoškost, empatija, participacija Organizacija in vodenje dela v oddelku Načrtovanje in izvajanje kurikul Priložnosti, ki jih učencem v oddelku ponudi učitelj Koliko učenci izrabijo ponujene priložnosti Pridobljene izkušnje učencev v kurikulu Dodatno znanje in spretnosti, ki jih učenci pridobijo za življenje Spoštovanje postavljenega reda in discipline v šoli Odnos do vrednot šole in vključevanje v dejavnosti po pouku Organizacija in sodelovanje med ljudmi na šoli Medosebni odnosi med ljudmi v šoli Kolegialnost in vzajemnost (med učitelji in učenci) Zaupanje v sočloveka, v njegove osebnostne in strokovne vrednote Zagotavljanje enakih pogojev in možnosti za vse Skrb za sočloveka; kultura skrbi Navade, prepričanja, običaji, druženja; integracija subkultur Navade in običaji na šoli, prepričanje Kako šola sprejema trende okolja, ki jim sledijo učenci, simboli Šolska glasila, srečanja, običaji in druge značilnosti (posebnosti) šole Vzdušje v šoli, počutje ljudi Sodelovanje šole z okoljem Komunikacija s starši, z delodajalci, odzivi na zahteve okolja Komuniciranje šole s starši Komuniciranje šole z delodajalci Odprtost šole do socialnega okolja, prilagajanje, odzivnost Projektno delo, prireditve, zaposljivost, nadaljnje šolanje Motivacija učiteljev in učencev; samopodoba, volja do dela Slika 4: Drevo kriterijev za ocenjevanje kakovosti šolskega dela, izdelano v programu Dexi 6 Adelman 1992; Benkovič et al. 1998; Pivec, Rajkovič 1998; Rajkovič 1999; Rajkovič, Bohanec 1991; Muha, Rajkovič, Florjančič 1999. Kriteriji ocenjevanja kakovosti šol 191 na najnižjem nivoju v drevesu (na sliki nepoudarjeno), poudarjeni kriteriji so združeni, njihove ocene se tvorijo avtomatsko na podlagi ocenjevalnih pravil. Opis kriterijev podrobno pojasnjuje, kaj se pri posameznem kriteriju ocenjuje. Slika 5 prikazuje opisne ocene, s katerimi ocenjujemo posamezne kriterije. Ve~inoma smo uporabili petstopenjsko ocenjevalno lestvico, ker omogo~a ve~jo natan~nost ocenjevanja kot npr. tristopenjska. Slednjo smo uporabili za ocenjevanje tistih kriterijev, kjer bi bilo podrobnejše ocenjevanje manj obi~ajno. Zaloge vrednosti Kriterij Zaloga vrednosti KAKOVOST ŠOLE Objektivni kriteriji Rezultati učencev Učna vsebina Viri in oprema Subjektivni kriteriji in kultura KULTURA ŠOLE IN KLIMA Organizacija in vodenje Kultura vodenja šole -Profesionalnost -Tirni in učenje Soodločanje Kultura vodenja ljudi hDemokracija ^Avtonomija Organizacija in vodenje oddelka Soustvarjanje kurikula hPriložnosti Izraba priložnosti Izkušnje v kurikulu -Dodana vrednost Drža do reda Odnos do vrednot Kultura odnosov in navad Medosebni odnosi -Kolegialnost -Zaupanje -Pravičnost Skrb Navade, običaji -Navade -Trendi okolja Druženje Klima ŠOLA IN OKOLJE Odprtost šole -do staršev -do delodajalcev do soc. okolja Promocija ciljev MOTIVACIJA slaba; manj ustrezna; sprejemljiva; ustrezna; zelo ustrezna neustrezni; manj ustrezni; sprejemljivi; ustrezni; zelo ustrezni slabi; podpovprečni; povprečni; dobri; zelo dobri neustrezna; manj ustrezna; sprejemljiva; ustrezna; zelo ustrezna neustrezni; manj ustrezni; sprejemljivi; ustrezni; zelo ustrezna neustrezni; manj ustrezni; sprejemljivi; ustrezni; zelo ustrezni neustrezna; manj ustrezna; sprejemljiva; ustrezna; zelo ustrezna neustrezno; manj ustrezno; sprejemljivo; ustrezno; zelo ustrezno neustrezna; manj ustrezna; sprejemljiva; ustrezna; zelo ustrezna neustrezna; manj ustrezna; sprejemljiva; ustrezna; zelo ustrezna ne; izjemoma; večinoma neustrezno; manj ustrezno; sprejemljivo; ustrezno; zelo ustrezno neustrezna; manj ustrezna; sprejemljiva; ustrezna; zelo ustrezna zelo nizka; nizka; srednja; visoka; zelo visoka neustrezna; manj ustrezna; sprejemljiva; ustrezna; zelo ustrezna neustrezno; manj ustrezno; sprejemljivo; ustrezno; zelo ustrezno neustrezno; manj ustrezno; sprejemljivo; ustrezno; zelo ustrezno neustrezne; manj ustrezne; sprejemljive; ustrezne; zelo ustrezne neustrezna; manj ustrezna; sprejemljiva; ustrezna; zelo ustrezna neustrezne; manj ustrezne; sprejemljive; ustrezne; zelo ustrezne neustrezna; manj ustrezna; sprejemljiva; ustrezna; zelo ustrezna neustrezna; manj ustrezna; sprejemljiva; ustrezna; zelo ustrezna neustrezen; manj ustrezen; sprejemljiv; ustrezen; zelo ustrezen neustrezna; manj ustrezna; sprejemljiva; ustrezna; zelo ustrezna neustrezni; manj ustrezni; dobri; ustrezni; zelo ustrezni ni prisotna; izjemoma; večinoma majhno; srednje; veliko majhna; srednja; velika malo; nekaj; veliko neustrezna; manj ustzrezna; sprejemljiva; ustrezna; zelo ustrezna neustrezne; manj ustzrezne; sprejemljive; ustrezne; zelo ustrezne malo; nekaj; veliko malo; nekaj; veliko neustrezna; manj ustzrezna; sprejemljiva; ustrezna; zelo ustrezna neustrezno; manj ustzrezno; sprejemljivo; ustrezno; zelo ustrezno neustrezna; manj ustzrezna; sprejemljiva; ustrezna; zelo ustrezna slabo; dobro; zelo dobro slabo; dobro; zelo dobro slaba; dobra; zelo dobra malo; nekaj; veliko zelo nizka; nizka; srednja; visoka; zelo visoka Slika 5: Merske lestvice in ocene kriterijev Vpliv elementarnih kriterijev na združene prikazuje slika 6. To so t. i. uteži kriterijev, ki jih definiramo z ocenjevalnimi pravili. Lokalne uteži so uteži podrejenih kriterijev glede na nadrejeni kriterij; globalne uteži predstavljajo vpliv kriterija glede na celotno drevo; normirane uteži (lokalne in globalne) pomenijo 192 SODOBNA PEDAGOGIKA 2/2008 Tatjana Kovač pretvorbo merskih lestvic posameznih kriterijev na enotno dolžino.7 Povprečne uteži Kriterij Lokalne Globalne Lok, norm. Glob, norm. KAKOVOST ŠOLE Objektivni kriteriji Rezultati učencev Učna vsebina Viri in oprema Subjektivni kriteriji in kultura KULTURA ŠOLE IN KLIMA Organizacija in vodenje Kultura vodenja šole -Profesionalnost -Tirni in učenje Soodločanje Kultura vodenja ljudi hDemokracija Avtonomija Organizacija in vodenje oddelka Soustvarjanje kurikula ^Priložnosti Izraba priložnosti Izkušnje v kurikulu -Dodana vrednost -Drža do reda Odnos do vrednot Kultura odnosov in navad Medosebni odnosi -Koleglalnost -Zaupanje -Pravičnost Skrb Navade, običaji Navade -Trendi okolja Druženje Klima ŠOLA IN OKOLJE Odprtost šole Odprtost do staršev Odprtost do delodajalcev Odprtost do soc. okolja -Promocija ciljev MOTIVACIJA 50,0 50,0 50,0 50,0 34,8 17,4 34,8 17,4 32,8 16,4 32,8 16,4 32,4 16,2 32,4 16,2 50,0 50,0 50,0 50,0 46,0 23,0 46,0 23,0 29,2 6,7 29,2 6,7 48,0 3,2 48,0 3,2 34,0 1,1 39,3 1,3 34,0 1,1 23,6 0,8 32,0 1,0 37,1 1,2 52,0 3,5 52,0 3,5 57,4 2,0 57,4 2,0 42,6 1,5 42,6 1,5 33,8 7,8 33,8 7,8 48,0 3,7 48,0 3,7 56,4 2,1 56,4 2,1 43,6 1,6 43,6 1,6 52,0 4,0 52,0 4,0 34,4 1,4 34,4 1,4 34,4 1,4 34,4 1,4 31,2 1,3 31,2 1,3 37,0 8,5 37,0 8,5 46,9 4,0 46,9 4,0 29,6 1,2 29,6 1,2 25,2 1,0 25,2 1,0 22,6 0,9 22,6 0,9 22,6 0,9 22,6 0,9 23,3 2,0 23,3 2,0 33,6 0,7 45,7 0,9 30,0 0,6 24,5 0,5 36,4 0,7 29,8 0,6 29,8 2,5 29,8 2,5 19,9 9,9 19,9 9,9 48,6 4,8 61,2 6,1 51,2 2,5 51,2 3,1 24,4 1,2 24,4 1,5 24,4 1,2 24,4 1,5 51,4 5,1 38,8 3,9 34,1 17,1 34,1 17,1 Slika 6: Pregled popre~nih uteži kriterijev v modelu S slike 6 je npr. razvidno, da smo objektivnim in subjektivnim kriterijem dodeli enakovreden vpliv. Znotraj subjektivnih kriterijev (gledano lokalno) ima kultura šole in klima najvišjo utež (46), šola in okolje 19,9 in motivacija 34,1. Če iste kriterije opazujemo globalno (glede na kakovost šole), ima kriterij kultura šole in klima utež 23, šola in okolje 9,9 in motivacija 17,1. Testiranje modela Model smo testirali z anketiranjem ravnateljev in učiteljev vzorčnih srednjih 7 Npr. če ima neki kriterij tristopenjsko, drugi pa petstopenjsko mersko lestvico, dexi normira uteži, kot da bi imela oba enakostopenjske merske lestvice. Kriteriji ocenjevanja kakovosti šol 193 šol; njihovo strokovno mnenje smo upoštevali pri definiranju ocenjevalnih pravil, predvsem pri dolo~anju uteži posameznih kriterijev in upoštevanju vpliva participacije u~encev v subjektivnih kriterijih. Ekspertni model smo preizkusili na podatkih, ki smo jih zbrali z anketiranjem u~encev in u~iteljev. Vzor~ne šole smo izbrali glede na število u~encev (velikost šole), število razli~nih izobraževalnih programov, vrsto izobraževalnih programov (gimnazija, tehniško in poklicno izobraževanje) in lokacijo (v urbanem oziroma podeželskem okolju). Za namen raziskave nismo potrebovali velikega vzorca šol, ampak ~im ve~ podatkov in informacij o posameznih dimenzijah kakovosti na vsaki šoli, in to z vidika razli~nih uporabnikov (ravnateljev, u~iteljev in u~encev). Pri obdelavi anketnih vprašalnikov smo za izra~un osnovnih statistik, kot so aritmeti~na sredina, standardna napaka aritmeti~ne sredine in standardni odklon, uporabili metodo »descriptives« v programu za statisti~ne metode SPSS (Statistical Package for Social Sciences). Ocenjevanje šol Z anketami pridobljene in statisti~no obdelane ocene za posamezne kriterije smo uporabili za ocenjevanje šol v dexiju. Slika 7 prikazuje rezultat ocenjevanja za štiri šole. Šoli, ozna~eni kot Š31 in Š41, imata enako kon~no oceno, pa vendarle ne moremo sklepati, da sta enako kakovostni. Razlikujeta se v ocenah mnogih kriterijev, zato je potrebna poglobljena interpretacija ocenjevanja. Ocene šol lahko analiziramo z razli~nih vidikov, in sicer: • glede na ocene objektivnih in subjektivnih kriterijev kakovosti, • glede na vpliv participacije u~encev, torej glede na tiste subjektivne kriterije kakovosti, za katere smo z anketo ugotovili, da lahko u~enci pomembno vplivajo na njihovo oceno (kjer so anketiranci dolo~ili vpliv u~encev v povprečju ve~ kot 2,15 od maksimalne ocene 3). To so: organizacija in vodenje oddelka (oziroma podrejena kriterija soustvarjanje kurikula in izkušnje v kurikulu), kultura odnosov in navad in sodelovanje šole z okoljem. Analizo ocenjevanja bomo interpretirali na primeru ene od ocenjenih šol, ki smo jo označili kot Š11. Šola Š11 ima »ustrezne« objektivne in »sprejemljive« subjektivne kriterije, zato je glede na ocenjevalna pravila v modelu (vpliv objektivnih in subjektivnih kriterijev na kakovost šole je enakovreden) kakovost ocenjena kot »ustrezna« (graf 1). Z vidika participacije učencev je smiselna nadaljnja analiza subjektivnih dejavnikov kakovosti. Z anketiranjem ravnateljev in učiteljev na vzorčnih šolah smo ugotovili, da je vpliv participacije učencev lahko največji pri naslednjih subjektivnih kriterijih kakovosti: organizaciji in vodenju oddelka, kulturi odnosov in navad, sodelovanju šole z okoljem, motivaciji in organizaciji ter vodenju šole (glej globalne normirane uteži v dexijevem modelu, slika 6). Med temi kriteriji ima šola Š11 najslabše ocenjeno organizacijo in vodenje oddelka (manj ustrezno), kultura odnosov in navad ter sodelovanje šole z okoljem sta ocenjena s srednjo oceno (sprejemljivo), motivacija pa je ocenjena z drugo najvišjo oceno (glej graf 2). V nadaljevanju bomo poskušali pokazati, kje lahko šola Š11 naredi hitre 194 SODOBNA PEDAGOGIKA 2/2008 Tatjana Kovač Rezultati vrednotenja Kriterij Š11 Š21 $31 Š41 KAKOVOST ŠOLE ustrezna zelo ustrezna sprejemljiva sprejemljiva Objektivni kriteriji ustrezni zelo ustrezni ustrezni sprejemljivi -Rezultati učencev dobri zelo dobri zelo dobri povprečni Učna vsebina ustrezna ustrezna manj ustrezna manj ustrezna Viri in oprema ustrezni zelo ustrezna ustrezni ustrezni Subjektivni kriteriji in kultura sprejemljivi ustrezni manj ustrezni sprejemljivi KULTURA SOLE IN KLIMA sprejemljiva ustrezna manj ustrezna sprejemljiva Organizacija in vodenje ustrezno ustrezno manj ustrezno sprejemljivo Kultura vodenja šole ustrezna zelo ustrezna manj ustrezna sprejemljiva -Profesionalnost ustrezna zelo ustrezna manj ustrezna ustrezna Tirni In učenje ne izjemoma ne ne Soodločanje ustrezno zelo ustrezno manj ustrezno sprejemljivo Kultura vodenja ljudi zelo ustrezna ustrezna manj ustrezna sprejemljiva Demokracija Avtonomija zelo visoka visoka srednja srednja ustrezna ustrezna manj ustrezna sprejemljiva Organizacija in vodenje oddelka manj ustrezno ustrezno sprejemljivo sprejemljivo Soustvarjanje kurikula manj ustrezno ustrezno sprejemljivo sprejemljivo Priložnosti sprejemljive ustrezne sprejemljive ustrezne Izraba priložnosti manj ustrezna ustrezna sprejemljiva sprejemljiva Izkušnje v kurikulu sprejemljive ustrezne sprejemljive sprejemljive Dodana vrednost sprejemljiva ustrezna sprejemljiva sprejemljiva Drža do reda ustrezna ustrezna sprejemljiva sprejemljiva Odnos do vrednot sprejemljiv sprejemljiv sprejemljiv sprejemljiv ^Kultura odnosov in navad sprejemljiva sprejemljiva manj ustrezna manj ustrezna Medosebni odnosi dobri manj ustrezni manj ustrezni neustrezni Kolegialnost izjemoma ni prisotna ni prisotna ni prisotna Zaupanje srednje srednje srednje majhno -Pravičnost majhna srednja majhna majhna LSkrb nekaj nekaj nekaj nekaj Navade, običaji sprejemljiva sprejemljiva manj ustzrezna ustrezna -Navade sprejemljive ustrezne sprejemljive ustrezne Trendi okolja malo nekaj malo nekaj Druženje nekaj malo malo nekaj Klima sprejemljiva sprejemljiva sprejemljiva sprejemljiva SOLA IN OKOLJE sprejemljivo sprejemljivo sprejemljivo ustrezno Odprtost šole ustrezna sprejemljiva sprejemljiva ustrezna Odprtost do staršev zelo dobro dobro dobro zelo dobro Odprtost do delodajalcev dobro dobro dobro dobro Odprtost do soc. okolja dobra zelo dobra dobra dobra Promocija ciljev nekaj nekaj veliko veliko MOTIVACIJA visoka visoka srednja visoka Slika 7: Rezultati ocenjevanja šol v dexu spremembe za večjo kakovost in kakšni so učinki izboljšanja ocen opazovanih subjektivnih kriterijev na kakovost šole. Učinek participacije učencev Kaj naj šole storijo, da bi dosegle višjo kakovost? Kaj lahko naredijo učenci? Objektivne pogoje je težko izboljšati v kratkem času, saj je to povezano z investicijami v šolske prostore in opremo, z zakonodajo (predpisani kurikul) in zaposlovanjem učiteljev. Tudi motivacija učiteljev in učencev se ne razvije od danes na jutri oziroma ne moremo pričakovati, da jo lahko v kratkem času bistveno izboljšamo. Šola lahko naredi hitre spremembe v smeri kakovosti na Kriteriji ocenjevanja kakovosti šol 195 Š11 KAKOVOST ŠOLE Graf 1: Ocena kakovosti šole Š11 glede na objektivne in subjektivne kriterije Š11 KAKOVOST ŠOLE Graf 2: Kakovost šole Š11 in ocene izbranih kriterijev tistih področjih, kjer je avtonomna in kjer je pomembno sodelovanje ljudi (participacija učiteljev in učencev): npr. v organizaciji in vodenju oddelka, kulturi odnosov in navad in sodelovanju šole z okoljem. S pomočjo t. i. »kaj-če« analize v programu Vredana (Šet et al. 2001) bomo poskušali dokazati, da je mogoče z izboljšanjem ocen navedenih kriterijev izboljšati kakovost šole. 196 SODOBNA PEDAGOGIKA 2/2008 Tatjana Kovač Opazovani šoli smo spremenili ocene kriterijev organizacije in vodenja oddelka, kulture odnosov in navad ter sodelovanja šole z okoljem tako, da smo vse podrejene kriterije ocenili z maksimalno mogočo oceno. Ker je vpliv participacije učencev v teh kriterijih pomemben, smo hkrati ugotavljali učinke participacije učencev na kakovost šole. Oceni objektivnih kriterijev in motivacije sta ostali konstantni. Poskušali smo ugotoviti, kaj se zgodi z oceno kakovosti, če izboljšamo ocene navedenih kriterijev (povečamo participacijo učencev, graf 3). Graf 3: Dejanska in korigirana ocena kakovosti šole Š11 Legenda: KŠ = kakovost šole, Obj = objektivni kriteriji, MOT = motivacija, ŠO = šola in okolje, Kuodn = kultura odnosov in navad, Ovo = organizacija in vodenje oddelka Na levi strani grafa 3 je prikazano resnično stanje kakovosti šole Š11, na desni pa učinek popravljenih ocen treh izbranih subjektivnih kriterijev. Šola Š11 ima manj ustrezno organizacijo in vodenje oddelka, sprejemljivo kulturo odnosov in navad ter sprejemljivo sodelovanje šole z okoljem. Potem ko smo popravili ocene tem kriterijem (»zvišali« participacijo učencev) na maksimalno mogočo vrednost, se je kakovost šole ob nespremenjeni motivaciji in objektivnih kriterijih zvišala z ocene »ustrezna« na oceno »zelo ustrezna«. Nekaterim kriterijem je bilo treba oceno zvišati za dve stopnji in več, npr. izraba priložnosti učencev v oddelku; na teh področjih bi morala šola narediti večje spremembe. Te so lahko: ponuditi učencem več priložnosti za soustvarjanje kurikula in učence spodbuditi, da bodo te priložnosti tudi izkoristili; ponuditi več izbirnosti v izobraževalni vsebini in možnosti pridobivanja dodatnega znanja in spretnosti; vzpostaviti pravične odnose ipd. Če bi šola Š11 sledila kazalnikom simulacije, lahko z veliko verjetnostjo predvidevamo, da bi se zvišala tudi motivacija, kar bi dodatno vplivalo na večjo kakovost šole. Kriteriji ocenjevanja kakovosti šol 197 Kultura šole in klima ter kakovost šole Kultura šole in klima je kriterij, ki povezuje večino subjektivnih kriterijev kakovosti, v modelu Dexi pa ima visoko normirano globalno utež (23). Sklepamo lahko, da obstaja korelacija med tem kriterijem in kakovostjo šole, predvsem pa velika možnost, da učenci pomembno prispevajo h kulturi šole in klimi (in s tem posredno h kakovosti šole). Iz ocen opazovanega vzorca šol (slika 7) je razvidno, da ima najbolje ocenjena šola Š21 tudi najboljšo oceno za kriterij kultura šole in klima (glej graf 4) ter da ima najslabša šola Š31 hkrati tudi najslabšo oceno tega kriterija. Kultura šole in klima pri drugih šolah sta ocenjeni s srednjo vrednostjo. Predvidevamo, da bi npr. šola Š11 z izboljšanjem kulture šole in klime v matriki »kultura in klima« : »kakovost šole« (graf 4) lahko dosegla položaj »ustrezna : zelo ustrezna«. Podobno lahko sklepamo tudi za druge šole. To je lahko priporočilo ravnateljem, da je vredno načrtovati spremembe v kulturi šole in tako zvišati kakovost. neustrezna manj ustzrezna sprejemljiva ustrezna zelo ustrezna KULTURA ŠOLE IN KLIMA Graf 4: Odvisnost med kakovostjo šole ter kulturo šole in klimo Razprava o rezultatih ocenjevanja šol Interpretacija rezultatov ocenjevanja kakovosti izbranega vzorca šol v modelu Dexi vodi k naslednjim ugotovitvam: • Dobri objektivni pogoji za delo lahko dajejo možnost za razvijanje dobrih subjektivnih pogojev. Od kakovosti organizacije in vodenja šole je odvisno, kako bo šola izkoristila te možnosti (priložnosti). 198 SODOBNA PEDAGOGIKA 2/2008 Tatjana Kovač • Majhnost šole je lahko priložnost za ustvarjanje dobrih subjektivnih pogojev kakovosti, vendar ni mogoče trditi, da je velika šola manj kakovostna oziroma majhna šola boljša. • Ljudje v šolah (iz vzorca) so v poprečju motivirani za delo, vendar si zastavljajo prenizke (premalo ambiciozne) cilje. • Participacija učencev je pomemben gradnik kakovosti šole. Šole z dobro organizacijo in vodenjem oddelka, visoko kulturo odnosov in navad ter dobrim sodelovanjem z okoljem (oziroma z dobro razvitimi oblikami tistega dela, kjer imajo učenci največ možnosti za sodelovanje) dosegajo višjo kakovost. Koristi in pomanjkljivosti ter uporabnost modela ocenjevanja Podrobna analiza ocenjevanja kakovosti izbranih šol je pokazala, da je ekspertni model Dexi lahko relevanten pripomoček za ocenjevanje kakovosti šole z vidika participacije učencev. Model vsebuje kriterije, ki merijo subjektivne dejavnike kakovosti, kjer ima participacija učencev največjo moč. Kriterije in ocenjevalna pravila smo verificirali v strokovni javnosti (z anketiranjem ravnateljev in učiteljev). S kombinacijo modela Dexi in poglobljeno »kaj-če« analizo (simulacijo ocenjevanja) v programu Vredana je mogoče ugotoviti učinke participacije učencev na kakovost in sklepati na načine, kako učence dejavneje vključevati v šolsko delo. Uporaba obeh programskih orodij, Dexija in Vredane, je preprosta in uporabniku prijazna, zato bi ju lahko uporabili v praksi kot pripomoček pri evalvaciji. Model je mogoče enostavno dopolnjevati in spreminjati, tako da bi ga lahko vsaka šola prilagodila svojim željam, potrebam in specifičnemu pogledu na kakovost. Večji problem kot uporaba modela je zbiranje in priprava podatkov, ki bi bili podlaga za ocenjevanje v modelu. Šole obravnavajo kakovost zelo različno in zbirajo zelo različne podatke. Tudi na ravni države ni enotne metodologije o vodenju podatkov, iz katerih bi lahko preprosto in pregledno ocenjevali kakovost. Za učinkovito uporabo predstavljene metode in tehnike za merjenje kakovosti šol bi bilo treba najprej vzpostaviti sistem zbiranja in vodenja podatkov in informacij o šolah in šolskem delu. Model za ocenjevanje kakovosti smo oblikovali in predstavili na primeru srednjih šol. Menimo, da ga je mogoče preprosto »prenesti« tako v osnovne kot višje in visoke šole. Vsaka vrsta šol ima sicer svoje načine in vzvode razvijanja participacije učencev, a bi verjetno ugotovili, da se le-ta pojavlja v podobnih subjektivnih dejavnikih kakovosti in podobno učinkuje na kakovost šole. Uporabnost ekspertnega modela kot tudi metodologije je lahko zelo široka: • za interno evalvacijo (spremljanje, preverjanje kakovosti), • za eksterno evalvacijo (primerjavo na sistemski ravni, npr. kakovost srednjega šolstva v Sloveniji), • na vseh ravneh izobraževanja: osnovno, srednje, višje in visoko šolstvo, Kriteriji ocenjevanja kakovosti šol 199 • za merjenje subjektivnih kriterijev kakovosti (šola po meri učenca), ki se lahko izkaže kot konkurenčna prednost za šolo, • za obravnavanje kakovosti šole kot pogoja za finančne stimulacije in bonitete. • Koristnost predstavljene metode ocenjevanja kakovosti šol je široka, zato menimo, da je vredno razmisliti o možnostih njene uporabe v strokovni praksi. Sklep Vsepovsod v svetu si družbe zelo prizadevajo za izboljšanje kakovosti šolskega dela, saj se zavedajo, da so izobraženi mladi državljani njihov dragoceni kapital. Nekatere družbe so pripravljene vložiti ogromno sredstev in truda, npr. Švedska in Združene države Amerike, druge uspevajo ob minimalnih vložkih, ker jim to omogočajo privzgojene nacionalne norme, npr. na Japonskem. Vsaj tako zahtevno delo, kot je gradnja kakovostnega nacionalnega šolskega sistema, je ugotoviti, kaj je pravzaprav kakovost v šoli. Iz teoretičnih raziskav lahko povzamemo, da je kakovostna tista šola, ki zna učence motivirati, da z aktivno participacijo v vzgojno-izobraževalnem delu dosegajo dobre učne rezultate ter osvojijo spretnosti in vrednote, potrebne za življenje. Kakovost je tudi kultura vodenja šole in ljudi, ki daje možnosti za razvijanje drugih dimenzij kakovosti v šoli, še posebno tistih, ki so povezane s participacijo učencev in motivacijo, kot npr.: organizacija in vodenje oddelka, kultura odnosov in navad, sodelovanje šole z okoljem. Da bi dosegli želeno kakovost v šoli, je treba zagotoviti tako objektivne kot subjektivne pogoje kakovosti. Objektivni pogoji zagotavljajo formalno delovanje šole, niso pa zadosten pogoj za »dobro« šolo. Enako pomembni za kakovost šole so namreč subjektivni pogoji, ki jih ustvarijo ljudje v šoli v obliki kulture šole in klime. To je način, kako šola »diha« in deluje. Učenci imajo pri tem pomembno vlogo, saj so številčno v večini. Njihovo vključevanje v šolsko delo omogoča normativna ureditev šolskega sistema (formalna participacija), ki je pogoj za razvoj vseh drugih razsežnosti neformalne participacije učencev. Koliko učenci v resnici sodelujejo pri soustvarjanju ku-rikula, je odvisno od specifičnih pogojev v šoli, predvsem stopnje subjektivnih dejavnikov kakovosti, kot so npr.: demokracija, avtonomija, timsko delo, varno in spodbudno delovno okolje ipd. Stopnja participacije učencev na šolskem, oddelčnem in medosebnem nivoju neposredno vpliva na kakovost šolskega dela, kar smo dokazali v postopku merjenja učinkov participacije. Na teh področjih je mogoče narediti hitre spremembe, ki neposredno učinkujejo na zvišanje kakovosti šole. Pomembno je tudi, da znamo takšno kakovost izmeriti. Predlagani ekspertni model v dexiju vsebuje kriterije, s katerimi je mogoče ocenjevati kakovost šolskega dela z vidika participacije učencev. Predstavili smo tudi metodo, kako načrtovati spremembe in spremljati učinke sprememb na kakovost. 200 SODOBNA PEDAGOGIKA 2/2008 Tatjana Kovač Literatura Adelman, L. (1992). Evaluating decision support and expert systems. New York: John Wiley. Apple, M. W. (1992). Šola, učitelj in oblast. Ljubljana: Znanstveno in publicistično središče. Aspin, D. N., Chapman, J. D., With, W., Vernon, R. (1994). Quality Schooling; a Pragmatic Approach to Some Current Problems, Topics and Issues. British Library Cataloguing - in - Publicitation Data. ISBN 0-304-32751-4. Benkovič, J., Bohanec, M., Rajkovič, V., Vrtačnik, M. (1998). Knowledge-based evaluation of higher education institutions, Preprints of the 6th IFAC-Symposium »Automated systems based on human skill«, Kranjska Gora, 1997, Pergamon Press 1998, str. 157-160. Caldwell, B. J. (2005). Essentials in the new image of the self-managing school. Annual Conference of the National College for School Leadership, Birmingham. Cunningham, C. (2002). Engaging the Community To Support Student Achievement. ERIC Clearinghouse on Educational Management Eugene OR., http://ericdigests. org/2003-1/student.htm, 30. 3. 04. Davies, B., Ellison, L. (1997). School Leadership for the 21st Century: a competency and knowlwdge approach. Clys Ltd., London. Devjak, T. (2003). Vpliv vzgojnih prizadevanj šole na osebna stališča učencev in učiteljev o predmetu etika in družba (doktorska disertacija). Ljubljana: Filozofska fakulteta. Giancola, J. M., Hutchison, J. K. (2005). Transforming the culture of school leadership: Humanizing our practice. California: Corwin Press, A Sage Publication Company. Glasser, W. (1998). Dobra šola, Vodenje učencev brez prisile. Radovljica: Regionalni izobraževalni center. Jereb, E., Bohanec, M., Rajkovič, V. (2003). Dexi: računalniški program za večparametrsko odločanje: uporabniški priročnik. Kranja: Moderna organizacija. Kovač, T. (2000). Odločitveni model za ocenjevanje kakovosti učno-vzgojnega procesa v izobraževanju odraslih (magistrsko delo). Kranj. Morrison, K., (1998): Management Theories for Education Change. London: Paul Chapman Publishing. Muha, S., Rajkovič, V., Florjančič, J. (1999). Kakovost šole v luči informacijske pismenosti. Vzgoja in izobraževanje v informacijski družbi, Organizacija, letn. 32, št. 8/9, str. 440-444. Pivec, M., Rajkovič, V. (1998). Uporaba ekspertnih lupin v pedagoškem procesu. Vzgoja in izobraževanje v informacijski družbi, Organizacija, letn. 31, št. 9, str. 528-532. Pluško, A. et al. (2003). Modro oko: spoznaj, analiziraj, izboljšaj: Ugotavljanje in zagotavljanje kakovosti v vzgoji in izobraževanju. Ljubljana: Zavod RS za šolstvo. Rajkovič, V. (1999). Večkriterijsko modeliranje in kakovost kompleksnih sistemov zdravstva in šolstva. Civilna družba v Sloveniji in Evropi, str. 300-307. Rajkovič, V., Bohanec, M. (1991). Decision support by knowledge explanation, Environments for supporting decision processes, North-Holland, str. 47-57. Resman, M. (2000). Šola in šolska skupnost kot dejavnika vzgoje. Sodobna pedagogika, št. 5, str. 122-141. Kriteriji ocenjevanja kakovosti šol 201 Resman, M. (2005). Zakaj razvijanje timov in timske kulture na šoli? Sodobna pedagogika, št. 3, str. 80-96. Šet, A., Bohanec, M., Krisper, M. (2001). VREDANA: program za vrednotenje in analizo variant v večparametrskem odločanju, http://www.lopes1.fov.uni-mb/DEXi/VRE-DANA, oktober 2001. Wintersteiner, W. (2003). Postmoderna, pluralizem in pedagogika - kulturno izobraževanje v časih globalizacije. Sodobna pedagogika, št. 3, str. 22-38. KOVAC, Tatjana, RESMAN Metod, Ph.D., RAJKOVIc, Vladislav, Ph.D. CRITERIA FOR ASSESING THE QUALITY OF SCHOOL ON THE BASIS OF THE EXPERIMENTAL MODEL - THE POWER OF STUDENTS' PARTICIPATION Abstract: The quality of a secondary high school is a frequent topic of discussions of professionals and public. Speaking about bad and good schools, we do not say why certain schools are bad and the others good. A lot of efforts and means have been put in the renovation of primary school system and the process has not been finished, yet. More efforts will probably be necessary in the field of high school education where we have perceived many problems, such as: considerable decline, bad attendance at school, bad students' and teachers' motivation for school work. The concern for quality is awakening also in the field of higher and university school system, which indicates that professionals do care about future Slovenian citizens' knowledge and abilities. Everybody included into school work contributes to the quality of school work: school management, teachers, students, parents, employers, local community and legislation. We would like to pay special attention to the students' participation as a part of school culture which makes schools different. Different stages of students' participation establish different ways of students' identification with school goals, developing a different stage of students' motivation for work and influencing the quality of school work. This influence can be measured by means of computer technology, and on the basis of the results we can plan measures for better quality of school work. Keywords: quality of school work, assessing quality, high school, students' participation, school culture, planning changes at school.