Kazalniki v izobraževanju ^^ Jaap Scheerens O Universiteit Twente, Nizozemska > a Uvod: opredelitev kazalnikov ^ Kazalniki v izobraževanju so statistiCni podatki, ki omogoCajo vre- • ^ dnostne sodbe o kljucnih vidikih delovanja izobraževalnih siste- p^H mov. Pogosto uporabljamo izraz »kazalniki uCinkovitosti«, s Cimer - poudarjamo njihovo evalvacijsko naravo. ^^ Taka opredelitev kazalnikov zajema: • stališCe, da se ukvarjamo z merljivimi znaCilnostmiizobraže-^ valnih sistemov; • težnjo, da bi merili »kljuCne vidike«, Ceprav le zato, da bi namesto poglobljenega opisa dobili »trenutno sliko stanja«; • zahtevo, da kazalniki odražajo nekaj v kakovosti šolanja, kar pomeni, da so statistiCni podatki z referenCno toCko (ali standardom), v primerjavi s katero je mogoCe izdelati vrednostne sodbe. Kazalniki spadajo med tisto vrsto evalvaCije, za katero se pogosto uporablja izraz monitoring. Opozoriti moramo na postopno razlikovanje med monitoringom in evalvaCijo. Pri prvem zbiramo opisne informaCije v razliCnih stopnjah razvoja delovanja organizaCije, v našem primeru šole. Lahko gre tudi le za delni vidik delovanja organizaCije, na primer za program ali projekt. Ko opisne informaCije primerjamo s predvidenim razvojem dogodkov, jih lahko uporabimo za vrednostne sodbe, s katerimi dobimo grobe oCene o tem, kje so potrebni korektivni ukrepi. Sistemi kazalnikov obiCajno temeljijo na statistiki na makro ravni, kar v izobraževanju pomeni statistiko delovanja izobraževalnega sistema na naCionalni ravni. Pri evalvaCiji, Ce jo pojmujemo kot programsko evalvaCijo, pa želimo doseCi še vzroCno povezavo. Lahko izide, ki jih merimo, pripisujemo projektu, ali je prišlo do njih zaradi drugih okolišCin? Programska evalvaCija zahteva izpopolnjeno metodologijo, pri Ce-mer mislimo na nedvoumno povezavo med izmerjenimi izidi in projektnimi dejavnostmi. Tako lahko na primer nadziramo pristranske razlage izmerjenih izidov (tj. pristranskost izbire) in/ali usmerimo nadzor v lažno »obravnavo« napak pri izvedbi projekta VODENJE 2|2010: 3-I9 Monitoring Evalvacija Kazalniki na ravni sistema Celoviti sistemi kazalnikov (Kvazi)eksperimentalne programske evalvacije slika 1 Pregledna predstavitev modelov monitoringa in evalvacije (glejte literaturo o notranji in zunanji veljavnosti nacrtovanja (kvazi) eksperimentov). Kadar so sistemi kazalnikov bolj doloceni, uporabljajmo podatke, ki so doloceni z zbiranjem na razlicnih ravneh (na primer podatke na ravni nacionalnega izobraževalnega sistema, podatke na ravni šole in podatke na ravni posameznih ucencev) in so bolj celoviti (na primer, da imamo za isti projekt na voljo kazalnike vložkov, procesov in izidov). Omogocajo nam namrec monitoring, ki se približuje idealu programske evalvacije. Celovitejši sistemi kazalnikov torej lahko nakazujejo, zakaj smo v projektu dosegli cilje oziroma jih nismo, zato so bolj informativni glede korektiv-nih ukrepov. To pomeni, da celoviti sistemi kazalnikov v izobraževanju - čeprav niso tako popolni kot skrbno izvedeni terenski eksperimenti -omogočajo povsem zrelo programsko evalvacijo. V naslednjem poglavju bomo podrobneje opredelili razliko med »celovitimi« sistemi kazalnikov in tistimi na »makro ravni«. Na sliki 1 so shematicno povzete razlike, ki jih navajamo v tem poglavju. Uporabo celovitih sistemov kazalnikov lahko vidimo na »vmesni postaji« na povezavi od (eksperimentalne) programske evalvacije do monitoringa s pomocjo opisnih sistemov kazalnikov na makro ravni. Zgodovinski razvoj Kazalniki v izobraževanju izhajajo iz gospodarskih in družbenih kazalnikov. »Družbeni kazalniki izobraževanja« opisujejo izobraževalne vidike prebivalstva, medtem ko izobraževalni opisujejo ucinkovitost izobraževalnega sistema. Prva smer v razvoju kazalnikov v izobraževanju je bil prehod od opisne statistike k merjenju ucinkov ali splošneje, premik k uporabi statisticnih podatkov, ki so pomembni za evalvacijo. (Če pogledamo razvoj kazalnikov v izobraževanju v Nacionalnem središču za statistiko ministrstva za izobraževanje v zda, zaznamo drugo smer. Najprej so ponujali opisno statistiko o stanju izobraževalnega sistema, vkljuCno s podatki o vložkih in virih. Od leta 1982 dalje so pomembnejše mesto zavzeli podatki »izidov« in »okolišCin«, v predloge za preoblikovanje podatkovnega sistema v izobraževanju so vkljuCili tudi »procesne« vidike delovanja izobraževalnih sistemov. To smer lahko oznaCimo kot premik k celovitejšim sistemom kazalnikov, saj so tradicionalnejše meritve izidov in virov dopolnili z meritvami izidov in okolišcin, poleg tega pa so veliko vec pozornosti namenili »manipulativnim dejavnikom vložkov« in znacilnostim procesa. Tretja smer v razvoju se nekako povezuje z drugo, vsaj kar zadeva zanimanje za procesne znacilnosti. Tradicionalni sistemi kazalnikov so se osredotocili na podatke z makro ravni, kot so na primer število nepismenih, delež ucencev, ki so opravili zakljucni izpit, šole ipd. (Če razmišljamo, da se procesni kazalniki nanašajo na postopke in tehnike, ki dolocajo prehod od vložkov k izidom, nas zanimanje za procesne kazalnike nedvomno pripelje do tega, da nas zanima, kaj se dogaja v šoli. Torej je tretja smer v zasnovi sistemov kazalnikov zato, da merimo in zbiramo podatke na vec kot eni ravni (nacionalni sistem, šola, morda celo razred). Slednje mocno poudarjajo v dobro znani oECD-jevi študiji pisa, s katero vsaka tri leta zbirajo podatke o dosežkih pri branju, matematiki in naravoslovju. Poleg tega študija vsebuje tudi podatke o šolah, tako da lahko vidike ucnega okolja primerjamo z dosežki ucencev. Torej bi lahko dejali, da je model okolišdne-vložek-proces-izid (glej sliko 2) najboljša analiticna shema za sistematicni pogled na kazalnike v izobraževanju. (Čeprav se zdi model »mehanicisticen«, ima velike analiticne prednosti. Okvir okolišcine-vložek-izid-rezultat in njegov pomen za osnovo sistema kazalnikov lahko predstavimo glede na hevri-sticno vrednost in kot možnost za znanstvene temelje in veljavnost, celovitost, prožnost in prilagodljivost modelom vodenja in upravljanja. Hevristična vrednost Zdi se, da je okvir dovolj celovit, da lahko pokrije širok razpon kazalnikov na razlicnih ravneh izobraževalnega sistema. Z dolo-cenimi kombinacijami in medsebojnimi povezavami med katego- Okoliščine (npr. zahteve porabnikov šolska okolja, ukrepi politike na višjih ravneh upravljanja) Viri, usposobljenost učiteljev Vložek Kurikul, organizacija šole, šolska klima Proces Merjenje dosežkov/ znanja Izid Rezultati SLIKA 2 Model šolanja okoliščine-vložek-izid-rezultat rijami kazalnikov lahko dovolj jasno izrazimo osnovno interpretacijo kakovosti, na primer storilnosti, ucinkovitosti, prilagodljivosti, uspešnosti in enakosti. Vecina obstojecih zbirk kazalnikov lahko umestimo prav v ta okvir ali pa je okvir dejansko temelj za njihovo urejenost. gegd in uNESco sta že taka primera. Pri odlocanju o tem, kakšno povezavo med kazalniki si želimo, je kljucno dejstvo, koliko informacij o uspešnosti, enakosti in ucinkovitosti sistemi kazalnikov dejansko zagotavljajo, kar tudi pomembno vpliva na oblikovanje teh sistemov. Možnost za znanstvene temelje in veljavnost Izbiro kazalnikov okolišcin, vložka in procesov v predstavljenem okviru lahko utemeljimo tudi z rezultati razlicnih vej v raziskavah o ucinkovitost izobraževanja. CCeprav pri tem morda upoštevamo neenotne interpretacije kazalnikov, je še vedno smiselno izbrati tiste kazalnike okolišcin, vložka in procesa, ki so v empiricnih raziskavah dokazano povezani z rezultati. Ta ideja je podrobneje raz-clenjena v Scheerensu (1990). Celovitost Kadar je okvir umešcen v strukturo vec ravni, je zelo celovit, saj zajema izobraževalne spremenljivke in razlicne vrste povezav med njimi. Zanimiv miselni poskus bi bil zajeti izobraževalne dejavnike, ki jih ne moremo umestiti v okvir (govorimo o drugih zaželenih dejavniki, o katerih pišemo v nadaljevanju, kot je na primer ujemanje z modeli vodenja, in o kritikah, ceš da je okvir prevec mehanicisticen). Prožnost in prilagodljivost modelom vodenja in upravljanja Okvir je sam po sebi prazen, a omogoča vsakovrstno izbiro glede na želene izobraževalne rezultate, izobraževalne sektorje in okolje ter uporabo za različne ravni v sistemu. Kritika, da je okvir meha-nicističen in povezan le z ozkimi izobraževalnimi cilji, ne zdrži, saj gre za svobodno izbiro vseh vrst rezultatov, pa tudi zaradi vseh navedenih pomislekov, o katerih smo govorili v zvezi z možnostjo povezovanja razliCnih kategorij kazalnikov. Plehkim trditvam o mehanicistiCnemu modelu lahko dodamo tudi strog hierarhičen nadzor. Pravzaprav so kazalniki bolj vezani na interpretacijo »novega managementa«, kjer kot glavno filozofijo usmerjanja mehanizmi evalvacijske povratne informacije nadomešCajo celovito pregledno nacrtovanje. Pri prvem modelu gledamo na evalvacijske mehanizme kot na preverjanje rezultatov, pri cemer pušcamo veliko svobode nacr-tovanju in vodenju procesov, lahko pa jih razumemo tudi kot na-cin organizacijskega ucenja avtonomnih organizacij. Edini meta-teoreticni model organizacijskega delovanja, ki je odkrito sporen glede bolj ocitnih interpretacij modela »vložek-proces-rezultat-okolišcine«, je model samoorganiziranosti in avtonomne organiziranosti (avtopoeze), pri katerem razumemo razvoj kot endogeni proces, ki zanika vse vrste usmerjanja, nadzora, celo ciljne naravnanosti. Podrobnejša analiza primerjav umestitve sistemov kazalnikov v razlicne modele vodenja in upravljanja najdemo pri Sche-erensu (2004). S soocenjem vidika posameznega ucenca, vkljucno z normativno usmeritvijo in osebnimi preferencami, ter razmišljanja o pomenu sistemov bi lahko prišli do analize življenjske zgodovine in biografskih pripovedi. CCeprav bi morda take informacije lahko rekonstruirali v pomene in (osebne) cilje, pa se zdi, da pristop uhaja iz okvira »vložek-proces-rezultat«. Poleg tega mislimo, da je vprašljivo, ali take informacije lahko uporabimo kot kazalnike, kakor smo jih opredelili zgoraj. Slednji razmislek ne izklju-cuje, da v razvoju kazalnikov ne bi upoštevali odnosa ali presoje udeležencev v sistemu (ucencev in uciteljev), na primer njihovega zanimanja in motivacije za matematiko. V naslednjih poglavjih bomo s pomocjo opisanega modela predstavili sisteme kazalnikov na ravni sistema in sistem kazalnikov na vec ravneh. Sistemi kazalnikov na ravni sistema oECD-jev projekt Kazalniki v izobraževanju (gegd 1995; 1998; 1999; 2005; 2007; 2010) uporablja naslednjo razvrstitev. Okoliščine (npr. zahteve porabnikov šolska okolja, ukrepi politike na višjih ravneh upravljanja) Naložbe finančnih in človeških virov v izobraževanje _ Vložek Dostopnost, vklju-' Cenost, napredek, prehodnost' iz šole v delo, učno okolje in organizacija šol Proces Dosežki, rezultati na trgu delovne sile Izid/rezultati SLIKA 3 Umestitev kazalnikov izobraževanja iz študije gegd-ines v model »vložek-proces-rezultat-okoliščine« Glavne kategorije so: A demografsko, družbeno in ekonomsko okolje izobraževanja (npr. pismenost odraslih) B naložbe ^Lnančnih in človeških virov v Izobraževanje (npr. Izdatki za Izobraževanje na učenca) C dostopnost Izobraževanja, vključenost in napredovanje (npr. skupna vključenost v splošno Izobraževanje) D prehod Iz šole v službo (npr. nezaposlenost mladih in zaposlenost glede na stopnjo Izobrazbe) E učno okolje in organizacija šole (npr. predvidene ure pouka za učence v nižjem poklicnem izobraževanju) F dosežki učencev in rezultati izobraževanja v družbi in na trgu delovne sile (npr. dosežki učencev pri matematiki v 4. in 8. razredu, zaslužek in izobrazba) Teh šest kategorij lahko razvrstimo na različne načine. Lahko jih umestimo v model »vložek-proces-rezultat-okoliščine«, o katerem smo govorili v prejšnjem poglavju. Kategorija A tako spada v področje okoliščin, B se nanaša na vložke, C, D in E pa na različne razlage procesne dimenzije, medtem ko F lahko uvrstimo med izide/rezultate. Na sliki 3 smo opustili puščice, saj je vzročna povezanost med temi kategorijami precej nejasna. Pravzaprav vsako od njih uporabljamo le opisno, medtem ko odnosi med kazalniki skoraj niso bili analizirani. GECD-jeve kazalnike lahko pogledamo še na en način, in sicer kot na razliko med kazalniki »na zalogo« in kazalniki »ki se pretakajo«. Kategoriji A in B so značilni kazalniki »na zalogo«, medtem ko se C, D in do določene mere tudi F nanašajo na kazalnike, »ki se pretakajo«. A kazalnik »na zalogo« tako opisuje ustrezen vidik izobraževanja v neki časovni točki na kvalitativen in kvantitativen način (npr. število usposobljenih učiteljev v šolskem letu x). A »kazalnik, ki se pretaka« se nanaša na prehajanje enote izobraževanja, npr. u čen ča ali u čitelja, v drug del sistema (npr. število u čiteljev, ki so zapustili poklič v šolskem letu y). Poudariti moramo, da z opredelitvijo kazalnikov »prehoda« oziroma »pretoka« kot pro česnih kazalnikov dodamo še njihovo tretjo razlago. Dejansko poznamo tri vrste pro česnih kazalnikov: • predpogoji za pro čese preoblikovanja (glejte model sistemov na sliki i) • preverjanje izvajanja programov • pretok enot skozi izobraževalni sistem uNEsco uporablja naslednji okvir kazalnikov: 1. Dostopnost izobraževanja • prava stopnja vpisa in pri čakovana doba šolanja • stopnje prehodnosti - iz osnovne v srednjo šolo 2. Vključenost v izobraževanje • po ravni (vrte č, osnovna in srednja šola) • po letih 3. Notranja učinkovitost • delež tistih, ki ostanejo v izobraževanju, in odstotek ponavljal čev (prva stopnja) • razmerje med številom u čiteljev in u čen čev • javni izdatki za izobraževanje; odstotek BDP-ja in kot odstotek izdatkov vlade 4. Nepismenost • o čena števila nepismenih odraslih Svetovna banka v svojo »izkazničo rezultatov« vklju čuje še štiri kazalnike človekovega razvoja: • delež vpisa v osnovne šole; • stopnja umrljivosti pred 5. letom; • razmerje med fanti in dekleti v osnovnih šolah; • razmerje med fanti in dekleti v srednjih šolah. Primeri kazalnikov na sistemski ravni 1. FinanCni vložki • izdatki za izobraževanje glede na bruto domaCi proizvod po stopnjah izobraževanja • izdatki za izobraževanje na uCenca po stopnjah izobraževanja • relativni deleži javnih in zasebnih vlaganj v izobraževanje 2. Vložki Človeških virov • odstotek usposobljenih učiteljev na primarni, sekundarni in terciarni ravni (ta kriterij je odvisen od države) • odstotek učiteljev po ravneh izobraževanja z manj kot tremi leti delovnih izkušenj • razmerje med učenci in strokovnimi delavci po ravneh izobraževanja 3. Procesni kazalniki na ravni sistema • število ur poucevanja po predmetih • skupno število ur pouka po letnikih za dolocene razrede v primernem in sekundarnem izobraževanju • priložnosti za ucenje po oceni strokovnjakov glede prekrivanja preverjanja znanja in kurikula 4. Kazalniki rezultatov • število vkljucenih v primarno, sekundarno in terciarno izobraževanje • vkljucenost odraslih v nadaljnje izobraževanje in usposabljanje • šolska izobrazba odraslih • število ucencev, ki so zakljucili primarno, sekundarno in terciarno izobraževanje • uspeh pri temeljnih predmetih na koncu primarnega/sekundarnega izobraževanja (najbolje po pristojnih merilih, npr. pri preizkusih znanja) • dosežena dodana vrednost pri temeljni predmetih (uspeh glede na prejšnjega ali glede na ustrezne druge znacilnosti ucencevega družbenega okolja) • obvladovanje »življenjskih spretnosti« in kompetenc (po-drocje, ki ga gegd še razvija) 5. Kazalniki vpliva • zaposlenost po stopnji izobrazbe 6. Kazalniki okolišcin • relativna velikost populacije šoloobveznih otrok • mesto sprejemanja odlocitev v izobraževanju po ravneh izobraževanja (ta kazalnik pokaže, na kateri ravni upravljanja se do dolocene stopnje avtonomno sprejemajo od-locitve v podpodrocjih v izobraževanju: kurikul, vodenje zaposlenih, pouk, viri) • standardi v izobraževanju po ravneh (npr. cilji, kot so po-vecanje števila, ki uspešno zakljucijo izobraževanje, odstotek ucencev s podpovprecnimi ali nadpovprecnimi rezultati) Celoviti sistemi kazalnikov, vkljuCCno s procesnimi kazalniki delovanja šol Izobraževalni sistemi imajo hierarhicno zgradbo, v katero so »v-gnezdene« ravni upravljanja. Sistemi kazalnikov jo obicajno zanemarijo, s tem ko uporabljajo statisticne podatke, ki jih opredelijo na nacionalni ravni, ali upoštevajo formalne znacilnosti sistema. Primeri: razmerje med številom uciteljev in ucencev, izracunano iz števila vseh ucencev in uciteljev v državi ali place uciteljev, kot jih opredeljujejo nacionalne placne lestvice. Tudi, ce želimo uporabiti samo kazalnike na nacionalni ravni, poznamo dve prednosti uporabe podatkov, ki jih zbiramo na nižji ravni: • razvršceni podatki nam omogocajo pregledovanje razlik med enotami, npr. razlike med šolami pri doseganju rezultatov na izpitih; • razvršceni podatki omogocajo boljše prilagajanje in veljavna sklepanja; najboljši primer v izobraževanju je uporaba tako imenovanih kazalnikov »dodane vrednosti«, ki temeljijo na dosežkih pri zunanjih preverjanjih, prilagojenih prejšnjemu ucnemu uspehu in/ali drugim pomembnim znacilnostim ucencevega družbenega okolja. Kadar želimo na primer znacilnosti organizacije šole primerjati z dosežki ucencev, potrebujemo razvršcene podatke na ravni ucencev, ce želimo opraviti analizo na vec ravneh. Še posebej, kadar želimo uporabiti podatke za programsko evalvacijo, so omenjene prednosti razvršcenih podatkov pomembne, saj zagotavljajo cvrstejšo osnovo, da lahko odgovorimo na vzrocna vprašanja o ucinkovitosti programa. Še zadnja prednost takih podatkov pa je, da se poveCa ustreznost sistemskih kazalnikov na nižjih ravneh upravljanja (npr. na ravni šolskih okrožij ali posameznih šol). Vloga procesnih kazalnikov V prejšnjih poglavjih smo opozorili na razliCne razlage proCesnih kazalnikov v izobraževanju. V tem delu pa bomo osrednjo pozornost namenili proCesnim kazalnikom, ki odsevajo prilagodljive pogoje temeljnih proCesov preoblikovanja (glejte sliko i). Primer takega preoblikovanja so delovanje šole kot organizaCije, pouCeva-nja in uCenje na ravni razreda. Na splošno bi lahko rekli, da ti proCesni kazalniki nekoliko osvetlijo tisto, kar se dogaja v »Crni skrinjiCi« izobraževanja. Zanimivi so s stališCa politike in vodenja, saj se nanašajo na pogoje, ki so dovolj prilagodljivi, da jih z aktivno politiko lahko izboljšamo. V naslednjem podpoglavju bomo prikazali nekatere vidike raziskav o uCinkovitosti šol, ki najpogosteje vplivajo na opredelitev in izbor proCesnih kazalnikov. Izbrali bomo tiste, ki nakazujejo pozitivno povezavo z izobraževalnimi izidi in rezultati. V najboljšem primeru bi z njimi lahko predvideli rezultat (kot npr. pri »delovanju izobraževalne produkCije«: orodja v »proCesnih« pogojih napovedujejo poveCanje rezultatov glede na natanCno vlogo). (Če bi bilo tako instrumentalno znanje popolno, bi proCesne kazalnike lahko upraviCeno uporabljali namesto kazalnikov rezultatov. (Če pa upoštevamo dejstvo, da je taka vloga izobraževanja vprašljiva in da je znanje o uCinkovitosti šol tako rekoC »nepopolno«, tako odloCna instrumentalna razlaga ni realna. Ostaneta še dve možnosti uporabe proCesnih kazalnikov: • kot »dodatek« kazalnikom izida, pri Cemer bi prav ob vsaki taki uporabi morali na novo raziskati povezavo med kazalniki proCesa in izida, da bi lahko »razložili« razlike v izdih med šolami in izobraževalnimi sistemi; • kot manj trdno razlago uporabnosti, pri Cemer razumemo proCesne kazalnike kot primer dobre prakse v izobraževanju, to pa lahko uporabimo kot vrednostne sodbe o kakovosti v izobraževanju Celo brez podatkov o izidih. Raziskave o učinkovitosti v izobraževanju in opredelitev procesnih kazalnikov Najverjetnejši temelj za izbor proCesnih kazalnikov je izbira tistih spremenljivk, ki domnevno napovedujejo šolske rezultate. Razi- skave o ucinkovitosti šol lahko uporabimo kot vir za opredelitev obetavnih procesnih spremenljivk. Cilj teh raziskav je splošno povedano odkrivanje tistih znacilnosti šol, ki so pozitivno povezane z rezultati in jih obicajno merimo z ucnim uspehom ucencev. Vanje sodijo razlicne raziskovalne tradicije, vkljucno s tistimi, ki se ukvarjajo z (ne)enakostjo v izobraževanju (sociološke), z ekonomiko izobraževanja, z izboljševanjem šol in ucinkovitostjo šol ter z uspešnostjo uciteljev in pouka (psihološke). Poleg tega na oblikovanje in izbiro procesnih kazalnikov vplivajo tudi bolj teoreticni in analiticni prispevki iz organizacijskih ved in mikroekonomije organizacij javnega sektorja. Scheerens (1990) je v svojem enotnem modelu združil rezultate vseh mogocih raziskav s podrocja ucinkovitosti šol, in sicer: • model analiticnih sistemov, ki prepoznavajo spremenljivke okolja, vložka, procesa in izida; • okvir vec ravni, ki upošteva znacilnosti ucencev, razreda, šole in okolja; • vodike medsebojnih razmerij med spremenljivkami na raz-licnih ravneh, med katerimi je najboj znana situacijska teorija, in organizacijske pogoje, ki omogocajo primerne procese v šolah; • posamezne ugotovitve iz razlicnih raziskav o ucinkovitosti izobraževanja. Na sliki 4 je shematicen povzetek tega modela. Enoten model učinkovitosti šol V tem poglavju smo predstavili razlicne razvrstitve kazalnikov. V tem clanku bi radi poudarili naslednje tocke: • Od obsega projekta je odvisno, koliko so kazalniki na sistemski ravni primerni za monitoring in evalvacijo izobraževalnih projektov. CCe se nanašajo na celoten sektor, je njihova uporaba metodološko upravicena. • Uporaba podatkov, zbranih na nižjih ravneh, ima dolocene prednosti, ne glede na to, ali kazalnike upoštevamo kot uporabne na ravni sistema oziroma kot »celovite«; v sistemu se pojavljajo neskladja, poleg tega pa predstavljajo mocnejšo podlago za natancno interpretacijo in vzrocne hipoteze. • Procesni kazalniki na ravni šole, ki smo jih opredelili na podlagi raziskav o ucinkovitosti šole, imajo dodano vrednost Vsebina • Spodbude za ucni uspeh z višjih administrativnih ravni • Razvoj izobraževalnega potrošništva • »Spremljevalne spremenljivke«, kot so velikost šole, telesna sestava ucencev, kategorija šole, urbana/podeželska Vložki • Izkušnje uciteljev • Izdatki na ucenca • Podpora staršev Proces \ Raven šole • Stopnja politike dosega- nja ucnega uspeha • Konsenz, skupno nacr- tovanje uciteljev • Kakovost šolskega ku- rikuluma v smislu po- krivanja vsebine in formalne struktrure • Urejena atmosfera ^ 1 * t Raven učilnice • (Čas ucne aktivnosti (vkljucno z domacimi nalogami) • Strukturirano poucevanje • Priložnost za ucenje • Visoka pricakovanja glede napredovanja ucencev • Stopnja evalvacije in nadziranja napredka ucencev • Spodbujanje slika 4 Shematicen povzetek modela pred procesnimi kazalniki, saj z njimi lahko preverjamo izvedbo projektov. Omogocajo nam namrec vpogled, kako posamezni elementi projekta vplivajo na bolj splošne dejavnike, povezane z ucinkovitostjo v izobraževanju. Primeri 1. Vkljucenost skupnosti • stopnja dejanske vkljucenosti staršev v razlicne dejavnosti šole (pro čes u čenja in pou čevanja, interesne dejavnosti in podporne dejavnosti);1 • odstotek čelotnega prora čuna šole, ki ga pridobimo do lokalne skupnosti2 • število pooblastil, ki jih imajo sveti šol pri delovnih pogojih za u čitelje [morebitna opera čionaliza čija v projektu EDuco - El Salvador] 2. Finan čni in človeški viri v šolah • povpre čno število let delovnih izkušenj u čiteljev na šolo • razmerje med številom u čen čev in u čiteljev na ravni šole • povpre čno število učen čev v razredu na šolo • delež formalno usposobljenih učiteljev na šolo • skupni stroški vodenja šole (ekvivalent polnega delovnega časa ravnatelja in pomo čnika na 1000 u čen čev) 3. Politika učnega uspeha • ali ima šola standarde znanja • koliko šola spremlja (u čno) kariero u čen čev, potem ko zapustijo šolo • ali šola poro ča o uspehu/dosežkih lokalnim institučijam 4. Vodenje šole • čas, ki ga ravnatelji porabijo za pedagoško vodenje v primerjavi z upravljanjem in drugimi nalogami • ali ravnatelji spremljajo uspešnost učiteljevega dela • čas, ki ga posvetijo problemom pouka med pedagoško konferen čo 5. Stalnost in soglasnost med učitelji • število menjav med zaposlenimi v dolo čenem obdobju • ali delujejo predmetni aktivi • pogostost in trajanje formalnih in neformalnih sestankov 6. Urejeno in varno vzdušje • statistika o izostankih in prekrških • o čena dis čipline v šoli, ki jo dajo ravnatelji, učitelji in učen či 7. U činkovita raba časa • skupno število uro pouka in ur po posameznih predmetih • povpre čna izguba časa pri pouku (zaradi organiza čije, selitve iz razreda v razred, loka čije, motenj) • odstotek neizvedenih ur na leto 8. Spremljanje napredka ucencev • pogostost preizkusov znanja, ki se nanašajo na kurikul, v vsakem razredu • pogostost standardiziranih preizkusov znanja • dejanska uciteljeva uporaba rezultatov preizkusov znanja 9. Ocena kakovosti poucevanja • kakovost pouka, kot jo ocenjujejo sodelavci (drugi ucitelji) • kakovost pouka, kot jo ocenjujejo ucenci ZakljuCCek: uporaba in interpretacija kazalnikov v izobraževanju Temeljni namen sistemov kazalnikov v izobraževanju sta evalva-cija in monitoring kakovosti. Zato je njihova interpretacija odvisna od tega, kako opredelimo kakovost. Razlicne poglede nanjo lahko pojasnimo na osnovi konceptualnega okvira, ki predstavlja izobraževanje. Na ta nacin izobraževanje najpogosteje opišemo kot proizvodni sistem, v katerem vložki prehajajo v izide, kar se dogaja v naslednjih korakih: • vkljucitev dimenzije okolja, ki je vir vložkov in ovir, vendar tudi generira zahtevane izide, ki jih moramo proizvesti; • razlikovanje rezultatov v neposrednih izidih, dolgorocnih rezultatov in koncnih družbenih vplivov; • prepoznavanje hierarhicne narave pogojev in procesov, pri cemer gledamo na javno izobraževanje le še kot a primer »upravljanja na vec ravneh«. Okvir je prikazan kot model, predstavljen na sliki 1. Ko se ozremo na temeljni okvir, lahko opredelimo kakovost v izobraževanju na vsaj šest nacinov, in sicer glede na to, kateri del, vidik ali razmerje poudarimo. Proizvodni vidik Pri tem gledamo na uspeh sistemov, kot da so odvisno od doseganja želenih izidov/rezultatov, na primer kot za zadovoljivo število ucencev, ki so dosegli dolocen ucni uspeh ob koncu šolanja (formalno je to zakljucno spricevalo), lahko pa tudi kot sprejemljivo raven zaposlitve dijakov dolocenega programa. Prevladujejo torej kazalniki izida/uspeha/vpliva kot edina vrsta kazalnikov kakovosti, ki jih je treba spremljati. Vidik uporabne učinkovitosti Z vidika uporabne učinkovitosti je jasno, da moramo izbrati kazalnike okoliščin, vložka in procesa, saj pričakujemo, da vplivajo na rezultate. (Če lahko popolnoma določimo namen učinkovitosti ali produktivnosti, lahko tudi v celoti predvidimo rezultate, torej lahko okoliščine, vložek in proces nadomestijo kazalnike. Vrednost določenih ravni in oblik vložkov in procesov torej določi možnost uporabe. Ta vidik je za politiko bolj oprijemljiv, saj ne upošteva le omejitev, ampak tudi dejavnike, ki so bolj politično prilagodljivi. Vidik prilagoditve Ta vidik »prekaša« prejšnjega v tem, da nas ne zanima le, kako bi stvari naredili prav, ampak nas bolj zanima, kako narediti prave stvari. Drugače povedano, z vidika prilagoditve kritično analiziramo izobraževalne cilje. Pogoje, ki omogočajo nenehno preverjanje spreminjajočih se pogojev v okolju na področju izobraževanja, obravnavamo kot sredstvo, medtem ko rezultate na trgu dela ali »kulturni kapital« lahko razumemo kot cilje. Vidik enakosti Kadar analiziramo vložke, procese in izide glede na njihovo enako ali »pravično« razporeditev med udeležence izobraževanja z različnimi značilnostmi, je glavni način presoje kakovosti v izobraževanju enakost. Trenutno poteka zanimiva mednarodna primerjav o kazalnikih enakosti, ki temelji na GECD-jevi študiji pisa (glejte na primer gecd 2010). Vidik učinkovitosti Lahko ga razumemo kot dodatno zahtevo po storilnosti in uporabni učinkovitosti, saj zahteva najboljše možne rezultate za najmanjše možne stroške. Vidik nepovezanosti Pri prejšnjih vidikih kakovosti v izobraževanju so bile v ospredju kombinacije oziroma odnosi med različnimi elementi, ki so prikazani na sliki 1 in predstavljajo poseben pogled nanjo. Namesto tega lahko obravnavamo vsak element »zase« in presojamo, ali predstavlja sprejemljiv način na sprejemljivi ravni. Tako bo nekdo na primer upošteval raven usposabljanja uciteljev kot minimalno zahtevo, da lahko (p)ostaneš ucitelj, velikost razreda bo presojal po tem, ali gre za obvladljivo enoto uciteljev in ucencev, strategije poucevanja pa ocenjeval glede na pravila dobre prakse. Tak nepovezan vidik je na papirju najpreprostejši, v evalvacijskem smislu pa morda daje najbolj neomejene možnosti. Ko razmišljamo, kako se vsi ti razlicni pogledi na kakovost v izobraževanju kažejo pri sestavljanju in uporabi kazalnikov, se zdi, da prevladuje slednji, se pravi »nepovezani vidik«. Podobno ima priložnostna uporaba vidika enakosti in ucinkovitosti znacil-nosti nepovezanosti. Torej lahko ta vidik zelo dobro povezujemo z eklekticno uporabo ostalih vidikov. Lahko bi na primer primerjali vlaganje v posebne programe za ucence z ucnimi težavami po državah (kazalniki vložka, ki jih uporabimo z vidika enakosti), lahko bi primerjali nacionalno vlaganje v place uciteljev v državah z bolj ali manj podobno porazdelitvijo rezultatov znanja (kazalniki vložkov z vidika ucinkovitosti). Mednarodne primerjalne študije, ki jih vodi iea, so vzvod za primerjavo ravni uspešnosti, kar sovpada s t. i. proizvodnim vidikom. CCeprav vidik uporabne ucinkovitosti le redko uporabljamo kot dopolnilni »vzrocni« nacin, pa igra pomembno vlogo pri opredelitvi in izbiri kazalnikov okoli-šcin, vložkov in izidov. Ko zberemo vse te kazalnike, jih vecinoma uporabljamo po nepovezani metodi. Razmišljanje o novejšem razvoju na podrocju mednarodno primerjalnih kazalnikov izobraževanja nam pokažejo, da še vedno poudarjamo analize na sistemski ravni. Trenutno bolj poudarjamo dejavnike, ki so bližji politiki, kot so decentralizacija, izbira šol, politika odgovornosti (glejte na primer gegd 2005; 2007; Woes-smann in dr. 2009). Prav tako se vse pri mednarodnih kazalnikih vedno bolj obracamo k vprašanjem enakosti (gecd 2010). Nazadnje pa bi radi še omenili, da prav zdaj poteka zanimiv nacin primerjave kazalnikov ucnih dosežkov s kazalniki gospodarske rasti (Hanushek in Woessmann 2009). Opombe 1. Operacionalizacija je dostopna na gecd/ines. 2. Operacionalizacija je dostopna na Belize School. Literatura Hanushek, E. A., in L. Woessmann. 2009. Do better schools lead to more growth? Cognitive skills, economic outcomes, and causation. nber Working Paper 14633. gecd. 1995. Education at a glance 1995. Pariz: gecd. 1998. Education at a glance 1998. Pariz: gecd. 1999. Education at a glance 1999. Pariz: gecd. 2005. Education at a glance 2005. Pariz: gecd. 2007. Education at a glance 2007. Pariz: gecd. 2010. The high cost of low educational performance: an estimation of the long-run economic impact of improvements in pisA outcomes. Pariz: gecd. Scheerens, J. 1990. Process indicators on school functioning. School Effectiveness and School Improvement 1 (1): 61-80. -. 2004. The formative implications of standards. V Bildungsstandards: Internationale Erfahrungen - Schulentwicklung -Bildungsreform, ur. Th. Fitzner, 202-220. Bad Boll: Evangelische Akademie. Woessmann, L., E. Luedemann, G. Schutz in M. R. West. 2009. School accountabililty, autonomy and choice around the world. Cheltenham: Elgar.