Psihološka obzorja / Horizons of Psychology, 15, 3, 65-77 (2006)
© Društvo psihologov Slovenije 2006, ISSN 1318-187
Pregledni strokovni prispevek
Razvrščanje šol s pomočjo rezultatov zunanjih
preizkusov znanja"
Gašper Cankar' Državni izpitni center, Ljubljana
Povzetek: Avtor v prispevku poudarja dilemo uporabe rezultatov zunanjih preizkusov znanja za razvrščanje šol. Izpostavi implicitni učinek javne objave omenjenih rezultatov in vprašanje veljavnosti rezultatov preizkusov znanja za omenjeni namen ter predstavi izkušnje in polemike, ki jih na to temo trenutno lahko najdemo v strokovni literaturi. Javno objavljanje lestvic šol na osnovi rezultatov zunanjih preizkusov znanja je namreč v več zahodnoevropskih državah običajno in podobne premike lahko v zadnjem času srečamo tudi v Sloveniji na področju rezultatov splošne mature. Pri tem obstaja v tujini tudi več raziskav, ki nam omogočajo ugotavljati pozitivne in negativne učinke objave omenjenih rezultatov. Rezultati zunanjih preizkusov znanja so namreč le ena od informacij, ki lahko osvetlijo delovanje šole. Če upoštevamo tudi druge informacije, lahko šole med sabo razvrstimo na zelo različne načine. Vsi ti načini ugotavljanja dela na šolah so nepopolni, vendar kljub temu dajejo informacije, ki jih z dobro mero razumevanja in previdnosti lahko koristno uporabimo. Če želimo resnično izboljšati kakovost v šolah, potem lahko informacije damo na voljo šoli sami. Šola v tem primeru sama oceni, kako bo pristopila k reševanju položaja, v katerem je, in s podporo ustreznih zunanjih institucij (npr. Zavoda RS za šolstvo) konstruktivno spreminja šolski proces. Pozornost širše javnosti je v tem primeru odveč, saj vire, ki jih ima šola na voljo, preusmerja iz reševanja problema na ukvarjanje z zunanjo podobo šole. V veliki večini primerov zato javna objava podatkov, ki omogočajo primerjave med šolami, ni korak v želeni smeri.
Ključne besede: preizkusi znanja, veljavnost, razvrščanje, šole
Ranking schools on external knowledge tests results
Gašper Cankar National Examination Centre, Ljubljana, Slovenia
Abstract: The paper discusses the use of external knowledge test results for school ranking and the implicit effect of such ranking. A question of validity is raised and a review of research literature and main known problems are presented. In many western countries publication of school results is a common practice and a similar trend can be observed in Slovenia. Experiences of other countries help to predict positive and negative aspects of such publication. Results of external knowledge tests produce very limited information about school quality—if we use other sources of information our ranking of schools can be very different. Nevertheless, external knowledge tests can yield useful information. If we
*  Mnenja in pogledi, predstavljeni v besedilu, izražajo osebna stališča avtorja in ne odražajo stališč institucije, iz katere avtor izhaja.
*  Naslov / Address: dr. Gašper Cankar, Državni izpitni center, Ob železnici 16, 1000 Ljubljana, e-mail: gasper.cankar@guest.arnes.si
66
G. Cankar
want to improve quality in schools, we must allow schools to use this information themselves and improve from within. Broad public scrutiny is unnecessary and problematic—it moves the focus of school efforts from real improvement of quality to mere improvement of the school public image.
Keywords: knowledge tests, validity, ranking, schools
CC = 3500
Razvrščanje šol s pomočjo rezultatov zunanjih preizkusov znanja
Vsako razvrščanje predstavlja primerjavo. Ker pa primerjave zelo pogosto spodbujajo implicitne sodbe, je seveda zelo pomembna zanesljivost podatkov, ki jih uporabljamo za primerjavo, in veljavnost podatkov za namen primerjave. Zunanji preizkusi znanja, kot je v Sloveniji splošna matura, predstavljajo zaključek določene stopnje šolanja in dokaz o usposobljenosti, obenem pa se uporabljajo kot eno od meril za vpis v primeru, da je vpis na študij omejen. Ali je rezultat, ki nastane v takem kontekstu, primeren za primerjavo šol? V nadaljevanju bomo predstavili tako dileme zanesljivosti podatkov, uporabljenih pri razvrščanju šol, kakor še pomembnejša vprašanja veljavnosti za različne možne namene javne objave rezultatov.
Zanesljivost podatkov
Javno objavo lestvic šol, izdelanih na osnovi dosežkov kandidatov na zunanjih preizkusih znanja, spremljajo zadržki, ki so značilni tudi za mnoge druge objave statističnih podatkov. Včasih podatki niso popolni, pojavljajo se manjkajoče vrednosti, ali se med zbiranjem podatkov spreminjajo. Splošne statistike običajno ne zmorejo zajeti vseh izjem in posebnosti, s katerimi se soočamo v praksi. Zato jih moramo razlagati zelo previdno, na osnovi dobrega poznavanja šolskega sistema, postopkov zunanjega preverjanja znanja in seveda temeljitega statističnega predznanja.
Kot vsako merjenje tudi dosežki preizkusov znanja vedno vsebujejo večjo ali manjšo napako. Napako aritmetične sredine rezultatov posamezne šole lahko pri navajanju ponazorimo tako, da navedemo območje, v katerem se najverjetneje nahaja prava aritmetična sredina rezultatov, če te napake ne bi bilo. To imenujemo interval zaupanja in večja kot je napaka, širši je interval okoli dobljene vrednosti, v katerem se najverjetneje nahaja prava vrednost. Dobra praksa je, da nedoločljivost, povezano z napako, izrazimo v obliki intervala vrednosti, v katerem se najverjetneje nahaja tudi pravi dosežek šole (Cankar in Bajec, 2003). Iz tako prikazanih rezultatov postane očitno, da se intervali vrednosti med šolami tudi prekrivajo in bi bile prave razporeditve šol lahko zelo različne. Zato so vse lestvice šol, ki so izdelane zgolj na osnovi točkovnih prikazov povprečnih vrednosti, do neke mere napačne, saj ustvarjajo vtis, da razlike med šolami so tudi tam, kjer glede na napako aritmetične sredine rezultatov tega zaključka nikakor bi smeli sprejeti.
Razvrščanje šol
67
Razvrstitve šol so tudi relativne. Če bi npr. šola dosegla letos enak rezultat kot lani, pa bi vse druge šole napredovale, bi njen položaj na lestvici padel. In bliže, kot so si rezultati šol, večji je lahko padec omenjene šole.
Lestvice dosežkov zunanjih preizkusov znanja nikoli niso aktualne. Do takrat, ko rezultate zberemo, obdelamo in objavimo lestvico šol, je generacija učencev, katerih rezultati so uporabljeni, že zapustila šolo - rezultati pa naj bi bili uporabni za bodoče dijake! V nekajletni praznini, ki je med zaključno generacijo (ki najpogosteje piše zunanje preizkuse znanja) in bodočimi dijaki posamezne šole, je lahko šola zelo napredovala ali nazadovala, pa to pri rezultatih (še) ne bo vidno, saj kažejo rezultate večletnega dela in so glede na aktualno stanje lahko že povsem zastareli. Ta problem bi lahko zadovoljivo rešili le, če bi testirali vsako leto vse dijake.
Slika 1. Razvrščanje 85 šol (8762 kandidatov, ki so pozitivno opravili splošno maturo na spomladanskem roku 2006) glede na njihov povprečni dosežek. Točke predstavljajo aritmetične sredine rezultatov po šolah, meje predstavljajo 95-odstotne intervale zaupanja - meje območja, v katerem je s 95-odstotno verjetnostjo pravi dosežek šole. Vodoravna črta predstavlja nacionalno povprečje. Vidimo lahko, da bi bile prave razporeditve rezultatov glede na prekrivajoče intervale zaupanja kaj lahko drugačne (Vir podatkov: RIC 2006).
68
G. Cankar
Določen preizkus znanja pri posameznem predmetu lahko na šoli opravlja le en ali dva kandidata, lahko pa jih je nekaj sto; povprečen rezultat lahko izračunamo v vsakem primeru, vendar ni vseeno, na koliko kandidatih temelji. Če je število kandidatov zelo majhno, lahko povprečne vrednosti med leti zelo nihajo in razlike niso toliko posledica dela na šoli, ampak razlik med konkretnimi kandidati v posameznih letih.
Povprečen rezultat ni tako zgovoren brez ene od mer razpršenosti (npr. standardnega odklona). Brez njih ne vemo, ali je povprečje dokaj tipičen rezultat na določeni šoli, ali so dosežki na šoli veliko bolj raznoliki.
Možni nameni razvrščanja šol in vprašanja veljavnosti
Se nam mogoče ne dogaja, da namesto pravih mer kakovosti dela na šoli uporabljamo tiste, ki so nam dosegljive? Da pričakujemo od podatkov informacijo, ki je v podatkih ni ali pa je pomešana z množico drugih vplivov? Gre za klasično psihometrično vprašanje veljavnosti, kjer smo pozorni na to, ali dobljeni rezultati dejansko odražajo tisto, kar smo želeli meriti (Bucik, 1997).
Smiselnost javne objave razvrstitve šol po dosežkih na zunanjih preizkusih znanja lahko ocenjujemo s pomočjo odgovorov na dve vprašanji: kakšnim namenom javna objava služi in ali lahko od javne objave dosežkov šol na teh preizkusih pričakujemo doseganje želenih namenov. Živimo v družbi, v kateri velja prepričanje, da je javna objava podatkov (z izjemo tistih, ki bi ogrožali nacionalno varnost na eni ali zasebnost posameznika na drugi strani) vedno dobra in v absolutnem smislu pozitivna. Javna objava dosežkov na zunanjih preizkusih znanja po šolah naj bi tako predstavljala šolam pritisk javnosti, ki bi jih spodbudil k spremembam na bolje. Javna objava tako predstavlja transparentnost, ki bo motivirala tiste, ki delajo dobro, in spodbudila k razmišljanju tiste, ki delajo slabo. To je sicer plemenit cilj, katerega uresničitev pa je ob objavljanju rezultatov po šolah vprašljiva.
Rosano, Gates, Zaretsky in Kurilko (2005) opozarjajo, da odločilni preizkusi znanja (angl. high-stake tests), ki imajo pomembne posledice za nadaljnje šolanje posameznika, niso primeren vir podatkov za primerjave med šolami in vzbujanje odgovornosti šole za dosežene rezultate. Taki preizkusi znanja imajo namreč povraten vpliv na pouk, na šolo in posameznika.
Kaj če so primerjave med šolami preprosto neveljavne? Ali lahko pričakujemo kaj drugega kakor nujno negativne posledice? Olson (2001) v svoji študiji ugotavlja, da je 50-80 % skoka na rang lestvicah, objavljenih v Angliji, ki ga šole pokažejo med dvema zaporednima letoma, začasnega - posledica spleta okoliščin in nima nič skupnega z dolgoročnimi spremembami v poučevanju ali organizaciji šole. Ker so si povprečja šol zelo podobna, lahko majhne spremembe povzročijo velik skok po lestvici in v veliki meri lahko k temu prispevajo npr. majhne spremembe v trenutni generaciji dijakov, na katere šola nima neposrednega vpliva. Tudi drugi avtorji (Bowden, 2000; Eccles, 2002) ugotavljajo, da rang lestvice šol na osnovi dosežkov na zunanjih preizkusih
Razvrščanje šol
69
znanja ne povedo ničesar o kazalcih kakovosti dela šol, da imajo slabo zanesljivost in konstruktno veljavnost. Bodočim dijakom niso v pomoč pri izbiri šole, so pa zanimivi za povečanje naklade medijem, saj predstavljajo t. i. »infotainment«, zelo iskano informacijo z dvomljivo objektivno vrednostjo.
Primer vprašanj slovenske splošne mature
Rezultati pri posameznih predmetih slovenske splošne mature imajo poleg zgoraj naštetih težav nezanesljivosti in neveljavnosti še dodatne možnosti pristranskih vplivov. Večina maturitetnih izpitov do neke mere predstavlja izbiro kandidata, saj lahko izbere predmet ali pa vsaj raven zahtevnosti opravljanja izpita. Od kandidata je odvisno, kakšen bo nabor njegovih predmetov na maturi in kako uspešen bo pri izbranih predmetih. Pri tem je pomembno, kako se odločajo sošolci, kaj predlagajo učitelji, kakšno učno samopodobo ima dijak (zlasti pri izbiri ravni zahtevnosti) in kakšne načrte ima za prihodnost. Nobena od teh stvari ni kazalec kakovosti pedagoškega procesa na šoli, vse pa lahko vplivajo na dosežke kandidata, iz katerih se potem izračuna skupen dosežek šole.
Veliko vlogo igra tudi učitelj konkretnega predmeta. Ta lahko predmet, ki ga poučuje, zelo priljubi dijakom, lahko pa jih odvrne od njega. Zaradi dobrega učitelja se lahko kandidat odloči za predmet, pri katerem ne bo dosegel svojega najboljšega dosežka, ali pa ne izbere predmeta, ki mu je sicer »pisan na kožo«.
Vprašanja o kakovosti dela na šolah se pogosto povezujejo z oblikovanjem lestvic šol glede na najrazličnejše kriterije, povezane z zunanjimi preizkusi znanja (npr. povprečni dosežek, odstotek pozitivnih, število zelo dobrih...), tako v tujini kakor tudi pri nas. Starši, ki želijo svojemu otroku zagotoviti najboljše izobraževanje, želijo izvedeti, kakšne so razlike med šolami in katero naj izberejo. Država kot dober gospodar želi informacije o delu javnih ustanov. Šole same potrebujejo povratne informacije, na osnovi katerih lahko bolje ocenjujejo stanje v svoji instituciji. Javnost želi transparentnost in odprt dostop do informacij.
Razlike med šolami gotovo so in predpostavimo lahko, da niso nepomembne za nadaljnje šolanje posameznika. Lahko javna objava različnih lestvic šol predstavlja korak v pravo smer? Kateri podatki o šolah, če sploh kateri, omogočajo pravično primerjavo?
Razvrščanje šol na osnovi dosežkov zunanjih preizkusov znanja običajno omogočijo državne institucije, ki z objavljanjem podatkov o raznih državnih izpitih odprejo medijem pot za primerjave med šolami in iskanje »top lestvic«. Včasih, predvsem v ZDA, mediji sami zberejo podatke, na osnovi katerih izvedejo razvrščanje šol, ki temelji na anketah ravnateljev, subjektivnem mnenju vprašanih študentov in nejasnih kriterijih razvrščanja šol (Gallagher, 2004). Predvsem prve lestvice - uradne objave dosežkov zunanjih preizkusov znanja po šolah si v nadaljevanju zaslužijo več pozornosti, saj že zaradi tega, ker podatki izvirajo iz državnih institucij, lestvice dobijo pridih zanesljivosti in veljavnosti.
70
G. Cankar
Kakšnemu namenu naj služi objava statističnih analiz rezultatov zunanjih preizkusov znanja po šolah? Oceni kakovosti dela posamezne šole? Zaradi svoje objektivnosti in primerljivosti med različnimi šolami bi bila za ta namen gotovo primerna, vendar zgolj dosežki zunanjih preizkusov znanja nikoli ne morejo odražati kakovosti dela šole. Spet se namreč lahko sprašujemo o veljavnosti interpretacij in zaključkov, ki nastanejo na njihovi osnovi. Poleg tega so rezultati zunanjih preizkusov znanja zelo hitro lahko zavajajoči, saj jih opredeljuje veliko posebnosti posameznih šol, razlik med populacijami na šolah in konkretnih postopkov ocenjevanja ter analize, ki iz končnega rezultata niso razvidni. Zato moramo zbrati večje število kriterijev, ki skupaj kažejo realnejšo sliko o kakovosti dela na šoli. Tako postane tudi razlaga rezultatov kompleksna, kar pa je le odraz realnosti in naših naporov, da se ji z interpretacijo veljavno približamo.
Posledice javne objave
Javna objava lestvic šol ima še eno pomanjkljivost. Šola, ki si je ustvarila dober sloves, laže ohranja ta položaj. Ker slovi kot dobra šola, se bodo nanjo vpisovali sposobnejši učenci, ki bodo dosežek šole stalno vzdrževali visoko nad državnim povprečjem (Eccles, 2002). Če se npr. želite vpisati na najboljšo ameriško pravno fakulteto na Yale University, imate le malo možnosti, da pridete med skoraj 300 izbrancev. Praktično cel učiteljski zbor sodeluje pri vpisnem postopku in resnično opravijo veliko dela, saj na koncu vpišejo le okoli 6 % vseh prijavljenih kandidatov (McDonald, 1994). Ob taki selekciji so vsi vpisani pravzaprav zmagovalci. Znanje in delovne navade, ki so jih pripeljali med vpisane na Yale, jih bodo tudi po zaključku študija zelo verjetno povedli med najboljše na svojem področju. Vedno dobri dosežki omenjene šole več povedo o dobri selekciji, ki jo je šola opravila, kakor o kakovosti dela šole. To seveda ne pomeni, da šola dejansko ne dela dobro, pomeni le, da prvega mesta na raznih lestvicah, oblikovanih na osnovi dosežkov teh kandidatov, ne moremo preprosto enačiti s kakovostnim delom na šoli. Potrebno je vsaj korigirati dosežke glede na veliko prednost v znanju, ki so jo sprejeti dijaki imeli in dokazali glede na ostalo populacijo že ob vpisu v šolo. Tako popravljene vrednosti se običajno imenujejo mere dodane vrednosti, in jih izračunamo kot razlike med dosežki ob začetku šolanja in dosežki na kasnejši stopnji oz. ob zaključku šolanja.
V spletnem članku iz leta 2004 so na BBC News (2004) objavili lestvico srednjih šol za leto 2003, v kateri je na prvem mestu izjemno selektivna šola Dr Challoner’s Boys’ Grammar School, na zadnjem mestu v Angliji pa šola Ramsgate. Rezultati so osnovani na absolutnih rezultatih GCSE (angl. General Certificate of Secondary Education, tj. splošno spričevalo ob koncu srednje šole). Čeprav je kar 95 šol izpolnilo kriterij, po katerem ima vseh 100 % učencev pri vsaj petih predmetih GCSE najvišje ocene od A do C, je bila Boys’ Grammar School na lestvici prva, ker je na tej šoli (od prvih 95, na katerih je prav tako vseh 100 % učencev doseglo ocene od A do C)
Razvrščanje šol
71
preizkuse pisalo največje število učencev (BBC News, 2004).
Sawyer (2004) ugotavlja, da članek BBC News ne pove, da je Amersham, kjer se Dr Challoner Boys’ Grammar School nahaja, okrožje, ki se ponaša z najvišjim povprečnim prihodkom na prebivalca - kar sedemkrat višjim od povprečij v najslabše stoječih okrožjih. In med slednjimi je tudi Thanet, kjer se nahaja šola Ramsgate.
Rezultati šol so odvisni od učencev, njihovi dosežki pa so odvisni tudi od njihovega socialno-ekonomskega statusa. So torej resnično starši krivi, ker so za svoje otroke izbrali tako ‘slabo’ šolo, kot je Ramsgate? In kakšen je bil odziv šolskih oblasti na rezultate? Šola Ramsgate je dobila obvestilo o »nujnem izboljšanju, drugače pa možnem zaprtju šole«, njen ravnatelj pa je sprožil procedure za preverjanje kompetenc za 24 od skupno 37 učiteljev na šoli.
Hoyle in Robinson (2003) sta z matematičnimi modeli demonstrirala, kako objava razvrščanja šol vpliva na vpis kandidatov. Njun prispevek sicer podrobneje obravnava vpliv različnih dejavnikov (npr. izbire glede na informacijo o predhodnih dosežkih, socialno razslojenost učencev na šoli) na končni rezultat šole, vendar bo za ta prispevek zanimiv predvsem model, pri katerem sta ugotavljala učinek objavljenih lestvic dosežkov sol na vpis in na prihodnje dosežke šole. Čeprav se šole v modelu sprva niso razlikovale glede na dosežke njihovih učencev, so se razlike v dosežkih in socialnem statusu vpisanih učencev med šolami iz leta v leto povečevale zaradi objav rang lestvic šol in njihovega vpliva na odločitev staršev.
Trendi javnega objavljanja dosežkov šol po svetu
V ameriški praksi objavljanja lestvic rezultatov lahko srečamo zelo negativne prakse, ko lestvice šol sestavljajo mediji (Mangan, 2005). Čeprav različne vrste lestvic, ki jih oblikujejo različni mediji, temeljijo na priložnostnih kriterijih in zato pogosto nimajo informativne vrednosti, ki bi jo pravzaprav od njih želeli, imajo velik vpliv na šole. Neželenih posledic javnega razvrščanja šol se najbolj zavedajo visoke poslovne šole, ki po svetu podeljujejo MBA diplome. Več medijskih hiš vsako leto objavlja lestvice najboljših poslovnih šol in raziskave kažejo (Mangan, 2005), da izrazitemu padcu položaja šole na omenjenih lestvicah pogosto sledi odstop dekana omenjene šole. Preveliko poudarjanje lestvic v medijih šole potiska v položaj, ko skrbijo bolj za svojo javno podobo in rezultat na lestvici, kakor za dejanski pedagoški proces (Gioia in Corley, 2002). Nekateri avtorji (Gallagher, 2004; Gioia in Corley, 2002) ugotavljajo, da revije pogosto iz leta v leto spreminjajo kriterije, po katerih razvrščajo šole, zaradi česar prihaja do večjih premikov po lestvici kot sicer. To pojasnjujejo s povečanjem prodaje, saj »nihče ne bi kupil novega izvoda, če bi bili rezultati enaki kot prejšnje leto« (Gallagher, 2004).
Če rezultatov, ki jih zberejo medijske hiše same, v večini primerov ne moremo resneje upoštevati, saj ne predstavljajo objektivnih in relevantnih podatkov, moramo biti pozornejši pri rezultatih različnih preizkusov znanja v ZDA. Objektivno preverjanje
72
G. Cankar
znanja je v ZDA doživelo velik razcvet in je, čeprav vseskozi doživlja številne kritike, edino orodje, ki še danes milijonom ameriških (in tujih) študentov letno omogoča vpis na želeni študij. Razmah preizkusov znanja pa je poleg enotnih standardov za celotno ZDA omogočil tudi enostavno primerjanje med šolami. Kljub znanim pastem, ki jih skriva javno povezovanje dosežkov dijakov z učinkovitostjo njihove šole, pa t. i. »No child left behind« (noben otrok ne zaostane) - nova šolska politika, ki jo je leta 2001 uvedel predsednik Bush - nalaga šolam večjo odgovornost za dosežke, ki jih njihovi učenci pokažejo na zunanjih preizkusih znanja. Poleg tega nalaga šolam večjo odgovornost za njihovo delo, ki se preverja ravno preko rezultatov teh preizkusov.
Sistematična objava tabel dosežkov nacionalnih preverjanj znanja je bila leta 1992 uvedena v Angliji in Walesu in je leta 1996 obsegala rezultate preverjanj Key Stage1 1, 2 in 3 na nacionalni in lokalni ravni. Obenem so se zavzeli za objavo podatkov o dodani vrednosti oz. rezultatov, korigiranih glede na znanje, s katerim so učenci začeli šolanje. QCA (angl. Qualifications and Curriculum Authority, tj. Agencija za preverjanje in učne načrte) je leta 1997 pripravila študijo (SCAA, 1997) vpeljave nacionalne sheme zbiranja podatkov o dodani vrednosti, ki se sedaj uporablja v vedno večji meri.
Poleg dosežkov na zunanjih preizkusih znanja in mer dodane vrednosti so bili oblikovani cilji, ki naj bi jih dosegala posamezna regija ali šola na preverjanjih Key Stage 2, 3 in 4. Cilji so bili postavljeni v odstotkih učencev, ki naj bi osvojili določeno raven na posameznem preverjanju. Ker so bili cilji javno znani, so omogočali podobno funkcijo kakor razvrščanje šol, saj je bilo mogoče spremljati, v kakšni meri so šole izpolnjevale zastavljene cilje.
Najpomembnejša kritika proti objavi obojega - nepopravljenih povprečij šol na nacionalnih preverjanjih in podatkov o doseganju ciljev - je, da je dosežek šole v veliki meri odvisen od strukture učencev glede na njihov SES in na druge dejavnike ter od njihovega predznanja, s katerim so prišli na šolo. Šola, ki je visoko selektivna, vpisuje učence z zelo visokimi sposobnostmi in visok končni dosežek je pričakovan in ne odraža nujno dela šole. Primerjava šol po dosežkih učencev, ki ob vpisu niso izenačeni, ne omogoča vpogleda v delo šole. Najmanj, kar lahko storimo, je, da popravimo končen rezultat šole glede na predznanje učencev ob vpisu. S takim popravkom rezultati odražajo dodano vrednost posameznih šol in so precej drugačni, prav tako se bistveno spremeni njihova skupna razvrstitev.
Goldstein in Spiegelhalter (1996) sta v podrobnem poročilu predstavila pomanjkljivosti tabel dosežkov, ki so za srednje šole objavljene v Angliji. Primerjave dosežkov zunanjih preizkusov znanja so pogosto v nasprotju z rezultati podatkov o dodani vrednosti šole. Ker ni na voljo nobenega priporočila, kako interpretirati podatke v takih primerih, so šole negotove glede pojasnjevanja rezultatov. Ker so rezultati šol pogosto zelo podobni in znanstveno argumentirano ne moremo zagovarjati nobenih
1 Key Stage 1, 2, 3 in v zadnjem času tudi Key stage 4 so nacionalna preverjanja, s katerimi v Veliki Britaniji sistematično spremljajo znanje pri učencih v starostnih obdobjih 7, 11, 14 in 16 let.
Razvrščanje šol
73
razlik med njimi, je veliko lestvic šol preprosto zavajajočih.
Več lokalnih izobraževalnih centrov (angl. Local Education Authorities - LEA) v Angliji izpopolnjuje sistem dodane vrednosti, ki šolam omogoča, da zelo podrobno primerjajo dosežke učencev na različnih predmetnih področjih. Skupno vsem pristopom je, da so rezultati posredovani nazaj v šole skupaj z različnimi opozorili in navodili za pravilno uporabo. V šolah jih uporabijo v povezavi z ostalimi informacijami o učencih, da bi pomagali posameznim učencem. V tesnem sodelovanju s šolami in učitelji so nastale poti za razlago podatkov v lokalnem kontekstu. Predstavljene so tudi vse pasti in nevarnosti napačnih razlag podatkov in pripadajoča negotovost v izračunane statistične rezultate. Rezultate šole dojemajo kot »sito«, s katerim lahko odkrijejo potencialne težave in možne rešitve. Dejstvo, da rezultati šol niso objavljeni v javnih medijih, ampak so na voljo šolam, učiteljem in šolskim strokovnjakom, je med šolami vzbudilo veliko pripravljenost za sodelovanje, saj sistem dodane vrednosti sedaj uporabljajo že skoraj vse osnovne šole (Goldstein, 1998).
Wales je leta 2001 po hudih kritikah opustil objavljanje dosežkov zunanjih preizkusov znanja po srednjih šolah, ki jih je začel objavljati 1992 leta (West in Pennell, 2000). Tabel dosežkov za osnovne šole Wales in Škotska nikoli nista objavljala. Severna Irska je z objavo lestvic šol začela leta 1993 in jih ukinila leta 2001. Odtlej njihove šole same objavljajo rezultate preizkusov. Leta 2003 je Škotska prenehala z objavljanjem rezultatov preizkusov znanja po srednjih šolah, kar je medijem do tedaj omogočalo objavo lestvic najboljših šol po različnih kriterijih. Ker želijo kljub temu ponuditi staršem in vsem zainteresiranim informacije po šolah, so sedaj postavili spletno stran, ki v kar največji meri onemogoča neposredno primerjavo šol, staršem in vsem zainteresiranim pa ponuja o vsaki šoli veliko koristnih informacij. Na ta način spodbujajo postopke samoevalvacije, s čimer povečujejo avtonomijo šol in njihovo motiviranost za lasten razvoj (MacBeath in McGlynn, 2002).
Na Irskem javnih objav statistik po šolah ne dovoljujejo, prav tako je v avstralski zvezni državi New South Wales združenje učiteljev strokovno utemeljilo svoje stališče in doseglo prepoved objave lestvic šol. Države, kjer je bilo objavljanje lestvic najboljših in najslabših šol del družbenega vsakdana, v zadnjem času tovrstno objavljanje ukinjajo, saj prednosti ne odtehtajo škodljivih posledic, s katerimi se soočajo. Temu se je lani pridružila tudi Slovenija, saj razvrščanje šol na osnovi dosežkov na nacionalnem preverjanju znanja oz. na osnovi dosežkov splošne in poklicne mature ni dovoljeno.
Možen namen javne objave: izboljšanje dela šole
Pravzaprav je pravi namen za objavljanjem tabel - vsaj v Angliji - vzvod politikov za večji vpliv na delo šol (Rowe, 2000). Pritisk, ki naj bi povečal odgovornost šol za njihovo delo in izgovarjanje na večjo informiranost staršev ni na mestu, saj velik del staršev tabel niti ne razume dobro, poleg tega pa na osnovi tabel večina ne oblikuje zaključka o izbiri šole (West in Pennell, 2000).
74
G. Cankar
Če bi prišlo v Sloveniji do objave lestvic šol glede na dosežke na zunanjih preizkusih znanja, bi morali zbrane podatke nujno opremiti s podrobnimi opozorili in razlagami o zbiranju podatkov ter opravljenih izračunih. Izdajatelj, ki bi lestvico objavil, bi moral navesti tudi, da se zaveda nezanesljivosti in omejitev predstavljenih podatkov, sicer bi lahko govorili o zavajanju. Pa še v tem primeru bi imela objava omejen vpliv na izboljšanje dela v šoli. V lanskem letu je v Sloveniji postalo zakonsko prepovedano razvrščati šole glede na dosežke na splošni ali poklicni maturi in glede na dosežke na nacionalnih preizkusih znanja, kar zgornjo dilemo v večini odpravlja.
Rowe (2000) navaja, da bi vsak sistem šolskih indikatorjev moral vsebovati tri razsežnosti:
pester nabor merljivih dosežkov dijakov, ki vsebujejo poleg kognitivnih tudi druge
cilje vzgoje in izobraževanja, s čimer se povečuje veljavnost
široka paleta kontekstualnih dejavnikov (npr. SES vključenih učencev), ki
omogočajo, da se med sabo primerjajo le šole, za katere je taka primerjava
smiselna (ob ustreznih pogojih)
natančen opis omejitev dobljenih indikatorjev s poudarkom na nezanesljivosti
rezultatov za oblikovanje šolske politike
Zaključek
Ali javno prikazovanje šole na zadnjih mestih v lestvici, ki ima statistične pomanjkljivosti in je potemtakem vprašljivo, lahko odtehtamo s kako pozitivno posledico takega ravnanja? Ali to pripomore k pozitivni naravnanosti tako označene slabe šole in njeni težnji po izboljšanju?
Včasih javna objava nima želenega pozitivnega učinka. Lestvice dosežkov na zunanjih preizkusih znanja so sporne s statističnega vidika, saj zaradi nezanesljivosti izmerjenih rezultatov šol ne moremo enoznačno razvrstiti in zagotavljati, da je to prava razvrstitev. Še veliko bolj sporne so z vidika veljavnosti. Četudi bi bili podatki popolnoma zanesljivi, predstavljajo pregled izjemno ozkega dela procesov v šoli, ki so bolj izpostavljeni predvsem zato, ker je laže zbrati in primerjati številčne podatke kakor kvalitativne opise dela na šoli. Poleg tega rezultati odražajo spremembe, do katerih je prišlo pred nekaj leti, in nimajo nujno nobene zveze s sedanjim delom na šoli. Če že, potem šol ne bi smeli soditi po rezultatih enega samega leta, ampak skozi daljše obdobje. Četudi uporabimo rezultate dodane vrednosti, so intervali zaupanja v točkovne ocene dosežkov šol tako veliki, da ne dopuščajo enoznačne razvrstitve šol, zaradi česar so kakršnekoli primerjave šol vprašljive.
Za delovanje šol je vsaka objava o njihovih dosežkih pomembna. Hote ali nehote taki podatki omogočajo primerjalne sodbe, enotna merila, s katerimi primerjamo »vrednost« različnih šol, pa čeprav na ta način skušamo enotno primerjati nekaj, česar v prvi vrsti ne gre primerjati. Zagovarjamo lahko stališče, da bi javna objava kakršnihkoli
Razvrščanje šol
75
dosežkov dijakov po šolah, ki bi omogočali njihovo medsebojno primerjavo, povzročila napačno razumevanje teh podatkov. Zakaj? Ker lestvice šol predstavljajo zelo omejeno in pomanjkljivo sliko objektivne realnosti na šolah. Ker ne vsebujejo informacij, na osnovi katerih bi starši lahko sprejeli dobre odločitve o šolanju svojih otrok, in ne odražajo kvalitetnega dela na šoli. Vsak, ki bi bral omenjene tabele z navedenimi nameni, bi jih verjetno razumel napačno.
Šole morajo dobiti povratne informacije o svojem delu, saj le tako lahko spremljajo učinke svojega dela in načrtujejo spremembe, ki bodo predstavljale korak v pravi smeri. Vendar javna objava dosežkov povratnim informacijam dodaja negativen predznak. Za tisti del šol, ki so pod državnim ali regijskim povprečjem, predstavljajo breme negativne (samo)podobe, na katerega ne morejo vplivati, saj mnenje o njihovi šoli preko objave lestvic ustvarja nekdo drug. Za šole z nadpovprečnim rezultatom vseeno predstavlja velik pritisk, saj lahko vsak padec glede na predhodne rezultate javnost razume kot poslabšanje dela na šoli. To znižuje motivacijo po resničnih izboljšavah dela v šoli in spodbuja le aktivnosti za izogibanje prihodnjim slabim rezultatom. Npr. šola bi se lahko izogibala vpisovanju dijakov s posebnimi potrebami, ponavljalcev, odraslih ali drugih skupin, da to ne bi vplivalo na nižje rezultate šole.
Rezultat objave tabel je, da mediji dobijo »zmagovalce« in »poražence«. Ko šola enkrat dobi določeno oznako, se je težko otrese, saj se zaplete v začarani krog, ko se je zaradi njenega slabega slovesa izogibajo perspektivni učenci (in perspektivni učitelji), ki bi ji omogočili izboljšanje rezultatov. Poleg tega šole s slabim rezultatom spremlja vzdušje obtoževanja, iskanja krivcev in kaznovanja, kar v večini primerov ne pripomore k izboljšanju dela šole.
To pa ne pomeni, da so podatki zunanjih preverjanj znanja brez vrednosti za izboljševanje dela šole. Nasprotno. Pridobivanje povratnih informacij je zelo pomembno in koristno. Zaradi neprimernosti javne objave ne sme biti vprašljivo zbiranje teh informacij, ki so za napredek šolstva zelo pomembne. Običajno se podatki o dosežkih šol zbirajo za povratne informacije šolam in njihovim podpornim institucijam. Šole jih lahko uporabijo kot eno od meril kakovosti lastnega dela z vsemi prednostmi in pomanjkljivostmi, ki jih prinašajo, brez nepotrebnih pritiskov javnosti.
Vedno, dokler se bodo rezultati zunanjih preizkusov znanja zbirali, bodo obstajali poskusi njihove uporabe za splošne primerjave med institucijami. Primerjave bodo težko upoštevale vpliv specifičnih dejavnikov, ki nimajo nič skupnega s šolo, na dobljene rezultate. Zato lahko take primerjave marsikatero šolo usmerijo predvsem v priprave za preizkus znanja. Čeprav menimo, da v Sloveniji še ni prišlo do »učenja za test«, kakor lahko strnemo del negativnih učinkov zunanjega preverjanja znanja, pa bi javna objava rezultatov zunanjih preizkusov znanja - in s tem povezane primerjave šol, iskanje najboljših in izpostavljanje najslabših - prav gotovo spodbudila prilagajanje šolskega procesa zahtevam preverjanja, najverjetneje v škodo znanja dijakov, saj bi pouk v veliki meri postal le še pripravljalnica za zunanje preizkuse znanja.
Nobena rešitev ne more privesti do splošne lestvice šol in odgovoriti na vprašanje, katera šola je najboljša. Če upoštevamo različne informacije, lahko šole
76
G. Cankar
med sabo razvrstimo na zelo različne načine. Vsi načini ugotavljanja dela na šolah od notranjih samoevalvacijskih postopkov do inšpekcij in zunanjih preizkusov znanja so nepopolni, vendar kljub temu dajejo informacije, ki jih z dobro mero razumevanja in previdnosti lahko koristno uporabimo. Če želimo resnično izboljšati proces v šolah, potem lahko informacije damo na voljo šoli sami in raznim podpornim institucijam (npr. Zavodu RS za šolstvo). Šola naj sama oceni, kako bo pristopila k reševanju položaja, v katerem je, in naj s podporo ustreznih ustanov konstruktivno spreminja šolski proces. Pozornost širše javnosti je v tem primeru odveč, saj vire, ki jih ima šola na voljo, preusmerja iz reševanja problema na ukvarjanje z zunanjo podobo šole.
Glede na opisane primere lahko trdimo, da javna objava podatkov, ki omogočajo primerjave med šolami, večinoma ni korak v želeni smeri. Staršem niso v korist, ker so zastareli in ne vsebujejo podatkov, ki bi jih za izbiro najprimernejše šole pravzaprav potrebovali, zato ne preseneča, da raziskave kažejo, da v državah s tradicijo objavljanja rezultatov šol nimajo lestvice šol opaznejšega vpliva na izbiro študija (West in Pennel, 2000). V javnosti so zaradi napačnega vtisa verodostojnosti lahko celo škodljive. Šole pa lahko do podatkov pridejo tudi na način, ki jih spodbuja k delovanju in ohranja njihovo pozornost na tistem, za kar šole imamo - šolskem procesu in znanju njihovih dijakov, ne pa zgolj na dosežku zunanjega preizkusa znanja.
Literatura
BBC News. (2004, 15. januar). The best and worst results. Dobljeno 9. 8. 2005 na spletni
strani http://news.bbc.co.Uk/l/hi/education/3397921.stm Bowden, R. (2000). Fantasy higher education: university and college league tables. Quality
in Higher Education, 6, 41-60. Bucik, V. (1997). Osnove psihološkega testiranja. [Basics of psychological testing].
Ljubljana: Filozofska fakulteta. Cankar, G. in Bajec, B. (2003). Velikost učinka kot dopolnilo testiranju statistične
pomembnosti razlik [Effect size as supplement to statistical significance testing].
Psihološka obzorja, 12 (2), 97-112. Eccles, C. (2002). The use of rankings in the United Kingdom. Higher Education in Europe,
27, 423-432. Gallagher, K. S. (2004). College rankings get failing grade in measuring quality. USA Today,
20. 5. 2004. Gioia, D. in Corley K. (2002). Playing the rankings game. BizEd, No. 1, 62-64. Goldstein, H. (1998). Targets, performance indicators and the proper uses of educational
data. London: Institute of Education. Goldstein, H. in Spiegelhalter, D.J. (1996). League tables and their limitations: statistical
issues in comparisons of institutional performance. Journal of the Royal Statistical
Society, A.159, 385-443. Hoyle, R. B. in Robinson, J. C. (2003). League tables and school effectiveness: A mathematical model. Proceedings: The Biological Sciences, 270 (1511). Dobljeno 8. 8. 2005 na
spletni strani http://www.pubs.royalsoc.ac.uk/proceedingsb.shtml
Razvrščanje šol
77
MacBeath, J. in McGlynn, A. (2002). Self-evaluation: What’s in it for Schools?. London:
Routledge. Mangan, K. S. (2005). Rankings may push business deans out. Chronicle of Higher
Education, 51 (39), 8–16. McDonald, M. (1994). A long shot, at best. U.S. News & World Report, 11 6 (11), 72–74. Olson, L. (2001). Study questions reliability of single-year test-score gains. Education
Week, 20 (37), 9–13. Rosano, S. A., Gates, D. M., Zaretsky, L. in Kurilko, M. B. (2005). Accountability versus
responsibility. V J. Poliner Shapiro, J. A. Stefkovich (ur.), Ethical Leadership and
Decision Making in Education (str. 120–137). New Jersey: Lawrence Erlbaum
Associates. Rowe, J. K. (2000). Assessment, league tables and school effectiveness: Consider the
issues and ‘Let’s get real!’. Journal of Educational Enquiry, 1 (1), 73–98. Sawyer, W. (2004). English in Australia: Complying or disappearing? English teaching:
Practice and Critique, 3 (2), 8–20. SCAA (1997). The value added National Report. London: Schools Curriculum and Assessment Authority. West, A. in Pennell, H. (2000). Publishing school examination results in England: incentives
and consequences. Educational Studies, 26, 423–436.
Prispelo/Received: 21.07.2006 Sprejeto/Accepted: 06.12.2006