Enakost šolskega sistema in delež variance dosežkov med šolami - pogled raziskave PISA 2009 Gašper Cankar PISA (Programme for International Študent Assessment) je ciklični projekt, ki vsake tri leta v državah udeleženkah preveri znanja in spretnosti na področjih bralne, matematične in naravoslovne pismenosti. Leta 2009 je v raziskavi sodelovalo preko 470.000 učenk in učencev iz 65 držav, ki so bili v času preverjanja stari med 15 let in 3 mesece ter 16 let in dva meseca. Slovenija je leta 2009 sodelovala drugič, v raziskavi je sodelovalo 7764 dijakinj in dijakov, poudarek pa je bil tokrat na bralni pismenosti (Pedagoški inštitut, 2010). V nasprotju z rezultati raziskave PISA 2006, ko je Slovenija orala ledino in se z dosežki svojih 15-letnikov v formalnem izobraževanju prvič umestila med ostale države, je bil tokrat velik poudarek namenjen trendom sprememb glede na 2006. Ce lahko rečemo, da se dosežek pri matematični pismenosti v treh letih ni bistveno spremenil (PI, 2010), je pri naravoslovni pismenosti dosežek nekoliko nižji, razočaranje pa je bil dosežek pri bralni pismenosti, kjer je Slovenija dosegla v povprečju 483 točk in s tem končala pod povprečjem EU (489 točk) ter pod povprečjem OECD (494 točk), obenem pa za lastnim dosežkom iz leta 2006 zaostala za 11 točk (Straus, Repež in Stigl, 2007). Članek obravnava vprašanje variabilnosti dosežkov med šolami. S tem se deloma nanaša na analize variance dosežkov med šolami iz raziskave PISA 2006 (Cankar, 2009), kjer je bilo nakazano, da se v postopkih ocenjevanja deležev variance med šolami in znotraj njih na mednarodni ravni ne upošteva specifičnosti slovenskega šolskega sistema, kjer se tik pred raziskavo PISA zgodi prehod v srednje šole, ki so razdeljene v izobraževalne programe. Dejstvo, da so v slovenskem šolskem sistemu dijaki v času izvajanja raziskave PISA skoraj vedno v prvem letniku srednje šole, nas jasno opozarja, da delitev na te šole ni najprimernejša, če želimo rezultate interpretirati kot kumulativne učinke šolskega sistema na va- riabilnost dosežkov med šolami in znotraj njih, kar je tipična interpretacija omenjenih deležev variance v mednarodnih poročilih OECD. Eden najpomembnejših indikatorjev raziskave PISA je kazalec pravičnosti, ki kaže, v kolikšni meri so šolski sistemi v posamezni državi naravnani k enakosti in odličnosti. Temeljna ideja dobrega šolskega sistema je, da starš pri odločanju o osnovnem šolanju svojega otroka ne razmišlja o tem, v katero šolo bo otroka vpisal, saj so vse odlične. Ce je kakovost dela na vseh šolah enaka, bo otrok povsod deležen enako kakovostnega izobraževanja. Posledično so razlike v povprečnih dosežkih med šolami majhne in zanemarljive v primerjavi z variabilnostjo dosežkov učencev znotraj šol. Seveda je neodvisno od enakosti dosežkov na nivoju šol pomembno tudi, da je splošni nivo dosežkov v šolskem sistemu na visoki kakovostni ravni. Ni posebej vzpodbudno, če so dosežki učencev sicer primerljivi od šole do šole, a na splošno nizki. Zlato pravilo so vsekakor visoki dosežki brez izrazitih razlik med šolami. V raziskavi PISA so tako razlike v dosežkih med šolami neposredno razumljene kot mera razslojenosti in neenakosti šolskega sistema (OECD, 2005). PISA celotno variabilnost dosežkov razdeli na del, ki odpade na razlike med šolami (variabilnost povprečnih dosežkov šol), in na variabilnost dosežkov učencev znotraj šol. Ce je delež, ki ga zajema variabilnost povprečnih dosežkov šol, velik v primerjavi z variabilnostjo dosežkov učencev, so med šolami razlike relativno velike in so znak, da šole niso enako kakovostne. Tovrstne primerjave rezultatov med šolskimi sistemi v različnih državah izhajajo iz implicitne predpostavke, da so učenci v različnih šolah po svojih sposobnostih in značilnostih okolja med sabo primerljivi in posledično razlike v povprečnih dosežkih šol izhajajo iz različne kakovosti dela na šoli. Mednarodne primerjave rezultatov poleg tega ne uspejo upoštevati specifičnosti posameznih šolskih sistemov. Pavšalne interpretacije razlik v rezultatih med državami brez poznavanja podrobnosti šolskih sistemov lahko zato pripeljejo do napačnih razlag. V mednarodnih poročilih OECD za raziskavo PISA 2009 so analize variance dosežkov med šolami dobile celo večjo vlogo kot v poročilih o raziskavi iz leta 2006. Tako jih lahko najdemo že pri analizah preseganja omejitev socialnega okolja (OECD, 2010a: 84), kjer se delež variance dosežkov med šolami interpretira kot mera vertikalne ali akademske inkluzije. V konceptu vertikalne inkluzije je velik delež variance dosežkov med šolami razumljen kot odraz šolskega sistema, v katerem so učenci močno segregirani v šole, med katerimi so izrazite razlike v dosežkih oziroma implicitno v kakovosti dela na šoli. Varianca dosežkov med šolami je deležna tudi velike pozornosti v četrtem delu poročila o raziskavi iz leta 2009, ki ponuja vpogled v razloge za različno uspešnost šol in v katerem se skuša variabilnost dosežkov med šolami razlagati z različnimi dejavniki, povezanimi z bralno pismeno- stjo (OECD, 2010b). Čeprav poročilo v opombah navaja običajno opozorilo, da korekcij med dosežki šol in drugimi dejavniki na nivoju šole ne gre razumeti vzročno (OECD, 2010b: 59), pa vendar večina besedila govori prav o vplivu navedenih dejavnikov na dosežke učencev. V primeru slovenskih podatkov so tovrstne interpretacije sporne, saj so novopečeni dijaki ob preverjanju PISA v srednjih šolah večinoma šele 7 mesecev. Ker je večina učencev pred tem osem do devet let hodila v osnovno šolo, je veliko bolj verjetno, da dejavniki, ki so skozi šolanje vplivali na dosežke učencev, izraziteje izvirajo iz osnovnošolskega izobraževanja. Doslej je Slovenija sodelovala v dveh ciklih raziskave PISA in posledično lahko spremljamo rezultate mednarodnega indikatorja (ne)enakosti na obeh. PISA 2006 je pokazala za Slovenijo zelo neugoden rezultat. Kar 73 % vseh razlik v dosežkih bralne pismenosti je izviralo iz razlik med šolami in le 27 % razlik v dosežkih učencev je odpadlo na razlike med učenci znotraj šol (Cankar, 2009). Vsekakor so bile med šolami opažene izrazite razlike in površna interpretacija bi bila, da je slovenski šolski sistem tudi v primerjavi z drugimi državami, sodelujočimi v raziskavi, izrazito razslojen in učencem ne omogoča enakih možnosti izobraževanja. Že takrat so sekundarne analize raznih avtorjev (Cankar, 2009; Gaber, Tašner, Marjanovič Umek, Podlesek in Sočan, 2009) pokazale na problematičnost tovrstne interpretacije. V slovenskem šolskem sistemu so učenci pri petnajstih letih, ko sodelujejo v raziskavi PISA, večinoma v prvem letniku srednje šole. Pri računanju indikatorja tako mednarodno poročilo za primer Slovenije upošteva srednje šole oz. posamezne izobraževalne programe na šolah kot enote, med katerimi primerja variabilnost dosežkov, čeprav so učenci v njih šele dobrega pol leta in bi težko rekli, da te šole opazneje prispevajo k njihovemu dosežku. To se je pokazalo tudi ob dodatnih analizah, v katerih je bilo raziskano, kakšen delež variance v dosežkih učencev lahko pripišemo razlikam med različnimi srednješolskimi izobraževalnimi programi. Rezultati (Cankar, 2009) so pokazali, da je večina variabilnosti med šolami pravzaprav izkazovala različnost izobraževalnih programov, znotraj katerih so bile srednje šole relativno homogene. Raziskava PISA (OECD, 2007) npr. ob rezultatih držav, ki imajo najmanjše deleže razlik v dosežkih med šolami (npr. Finska, Irska, Estonija), zapiše, da se lahko starši v teh državah zanesejo na konsistentne standarde dosežkov v vseh šolah in jim zato ni potrebno tako skrbeti, v kateri šoli bo njihov otrok. Ker se je Slovenija leta 2006 na isti lestvici po svojih rezultatih znašla med tremi državami z največjim deležem razlik v dosežkih med šolami, se upravičeno postavlja vprašanje, ali bi moralo starše v Sloveniji skrbeti, v katero šolo vpišejo svojega otroka, vso strokovno in širšo javnost pa seveda zanima, ali je šolski sistem izrazito nepravičen in učencem ne omogoča kon- sistentnih možnosti za razvoj njihovih potencialov, kar se posledično kaže v neenakih povprečjih šol. Pred vstopom v srednje šole so učenci devet let obiskovali osnovno šolo, v kateri so pridobili večino znanja, ki ga izkazujejo na raziskavi PISA. Ko se sprašujemo o interpretaciji učinkov šolskega sistema, se zdi tako delitev glede na srednje šole manj primerna in smiselna. Po podatkih raziskave PISA 2009 (OECD, 2010a) tudi tri leta kasneje v Sloveniji velik delež razlik med dosežki učencev še vedno izvira iz razlik med (srednjimi) šolami. Kje lahko najdemo argumente, da je interpretacija indikatorja v raziskavi PISA za primer Slovenije vsaj zavajajoča, če že ne napačna? Ustrezne podatke, ki so vsebinsko in glede na starost populacije najbliže raziskavi PISA, ponuja nacionalno preverjanje znanja v devetem razredu osnovne šole. Preverjanje, ki se zgodi konec zadnjega razreda osnovne šole, ima z raziskavo PISA nekaj vzporednic: - Preverja področje matematike in slovenščine, kar sicer ni isto kot matematična in bralna pismenost, vendar omogoča sklepanje o vplivu šolskega sistema na dosežke učencev. - Obe testiranji za učenca nimata odločilnih posledic. Tako je vsa populacija enako (de)motivirana, da na testiranju pokaže svoje znanje, in je možnost za sistematično razliko med obema testiranjema manjša. V nasprotnem primeru bi lahko prišlo do diferencialnih učinkov, ko bi se npr. skupina učencev, ki bi točke preverjanja potrebovala za vpis, na preverjanju bistveno bolj potrudila kot ostali del populacije, na drugem testiranju pa teh razlik med skupinama v motivaciji ne bi bilo. - Obe testiranji omogočata sklepanje o dosežkih celotne populacije. PISA to doseže z natančnim in rigoroznim stratificiranim vzorčenjem ter posledično uteževanjem dosežkov, kar zagotavlja zanesljivost in veljavnost zaključkov, nacionalno preverjanje znanja pa dejansko obsega celotno populacijo učencev konec devetega razreda in vzorčenje ni potrebno. Analiza dosežkov NPZ pri posameznih predmetih v letih 2006 in 2007 (Cankar, 2009) je pokazala, da se deleži variance, ki zajemajo razlike med šolami, gibljejo med 10 in 20 %. To je precej manj od rezultatov raziskave PISA 2006 in ker dosežkov nacionalnega preverjanja ter mednarodne raziskave ne moremo preprosto izenačiti, se postavlja vprašanje: Ali opažene razlike izvirajo iz konceptualnih razlik v konstruktih bralne, matematične in naravoslovne pismenosti raziskave PISA na eni ter učnih načrtov šolskih predmetov na nacionalnem preverjanju znanja na drugi strani, ali lahko tako različne rezultate pripišemo razliki med delitvijo na srednje šole in izo- rr2 braževalne programe znotraj šol, na kateri temeljijo rezultati analiz raziskave PISA, in na osnovne šole, na katerih temeljijo rezultati analiz NPZ. Na to vprašanje lahko odgovorimo s pomočjo podatkov raziskave PISA 2009, kjer so prvič v vprašalniku dijake povprašali tudi o osnovni šoli, na kateri so zaključili svoje osnovnošolsko izobraževanje. Tako je prvič možno iste podatke (dosežke v raziskavi PISA 2009) grupirati enkrat glede na srednje šole in drugič glede na osnovne šole. Ce bodo rezultati podobni, potem način grupiranja nima izrazitega vpliva na rezultate analize deležev variance dosežkov in rezultati raziskave PISA veljajo tudi za osnovnošolsko izobraževanje v Sloveniji. Ce obe analizi pokažeta različno sliko, potem rezultati glede na osnovne šole veljavneje kažejo enakost standardov dosežkov učencev med šolami, rezultati raziskave PISA pa odražajo tudi učinke posameznikove izbire srednješolske izobraževalne poti. Raziskovalna vprašanja Raziskovalna vprašanja, ki jih želimo preveriti, so: 1) Kakšen delež varianc dosežkov učencev v raziskavi PISA 2009 izvira iz delitve na srednješolske izobraževalne programe? Sekundarne analize raziskave PISA 2006 na slovenskih podatkih so pokazale, da lahko večino razlik med srednjimi šolami razložimo z razlikami med pripadajočimi izobraževalnimi programi. 2) Kakšni so deleži varianc dosežkov učencev v raziskavi PISA 2009 med šolami in znotraj šol, upoštevaje enkrat delitev na srednje šole in drugič glede na osnovne šole? 3) V kakšni meri so analize odvisne tudi od uporabljenih programskih orodij in algoritmov? Ker ne predstavlja glavne teme prispevka, je to vprašanje navedeno zadnje, vendar bo pri analizah obravnavano prvo, saj je od ustreznih ugotovitev odvisna kakovost ostalih analiz. Metoda Vzorec Preizkušanci, katerih podatki so izhodišče za predstavljene analize, predstavljajo končni vzorec 6.132 posameznikov, ki so bili v Sloveniji po predpisanem postopku vzorčenja izbrani v vzorec in so sodelovali v mednarodni raziskavi PISA 2009. Podatki za ta vzorec preizkušancev so na voljo tudi v mednarodni bazi podatkov PISA 2009. Merski instrumenti in spremenljivke Raziskava PISA na nivoju učencev obsega tako teste bralne, matematične in naravoslovne pismenosti, kot spremljajoči vprašalnik. Verjetni dosežki posameznikov iz testov znanja, medtem ko ostale spremenljivke izvi- rajo iz vprašalnika. V analizah bodo uporabljene naslednje spremenljivke iz baze podatkov raziskave PISA 2009: - verjetni dosežki posameznikov (PV) pri naravoslovju (PVSCIE), branju (PVREAD) in matematiki (PVMATH), - indeks ekonomskega, socialnega in kulturnega kapitala (ESCS), - ustrezne populacijske uteži na nivoju posameznikov (FSTUWT), - oznaka srednje šole (SOLA), - oznaka izobraževalnega programa (splošne gimnazije, strokovne gimnazije, srednje strokovne šole, srednje poklicno izobraževanje, nižje poklicno izobraževanje - STRATUM), - oznaka osnovne šole (OSSOLA). Manjkajoče vrednosti najdemo pri spremenljivkah ESCS (1 %) in OSSOLA (5 %), zaradi česar so v analizi uporabljeni podatki 5818 (95 %) od skupno 6132 posameznikov v mednarodni bazi podatkov raziskave PISA 2009. Analiza in večnivojski modeli Slika 1: Učenci so vgnezdem v šolah, te pa se združujejo v izobraževalne programe (Modeli in Model 2a). Najpomembnejši del analize, ki izhaja iz prvih dveh raziskovalnih vprašanj, temelji na ocenjevanju deležev variance dosežkov posameznikov, ki se povezujejo z različnimi nivoji grupiranja. Ocenjevanje deležev variance v izhodišču poteka na »praznem« (ang. unconditional) hierarhičnem modelu. Prvi od modelov (Model 1) bo dvonivojski in predvideva, da se posamezniki združujejo v šole. Drugi model (Model la) bo izhajal iz prvega in bo vseboval ESC S kot prediktor, s čimer lahko ocenimo, kakšen del variabilnosti med šolami in znotraj šol lahko razložimo z indikatorjem ekonomskega, socialnega in kulturnega statusa. Tretji model je trinivojski hierarhični model (Model 2), ki predvideva, da se posamezniki združujejo v šole, le-te pa v izobraževalne programe (Slika 1). Tudi na podlagi tega modela v nadaljevanju preizkusimo še varianto (Model 2a), kjer nastopa ESCS kor prediktor. Zadnja dva modela (Model 3 in Model 3a) sta identična prvima dvema, le da namesto delitve na srednje šole oziroma izobraževalne programe v primerih, ko na isti šoli izvajajo več izobraževalnih programov, upoštevamo delitev na osnovne šole. Model lahko zapišemo kot enačbo. Prazen model za dosežke bralne pismenosti lahko ponazorimo kot PVREAD ~ l,l|SOLA/STRATUM, kjer PVREAD predstavlja verjetne dosežke (ang. plausible values) posameznikov pri bralni pismenosti, SOLA in STRATUM pa sta oznaki srednjih šol oziroma srednješolskih izobraževalnih programov. Seveda je bil vsak model uporabljen trikrat - za vsako vrsto dosežkov posebej. Vsi uporabljeni modeli so v obliki enačb predstavljeni v Preglednici 1, pri čemer je kot odvisna spremenljivka vedno naveden dosežek pri bralni pismenosti (PVREAD), dejansko pa so bili enaki modeli pripravljeni tudi za matematično in naravoslovno pismenost. Preglednica 1: Uporabljeni modeli. Model Enačba Modell PVREAD ~ 1,11 SOLA Modella PVREAD ~ ESCS,l|SOLA Model2 PVREAD ~ l,l|SOLA/STRATUM Model2a PVREAD ~ ESC S, 1 |SOLA/STRATUM Model3 PVREAD ~ l,l|OSSOLA Model3a PVREAD ~ ESCS,l|OSSOLA Rezultati in diskusija Uporaba različnih programskih orodij in algoritmov Ocenjevanje deležev variance dosežkov je do neke mere odvisno od izbire statističnega programa in algoritmov za analizo. V tem prispevku se bomo omejili na primerjavo programskih orodij SPSS (17.1), HLM (6.02), R (2.12) in na primerjavo algoritmov največjega verjetja (ang. full maximum likelihood - ML) ter največjega verjetja z omejitvami (ang. restricted full maximum likelihood - REML). Razlike med različnimi algoritmi se pojavijo v primeru, ko je na zgornjem nivoju zelo malo enot, ki jih spremljamo. Ker je kot najvišji nivo v modelu opredeljen izobraževalni program, ki ima le pet kategorij, je ocenjevanje deleža variance po metodi največjega verjetja (ang. maximum likelihood - ML) pristransko, na kar opozarjata že Raudenbusch in Bryk (2001). V tem primeru da boljšo oceno metoda z dodatnimi omejitvami (ang. restricted maximum likelihood - REML), ki da nepristransko oceno. Pristranost je podobna kot pri uporabi stopenj prostosti vzorčnih in populacijskih enačb v izračunih statističnih parametrov (N v primerjavi z N-l). V primeru srednješolskih izobraževalnih programov kot nivoja klasifikacije da tako metoda ML za približno petino manjšo oceno deleža variance, kot bi bila sicer po metodi REML. Od statističnih programov (HLM 6.02, SPSS 17 in okolje R 2.12), ki so bili na voljo za obdelave, tako SPSS kot Rpri trinivojskih modelih podpirata metodo REML, vendar le HLM ponuja uporabo vzorčnih uteži in upošteva za vsakega posameznika večje število verjetnih vrednosti za končne dosežke (ang. plausible values), kar je način poročanja dosežkov, ki ga uporablja raziskava PISA. Preglednica 2: Primerjava ocen varianc med različnimi statističnimi programi (HLM, SPSS in R) in metodami (ML - maximum likelihood in REML - restricted maximum likelihood). Model 2: PV1MATH - l,l|SOLA/STRATUM: Varianca (STRATUM) Varianca (SOLA) Ostanek (Residual) R (ML) 4401,51 932,81 3805,44 R (REML) 5287,26 932,75 3805,46 SPSS(ML) 4449,99 926,91 3837,64 SPSS (REML) 5345,10 926,85 3837,65 HLM (ML) 4429,01 916,67 3822,60 Kot je bilo pričakovano, je razlika v metodah ML in REML opazna in sistematična na nivoju izobraževalnih programov, kjer zaradi majhnega števila enot ML daje pristranske (premajhne) ocene variance povprečnih dosežkov. Sicer med programskimi orodji ni večjih razlik, vendar v analizi niso bile uporabljene populacijske uteži, ki odražajo specifičnosti slovenskega vzorca v raziskavi PISA 2009, niti v analizi ni upoštevano več najverjetnejših vrednosti, ampak le prva. Enostavno uporabo obojega od naštetih programskih orodij omogoča le HLM, ki je zato uporabljen pri analizah v nadaljevanju, pri čemer so rezultati ocene varianc za nivo izobraževalnih programov korigirani, kot je opisano v nadaljevanju. Kadar sam postopek vzorčenja ne vsebuje pomembnih informacij za sklepanje o parametrih v analizi, je uteževanje z utežmi vzorca po mnenju nekaterih avtorjev nepotrebno (Pfeffermann, Skinner, Holmes, Goldstein, in Ras-bash, 1998) in zato mogoče uteževanje niti ni problematično pri analizi. Ker pa tega ne vemo zagotovo, saj je izobraževalni program spremenljivka v analizi, obenem pa je bil uporabljen tudi kot nivo vzorčenja, lahko primerjamo rezultate analize brez uteži in z njimi ter pogledamo, v kolikšni meri se rezultati spremenijo. Preglednica 3: Vpliv uporabe vzorčnih uteži (WT) in več najverjetnejših vrednosti (PV). Model je enak kot v Preglednici 2. Varianca (STRATUM) Varianca (SOLA) Ostanek (Residual) HLM(ML) 4429,01 916,67 3822,60 HLM(ML)+PV 4398,08 924,55 3818,33 HLM(ML)+WT 5049,46 1233,79 3405,84 HLM(ML)+PV+WT 5035,11 1287,94 3402,04 Podatki v Preglednici 3 kažejo, da imata uporaba vzorčnih uteži in več najverjetnejših vrednosti opazen vpliv, ki ga predvsem zaradi pomena uteže-vanja ne smemo zanemariti, zato je za končne analize uporabljen program HLM. Ker pa vemo, da je ocena deleža variance za nivo izobraževalnih programov v primeru metode ML, ki jo uporablja program HLM, pri trinivoj-skih modelih podcenjena, jo bomo pri interpretaciji ustrezno povečali. Faktor povečanja izvira iz števila izobraževalnih programov v analizi (N = 5) in znaša N/(N-1) = 1,2. Da dobimo nepristransko oceno, moramo tako oceno variance po metodi ML za ta nivo povečati za 20 %, kar lahko opazimo tudi iz primerjav ocen variance v Preglednici 2 (5287/4401 = 1,20 in 5345/4450 = 1,20). V nadaljevanju je raziskovalni prispevek naravnan tako, da se metodološko ponovi izračune deleža variance med šolami raziskave PISA 2009, nato pa se rezultate nadgradi skladno z raziskovalnimi vprašanji. Vpliv izobraževalnega programa na ocene deležev variance V raziskavi PISA indikator pravičnosti in enakosti temelji na dvonivoj-skem hierarhičnem modelu, ki ima na osnovnem nivoju učence, ki se združujejo v šole (Model 1). Prazni (unconditional) model brez prediktorjev tako pokaže deleže variabilnosti dosežkov, ki odpadejo na razlike med srednjimi šolami. Rezultati za osnovni model (Model 1) so predstavljeni v Preglednici 4. Preglednica 4: Deleži variance za dosežke slovenskih učencev raziskave PISA 2009 (Modeli). Področje % variance med šolami % variance znotraj šol Bralna pismenost 64,3 35,7 Matematična pismenost 56,4 43,6 Naravoslovna pismenost 58,3 41,7 To je enaka analiza kot tista, uporabljena za oceno indikatorja pravičnosti in enakosti v raziskav PISA. Pri slovenskih rezultatih lahko opazimo velik del variabilnosti, ki ga lahko pojasnijo že samo razlike med srednjimi šolami. V nadaljevanju se v raziskavi PISA v analizo doda prediktor ESC S kot mera socialnega, kulturnega in ekonomskega statusa. Ce v model dodamo ESC S kot prediktor, se absolutne vrednosti varianc zmanjšajo, deleži pa zanihajo odvisno od tega, kateri del variance (med šolami, znotraj šol) ESCS pojasni. Rezultati za tako popravljeni model (Model la) so v Preglednici 5, Preglednica 6 pa prikazuje odstotke, ki jih tako vključeni prediktor pojasni glede na izhodiščni model. Preglednica 5: Deleži variance za dosežke slovenskih učencev raziskave PISA 2009, kjer je ESCS prediktor (Model la). Področje % variance med šolami % variance znotraj šol Bralna pismenost 63,4 36,6 Matematična pismenost 54,4 45,6 Naravoslovna pismenost 57,0 43,0 Vključitev prediktorja ESCS v model je statistično pomembna in prispeva k zmanjšanju variance. Deloma to kažejo tudi spremenjena razmerja deležev variance med šolami in znotraj šol v Preglednici 5. Kakšen pa je dejansko učinek vključitve prediktorja v model - kolikšen del variance, ki je na voljo, pojasnimo z vključitvijo, pa lahko vidimo v Preglednici 6. Preglednica 6: Odstotki variance, ki |i indikator ESCS pojasni glede na izhodiščni model (v Preglednici 4). Področje % variance med šolami % variance znotraj šol Bralna pismenost 3,8 0 Matematična pismenost 8,3 0,3 Naravoslovna pismenost 5,4 0 Vidimo, da ESCS pojasni skromen del variabilnosti med šolami in nikakršne variance znotraj šol. Sekundarne analize podatkov raziskave PISA 2006 (Cankar, 2009; Gaber, Tašner, Marjanovič Umek, Podlesek in Sočan, 2009) so pokazale, da lahko večino opaženih razlik med srednjimi šolami pripišemo že različnim izobraževalnim programom. To lahko znova preverimo tako, da analize ponovimo in namesto dvonivojskega modela uporabimo trinivojskega, kjer najvišji nivo predstavljajo izobraževalni programi, v katere se združujejo posamezne šole. Rezultati so predstavljeni v preglednicah 7-9. Preglednica 7: Deleži variance za dosežke slovenskih učencev raziskave PISA 20 09 (Modeli). Področje % variance med iz. programi* % variance med šolami % variance znotraj šol Bralna pismenost 69,0 8,8 22,3 Matematična pismenost 56,3 12,0 31,7 Naravoslovna pismenost 63,1 9,9 27,0 *Predpreračunom deležev je bila ocenavariancepopravljenasfaktor)em 1,2. Preglednica 8: Deleži variance za dosežke slovenskih učencev raziskave PISA 2009, kjer je ESCS prediktor (Model 2a). Področje % variance med iz. programi* % variance med šolami % variance znotraj šol Bralna pismenost 68,9 8,7 22,3 Matematična pismenost 56,3 12,0 31,7 Naravoslovna pismenost 63,1 9,8 27,1 *Predpreračunom deležev je bila ocena vanancepopravljenasfaktorjem 1,2. Preglednica 9: Odstotki variance, ki jih ESCS pojasni glede na izhodiščni model (v Preglednici 7). Področje % variance med iz. programi* % variance med šolami % variance znotraj šol Bralna pismenost 0,6 0,9 0,3 Matematična pismenost 0,2 0,2 0 Naravoslovna pismenost 0,5 0,8 0,2 *Predpreračunom deležev je bila ocena vanancepopravljenasfaktorjem 1,2. Skladno z navedbami predhodnih študij (Cankar, 2009; Gaber, Tašner, Marjanovič Umek, Podlesek in Sočan, 2009) z vključitvijo izobraževalnega programa v model večina variabilnosti med šolami odpade na sam izobraževalni program, znotraj posameznih izobraževalnih programov pa so šole veliko bolj homogene. Primerjava z rezultati grupiranja po osnovnih šolah posameznikov v vzorcu Ker je bila problematika uporabe srednjih šol kot načina grupiranja znana že iz sekundarnih analiz raziskave PISA 2006 (Cankar, 2009; Gaber, Tašner, Marjanovič Umek, Podlesek in Sočan, 2009), so bili dijaki v raziskavi PISA 2009 vprašani po osnovni šoli, ki so jo obiskovali. Za večino dijakov v vzorcu (94,8 %) je na voljo veljaven odgovor, kar nam omogoča analizo istih podatkov, vendar tokrat grupiranih glede na osnovno šolo, v kateri so dijaki preživeli svoje osnovnošolske dni. Rezultati so predstavljeni v preglednicah 10-12. Preglednica 10: Deleži variance za dosežke slovenskih učencev raziskave PISA 2009 glede na osnovne šole (Model 3). Področje % variance med OŠ % variance znotraj OŠ Bralna pismenost 5,1 94,9 Matematična pismenost 5,5 94,5 Naravoslovna pismenost 4,9 95,1 Preglednica 11: Deleži variance za dosežke slovenskih učencev raziska- ve PISA 2009 glede na osnovne šole, kjer je ESCS prediktor (Model 3a). Področje % variance med šolami % variance znotraj šol Bralna pismenost 2,3 97,7 Matematična pismenost 3,5 96,5 Naravoslovna pismenost 2,8 97,2 Preglednica 12: Odstotki variance, ki ji prediktor ESCS pojasni glede na izhodiščni model (v Preglednici 10). Področje % variance med šolami % variance znotraj šol Bralna pismenost 61,6 10,7 Matematična pismenost 44,9 12,1 Naravoslovna pismenost 49,5 10,6 Deleži variance v Preglednici 12, kijih pojasni ESCS kot prediktor, so videti zelo visoki, vendar nas podatki v Preglednici 11 opozarjajo, da gre za zelo majhno prvotno variabilnost - npr. razlikam med šolami pri matematični pismenosti pripišemo 5,5 % celotne variabilnosti v dosežkih. Čeprav ESCS pojasni polovico ali, v primeru bralne pismenosti, skoraj dve tretjini variabilnosti med šolami, je to manj kot 4 % celotne variabilnosti dosežkov učencev. Zaključek Analiza rezultatov raziskave PISA 2009 glede na osnovne šole kaže, da so razlike med slovenskimi osnovnimi šolami v primerjavi z razlikami v do- sežkih učencev znotraj teh šol relativno majhne. Ker gre za analize, dobljene na istem vzorcu dijakov kakor rezultati raziskave PISA, spremenjen pa je način grupiranja učencev (glede na osnovno šolo, iz katere prihajajo, namesto glede na srednjo šolo, v kateri trenutno so), rezultati jasno kažejo vpliv izbire srednje šole. Ker je bolj smiselno, da se kumulativni učinki šolskega sistema kažejo na nivoju osnovnih šol, v katerih so 15-letni dijaki preživeli osem do devet let šolanja, kakor na nivoju srednjih šol, v katerih niso še niti eno šolsko leto, so analize na nivoju osnovnih šol za interpretacijo enakih možnosti izobraževalnega sistema bolj relevantne. Zelo nizek delež variance razlik med osnovnimi šolami kaže, da so razlike med povprečnimi dosežki osnovnih šol relativno majhne v primerjavi z razlikami med dosežki učencev znotraj šol. To je načeloma dobra novica, saj jo lahko razumemo kot mero enakosti, po drugi strani pa se moramo zavedati, da mora enakost spremljati tudi odličnost, saj se sicer lahko zgodi, da so razlike med dosežki šol na splošno majhne, vendar so tudi dosežki na splošno nizki. Bolj kot za samo šolsko prakso so rezultati pomembni za šolsko politiko. Rezultati raziskave PISA ob vsakokratni objavi doživijo precejšnjo medijsko odmevnost in so na splošno prepoznani kot pomembni kazalci, na osnovi katerih se lahko snujejo spremembe šolskih sistemov. Neustrezna interpretacija deležev varianc dosežkov raziskave PISA, ki ne bi upoštevala doslej pripravljenih sekundarnih analiz, bi bila lahko osnova za napačne usmeritve v šolskem sistemu, kar bi bistveno zmanjšalo pričakovane pozitivne učinke. Literatura Cankar, G. (2009). Varianca dosežkov slovenskih učencev med šolami in znotraj šol na lestvicah dosežkov iz matematike, branja in naravoslovja raziskave PISA 2006. Šolsko polje, 20/1-2,43-55. OECD (2005). School Factors Related to Quality and Equity, Paris: OECD. OECD (2007). PISA 2006: Science competencies for Tomorrow's World, Vol. 1: Analysis, Paris: OECD. OECD (2010a). PISA 2009 Results: Overcoming Social Background: Equity in Learning Opportunities and Outcomes (Volume II), Paris: OECD. OECD (2010b). PISA PISA 2009 Results: What Makes a School Successful?: Resources, Policies and Practices (Volume IV), Paris: OECD. Raudenbusch, S. W, Bryk, A. S. (2002). Hierarchical Linear Models: Applications and Data Analysis Methods [second edition], London: Sage. Sherman, J. D., Poirier, J. M. (2007). Educational equity and public policy: comparing results from 16 countries. UIS Working Paper No. 6, Montreal: Unesco Institute for Statistics. Gaber, S., Tašner, V., Marjanovič Umek, L., Podlesek, A., Sočan, G. (2009). Analiza razlik v dosežkih učencev/dijakov ter analiza primarnih in se- kundarnih učinkov družbenih razlik na dosežke učencev/dijakov. Šolsko polje, 20/1-2, 83-126. Pfeffermann, D., Skinner, C. J., Holmes, D. J., Goldstein, H., Rasbash, J. (1998). Weighting for unequal selection probabilities in multilevel models. Journal of the Royal Statistical Society, Series B, Methodological, 60, 23-40 (Disc: 41-56). Straus, M., Repež, M., Štigl, S. (2007). Nacionalno poročilo PISA 2006: Naravoslovni, bralni in matematični dosežki slovenskih učencev, Ljubljana: Pedagoški inštitut. Pedagoški inštitut (2010). OECD PISA 2009: prvi rezultati, Ljubljana: Pedagoški inštitut.