VSEBINA LETNIK XX • ŠTEVILKA 1/2 • POMLAD 2009 Uvodnik...............................................................................................5 Mojca Štraus Psihometrična analiza slovenske verzije preizkusov PISA 2006............................................................................................9 Gregor Sočan Varianca dosežkov slovenskih učencev med šolami in znotraj šol na lestvicah dosežkov iz matematike, branja in naravoslovja raziskave PISA 2006..................................................41 Gašper Cankar Kaj nam povedo mednarodne raziskave in nacionalno preverjanje znanja? .........................................................................55 Neja Markelj, Matej Majerič Analiza razlik v dosežkih učencev/dijakov ter analiza primarnih in sekundarnih učinkov družbenih razlik na dosežke učencev/dijakov..........................................................83 Slavko Gaber, Veronika Tašner, Ljubica Marjanovič Umek, Anja Podlesek, Gregor Sočan Povezanost nekaterih individualnih in socialnih značilnosti slovenskih dijakov z njihovimi dosežki na PISI 2006: matematična in bralna pismenost.................................................127 Maja Zupančič, Anja Podlesek Povezanost individualnih značilnosti in dejavnikov konteksta z naravoslovnimi dosežki slovenskih dijakov na PISI 2006.....................................................................................145 Maja Zupančič, Anja Podlesek Povzetki/Abstracts.........................................................................175 ISSN 1581-6036 (tiskana izdaja) ISSN 1581-6052 (CD-ROM izdaja) ISSN 1581-6044 (»online« izdaja) ŠOLSKO POLJE Revija za teorijo in raziskave vzgoje in izobraževanja Letnik XX • Številka 1/2 • 2009 Revija Šolsko polje je vključena v naslednje indekse in baze podatkov: Contents Pages in Education Educational Research Abstracts International Bibliography of the Social Sciences (IBSS) Lingustics and Language Behaviour Abstracts (LLBA) Multicultural Education Abstracts Pais International Research into Higher Education Abstracts Social Services Abstracts Sociological Abstracts Worldwide Political Science Abstracts UVODNIK Mojca Štraus Pedagoški inštitut, Ljubljana S podatki podprto odločanje v izobraževanju že dolgo ni več novost. Pravzaprav gre za stalno izboljševanje količine, vrste in kakovosti podatkov, na katere se želimo nasloniti. Tudi v Sloveniji so zgrajeni mehanizmi, ki priskrbijo številne podatke, potrebne za odločanje o strategijah razvoja izobraževalnega sistema. Mednje prav gotovo lahko štejemo nacionalno preverjanje znanja in mednarodne raziskave dosežkov učencev, kot je OECD-jev Program mednarodne primerjave dosežkov učencev PISA. Podatki iz teh raziskav nudijo možnosti za vrednotenje znanja učencev v širšem spektru primerjav, kot je to mogoče pri preverjanju in ocenjevanju znanja v šoli. Slovenija je v mednarodno raziskavo PISA (Programme for International Student Assessment) vstopila leta 2004. Tega leta so se začele priprave na zbiranje podatkov o znanju 15-letnih učencev in dijakov na področjih naravoslovne, matematične in bralne pismenosti v 56 državah sveta. Zbiranje podatkov je bilo izvedeno leta 2006 in rezultati raziskave so bili objavljeni konec leta 2007. Slovenija v raziskavi PISA sodeluje zato, da bi poiskali odgovore na vprašanja o kompetencah, ki jih mladi potrebujejo za nadaljevanje učenja vse življenje, o njihovi pripravljenosti na nadaljnje izobraževanje, delo in učenje ter o učinkovitosti šolskih sistemov. Verjetno ni nobenega dvoma več, da je oblikovanje šolske politike nujno treba podpreti tudi s tovrstnimi podatki. Raziskava PISA zbira in primerja podatke o kompetencah bralne, matematične in naravoslovne pismenosti 15-letnih učenk in učencev v rednem izobraževalnem sistemu, ne glede na stopnjo ali vrsto izobraževanja, ki ga obiskujejo. V Sloveniji so v raziskavi PISA večinoma udeleženi dijaki prvih letnikov srednjih šol. Zaradi splo-šnosti v nekaterih kontekstih še vedno uporabljamo poimenovanje z besedo učenci, ki v množinski obliki enakovredno naslavlja tako učenke kot učence. Zbiranje podatkov PISA poteka vsake tri leta. V prvih dveh raziskavah, leta 2000 in 2003, Slovenija še ni sodelovala, zbirali pa smo podatke leta 2006 in 2009. V raziskavi PISA 2006 se je izkazalo, da se dosežki slovenskih učencev umeščajo nad povprečje držav OECD pri vseh treh vrstah pismenosti. Osnovne značilnosti dosežkov slovenskih učencev v primerjavi z dosežki učencev iz drugih držav smo opisali v nacionalnem poročilu (Štraus, Repež, Štigl, 2007). ŠOLSKO POLJE . LETNIK XX (2009) • ŠTEVILKA 1/2 . str. 5-8 Različne avtorje smo povabili k osvetlitvi rezultatov raziskave PISA 2006. Njihove prispevke smo izbrali v dveh tematskih številkah. Številki predstavljata analize podatkov in rezultatov in ugotovitve za slovenski šolski sistem. V prvi številki so zbrani prispevki na temo metodoloških razprav in razprav o splošnih karakteristikah slovenskega šolskega sistema, druga številka pa predstavlja prispevke posameznih področij zbiranja podatkov oziroma merjenja kompetenc v raziskavi. Raziskovanje dosežkov učencev ne pomeni le zbiranja podatkov o njihovem znanju, temveč tudi ugotavljanje dejavnikov, ki se povezujejo s pridobivanjem in z izkazovanjem znanja. To še posebej velja za raziskave, katerih namen je podpreti oblikovanje šolske politike. V raziskavi PISA 2006 smo zato dodatno zbrali podatke o spremljajočih dejavnikih pridobivanja znanja, kot so šolske okoliščine in okoliščine, v katerih se učenci učijo doma. Te podatke uporabljamo za pojasnjevanje razlik v dosežkih učencev tako med državami kot znotraj držav. Bolj kot zgolj številke, ki jih primerjamo med državami takoj po objavi mednarodnih rezultatov raziskave, so prav analize, kot so predstavljene v pričujoči številki, pomemben prispevek k razvoju slovenskega šolstva in oblikovanju politike, ki naj bi ga spodbudila in podprla. V nacionalnem in mednarodnem merilu raziskave dosežkov v izobraževanju sprožajo številne polemike in kritike o ustreznosti njihove zasnove, metodologije, usmerjenosti, nekontroliranih in nepojasnjenih kulturnih in drugih vplivih. Stalna konstruktivna razprava o tem je pomembna za vzdrževanje ozaveščenosti, da so v vsako raziskovanje vgrajene predpostavke, ki niso nujno posplošljive v kontekst, v katerem bi rezultate želeli uporabiti. Ta ozaveščenost je ključna na vseh ravneh odločanja v izobraževalnem sistemu: od položajev, kjer se sprejemajo odločitve o nacionalnih politikah, do izvajanja pouka v razredu in oblikovanja mnenj in odločitev o znanju in napredku posameznega učenca. Nekateri prispevki tem polemikam posvečajo večjo pozornost, drugi manj in nekateri odpirajo nova vprašanja. Kakršne koli spremembe v šolskem sistemu pa morajo dokončno zaživeti na ravni posameznega učitelja in učenca, če naj bodo učinkovite. Mednarodne študije tako kot lučke na armaturni plošči avtomobila pokažejo na morebitne probleme, vzroke in postopke za reševanje pa je treba iskati v širšem kontekstu. Morda celo širše od šolske politike. Prvi prispevek v tej številki se dotika metodoloških vidikov raziskave. Pri vsakem merjenju je kakovost rezultata meritve odvisna tudi od kakovosti merskega instrumenta. Gregor Sočan je izvedel psihometrično analizo slovenske verzije preizkusov PISA 2006 po konceptu klasične testne teorije in po konceptu pristopa teorije odgovora na postavko (IRT - Item Response Theory). UVODNI^ 7 Avtor ugotavlja, da so se glede na kriterije dimenzionalnosti, zanesljivosti ter diskriminativnosti in težavnosti preizkusi večinoma izkazali kot zelo dobri. Nekoliko nepričakovano so po klasičnih testnih kriterijih med tremi področji najboljše naloge s področja bralne pismenosti, najmanj dobre pa s področja naravoslovne pismenosti. Vprašuje pa se, ali je uporaba Raschevega modela za lestvičenje dosežkov optimalen pristop glede na velike razlike v diskriminativnosti posameznih nalog, saj Raschev model predpostavlja homogenost diskriminativnosti nalog. Kot je znano, si o tem niso enotna tudi velika imena vedenja o lestvičenju podatkov v mednarodnem prostoru. Kot je bilo že omenjeno, je skladno z mednarodnimi standardi določanja ciljne populacije med sodelujočimi učenci v raziskavi PISA v Sloveniji večina dijakov prvih letnikov srednjih šol. Razlike med povprečnimi dosežki šol so zato med drugim neposredna posledica različnosti izobraževalnih programov, ki jih dijaki obiskujejo. Podobno je tudi v nekaterih drugih sodelujočih državah, medtem ko je kar nekaj držav, kjer večina sodelujočih učencev v raziskavi PISA še vedno obiskuje enoten izobraževalni program. Zaradi teh in podobnih razlik med izobraževalnimi sistemi je treba določene kazalnike v raziskavi PISA primerjati skupaj s kontekstom. Primer je kazalnik neenakih možnosti šolskih sistemov, ki ga v svojem prispevku obravnava Gašper Cankar. Avtor ugotavlja, da je omenjen kazalnik za slovenski vzorec neprimeren zaradi prej omenjene specifičnosti slovenskega šolskega sistema in ločenega obravnavanja izobraževalnih programov pri izbiri vzorca učencev. Avtor predstavi alternativne izračune kazalnika in tudi primerljive vrednosti, izračunane na podlagi dosežkov nacionalnega preverjanja znanja. Neja Markelj in Matej Majerič v svojem prispevku iščeta skupne točke in razlike med mednarodnimi raziskavami TIMSS in PISA ter nacionalnim preverjanjem znanja in jih prek tega poskušata umestiti v širši proces evalvacije šole in s tem šolskega sistema. S primerjavo več raziskav tudi na podlagi njihove metodološke različnosti lahko dobimo širšo sliko o dejavnikih, ki vplivajo na učne dosežke učencev. V prispevku so omenjeni različni pristopi ugotavljanja in zagotavljanja kakovosti, med katerimi ima pomembno mesto samoevalva-cija. Avtorja predstavita predlog modela integracije informacij različnih virov, ki ga lahko šole uporabijo pri razlagi in vrednotenju lastnega dela. Slavko Gaber, Ljubica Marjanovič Umek, Anja Podlesek, Gregor Sočan in Veronika Tašner analizirajo naravoslovne dosežke slovenskih učencev na podlagi socialne reprodukcije in primerjajo dosežke slovenskih učencev z dosežki učencev iz izbranih držav: Finske, Estonije in Norveške. Upoštevajoč rezultate, prikazane v mednarodnem poročilu PISA 2006 (OECD 2007a in OECD 2007b), lastne izračune in različne koncepte pra- vičnosti in učinkovitosti izobraževalnega sistema, avtorji ugotavljajo, da ima ekonomski, socialni in kulturni status staršev učencev na primarni ravni pomemben učinek na dosežke učencev. Z izsledki analize primarnih in sekundarnih učinkov socialne neenakosti avtorji utemeljujejo, da je treba v slovenskem šolskem sistemu izoblikovati mehanizme in ukrepe, s katerimi bi zmanjšali vpliv, ki ga imajo na doseganje znanja otrok in mladostnikov oziroma na njihovo izobraževanje izobrazba staršev in druge pojavne oblike kulturnega in socialnega kapitala. Maja Zupančič in Anja Podlesek v dveh prispevkih obravnavata povezanost individualnih značilnosti in dejavnikov konteksta z dosežki učencev v raziskavi PISA 2006. Prvi prispevek obravnava matematične in bralne dosežke in drugi prispevek naravoslovne dosežke slovenskih učencev. Razlike v rezultatih učencev sta ugotavljali med štirimi izobraževalnimi programi različne zahtevnosti, med šolami znotraj programov in na ravni učencev. V trinivojskih modelih so razlike v naravoslovnem dosežku in kompetencah pojasnene večinoma z razlikami med programi in z individualnimi razlikami med učenci in v manjši meri z razlikami med šolami znotraj programov. V povprečju imajo najnižje rezultate v dosežkih vseh treh pismenosti učenci poklicnih srednjih šol, najvišje pa učenci splošnih gimnazij. Avtorici ugotavljata, da so dosledno pomembni posamični napovedniki na vsakem pod-področju izmed naravoslovne pismenosti dijakova motivacija za naravoslovje, zaznana samoučinkovitost v kontekstu naravoslovja in način poučevanja naravoslovja, kot je viden s strani dijaka. Na področjih bralne in matematične pismenosti pa dosežke dosledno napovedujejo večja poraba časa za učenje pri pouku ustreznega predmeta v šoli (matematike, slovenščine), večje število knjig doma in slovenski pogovorni jezik doma ter manjša poraba časa za organizirano učence ustreznega pouka zunaj pouka in manjše število materialnih dobrin doma, ki niso neposredno vezane na učno delo. Literatura OECD (2007a). PISA 2006: Sicence Competencies for Tomorrow's World. Vol 1: Analysis, Pariz: OECD. OECD (2007b). PISA 2006: Sicence Competencies for Tomorrow's World. Vol 2: Data, Pariz: OECD. Štraus, M., Repež, M. in Štigl, S. (ur.) (2007). Nacionalno poročilo PISA 2006: naravoslovni, bralni in matematični dosežki slovenskih učencev. Ljubljana: Nacionalni center PISA, Pedagoški inštitut. PSIHOMETRIČNA ANALIZA SLOVENSKE VERZIJE PREIZKUSOV PISA 2006 Gregor Sočan Oddelek za psihologijo, Filozofska fakulteta, Univerza v Ljubljani Problem in metoda raziskave Opredelitev in utemeljitev problema raziskave Namen te raziskave je bil opraviti psihometrično analizo preizkusov PISA 2006, apliciranih na velikem vzorcu slovenskih dijakov. Pri tem smo se omejili na formalne značilnosti nalog (postavk) in preizkusov, torej na problematiko, ki jo proučuje testna teorija v ožjem pomenu besede. Vprašanje, na katerega želi ta raziskava odgovoriti, bi lahko formulirali kot: »Ali preizkusi PISA 2006 v slovenski priredbi zadoščajo osnovnim formalnih kriterijem psihološkega merjenja?« »Psihološko merjenje« tukaj seveda pojmujemo v najširšem smislu, ki vključuje tudi merjenje pridobljenih kompetenc, kamor spadajo tudi konstrukti bralne, matematične in naravoslovne pismenosti, ki jih skušajo meriti preizkusi PISA. Pojem psihometrije, kot ga uporabljamo v nadaljevanju, je zato treba razumeti, kot da vsebuje tudi t. i. edukometrijo. Problematike veljavnosti (tako vsebinske kot napovedne in konstruk-tne), taksonomske klasifikacije in posledično vsebinske interpretabilnosti tukaj ne obravnavamo - ne zato, ker bi bila ta vprašanja manj pomembna, ampak prav zaradi njihove kompleksnosti, ki presega obseg naše študije. Poenostavljeno povedano bi lahko rekli, da smo se ukvarjali z vprašanjem, v kolikšni meri preizkusi PISA merijo koherentne, empirično evidentne konstrukte, ne pa tudi s samo naravo in relevantnostjo teh konstruktov. Omejili smo se torej le na prvi korak validacije preizkusov. Glede na to, da pri sestavljanju preizkusov PISA sodelujejo institucije z vrhunskimi psihometričnimi kompetencami (npr. avstralski ACER, nizozemski CITO, ameriški ETS itd.; več o tem gl. v Repež, Bačnik in Štraus, 2008) in da naloge v preizkusih niso sestavljene ad hoc, ampak morajo še pred aplikacijo v raziskavi prestati psihometrično preverjanje, se zastavlja vprašanje, zakaj je takšna raziskava sploh potrebna. Glede tega je treba najprej upoštevati, da ŠOLSKO POLJE . LETNIK XX (2009) « ŠTEVILKA 1/2 . str. 9-39 je pri vsakršnem testiranju, ki temelji na jezikovnem posredovanju postavk, prevod in priredba v drugi jezik (npr. slovenski) izrazita kritična točka merskega procesa, saj struktura in besednjak dveh različnih jezikov nista nikoli v popolni funkcionalni korespondenci. Nadalje moramo upoštevati, da konstrukt »pismenosti«, kot je uporabljen v raziskavah PISA, kljub svoji razmeroma splošni opredelitvi ne more biti popolnoma medkulturno prenosljiv, tako zaradi različnih kurikulov in šolskih sistemov kot zaradi različnih družbenih pogojev (od socialnih norm do ekonomskih pogojev) v različnih deželah, ki povzročijo, da vsebina pojma »pripravljenosti učencev na izzive, ki jih čakajo v življenju« (gl. Repež, Bačnik in Štraus, 2008: 7) ne more biti identična v vseh sodelujočih deželah. Ker pa ima narava merjenega konstrukta nujno neposredne implikacije za lastnosti merskega procesa, je seveda smiselno preveriti uspešnost prenosa tega procesa v vsako jezikovno-kulturno okolje posebej. Preizkusi PISA 2006 Preizkusi PISA merijo naravoslovno, matematično in bralno pismenost. Pojem »pismenosti« se navezuje na znanje, vendar presega kurikularno šolsko znanje, ampak se nanaša na zmožnost učenca, da znanje uporabi pri aktivnem sodelovanju v družbi. Za naloge je zato značilno, da izhajajo iz realnih življenjskih situacij. Izhodišča in logika, na katerih preizkusi temeljijo, so podrobno opisani v publikaciji Izhodišča merjenja naravoslovne pismenosti v raziskavi PISA 2006 (Repež, Bačnik in Štraus, 2008), naloge za merjenje naravoslovne pismenosti pa so navedene v publikaciji Naloge iz naravoslovne pismenosti (Repež, 2008). Tu bomo opisali le tiste osnovne formalne značilnosti preizkusov, ki smo jih analizirali in so pomembne za neposredno razumevanje rezultatov. Postavke v preizkusih PISA so kratke naloge, ki so bodisi izbirnega tipa bodisi zahtevajo od preizkušanca, da sam oblikuje odgovor. Tudi v tem primeru so naloge sestavljene tako, da je objektivnost vrednotenja visoka. Vseh nalog je preveč, da bi jih lahko reševali vsi preizkušanci: v raziskavi PISA 2006 je bilo v Sloveniji uporabljenih 28 postavk s področja bralne pismenosti, 48 postavk s področja matematične pismenosti in 103 postavke s področja naravoslovne pismenosti.1 Vsak preizkušanec zato rešuje samo del nalog s posameznega področja. Naloge so razdeljene v zvezke (booklets), ki funkcionirajo kot samostojni testi. V Tabeli 1 je navedeno število postavk s posameznega področja v posameznem zvezku in število oseb, ki so reševale posamezni zvezek. Naloge v različnih zvezkih se delno prekrivajo; natančnejša struktura zvezkov je razvidna iz tabel v nadaljevanju. Ker popolnoma reprezentativno vzorčenje ni izvedljivo, so odgovori posameznih preizkušancev obteženi glede na to, ali posameznik pripada skupini, ki je v vzorcu preveč ali premalo zastopana. Te uteži smo zato upoštevali tudi pri vseh analizah v tej raziskavi. Tabela 1: Število postavk in preizkušancev pri posameznih testnih zvezkih Pismenost Zvezek matemat. bralna naravosl. N 1 58 487 2 12 14 26 508 3 24 31 488 4 24 33 505 5 60 497 6 28 32 485 7 24 14 15 491 8 24 27 492 9 12 14 28 480 10 24 29 488 11 12 14 28 483 12 12 14 30 484 13 24 14 15 490 20 7 12 217 Skupaj: 6595 Opomba: N = število oseb, ki so reševale posamezni zvezek. Postopek psihometrične analize Čeprav med psihometriki obstaja načelno soglasje o kriterijih dobrega merskega postopka (enodimenzionalnost, zanesljivost in veljavnost), pa ne obstaja standardna procedura preverjanja teh kriterijev. V nadaljevanju bomo zato opisali postopke, ki smo jih uporabili v tej raziskavi. Uporabili smo tako klasično testno teorijo (KTT),2 ki je še vedno prevladujoča psihometrič-na paradigma, kot tudi Raschevo lestvičenje, ki je vključeno tudi v proces konstrukcije preizkusov PISA. Osnovni pojmi, kot so unidimenzionalnost, napaka merjenja ipd., so sicer skupni obema paradigmama, vendar jih je vsaj v nekaterih vidikih lažje proučevati z vidika klasične testne teorije. Klasična testna analiza Za postopke, ki izhajajo iz klasične testne teorije, je značilno, da zahtevajo kompletno matriko podatkov. Pri tem ne gre (samo) za morebitno metodološko nedodelanost, ampak izhaja tudi iz tega, da je pri KTT glavna enota analize test in ne postavka. O zanesljivosti npr. je smiselno govoriti samo v zvezi z zaključeno skupino postavk, na katero je odgovorila skupina preizkušancev. V primeru preizkusov PISA to pomeni, da je enota analize testni zvezek. Vse klasične analize, o katerih govorimo v nadaljevanju, smo zato izvedli za vsak testni zvezek posebej. Postopek analize testov smo začeli s preverjanjem unidimenzional-nosti. Pojem dimenzionalnosti se nanaša na latentne konstrukte, ki jih preizkus meri. V idealnem primeru bi vse testne postavke merile eno samo latentno dimenzijo. V psihometričnem merjenju tega ni realno pričakovati: ker je odgovor na posamezno postavko v veliki meri obremenjen z naključno napako merjenja in z različnimi specifičnimi vplivi, ki izhajajo iz vsebinskih značilnosti postavke, njenega formata itd., je jasno, da moramo del variabilnosti dosežkov pripisati tudi irelevantnim latentnim spremenljivkam (»faktorjem«), ki odražajo vsebinske in oblikovne podobnosti med skupinami postavk. Bistveno vprašanje, na katerega mora odgovoriti analiza dimenzionalnosti, je, ali je vpliv teh irelevantnih faktorjev dovolj majhen v primerjavi s splošnim faktorjem, za katerega predpostavljamo, da je bolj ali manj istoveten z lastnostjo, ki jo želimo meriti. Pomembno se je zavedati, da pri preverjanju dimenzionalnosti ne ugotavljamo vsebinske narave merjenega konstrukta, ampak le, ali ta sploh obstaja (torej, ali lahko sploh govorimo, da preizkus meri neki koherenten konstrukt). Vprašanje narave merjene lastnosti (v našem primeru: ali lahko ta konstrukt res imenujemo npr. naravoslovna pismenost) se razčiščuje šele med validacijo preizkusa, ki sledi formalni psihometrični analizi. Predpostavko unidimenzionalnosti (imenovano tudi kongenerič-nost) lahko preverjamo različno. Trenutno je verjetno najpogostejši pristop prek strukturnega modeliranja oz. konfirmatorne faktorske analize. Tega pristopa nismo uporabili iz naslednjih razlogov: - konfirmatorna faktorska analiza testira hipotezo o popolni unidimenzionalnosti, ki pa je nerealna tako zaradi vsebinskih razlogov (kot smo jih omenili zgoraj) kot zaradi matematičnih razlogov: Shapiro (1982) je npr. dokazal, da je verjetnost obstoja enodimenzionalne skupine več kot treh spremenljivk enaka nič (kar pomeni, da se taki podatki empirično ne pojavljajo); - pri konfirmatorni faktorski analizi je v ospredju testiranje hipoteze, ne pa ocena stopnje unidimenzionalnosti; na voljo so sicer indeksi prileganja modela, ki pa nimajo jasne interpretacije v smislu stopnje unidimenzionalnosti. Namesto tega smo uporabili eksploratorno faktorsko analizo minimalnega ranga (Ten Berge in Kiers, 1988; gl. tudi Ten Berge in Sočan, 2007). S to metodo iščemo latentne spremenljivke, ki pojasnjujejo kovariance med postavkami, pri čemer rešitev minimizira odstotek skupne variance (ko-munalitete), ki ostane nepojasnjen (v našem primeru je to varianca, ki jo pripišemo vsem faktorjem razen prvega). Posebnost te metode v primerjavi z drugimi metodami eksploratorne faktorske analize je, da omogoča delitev skupne variance (tj. variance, ki jo pojasnijo skupni faktorji) na pojasnjeni del (ki ga pojasni izbrano število faktorjev, v našem primeru prvi faktor) in nepojasnjeni del (ki ga pojasnijo preostali, irelevantni faktorji). Razmerje med pojasnjeno skupno varianco in skupno varianco je v tem primeru naravna mera unidimenzionalnosti. Zanesljivost testa označuje stopnjo odvisnosti testnega dosežka od naključnih napak merjenja. Glede na to, da je bilo izvedeno le eno testiranje, je bilo treba uporabiti metodo notranje skladnosti (interne konsistentnosti). Izračunali smo koeficiente, ki so spodnje meje zanesljivosti, kar pomeni, da so v vzorcu vedno manjši ali enaki od dejanske zanesljivosti: 1. koeficient a (Guttman, 1945; Cronbach, 1951) je verjetno najpogosteje uporabljena mera zanesljivosti. Temelji na povprečni kovarianci med postavkami. Koeficient a je dobra mera zanesljivosti, če je stopnja unidimenzionalnosti visoka in če so variance pravih dosežkov postavk podobne. 2. koeficient À2 (Guttman, 1945) ima podobne lastnosti kot a, vendar je vedno nekoliko višji (torej je natančnejša ocena zanesljivosti), zlasti če so nekatere postavke med seboj negativno korelirane. 3. najvišja spodnja meja zanesljivosti (NSMZ; angl. the greatest lower bound to reliability - GLB) je najvišja vrednost, za katero lahko trdimo, da ni višja od vzorčne zanesljivosti. NSMZ je torej najboljša možna konzervativna ocena. Za izračun smo uporabili algoritem, ki so ga razvili Ten Berge, Snijders in Zegers (1981). Ker je NSMZ pristranska cenilka (v majhnih vzorcih so njene vrednosti praviloma sistematično previsoke glede na populacijsko vrednost), smo izračunali tudi oceno pristranskosti in na njeni osnovi popravljeno oceno (po postopku, ki sta ga predlagala Shapiro in Ten Berge, 2000). Omeniti moramo še en priljubljen pristop k ocenjevanju notranje skladnosti, in sicer s pomočjo enofaktorske (konfirmatorne) faktorske analize. Ta pristop podrobno opisuje in zagovarja npr. McDonald (1999), v naši raziskavi pa ga nismo uporabili iz naslednjih razlogov: - faktorskoanalitično ocenjevanje zanesljivosti temelji na predpostavki popolne unidimenzionalnosti, ki ni nikoli povsem izpolnjena; - ta pristop meša unidimenzionalnost in zanesljivost, ki sta tako teoretično kot empirično različna pojma. Za podrobnosti o problematiki izbire med faktorskoanalitičnimi merami in spodnjimi mejami zanesljivosti gl. Ten Berge in Sočan (2004). Ocenjevanju lastnosti skupnega dosežka na posamezni lestvici sledi ocenjevanje kakovosti postavk. Izračunali smo naslednje kazalce: 1. popravljeni koeficient diskriminativnosti postavke je koeficient korelacije med dosežkom na postavki in vsoto dosežkov na vseh preostalih postavkah. Ta koeficient torej odraža stopnjo, v kateri postavka meri isto kot surovi testni dosežek (vsota točkovanih odgovorov). 2. korelacija (nasičenost) s prvo (nerotirano) glavno komponento. Prva glavna komponenta je obtežena vsota, kjer so postavke obtežene tako, da njihova vsota pojasni čim večji delež variance vseh posameznih postavk. Poenostavljeno rečeno to pomeni, da dobijo bolj diskriminativne postavke večjo utež, zaradi česar je ta korelacija natančnejša mera kakovosti postavk kot koeficient diskriminativnosti. Njena slabost je, da iz prve glavne komponente ne moremo izločiti vpliva posamezne postavke, zato je pri kratkih testih relativno višja kot pri daljših. 3. sprememba zanesljivosti, če izločimo postavko iz testa. Izločitev postavke iz testa mora praviloma rezultirati v znižanju zanesljivosti. Razlike med zanesljivostjo testa in zanesljivosti po izločitvi postavke smo izračunali za najvišjo spodnjo mejo zanesljivosti. Vse klasične analize smo opravili s programom MATLAB 5 (1998). Raschevo modeliranje Raschevo modeliranje pogosto obravnavamo kot posebno obliko teorije odgovora na postavko, torej psihometrične paradigme, ki temelji na (praviloma nelinearnem) modeliranju odnosa med odgovorom na postavko in latentno merjeno potezo (v našem primeru bralno/matematično/naravoslovno pismenostjo). Raschev model je posebna oblika splošnega logističnega modela, pri katerem lahko verjetnost določenega odgovora na postavko napovemo samo na podlagi težavnosti postavk in stopnji izraženosti merjene lastnosti (o logističnih modelih gl. npr. Embretson in Reise, 2000; de Gruijter in van der Kamp, 2008). Pri uporabi Raschevega modela torej predpostavljamo, da se postavke zanemarljivo razlikujejo v diskri-minativnosti ter da ugibanje nima velikega vpliva na rezultate. Raschev model je zelo restriktiven, vendar omogoča (v idealnih pogojih popolne izpolnjenosti predpostavk) konstrukcijo aditivnih mer, kar za klasično testno teorijo ne velja. Vsekakor lahko v praksi za Rascheve mere pričakujemo, da so bliže intervalni lestvici kot pa klasični seštevki točk (za podrobnosti o Raschevem modeliranju gl. npr. Bond in Fox, 2007). Na tem mestu bomo poročali o treh bistvenih vidikih Raschevega modeliranja: ocenili bomo ustreznost prileganja postavk modelu ter pregledali ustreznost porazdelitve težavnosti nalog in porazdelitev informacijske funkcije. Ustreznost prileganja postavk modelu smo ocenili z merama INFIT in OUTFIT. Obe meri temeljita na seštevanju kvadriranih standardiziranih rezidualov, pri čemer so reziduali pri izračunu INFIT-a obteženi glede na informativnost postavke, zaradi česar manj relevantna odstopanja (npr. odgovori oseb, katerih pismenost je daleč od težavnosti postavke) manj vplivajo na mero prileganja in obratno. Pričakovana vrednost obeh mer je 1, pri čemer visoke vrednosti (višje od pribl. 1,3, gl. npr. Bond in Fox, 2007: 238-243) pomenijo slabo prileganje, torej neustrezno veliko odstopanje od modela, nizke vrednosti (nižje od pribl. 0,7) pa boljše prileganje modelu, kot bi ga pričakovali, kar lahko kaže na nepristne odvisnosti v podatkih. Pri vseh modelih teorije odgovora na postavko so osebe lestvičene na isti lestvici kot postavke. To nam omogoča primerjavo porazdelitve parametrov oseb in težavnosti postavk ter oceno, ali je struktura težavnosti ustrezna. Informacijska funkcija testa je povezana z velikostjo napake merjenja (natančneje, standardne napake ocene merjene lastnosti) pri določeni vrednosti merjene lastnosti. Oblika informacijske funkcije nam poda informacijo o tem, v katerem razponu merjene lastnosti je merjenje najnatančnejše. Analize po Raschevem modelu smo opravili s programom Winsteps 3.65 (Linacre, 2008). Ker je v okviru Raschevega lestvičenja možna tudi analiza nepopolnih podatkovnih matrik, smo naloge za posamezno področje analizirali skupaj in ne po posameznih zvezkih. Rezultati in razprava Dimenzionalnost lestvic Tabela 2 prikazuje podatke o dimenzionalnosti posameznih zvezkov. V stolpcu % PSV so prikazani odstotki pojasnjene komunalitete (skupne variance) za vsak podtest ter srednje in skrajne vrednosti za vsako področje posebej. V splošnem se ti odstotki gibljejo okoli polovice, kar je za ta tip podatkov razmeroma visoko. Čeprav je torej dobršen del skupne variabilnosti treba pripisati irelevantnim faktorjem, podatki kažejo na obstoj enega močnega skupnega faktorja. Opazimo lahko, da so odstotki PSV najvišji pri bralnih testih, najnižji pa pri naravoslovnih. Opozoriti je treba, da to še ne pomeni, da so naravoslovne naloge same po sebi manj enodimenzionalne od bralnih. Kot sta opozorila Ten Berge in Sočan (2004), stopnja enodimenzionalnosti z dolžino testa praviloma upada. Izkazalo se je, da je tako tudi v tem primeru: korelacija med številom postavk in % PSV je bila -0,67 (Pearson) oz. -0,56 (Kendall). Ker so naravoslovni zvezki v povprečju najdaljši (število postavk je ponovno prikazano v stolpcu n), bi lahko bila višja dimenzionalnost bralnih testov artefakt različnih povprečnih dolžin. Zato smo s pomočjo linearne regresije izračunali napovedane vrednosti % PSV na podlagi dolžine testa in regresijske reziduale uporabili kot popravljeno mero dimenzionalnosti. Dobljene rezidualne vrednosti so prikazane v stolpcu PSVr. Izkaže se, da so tudi ti ostanki v povprečju najvišji pri bralnih testih, najnižji pa pri naravoslovnih. Pri bralnih preizkusih so torej naloge najbližje idealu merjenja ene same latentne dimenzije (na irelevantne faktorje odpade v povprečju le okoli tretjina variance), naravoslovni testi pa najdlje (irelevantni skupni faktorji pojasnijo v povprečju več kot polovico skupne variance). Na tem mestu se ne spuščamo v raziskovanje narave teh irelevantnih skupnih faktorjev, saj bi to zahtevalo dodatno vsebinsko analizo posameznih postavk, ki bi presegala namen tega prispevka. Tabela 2: Indikatorji dimenzionalnosti zvezkov Zvezek % PSV PSV n Branje 2, 7, 12 63,1 7,2 14 6 50,8 3,0 28 9, 11, 13 73,5 17,7 14 20 70,1 10,3 7 M 64,4 9,5 15,8 Me 66,6 Min 50,8 Max 73,5 Matematika 2 53,8 -3,1 12 3 46,5 -3,6 24 4 57,5 7,4 24 7 50,5 0,4 24 8 46,8 -3,3 24 9 62,8 5,9 12 10 43,2 -6,9 24 11 56,2 -0,7 12 12 63,1 6,2 12 13 48,3 -1,8 24 M 52,9 0,0 19,2 Me 52,2 Min 43,2 Max 63,1 Naravoslovje 1 32,1 1,4 58 2 48,7 -0,3 26 3 41,0 -5,1 31 4 46,8 1,8 33 5 36,0 6,4 60 6 37,1 -8,4 32 7 50,2 -5,0 15 8 49,5 1,1 27 9 45,7 -2,1 28 10 41,7 -5,5 29 11 52,4 4,6 28 12 44,0 -2,7 30 13 57,1 1,9 15 20 30,4 -26,5 12 M 43,8 -2,7 30,3 Me 44,9 Min 30,4 Max 57,1 Opomba: M = aritmetična sredina, Me = mediana, Min = najmanjša vrednost, Max = najvišja vrednost. Oznake veljajo tudi v nadaljevanju. Dimenzionalnost je smiselno oceniti tudi grafično. Na »delta-PSV« grafu lahko narišemo, za koliko se poveča odstotek pojasnjene skupne variance, če v faktorski model vključimo en faktor več. Ostri preskoki na sliki praviloma ustrezajo preskoku med pomembnimi faktorji, ki pojasnijo upoštevanja vreden delež variance, in manj pomembnimi faktorji, ki jih lahko izpustimo iz modela oz. zanemarimo. Slika 1 prikazuje tovrstne grafične prikaze za šest izbranih zvezkov, in sicer za najbolj in najmanj enodimenzionalen zvezek na vsakem področju. Slika 1: Povečanje % pojasnjene kom,unalitete pri dodajanju faktorjev. 100 90 80 70 60 50 40 30 20 10 0 100 90 80 70 60 50 40 30 20 10 0 Matematika 12 10 12 Število faktorjev Matematika 10 — ♦ ♦ 5 10 15 Število faktorjev 20 0 Pozicija prve točke na sliki pomeni pojasnjevalno moč prvega (splošnega) faktorja in s tem stopnjo enodimenzionalnosti. Pri prvem grafu vidimo situacijo, ki je skoraj optimalna: prvi faktor pojasni tri četrtine komuna-litete (kar je pri analizi posameznih postavk zelo veliko), dodajanje novih faktorjev pa zviša % PSV za relativno zelo majhne deleže. Tudi večina preostalih slik prikazuje razmeroma ugodno situacijo; tudi če prvi faktor ni zelo močan, so preostali še vedno relativno šibki. Izjema je zvezek 20 pri naravoslovju, kjer slika kaže na problematično notranjo strukturo tega zvezka. Po eni strani skupni faktor pojasni samo tri desetine skupne vari- ance, kar je razmeroma malo, po drugi strani pa bi tudi dodajanje novih skupnih faktorjev povečalo pojasnjeno skupno varianco za razmeroma visoke deleže. Veliko odstopanje od enodimenzionalnosti je še posebej problematično, če upoštevamo, da gre pri tem zvezku za razmeroma kratek test s samo 12 postavkami. Zanesljivost lestvic Levi del Tabele 3 (Dejanske vrednosti) prikazuje vrednosti vseh treh mer zanesljivosti: najvišje spodnje meje (v stolpcu NSMZc so vrednosti, popravljene za oceno pristranskosti), koeficienta a in koeficienta À2. Razlike med slednjima dvema so v večini primerov zelo majhne, kar je tudi posledica majhnega števila negativnih korelacij med postavkami. Vrednosti NSMZ pa so v večini primerov opazno, čeprav ne dramatično višje. Glede na to, da postavke niso točkovane na zelo različnih merskih lestvicah, lahko predpostavljamo, da so te razlike predvsem posledica nepopolne unidi-menzionalnosti, saj tako a kot À2 pri odstopanju od unidimenzionalnosti podcenjujeta dejansko zanesljivost. Najpomembnejše vprašanje je seveda, ali so ti koeficienti ustrezno visoki. To vprašanje nima enoznačnega odgovora, saj je odgovor odvisen od uporabe testnih dosežkov: če se testni dosežki uporabljajo predvsem za proučevanje pojavov na ravni skupin, je dopustna nižja zanesljivost kot pri individualni diagnostiki. Mediane NSMZc (ki jo tu obravnavamo kot najbolj relevantno mero zanesljivosti) so po področjih 0,84 (branje), 0,88 (matematika) in 0,90 (naravoslovje). Te vrednosti so primerljive s tistimi, ki jih dosegajo standardizirani testi osebnosti ali sposobnosti (z izjemo testov splošne inteligentnosti, ki so praviloma zanesljivejši). Posamezni zvezki so torej dovolj zanesljivi, da bi jih lahko uporabili tudi za diagnostiko na ravni posameznika, vsaj kot dopolnilni pripomoček. Zanesljivost večine zvezkov pa načeloma ne bi bila zadovoljiva za morebitno sprejemanje pomembnih odločitev na ravni posameznika (npr. dodelitev štipendije, univerzitetna selekcija), če bi bila to edina uporabljena informacija, saj je v takem primeru zaželena zanesljivost vsaj 0,90 ali še raje 0,95 (prim. Nunnally in Bernstein, 1994: 265). Za glavni namen raziskave PISA - določanje povprečnih dosežkov na ravni držav - so dobljeni koeficienti vsekakor zelo dobri. Spet je treba posebej omeniti naravoslovni zvezek 20, kjer je zanesljivost popolnoma neustrezna, ne glede na to, s katerim postopkom jo ocenjujemo. Dejstvo, da imajo med vsemi tremi področji najvišjo zanesljivost naravoslovni zvezki, je primerno glede na to, da je bil pri PISI 2006 poseben poudarek prav na naravoslovni pismenosti. Pravkar opisane rezultate v Tabeli 3 je treba jemati kot mere kakovosti merjenja s posameznimi zvezki takimi, kot so. Ker je dolžina testa praviloma eden bistvenih dejavnikov zanesljivosti, zvezki pa se razlikujejo glede na število postavk, prikazanih vrednosti ne smemo med seboj primerjati v splošnem smislu merske kakovosti nalog po posameznih področjih. Torej, če so naravoslovni zvezki zanesljivejši od bralnih, to še ne pomeni, da so naravoslovne naloge v splošnem boljše od bralnih, saj so naravoslovni zvezki v povprečju skoraj dvakrat daljši od bralnih (gl. Tabelo 2). Za tovrstne primerjave moramo najprej kontrolirati dolžino zvezkov, tako da ocenimo, kolikšna bi bila njihova zanesljivost, če bi bili enako dolgi. To oceno lahko dobimo s pomočjo Spearman-Brownovega obrazca (gl. npr. Nun-nally in Bernstein, 1994: 230-233). Za namen primerjave zvezkov je načeloma vseeno, katero dolžino si izberemo kot standard. Najmanj arbitrarna izbira je povprečna zanesljivost ene same postavke, vendar ta ne ustreza realnosti, v kateri so testi praviloma sestavljeni iz večjega števila postavk. Zato smo si izbrali dolžino 20 postavk, ki je sicer povsem arbitrarna, vendar je po našem mnenju blizu tipični dolžini krajših psihometričnih (in edukometričnih) preizkusov. Pri interpretaciji rezultatov ne smemo pozabiti, da gre za hipotetične vrednosti, ki temeljijo na predpostavki, da bi test podaljšali z enakovrednimi postavkami oz. da bi ga skrajšali tako, da bi izločili naključni vzorec postavk (in ne npr. najboljših ali najslabših). Ocene zanesljivosti za hipotetično situacijo, v kateri bi bili vsi zvezki sestavljeni iz po 20 postavk, prikazuje desni del Tabele 3. Razlike med vrednostmi prek zvezkov so precej majhne. Majhne so tudi srednje razlike prek področij, zlasti če vzamemo kot standard primerjave popravljeno najvišjo spodnjo mejo zanesljivosti. Vseeno lahko rečemo, da so naloge v bralnih zvezkih v povprečju najzanesljivejše, naloge v naravoslovnih zvezkih pa najmanj (zaradi nekaterih izstopajočih vrednosti je bolj smiselno primerjati mediane kot aritmetične sredine). Naravoslovni zvezek 20 ima še vedno daleč najnižjo vrednost, kar kaže, da problem tega zvezka ni samo razmeroma kratka dolžina (12 postavk). Tabela 3: Mere zanesljivosti zvezkov Dejanske vrednosti 20 postavk* Zvezek NSMZ NSMZ NSMZ Branje 2, 7, 12 0,83 0,83 0,77 0,78 0,87 0,82 0,84 6 0,93 0,93 0,88 0,89 0,90 0,84 0,85 9, 11, 13 0,86 0,85 0,82 0,83 0,89 0,86 0,87 20 0,76 0,75 0,68 0,69 0,89 0,86 0,86 M 0,85 0,84 0,78 0,80 0,89 0,85 0,86 Me 0,84 0,84 0,79 0,80 0,89 0,85 0,86 Min 0,76 0,75 0,68 0,69 0,87 0,82 0,84 Max 0,93 0,93 0,88 0,89 0,90 0,86 0,87 Matematika 2 0,81 0,80 0,72 0,74 0,87 0,81 0,82 3 0,92 0,90 0,86 0,86 0,89 0,83 0,84 4 0,95 0,94 0,90 0,91 0,93 0,88 0,89 7 0,91 0,90 0,86 0,87 0,89 0,84 0,84 8 0,90 0,88 0,83 0,84 0,86 0,80 0,81 9 0,82 0,79 0,74 0,76 0,86 0,83 0,84 10 0,90 0,88 0,83 0,84 0,86 0,81 0,81 11 0,81 0,79 0,74 0,75 0,86 0,83 0,83 12 0,79 0,77 0,71 0,73 0,85 0,80 0,82 13 0,92 0,90 0,86 0,87 0,88 0,84 0,84 M 0,87 0,86 0,81 0,82 0,87 0,83 0,84 Me 0,90 0,88 0,83 0,84 0,87 0,83 0,84 Min 0,79 0,77 0,71 0,73 0,85 0,80 0,81 Max 0,95 0,94 0,90 0,91 0,93 0,88 0,89 Naravoslovje 1 0,97 0,96 0,93 0,93 0,89 0,82 0,82 2 0,91 0,90 0,85 0,86 0,87 0,81 0,82 3 0,91 0,89 0,85 0,86 0,84 0,79 0,80 4 0,95 0,94 0,90 0,91 0,91 0,84 0,86 5 0,97 0,97 0,93 0,93 0,90 0,82 0,83 6 0,94 0,93 0,88 0,88 0,89 0,82 0,82 7 0,80 0,78 0,73 0,74 0,83 0,78 0,79 8 0,93 0,92 0,88 0,88 0,89 0,84 0,85 9 0,92 0,90 0,86 0,86 0,87 0,81 0,82 10 0,92 0,91 0,86 0,87 0,88 0,81 0,82 11 0,93 0,92 0,88 0,89 0,89 0,84 0,85 12 0,92 0,91 0,87 0,87 0,87 0,81 0,82 13 0,84 0,82 0,78 0,79 0,86 0,83 0,83 20 0,56 0,50 0,37 0,40 0,63 0,49 0,53 M 0,89 0,88 0,83 0,83 0,86 0,79 0,80 Me 0,92 0,91 0,87 0,87 0,87 0,82 0,82 Min 0,56 0,50 0,37 0,40 0,63 0,49 0,53 Max 0,97 0,97 0,93 0,93 0,91 0,84 0,86 Opomba: * Ocene zanesljivosti za hipotetično dolžino testa 20postavk Analiza postavk Kot smo že omenili v uvodu, smo se pri analizi postavk v okviru klasične testne teorije osredotočili na oceno kakovosti posameznih postavk v smislu - korelacije s skupnim dosežkom in - prispevka postavke k natančnejšemu merjenju. Rezultate bomo prikazali za vsako od treh področij posebej. Tabele z vrednostmi za posamezne postavke so zaradi dolžine navedene v prilogi. Prvi stolpec tabele A v prilogi prikazuje število zvezkov bralnih preizkusov, pri katerih vključitev posamezne postavke zniža najvišjo spodnjo mejo zanesljivosti, v drugem stolpcu pa je navedeno število zvezkov, v katerih se postavka pojavlja. Pri bralnih preizkusih je stanje zadovoljivo, saj imamo le eno postavko, katere vključitev zniža zanesljivost (postavka B123). Naslednji trije stolpci se nanašajo na koeficiente diskriminativnosti: prikazane so povprečne oz medianske (prek zvezkov) vrednosti koeficientov ter povprečni absolutni odkloni koeficientov prek zvezkov. Zaželeno je seveda, da so povprečne vrednosti čim višje, razlike prek zvezkov pa čim manjše, saj velike razlike pomenijo bodisi neenakovrednost vzorcev oseb, ki so reševale različne zvezke, bodisi neenakovrednost konstruktov, ki jih merijo posamezni zvezki (enega in drugega ne moremo povsem ločiti, ker je posamezni preizkušanec rešil le del vseh postavk). Zaradi morebitnih aberantnih vrednosti so vrednosti povzete tako z aritmetičnimi sredinami kot z medianami. Čeprav ni mogoče postaviti trdnih kriterijev glede tega, kdaj je vrednost koeficienta diskriminativno-sti še sprejemljiva, se razpon med 0,2 in 0,3 običajno jemlje kot mejno sprejemljiv (prim. Bucik, 1997: 165). Vidimo lahko, da sta med 28 bralnimi postavkami dve taki, ki imata srednjo diskriminativnost nižjo od 0,3. Problematična je zlasti B12, ki smo jo že omenili kot vprašljivo, katere diskriminativnost je neustrezna tudi po najblažjih merilih. To postavko bi bilo torej smiselno izločiti oz. jo podrobneje proučiti. Nalogi, ki imata razmeroma veliko variabilnost diskriminativnosti prek zvezkov, sta npr. B4 in B18. Za obe velja, da sta bili v 20. zvezku bistveno manj diskriminativni kot v drugih zvezkih. Zadnja dva stolpca prikazujeta povprečne in medianske koeficiente korelacije postavk s prvo glavno komponento, dobljeno pri analizi glavnih komponent posameznega zvezka. Te vrednosti so v splošnem nekoliko višje od koeficientov diskriminativnosti, ker iz glavnih komponent ne moremo izločiti posamezne postavke, sicer pa je vzorec korelacij zelo po- doben vzorcu koeficientov diskriminativnosti (koeficienti korelacije med vrednostmi ene in druge mere prek postavk pri posameznih zvezkih so bili vsi višji od 0,99). Zato so tudi zaključki podobni: tudi tu se kot relativno slabši postavki izkažeta B9 in predvsem B12. Nekoliko odstopajo tudi postavke B5, B13 in B14 - pri njih korelacije sicer niso nizke v absolutnem smislu, vendar so opazno nižje od preostalih postavk. Tabela B v prilogi prikazuje mere kakovosti matematičnih postavk. Postavke, katerih vključitev zniža zanesljivost več kot enega zvezka, so M21, M27 in M48. Povprečna raven koeficientov diskriminativnosti - okoli 0,40 - je sicer malenkostno nižja kot pri bralnih nalogah, vendar je še vedno dobra. Problematični sta postavki M9 in M22, ki imata zelo nizko diskriminativnost v vseh zvezkih, v katere sta vključeni. Postavka M27, ki smo jo omenjali pri obravnavi prejšnjih tabel, se ne zdi problematična, čeprav njena diskriminativnost v povprečju ni zelo visoka. Pri postavki 21 sta dva koeficienta razmeroma visoka, dva pa dokaj nizka, kar narekuje podrobnejši vsebinski pregled te postavke. Razlike med koeficienti diskriminativnosti, ki smo jih izračunali za isto postavko znotraj različnih zvezkov, se tu bolj razlikujejo med seboj: povprečni absolutni odklon je približno dvakrat tolikšen kot pri bralnih postavkah. Najbolj v tem pogledu izstopata postavki M29 in zlasti M40. Pregled koeficientov (posamezni koeficienti v tem prispevku sicer niso navedeni) pokaže, da imata ti dve postavki zelo visoko diskriminativnost v enem samem zvezku, v preostalih pa razmeroma nizko; M40 v dveh zvezkih celo pod 0,20. Tudi ti dve postavki bi torej zahtevali podrobnejši pregled. Glede na koeficiente korelacije s prvo glavno komponento izrazito izstopata postavki M40 in M29, medtem ko so razlike med koeficienti preostalih postavk majhne, same korelacije pa ustrezno visoke. Tabela C v prilogi prikazuje mere kakovosti naravoslovnih postavk. Postavk, katerih vključitev zniža oceno zanesljivosti, je tu še nekaj več kot pri drugih dveh področjih. Postavke N8, N42 in N102 znižujejo vrednost NSMZ pri vsaj dveh zvezkih. Celotno število primerov, ko posamezna postavka znižuje zanesljivost zvezka, je 17. Povprečna diskriminativnost naravoslovnih postavk je ustrezno visoka, vendar nižja kot pri matematičnih in bralnih nalogah. Vseeno je koeficient diskriminativnosti le pri treh postavkah nižji od 0,20: to so N8, N78 in N96. Še dvajset postavk pa ima mejno diskriminativnost (med 0,2 in 0,3). Pri nadaljnjem razvijanju naravoslovnih nalog bi bilo treba zato te temeljito prečistiti, najprej seveda z natančnim vsebinskim pregledom nalog z nizko diskriminativnostjo. Pri tem je treba poudariti, da je tudi med naravoslovnimi nalogami veliko zelo kakovostnih; štiri naloge imajo diskriminativnost celo višjo od 0,6. Glede na to, da smo pri zvezku 20 ugotovili zelo nizko zanesljivost in šibko moč prvega faktorja, si je smiselno natančneje ogledati naloge, ki sestavljajo ta zvezek. Pregled posameznih nalog sicer kaže, da te postavke v splošnem nimajo tako nizkih diskriminativnosti, kot bi jih pričakovali; njihove diskriminativnosti so praviloma daleč najnižje prav v 20. zvezku. Zdi se torej, da problem tega zvezka ni v nalogah, ampak da so na slabo zanesljivost in dimenzionalnost vplivali drugi razlogi, povezani bodisi z vzorcem preizkušancev bodisi s samim merskim procesom (npr. z motečimi kontekstualnimi dejavniki). Naravoslovne postavke, ki so najbolj problematične glede na rezultate komponentne analize so iste kot glede na koeficient diskriminativnosti, torej N8, N78 in N96, nizke vrednosti pa smo dobili še pri N42, N85 in N89. Korelacije med koeficienti diskriminativnosti in nasičenostmi s prvo glavno komponento prek postavk po posameznih zvezkih so bile 0,997 ali višje (z izjemo 20. zvezka, kjer je bila korelacija 0,967). Visoka povezanost med enimi in drugimi vrednostmi kaže na to, da je običajni testni dosežek dober približek optimalno obteženega testnega dosežka. Raschevo lestvičenje Tabela 4 prikazuje število postavk, pri katerih vrednosti mer prileganja padejo zunaj intervala 0,7-1,3. Vidimo lahko, da je število takih postavk majhno, še zlasti če upoštevamo informativnost postavk - glede na mero INFIT le postavki B12 in M27 presegata izbrani kriterij. Na obe postavki smo že opozorili, saj sta imeli nizko diskriminativnost. Majhno število neustreznih postavk je sicer pričakovano, saj je Raschevo lestvičenje uporabljeno tudi v procesu sestavljanja banke nalog za preizkuse PISA. Zanimivo je tudi, da glede na prileganje Raschevemu modelu naravoslovne postavke niso manj kakovostne od bralnih in matematičnih. Tabela 4: Število postavk z neustreznim prileganjem INFIT OUTFIT Št. nalog < 0,7 > 1,3 < 0,7 > 1,3 Branje 28 0 1 13 Matematika 48 0 1 6 6 Naravoslovje 103 0 0 6 5 Slabo prileganje modelu lahko povzročijo različni vzroki. Eden med njimi, ki ga lahko preprosto preverimo, so razlike v diskriminativnosti postavk. V našem primeru se je izkazalo, da so mere prileganja dejansko razmeroma visoko povezane s klasično diskriminativnostjo: koeficient korelacije med mero INFIT in povprečno korelacijo s prvo glavno komponento je bila npr. -0,77 pri bralnih in matematičnih postavkah ter -0,85 pri naravoslovnih postavkah. Razlike v stopnji prileganja modelu so torej v veliki meri posledica razlik v povezanosti odgovora na postavk s testnim dosežkom. Slike 2, 3 in 4 prikazujejo porazdelitev oseb in postavk glede na latentno pismenost, ocenjeno z Raschevim lestvičenjem. Na levi strani je prikazana porazdelitev oseb, na desni strani pa so umeščene posamezne postavke. Načeloma je zaželeno, da sta porazdelitvi podobni, torej da ima npr. največ postavk težavnost na območju lestvice, kjer se nahaja razmeroma veliko oseb. Ena enota lestvice pomeni en standardni odklon, vrednost 0 pa pomeni povprečje oseb. V primeru bralne pismenosti vidimo, da je porazdelitev težavnosti postavk nekoliko zamaknjena navzdol. Boljšo ustreznost celote postavk bi torej dosegli, če bi bila glavnina postavk nekoliko težja (za približno polovico enote). Pri matematičnih nalogah je ravno obratno: naloge so glede na porazdelitev dosežkov oseb relativno težje, za spodnji del porazdelitve oseb pa nimamo nalog z optimalno težavnostjo. Pri naravoslovnih nalogah lahko vidimo, da je - podobno kot pri bralnih nalogah - nekoliko slabše pokrit zgornji del porazdelitve oseb, torej da manjka nekaj težjih nalog. V splošnem pa lahko rečemo, da težavnost nalog dobro ustreza porazdelitvi dosežkov dijakov. Slika 2: Porazdelitev oseb in postavk glede na bralno pismenost 3 # + -1 -2 -3 .#### .############ .############ ####### .######### .#### .#### .#### ## ## R102Q05 R104Q05 R102Q04A R111Q02B R220Q01 R055Q02 R104Q02 R111Q06B R219Q01E R067Q04 R067Q05 R220Q02B R220Q04 R227Q03 R220Q06 R055Q03 R227Q06 R227Q01 R227Q02T R111Q01 R219Q01T R055Q05 R220Q05 R219Q02 R102Q07 R104Q01 R055Q01 R067Q01 2 0 ## áí + Slika 3: Porazdelitev oseb in postavk glede na matematično pismenost -1 ###### .############ .######## .######### .######## .######### .############ .########### .######### -3 M446Q02 M421Q02T M406Q02 M155Q03T M810Q03T M302Q03 M462Q01T M803Q01T M464Q01T M421Q03 M828Q01 M828Q03 M833Q01T M406Q01 M408Q01T M442Q02 M710Q01 M603Q02T M034Q01T M192Q01T M496Q01T M571Q01 M411Q01 M411Q02 M420Q01 TM564Q01 M564Q02 M603Q01T M828Q02 M155Q02T M273Q01T M598Q01 M155Q04T M305Q01 M421Q01 M446Q01 M496Q02 M559Q01 M155Q01 M810Q01T M447Q01 M810Q02T M033Q01 M474Q01 M302Q02 M423Q01 M800Q01 M302Q01T # + 3 0 + Slika 4: Porazdelitev oseb in postavk glede na naravoslovno pismenost -1 -2 .#### .#### .######### ############ .######### .############ .########## .########## .########## .########### .######### | S527Q01T l S519Q03 l l | S114Q05T S458Q01 | S131Q04T + S326Q04T l S269Q03T S408Q03 S447Q05 l S438Q03T S519Q01 S524Q07 | S114Q04T S269Q04T S413Q04T S478Q01 S495Q03 S498Q03 | S114Q03T S268Q02T S408Q05 S425Q04 S437Q03 S447Q04 | S326Q01 S416Q01 S485Q05 | S131Q02T S413Q06 S428Q05 S510Q04T S521Q02 + S304Q01 S304Q03A S326Q03 S465Q04 S495Q04T | S213Q01T S425Q03 S458Q02T S495Q01T S498Q02T S514Q03 | S326Q02 S408Q04T S437Q04 S493Q01T S510Q01T S527Q04T | S304Q03B S421Q03 S426Q07T S447Q03 S465Q01 S478Q02T S498Q04 S514Q04 S524Q06T S415Q08T S421Q01 S465Q02 S476Q01 S425Q02 S493Q05T S477Q04 S447Q02 S495Q02T | S304Q02 S425Q05 | S268Q06 S269Q01 S466Q05 S476Q02 + S268Q01 S428Q01 | S466Q07T S477Q02 | S415Q02 S415Q07T S438Q02 S519Q02T S527Q03T S408Q01 S413Q05 S478Q03T S508Q02T S476Q03 S485Q02 -3 S485Q03 | S437Q06 | S426Q03 | S428Q03 | S213Q02 + S256Q01 | S493Q03T | .# | S514Q02 | | | + | S521Q06 | | S477Q03 S466Q01T S437Q01 S508Q03 S426Q05 S438Q01T 3 + 2 + 1 0 + Slika 5 prikazuje informacijske krivulje vseh treh preizkusov. Informacijske funkcije se nanašajo na vse postavke skupaj, kar pomeni, da predstavljajo natančnost merjenja s celoto vseh postavk. Krivulja, ki ustreza naravoslovni pismenosti, je torej bistveno višja od preostalih dveh zaradi velikega števila naravoslovnih postavk in ne zaradi njihove višje kakovosti. Vrednost 0 tudi tu pomeni povprečja oseb. Vrh krivulje predstavlja raven pismenosti, za katero je preizkus optimalno informativen oz. pri kateri merimo z najmanjšo napako. V vseh treh primerih je ta zelo blizu povprečja, pri čemer je krivulja za matematične naloge zamaknjena nekoliko v desno v primerjavi z drugima dvema preizkusoma, torej je matematični preizkus najprimernejši za nekoliko nadpovprečne dijake (pribl. pol standardnega odklona nad povprečjem), preostala dva pa za dijaka z malenkostno podpovprečnimi dosežki. Te razlike med krivuljami so pričakovane glede na porazdelitev težavnosti postavk, prikazano na Slikah 2-4. Zlasti naravoslovna krivulja se dlje od povprečja hitro spusti, kar pomeni, da so ocene dosežkov dijakov, ki se nahajajo npr. dva standardna odklona pod povprečjem ali nad njim, bistveno manj natančne od ocen povprečnih dijakov. Glede na osnovni namen raziskave PISA, torej določanje povprečnih dosežkov, je takšna informacijska krivulja ustrezna. Če pa bi želeli preizkuse uporabljati za določanje medosebnih razlik na širšem razponu pismenosti, bi bila zaželena krivulja z manj izrazitim vrhom, kar bi dosegli z večjim deležem težkih in lahkih nalog. Slika 5: Informacijske funkcije preizkusov •v / \ / \ / t \ \ -bralna / / \ .......matem. / / \ \ ----narav. / \ / v / v / \ / ,.- — \ / \ / \ \ / ___ / - ^^ \ • \ \ '.V s y . v. ' " "—" ' -"^-Tr' ------ -8 -6 -4 -2 0 2 "Pismenost" 6 8 4 Zaključki Rezultati analiz potrjujejo zelo dobro splošno kakovost preizkusov PISA. Naloge so sestavljene tako, da velik delež variance pojasni splošni faktor. Glede na to, da konstrukti bralne /matematične/naravoslovne pismenosti niso izrazito homogeni, ampak se nanašajo na različna vsebinska in strukturna ter taksonomska področja, je bila stopnja enodimenzionalnosti večinoma presenetljivo visoka. Zanesljivost testnih zvezkov je za namene raziskave prav tako odlična, večinoma pa so bili testni dosežki dovolj zanesljivi, da bi jih bilo mogoče uporabiti tudi za določanje medosebnih razlik na ravni posameznika. Nekoliko nepričakovana ugotovitev je bila, da so po klasičnih kriterijih med tremi področji najboljše naloge s področja bralne pismenosti, najmanj dobre pa s področja naravoslovne pismenosti, in to tako z vidika zanesljivosti in dimenzionalnosti testnih zvezkov kot z vidika diskriminativnosti postavk. Ta ugotovitev je nepričakovana, ker je bil v raziskavi PISA 2006 poseben poudarek prav na naravoslovni pismenosti. Zlasti na področju naravoslovne pismenosti je med nalogami precej takih, ki dosegajo le minimalne kriterije diskriminativnosti. Morda so nekoliko slabši rezultati naravoslovnih nalog posledica velikega števila vključenih postavk, medtem ko je bil na preostalih področjih narejen izbor manjšega števila boljših postavk. Struktura težavnosti postavk, kot smo jo določili s pomočjo Rascheve-ga lestvičenja, je bila pri vseh preizkusih ustrezna, pri čemer moramo upoštevati, da je raziskava PISA usmerjena predvsem v določanje povprečne stopnje pismenosti. Za merjenje medosebnih razlik bi bila zaželena nekoliko večja razpršenost težavnosti postavk, ki bi omogočala visoko infor-mativnost preizkusa na širšem razponu merjene pismenosti. Poudariti je treba, da se postavke na vseh področjih precej razlikujejo glede na diskriminativnost - pravzaprav je zastopan celoten razpon diskriminativnosti od komaj sprejemljivih do zelo visokih vrednosti. To sicer ni zelo presenetljiva ugotovitev, je pa relevantna zato, ker točkovanje dosežkov v projektu PISA temelji na Raschevem modelu, ki implicitno predpostavlja enakost diskriminativnosti. Zastavlja se torej vprašanje, ali je uporaba Raschevega modela pri postavkah s tako heterogenimi diskriminativnostmi res upravičena. Ta pomislek podpira tudi ugotovitev, da lahko razlike v stopnji prileganja v veliki meri pojasnimo z razlikami v diskriminativnosti. Opombe [1] Postavko tukaj pojmujemo kot najmanjšo statistično relevantno enoto testa, torej kot najmanjšo samostojno meritev. Z vsebinskega vidika je lahko več postavk del ene naloge, če le odgovori niso funkcionalno odvisni. [2] Za podrobnosti o klasični testni teoriji gl. npr. Nunnally in Bernstein, 1994. [3] Zaradi preglednosti se bomo v besedilu sklicevali na kratke oznake postavk, določene glede na njihov vrstni red v datoteki z rezultati. B12 torej pomeni 12. postavko preizkusov bralne pismenosti. V tabelah A, B in C v prilogi so navedene tudi izvorne oznake postavk. Literatura Bond, T. G. in Fox, C. M. (2007). Applying the Rasch model: Fundamental measurement in the human sciences. Mahwah, NJ: Lawrence Erlbaum. Bucik, V. (1997). Osnove psihološkega testiranja. Ljubljana: FF. Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297-334. de Gruijter, D. N. M. in van der Kamp, L. J. Th. (2008). Statistical test theory for the behavioural sciences. Boca Raton: Chapman&Hall/CRC. Embretson S. E. in Reise, S. P. (2000). Item response theory for psychologists. Mahwah, NJ: Lawrence Erlbaum. Guttman, L. (1945). A basis for analyzing test-retest reliability. Psychometrika, 10, 255-282. Linacre, J. M. (2008). Winsteps 3.65 [Programska oprema]. Chicago: Avtor. MATLAB 5.3 [Programska oprema].(1998). Natick, MA: MathWorks. McDonald, R. P. (1999). Test theory. A unified treatment. Mahwah, NJ: Lawrence Erlbaum. Nunnally, J. C., & Bernstein, I. (1994). Psychometric theory (3rd ed.). New York: McGraw-Hill. Repež, M. (2008). PISA 2006. Naloge iz naravoslovne pismenosti. Ljubljana: Nacionalni center PISA, Pedagoški inštitut. Repež, M., Bačnik, A. in Štraus, M. (2008). PISA 2006. Izhodišča merjenja naravoslovne pismenosti v raziskavi PISA 2006. Ljubljana: Nacionalni center PISA, Pedagoški inštitut. Shapiro, A. (1982). Rank-reducibility of a symmetric matrix and sampling theory of minimum trace factor analysis. Psychometrika, 47, 187-199. Shapiro, A. in Ten Berge, J. M. F. (2000). The asymptotic bias of minimum trace factor analysis, with applications to the greatest lower bound to reliability. Psychometrika, 65, 413-425. Ten Berge, J. M. F., & Kiers, H. A. L. (1991). A numerical approach to the approximate and the exact minimum rank of a covariance matrix. Psychometrika, 56, 309-315. Ten Berge, J. M. F., Snijders, T.A.B., & Zegers, F. E. (1981). Computational aspects of the greatest lower bound to the reliability and constrained minimum trace factor analysis. Psychometrika, 46, 201-213. Ten Berge, J. M. F. in Sočan, G. (2004). The greatest lower bound to the reliability of a test and the hypothesis of unidimensionality. Psychometrika, 69, 613-625. Ten Berge, J. M. F. in Sočan, G. (2007). The set of feasible solutions for reliability and factor analysis. V S.-Y. Lee (ur.), Handbook of latent variable and related models (str. 303-320). Amsterdam: Elsevier. Priloge Tabela A: Mere kakovosti bralnih postavk Postavka f(z) Št. zv. M(r) Me(r) AD(r) M(a) Me(a) B1 R055Q01 0 3 0,42 0,44 0,04 0,55 0,56 B2 R055Q02 0 3 0,41 0,47 0,09 0,50 0,52 B3 R055Q03 0 3 0,50 0,48 0,06 0,63 0,64 B4 R055Q05 0 3 0,51 0,54 0,09 0,63 0,61 B5 R067Q01 0 2 0,32 0,32 0,00 0,40 0,40 B6 R067Q04 0 2 0,48 0,48 0,06 0,56 0,56 B7 R067Q05 0 2 0,55 0,55 0,05 0,63 0,63 B8 R102Q04A 0 2 0,40 0,40 0,06 0,48 0,48 B9 R102Q05 0 2 0,23 0,23 0,02 0,28 0,28 B10 R102Q07 0 2 0,39 0,39 0,03 0,47 0,47 B11 R104Q01 0 2 0,47 0,47 0,00 0,57 0,57 B12 R104Q02 2 2 0,13 0,13 0,00 0,16 0,16 B13 R104Q05 0 2 0,30 0,30 0,01 0,37 0,37 B14 R111Q01 0 2 0,32 0,32 0,04 0,39 0,39 B15 R111Q02B 0 2 0,53 0,53 0,01 0,59 0,59 B16 R111Q06B 0 2 0,55 0,55 0,01 0,62 0,62 B17 R219Q01E 0 3 0,42 0,41 0,04 0,55 0,54 B18 R219Q01T 0 3 0,48 0,51 0,08 0,61 0,63 B19 R219Q02 0 3 0,42 0,45 0,06 0,54 0,52 B20 R220Q01 0 2 0,46 0,46 0,01 0,55 0,55 B21 R220Q02B 0 2 0,45 0,45 0,03 0,54 0,54 B22 R220Q04 0 2 0,44 0,44 0,02 0,52 0,52 B23 R220Q05 0 2 0,46 0,46 0,01 0,56 0,56 B24 R220Q06 0 2 0,38 0,38 0,01 0,47 0,47 B25 R227Q01 0 2 0,38 0,38 0,03 0,46 0,46 B26 R227Q02T 0 2 0,43 0,43 0,04 0,51 0,51 B27 R227Q03 0 2 0,56 0,56 0,02 0,63 0,63 B28 R227Q06 0 2 0,53 0,53 0,03 0,62 0,62 M 0,42 0,43 0,03 0,51 0,51 Me 0,44 0,45 0,03 0,54 0,54 Min 0,13 0,13 0 0,16 0,16 Max 0,56 0,56 0,09 0,63 0,64 Opomba: f(z) = število zvezkov, pri katerih vključitev postavke zniža najvišjo spodnjo mejo zanesljivosti; št. zv. = število zvezkov, v katere je postavka vključena, AD = povprečni absolutni odklon od aritmetične sredine; M(r) = povprečni koeficient diskriminativnosti; Me(r) = medianski koeficient diskriminativnosti; AD(r) = povprečni absolutni odklon koeficientov diskriminativnosti; M(a) = povprečna korelacija s prvo glavno komponento; Me(a) = medianska korelacija s prvo glavno komponento. Oznake veljajo tudi v nadaljevanju. Tabela B: Mere kakovosti matematičnih postavk Postavka f(z) M(r) Me(r) AD(r) M (a) Me(a) M1 M033Q01 0 0,36 0,33 0,09 0,44 0,42 M2 M034Q01T 0 0,5 0,46 0,08 0,59 0,56 M3 M155Q01 0 0,47 0,41 0,11 0,54 0,49 M4 M155Q02T 0 0,55 0,56 0,03 0,64 0,64 M5 M155Q03T 0 0,54 0,53 0,05 0,63 0,62 M6 M155Q04T 0 0,34 0,29 0,1 0,41 0,38 M7 M192Q01T 0 0,44 0,42 0,05 0,54 0,52 M8 M273Q01T 0 0,33 0,33 0,03 0,4 0,4 M9 M302Q01T 0 0,14 0,15 0,03 0,18 0,18 M10 M302Q02 0 0,31 0,3 0,05 0,39 0,39 M11 M302Q03 0 0,51 0,51 0,02 0,61 0,61 M12 M305Q01 1 0,28 0,28 0,05 0,34 0,36 M13 M406Q01 0 0,49 0,5 0,02 0,6 0,6 M14 M406Q02 0 0,52 0,52 0,04 0,62 0,64 M15 M408Q01T 1 0,41 0,44 0,06 0,49 0,51 M16 M411Q01 0 0,54 0,52 0,08 0,63 0,63 M17 M411Q02 0 0,4 0,38 0,1 0,48 0,47 M18 M420Q01T 1 0,38 0,39 0,06 0,45 0,49 M19 M421Q01 0 0,54 0,54 0,05 0,64 0,65 M20 M421Q02T 0 0,32 0,31 0,04 0,4 0,39 M21 M421Q03 2 0,25 0,26 0,07 0,32 0,32 M22 M423Q01 0 0,15 0,17 0,04 0,2 0,23 M23 M442Q02 0 0,57 0,55 0,06 0,66 0,64 M24 M446Q01 0 0,36 0,38 0,07 0,43 0,48 M25 M446Q02 0 0,31 0,31 0,07 0,38 0,41 M26 M447Q01 1 0,34 0,33 0,06 0,41 0,43 M27 M462Q01T 3 0,3 0,29 0,06 0,37 0,37 M28 M464Q01T 0 0,58 0,57 0,08 0,67 0,65 M29 M474Q01 1 0,28 0,21 0,15 0,34 0,28 M30 M496Q01T 0 0,47 0,49 0,04 0,56 0,56 M31 M496Q02 0 0,41 0,44 0,06 0,49 0,53 M32 M559Q01 1 0,31 0,33 0,05 0,37 0,41 M33 M564Q01 0 0,37 0,38 0,01 0,46 0,46 M34 M564Q02 0 0,35 0,34 0,01 0,43 0,42 M35 M571Q01 0 0,49 0,5 0,06 0,59 0,58 M36 M598Q01 0 0,39 0,38 0,03 0,48 0,48 M37 M603Q01T 0 0,39 0,41 0,05 0,47 0,49 M38 M603Q02T 0 0,47 0,46 0,04 0,56 0,58 M39 M710Q01 0 0,42 0,42 0,02 0,52 0,5 M40 M800Q01 0 0,29 0,22 0,14 0,35 0,28 M41 M803Q01T 0 0,52 0,49 0,07 0,62 0,6 M42 M810Q01T 0 0,39 0,39 0,04 0,48 0,49 M43 M810Q02T 0 0,44 0,44 0,04 0,54 0,55 M44 M810Q03T 0 0,55 0,54 0,04 0,65 0,66 M45 M828Q01 0 0,44 0,47 0,06 0,52 0,55 M46 M828Q02 0 0,41 0,37 0,09 0,5 0,48 M47 M828Q03 0 0,45 0,43 0,08 0,54 0,55 M48 M833Q01T 2 0,29 0,29 0,06 0,36 0,35 M 0,4 0,4 0,06 0,48 0,48 Me 0,4 0,4 0,05 0,48 0,49 Min 0,14 0,15 0,01 0,18 0,18 Max 0,58 0,57 0,15 0,67 0,66 Opomba: Vse postavke so vključene v po štiri zvezke. Tabela C: Mere kakovosti naravoslovnih postavk Postavka f(z) Št. zv. M(r) Me(r) AD(r) M(a) Me(a) N1 S114Q03T 0 4 0,52 0,5 0,05 0,58 0,57 N2 S114Q04T 0 4 0,64 0,64 0,01 0,7 0,7 N3 S114Q05T 0 4 0,32 0,34 0,04 0,37 0,38 N4 S131Q02T 0 4 0,57 0,56 0,04 0,62 0,63 N5 S131Q04T 0 4 0,49 0,45 0,08 0,54 0,51 N6 S213Q01T 0 4 0,5 0,51 0,07 0,58 0,59 N7 S213Q02 0 4 0,37 0,35 0,04 0,45 0,47 N8 S256Q01 2 5 0,12 0,1 0,11 0,11 0,11 N9 S268Q01 0 4 0,38 0,39 0,02 0,44 0,43 N10 S268Q02T 0 4 0,59 0,58 0,03 0,65 0,65 N11 S268Q06 0 4 0,39 0,37 0,06 0,46 0,43 N12 S269Q01 0 4 0,52 0,53 0,03 0,59 0,59 N13 S269Q03T 0 4 0,57 0,55 0,03 0,63 0,62 N14 S269Q04T 0 4 0,35 0,34 0,02 0,39 0,4 N15 S304Q01 0 4 0,53 0,54 0,03 0,59 0,6 N16 S304Q02 0 4 0,47 0,46 0,04 0,53 0,51 N17 S304Q03A 0 4 0,51 0,49 0,04 0,57 0,55 N18 S304Q03B 0 4 0,66 0,67 0,03 0,72 0,73 N19 S326Q01 0 4 0,35 0,37 0,04 0,4 0,42 N20 S326Q02 0 4 0,49 0,51 0,03 0,54 0,56 N21 S326Q03 0 4 0,44 0,46 0,05 0,48 0,52 N22 S326Q04T 0 4 0,35 0,36 0,06 0,39 0,4 N23 S408Q01 0 4 0,36 0,37 0,05 0,41 0,43 N24 S408Q03 0 4 0,4 0,41 0,04 0,44 0,45 N25 S408Q04T 0 4 0,25 0,26 0,04 0,28 0,31 N26 S408Q05 0 4 0,4 0,39 0,03 0,44 0,43 N27 S413Q04T 0 4 0,38 0,38 0,11 0,43 0,43 N28 S413Q05 0 4 0,39 0,35 0,1 0,44 0,39 N29 S413Q06 0 4 0,57 0,57 0,04 0,62 0,64 N30 S415Q02 0 4 0,42 0,42 0,04 0,46 0,47 N31 S415Q07T 0 4 0,31 0,29 0,05 0,35 0,33 N32 S415Q08T 0 4 0,47 0,5 0,07 0,52 0,56 N33 S416Q01 0 4 0,43 0,45 0,05 0,51 0,52 N34 S421Q01 0 5 0,41 0,48 0,12 0,52 0,52 N35 S421Q03 0 5 0,43 0,46 0,08 0,56 0,56 N36 S425Q02 0 4 0,37 0,34 0,08 0,45 0,44 N37 S425Q03 0 4 0,39 0,38 0,05 0,47 0,46 N38 S425Q04 0 4 0,46 0,5 0,08 0,54 0,57 N39 S425Q05 1 4 0,25 0,22 0,06 0,3 0,28 N40 S426Q03 0 4 0,36 0,35 0,07 0,41 0,41 N41 S426Q05 0 4 0,4 0,41 0,04 0,46 0,45 N42 S426Q07T 2 4 0,2 0,21 0,04 0,23 0,23 Postavka f(z) Št. zv. M(r) Me(r) AD(r) M(a) Me(a) N43 S428Q01 0 5 0,41 0,45 0,1 0,5 0,5 N44 S428Q03 0 5 0,36 0,36 0,05 0,48 0,46 N45 S428Q05 0 5 0,49 0,55 0,12 0,56 0,61 N46 S437Q01 0 4 0,32 0,35 0,05 0,36 0,39 N47 S437Q03 0 4 0,29 0,29 0,03 0,33 0,33 N48 S437Q04 0 4 0,41 0,42 0,05 0,45 0,47 N49 S437Q06 0 4 0,43 0,47 0,08 0,47 0,51 N50 S438Q01T 1 4 0,25 0,27 0,06 0,28 0,31 N51 S438Q02 0 4 0,32 0,33 0,07 0,36 0,37 N52 S438Q03T 0 4 0,41 0,41 0,03 0,46 0,45 N53 S447Q02 1 4 0,34 0,32 0,06 0,39 0,37 N54 S447Q03 0 4 0,43 0,4 0,06 0,49 0,46 N55 S447Q04 0 4 0,46 0,45 0,06 0,51 0,5 N56 S447Q05 0 4 0,62 0,63 0,02 0,68 0,67 N57 S458Q01 0 4 0,32 0,31 0,03 0,36 0,34 N58 S458Q02T 0 4 0,37 0,37 0,04 0,42 0,43 N59 S465Q01 0 4 0,51 0,51 0,02 0,56 0,56 N60 S465Q02 0 4 0,53 0,5 0,07 0,58 0,54 N61 S465Q04 0 4 0,47 0,46 0,07 0,52 0,5 N62 S466Q01T 0 5 0,26 0,26 0,06 0,34 0,34 N63 S466Q05 0 5 0,33 0,38 0,11 0,4 0,42 N64 S466Q07T 0 5 0,25 0,27 0,05 0,31 0,31 N65 S476Q01 0 5 0,27 0,26 0,07 0,35 0,33 N66 S476Q02 0 5 0,27 0,29 0,09 0,33 0,34 N67 S476Q03 0 5 0,39 0,42 0,08 0,49 0,49 N68 S477Q02 0 4 0,29 0,28 0,04 0,34 0,33 N69 S477Q03 0 4 0,43 0,43 0,04 0,49 0,48 N70 S477Q04 0 4 0,46 0,45 0,03 0,52 0,52 N71 S478Q01 0 4 0,37 0,32 0,09 0,42 0,37 N72 S478Q02T 0 4 0,49 0,47 0,05 0,54 0,53 N73 S478Q03T 0 4 0,37 0,32 0,11 0,41 0,37 N74 S485Q02 0 4 0,43 0,44 0,02 0,49 0,49 N75 S485Q03 0 4 0,37 0,39 0,05 0,42 0,43 N76 S485Q05 0 4 0,46 0,45 0,02 0,52 0,51 N77 S493Q01T 1 4 0,26 0,28 0,05 0,31 0,34 N78 S493Q03T 0 4 0,18 0,18 0,02 0,22 0,2 N79 S493Q05T 0 4 0,46 0,47 0,03 0,54 0,54 N80 S495Q01T 1 4 0,3 0,31 0,02 0,35 0,35 N81 S495Q02T 0 4 0,38 0,37 0,04 0,43 0,42 N82 S495Q03 0 4 0,62 0,62 0,02 0,68 0,68 N83 S495Q04T 0 4 0,38 0,38 0,03 0,43 0,44 N84 S498Q02T 0 4 0,35 0,36 0,03 0,41 0,41 Postavka f(z) Št. zv. M(r) Me(r) AD(r) M(a) Me(a) N85 S498Q03 1 4 0,21 0,21 0,08 0,24 0,23 N86 S498Q04 0 4 0,59 0,58 0,03 0,66 0,65 N87 S508Q02T 1 4 0,27 0,27 0,02 0,31 0,32 N88 S508Q03 0 4 0,42 0,41 0,03 0,48 0,47 N89 S510Q01T 1 4 0,22 0,22 0,06 0,25 0,26 N90 S510Q04T 0 4 0,42 0,42 0,06 0,46 0,46 N91 S514Q02 0 4 0,28 0,26 0,08 0,33 0,32 N92 S514Q03 0 4 0,5 0,49 0,05 0,59 0,59 N93 S514Q04 0 4 0,55 0,57 0,06 0,63 0,64 N94 S519Q01 0 4 0,48 0,48 0,04 0,54 0,54 N95 S519Q02T 0 4 0,29 0,29 0,04 0,33 0,33 N96 S519Q03 1 4 0,18 0,19 0,05 0,21 0,21 N97 S521Q02 1 4 0,3 0,3 0,04 0,34 0,33 N98 S521Q06 0 4 0,23 0,24 0,03 0,27 0,28 N99 S524Q06T 0 4 0,37 0,37 0,02 0,42 0,42 N100 S524Q07 0 4 0,51 0,52 0,04 0,57 0,59 N101 S527Q01T 0 4 0,3 0,29 0,02 0,35 0,34 N102 S527Q03T 2 4 0,26 0,25 0,04 0,3 0,3 N103 S527Q04T 1 4 0,29 0,3 0,03 0,33 0,35 M 0,39 0,4 0,05 0,45 0,45 Me 0,39 0,39 0,04 0,45 0,45 Min 0,12 0,1 0,01 0,11 0,11 Max 0,66 0,67 0,12 0,72 0,73 VARIANCA DOSEŽKOV SLOVENSKIH UČENCEV MED ŠOLAMI IN ZNOTRAJ ŠOL NA LESTVICAH DOSEŽKOV IZ MATEMATIKE, BRANJA IN NARAVOSLOVJA RAZISKAVE PISA 2006 Gašper Cankar Državni izpitni center, Ljubljana Uvod Programa mednarodne primerjave dosežkov učencev PISA (Programme for International Student Assessment) ni treba posebej predstavljati. V letu 2006 je bila PISA izvedena tretjič; tokrat v obsegu 57 držav in prek 400.000 učencev (OECD, 2007a; Štraus, Repež in Štigl, 2007). Prvič je v raziskavi sodelovala tudi Slovenija in tako skušala v primerjavi svojih rezultatov s preostalimi državami ugotoviti, ali so slovenski učenci in učenke pripravljeni na izzive prihodnosti. PISA vsake tri leta zbira podatke o bralni, matematični in naravoslovni pismenosti 15-letnikov v formalnem izobraževanju neodvisno od stopnje ali vrste izobraževanja. V vsakem ciklu raziskave je večji poudarek namenjen eni od treh pismenosti (npr. leta 2006 naravoslovni, leta 2009 bralni) drugi dve pa sta izmerjeni v manjšem obsegu, kar še vedno zadošča za spremljavo in ugotavljanje trendov. Več kot leto po izvedeni raziskavi so običajno na voljo tudi prve ugotovitve in primerjave, ki sprožijo zanimanje raziskovalcev in širše javnosti bodisi v nacionalnih poročilih bodisi v skupnem mednarodnem poročilu (OECD, 2007b; OECD, 2007c). Ker so podatki po končani raziskavi na voljo vsem raziskovalcem, ki jih želijo, in ker želi OECD kar najbolj veljavno primerjavo dosežkov, je veliko truda v raziskavi vloženega v skrb za primerljivost končnih podatkov. Od sestave nalog, testnih zvezkov in spremljajočih vprašalnikov do prevodov gradiva, vzorčenja učencev, nadzorovanja izvedbe, kodiranja in vnosa rezultatov, obteževanja in umerjanja podatkov ter čiščenja končne baze - v vseh postopkih je zajeta tudi skrb za izpeljavo, ki bo omogočala veljavne in zanesljive primerjave med rezultati različnih držav. ŠOLSKO POLJE « LETNIK XX (2009) « ŠTEVILKA 1/2 « str. 41-53 V nadaljevanju se bomo osredotočili na delež variance dosežkov slovenskih učencev med šolami in znotraj šol na lestvici dosežkov iz naravoslovja PISA 2006. Gre za kazalec, ki mu OECD v analizah rezultatov posveča veliko pozornost, saj naj bi bil pomemben kazalec uspešnosti šolske politike posamezne države pri zagotavljanju visoke kakovosti in enakih možnosti šolskega sistema. Cilj uspešne šolske politike je na eni strani zagotavljanje visoke ravni dosežkov vseh učencev ob omejevanju vpliva socialno-ekonomskega konteksta na dosežke na drugi strani, saj slednje lahko pomeni nezmožnost šolskega sistema omogočiti vsem učencem razvoj vseh njihovih kognitivnih potencialov (OECD, 2007a). V vsaki državi je razpon dosežkov udeleženih učencev v raziskavi velik, vprašanje pa je, v kolikšni meri so te razlike povezane s šolo, ki jo obiskuje posamezen učenec (Slika 1). Kadar je dosežek učenca v večji meri odvisen od tega, na kateri šoli je, potem (ob predpostavki, da šole ob vpisu dobijo primerljive skupine učencev) obstajajo med šolami razlike, ki učencem s sicer enakimi zmožnostmi onemogočajo enak razvoj vseh svojih potencialov. To je znamenje neenakih standardov znanja po šolah in ogledalo neenakosti šolskega sistema. Pogosto so velike razlike med šolami povezane tudi z razlikami v socialno-ekonomskem statusu učencev posamezne šole, kar poleg neenakih šolskih standardov znanja po posameznih šolah kaže še na družbeno razslojenost, kjer so določene šole na voljo večinoma le učencem iz družin z višjim socialno-ekonomskim statusom. Slika 1: Shematska primerjava države z večjimi razlikami med šolami (država A) in države z manjšimi razlikami med šolami (država B). DOSEŽKI DOSEŽKI Za vpogled v (ne)enakost izobraževalnih pogojev se v raziskavi PISA izračuna kazalec enakih možnosti v šolskih sistemih, izračunan kot delež variance dosežkov učencev, ki ga lahko pojasnimo z razlikami med šolami, in preostali de- lež, ki se predstavlja kot varianca znotraj šol. Države z izrazito nizkim deležem variance med šolami veljajo za tiste, ki s svojim šolskim sistemom omogočajo enakomeren razvoj vsem svojim učencem oziroma jim nudijo enake možnosti za razvoj svojih potencialov. Za boljšo primerjavo med državami so posamezni deleži po državah izraženi kot odstotek glede na povprečno varianco dosežkov učencev v državah OECD. Na ta način je mogoče tudi primerjati, v katerih državah je varianca dosežkov učencev večja in v katerih manjša. Zmanjševanje razlik v dosežkih med šolami v posamezni državi tako kaže na večjo enakost možnosti za izobraževanje, vendar ne zadostuje povsem. Slika 2 nazorno kaže, da zmanjševanje razlik med šolami sicer nakazuje večjo enakost v šolskem sistemu, vendar je obenem pomemben tudi siceršnji povprečni dosežek učencev posamezne države. Poenostavljeno povedano, če je pouk na vseh šolah (enako) slab (primer države B na Sliki 2), potem med šolami sicer ni večjih razlik, vendar to ni šolski sistem, ki bi spodbujal kakovost in odličnost. Cilj so torej čim manjše razlike v dosežkih šol ob hkratnem visokem skupnem dosežku države - učenci dosegajo visoke dosežke, in to ne glede na dejstvo, katero šolo obiskujejo (država C na Sliki 2). Konkreten primer države v raziskavi PISA 2006 je Finska, ki ima najvišji dosežek na lestvici naravoslovnih dosežkov izmed vseh držav v raziskavi (dosežek 563 točk, povprečje držav OECD je 500 točk), obenem pa ima najnižji delež variance dosežkov, ki predstavlja razlike med šolami (5,8 X,1 povprečje držav OECD je 33 %). Majhna raznolikost dosežkov šol ob hkratnem visokem dosežku vseh učencev v državi bi tako lahko postavili za »zlati« standard kakovostnega šolskega sistema. Slika 2: Primerjava držav z različnim povprečnim dosežkom in homogenosti dosežkov šol DOSEŽKI Opis slovenskega vzorca Podobno kot v vseh državah, vključenih v raziskavo PISA 2006, so bili tudi v Sloveniji v raziskavo vključeni učenci, ki so bili rojeni v koledarskem letu 1990 in so bili pri starosti 15 let še vedno vključeni v redno formalno izobraževanje. Ker pa so pri starosti 15 let slovenski učenci večinoma že v srednjih šolah, je bil slovenski vzorec načrtovan tako, da so bile izbrane skupine učencev reprezentativni vzorci za vse učence v Sloveniji, ki obiskujejo izobraževalne programe splošne gimnazije, strokovne gimnazije, srednji tehniški in strokovni program, srednji poklicni program in nižji poklicni program. Omenjen postopek vzorčenja omogoča primerjave med različnimi izobraževalnimi programi in sklepanje na populacijske vrednosti posameznih statistik. Obenem zaradi ločenega vzorčenja šol v posameznih izobraževalnih programih prihaja do večje raznolikosti šol, kakor če vzorčenje ne bi bilo stratificirano po izobraževalnem programu. Izračun variance dosežkov med šolami in znotraj šol PISA 2006 Executive summary (OECD, 2007a) navaja skupno varianco med šolami in znotraj šol za posamezne države ter deleže obeh varianc, ki jih pojasnjuje indeks socialno-ekonomskega statusa učencev in šol, sestavljen iz posameznih spremenljivk v raziskavi PISA 2006. Izražena v deležu povprečne variance dosežkov učencev iz držav OECD znaša skupna varianca med šolami za Slovenijo 64,8 %, skupna varianca znotraj šol pa 42,8 % (Slika 3). Za mednarodno primerjavo je tak način izražanja deležev najprimernejši, saj upošteva tudi večjo ali manjšo izhodiščno varianco dosežkov učencev v posamezni državi. Če je npr. vsota obeh deležev manjša kot 100, potem je varianca dosežkov učencev v konkretni državi manjša od povprečne variance dosežkov učencev držav OECD. Če primerjamo le delež variance dosežkov med šolami in znotraj šol v posamezni državi, pa je laže, če je vsota obeh deležev 100. Če preračunamo oba deleža variance dosežkov slovenskih učencev, dobimo pri naravoslovju 60,2 % in 39,8 %. Ne glede na način preračunavanja pa je Slovenija s takim rezultatom tretja država po vrsti od skupno 57 držav po velikosti razlik dosežkov med šolami. Slika 3: Države z največjim deležem variance med šolami in tiste z največjim deležem variance znotraj šol (Vir: OECD, 2007a) Iz mednarodne baze podatkov PISA 2006 smo izbrali želene podatke za Slovenijo ter za analize uporabili računalniško okolje in programski jezik R (R Development Core Team, 2007). Funkcija za modeliranje podatkov (lmer) izvira iz knjižnice lme4 avtorja Douglasa Batesa. Podrobnejša navodila za gradnjo ustreznih modelov za analizo hierarhično urejenih podatkov v okolju R najdemo v priročnikih ustreznih avtorjev (Pinheiro in Bates, 2004; Venables in Ripley, 2002). V vseh primerih so bili uporabljeni osnovni modeli (angl. unrestricted model), pri čemer so bili za izračun deležev variance dosežkov v raziskavi PISA uporabljeni večnivojski linearni modeli za multivariatne podatke (Raudenbusch in Bryk, 2003), pri analizi dosežkov nacionalnega preverjanja znanja pa osnovni večnivojski linearni modeli, vsakokrat z ustreznim obteževanjem učencev. Uporabljena je bila metoda največjega verjetja (angl. full maximum likelihood), saj je bila enaka metoda uporabljena tudi pri računanju ustreznih parametrov v mednarodnem poročilu (PISA 2006: Science competencies for Tomorrow's Wor- ld, Vol. 1, 2007). Osnovni izračuni deležev v okolju R so bili preverjeni z rezultati, dobljenimi s komercialnim programskim orodjem HLM 6.02. Pri poskusu replikacije skupne variance med šolami in znotraj šol smo dobili rezultate (Preglednica 1), ki sovpadajo s tistimi v mednarodnem poročilu. Razmerje deležev variance dosežkov med šolami in znotraj šol je pri naravoslovju sicer nekoliko drugačno kakor v mednarodnem poročilu, in ker tehnično poročilo za raziskavo PISA 2006 še ni objavljeno, ni bilo mogoče preveriti, kje v analizi je prišlo do razlik. Vsekakor pa razlike niso tako velike, da bi popolnoma spremenila ugotovitve analiz. Preglednica 1: Izračun variance v dosežkih učencev na lestvici skupnih dosežkov pri naravoslovju, bralni in matematični pismenosti v raziskavi PISA 2006 na ravni šol Odvisna spremenljivka Št. učencev Št. šol Delež variance med šolami Delež variance znotraj šol Dosežek pri naravoslovju 6.595 361 66,74 % 33,26 % Dosežek pri branju 6.595 361 73,42 % 26,58 % Dosežek pri matematiki 6.595 361 65,57 % 34,43 % Poleg rezultatov za naravoslovne dosežke smo izračunali tudi razmerja varianc za bralno in matematično pismenost, čeprav slednja v mednarodnem poročilu niso navedena. Predvsem pri bralni pismenosti so rezultati zelo ekstremni, saj naj bi skoraj tri četrtine variance dosežkov pojasnjevale razlike med šolami, kar je pokazatelj zelo velikih neenakosti med šolami. Če bi o slovenskem šolskem sistemu sklepali le na podlagi teh podatkov, bi ocenili, da gre za izrazito neenak šolski sistem, ki ponuja učencem zelo neenake možnosti za njihov razvoj, saj so razlike v dosežkih med šolami zelo velike v primerjavi z razlikami v dosežkih znotraj šol. Ker je bil v načrt vzorčenja vključen tudi izobraževalni program kot samostojen stratum, so bile posamezne šole, ki izvajajo več izobraževalnih programov, štete večkrat kot samostojne enote znotraj posameznega izobraževalnega programa. Posledično se je s tem umetno povečala velikost variance razlik med šolami. V naslednjem koraku smo v model vključili tudi vrsto izobraževalnega programa in pogledali, kolikšen delež variance dosežkov učencev pri naravoslovju, branju in matematiki pojasnijo razlike med izobraževalnimi programi, šolami in znotraj njih (Preglednica 2). To ni korekcija, ki bi izni- čila učinek stratificiranega vzorčenja, ampak nam le omogoča primerjave šol znotraj (oziroma prečno prek) izobraževalnih programov. V zadnjih dveh stolpcih smo deleža variance med šolami in znotraj šol izrazili relativno brez tistega dela variance, ki je zajet v razlikah med izobraževalnimi programi. Tako lahko ocenimo delež variance, ki predstavlja razlike med šolami znotraj izobraževalnega programa. Preglednica 2: Izračun variance v dosežkih učencev na lestvici skupnih dosežkov pri naravoslovju, bralni in matematični pismenosti v raziskavi PISA 2006 na ravni izobraževalnih programov in šol Delež variance Delež Delež Odvisna spre- Št. Št. med variance variance menljivka učencev šol izobr. med znotraj progra- šolami šol mi Delež Delež variance variance med znotraj šolami* šol* Dosežek pri 6.595 361 60,26 % 10,75 % 28,99 % naravoslovju 27,06 % 72,94 % Dosežek pri 6.595 361 67,76 % 11,53 % 20,71 % branju 35,76 % 64,24 % DosežekPri 6.595 361 56,80 % 12,04 % 31,16 % matematiki 27,86 % 72,14 % *Deleža sta preračunana, da skupaj predstavljata 100 %. Delež variance, ki ga predstavlja delitev na izobraževalne programe, je velik, saj pojasni več kot pol celotne spremenljivosti v dosežkih pri matematični ali naravoslovni pismenosti in kar dve tretjini spremenljivosti v dosežkih pri bralni pismenosti. Večji del variance dosežkov učencev je tako odvisen od tega, v katerem izobraževalnem programu so učenci, kar lahko na primeru dosežkov naravoslovne pismenosti vidimo tudi na Sliki 4. Slika 4: Dosežki učencevp'^^ na'ravoslovm p^sm^nos-^^, ločeno za posam^-z^e izob'raž^'ual'neprograme Levo so prikazani kvantili, desno pa porazdeli-tve dosežkov. Čr-ta na sredi kvadra-ta oz^iro-ma krog na desni sliki predstavljata med^a'no dosežkov posa^mez'nega izobraževallnega programa. Oznake pomenijo: SPL_G - splošne gimnazije, STR_G - strokovne gi-^'naz^je, STSP - srednji tehniški in strokovni progra^m, SPP - sred'nj'i pokl-ic^-i program iin NPP -nižji poklicni program. (Vir: ^'naliza raziskave PISA 2006 ^'neobjavlje'na], PEI, 2008.) Če pogledamo varianco med šolami in znotraj šol v posameznih izobraževalnih programih v Preglednici 2, lahko vidimo, da je varianca dosežkov med šolami relativno veliko manjša glede na varianco znotraj šol. Prej izrazito visoki deleži variance, ki pripadajo razlikam med šolami, so sedaj veliko manjši. Ker ima vsaka država specifičen šolski sistem, ki je v podrobnostih povsem neprimerljiv z drugimi, ne moremo na podoben način primerjati tudi deležev varianc dosežkov drugih držav in videti, za koliko se spremenijo. Je velik delež variance dosežkov, ki je povezan z izobraževalnimi programi, posledica izbire poklicne poti učencev ali odraz neenakosti šol? Iz podatkov 15-letnikov, ki so v času testiranja PISA večinoma v prvih letnikih srednjih šol in imajo za sabo nekaj več kot pol šolskega leta, ne moremo sklepati o neenakosti srednjih šol v Sloveniji. Njihove razlike v znanju bi težko pripisali razlikam med pogoji, ki jih nudijo srednje šole, saj so v njih preživeli šele sedem do osem mesecev. Tipična interpretacija kazalca o neenakih možnostih za izobraževanje v raziskavi PISA temelji na predpostavki, da so učenci v šolah, na katerih opravljajo raziskavo in ki so uporabljene pri vzorčenju, že dalj časa in je njihov dosežek deloma pogojen tudi z možnostmi, ki jih za njihov razvoj nudi konkretna šola. V primeru slovenskih srednjih šol, kjer se raziskava PISA tipično izvaja, ni tako. Kaj pa neenakost osnovnih šol, v katerih so bili učenci prej? Ali omenjene razlike izhajajo že iz obdobja pred vpisom v srednje šole? V poskusu iskanja odgovora na zgornje vprašanje lahko posežemo po drugi vrsti podatkov, ki so prisotni v slovenskem prostoru - dosežkih učencev pri nacionalnem preverjanju znanja (NPZ). V 9. razredu učenci v vseh osnovnih šolah opravljajo nacionalno preverjanje znanja iz treh predmetov: slovenščine, matematike in tretjega predmeta. Preverjanje je za učence devetega razreda obvezno in tako zajame praktično celotno populacijo devetošolcev, s čimer je zagotovljena reprezentativnost dobljenih rezultatov. Taka primerjava je še posebej zanimiva in aktualna zaradi časovne bližine nacionalnega preverjanja znanja in raziskave PISA, saj med eno in drugo mine manj kot leto dni. V Preglednici 3 lahko vidimo deleže variance dosežkov pri posameznih predmetih, ki pripadajo razlikam med šolami in znotraj šol. V analizo so bili poleg slovenščine in matematike vključeni naravoslovni predmeti, ki so bili v letih 2006 in 2007 pri nacionalnem preverjanju znanja izvedeni kot tretji predmeti. Rezultati dveh let so vključeni za grobo oceno nihanja deležev med leti. Preglednica 3: Izračun deležev variance v dosežkih učencev pri izbranih predmetih nacionalnega preverjanja znanja na ravni šol Predmet Izpitni rok NPZ Število učencev Število šol Delež variance med šolami Delež variance znotraj šol Slovenščina Redni rok 2006 20.689 477 15,90 84,10 Slovenščina Redni rok 2007 19.056 478 15,54 84,46 Matematika Redni rok 2006 20.832 479 13,21 86,79 Matematika Redni rok 2007 19.311 480 13,11 86,89 Biologija Redni rok 2006 20.833 480 10,69 89,31 Fizika Redni rok 2007 4.548 114 13,65 86,35 Kemija Redni rok 2007 4.937 121 20,12 79,88 Vidimo lahko, da so na koncu osnovne šole dosežki učencev znotraj šole tipično bolj pestri kakor razlike med šolami. Delež variance dosežkov učen- cev znotraj šol je bistveno višji od deleža, ki pripada razlikam med šolami. Rezultati, dobljeni na podlagi dosežkov NPZ in vzorcu osnovnih šol opazno odstopajo od rezultatov, dobljenih v raziskavi PISA 2006, ki vključuje večinoma učence prvih letnikov srednjih šol. Kazalnik raziskave PISA 2006 kaže, da več kot 60 % variance dosežkov učencev pravzaprav izvira iz razlik med srednjimi šolami, medtem ko analize podatkov nacionalnega preverjanja znanja kažejo, da razlike med osnovnimi šolami predstavljajo le 10-20 % variance dosežkov učencev. Vsekakor lahko glede na rezultate analize dosežkov nacionalnega preverjanja znanja zaključimo, da so razlike pri dosežkih za vključene predmete konec devetega razreda med osnovnimi šolami v relativnem smislu majhne v primerjavi z razlikami med dosežki učencev znotraj šol. Še vedno so sicer večje od razlik med šolami v državah, ki so se v raziskavi PISA 2006 na omenjenem kazalcu deleža variance dosežkov znotraj šol najbolje odrezale (npr. Finska 5,8 %; Islandija 8,9 %), vendar so bistveno manjše od kazalnika, ki ga za Slovenijo navaja PISA 2006 (60,2 %).2 Odstopanje med analizo dosežkov NPZ in prvotnih rezultatov raziskave PISA 2006 nas spodbuja k iskanju možnih razlag za tako veliko razliko. Če v zadnjem razredu osnovne šole najdemo relativno majhne razlike med šolami in tako zaključimo, da je šolski sistem na ravni osnovne šole v Sloveniji dokaj izenačen v omogočanju enakih možnosti za razvoj posameznikovih potencialov, kako potem razlagamo popolnoma drugačno sliko pri leto starejši generaciji učencev v raziskavi PISA? Ker so učenci ob izvedbi raziskave PISA v srednji šoli šele 7-8 mesecev, je veliko bolj verjetno, da je njihova izbira poklicne poti večji vzrok razlik med šolami kakor znanje, ki so ga učenci dosegli v prvem letniku srednje šole do izvedbe raziskave PISA 2006. Razlike med šolami tako ne odražajo neenakih možnosti za izobraževanje učencev do trenutka raziskave PISA, ampak so odraz odločitev o posameznikovi akademski in poklicni življenjski poti, do katerih pride konec osnovne šole (Slika 5). Slika 5: Shematičen prikaz, pri katerem se učenci iz (po dosežkih) veliko bolj homogenih osnovnih šol vpišejo na srednje šole, med katerimi so po dosežkih učencev veliko večje razlike Zaključek V primeru Slovenije delež variance dosežkov med šolami in znotraj šol, naveden v mednarodnem poročilu PISA 2006 (OECD, 2007a), ne odraža stopnje izenačenih možnosti za izobraževanje in ne omogoča veljavne primerjave z drugimi državami. Rezultat je namreč posledica specifičnosti šolskega sistema, kjer se učenci konec osnovne šole odločajo o svoji nadaljnji izobraževalni in poklicni usmeritvi in se tako slabo leto pred raziskavo PISA razvrstijo na ustrezne srednje šole. Iz razlik med rezultati na ravni osnovnih šol pri nacionalnem preverjanju znanja in rezultati na ravni srednjih šol v raziskavi PISA 2006 (Slika 6) je razvidno, da so razlike med šolami posledica dejstva, da se na posamezne srednje šole vpišejo populacije učencev, ki so po svojih dosežkih veliko bolj homogene kakor v osnovnih šolah in so zato razlike med šolami večje. Razlike med šolami je še povečalo dejstvo, da je bila pri vzorčenju šol v raziskavi PISA 2006 zagotovljena reprezentativnost posameznih izobraževalnih programov. Posledično se stratificiranje vzorca po izobraževalnih programih odraža kot večja variabilnost med šolami v primerjavi z vzorčenjem brez dodanega pogoja o reprezentativnosti izobraževalnih programov. Slika 6: Primerjava med deleži varianc v raziskavi PISA 2006 in NPZ 2006 in 2007 Opozoriti velja, da so te razlike v vzorčenju rezultat zavestnih odločitev v posameznih državah, ki želijo s podatki omogočiti najrazličnejše primerjave - v slovenskem primeru gre za primerjave med različnimi izobraževalnimi programi, ki so v bazi zbranih podatkov opredeljeni kot ločeni stratumi. Omenjene razlike ne vplivajo na reprezentativnost končnega vzorca za vse slovenske učence skupaj, zaradi česar so skupni podatki za Slovenijo popolnoma primerljivi s podatki drugih držav, vplivajo pa omenjene spremembe prav na razmerja varianc, povezana z razlikami med šolami. Kakovost vzorčenja ni vprašljiva, saj so postopki izvedbe raziskave PISA strogi in rigidni in v primeru opaženih odstopanj rezultatov za posamezno državo, v kateri je do odstopanj prišlo, mednarodni center dosežkov posamezne države ne uvrsti v tabele primerjav. Tako npr. v primerjavah iz raziskave PISA 2003 v večini primerov manjkajo podatki za Veliko Britanijo, čeprav je v raziskavi sodelovala (OECD, 2004). O neenakih možnostih za izobraževanje v osnovnih šolah na podlagi analize dosežkov nacionalnega preverjanja znanja ne moremo sklepati, kvečjemu nasprotno, vrednosti so manjše od povprečja držav OECD v raziskavi PISA 2006. Odgovorov o neenakih možnostih za izobraževanje v srednjih šolah iz navedenih podatkov ne moremo dobiti, saj bi jih kazalo iskati ob zaključku šolanja v srednjih šolah, pri čemer bi morali izkazane dosežke korigirati vsaj za znanje, ki so ga učenci izkazovali ob vpisu na posamezno šolo in računati t. i. dodano vrednost znanja. Kazalnik enakih možnosti za izobraževanje, ki se izračuna v raziskavi PISA in kateremu je v mednarodnemu poročilu posvečeno celotno poglavje, v primeru Slovenije ne daje veljavnih rezultatov, saj tipična interpretacija kazalnika ne zdrži zaradi rezultatov, ki jih lahko dobimo na celotni populaciji učencev pri nacionalnem preverjanju znanja. Do neke mere bi bilo mogoče v raziskavi PISA izračunati ustreznejši kazalnik, če bi za vsakega učenca poznali osnovno šolo, na kateri je zaključil osnovnošolsko izobraževanje, in bi uporabili pri računanju kazalnika podatek o teh (osnovnih) šolah. Bi pa seveda tak premik sprožil vprašanje primerljivosti ustreznih deležev varianc za preostale države, saj so prehodi iz ene stopnje izobraževanja v naslednjo med državami zelo različni, kar onemogoča primerjave in otežuje izpeljavo enotnega veljavnega kazalnika. Opombe [1] V mednarodnem poročilu PISA 2006 so navedene vrednosti izražene kot odstotek povprečne variance dosežkov učencev v državah OECD. V tej raziskavi so vrednosti preračunane na 100 % (delež variance znotraj šol + delež variance med šolami = 100, saj nas zanima slika znotraj države in ne mednarodna primerjava). [2] V mednarodnem poročilu PISA 2006 so navedene vrednosti izražene kot odstotek povprečne variance dosežkov učencev v državah OECD. V tej raziskavi so vrednosti preračunane na 100 % (delež variance znotraj šol + delež variance med šolami = 100) Literatura OECD, (2004). PISA 2003: Learning for Tomorrow's World, Paris: OECD. OECD, (2007a). PISA 2006: Science competencies for Tomorrow's World Executive summary, Paris: OECD. OECD, (2007b). PISA 2006: Science competencies for Tomorrow's World, Vol. 1: Analysis, Paris: OECD. OECD, (2007c). PISA 2006: Science competencies for Tomorrow's World, Vol. 2: Data, Paris: OECD. Pinheiro, J.C. in Bates, D.M. (2004). Mixed-Effects Models in S and S-PLUS. New York: Springer. R Development Core Team (2007). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. ISBN 3-900051-07-0, URL http://www.R-project.org. Raudenbusch, S.W. in Bryk, A.S. (2002). Hierarchical Linear Models: Applications and Data Analysis Methods [druga izdaja]. London: Sage. Štraus, M, Repež, M. in Štigl, S. (2007). Nacionalno poročilo PISA 2006: Naravoslovni, bralni in matematični dosežki slovenskih učencev. Ljubljana: Pedagoški inštitut. Venables, W. N. in Ripley, B.D. (2002). Modern Applied Statistics with S [četrta izdaja]. New York: Springer. KAJ NAM POVEDO MEDNARODNE RAZISKAVE IN NACIONALNO PREVERJANJE ZNANJA? Neja Markelj, Matej Majerič Fakulteta za šport, Univerza v Ljubljani Uvodna misel ali predstavitev problema Kakovost izobraževanja je danes zelo aktualna tema. Razvoj tehnologije in tempo življenja sta prinesla globalne spremembe, ki postavljajo vedno večje zahteve tako od posameznika kot vsake institucije, podjetja. Evropske države se preoblikujemo v družbo, temelječo na znanju, da bi zagotovile gospodarsko rast in postale konkurenčne večjim gospodarskim silam (Portal Evropske unije, 2006). Države se temu klicu odzivajo tudi na področju vzgoje in izobraževanja, kjer postavljamo visoke standarde, s pomočjo katerih želimo doseči vrednotenje in prenos znanja čim bolj učinkovito. Zato iščemo učinkovite sisteme zagotavljanja kakovosti izobraževanja in učinkovitost šol s sprejemanjem inovacij ali celo šolskih reform ter se primerjamo med seboj po učnih dosežkih učencev. Ugotavljanje kakovosti dela na vzgojno-izobraževalnem področju je potrebno in pomembno za preverjanje uspešnosti pri uresničevanju zastavljenih ciljev. Zelo ohlapno bi lahko kakovost šolskega sistema opredelili kot uspešnost izpolnjevanja potreb in pričakovanj udeležencev v procesih vzgoje in izobraževanja, pri čemer gre za razmerje med realnimi in pričakovanimi dosežki. Tudi javnost ima pravico do vpogleda v kakovost vseh elementov izobraževalnega sistema (Bela knjiga o izobraževanju, 1996). Ravnatelji so v skladu z 49. členom ZOFVI (Ur. l. RS, št. 16/07 - UPB5 in 36/08) odgovorni za zagotavljanje in ugotavljanje kakovosti s samoevalvacijo, pri čemer morajo pripraviti tudi letno poročilo o samoevalvaciji šole. Koncept kakovosti ni enoznačno sprejet ali razumljen, na kar opozarjajo številni avtorji (npr. Barle, 2007; Brejc in Trunk, 2007). Odvisno je od gle-diščne točke opazovalca (časovne in perspektivne) ter načina vpletenosti v sistem vzgoje in izobraževanja. Na primer, z vidika državnih institucij je kakovost razumljena bolj v smislu učinkovitega prenosa znanja (visoki dosežki ob nizkem financiranju), na drugi strani pa je z vidika učenca in staršev ŠOLSKO POLJE « LETNIK XX (2009) « ŠTEVILKA 1/2 « str. 55-81 razumljena kot uspešno doseganje (preseganje) standardov znanja ali pa uspešna priprava na življenje, spet odvisno od interesa in vrednot posameznika. V večini primerov pa kakovost vzgojno-izobraževalnega sistema obsega doseganje standardov znanja; kateri in na kakšni ravni so, je odvisno od posameznih institucij, nacionalnega sistema in usmeritve stroke. Mednarodne raziskave znanja so »za države članice določenih integracij skorajda obvezne«, pravi Barle (2007: 37), »in so podlaga za oblikovanje politik na določenem področju«. To pomeni, da razumevanje kakovosti šolskih sistemov prihaja »od zunaj«; še posebej pomembno je, kaj in na kakšen način se v testih znanja preverja ter kako se interpretira rezultate (Štraus, 2004). Vsaka faza takšne raziskave je pomembna, tudi in mogoče celo najbolj način objave rezultatov. Najpogostejša predstavitev rezultatov mednarodnih primerjalnih raziskav je lestvica povprečnih dosežkov učencev iz sodelujočih držav, kjer povprečni dosežek učencev ene države primerjamo s povprečnim dosežkom učencev druge države (ranžirna lestvica). Ta normativna informacija o kakovosti izobraževalnega sistema1 je samo okvirna informacija posameznemu šolskemu sistemu, ker ne poda analize dejavnikov na dosežene rezultate, vendar pogosto postane v očeh javnosti glavno merilo primerjave med državami. Protner (2004) navaja primer Nemčije, kjer je slaba uvrstitev v ranžir-no lestvico v raziskavi PISA 2001 sprožila ostro polemiko o vzrokih: na eni strani so rezultate pripisali zgodnji diferenciaciji, na drugi pa neživljenjski usmeritvi nemške šole, tretji pa so spet »neuspeh« pripisali ravno preveliki orientaciji na življenje in slabi pedagoški dejavnosti. To kaže na prisotnost subjektivnosti pri interpretaciji rezultatov; ta je torej odvisna od raziskoval-čeve pedagoške paradigme, ki ji sledi, implicitnih teorij, ki jih poseduje, in ne nazadnje lastnega vrednotnega sistema. Nekateri raziskovalci (npr. Kodelja, 2005) opozarjajo, da enostransko obravnavani rezultati vodijo v unifikacijo in globalizacijo kurikulumov, saj se mnoge države s »slabo« uvrstitvijo na ranžirno lestvico začnejo zgledovati po tistih »boljših« in reducirajo »nepotrebne« elemente v lastnih kurikulumih. Pa vendar v tej tekmi ne smemo pozabiti na ključne elemente v tem sistemu - naše otroke. Preverjanje znanja (kaj in kako) je eden izmed pomembnejših elementov celotnega vzgojno-izobraževalnega sistema, ki povratno vpliva na vse predhodne faze v vzgojno-izobraževalnem procesu. Vsak šolski sistem je bil (in bo) zasnovan na določenih konceptih, ki so odvisni od vpliva stroke, prevladujoče družbene naravnanosti in vrednot ter aktualnih političnih stremljenj. Ti vplivi se odražajo v prav vsaki fazi vzgojno-izobraževalnega procesa. Vzgoja in izobraževanje sta dva prepletajoča se procesa, ki pomembno sooblikujeta otrokov pogled in odnos do sveta in s tem vplivata na kakovost njegovega življenja. Zato moramo pri (pre)oblikovanju vzgojno-izobraževalne-ga sistema paziti, da imamo pred seboj jasne cilje in vizijo, predvideti moramo posledice svojih odločitev ter biti kritični do globalnih iniciativ in pri prevzemanju praktičnih rešitev drugih držav. Ne praviva, da spremembe niso dobre; sploh ne. Le pozivava, da bodimo kritični, ves čas s celovito vizijo v mislih. Zato je namen tega prispevka opozoriti na previdnost pri uporabi rezultatov mednarodnih raziskav, ki dajejo zaradi svoje metodologije omejene informacije o kakovosti šolskih sistemov. Prenagljene in nepremišljene reakcije na slabe ali dobre rezultate so lahko »usodne« na področju vzgoje in izobraževanja zaradi vpliva, ki ga ima vzgojno-izobraževalni sistem na šolajoče se generacije in posledično na razvoj naroda. Pomembno je, da rezultate interpretiramo v luči koncepta izobraževalnega sistema, ki smo si ga postavili in kateremu želimo slediti, zato avtorja prispevka poudarjata pomen kombiniranega evalvacijskega modela ugotavljanja kakovosti, ki temelji na sintezi različnih evalvacijskih pristopov. Ugotavljanje kakovosti vzgojno-izobraževalnega sistema Pristopi ugotavljanja kakovosti vzgojno-izobraževalnega sistema Evalvacija je proces sistematičnega zbiranja in analize informacij o nekem procesu (npr. vzgojno-izobraževalnem), na podlagi katerega presojamo in sprejemamo odločitve o morebitnih spremembah vrednotenega procesa. Če evalvacijski proces izpeljejo udeleženci procesa sami, potem je to notranja evalvacija, če pa jo opravijo zunanji strokovnjaki, pa evalvacijo imenujemo zunanja. Postopek ugotavljanja kakovosti izobraževalnega sistema je pravzaprav evalvacija njegove uspešnosti in učinkovitosti doseganja zastavljenih ciljev. Pristopi, ki jih uporabljamo pri ugotavljanju kakovosti vzgojno-izobraževalne-ga sistema, so lahko zelo različni: razlikujejo se glede na področje preverjanja (npr. izvajanje učnega procesa, vodenje šole), nivo preverjanja (npr. izvajalci programa, šola, šolski sistem), sistematičnost, pogostost, način in tako naprej. Resinovič, Rajkovič in Mahnič (2003) ločujejo modele in pristope ugotavljanja kakovosti v dve skupini: (1) pristopi k uspešnosti in učinkovitosti šole in (2) pristopi k stalnemu izboljševanju dela šol. Prva skupina pristopov, ki temeljijo na teoretičnih in empiričnih raziskovalnih spoznanjih, ugotavlja kakovost dela šole na podlagi standardov in kazalnikov uspešnosti, kot so uspešnost učencev, kakovost učiteljev, šolska klima in kultura. Druga skupina pristopov kakovost razume kot dinamičen proces, zato so ti pristopi osredotočeni na neprestano izboljševanje posameznih procesov znotraj šole, pogosto na udeležence v učnem procesu. Med temi pristopi je najbolj znana metodologija TQM (Total Quality Management), ki si skozi nenehne izboljšave in njihove evalvacije prizadeva celostno obvladovati in izboljševati kakovost šole (Sallis, 1993, v Resinovič, Rajkovič in Mahnič, 2003). Nekateri pristopi evalvacije (predvsem zunanje) so tradicionalni, kot na primer analiza uspeha ob zaključku ocenjevalnih obdobij ali pa šolska inšpekcija, medtem ko se drugi pospešeno razvijajo v zadnjem desetletju, kot na primer zunanje preverjanje znanja, matura in samoevalvacija kakovosti šole.2 Večina pristopov, ki je uveljavljenih pri nas, se uvršča v prvo skupino pristopov po Resinoviču, Rajkoviču in Mahniču (2003), nekatere šole pa v samoevalvaciji uveljavljajo tudi drugi način razmišljanja. V našem šolskem sistemu poznamo: - proces samoevalvacije, ki ga izvaja učitelj ali strokovni aktiv za vrednotenje svojega lastnega pedagoškega dela; - samoevalvacija na ravni šole kot institucije, v katero so vključeni vsi zaposleni, lahko pa tudi učenci; - notranjo evalvacijo vzgojno-izobraževalne institucije, kjer je evalvator vključen v dejavnosti šole (npr. kot učitelj ali učenec); - zunanjo evalvacijo, kjer evalvator ni direktno vključen v dejavnosti šole, hkrati pa je odgovoren šolskim oblastem; - evalvacijo vzgojno-izobraževalnega sistema na nacionalni ravni, za katero je pristojen Svet za evalvacijo vzgoje in izobraževanja; - evalvacijo vzgojno-izobraževalnega sistema na mednarodni ravni, ki jo zagotavljamo z vključevanjem v mednarodne raziskave znanja. Zunanja evalvacija je orodje centralizirane nacionalne spremljave in zagotavljanja kakovostnega izobraževanja in enakomernega doseganja standardov znanja ter učinkovite izrabe sredstev. Prek primerjalnih podatkov zunanja evalvacija šolam nudi povratno informacijo in podporo za lažje doseganje ciljev (MacBeth, 2000, v Maes, 2005). Evalvacija vzgojno-izobraževalnih sistemov je pri nas pravno urejena s Pravilnikom o posodabljanju vzgojno-izobraževalnega dela (Ur. l. RS 13/2003) in dodatno z Izhodišči za evalvacijo kurikularne prenove vzgoje in izobraževanja v Republiki Sloveniji (1999), vodi pa jo Svet za evalvacijo pri Ministrstvu za šolstvo in šport ob podpori Zavoda RS za šolstvo (programi splošnega izobraževanja), Centra RS za poklicno izobraževanje (programi poklicnega izobraževanja) in Andragoškega centra RS (programi za izobraževanje odraslih). Evalvacija vzgojno-izobraževalnih programov se izvaja z naročenimi (prek Pedagoškega inštituta) ali v postopku javnega razpisa izbranimi eval-vacijskimi študijami (od leta 2000). Poleg evalvacijskih študij na nacionalni ravni poteka ugotavljanje in spremljanje kakovosti šolskega sistema še prek sodelovanja v mednarodnih raziskavah znanja TIMSS, PRILS in PISA. V zadnjih letih se pri nas vedno bolj spodbuja vzgojne-izobraževalne zavode k prevzemanju odgovornosti za kakovost lastnega dela, zato se v skladu s tem razvijajo pristopi samoevalvacije, ustanavljajo evalvacijske skupine na šolah in oblikuje zunanja strokovna podpora. Samoevalvacija se izvaja predvsem na ravni organizacije, prav tako pa jo lahko uporabimo za vrednotenje posameznikovega dela. Samoevalvacija je vrsta notranje evalvacije, ko udeleženci sami opredelijo in načrtujejo kriterije uspešnosti ter nato ugotavljajo in vrednotijo uspešnost in kakovost izvajanja procesa. Omogoča prepoznavanje prednosti in slabosti v delovanju posameznika ali organizacije, kar je temelj za nadaljnje načrtovanje (osebnega, skupinskega ali organizacijskega) razvoja, na ravni organizacije pa spodbuja tudi sodelovanje med zaposlenimi ter razpravo in usklajevanje pogledov na delovanje organizacije. Proces samoevalvacije se začne pred začetkom vrednotenega procesa, zaključi pa se krožno s postavljanjem novih ciljev in strategij, kar zelo dobro prikazuje Demingov krog statistične kontrole kakovosti (1986, v Vrabič s sodelavci, 2005): načrtovanje, izvedba (implementacija), vrednotenje in ukrepanje. Glede na to bi kot korake samoevalvacije lahko opredelili naslednje: (1) opredelitev vizije in ciljev ter strategije doseganja le-teh, (2) določitev parametrov (podatkov, spremenljivk), ki jih bomo spremljali, (3) postavitev kriterijev uspešnosti glede na zastavljene cilje, (4) spremljanje, (5) analiza podatkov in razlik z želenim stanjem, razprava in iskanje vzrokov, (6) oblikovanje ukrepov za izpopolnitev procesa ter (7) priprava samoevalvacijskega poročila. Vrednotenje lastnega dela je prisotno pri vsakem posamezniku, ki skrbi za lasten strokovni razvoj, še posebej pogosto je to pri učiteljih, ki morajo sproti spremljati napredek učencev in vsaj pred začetkom šolskega leta opraviti analizo stanja, na podlagi katere oblikujejo letni delovni načrt. Na drugi strani pa pristop samoevalvacije postaja z večanjem avtonomije in prevzemanjem odgovornosti za kakovost vedno pomembnejši tudi v šolah samih, ki postajajo pobudnice lastnega razvoja (van Lakerveld, Bauer in Williams, 2005). To pomeni, da šole same izbirajo način doseganja pričakovanj, posta- vljenih s strani nacionalnega telesa in uporabnikov storitev, zato tudi same načrtujejo šolski proces in strukturno organizacijo, izbirajo poti delovanja in implementirajo različne politike, od vzgojnih do kadrovskih. Pogosto se povezujejo z drugimi podobnimi institucijami v t. i. mrežo šol ali partnerstva v nacionalnem in mednarodnem prostoru ter se vključujejo v različne razvojne projekte, na primer projekti Ogledalo, Mreža učečih se šol, Modro oko ipd. Težiti je treba k integraciji različnih evalvacijskih pristopov Opaziti je, da vzporedno potekata dva nasprotna procesa: decentralizacija in centralizacija. Z decentralizacijo se povečuje avtonomija šol, z njo pa tudi odgovornost za kakovostno izvajanje izobraževalnega procesa. To lahko opazimo tudi v povečanju števila različnih metod za aktivnejšo udeležbo šol v evalvaciji in samoevalvacijo. Na drugi strani pa poteka manj opazen proces centralizacije - gre namreč za evropski klic po razvoju gospodarsko močne in konkurenčne države, ki temelji na znanju državljanov, o čemer smo že govorili. Dokler bodo šole financirane od države, se bodo morale prilagajati tudi nacionalnim šolskim politikam, ki pa so pod pritiskom evropske iniciative. To se kaže v vedno številčnejši participaciji držav v mednarodnih primerjavah znanja. Maes (2005: 18) piše, da je »uspešna združitev notranje in zunanje evalva-cije cilj, ki ga želi doseči večina evropskih sistemov«. Brejc in Trunk (2007: 44) povežeta namen notranje evalvacije z »izboljšanjem kakovosti učenja in poučevanja ter okrepitvijo šole, da samoevalvacijo vseh pomembnejših dejavnosti sistematično (načrtno in periodično) izvaja«, namen zunanje evalvacije pa s »spodbudo k izvajanju samoevalvacije in 'prisile' k javnemu poročanju šole o rezultatih delovanja - posredovanje transparentnih informacij udeležencem izobraževanja«. Samoevalvacija poglobi spoznanja zunanje evalvacije, izboljša interpretacijo zunanjih ugotovitev in vpliva na uporabo rezultatov zunanje evalvacije (Nevo, 2001; po Brejc in Trunk, 2007). Pomen vseh pristopov k ugotavljanju kakovosti izobraževalnega sistema lahko prikažemo na naslednjem primeru, ki vleče vzporednice med podobo izobraževalnega sistema in samopodobo posameznika. Namreč, kakor gradimo lastno samopodobo prek (povratnih) informacij, tako gradimo (samo)podobo (tj. vrednotimo) izobraževalnega sistema prek evalvacije. Kakor ima naša lastna samopodoba področje, ki je znano le nam samim, področje, ki je dostopno tudi drugim, in področje, katerega vidijo drugi, mi se ga pa ne zavedamo, enako velja za izobraževalni sistem. Prek nacionalnega preverjanja znanja (oz. tudi notranje evalvacije na ravni šole) dobimo dodatno informacijo, ki gradi tisti del (samo)podobe izobraževalnega sistema (oz. posamezne šole), ki je dostopen le nam, medtem ko prek zunanje eval-vacije (tj. mednarodnih primerjav znanja na ravni izobraževalnega sistema oz. nacionalnega preverjanja znanja na ravni šole) dobimo tiste dodatne informacije, ki se jih le delno ali pa sploh ne zavedamo. Maes (2005) razume sisteme evalvacije kot konstrukt, sestavljen iz treh dimenzij: notranja/zunanja dimenzija (kontinuum od samoevalvaci-je do zunanje evalvacije), dimenzija pritisk/podpora (objektivni kazalci in subjektivni občutki udeležencev o stopnji podpore oz. pritiska) in dimenzija neodvisnost/podrejenost višji oblasti (kako institucije dojemajo in implementirajo spremembe - »od zgoraj« ali »od spodaj«). Pri tem Maes poudarja, da je treba najti ravnovesje na vseh treh dimenzijah, da bi bila učinkovitost šol in izvajalcev pedagoškega procesa največja. V skladu s predstavljenimi idejami lahko nacionalno preverjanje znanja razumemo kot notranjo evalvacijo slovenskega izobraževalnega sistema, mednarodne raziskave znanja pa kot zunanjo evalvacijo. Predstavitev nekaterih projektov o ugotavljanju in zagotavljanju kakovosti v vzgojno-izobraževalnih zavodih Projekt Mreža učečih se šol je nastal pod okriljem Šole za ravnatelje in se posveča predvsem izobraževanju učiteljev in njihovemu strokovnemu povezovanju (po Koren in Sardoč, 2007): usmerjajo jih v razmišljanje o poslanstvu šole in s tem k sodelovalnemu vodenju ter vrednotenju in izboljševanju dejavnosti na šoli, s čimer vplivajo na organizacijsko kulturo šole. Pod okriljem Pedagoške fakultete in Filozofske fakultete Univerze v Ljubljani je bil v šolskem letu 2000/2001 izveden raziskovalni projekt Pojmovanje kakovosti v vzgoji in izobraževanju in možni dejavniki kakovosti v vrtcih, osnovnih in srednjih šolah (Center za študij edukacijskih politik, 2009), katerega namen je bil ugotoviti teoretične koncepte ugotavljanja in zagotavljanja kakovosti, ovrednotiti posamezne dejavnike za različne ravni izobraževalnega sistema ter jih empirično verificirati. V njegovem okviru sta se izvajala dva podprojekta, in sicer projekt Ugotavljanje in zagotavljanje kakovosti v vzgoji in izobraževanju ter projekt Modro oko: spoznaj, analiziraj, izboljšaj. Raziskovalci v okviru projekta Modro oko (2001) so razvijali model in instrumente za ugotavljanje in zagotavljanje kakovosti v obliki samoevalva-cije na ravni šol, oddelkov in posameznih udeležencev pedagoškega procesa, in sicer za šest področij: doseganje ciljev kurikuluma, pouk, učenec, učitelj, šola in starši ter vodenje. Menijo, da so elementi za oceno celotnega sistema za Slovenijo na voljo v mednarodnih primerjavah, zunanjem ocenjevanju, uspehih na tekmovanjih, raziskavah o mladi populaciji ipd. Štraus (2005c) piše, da se kakovost izobraževalnega procesa izraža tudi v razliki med izvedbenim in doseženim kurikulumom, zato je Pedagoški inštitut v letih od 2002 do 2004 opravil evalvacijsko študijo Spremljanje in primerjava ključnih elementov, ki določajo učinkovitost in kakovost naravoslovnega in matematičnega izobraževanja na različnih ravneh, s katero je ugotavljal vpliv povezave med pričakovanji učiteljev in izkazanimi dosežki učencev na kakovost izobraževanja. Na podlagi raziskovalnega projekta Kakovost v vzgoji in izobraževanju - samoevalvacija (2002-2004) je bila leta 2003 na nacionalni ravni ustanovljena Komisija za ugotavljanje in zagotavljanje kakovosti v vrtcih, osnovnih in srednjih šolah ter organizacijah za izobraževanje odraslih, katere namen je »prek različnih oblik sodelovanja s šolami in z drugimi institucijami bolje spoznati primere dobre prakse razvoja in spremljanja kakovosti iz domačih logov in iz tujine ter jih koordinirano spodbujati v našem šolskem sistemu« (Tratnik, 2005: 1). Prav tako so pripravili priročnike za vzgojno-izobraževalne zavode (osnovne šole, gimnazije ter srednje poklicne in strokovne šole) in vprašalnike za samoevalvacijo, v katerih so zajeli šest področij: učni dosežki in učinki, pouk, učenci, učitelji, šola in okolje ter upravljanje in vodenje. Pod okriljem Slovenskega instituta za kakovost in meroslovje se od šolskega leta 2005/2006 izvaja projekt Kakovost za prihodnost vzgoje in izobraževanja (SIQ, 2009), v katerem udeleženi vzgojno-izobraževalni zavodi skupaj s projektno skupino sooblikujejo, preizkušajo in dopolnjujejo model ter osnovne zahteve za pridobitev certifikata Kakovost za prihodnost. Cilji projekta so: uvedba sistematičnega in celovitega pristopa k vodenju kakovosti v vseh sodelujočih zavodih, zmožnost izkazovanja permanentne rasti kazalcev kakovosti v zavodih, nosilcih certifikata, v obdobju naslednjih pet let, doseganje prepoznavnosti in sprejetosti pojma »kakovostna« šola oz. vrtec v slovenskem vzgojno-izobraževalnem prostoru ter omogočanje izmenjave izkušenj in dobre prakse med sodelujočimi zavodi. Šola za ravnatelje je v letu 2008 začela tudi s projektom Zasnova in uvedba sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobra-ževalnih organizacij (2008-2014), s katerim želijo oblikovati koncept in postaviti model usposabljanja strokovnih in vodstvenih delavcev vzgojno-izobraževalnih zavodov za uvajanje modela zunanje evalvacije in samoe-valvacije vzgojno-izobraževalnih zavodov. Podobnih projektov je še veliko, predvsem na ravni povezovanja posameznih šol v mreže in sodelovanja v evropskih projektih, kot so na pri- mer MoFAS (Modernisation of the Vocational Education and Training Financial-Administration System) (Vrabič idr., 2005), I-Probenet (Comenius 3 mreža) in podobni. Ugotavljanje kakovosti na ravni vzgojno-izobraževalnega sistema Model ugotavljanja in zagotavljanja kakovosti, ki bi ga implementirali na nacionalni ravni, vključuje načrt in potek vseh postopkov: od načrtovanja, izvajanja, evalvacije in revizije sistema. Imeti mora razvito primerno metodologijo in orodja za vrednotenje kazalcev kakovosti na različnih ravneh celotnega sistema in postopke integracije teh podatkov. Kot sem že omenila, ugotavljanje in zagotavljanje kakovosti lahko poteka na različnih ravneh (prirejeno po Modro oko, 2001): (1) celoten šolski sistem, (2) vrsta izobraževanja, (3) šola, (4) oddelki na šolah ter (5) učitelji in učenci ter drugo strokovno osebje. Za ugotavljanje in zagotavljanje kakovosti dela na ravni šol, oddelkov in posameznikov v pedagoškem procesu je že precej dobro poskrbljeno v okviru različnih projektov, ki so bili že opisani. Za evalvacijo celotnega izobraževalnega sistema pa še ni razvit neki model, čeprav raziskovalci v okviru projekta Modro oko (2001) menijo, da so elementi za oceno celotnega sistema za Slovenijo na voljo v mednarodnih primerjavah, zunanjem ocenjevanju, uspehih na tekmovanjih, raziskavah o mladi populaciji ipd. Vendar to ni dovolj, kajti treba je znati integrirati posamezne informacije, ki jih dobimo iz različnih virov, v neko pregledno in uporabno celoto. Tabela 1: Mehanizmi ugotavljanja in zagotavljanja kakovosti (Vrabič in Mali, 2008) Zakon, pravilniki, izhodišča Nacionalni kurikulumi Zaključni izpiti Implementacijski projekti Usposabljanje učiteljev in ravnateljev Spremljanje in evalviranje Akreditacija izvajalcev izobraževana Sodelovanje med šolo in podjetji Šolska inšpekcija Samoevalvacija izvajalcev izobraževanja Povezovanje v mreže Nacionalni indikatorji kakovosti Vrabič in Mali (2008) pojasnjujeta, kako je in naj bi bil slovenski sistem ugotavljanja in zagotavljanja kakovosti sestavljen in povezan (Tabela 1). Prek zakonskih aktov in nacionalnega kurikuluma načrtujemo vzgojno-izobra-ževalni proces - implementacijski projekti, akreditacija izvajalcev, usposabljanje učiteljev in ravnateljev ter sodelovanje šole s podjetji zagotavljajo uspešno izvajanje le-tega. V proces evalvacije so na eni strani vključeni zaključni izpiti, šolska inšpekcija, nacionalni indikatorji kakovosti, procesi spremljanja in evalviranja, na drugi strani pa samoevalvacija izvajalcev in povezovanje v mreže. Ugotovitve evalvacije vzgojno-izobraževalnega procesa naj ne bi vplivale samo na izboljševanje vzgojno-izobraževalnega procesa, temveč tudi zakonskih aktov, procesov spremljanja in evalvacije, delovanja šolske inšpekcije, samoevalvacije izvajalcev in povezovanja šol v mreže. Pregled značilnosti različnih mednarodnih raziskav in nacionalnega preverjanja znanja Mednarodne raziskave znanja Mednarodne raziskave znanja prav tako postajajo pomembna podpora pri evalvaciji in ocenjevanju kakovosti vzgojno-izobraževalnih sistemov. Pojavile so se zaradi interesa različnih držav po pridobivanju dodatnih informacij o kakovosti svojega izobraževalnega sistema prek primerjave testnih dosežkov učencev iz različnih držav. Slovenija je članica Mednarodne organizacije za raziskovanje dosežkov v izobraževanju IEA [International Association for the Evaluation of Educational Achievements], ki je izpeljala že več različnih mednarodnih raziskav znanja, od katerih je Slovenija sodelovala v Mednarodni raziskavi matematike in naravoslovja TIMSS, Mednarodni raziskavi bralne pismenosti PIRLS, Študiji državljanske vzgoje CIVED, Mednarodni raziskavi uporabe informacijskih in komunikacijskih tehnologij v izobraževanju SITES. Poleg tega je Slovenija sodelovala še v Programu mednarodne primerjave dosežkov učencev PISA, ki je pod okriljem Organizacije za ekonomsko sodelovanje in razvoj OECD [Organisation for Economic Co-operation and Development]. Vključevanje v mednarodne raziskave znanja omogoča predvsem primerjavo povprečnih dosežkov učencev iz različnih držav oz. različnih šolskih sistemov,3 s čimer naj bi dobili sliko o uspešnosti različnih rešitev prenosa znanja na mlajše generacije, torej o uspešnosti posameznega učnega sistema. Z zajemom podatkov na vsakih nekaj let pa lahko spremljamo tudi trende vzgojno-izobraževalnih sistemov in učinke določene spremembe v nekem šolskem sistemu. Na splošno so mednarodne primerjave pomemben vir informacij za oblikovanje strategij razvoja izobraževalnega sistema. Kot pri vsakem znanstvenem raziskovanju se je tudi tu treba najprej dogovoriti, kaj in kako bomo merili, kar je zaradi različnosti vključenih držav izredno težko. Štraus (2004) pravi, da se morajo sodelujoče raziskave najprej dogovoriti o populaciji, vključeni v raziskavo, o spremenljivkah, ki jih želijo izmeriti (vsebine in področja znanja), ter o vrsti in načinu aplikacije instrumenta. Preizkuse znanja in spremljajoče vprašalnike izpolnjujejo reprezentativni vzorci učencev (metodologija vzorčenja in zajema podatkov je vnaprej dogovorjena). Pripravijo se nacionalne baze podatkov, na podlagi katerih se pripravi še skupna mednarodna baza podatkov, ki je običajno javno dostopna. Osnova primerjav so navadno povprečni dosežki sodelujočih držav, mnogokrat metodologi na mednarodni ravni pripravijo t. i. ravni znanja za analizo ravni znanja in razpršenosti znotraj države. Raziskave se izvajajo v ciklusih v razmiku nekaj let, kar nam nudi informacijo o trendih znanja in drugih dejavnikov v izobraževalnem sistemu. Previdni in natančni moramo biti pri interpretaciji rezultatov ene takšne raziskave, bolje pa je pri interpretaciji kombinirati rezultate več različnih raziskav, ker nam dajo več informacij in veljavnejšo sliko o realnem stanju. Premisliti moramo, kaj pravzaprav meri posamezna raziskava in rezultate skladno s tem interpretirati. Upoštevati moramo lastne referenčne točke, na podlagi katerih interpretiramo rezultate in jih ovrednotimo. Šele na podlagi tega lahko izpeljemo izsledke o močnih in šibkih področjih v dosežkih in ugotavljamo, kaj so vzroki in kaj bi bilo treba storiti za izboljšanje stanja (po Štraus, 2005a). Plomp idr. (2003; po Štraus, 2004) menijo, da se lahko podatke raziskave IEA4 uporabi za: (1) opisovanje in primerjanje stanja v izobraževalnem sistemu s kulturno podobnimi državami, (2) spremljanje kakovosti izobraževanja (op. p. ker se mednarodne raziskave izvajajo v večletnih ciklih), (3) ugotavljanje dejavnikov v izobraževalnem sistemu, (4) ugotavljanje vzrokov izkazanih problemov ter (5) seznanjanje s procesi in učinki različnih pristopov v izobraževanju. Nacionalno preverjanje znanja Nacionalna preverjanja znanja (v nadaljevanju NPZ) predstavljajo evalvacijo vzgojno-izobraževalnega sistema na nacionalni ravni, s katerim preverjamo uspešnost doseganja ciljev in standardov, določenih z učnimi načrti (Nacionalno preverjanje znanja: informacije za učence in starše, 2007). Preverja se torej »le tisto znanje, ki ga predvidevajo učni načrti, in na način, ki ga učenci in učenke poznajo iz vsakdanjega šolskega dela« (prav tam, str. 3). Za učence in starše so informacije, dobljene pri NPZ, dobrodošle, saj pokažejo močna in šibka področja posameznega učenca ter morebitne pomanjkljivosti, ki jih moramo z nadaljnjim delom odpraviti.5 Na drugi strani pa so rezultati NPZ pomemben vir informacij o kakovosti dela šolam in tudi sistemu na nacionalni ravni. Vendar pa je treba tu paziti na to, da povprečen rezultat šole pri NPZ ne pomeni nujno kakovosti dela na posamezni šoli, kajti (1) dosežek učenca je odvisen tudi od individualnih značilnosti posameznika in okolja, iz katerega izhaja, ter (2) povprečni dosežek šole je odvisen od značilnosti učencev, ki živijo v tem šolskem okolišu.6 Analiza in primerjava metodoloških značilnosti posameznih raziskav znanja Ko dobimo v roke rezultate neke raziskave, se moramo vedno najprej vprašati, kaj je bil namen raziskave, kaj je bil predmet merjenja, kakšna je njena metodologija in kakšen instrument je bil uporabljen ter ne nazadnje, kako so rezultati izračunani in interpretirani. Najprej je treba pojasniti razliko med namenom in možnostmi med mednarodnimi raziskavami znanja in nacionalnim preverjanjem znanja. Nacionalno preverjanje znanja je namenjeno predvsem učencu in staršem kot dodatna informacija o učenčevem znanju, hkrati pa daje informacije o ravneh znanja učencev nasploh (uspešnost doseganja ciljev in standardov učnih načrtov). Rezultati mednarodnih raziskav na drugi strani pa so podani na ravni celotne populacije ali njenih podskupin, zato dajo informacijo o delovanju izobraževalnega sistema nasploh, hkrati pa omogočajo vpogled v dejavnike uspešnosti v izobraževalnem sistemu. Nacionalno preverjanje znanja lahko bolje upošteva izobraževalni kontekst, saj izhaja iz njega, zato lahko rečemo, da je veljavnost merjenja tu boljša kot pri mednarodnih raziskavah, ki se metodološko ne zmorejo prilagoditi izobraževalnemu kontekstu v vseh državah, zato neposredna uporaba normativnih rezultatov ni primerna. Na drugi strani pa je to edini način, ko dobimo podatke, ki so primerljivi z drugimi državami (Štraus, 2004), in lahko na podlagi različnih izobraževalnih kontekstov pojasnjujemo razlike med dosežki učencev znotraj države kot med državami. Predmet merjenja je naslednji pomemben element za razpravo, saj nam pove, v kolikšnem obsegu lahko rezultate različnih raziskav primerjamo med seboj - na katerih področjih se ujemajo in kje se dopolnjujejo. Nacionalno preverjanje znanja je vezano na slovenske veljavne učne načrte, na cilje in standarde znanja, ki so tam zapisani. Testi nacionalnega preverjanja znanja so oblikovani na podlagi veljavnih učnih načrtov. Podobno tudi raziskava TIMSS ugotavlja šolsko znanje, vezano na učne načrte, vendar je vsebina merjenja nekakšen presek učnih načrtov sodelujočih raziskav, saj so izbor preverjanih ciljev in vsebin določili na podlagi konsenza predstavnikov sodelujočih držav. TIMSS poleg znanja otrok (vsebinsko in kognitivno področje) meri še spremenljivke, vezane na: (1) organizacijo dela na šoli in stališča ravnatelja, (2) učitelja (izobrazba, stališča) in njegovo poučevanje ter (3) učenca v razredu (stališča do vseh vsebinsko zajetih področjih, uporaba računalnika, doživljanje v šoli) ter njegovem zunajšolskem okolju (značilnosti domačega okolja in zunajšolske dejavnosti). Na drugi strani raziskava PISA ugotavlja pripravljenost učencev na življenje, torej meri kompetence, ki niso direktno vezane na učne načrte sodelujočih držav, temveč ugotavlja kompetence, ki so jih strokovnjaki določili kot pomembne. Na izbor pomembnih kompetenc je imela vpliv organizacija OECD, saj raziskava poteka pod njenim okriljem. Vendar prav tako kot TIMSS meri tudi druge spremenljivke, vezane na učenca, starše, šolo (spremljajoči dejavniki). Razlika v predmetu merjenja med raziskavama TIMSS in PISA je v tem, da TIMSS meri tisto, kar je bilo od učencev pričakovano, da so se naučili, medtem ko PISA meri tisto, kar lahko naredijo s tistim, kar naj bi se naučili. Za primerjave je pomembno tudi vedeti, koga smo izmerili (vzorčenje). Nacionalno preverjanje znanja izvajamo na koncu 6. razreda - vključeni so tisti učenci, ki sami želijo sodelovati, ter na koncu 9. razreda, vključeni so vsi učenci. Tako nacionalno preverjanje znanja predstavlja t. i. razredno raziskavo - vezano na razred. Ker so v 9. razredu vključeni v preverjanje vsi učenci, napake vzorčenja pri sklepanju na populacijo odpadejo. Te napake pa so lahko prisotne v mednarodnih raziskavah, v katere niso vključeni vsi učenci, temveč le tisti, ki smo jih na podlagi bolj ali manj ustreznega vzorčenja izbrali. Način vzorčenja je pri teh raziskavah delno že vnaprej določen, da se zagotovi čim večja primerljivost med državami. Vsaka država pa mora zaradi razlik v zunanji strukturi šolskih sistemov (npr. različen čas poklicnega usmerjanja) vzorčiti malo drugače, da se zagotovi reprezentativnost populacije znotraj države. Na drugi strani je raziskava TIMSS kompromis med kohortno in razredno raziskavo, kajti vključuje približno enako stare otroke, ki imajo za seboj približno enako število let šolanja. Karakteristiki (starost in leta šolanja) sta zastopani skoraj enakovredno, po čemer se TIMSS loči od drugih raziskav, v katerih prevladuje le ena od njih (po Japelj Pavešič idr., 2005). Načeloma so vključeni učenci 4. in 8. razreda. V raziskavi PISA pa so zajeti 15-letniki ne glede na razred oz. letnik, ki ga trenutno obiskujejo. Sestavljanje merskih instrumentov pa predstavlja eno izmed zahtevnejših del, saj mora upoštevati tako vsebino, ki jo želimo meriti (veljavnost), zadostiti zahtevam drugih merskih značilnosti (zanesljivost, objektivnost) ter upoštevati značilnosti merjenje populacije. Pomembno je, katera področja vključimo v test in v kolikšnem obsegu, za kakšen tip nalog gre (odprti, zaprti tip vprašanj), kako obtežimo posamezne naloge. Testi mednarodnih raziskav znanja morajo poleg tega paziti še na kulturno in jezikovno neodvisnost, hkrati pa se morata težavnost in jasnost nalog s prevodi nujno ohraniti (gre za t. i. funkcionalno ekvivalentnost nalog). Večino teh zahtev je lažje izpolniti pri nalogah z izbirnimi odgovori, zato v raziskavah TIMSS in PISA takšne naloge prevladujejo, pogosto pa so vključene še naloge s kratkim zahtevanim pisnim odgovorom ali daljšim utemeljevanjem rešitve. V raziskavi TIMSS (TIMSS 2003) v nasprotju z nacionalnim preverjanjem znanja in raziskavo PISA pa so del nalog sestavljale tudi eksperimentalne naloge. Pomembno je tudi, na kakšen način merimo. Na primer, v raziskavi PISA in TIMSS se večja količina nalog, ki merijo iste koncepte, razdeli na več preizkusov (testnih zvezkov), od katerih posamezni otrok rešuje samo enega. Z metodo »imputiranja podatkov« kasneje na podlagi statističnih izračunov karakteristike posameznega učenca ocenjujemo njegove najverjetnejše odgovore še na vprašanja preostalih sklopov. Tako vsakemu učencu priredimo »imputirane« vrednosti za odgovore, ki manjkajo. Na drugi strani pa pri nacionalnem preverjanju znanja vsi učenci rešujejo enake naloge. Sledi faza ocenjevanja nalog. Pri izbirnem tipu nalog razen morebitnega napačnega vnosa v bazo ni težav pri enakem vrednotenju (pravilno - napačno), medtem ko je ocenjevanje nalog odprtega tipa bolj podvrženo subjektivnim dejavnikom.7 Še posebej to velja za mednarodne raziskave znanja, kjer ne samo da teste ocenjujejo različni ocenjevalci, temveč v vsaki državi ocenjevalci prihajajo iz različnega kulturnega okolja, kar predstavlja dodatno subjektivno kontaminiranost vrednotenja glede na državo. Štraus (2004) opozarja, da različne definicije oz. določitve zgoraj opisanih elementov pri mednarodnih raziskavah znanja vodijo do različnih rezultatov in s tem posledično do različnih razvrstitev na lestvicah rezultatov. To je razumljivo, saj nabor nalog pri konkretnem preizkusu znanja ne ustreza enako vsem sodelujočim državam, čeprav vsaka država sodeluje pri izboru nalog. Razprava Od izobraževalnega sistema vsi udeleženci nekaj pričakujemo: učenci, starši, pedagoški delavci, država in državljani, gospodarstvo ^ Torej, kakor smo ugotovili na začetku prispevka, uspešnost izobraževalnega sistema je odvisna od pričakovanj različnih udeležencev, ki pa pogosto niso jasno razvidna. Vendar kakovosti izobraževalnega sistema ne smemo razumeti kot vsoto uspešnosti posameznih pričakovanj, temveč moramo ta pričakovanja vzeti kritično in jih integrirati (Vahoof in Van Petegem, 2007), da dobimo popolnejšo sliko. To pomeni, da moramo razumeti uspešnost izobraževalnega sistema kot celote - namreč niso pomembni samo posamezni rezultati, temveč njihov sinergistični učinek ter tudi pot do njih, predvsem pa kontekst, v katerem se gibljemo. Kakor piše Cankar (2007), če uporabimo le posamezne rezultate brez upoštevanja konteksta, lahko dobimo izkrivljene informacije o uspešnosti delovanja šole; kot primer navaja primerjavo povprečnih rezultatov NPZ šole s povprečnimi nacionalnimi vrednostmi brez upoštevanja značilnosti populacije otrok posamezne šole (konkretno njihovega predznanja, sposobnosti in značilnosti okolja, iz katerega izhajajo). Zato poudarja pomen dodane vrednosti šole, ki predstavlja povprečje prispevkov šole k dosežkom vsakega učenca. Dodano vrednost pa dobimo, če integriramo informacije, ki jih dobimo z različnimi evalvacijskimi pristopi (tako različnih področij kot ravni evalvacije). V prispevku so omenjeni različni pristopi ugotavljanja in zagotavljanja kakovosti: vsak pristop je pomemben zaradi svojih lastnih značilnosti, skupaj pa nam lahko dajo popolnejšo sliko o dejavnikih, ki vplivajo na uspešnost delovanja izobraževalnega sistema. Vsak pristop preuči svoje področje uspešnosti in njenih dejavnikov, zato se med seboj dopolnjujejo. Hkrati pa se določeni deli prekrivajo, kar nam omogoča preverjanje veljavnosti posameznih podatkov oz. primerjavo interpretacije podatkov z različnih vidikov. Različni integrativni modeli zagotavljanja kakovosti s pomočjo notranjega in zunanjega načina ocenjevanja nastajajo tudi drugod: na primer Hopkins in Ahtaridon (2007) sta postavila okvir za model notranje in zunanje odgovornosti za zagotavljanje kakovosti na anglosaksonskem območju kot združevanje sistemskega vodenja in samoevalva-cije posameznih vzgojno-izobraževalnih zavodov. V prispevku je predstavljena analiza značilnosti treh raziskav znanja (TIMSS, PISA in NPZ), ki je pokazala, da vsaka raziskava nudi ogromno informacij, ki pa jih moramo pravilno uporabiti: te so komplementarne, dopolnjujoče se. Podatki, ki jih dobimo s posamezno raziskavo znanja, sami po sebi ne povedo ničesar o kakovosti izobraževalnega procesa. Na primer, povprečni rezultat šole pri testih mednarodnih raziskav znanja ni zanesljiva mera uspešnosti, saj zaradi metodoloških značilnosti vzorčenja (tj. 25 naključno izbranih učencev na 100) ni dovolj reprezentativen. Prav tako povprečnega rezultata šole pri nekem testu znanja ne moremo direktno primerjati z nacionalnim povprečjem pri NPZ ali s povprečjem držav v mednarodni raziskavi znanja, kajti pomembni so še drugi dejavniki, ki vplivajo na končni rezultat, kot sta na primer socialno-ekonomski status učenčeve družine ali njegova motivacija. Zato je za uspešno oblikovanje strategije razvoja izobraževanja še posebej pomembna veljavnost sklepov, ki jih izpeljemo iz analiz zbranih podatkov. Štraus (2006, str. 7) opozarja, da »te veljavnosti ne moremo neizpodbitno dokazati, lahko pa se s skrbno premišljeno zasnovo in natančno izvedbo raziskave izognemo mnogim nevarnostim, ki to veljavnost ogrožajo«. V nadaljevanju bo opisan predlog modela integracije informacij različnih virov, ki ga lahko šole uporabijo pri razlagi in vrednotenju lastnega dela. Področje samoevalvacije šole se je pri nas začelo razvijati že pred leti in po predstavljenih projektih lahko ugotovimo, da šole že uporabljajo različne modele za ugotavljanje in zagotavljanje evalvacije in jih tudi razvijajo, oblikujejo delovne skupine, prav tako pa imajo zunanjo podporo (npr. SIQ, Komisija za ugotavljanje in zagotavljanje kakovosti v vzgoji in izobraževanju, sodelovanje v mednarodnih projektih). Še posebej zanimiv je model samoevalvacije šole, ki je nastal v projektu Modro oko (2001) - ta je natančno izdelan in vsebuje vrsto kazalnikov za ugotavljanje kakovosti na šestih različnih področjih dela šole. Na drugi strani mednarodne raziskave ponujajo še druge kazalnike, nacionalno preverjanje znanja pa objektivno in primerljivo doseganje standardov znanja učencev. V evalvaciji dela šole pravzaprav iščemo njeno dodano vrednost, pri čemer nam rezultati mednarodnih raziskav znanja ponujajo ravno dodatne informacije za interpretacijo dosežkov učencev pri testih znanja in interpretacijo učinkovitosti dela šole. Tako so samoevalvacija šole, dosežki pri NPZ in rezultati mednarodnih raziskav osnovna področja, ki jih lahko integriramo v celovito povratno informacijo o delu šole. Slika 1 predstavlja, kako se področja, na katerih posamezne raziskave ugotavljajo znanje učencev in spremljajoče dejavnike uspešnosti dela, med seboj prekrivajo. Primerjava pogojev dela med šolami (npr. delovna klima ali značilnosti učencev) ter različnih načinov dela pri pouku nam pokaže, kako uspešno šola upravlja s človeškimi, materialnimi in finančnimi viri nasproti drugim šolam in kako uspešno učitelji načrtujejo in vodijo učni proces. Slika 1: Prekrivanje in dopolnjevanje različnih pristopov ugotavljanja kakovosti vzgojno-izobraževalnega dela NACIONALNO PREVERJANJE ZNANJA učinkovitost učnega procesa glede na doseganje nac. standardov znanja STANDARDI ZNANJA MEDNARODNE RAZISKAVE ZNANJA primerjava nacionalnih standardov znanja z drugimi državami V Tabeli 2 so zbrani različni kazalniki ugotavljanja kakovosti različnih raziskav, tj. samoevalvacije šole, nacionalnega preverjanja znanja in dveh mednarodnih raziskav znanja. Pregled kazalnikov pokaže, da se tako sa-moevalvacija šole kot mednarodne raziskave znanja lotijo ugotavljanja različnih dejavnikov na učinkovitost in uspešnost učnega procesa. Tabela 2: Usklajevanje različnih kazalnikov ugotavljanja kakovosti pristopa samoevalvacije šole in mednarodnih raziskav znanja PODROČJE doseganje ciljev kurikuluma Znanje Vrednote Splošna uspešnost MODRO OKO (2001) ocene notranjega ocenjevanja, kakovost znanja, udeležba in dosežki na tekmovanjih v znanju odnos do pojavov in osebnostne značilnosti prehodnost, zaposljivost, usposabljanje za podjetnost, usposabljanje za vseživljenjsko učenje NPZ dosežki učencev TIMSS dosežki učencev iz preseka učnih načrtov matematike in naravoslovja sodelujočih držav PISA izraženost kompetenc, pomembnih za življenje s področja matematike, bralne pismenosti in naravo_slovja_ PODROČJE pouk Načrtovanje in vodenje pouka Učenec pri po- Čas, posvečen uku poučevanju in učenju Individualizacija MODRO OKO (2001) NPZ TIMSS PISA poznavanje učnega načrta in kataloga znanja, letna priprava na pouk, učne priprave in njihova vsebina metode in oblike dela, delo z gradivi, vrsta in spremljanje domače naloge, naloge in načini preverjanja znanja razumljivost razlage, motivacija, medpredmetne kompetence, medpredmetne povezave, spodbuda k rabi različnega učnega gradiva, metod in oblik poučevanja ter učenja, povratne informacije, pozornost na slabe učne rezultate, preverjanje in ocenjevanje znanja spodbujanje aktivnosti učencev za poučevanje in učenje novih ciljev oz. vsebin, čas za utrjevanje in ponavljanje pri pouku, čas za preverjanje in ocenjevanje znanja pri pouku, čas za aktivne metode poučevanja in učenja, čas za domače delo pri pouku značilnosti interakcije v procesu učenja, aktivnost učencev, značilnosti poučevanja individualizacija pri delu, identifikacija nadarjenih in učencev z učnimi težavami čas za domače naloge PODROČJE učenec Šolsko učno okolje Domače delo in interesne dejavnosti Učno ozračje Značilnosti učenca MODRO arhitektura in OKO oprema učilnic, (2001) dostopnost in možnosti knjižnice, računalniške tehnologije, športnih površin in opreme ter drugih prostorov, varnost, urnik NPZ TIMSS značilnosti razredov, čas za poučevanje, načrtovane in poučevane vsebine, dostop do računalnika v šoli domače delo, interesne in zu- najšolske dejavnosti pripadnost šoli, komunikacija izobrazba star- občutek varno- veselje do uče- šev, jezik doma, količina knjig, računalnik in internetna povezava sti nja področja, vrednote, zaupanje vase PISA možnosti uporabe informacijsko-komunikacijske tehnologije izobrazba in zaposlitev staršev, SES, kulturno okolje in dobrine, domači jezik, status priseljen-stva, dostop do učnih virov motivacija, sa-moučinkovitost, samopodoba, vrednote, splošna razgledanost in poklicna orientiranost v naravoslovju PODROČJE učitelj Stalno izobraževanje Vključenost v delo šole Zadovoljstvo z delom Značilnosti telja MODRO OKO (2001) NPZ TIMSS kakovost in ponudba programov stalnega izobraževanja, koncept stalnega izobraževanja na šoli, samoizo-braževanje, sodelovanje v projektih stalno strokovno spopolnjeva-nje, pedagoško usposabljanje sodelovanje v strokovnem aktivu in z drugimi učitelji in s službami na šoli in zunaj nje, mentorstvo, izvajanje interesnih dejavnosti sodelovanje z drugimi učitelji prostorski pogoji in opremljenost šole, organizacija dela na šoli (urnik), socialno okolje, učenci občutek omeje-vanosti, delovni pogoji, zaznavanje šolske klime spol, starost, izobrazba, delovne izkušnje, občutek kompetentnosti PISA PODROČJE šola in starši Informiranje Možnosti vpliva- Vključevanje v vzg.-izobr. proces nja MODRO načini in vsebina vpliv na aktivno- na šoli in pri domačem delu otroka OKO informiranja sti šole in nad- (2001) standardne sto- ritve, evalvacija šole, način reše- vanja pobud in pripomb staršev NPZ TIMSS PISA mnenje staršev lastno znanje, vrednote, promocija o kakovosti šole učnih vsebin 1 ŠOLSKO POLJE « LETNIK XX « ŠTEVILKA 1/2 PODROČJE vodenje šole Strokovni razvoj Vodenje in rav- Skrb za pouk Sodelovanje ravnatelja nanje z viri med šolo in oko- ljem MODRO OKO (2001) NPZ TIMSS PISA spremljanje novosti, stalno strokovno spopol-njevanje načrtovanje, odločanje, evalvi-ranje, vodenje in razvoj zaposlenih, izraba časa in finančnih sredstev značilnosti šole, čas za različne dejavnosti, razpolaganje z viri za pouk, varnost in urejenost šole šolski menedž-ment, značilnosti šole, vstopni pogoji in diferenciacija, razpoložljivost virov osredotočenost na poučevanje in učenje, zagotavljanje pogojev za pouk sodelovanje s starši, odprtost šole v okolje lastnosti popula- sodelovanje s cije ucencev, prisotnost učencev pri pouku šolske dejavnosti za promocijo naravoslovja starši vpliv gospodarskih interesov, starševska izbira šole Prva pomoč pri izvedbi samoevalvacije šole je analiza dosežkov pri nacionalnem preverjanju znanja. Tako notranje preverjanje in ocenjevanje znanja kot dosežek učenca pri NPZ nam ponujajo informacije o znanju učencev in njihovem doseganju standardov znanja (Tabela 2). Notranje preverjanje in ocenjevanje znanja pa dajeta informacije o učenčevem znanju celotnega obsega obravnavanih vsebin, medtem ko nam NPZ ponudi objektivno informacijo o delu celotnega znanja, ki so ga učenci usvojili, zato je to dodatna informacija k formativnemu spremljanju napredka učencev. Formativ-no spremljanje pa nam dodatno pove, kako je učenec napredoval, kakšen je njegov osebnostni razvoj in kolikšni meri smo dosegli druge vzgojno-iz-obraževalne cilje (čustvene, socialne in metakognitivne). Za veljavno vrednotenje dosežka in ugotavljanje uspešnosti dela šole moramo dosežek šole pri NPZ analizirati s pomočjo drugih povratnih informacij, ki jih šola pridobiva prek celega šolskega leta. Ugotoviti moramo, kakšno je bilo znanje učencev pred začetkom šolskega leta (in pred vstopom v šolo), kakšne so sposobnosti učencev, kakšni so njihova moti- vacija, interesi, v kakšnem učnem okolju delajo in v kakšnem kulturnem okolju živijo, katere vire imajo na razpolago, kako je potekal učni proces in podobno (projekt Modro oko je področja za samoevalvacijo dobro razdelal). Bečaj (2008: 4) opozarja, da znanje, ki ga učenec pokaže pri NPZ, odraža »kakovost pouka, njegovo osebno motivacijo, domače delo, sposobnosti, ožje okolje, klimo in kulturo na šoli« ^ in »da lahko dosežke uspešno interpretiramo, če imamo pred očmi vse navedene in še druge dejavnike, ki so vplivali na učenčevo prikazano znanje«. Za vrednotenje rezultatov potrebujemo ustrezne referenčne točke (po Štraus, 2005a), ki jih navadno določimo na podlagi ciljev in standardov znanja v učnih načrtih, ali pa primerjalno glede na dosežke učencev primerljivih držav, kot je to pogosteje v mednarodnih raziskavah. Interpretacija tako obsega močna in šibka področja izobraževalnega sistema, na podlagi česar poskušamo ugotoviti vzroke za »dobre« in »slabe« rezultate in izpeljati ukrepe za izboljšanje dosežkov na slabših področjih. Te referenčne, primerjalne točke se nanašajo na zastavljeni nacionalni kurikulum in s tem na splošne in operativne cilje, ki jih želimo doseči, obenem pa ne smemo pozabiti na informacije, ki jih dobimo z drugimi evalvacijskimi postopki. Na podlagi takšnih analiz je mogoče oblikovati integrativni eval-vacijski model uspešnosti učencev, ki bi vključeval vse ravni evalvacije. Na drugi strani pa rezultati mednarodnih raziskav znanja ponujajo primerjavo med nacionalnim kurikulumom in standardi znanja kot dogovorom različnih držav, kaj naj bi otroci v določenem letu starosti že znali (npr. TIMSS) oz. katere kompetence naj bi že razvili (npr. PISA). Odstopanje nacionalnih rezultatov od drugih držav samo po sebi ne pove še ničesar o učinkovitosti šolskega sistema in dela na posameznih šolah. Odstopanje od drugih držav lahko pomeni, da imamo drugačne vrednote in drugačno vizijo o izobraževanju in razvoju otrok kot druge države, česar pa ne moremo vrednotiti. Šele primerjava z državami, ki imajo podobno zastavljen šolski sistem, podoben kurikulum in kulturno okolje, nam lahko pokaže, kako učinkovit šolski sistem imamo. Zato so informacije, ki jih pridobimo iz rezultatov v mednarodnih raziskavah znanja, orientacija o značilnostih šolskega sistema glede na druge sistem in šele nato vrednotna orientacija kakovosti le-tega. Te dejavnike, ki vplivajo na uspešnost in učinkovitost učnega procesa, raziskujejo tako mednarodne raziskave kot samoevalvacija šole. Model ugotavljanja kakovosti po projektu Modro oko razvršča kazalnike na 6 različnih področij: poleg doseganja kurikularnih ciljev ugotavljajo še značilnosti vodenja pouka in vodenja šole, značilnosti učencev in učiteljev ter sodelovanje s starši. Raziskava PISA s spremljajočimi vprašalniki pokrije vsa ta področja in tudi podobne kazalnike kot v modelu samoevalvacije, vendar daje večji poudarek na učenca in njegove značilnosti ter na druge objektivne kazalnike v šolskem okolju, manj pa na samo izvajanje učnega procesa. Raziskava TIMSS prav tako zajame večino omenjenih kazalnikov, vendar daje večji poudarek šolskemu okolju in učnemu procesu kot značilnostim učencev. Kateri dejavniki imajo večji in kateri manjši učinek na učno uspešnost, je pomembna informacija za izvajalce evalvacije, da se lahko osredotočijo na izbrane dejavnike, saj bi v nasprotnem primeru evalvacijski proces postal preobsežen in s tem tudi neobvladljiv. Obenem se moramo zavedati, da rezultati raziskave PISA povedo, kateri dejavniki in v kolikšni meri vplivajo na znanje in kompetence učencev, ki so opredeljene kot pomembne za kasnejše življenje, medtem ko rezultati raziskave TIMSS povedo, kateri dejavniki in v kolikšni meri vplivajo na uspešnost doseganja nacionalnih standardov znanja. Na dilemo, katere dejavnike spremljati, odgovarjajo mednarodne raziskave znanja, ki na velikih in reprezentativnih vzorcih ugotavljajo velikost učinka posameznih dejavnikov na uspešnost učenca. Tako je od evalvacijske skupine na posamezni šoli odvisno, katere dejavnike bo vključila v evalvacij-ski proces in kakšno težo jim bodo dodelili, ali bodo upoštevali morebitne rezultate mednarodnih raziskav ali pa bodo izbrane dejavnike merili sami. Prispevek lahko zaključimo z mislijo Mary Joy Pigozzi (2006: 50): »Vizija kakovosti, ki vključuje različne dimenzije, postavlja standarde. Zaradi splošnih ciljev in osnovnih principov ne obstaja pristop, ki bi bil primeren za vse. Učitelji, šole, skupnosti, sistemi in narodi so odgovorni za določitev, kako bo ta vizija (op. p.: vizija kakovosti) interpretirana in sčasoma uresničena. Pomembno je to, da razumejo, kaj pričakujejo od izobraževanja, in da le-ta izrazijo tako, da bodo merljiva«. Zavedati pa se moramo, da je vpliv evalvacije posameznih ravni na nacionalno šolsko politiko različen (Livingston in McCall, 2005). To pomeni, da evalvacija na ravni šole takoj in neposredno vpliva na proces dela na tej šoli, na nacionalno politiko pa je njen vpliv posreden in izredno počasen. Obratno pa evalvacija na mednarodni ravni takoj in neposredno vpliva na nacionalno šolsko politiko, na šole pa je ta vpliv počasen in posreden. Opombe [1] Primerjave glede na neko normo (npr. dosežke učencev iz drugih držav) imenujemo normativne interpretacije (Hambleton in Sireci, 1997; po Štraus, 2005b). Kriterijske interpretacije pa so pogosto vezane na cilje in standarde v učnih načrtih. [2] Vpliv nove paradigme: kakovostna šola = učeča se organizacija. [3] Nekatere države, kot je na primer Belgija, imajo dva ali več različnih šolskih sistemov. [4] Tj. TIMSS in druge raziskave pod okriljem IEA. [5] Rezultati NPZ v 9. razredu se le v redkih primerih (ko ima več kandidatov na spodnji meji v izbirnem postopku enak seštevek zaključnih ocen iz obveznih predmetov 7., 8. in 9. razreda ter splošnega učnega uspeha v teh razredih in če se starši s tem strinjajo) uporabijo kot selekcijski kriterij za nadaljnje šolanje (Nacionalno preverjanje znanja: informacije za učence in starše, 2007). [6] Res pa je, da starši v praksi velikokrat vpišejo otroka na drugo šolo, če ocenijo, da je »boljša«, kar pa predstavlja eno izmed sistematičnih napak »vzorčenja«. [7] Gre za napake ocenjevalcev (npr. napaka osebne enačbe, ocenjevanje glede na slog odgovarjanja ...), ki pa jih na tem mestu ne bomo obravnavali. Literatura Adams, R., Wu, M. (ur.). PISA 2000 Technical Report. Paris: OECD. Barle, A. (2007). Aktualizacija kakovosti - zarota evalvativne države?. Vodenje v vzgoji in izobraževanju, 5, 2, str. 29-40. Bečaj, J. (2008). Gradivo za pomoč pri analizi dosežkov nacionalnega preverjanja znanja. Ljubljana: Ministrstvo za šolstvo. Pridobljeno dne 10. 3. 2009 s spletne strani http://www.mss.gov.si/fileadmin/mss.gov.si/pageuploads/podrocje/os/ NP2/Analiza_dosezkov_NP2.doc Brejc, M., Trunk, N. (2007). Sistemi vodenja kakovosti - sinergija med notranjo in zunanjo evalvacijo. Vodenje v vzgoji in izobraževanju, 5, 2, str. 41-50. Center za študij edukacijskih politik (2009). Pojmovanje kakovosti v vzgoji in izobraževanju. Pridobljeno dne 1. 3. 2009 s spletne strani http://ceps.pef.uni-lj. si/projekti/slo/kakovost.htm Halton, M.A. (ur.), Smith-Voerman, M. (ur.), Williams, C. (ur.) (2005). Ustvarimo ogledalo za svojo šolo (2005). Ljubljana: Komisija za ugotavljanje in zagotavljanje kakovosti v vrtcih, osnovnih in srednjih šolah ter organizacijah za izobraževanja odraslih. Hopkins, D., Ahtaridou, E. (2007). Zagotavljanje kakovosti v nacionalnih izobraževalnih sistemih. Vodenje v vzgoji in izobraževanju, 5, 2, str. 5-28. Izhodišča za evalvacijo kurikularne prenove vzgoje in izobraževanja v Republiki Sloveniji (1999). Ljubljana: Nacionalna komisija za uvajanje in spremljanje novosti in programov v vzgoji in izobraževanju. Japelj Pavešić, B., Brečko. B.N., Bezgovšek, H., Čuček, M., Kozina, A., Lipovec, A., Magajna, Z., Perat, Z., Vidmar, M. (2005). Slovenija v raziskavi TIMSS 2003: mednarodna raziskava trendov znanja matematike in naravoslovja: TIMSS 2003. Ljubljana: Pedagoški inštitut. Kodelja, Z. (2005). Komparativne edukacijske raziskave in šolska politika. Šolsko polje, 16, 3/4, str. 211-226. Koren, A., Sardoč, M. (2007). Evalvacija programa Mreže učečih se šol: Mreže I. Vodenje v vzgoji in izobraževanju, 5, 3, str. 33-46. Krek, J. (ur.) (1995). Bela knjiga o vzgoji in izobraževanju v Republiki Sloveniji. Ljubljana: Ministrstvo za šolstvo in šport. Van Lakerveld, J., Bauer, C., Williams, C. (2005). Uvod v samoevalvacijo v šoli. V: Ustvarimo ogledalo za svojo šolo. Comenius 3 mreža o samoevalvaciji, str. 7-17. Ljubljana: Komisija za ugotavljanje in zagotavljanje kakovosti v vzgoji in izobraževanju. Livingston, K., McCall, J. (2005). Evaluation: judgemental or developmental? European Journal of Teacher Education, 28, 2, str. 165-178. Maes, B. (2005). V: Ustvarimo ogledalo za svojo šolo. Comenius 3 mreža o samoevalvaciji, str. 18-28. Ljubljana: Komisija za ugotavljanje in zagotavljanje kakovosti v vzgoji in izobraževanju. Medveš, Z. (nosilec projekta) (2004). Kakovost v vzgoji in izobraževanju -samoevalvacija. Pridobljeno dne 5. 3. 2009 s spletne strani: http://www.mss.gov si/fileadmin/mss.gov.si/pageuploads/podrocje/razvoj_solstva/crp/2001/18_ medves1.doc Modro oko: spoznaj, analiziraj, izboljšaj (2001). Ljubljana: Zavod RS za šolstvo. Nacionalno preverjanje znanja: informacije za učence in starše. (2007). Ljubljana: Državni izpitni center. Olson, J. F., Martin, M.O., Mullis, I. V. S. (ur.). (2008). TIMSS 2007 Technical Report. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College. PISA 2006 Technical Report (2009). Pariz, Francija: OECD. Pigozzi, M. J. (2006). What is the 'quality of education'? (A UNESCO perspective). V: Ross, K. N., Genevois, I. J. (ur.).Cross-national studies of the quality of education: planning their design and managing their impact, str. 39-50. Portal Evropske unije. Pridobljeno dne 25. 4. 2006 na svetovnem spletu: http:// europa.eu/index_sl.htm Pravilnik o posodabljanju vzgojno-izobraževalnega dela. Uradni list RS, 13/2003. Protner, E. (2004). Vpliv mednarodnih primerjav znanja na šolski kurikulum. Sodobna pedagogika, 55, 5, str. 6-10. SIQ (2009). Model Kakovost za prihodnost vzgoje in izobraževanja. Pridobljeno dne 1. 3. 2009 s spletne strani http://www.siq.si/Model_Kakovost_za_ prihodnost.1361.0.html Štraus, M. (2004). Mednarodne primerjave kot podlaga za oblikovanje strategije razvoja izobraževalnega sistema. Sodobna pedagogika, 55, 5, str. 12-27. Štraus, M. (2005a). International comparisons of student achievement as indicators for educational policy in Slovenia: evaluating students' achievements. Prospects, 35, 2, str. 187-198. Štraus, M. (2005b). Mejniki znanja v mednarodnih primerjalnih raziskavah. Matematika v šoli, 12, 1-2, str. 2-10. Štraus, M. (2005c). Primerjava med pričakovanimi in izkazanimi dosežki na izbranih nalogah TIMSS 2003 za nižje razrede osnovne šole. Preverjanje in ocenjevanje, 2, 2/3, str. 25-37. Štraus, M. (2006). Pomen in vloga mednarodnih primerjav znanja v vzgoji in izobraževanju. Šolsko polje, 17, 1/2, str. 7-26. Tratnik, M. (2005). Uvodni nagovor: Kakovost v vzgoji in izobraževanju. Komisija za ugotavljanje in zagotavljanje kakovosti. Pridobljeno dne 15. 5. 2008 s spletne strani http://kakovost.ric.si/main.asp?vseb_id=99&vseb_meni=99. Vanhoof, J., Van Petegem, P. (2007). Matching internal and external evaluation in an era of accountability and school development: lessons from a Flemish perspective. Studies in Educational Evaluation, 33, str. 101-119. Vrabič, A., Mali, D. (2008). Poročilo o kakovosti šol v poklicnem in strokovnem izobraževanju. XV. strokovno srečanje ravnateljic in ravnateljev srednjega šolstva, 10.-12. 11. 2008. Pridobljeno dne 5. 3. 2009 s spletne strani http://www. solazaravnatelje.si/datoteke/File/VRABIC_MALI.pdf Vrabič. A., Štravs, F., Papež. M., Mali, D., Logaj, V., Harb, D., Muha, S. (2005). Delo skupine za kakovost na šoli. Priročnik s primeri. Velenje: Skupina za kakovost. Zakon o organizaciji in financiranju vzgoje in izobraževanja (ZOFVI), Uradni list št. 16/07 - UPB5 in Uradni list št. 36/08. ANALIZA RAZLIK V DOSEŽKIH UCENCEV/ DIJAKOV TER ANALIZA PRIMARNIH IN SEKUNDARNIH UČINKOV DRUŽBENIH RAZLIK NA DOSEŽKE UČENCEV/DIJAKOV Slavko Gaber, Veronika Tašner Pedagoška fakulteta, Univerza v Ljubljani Ljubica Marjanovič Umek, Anja Podlesek, Gregor Sočan Oddelek za psihologijo, Filozofska fakulteta, Univerza v Ljubljani Uvod Večina razvitih držav se že leta intenzivno ukvarja z možnostmi zmanjševanja zaostanka učno manj uspešnih učencev/učenk za uspešnejšimi vrstniki/vrstnicami. Pri tem v šolskih sistemih posvečajo posebno pozornost zmanjševanju razlik, ki so posledica družbene neenakosti in nepravičnosti. Vztrajnost ohranjanja razlik Med državami, ki na tej poti vztrajajo že desetletja, je posebej zanimiva Francija. Sodobni razpravljavci namreč opozarjajo na mogoče/verjetne ovire, s katerimi se bodo verjetno po odmiku od koncepta »enostavne enakosti«1 soočile države, ki poskušajo najti pot do oblikovanja šolskih sistemov, ki bodo tako učinkoviti kot tudi pravični.2 Slovenija je, tudi sodeč po rezultatih, ki smo jih dosegli znotraj raziskave PISA 2006, med državami, ki jih pri tem čaka še veliko dela. Kljub dolgotrajnemu ukvarjanju s problemom velikih razlik v dosežkih učeče se populacije in zavesti, da šola pri tem nastopa kot mehanizem reprodukcije socialne neenakosti (npr. Boudon ,1973; Bourdieu in Passe-ron 1964,1970; Duru in Mingat, 1989), so v Franciji ob objavi rezultatov mednarodne raziskave znanja PISA 2006 razočarani ugotavljali, da so rezultati francoskih učenk/učencev v primerjavi z vrstnicami in vrstniki, ki ŠOLSKO POLJE « LETNIK XX (2009) « ŠTEVILKA 1/2 « str. 83-125 prihajajo iz »primerljivo razvitih držav«, ne le zelo povprečni,3 temveč da je Francija tudi manj uspešna pri odpravljanju neenakosti. Ob tej ugotovitvi se v Franciji ne morejo izogniti vprašanju, »zakaj spoprijem z neuspehom, s katerim se ukvarjajo institucije tako na področju strukturnih reform kot tudi na področju stalnega izobraževanja učiteljev, proizvaja dinamiko neenakosti« (Mallet, 2006: 187). Francozom sta prvo razočaranje (streznitev) pripravila Bourdieu in Passeron leta 1964 z objavo Dedičev. »(^) pred objavo Dedičev (...) vprašanje edukacije v Franciji ni predstavljalo niti socialnega problema niti ni bilo predmet znanstvenega preučevanja (...). Šola je bila na sebi nosilka svobode, enakosti in bratstva. Kot osvobajajoča naj bi prispevala k moralni in intelektualni emancipaciji posameznika in k socialni promociji najzaslužnejših (meritants) šolajočih, ne glede na okolje njihovega izvora« (Baudelot, 2004: 187). Po objavi Dedičev pa je bilo vse drugače. Avtorja sta v nasprotju z občim prepričanjem dokazala, da imamo v visokem šolstvu opravka z »nadreprezentiranostjo otrok iz družin, ki so kulturno favorizirane (...), hkrati pa s podreprezentiranostjo otrok, ki izhajajo iz ljudstva« (Troger, 2002: 17). Podatki o socialnem izvoru študentov so namreč tudi v obdobju povečanega vpisa v srednje šole pokazali, da se socialna reprodukcija seli više in se ohranja na ravni terciarnega izobraževanja. Šola torej tudi po drugi svetovni vojni ni niti približno tako pravična, kot sta bili prepričani tako levica kot desnica. To pa še ni bilo vse. Za Francijo, in tudi za vse druge države, je bil pravi šok dejstvo, da je »ta knjiga, v nasprotju z anglosaksonskimi, potegnila sklepe oz. razkrila mehanizme, ki so v temeljih empiričnih podatkov (...), skušala je pojasniti, kolikšen je (...) prispevek šolskega sistema - torej učiteljev - k reprodukciji družbenih delitev« (Bourdieu, 2002: 73).4 Francozi so štiri desetletja po prvem razočaranju in potem, ko so dodatno povečali dostopnost različnih ravni šole, v sistem edukacije uvedli nove elemente skupne šole, spreminjali kurikulum in z mehanizmom šolskih okolišev ter ZEP (zone d'educationprioritaire) poskušali zmanjšati neenakost, doživeli ob objavi rezultatov mednarodne primerjalne raziskave znanja drugo razočaranje. »(^) zdi se, da so prizadevanja v boju proti neenakostim (_) ostala skromna in brez rezultatov (^)« (Caillé, 2006: 16). Skrbi pa še nekaj. Podatki naj bi govorili, da v Franciji do diplome, ki upravičuje upanje na »dobro zaposlitev« - do času primernega kulturnega kapitala - pride le 38 odstotkov generacije. Njihovi podatki tako ne dajejo podlage za optimizem. Položaj ostaja - na spremenjenem področju - podoben onemu iz šestdesetih let prejšnjega stoletja. Razlika pa je v tem, da lahko danes raziskovalci svoje trditve o neustreznosti dosežkov na nacionalni ravni podkrepijo z rezultati že dodobra uveljavljenih mednarodnih primerjav znanja. Pri tem ne ostanejo le pri podatkih, da je na Novi Zelandiji in Švedskem tistih, ki »smejo upati na dobro zaposlitev«, kar 80 %, na Finskem 73 %, na Poljskem in Madžarskem okrog 70 % (prim. ibid.), temveč se opirajo tudi na rezultate raziskav PISA in TIMSS, ki omogočajo veljavne primerjave uspešnosti edukacijskih sistemov in empirično osvetljene analize nacionalnih sistemov. Če Francozi v primerjalnih študijah znanja (npr. PISA, TIMSS, PIRLS) ne spadajo med primere uspešnega zmanjševanja velikih razlik med povprečnim rezultatom in rezultatom socialno prikrajšanih učenk/učencev, pa so nordijske države že nekaj let zgled manjše stopnje šolske reprodukcije socialnih razlik (gl. Erikson in Jonsson,1996). Mednarodne raziskave in dosežki v znanju Mednarodne primerjalne raziskave znanja imajo posebno vlogo tudi v novonastalih oz. posocialističnih državah. Ob številnih, vsem državam skupnih vlogah - opisovanje, benchmarking, opazovanje, razsvetljevanje, razumevanje in mednacionalno raziskovanje (prim. Howie in Plomb, 2005: 76) - naj bi v teh državah tovrstne raziskave opravile še vlogo »vključevanja pred tem izključenih in izoliranih šolskih sistemov v globalno razpravo o edukaciji in razvoju človeka« (ibid.: 77). Slovenija je na pot kontinuirane primerjalne »razprave o edukaciji« stopila še v času starega režima.5 Da bi primerjali znanje slovenskih učencev in učenk z znanjem vrstnic in vrstnikov v drugih državah, so na Pedagoškem inštitutu v Ljubljani že v letih 1989, 1990 začeli preizkušati metodologijo primerjalnih raziskav znanja.6 Rezultati raziskave TIMSS 1995, ki je bila izvedena na področju matematike in v kateri je med 40 državami sodelovala tudi Slovenija, so bili eno od pomembnih vodil pri prenovi učnih načrtov za matematiko v drugi polovici devetdesetih let. Slovenski 13-letniki so dosegli povprečen rezultat, podoben kot vrstniki v Franciji, na Madžarskem in Irskem, vendar slabši kot v Švici, na Češkem, Slovaškem, v Belgiji, Koreji in Singapurju, pri čemer je bil rezultat 13-letnikov, ki so bili v 7. in ne 8. razredu in so torej šolo obiskovali eno leto manj kot večina vrstnikov in vrstnic v primerjanih državah, za več kot 40 točk nižji (TIMSS, 1995). Izsledki so med strokovnjaki spodbudili razmislek o potrebnosti sprememb in matematična stroka se je pri tem odločila za previdne spremembe, tudi zato, ker so »pretekle izkušnje in izkušnje drugih držav pokazale, da so radikalne spremembe tvegane in pogosto niso prinesle želenih rezultatov« (Howie in Plomb, 2005: 90). Izsledki mednaro- dnih primerjalnih raziskav znanja so tako v obdobju spreminjanja šolskega sistema v sredini devetdesetih let odločilno prispevali k vključevanju primerjalnih rezultatov v premislek o spremembah edukacije v Sloveniji in, kar je morda še pomembneje, prispevali so k zavedanju o vpetosti šolskega sistema v mednarodno šolsko polje. Slovenija je obsežno reformo v devetdesetih, tudi zaradi mednarodnih raziskav znanja, izvedla na podlagi spremljanja in primerjanja razvoja edukacijskih sistemov v drugih državah. Izsledke je uporabila tako pri pripravi sistemskih rešitev (primerjava struktur in logike sistemov) kot pri vsebinski prenovi. Obvezna je bila primerjava z najmanj tremi kurikuli oz. učnimi načrti na posameznih predmetnih področjih, in sicer s šolskimi sistemi, v katerih so učenci/učenke dosegali visoke rezultate. Hkrati pa nas dejstvo, da kljub dolgoletni udeležbi v mednarodnih primerjalnih raziskavah znanja danes praviloma ne zmoremo dovolj kakovostno in korektno uporabiti osnovnih rezultatov raziskav in imamo narejenih (pre) malo sekundarnih analiz, opozarja na zapletenost in celovitost navedenih raziskav. V času, ko v Sloveniji opažamo navdušenje nad dosežki PISA 2006 in ko avtorji mednarodne raziskave PIRLS 2006 boljše dosežke v Sloveniji opisujejo kot pričakovane prav zaradi šolske reforme, ki je potekala od leta 2001 do leta 2006 (PIRLS, 2006: 43), želimo z ugotovitvami, prikazanimi v prispevku, opozoriti tudi na nujnost razprave o dosežkih slovenskega šolskega sistema, povezanih z družbeno reprodukcijo socialne neenakosti. Z uporabo kategorialnega aparata Bourdieuja, Boudona, Bernstei-na, Goldthorpa, Sena in Rawlsa bomo povezovali koncepte in empirične podatke, ki omogočajo vpoglede v polje razlik in družbene reprodukcije socialne neenakosti, razumljene kot neutemeljene in kot nepravične. V večjem delu prispevka bomo stanje v Sloveniji primerjali z dosežki na Norveškem, Finskem in v Estoniji, po potrebi tudi s povprečnim dosežkom držav OECD. Izbrane države spadajo v nabor razvitih in tudi po številu prebivalstva s Slovenijo še primerljivih evropskih držav. Pri izbiri držav, ki jih vključujemo v primerjave, smo se odločili za dve državi, ki sta uveljavljeni in stabilni predstavniški demokraciji (Norveška in Finska), ter dve »novi demokraciji« (Estonija in Slovenija). Zanimalo nas je, ali se lahko šolski sistemi »novih demokracij« uspešno kosajo z uveljavljenimi in tudi finančno bogatimi »starimi demokracijami«. Posebej nas je zanimalo, kako se izbrane države spoprijemajo z zahtevo po zmanjševanju vpliva socialnega izvora učencev/dijakov na njihove dosežke, torej vprašanje pravičnosti. Razlike v dosežkih učencev/dijakov - posebej razlike v dosežkih med šolami in v šolah Avtorice in avtorji raziskave PISA 2006 zatrjujejo, da je želja »ustreči potrebam različnih učencev in zmanjšati razlike v njihovih dosežkih (_) veličasten izziv za vse države« (PISA 2006/I, 170). Rezultati mednarodne primerjalne raziskave pa kažejo, da so razlike v naravoslovnih dosežkih učencev/ učenk med državami zelo velike. Na področju naravoslovja so bile s 563 točkami najuspešnejše učenke/učenci na Finskem, najmanj uspešne pa učenke/učenci v Kirgiziji, ki so dosegli le 322 točk. Tudi razlike med državami, ki smo jih za primerjavo izbrali v pričujoči študiji, so velike: norveški učenke/učenci so dosegli 76 točk manj kot finske učenke/učenci.7 Tabela 1: Dosežki učenk/učencev na področju naravoslovja v državah, nih v raziskavo PISA 2006 (povzeto po PISA 1, 2006). Finska 563 Islandija 491 Hong Kong - Kitajska 542 Latvija 490 Kanada 534 Združene Države 489 Kitajski Tapei 332 Slovaška 488 Estonija 531 Španija 488 Japonska 531 Litva 488 Nova Zelandija 530 Norveška 487 Avstralija 527 Luksemburg 486 Nizozemska 525 Rusija 479 Liechtenstein 522 Italija 475 Koreja 522 Portugalska 474 Slovenija 519 Grčija 473 Nemčija 516 Izrael 454 Združeno Kraljestvo 515 Čile 438 Češka 513 Srbija 436 Švica 512 Bolgarija 434 Makao - Kitajska 511 Urugvaj 428 Avstija 511 Turčija 424 Belgija 510 Jordanija 422 Irska 508 Tajska 421 Madžarska 504 Romunija 418 Švedska 503 Črna Gora 412 Polska 498 Mehika 410 Danska 496 Indonezija 393 Francija 495 Argentina 391 Hrvaška 493 Brazilija 390 Kolumbija 388 Tunizija 386 Azerbajdžan 382 Katar 349 Kirgizistan 322 Vprašanje razlik med dosežki učencev/dijakov je zahtevno vprašanje, h kateremu se bomo v nadaljevanju še vračali.8 Razlike med dosežki učencev/dijakov imajo lahko različne razloge, med drugim so povezane tudi s šolskimi sistemi v posameznih državah. Slika 1: Razlike med dosežki učencev/dijakov med šolami in znotraj šole (PISA 1, 171). Varianca v naravoslovnih dosežkih učencev med šolami in znotraj šo Izražena v odstotku povprečne variance v dosežkih učencev v državah OECD Skupna varianca med šolami Skupna varianca znotraj šol ^H Varianca med šolami, ki je pojasnjena ^H Varianca znotraj šol, ki je pojasnjena z indeksom ekonomskega, socialnega in z indeksom ekonomskega, socialnega in kulturnega statusa učencev in šol kulturnega statusa učencev in šol Varianca med šolami Varianca znotraj šol Bolgarija Nemčija Slovenija Češka Avstrija Madžarska Nizozemska Hongkong-Kitajska Hrvaška Tunizija Koreja Kirgizstan Luksemburg ZDA Portugalska Tajska Mehika Litva Kolumbija Rusija Velika Britanija Črna gora Nova Zelandija Avstralija Jordanija Indonezija Macao-Kitajska Azerbajdžan Kanada Irska Estonija Danska Latvija Španija Poljska Švedska Norveška Slovenija je med tistimi državami, v katerih je celotna varianca med dosežki 15-letnih učencev/dijakov (izražena v odstotkih povprečne variance, ki so jo dosegli učenci/dijaki v državah OECD, in je 100) nad povprečjem (107,3 %), v preostalih treh primerjanih državah pa pod povprečjem: na Norveškem je 99,1 %, na Finskem 81,4 %, v Estoniji pa 77,9 %. Kot je razvidno s Slike 1, je v Sloveniji varianca v dosežkih učencev/dijakov, ki jo lahko pripišemo šoli, visoka (64,8 %), višja, kot je povprečje držav OECD (33,0 %), in višja kot v Estoniji (16,0 %), na Norveškem (9,9 %) in na Finskem (4,7 %). Varianca, ki jo lahko pripišemo učencem/dijakom, torej varianca znotraj šole, pa je v Sloveniji nižja (42,8 %), kot velja za povprečje OECD (68,1 %), in nižja, kot je v Estoniji (61,5 %), na Finskem (76,6 %) in na Norveškem (88,8 %). Na Sliki 1 so prikazani tudi deleži variance, ki jo na ravni šole in na ravni učenca/dijaka lahko pojasnimo z indeksom socialnega, ekonomskega in kulturnega statusa učenca/dijaka in šole. Izračuni, narejeni na celotno varianco, kažejo, da lahko v Sloveniji pojasnimo z navedenim indeksom manj variance med šolami (6,2 %) in znotraj šol (0,3 %), kot je povprečje OECD (med šolami: 7,2 % in znotraj šol 3,8 %), in več variance med šolami in manj znotraj šol kot na Finskem, Norveškem in v Estoniji. V prvem delu sekundarne študije bomo posebej primerjali varianco v dosežkih med šolami in znotraj šol v državah, ki smo jih zaradi že navedenih razlogov vključili v našo študijo.9 Izračunali bomo tudi, kolikšen del variance v dosežkih med šolami in v šoli lahko pojasnimo z izbranimi napovedniki.10 Pri analizi povezav med napovedniki in dosežki na PISI smo uporabili dvonivojske hierarhične linearne modele, in sicer program HLM 6.02 (Raudenbush, Bryk, Cheong in Congdon, 2005).11 Tabela 2: Odstotki pojasnjene variance dosežkov med šolami brez napovedni-kov ter med šolami in znotraj šole z vključenimi napovedniki po državah. Napovedniki: PPS, ESKS, MI ICC R2 (šola) R2 (uč.) Estonija 0,23 0,31 0,14 Finska 0,05 0,15 0,25 Norveška 0,08 0,44 0,23 Slovenija 0,67 0,24 0,05 Opombe: ICC = odstotek variance dosežkov na ravni šole v ničelnem modelu, torej brez napovednikov;12 R2 (šola) = odstotek variance na ravni šole, ki ga pojasnijo vsi napovedniki skupaj; R2 (uč.) = odstotek variance na ravni učenca/dijaka, ki ga pojasnijo vsi na-povedniki skupaj. Slika 2: Prikaz nepojasnjene in pojasnjene variance na ravni šole in učenca/dijaka po državah 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% ■ poj.var.dijak □ nep.var.dijak □ poj.var.šola □ nep.var.šola Estonija Finska Norveška Slovenija Pikčast vzorec se nanaša na raven šole, črtkast pa na raven učenca/dijaka. Gostejši vzorec pomeni pojasnjeno varianco. Na Sliki 2 si torej od spodaj navzgor sledijo: nepojasnjena varianca na ravni šole, pojasnjena varianca na ravni šole, nepojasnjena varianca na ravni učenca/dijaka, pojasnjena varianca na ravni učenca/dijaka. V Sloveniji je primerjalno z vključenimi državami, kar kažejo že izračuni vzporedne študije PISA 2006 (Slika 1), varianca med šolami največja. Ko v model vključimo ESKS, motivacijo in aspiracije učencev/dijakov, ne pa izobraževalnih programov, pojasnimo v Sloveniji med šolami 24 % variance v dosežkih, kar je manj kot na Norveškem (44 %) in v Estoniji (31 %) ter več kot na Finskem (15 %). Znotraj šole (ta varianca je v Sloveniji primerjalno s preostalimi tremi državami najmanjša) lahko v Sloveniji z navedenimi napovedniki pojasnimo zelo majhen delež variance dosežkov v šoli (5 %) - ta je manjši kot v preostalih treh primerjanih državah. Glede na navedene napovednike se torej dosežki slovenskih učencev/dijakov, pa tudi povprečni dosežki šol, ne razlikujejo veliko, kar pomeni, da je njihova varianca v dosežkih povezana še z drugimi dejavniki. Slika 3: Prikaz deležev variance posameznih napovednikov, ki odpadejo na raven šole v vseh štirih državah. PPS = pričakovani poklicni status; MI = motivacijski indeks; ESKS = ekonomski, socialni in kulturni status 0,60 0,50 0,40 0,30 0,20 Q 0,10 0,00 Ë ■ Estonija □ Finska □ Norveška □ Slovenija PPS ESKS Napovednik S Slike 3 lahko razberemo, da v Sloveniji, ko jo primerjamo s preostalimi tremi državami, odpade na raven šole največji delež variance ESKS, sledijo ji Estonija, Norveška in Finska. Ne glede na to pa se šole v Sloveniji najbolj ne razlikujejo po ESKS, tako kot v vseh preostalih treh primerjanih državah, temveč po aspiracijah oz. pričakovanem poklicnem statusu (PPS) učencev/dijakov, najmanj pa po motivaciji učencev/dijakov (MI). Na Finskem lahko, primerjalno s preostalimi državami, pojasnimo z ESKS najmanjši delež variance na ravni šole, vendar se hkrati šole na Finskem med seboj najbolj razlikujejo po ESKS, nato po PPS ali MI. Tabela 3 : Regresijski koeficienti za posamezne napovednike po državah in njihova statistična značilnost Država Napove-dnik b p P Estonija PPS 1,07 0,25 0,000 MI 12,43 0,13 0,000 ESKS 14,04 0,14 0,000 Finska PPS 1,12 0,26 0,000 MI 22,96 0,27 0,000 ESKS 15,58 0,15 0,000 Norveška PPS 1,13 0,24 0,000 MI 21,61 0,28 0,000 ESKS 18,81 0,16 0,000 Slovenija PPS 0,42 0,07 0,001 MI 12,44 0,13 0,000 ESKS 8,89 0,08 0,000 Opombe: b = nestandarizirani regresijski koeficient na ravni učenca; p = standardizirani regresijski koeficient na ravni učenca, s katerim lahko primerjamo relativno pomembnost napovednikov. V prvem stolpcu Tabele 3 vidimo, da lahko npr. v Sloveniji v primeru, da imajo učenci/dijaki enake aspiracije in enak motivacijski indeks, enota ESKS »prinese« 8,89 točke razlike v dosežku, precej več na Norveškem (18,81) in tudi na Finskem ter v Estoniji. V drugem stolpcu pa vidimo, da ima npr. v Sloveniji največji neodvisni prispevek k napovedovanju dosežka MI, sledita ESKS in PPS. V nobeni državi nima največjega neodvisnega prispevka k napovedovanju dosežka ESKS, gledano primerjalno med državami pa ima ESKS največji neodvisni prispevek napovedovanju dosežka na Norveškem. Kot kaže, je v Sloveniji ESKS povezan zlasti z vključitvijo učenk/učencev v različne izobraževalne programe, ko pa so dijakinje/dijaki že vključeni v programe, pa sicer ostaja ESKS še vedno pomemben napovednik dosežkov, vendar k dosežkom prispeva manj kot npr. motivacija ali aspiracije dijakov/dijakinj. Varianca v dosežkih, ki jo pripišemo ravni dijakov/dijakinj, je v Sloveniji majhna in z vključenimi napovedniki lahko pojasnimo majhen delež razlik v dosežkih. Vloga izobraževalnih programov Pri interpretaciji velike variance v dosežkih slovenskih učencev/dijakov med šolami seveda ne moremo mimo vloge izobraževalnih programov. V nadaljevanju smo postavili delovno hipotezo, da bo vključitev izobraževalnih programov v model pomembno spremenila velikost variance v dosežkih učencev/dijakov med šolami. Menimo, da avtorice in avtorji spremne študije PISA 2006, v kateri interpretirajo dosežke v različnih državah z vidika kakovosti in pravičnosti, spregledajo vlogo izobraževalnih programov in različne časovne točke, v katerih se učenke/učenci v različnih državah razdelijo v različne izobraževalne programe. »Tiha predpostavka« razlagalcev rezultatov v navedeni študiji je, da gre za dve vrsti šolskih sistemov: tiste, ki zgodaj (prezgodaj?) razlikujejo otroke v različne izobraževalne programe, in tiste s skupno obvezno šolo. Zdi se, da je opredeljena premalo natančno, saj pušča ob strani dejstvo, da se šolski sistemi, ki temeljijo na skupni šoli, delijo na tiste, v katerih so bile učenke/učenci ob preverjanju znanja že vključeni v srednješolske programe (Slovenija), in tiste, v katerih so bili še vsi učenci/ učenke v času preverjanja znanja v osnovni šoli in so se šele na začetku naslednjega šolskega leta vključili v srednješolske programe (Norveška, Finska, Estonija). Prav ta razlika v šolskem sistemu, čeprav je ne moremo primerjati z razliko v tistih šolskih sistemih, v katerih poznajo zgodnjo zunanjo diferenciacijo, npr. v Nemčiji in Avstriji ali na Nizozemskem,14 verjetno pomembno prispeva k varianci dosežkov med šolami. Predpostavljamo torej, da je v Sloveniji, podobno kot npr. v Bolgariji, na Češkem in Madžarskem, velika varianca v dosežkih učencev/dijakov med šolami v veliki meri povezana z dejstvom, da je večina 15-letnikov že vključena v različne srednješolske izobraževalne programe. V naši sekundarni študiji smo zato na podlagi podatkov za slovenske učence/dijake posebej izračunali, kakšna je varianca dosežkov na ravni šole in na ravni učencev/dijakov znotraj posameznih izobraževalnih programov. Analiza je bila narejena na bazi podatkov, ki je vključevala 4387 učencev/dijakov (ker je bil N učencev v osnovnih šolah majhen, moramo biti pri zaključevanju glede programa 1 previdni, saj so ocene parametrov v modelih manj stabilne). Poleg že opisanih spremenljivk, ki smo jih definirali pri primerjavi Slovenije z Norveško, s Finsko in z Estonijo, smo v ta del študije vključili še izobraževalne programe, spol in šolske ocene.15 Tabela 4: Delež variance dosežkov dijakov v raziskavi PISA 2006 na ravni šole v ničelnem modelu in delež z napovednikipojasnjene variance na posamezni ravni analize. Vključeni v analizo Število šol, vključenih v analizo Število dijakov, vključenih v analizo Delež variance na ravni šole v ničelnem modelu R2 (skupaj) R2 (šola) R2 (dijak) vsi programi 317 4387 0,61 0,59 0,89 0,11 program 1 21 35 0,21 0,39 0,69 0,31 program 3 93 1056 0,17 0,07 0,02 0,08 program 4 109 1616 0,22 0,12 0,28 0,07 program 5 39 612 0,20 0,20 0,34 0,17 program 6 55 1068 0,24 0,22 0,39 0,17 Opombe. R2 (skupaj) predstavlja delež celotne variance dosežkov dijakov, ki je pojasnjen z napovedniki. R2 (šola) predstavlja delež variance na ravni šole, ki je pojasnjen z na-povedniki, R2 (dijak) pa delež variance na ravni dijaka, ki je pojasnjen z napovedniki. Program 1 je program osnovne šole, 3 program srednjega poklicnega izobraževanja, 4 program tehničnega oz. strokovnega srednjega izobraževanje, 5 program strokovne gimnazije in 6 program klasične/splošne gimnazije. V Tabeli 4 vidimo, da je delež variance dosežkov učencev/dijakov, ki jo lahko pripišemo razlikam med šolami, najvišji (61 %), ko so v izračun vključeni vsi učenci/dijaki iz vseh izobraževalnih programov. Preostali delež variance dosežkov, torej 39 %, lahko pripišemo individualnim razlikam med učenci/dijaki. Tretji stolpec v Tabeli 4 nam pove, da je 89 % od variance na ravni šole pojasnljive z napovedniki. To pomeni, da lahko 55 % celotne variance (89 % od 61%) dosežkov učencev/dijakov pojasnimo z napovedniki na ravni šole. Dobršen del variance dosežkov torej predstavljajo razlike med šolami (ko gre za šole, neodvisno od izobraževalnih programov), ki jih v analize vključeni napovedniki zmorejo precej dobro pojasniti. Analizo celotne variance na dele, ki jih lahko pripišemo razlikam med šolami in individualnim razlikam med dijaki iz vseh izobraževalnih programov in v posameznih programih ter jih napovedniki pojasnjujejo ali pa ne pojasnjujejo, prikazuje Slika 4. Slika 4: Razstavljanje variance dosežkov dijakov na z napovedniki pojasnjeni (R2(šola)) in nepojasnjeni (nep.var.(šola)) del, ki ga lahko pripišemo razlikam med šolami, in na pojasnjeni (R2(dijak)) in nepojasnjeni (nep.var.(dijak)) del, ki ga lahko pripišemo razlikam med učenci/dijaki, kadar v analize vključimo dijake vseh petih analiziranih programov in učenke/dijake v vseh programih. SS C n > « 10 ■o o 100% n 90% -80% -70% -60% -50% -40% -30% -20% -10% -0% □ nep.var.(dijak) □ R2(dijak) ■ nep.var.(šola) ■ R2(šola) vsi 1 3 4 5 izobraževalni program Številka 1 je program osnovne šole, 3 program srednjega poklicnega izobraževanja, 4 program tehničnega oz. strokovnega srednjega izobraževanje, 5 program strokovne gimnazije in 6 program klasične/splošne gimnazije. V vseh izračunih, razen v izračunu, ki prikazuje združene učence/dijake v vseh izobraževalnih programih skupaj (zgolj temu podoben izračun je bil opravljen v okviru raziskave PISA 2006, prim. Sliko 1), je varianca dosežkov, ki jo pripišemo razlikam med šolami, manjša kot varianca, ki jo pripišemo razlikam med učenci/dijaki. Če primerjamo variance dosežkov, ki jih lahko v ničelnem modelu pripišemo šolam znotraj posameznih programov, vidimo, da so variance podobne v programih 1, 4 in 5 (od 20 % do 22 %) in da je varianca najnižja v programu 3 (17 %) ter najvišja v programu 6 (24 %). Navedene razlike bi kazalo podrobneje analizirati tudi v luči ugleda, ki ga posamezni izobraževalni programi uživajo, in glede na državno regulirane vpisne politike, ki sodoločajo večje ali manjše razlike v dosežkih med šolami. Tako ne čudi, da so razlike med šolami najvišje v izobraževalnem programu splošne in klasične gimnazije. Za ta program je značilna delitev šol na tiste, na katere je mogoč vpis le ob doseganju visokega števila točk v osnovni šoli, in na tiste (gimnazije zunaj Ljubljane, Maribora in občasno Celja), na katere je vpis prost. Pri tem kandidatke in kandidati s preferencami dobesedno razvrstijo gimnazije v vrsto od najbolj želene do najmanj. Željam v pomembni meri sledi tudi dejanska kakovost dosežkov na teh gimnazijah.16 Tako se na eni strani oblikujejo bolj ali manj elitne gimnazije, na drugi strani pa gimnazije z običajno razporeditvijo prijav in vpisa. Pri označitvi vpisa kot običajnega smo seveda že vključili t. i. sekundarni učinek socialnega izvora na dosežke učencev/dijakov, o katerem bomo sicer razpravljali v nadaljevanju. Če bi bil cilj šolske politike le zmanjšati razlike v dosežkih učencev/dijakinj med šolami, bi zelo verjetno, ko gre za gimnazije, že odprava obstoječega vpisnega postopka v omenjenih treh gimnazijskih središčih zmanjšala varianco v dosežkih med šolami. Sicer so si šole glede dosežkov učencev/dijakov najbolj podobne v programu srednjega poklicnega izobraževanja (3). Varianco, ki jo lahko pripišemo šolam znotraj osnovnošolskega programa, je treba interpretirati z veliko previdnostjo, saj je bilo v vzorcu 21 osnovnih šol z zelo majhnim številom učencev. V podobnih raziskavah (gl. Marjanovič Umek, Sočan in Bajc, 2006a, 2006b) se je pokazalo, da so bile razlike med šolami znotraj osnovnošolskega programa nižje.17 Enaindvajset odstotkov variance, ki jo po izračunih v sekundarni analizi lahko pripišemo šolam znotraj osnovnošolskega programa, je nižji delež, kot je povprečje OECD v raziskavi PISA 2006 (33 %), še vedno pa višji kot v državah, s katerimi smo se primerjali in imajo vse učenke/učence v času preizkušanja znanja vključene v osnovno šolo. Z vključenimi napovedniki lahko pojasnimo relativno velik delež celotne variance (59 %) v dosežkih učencev/dijakov med šolami, ko gre za vse izobraževalne programe, in relativno velik delež tudi v osnovnošolskem programu (39 %).1® V vseh programih, z izjemo programa 3, lahko z vključenimi napovedniki pojasnimo večji delež variance med šolami kot znotraj šol, in sicer lahko npr. v osnovnošolskem programu na ravni šole pojasnimo 69 % variance v dosežkih učencev, znotraj šole pa 31 %; v programu splošne gimnazije pa na ravni šole 39 %, znotraj šole pa 17 %. Dosežki učencev/dijakov se glede na vključene napovednike (glej stolpec R2(šola) v Tabeli 4) najbolj razlikujejo med šolami v osnovnošolskem programu, sledijo pa programi splošne/klasične gimnazije, strokovne gimnazije, srednjega strokovnega izobraževanja in srednjega poklicnega izobraževanja. V vseh programih lahko znotraj šole z vključenimi napovedniki pojasnimo relativno majhen delež variance v dosežkih (največ v osnovnošolskem programu, in sicer 31 %). Povedano drugače: v Sloveniji se glede napovednikov šole znotraj posameznih izobraževalnih programov med seboj bolj razlikujejo, kot se razlikujejo učenci/dijaki znotraj posameznih šol. Delež celotne variance v dosežkih učencev/dijakov, ki jo pojasnimo z vključenimi napovedniki na ravni šol v posameznih srednješolskih programih, je relativno velik, saj moramo upoštevati, da so se učenci glede na ESKS, motivacijo in aspiracije že vključevali v posamezne programe. Tovrstni rezultati govorijo v prid potrebi po sistematični analizi drugih dejavnikov, ki ob aspiracijah in motivaciji učencev/ dijakov, socialnem, ekonomskem in kulturnem zaledju družin prispevajo k pojasnitvi nepojasnjenega dela variance v dosežkih med šolami (npr. organizacija dela na šoli, kakovost pouka, družinska etika, odnos do dela). Različni napovedniki nekoliko različno napovedujejo dosežke učencev/ dijakov v raziskavi PISA 2006 v različnih izobraževalnih programih (Tabela 3 v Prilogi). Dosežek osnovnošolk in osnovnošolcev statistično pomembno napovedujeta spol (ob konstantnih vrednostih drugih napovednikov v modelu učenci dosegajo za 60,9 točke višje rezultate od učenk) in PPS (porast PPS za eno enoto - SD oz. standardni odklon - pomeni porast za 2,8 točke). Dosežek dijakinj in dijakov, vključenih v srednje poklicno izobraževanje, statistično pomembno napovedujejo spol (dijaki dosegajo 24,9 točke več kot dijakinje), MI (porast MI za eno SD pomeni porast v dosežku za 9,1 točke) in ŠON (porast za eno oceno pomeni porast za 13 točk). Ob konstantnih vrednostih drugih napovednikov dosegajo dijaki statistično pomembno višje rezultate od dijakinj tudi v preostalih treh izobraževalnih programih (za približno od 20 do 40 točk). V njih dosežek statistično pomembno napovedujeta tudi motivacijski indeks in povprečje šolskih ocen iz matematike in slovenščine. Za strokovne gimnazije in klasične/splošne gimnazije pa je značilno, da dosežek statistično pomembno napoveduje tudi ESKS. V prvih se ob zvišanju ESKS za eno SD dosežek zviša za 9,6 točke, v drugih pa za 5,9 točke. Če pogledamo glavne učinke napovednikov pri vseh učencih/dijakih, vključenih v vzorec (Tabela 4 v Prilogi), vidimo, da povprečni dosežki dijakov z zahtevnostjo programa naraščajo. Vsi dijaki, razen tisti iz srednjega poklicnega izobraževanja, dosegajo statistično pomembno višje rezultate kot osnovnošolci. Na splošno ima na dosežek pri preizkusu naravoslovne pismenosti učinek tudi spol (dijaki dosegajo višje število točk od dijakinj, in sicer za 29 točk). Dosežek pa statistično pomembno napovedujejo tudi ESKS (če se ESKS zviša za eno SD, se dosežek zviša za 5,1 točke), MI (porast za eno SD pomeni porast v dosežku za 10,1 točke), ŠON (porast za eno oceno pomeni porast v dosežku za 8,2 točke) in ŠOMS (porast za eno oceno pomeni porast v dosežku za 17,4 točke). Povezave teh dejavnikov z dosežki so pozitivne. Višja kot je vrednost na posameznem napovedniku, višji je dosežek. Če bi rezultate, ki v spremni študiji PISA 2006 kažejo, kaj na ravni razlik v dosežkih učencev/dijakov med šolami in razlik znotraj šole pomeni ena enota ESKS, interpretirali ne glede na dejanske razlike v šolskih sistemih (nekaj smo jih že opisali), bi dobili precej izkrivljeno sliko o bolj ali manj pravičnih šolskih sistemih. Avtorice in avtorji spremne študije skupne razlike v dosežkih učencev/dijakov, povezane z ESKS, razdelijo na tiste, ki jih lahko pripišemo razlikam v dosežkih med šolami, in na tiste, ki jih lahko pripišemo razlikam med dosežki znotraj šole. Na ravni razlik med šolami je povprečna razlika v državah OECD, ki je povezana z eno enoto ESKS, 64 točk, na ravni razlik med učenci/dijaki, torej znotraj šol, pa 21 točk. V Sloveniji so rezultati precej drugačni: razlika v dosežkih, ki je povezana z eno enoto ESKS in jo lahko pripišemo razlikam znotraj šol, je 7 točk, razlika med dosežki učencev/ dijakov, povezana z eno enoto ESKS, ki jo pripišemo razlikam med šolami, pa je 121 točk. Če bi v Sloveniji interpretirali zgolj podatek o razlikah znotraj šol (7 točk, ki jih prinese ena enota ESKS), ne da bi upoštevali razlike v variancah, ki jih pripišemo razlikam med šolami ali znotraj šol v različnih državah, bi nas ta lahko navedel k sklepanju, da šole v Sloveniji uspešneje kot šole na Finskem, Norveškem in v Estoniji in tudi uspešneje, kot velja za povprečje države OECD, zmanjšujejo tiste razlike v dosežkih znotraj šol, ki so povezane z ESKS. Slovenija bi se ob tovrstni razlagi med primerjanimi državami uvrstila med države z najpravičnejšim šolskim sistemom. Tovrstno posploševanje se zaplete ob 121 točkah, ki so povezane z eno enoto ESKS na ravni razlik med šolami, ko v varianci niso upoštevani izobraževalni programi, in kaže, kako je sklepanje lahko prehitro in s tem ne dovolj natančno, če v razmisleku niso upoštevane razlike v šolskih sistemih. Ko smo v naših izračunih v model na drugi stopnji vključili izobraževalne programe (privzeli smo sicer majhno časovno razliko enega leta v prehodu iz skupnega v »razlikovalno« izobraževanje), smo ugotovili, da so variance v dosežkih učencev/učenk, ki jih pripišemo razlikam med šolami, izobraževalni programi niso upoštevani. S tem se spremeni tudi delež variance v dosežkih učencev/dijakov na ravni šole. Tovrstne izračune pa bi, če bi se želeli dejansko primerjati s povprečjem držav OECD, potrebovali tudi za druge države, v katerih se učenci/učenke vključujejo v srednješolske programe med štirinajstim in petnajstim letom starosti. Še več: verjetno bi bilo treba rekonceptualizirati celoten pristop k obravnavi razlik v dosežkih med šolami in znotraj šol. To je seveda že novo vprašanje. Za zdaj lahko le ugotovimo, da so razlike v naravoslovnih dosežkih slovenskih učencev/dijakov med šolami v veliki meri rezultat vključitve v različne izobraževalne programe, v katere so se vključili približno šest mesecev pred preverjanjem znanja. Razlike v dosežkih med šolami pa tudi niso primerljive z razlikami v dosežkih med šolami v tistih državah, v katerih poteka zgodnja zunanja diferenciacija. Povedano drugače: v okviru mednarodne primerjalne raziskave znanja PISA 2006 bi moral biti model, če naj bi omogočal neposredne primerjave v dosežkih učencev/dijakov med državami, izdelan tako, da bi upošteval specifičnosti šolskih sistemov, ki lahko pomembno učinkujejo na prikazane rezultate. V Sloveniji pa bi bilo treba nadaljevati z ugotavljanjem razlogov za razlike v dosežkih učencev/dijakov tako na ravni šole kot na ravni učencev/dijakov, saj z napovedniki, ki smo jih vključili v našo študijo, precejšnega dela variance v dosežkih nismo uspeli pojasniti. Vpliv posameznih napovednikov na dosežke učencev/dijakov pa bi verjetno veljalo analizirati tudi s pomočjo analize poti, ki bi pokazala, kako dejansko posamezni napovedniki vplivajo na učenčev/dijakov dosežek. Socialni, ekonomski in kulturni status učencev ter njihovi dosežki Ugotovitve domačih in tujih raziskovalcev (npr. Burchinal idr., 2002; Johnson, McGue in Iacono, 2006; Marjanovič Umek, Sočan in Bajc, 2006a, 2007; Toličič in Zorman, 1977) o tem, da imajo učenci/dijaki staršev z nižjim ESKS v povprečju nižje ocene kot njihovi vrstniki, katerih starši imajo višji ESKS, so poznane že desetletja. Tudi v naši sekundarni študiji smo v delu analize, ki se nanaša na Slovenijo, potrdili statistično pomemben glavni učinek ESKS, ko so bili učenci/dijaki združeni ne glede na izobraževalne programe in tudi posebej v programih strokovne in splošne oz. klasične gimnazije. V preostalih programih učinek ESKS na dosežke ni bil statistično pomemben. Statistično pomemben pa je učinek ocene, v katerega so, kot potrjujejo rezultati drugih raziskav, že vgrajene tudi razlike v intelektualnih sposobnostih in govorni kompetentnosti otrok/mladostnikov ter razlike v osebnostnih značilnostih. Nekateri raziskovalci (npr. Johnson idr., 2006) tudi menijo, da so otrokove/mladostnikove visoke intelektualne sposobnosti zaščitni dejavnik učne uspešnosti, če ti prihajajo iz manj spodbudnega družinskega okolja; nekateri drugi (npr. Gutman, Sameroff in Cole, 2003) pa trdijo, da visoke intelektualne sposobnosti ne morejo kompenzirati negativnega učinka manj spodbudnega družinskega okolja v celotnem izobraževalnem obdobju, ker se s posameznikovo starostjo veča tudi učinek drugih dejavnikov, kot so npr. učne navade, vrstniški odnosi. Medtem ko rezultati zlasti psiholoških raziskav kažejo na pomembnost povezanosti ESKS in znanja ter ESKS in sposobnosti, pa ugotovitve socioloških in pedagoških raziskav (npr. Bourdieu in Passeron, 1964, 1970; Goldthorpe, 2007; Duru-Bella, 2006; Ericson in Jonsson, 1996; Gaber in Poljanšek, 2005) kažejo na pogosto nemoč šole pri zmanjševanju neenake porazdelitve dosežkov učencev/dijakov - še posebej, ko gre za visoke dosežke. Tudi PISA 2006 pri tem ni izjema. Razredne razlike v šolskem uspehu in segmentacija na ravni terciarnega izobraževanja ostajajo (pre) močno prisotne, čeprav je postalo primarno in sekundarno izobraževanje »univerzalno, obvezno in brezplačno« (Goldthorpe, 2007: 28), kljub vse večji množičnosti edukacije, ki se odraža tudi v vse večjem deležu mladih, ki nadaljujejo šolanje po končanem obveznem izobraževanju, in ob dejstvu, da se vztrajno povečuje delež vpisanih na fakultete. Medtem ko so se v zadnjih 30 letih bistveno zmanjšale (celo izničile oz. obrnile v prid deklet/žensk) razlike med spoloma, pa razlike med učenci/učenkami glede na njihov socialni izvor ostajajo. Ob visokem deležu nepojasnjenih dejavnikov, ki verjetno prispevajo k razlikam v uspešnosti učencev/dijakov, je, kot ugotavljajo avtorice in avtorji vzporedne študije PISA 2006, socialni, ekonomski in kulturni status družin, iz katerih prihajajo otroci, v velikem številu držav pomemben na-povednik dosežkov učencev/dijakov na PISI. Ob vztrajnosti razlik, ki so povezane s socialnim izvorom, pa so podatki v nekaterih državah »spodbudni« (PISA 1, 2006: 182), saj te »vzporedno izkazujejo visok povprečen rezultat in podobne dosežke učencev/dijakov, ki prihajajo iz različnih socialnih in ekonomskih ozadij« (ibid.). Erikson in Jonsson (1996) sta to že pred dobrim desetletjem (1996) dokazovala na primeru Švedske, kjer naj bi v zadnjih desetletjih prišlo do pomembnega zmanjšanja razlik v učnem uspehu učencev glede na njihov socialni izvor. Študije o dosežkih učencev/učenk na Finskem (Gaber in Poljanšek, 2006; Jakku - Sihvonen in Kuusela, 2002; Vâlijârvi Jouni idr., 2002) prav tako dokazujejo možnost zmanjševanja vpliva socialnega izvora na dosežke v šoli. Učenci/dijaki iz spodbudnejšega socialno-ekonomskega okolja dosegajo v povprečju višje naravoslovne dosežke kot njihovi vrstniki/vrstnice iz manj spodbudnega okolja. Izračunana povezava med ESKS in dosežki učencev/dijakov kaže, da porast ESKS za eno enoto (1 SD) pomeni na ravni povprečja držav OECD 40 točk. Slovenija se uvršča med države, v katerih enota ESKS prinese več od povprečja OECD - 46 točk. To je statistično pomembno višje kot 0 točk. Podobno velja tudi za naslednje države: Francijo, Novo Zelandijo, Češko, ZDA, Veliko Britanijo, Belgijo, Nemčijo, Avstrijo, Slovaško in Bolgarijo (razlika v dosežkih, povezana z eno enoto ESKS, je v teh državah od 45 do 54 točk). V vseh treh državah, s katerimi se v sekundarni študiji primerjamo, je razlika v dosežkih učencev, ki je povezana z eno enoto ESKS, manjša, kot je povprečje držav OECD, in sicer na Finskem 31 točk, Norveškem 36 točk in v Estoniji 31 točk - razlike niso statistično pomembno večje kot 0 (PISA 1/1, 2006). Je pa, kot ugotavljajo avtorice in avtorji vzporedne študije, treba poleg regresijskega nagiba (spremembe dosežka na enoto ESKS) upoštevati tudi stopnje povezanosti med ESKS in dosežki učencev/ dijakov, saj ni nujno, da sta v istih državah hkrati visok regresijski nagib in visoka povezanost. Na ravni povprečja držav OECD lahko z ESKS pojasnijo 14,4 % variance dosežkov učencev/učenk; v Sloveniji 16,7 %, kar tako kot v drugih treh primerjanih državah (na Finskem lahko z ESKS pojasnijo 8,3 %, na Norveškem 8,3 %, v Estoniji 9,3 % variance dosežkov učenk/učencev) ni statistično pomembno različno od povprečja držav OECD. V nekaterih drugih državah, npr. v Luksemburgu, na Madžarskem, v Franciji, Belgiji, na Slovaškem, v Nemčiji pa je delež variance, ki jo lahko pojasnijo z ESKS, precej višji in tudi statistično pomemben. Za učence/dijake so najmanj ugodni rezultati v tistih državah, v katerih gre za visoko povezanost in visok nagib (npr. Nemčija) (PISA 1, 2006). V Sloveniji, tako kot na Norveškem, Finskem in v Estoniji, delež variance dosežkov učenk/učencev, ki jo lahko pojasnimo z ESKS, sicer ni statistično pomembno različen od povprečja držav OECD, je pa višji od povprečja OECD in višji kot na Norveškem, Finskem in v Estoniji. Če k temu dodamo še večjo razliko v dosežkih učenk/učencev, ki jo, gledano primerjalno z navedenimi državami, v Sloveniji prinese enota ESKS, vidimo, da gre v Sloveniji za večjo stopnjo neenakosti kot v primerjanih državah. Učenke oz. učenci na Finskem (563 točk) in v Estoniji (531 točk) so v skupnem dosežku pri naravoslovju uspešnejši kot učenci/dijaki v Sloveniji (519 točk), hkrati pa so slovenski učenci/dijaki uspešnejši kot norveški (487 točk). Učenci/dijaki, ki obiskujejo šolo v Sloveniji in prihajajo iz okolja z nižjim ESKS, do vrstnikov v šoli na Finskem in v Estoniji niso primerjalno v slabšem položaju le zato, ker bodo v šoli lahko nadoknadili manj zaostanka za učenci/dijaki, ki prihajajo iz višjega ESKS, ampak tudi zato, ker znotraj šolskega sistema v celoti dosežejo slabši rezultat. Drugače pa je v odnosu do učenk in učencev na Norveškem. Razlika med učenci/učenkami je glede na enoto ESKS manjša kot v Sloveniji, nižja je tudi povezanost med ESKS in dosežki učencev/učenk, je pa dosežek učencev/učenk na Norveškem za 32 točk nižji kot v Sloveniji. Upoštevajoč navedene rezultate in teoretske koncepte lahko ugotovimo, da sta šolska sistema v Estoniji in na Finskem učinkovitejša in pravičnejša, kot je šolski sistem v Sloveniji, ko gre za dosežke učencev/dijakov na področju naravoslovja, in da je norveški šolski sistem pravičnejši (reproducira manj socialnih razlik), je pa hkrati manj učinkovit kot slovenski. Da bi lahko navedeno trditev o bolj ali manj pravičnih šolskih sistemih umestili v širši mednarodni prostor, bi bili potrebni dodatni izračuni, ki bi odgovorili na precej strukturirano vprašanje vrednosti kulturnih kapitalov, s katerimi razpolagajo učenci/dijaki v različnih državah, ko dosegajo določene rezultate pri preverjanju znanja. Za Slovenijo pa - tako se zdi - že velja, da bi morala za nadaljnje vključevanje med države, ki bi tako po merilu učinkovitosti kot merilu pravičnosti spadale v zgornjo tretjino najuspešnejših držav, posebej poskrbeti za manjšo stopnjo šolske reprodukcije socialne neenakosti. Primarni in sekundarni učinki socialnega izvora in dosežki učencev/dijakov Razlike med družbenimi razredi in uspehom v šoli bomo v nadaljevanju - vsaj okvirno - pojasnili s pomočjo koncepta primarnih in sekundarnih učinkov (gl. Boudon, 2001; Goldthorpe, 2007; Nash, 2003/2005; Schneider, 2006). Koncept razlikovanja med primarnimi in sekundarnimi učinki je razvil Boudon (1973), z željo dodatno razložiti vpliv socialnega izvora na dosežke po prehajanju med stopnjami izobraževanja.19 S primarnimi učinki je mogoče pojasniti vpliv socialnega statusa staršev na dosežke otrok. Bolj izobraženi starši, z več kulturnega, ekonomskega in socialnega kapitala,20 ustvarjajo spodbudnejše okolje za učenje otrok. Zato so otroci iz takih okolij praviloma uspešnejši v šoli. Goldthorpe celo trdi, da razredne razlike ustvarjajo »primarni učinki« (2007: 32). Koncept primarnih učinkov je blizu Bourdieujevi tezi o privilegiranih otrocih višjih slojev. S Passeronom govorita o »kulturnem privilegiju« in z njim pojasnjujeta, da najbolj privilegirani študenti na univerzi ne uživajo le okolja, ki je podobno tistemu, iz katerega izhajajo, nimajo le navad, praks in stališč, ki jim neposredno pomagajo pri šolanju, ampak so podedovali tudi znanje, ravnanje, občutek za šolo in željo po tem, da bi od šole kaj imeli. Boudon je pristal na Bourdieujevo tezo o izvoru neenakih možnostih v izobraževanju. Bolj zadržan pa je bil do teze o pomanjkanju kulturnega kapitala kot najpomembnejšem razlogu za neenakost v izobraževanju. Po njegovem koncept primanjkljaja »ne more pojasniti različnih orientacij učenk in učencev z enakim uspehom ob koncu različnih ravni izobraževanja - v našem primeru ob koncu primarnega izobraževanja«21 (2001: 157). Zato je na analizi izbir, za katere se odločijo učenci/učenke in njihovi starši glede na priložnosti in omejitve, povezane s stroški in tveganji, razvil koncept sekundarnih učinkov, ki pridejo do izraza, ko pride do prehodov med šolami. Torej takrat, ko se morajo učenci/dijaki odločiti, kam naprej. Seveda so nekatere izbire posameznikom/posameznicam onemogočene zaradi npr, nižjih sposobnosti. Večina pa se odloča med več možnostmi: ostati v šoli al ne, izbrati poklicno šolo ali gimnazijo, nadaljevati izobraževanje na fakultet itd. Pri tem pa ob dosežkih odigrajo pomembno vlogo »okoliščine, povezane z razrednim izvorom« (Goldthorpe, 2007: 32). Dejstvo, da »je uspeh odvisen od izvora (^), ob tem, ko primerjamo enako uspešne otroke, ne more izhajati iz kognitivnega ali kulturnega primanjkljaja« (2001: 157). Boudon oblikuje modele odločanja22 zato, da bi izolirali prispevek posameznikovih kognitivnih in nekognitivnih zmožnosti, ki jih je mogoče pripisati socializaciji (razredne vrednote in kulturni kapital), in bi pojasnili tiste razlike, ki vznikajo kot rezultati učencev/učenk s podobnim učnimi rezultati, ki pa se pri izbiri programov nadaljnjega izobraževanja odločajo različno (povzeto po Nash 2005: 276). Klasični primer tega so odločitve otrok iz delavskega razreda za poti, ki vodijo v poklice z nižjim statusom. Sliko dopolnijo otroci iz srednjega razreda, ki tudi, ko so njihovi dosežki enaki tistim iz delavskega razreda, izbirajo poklice z višjim statusom. Boudon je prepričan, da je s temi primeri utemeljil obstoj in pomen sekundarnih učinkov. V pričujočem prispevku ne bomo razpravljali o manjšem oz. večjem pomenu primarnih ali sekundarnih učinkov (Nash 2003: 2005). Izhajali bomo iz teze, da oboji skupaj ustvarjajo vztrajajoče neenakosti v šoli, in preverili njihovo vlogo v slovenskem šolskem sistemu. Mestoma bomo to opravili tudi primerjalno. Primarni učinki Zapisali smo že, da se dosežki učencev/dijakov razlikujejo tudi glede na to, iz katerega socialnega okolja učenec/učenka prihaja. Pomembno določilo socialnega okolja je izobrazba staršev.23 Na ravni povprečja držav OECD dosegajo učenci/dijaki, ki imajo očete z nedokončano osnovno šolo, 428 točk, učenci/ dijaki, ki imajo očete z osnovno šolo, 470 točk, učenci/dijaki, ki imajo očete z dokončano srednjo šolo, 503 točke in učenci/dijaki, ki imajo očete z visokošolsko izobrazbo, 530 točk. Razlika med dosežki učencev/dijakov, ki imajo očete z najnižjo izobrazbo, in tistih, ki imajo očete z najvišjo izobrazbo, je 102 točki. Tabela 5: Izobrazba očeta in dosežki učencev/dijakov na področju naravoslovja v primerjanih državah. Nedokončana OŠ Osnovna šola Srednja šola Terciarna izobrazba Finska ni podatka 557 555 573 Norveška ni podatka 474 481 506 Estonija ni podatka 516 529 543 Slovenija ni podatka 472 514 564 Razlike v dosežkih med finskimi učenci/učenkami glede na izobrazbo njihovih očetov so naslednje: med dosežki učencev/učenk, katerih očetje imajo osnovno šolo, in dosežki učenk/učencev, katerih očetje imajo srednjo šolo, je razlika 2 točki (v prid učencem /učenkam očetov z osnovno šolo) in ni statistično pomembno različna od 0; razlika med dosežki učenk/učencev očetov s srednjo izobrazbo in učenk/učencev očetov s terciarno ravnjo izobrazbe pa je 18 točk in je statistično pomembno višja od 0 (p < 0,05). Navedene razlike so nižje od povprečja razlik držav OECD (v obeh državah razlika med dosežki učencev in učenk očetov z osnovno šolo in očetov s srednjo šolo ni statistično pomembno različna od 0, medtem ko je razlika med učenkami/učenci očetov s srednjo in tistih z visoko izobrazbo večja in statistično pomembno višja od 0). Razlike so največje v Sloveniji, in sicer je razlika med učenci/dijaki očetov z osnovno šolo in učenci/dijaki očetov s srednjo šolo 42 točk (je statistično pomembno višja od 0); razlika med učenci/dijaki očetov s srednjo in tistimi z visoko izobrazbo očetov pa še nekoliko večja (50 točk) in statistično pomembno višja od 0 (p < 0,05). Podatki torej kažejo na velike razlike v primarnih učinkih socialnega izvora na dosežke v šoli. Na Finskem tako skupna razlika, ki je povezana z izobrazbo očeta med najnižjo izobrazbo očeta in najvišjo, znaša 16, na Norveškem 32, v Estoniji 27, v Sloveniji pa kar 92 točk. Podatki kažejo na manjšo učinkovitost slovenske šole pri nadomeščanju zaostanka v znanju pri učencih/dijakih, katerih očetje imajo nižjo oz. srednjo izobrazbo. Razlika med povprečnimi dosežki (glede na izobrazbo očeta) in dosežki učencev/dijakov, ki imajo očete z visoko izobrazbo, je v Sloveniji večja kot na Finskem, Norveškem in v Estoniji. Med povprečnim rezultatom in rezultatom otrok očetov z visokošolsko izobrazbo je razlika OECD 30 točk, na Finskem 10 točk, v Estoniji 12 točk, na Norveškem 29 točk, v Sloveniji pa 45 točk. Verjetnost, da se bo slovenski učenec/učenka, ki ima očeta z nizko izobrazbo, prebil v elitno slovensko gimnazijo, je tako pomembno manjša kot pri učenki/učencu, ki ima očeta z visoko izobrazbo. Za šolsko politiko in za šole v Sloveniji so navedene ugotovitve resen in celovit izziv. Pri primerjalni interpretaciji navedenih podatkov ostaja odprto vprašanje, kako v posameznih državah izobrazba staršev reproducira znanje, kolikšna je vloga šole in kolikšna družine (ter obeh v interakciji). Našteta vprašanja zahtevajo dodatne analize. V razmisleku o tem, ali je pravičnejši šolski sistem, ki razlike med učenci/učenkami, ki imajo starše z različno izobrazbo, veča ali manjša, jih je namreč treba obravnavati vzporedno. V mislih je treba imeti dosežke socialno deprivilegiranih učenk/učencev, dosežke povprečne skupine in dosežke tistih, ki iz različnih razlogov (tudi socialno pogojenih) zmorejo največ. Zgolj zmanjševanje razlik med najvišjimi in najnižjimi dosežki bi lahko privedlo ne le do nižjega povprečnega dosežka, temveč tudi do zmanjševanja možnosti za doseganje izjemnih dosežkov in za razporeditev koristi, ki izhajajo iz teh dosežkov. S tem bi sistem izgubil na pravičnosti v Rawlsovem smislu. Sistem edukacije bi v tem primeru privzel logiko udejanjanja zahtev preproste enakosti. Iz prikazov na Slikah od 5 do 9 je razvidno, da se v zahtevnejše izobraževalne programe vključujejo slovenski učenci/dijaki, ki imajo starše z višjim socialnim, ekonomskih in kulturnim statusom, učenci/dijaki, ki imajo višja poklicna pričakovanja, so nekoliko bolj motivirani za učenje, imajo višjo povprečno oceno iz naravoslovnih predmetov ter iz slovenščine in matematike. Slika 5: Ekonomski, socialni in kulturni status pri učencih/dijakih, vključenih v različne izobraževalne programe 3 2 -1 - Si ^ o i -1 - 23 Izobraževa 4 5 program Številka 1 je program osnovne šole, 3 program srednjega poklicnega izobraževanja, 4 program tehničnega oz. strokovnega srednjega izobraževanje, 5 program strokovne gimnazije in 6 program klasične/splošne gimnazije. Zaboji prikazujejo prvi in tretji kvartil in vključujejo vodoravno črto - mediano. Ročaji zabojev zamejujejo srednjih 95 % dijakov. 1 6 Slika 6: Pričakovani poklicni status pri dijakih, vključenih v različne izobraževalne programe ! 0 - 60- 4 0 - 20- Izobraže 4 5 valni program Glej tudi Opombe pod Sliko 5. Slika 7: Motivacijski indeks pri dijakih, vključenih v različne izobraževalne programe 3 - 2 -1-S3 0-1-2 --3 - Izobrazev. 4 5 alni progr Glej tudi Opombe pod Sliko 5. 1 3 6 1 3 S Slika 8: Povprečje šolskih ocen pri naravoslovnih predmetih pri dijakih, vključenih v različne izobraževalne programe 3- 3 4 5 Izobraževalni program Glej tudi Opombe pod Sliko 5. Slika 9: Povprečje šolskih ocen pri matematiki in slovenščini pri dijakih, v čenih v različne izobraževalne programe £5 3->co 2- 3 4 5 Izobraževalni program Glej tudi Opombe pod Sliko 5. Razlike med dijaki, ki so vključeni npr. v program srednjega poklicnega izobraževanja in program splošne/klasične gimnazije, so v vseh navedenih spremenljivkah, še posebej pa v aspiracijah (PPS) in šolskih ocenah. Ko razmišljamo o pomenu sekundarnega učinka socialnega izvora, ne moremo mimo tega, da je npr. v programu srednjega poklicnega izobraževanja večji delež dijakov/dijakinj, katerih starši imajo nižji ESKS, kot v zahtevnejših programih, da imajo ti dijaki/dijakinje tudi nižje aspiracije, so manj motivirani in s seboj iz osnovne šole »prinesejo« nižje ocene. Vse to pome- 5- 4- 2- 1- 1 6 5- 4 1 - 1 6 ni, da nimajo v manj zahtevnem izobraževalnem programu skorajda nikakršne možnosti, da bi šola določene primanjkljaje nadoknadila. Podobno kot so že ugotovili drugi avtorji, tudi mi potrjujemo, da so spremenljivke, kot so ESKS, šolske ocene, aspiracije, motivacija med seboj statistično pomembno in zmerno visoko povezane in da so z naravoslovnimi dosežki na PISI 2006 najvišje povezane šolske ocene24 (Tabela 5 v Prilogi). Sicer statistično pomembne, vendar precej nižje so povezanosti med OPS in dosežki na PISI 2006 kot med PPS in dosežki na PISI 2006. Čeprav gre za naravoslovne dosežke, je, kot kažejo rezultati, pomembnejša uglednost poklica kot to, ali je poklic, ki bi ga učenec/dijak opravljal, s področja naravoslovja. Statistično pomembne, vendar nizke so tudi povezanosti med dosežki na PISI in motivacijskim indeksom, kar pomeni, da vsaj del učencev/dijakov, ki ne dosegajo visokih rezultatov na PISI (in tudi nimajo visokih šolskih ocen), zanima naravoslovje in v njem vsaj deloma uživajo ter nasprotno. Tudi Nash (2003) ugotavlja, da se dijaki, ki so bili vključeni v srednje šole z visokim indeksom ESKS, v interesu za naravoslovje niso pomembno razlikovali od dijakov, ki so bili vključeni v šole z nizkim ESKS. Sekundarni učinki Naloga edukacijske politike ob spoprijemu z zmanjšanjem vpliva socialnega izvora pa je še zahtevnejša, ker analize primarnega učinka pokažejo tudi moč sekundarnih učinkov socialnega izvora na izobraževalne izbire pri prehodu v višjo stopnjo šolanja. Vloga sekundarnega učinka je še posebej prepoznavna v analizi, v kateri smo izračunali, v katere izobraževalne programe so se vključili učenci/učenke, ki so imeli/imele v osnovni šoli enake šolske ocene pri matematiki, hkrati pa različen ESKS. Tabela 6 prikazuje število učencev/učenk, ki so se po končani osnovni šoli odločili za vpis v različne izobraževalne programe: od programa srednjega poklicnega izobraževanja (3) do programa splošne in klasične gimnazije (6). Tabela 6: Število dijakov/dijakinj s posamezno šolsko oceno iz matematike v različnih izobraževalnih programih (in odstotki posameznih ocen v posameznih izobraževalnih programih v oklepajih) Izobraževalni program Skupaj 3 4 5 6 MAT- 1,00* ocena 9 (0,9) 9 (0,4) 2 (0,3) 2 (0,1) 22 2,00 615 (59,7) 550 (24,9) 43 (6,9) 37 (1,6) 1245 3,00 316 (30,7) 954 (43,1) 184 (29,3) 275 (12,2) 1729 4,00 73 (7,1) 557 (25,2) 270 (43,1) 836 (37,1) 1736 5,00 17 (1,7) 143 (6,5) 128 (20,4) 1102 (48,9) 1390 Skupaj 1030 (100,0) 2213 (100,0) 627 (100,0) 2252 (100,0) 6122 *Dijakov/dijakinj, ki so poročali, da imajo šolsko oceno pri matematiki 1, nismo vključili v nadaljnje analize. Podatki kažejo, da se je od 1245 učencev/učenk, ki so imeli pri matematiki oceno 2, kar 615 učencev/učenk vpisalo v triletno poklicno šolo, 550 pa v programe štiriletnega tehniškega srednjega izobraževanja. Slednja številka je sicer visoka, vendar lahko ocenimo, da se bo predvsem preostalih 80 učenk/učencev, ki so se vpisali v različne gimnazijske programe, v šoli spoprijelo z resnimi težavami. Na drugi strani pa se je od 1390 tistih, ki so imeli oceno pri matematiki 5, kar 1230 učencev vpisalo v gimnazijske programe. Tudi ta podatek ne preseneča posebej. Vprašanje je le, zakaj se več učenk/učencev z odlično oceno ne vpisuje tudi v štiriletne tehniške programe. Preseneča pa dejstvo, da se je 17 učencev/ učenk z oceno 5 pri matematiki vpisalo v triletni poklicni program. Ta podatek bi namreč lahko podprl Boudonovo tezo o enako uspešnih otrocih, ki zaradi socialnega izvora izbirajo različne (različno zahtevne) šolske programe. Tako kot za tiste, ki so imeli oceno 2 in so se odločili za gimnazijo, kot za tiste, ki so se z oceno 5 vpisali v poklicno šolo, velja, da niso slučajno »samoizbrani«.25 Prvi prihajajo iz okolja z višjim ESKS kot drugi. Podatki tudi kažejo, da so učenci/učenke, ki se z oceno 3 odločijo za gimnazijo, pogosto iz spodbudnega socialnega okolja, tisti pa, ki se z enako oceno odločijo za srednjo poklicno šolo - teh je 316 od 1729 - pa imajo v povprečju manj spodbudno socialno okolje kot tisti, ki se z enako oceno vpisujejo na gimnazije - še posebej v splošno in klasično. Učenke/učenci iz nižjih socialnih razredov niso soočeni le s kulturnimi omejitvami, temveč so pri odločanju o nadaljevanju izobraževanja soočeni še z novimi odločitvami o relativnem tveganju in strošku za sebe in družino. Rezultati (Tabela 6 in Slika 10) tako kažejo, da tudi, če so imeli učenci/ učenke v osnovni šoli enako šolsko oceno, je bil pri izbiri zahtevnosti srednješolskega programa pomemben ESKS njihovih staršev. Zelo verjetno je več staršev z nižjo izobrazbo svoje otroke/mladostnike usmerjalo v šole, ki jih bodo hitro privedle do »poklica«, več staršev z visoko izobrazbo pa svoje otroke/mladostnike dodatno motiviralo in oblikovalo kontekst za njihove višje aspiracije - tudi ko imajo nizke ali srednje visoke ocene. Če na strani socialno deprivilegi-ranih prevladuje težnja po hitri realizaciji dosegljivih ciljev, je na strani družin z višjo količino kulturnega, pogosto pa tudi ekonomskega in socialnega kapitala, na delu visoka pripravljenost pomagati svojim otrokom/mladostnikom premostiti manjšo količino doseženega kulturnega kapitala. Za te družine je stopnja tveganja, da njihov otrok/mladostnik ob vpisu v zahtevnejši izobraževalni program ne bo uspel in bodo stroški zaman, bistveno manjša kot za družino z nizkimi dohodki in nizko količino kulturnega in socialnega kapitala. Še več, starši, ki so zasidrani v sredini srednjega razreda ali pa višje, si le težko predstavljajo, da njihov otrok ne bi uspel. Tega neuspeha si ne morejo privoščiti. Slika 10: ESKS učencev/dijakov, vključenih v različne srednješolske programe, ki so poročali, da so imeli v osnovni šoli posamezno oceno iz matematike Izobraževalni program 3 je srednje poklicno izobraževanje, program 4 tehnično oz. strokovno srednje izobraževanje, program 5 strokovna gimnazija in program 6 klasična ali splošna gimnazija. Zaboji prikazujejo prvi in tretji kvartil in vključujejo vodoravno črto - mediano. Ročaji zabojev zamejujejo srednjih 95 % dijakov. Dobljeni rezultati opozarjajo, da bi bilo treba razvijati pristope in strategije za dvigovanje uspešnosti manj uspešnih učencev/dijakov in poiskati poti, kako učence/dijake, ki so relativno ali visoko uspešni, pa prihajajo iz družin z nizkim ESKS, »potegniti« v zahtevnejše izobraževalne programe. Tu ne moremo mimo ugotovitev, ki potrjujejo, da so ob socialnem in ekonomskem statusu družine in intelektualnih (enako ali še bolj tudi govornih) sposobnostih otrok/ mladostnikov pomemben napovednik učenčeve uspešnosti tudi nekognitivne dispozicije, kot jih je imenoval Nash (2003), zlasti aspiracije oz. poklicna pričakovanja, in to tako učencev/dijakov, njihovih staršev in učiteljev. Nash in Harker (1998, v Nash, 2003) poročata o rezultatih raziskave, ki kažejo, da so se dijaki, ki so relativno napredovali v znanju (to je bilo ocenjevano s preizkusom znanja na začetku in koncu šolskega leta) in so bile njihove intelektualne sposobnosti kontrolirane, razlikovali od tistih, ki niso napredovali v visokih aspiracijah in pozitivni akademski podobi o sebi. Čeprav si učitelji pričakovanja o učni uspešnosti učencev v veliki meri oblikujejo na podlagi njihovih dejanskih dosežkov oz. izkazanega znanja, pa se, kot kažejo rezultati več raziskav, njihova pričakovanja povezujejo tudi s socialnim in z ekonomskim statusom ter etnično pripadnostjo družin učencev (Hauser-Cram, Sirin in Stipek, 2003; Wigfield, Galper, Denton in Seefeldt, 1999). Učitelji do učencev, ki prihajajo iz socialno in ekonomsko manj spodbudnega okolja, oblikujejo nižja pričakovanja o njihovi učni uspešnosti, ki se prenašajo tudi na otrokova dejanska pričakovanja o akademski uspešnosti. V eni od slovenskih raziskav (Marjanovič Umek, Sočan in Bajc, 2006a) se je potrdilo, da so imeli starši mladostnikov (ti so bili vključeni v 9. razred osnovne šole), ki so imeli visoko izobrazbo, pomembno višja pričakovanja o šolanju svojih mladostnikov kot starši z nizko izobrazbo. Zaključek V sekundarni študiji, ki jo predstavljamo v pričujočem prispevku, smo izhajali iz: - spoznanja, da razlike v dosežkih učencev/dijakov, ki so povezane z različnimi dejavniki, še posebej pa z ekonomskim, s socialnim in kulturnim statusom otrokovih/mladostnikovih staršev, vztrajajo; - prizadevanj številnih držav, da bi razlike v dosežkih učencev/dijakov, zlasti tistih, ki so povezane s socialnim izvorom otrok/mladostnikov, zmanjšali; - ugotovitev mednarodnih primerjalnih raziskav znanja, da različni šolski sistemi, tudi v povezavi z družinskim okoljem, različno uspešno zmanjšujejo razlike v dosežkih učencev. Ko smo v naši sekundarni študiji razlike v dosežkih slovenskih učencev/dijakov, ki jih lahko pripišemo razlikam med šolami, primerjali z variancami v dosežkih v izbranih državah (Finska, Norveška, Estonija), smo ugotovili, da je v Sloveniji velika varianca v dosežkih med šolami povezana s srednješolskimi programi, v katere so naši 15-letniki že vključeni. Vključitev izobraževalnih programov v model je varianco v dosežkih med šolami pomembno spremenila, in sicer se je varianca med šolami zmanjšala za približno trikrat. Varianca v dosežkih učencev/dijakov med šolami je v različnih izobraževalnih programih od 17 % do 24 %. Menimo, da je analiza, prikazana v poročilu PISA/1, 2006, ki v celoti ne upošteva specifičnosti šolskih sistemov v posameznih državah, pomanjkljiva in ne omogoča dovolj natančne primerjave med državami. V ozadju različnih konceptov pravičnosti in učinkovitosti ter na podlagi empiričnih izračunov v naši sekundarni študiji, zlasti izračunov, ki so povezani s socialnim izvorom učencev/dijakov, tudi ugotavljamo, da gre v Sloveniji za velike razlike med dosežki otrok/mladostnikov, ki prihajajo iz različnega ekonomskega, socialnega in kulturnega okolja. Rezultati analize primarnih in sekundarnih učinkov socialne neenakosti nam pokažejo, da bi morali v Sloveniji v prihodnje posvetiti dodatno skrb oblikovanju mehanizmov, s katerimi bi lahko zmanjševali »neupravičene/nepravične« neenakosti v šolah. Ugotovitve v naši sekundarni študiji, kot tudi rezultati nekaterih predhodnih raziskav, kažejo na potrebo po pripravi niza mehanizmov in ukrepov, ki bi v celotnem edukacijskem sistemu, od vrtca do univerze, prispevali k zmanjševanju vpliva, ki ga imajo na doseganje znanja otrok/ mladostnikov oz. na njihovo izobraževanje izobrazba staršev in druge pojavne oblike kulturnega in socialnega kapitala. Opombe [1] Walzer jo opredeljuje kot režim, v katerem imajo sicer vsi udeleženci enako količino sredstev, njihova uporaba in učinki pa kljub temu privedejo do razlik (1983: 14). Nasploh teoretiki svarijo, da ob razpravah o enakosti v izobraževanju »ne smemo imeti v mislih tega, da bi morali biti v šoli vsi učenci deležni enake obravnave v smislu identičnosti« (Meuret 2001: 94). [2] Rawls je prepričan, da mora biti pojem pravičnosti neodvisen od filozofskih in religijskih doktrin, zato mora biti obče pojmovanje pravičnosti politično in ne metafizično. Pri tem je treba zadostiti dvema načeloma: » - vsaka oseba ima enako pravico do popolnoma ustrezne sheme enakih temeljnih pravic in svoboščin; -družbene in ekonomske neenakosti morajo zadostiti dvema pogojema: 1) vezati se morajo na službene položaje, dostopne vsem pod pogojem enakih poštenih možnosti, 2) biti morajo v kar največjo korist najbolj zapostavljenih članov družbe« (Rawls, 2004: 183). Rawls utemeljuje pravičnost na načelu povračila za sodelovanje v delovanju družbe. To načelo je nasprotno načelu meritokracije. V nasprotju z meritokracijo, ki favorizira najboljše, daje omenjeno načelo prednost sodelovanju vseh - tudi ali pa še posebej šibkejših. In prav s predpostavko o potrebi kooperacije kot načinom delovanja družbe obravnava tudi pristop družbe do vlaganja v edukacijo. »Da bi bili vsi posamezniki obravnavani enako, da bi bile ustvarjene dejansko enake priložnosti, mora družba nameniti več pozornosti tistim z manj talentov in tistim, ki so bili rojeni v slabših socialnih razmerah (...). V zasledovanju tega principa se lahko porabi več virov za edukacijo manj sposobnih, vsaj v enem delu življenja, npr. v zgodnjih letih šolanja« (1973: 17). [3] Francoski učenci in učenke so v raziskavi PISA 2006 na področju naravoslovja - ob povprečju OECD 500 točk - dosegli 495 točk. Države, ki smo jih vključili v primerjavo v naši sekundarni študiji, pa so dosegle: Norveška 487 točk, Slovenija 519 točk, Estonija 531 točk in Finska 563 točk. Razlika ene enote v ekonomskem, socialnem in kulturnem statusu (v nadaljevanju ESKS) prinese v povprečju držav OECD 40 točk, v Franciji pa največ med državami, ki so bile vključene v mednarodno raziskavo, to je 54 točk. [4] »V Bourdieujevem pristopu je bil drugačen način pojasnjevanja procesa vzpostavitve pojava (reprodukcije neenakosti - op. avt.). Izjemen je bil tudi pomen, ki ga je njegova sociologija edukacije imela na možnosti spoprijema z istim pojavom« (Grenfell, 2004: 58). [5] Obsežno raziskavo o vplivu socialno-ekonomskih in demografskih dejavnikov na šolski uspeh in osebnostne lastnosti otrok sta v Sloveniji v sredini sedemdesetih let izvedla Toličič in Zorman (1977). Avtorja sta pred tem sodelovala v mednarodni primerjalni raziskavi o uspešnosti učencev, v katero je bila med osmimi državami vključena tudi Slovenija (Peck, 1972, 1973). V vseh sodelujočih državah so otroci staršev z višjim socialnoekonomskih statusom izkazali višjo bralno in matematično pismenost kot njihovi vrstniki, katerih starši so imeli nižjo izobrazbo. [6] Leta 1989 je mag. Marjan Šetinc, zaposlen na Pedagoškem inštitutu v Ljubljani, vključil Slovenijo v International Association for the Evaluation of Education Achivement (IEA) in s tem odprl pot vključitvi Slovenije v kontinuirane mednarodne primerjave dosežkov šolajočih. [7] »Razlika 74,7 točke predstavlja razliko ene stopnje v znanju učencev (PISA 2006/1: 55). Več o razlikah gl. ibid. [8] Pogosto ugotavljamo, da so razlike v dosežkih zgodovinsko, razvojno, finančno itd. pogojene. »(^) primerjava rezultatov šolskih sistemov zahteva umestitev v kontekst ekonomskih okoliščin in sredstev, ki jih država lahko nameni edukaciji« (PISA 2006/1, 55). Rawls (1971) pa si ob tem zastavlja drugačno, a za naš nadaljnji razmislek odločilno vprašanje: katere in kolikšne razlike so utemeljene? S tem vprašanjem se že v izhodišču odmakne od že omenjenega »enostavnega« pojmovanja enakosti, ker v nasprotju z ekstremnim egalitarizmom nasprotuje le tistim neenakostim, ki nekatere postavljajo v slabši položaj. Neenakosti so »dovoljene, če izboljšajo moj enaki začetni delež, niso pa dovoljene, če kakor pri utilitarizmu, posežejo po mojem pravičnem deležu« (Kymlicka, 2005, 94). Nepravično je, da so »posamezniki zapostavljeni ali v prednosti zaradi arbitrarnih in nezasluženih razlik v svojih družbenih okoliščinah (... ) Naravni talenti in družbene okoliščine so stvar gole sreče, moralne zahteve ljudi pa ne bi smele biti odvisne od gole sreče« (ibid.). Rawls je namreč prepričan, da gre za pravično enakost priložnosti takrat, »ko imajo tisti z enakimi talentom in sposobnostmi, ob enaki pripravljenosti in želji, da jih uporabijo, enako možnost uspeha, ne glede na njihov izvorni položaj v družbi« (Rawls, 1971: 73). [9] Opisne statistike za posamezne države so izračunane v Tabeli 1 v Prilogi. [10] V sekundarno analizo smo pri primerjavi navedenih držav v model vključili: socialni, ekonomski in kulturni status staršev učencev/dijakov (ESKS), motivacijski indeks učencev/dijakov (MI), pričakovani poklicni status učencev/dijakov (PPS). ESKS vključuje spremenljivke: izobrazbo staršev (tistega, ki ima višjo izobrazbo), število let izobrazbe (po klasifikaciji ISCED), poklic staršev (tistega, ki ima višji oz. uglednejši poklic); število knjig doma (manj kot 100; več kot 100). MI: ugotovili smo, da so indeksi motiviranosti in interesov učenca/dijaka med seboj visoko povezani, zato smo jih vključili v analizo glavnih komponent. MI vključuje: Splošni interes za učenje naravoslovja (intrinzična motivacija) - 21. vprašanje v Vprašalniku (8 trditev); Uživanje v naravoslovju - 16. vprašanje v Vprašalniku (5 trditev); Instrumentalno (uporabno) motivacijo za naravoslovje - 31. vprašanje v Vprašalniku (5 trditev); Splošne vrednote o naravoslovju - 18. vprašanje v Vprašalniku (5 trditev); Osebne vrednote o naravoslovju - 18. vprašanje v Vprašalniku (5 trditev). PPS: Vprašanje v Vprašalniku: Kakšen poklic pričakuješ, da boš opravljal, ko boš star približno 30 let? (Učenec/dijak napiše.) OPS: enako vprašanje kot pri PPS; ocenjevano glede na to, ali je poklic s področja naravoslovja ali ne. Kriterijske spremenljivke: pet ocen dosežka na področju naravoslovne pismenosti. Ocene so bile v mednarodni analizi dobljene z lestvičenjem po teoriji odgovora na postavko na podlagi odgovorov učencev/dijakov iz vseh ključnih držav. Predstavljajo pet različnih vrednosti verjetja za oceno dosežka posameznega dijaka pri testih znanja iz naravoslovja. [11] Prvo raven modela so predstavljali učenci/dijaki, drugo, višjo raven pa šole, v katere so bili učenci/dijaki vključeni. Izobraževalne programe smo opredelili kot napovednike na drugi ravni modela, preostale spremenljivke pa smo vključili kot napovednike na prvi ravni modela. V modelu smo na prvi ravni uporabili uteži dijakov (W_FSTUWT), ki jih program normalizira (na velikost vključenega vzorca). Kot kriterijske spremenljivke smo v model vnesli vseh pet ocen dosežka dijaka na PISI 2006 (pet vrednosti verjetnosti). V analizah smo v ničelnih modelih (tj. v modelih, v katerega ni vključen noben napovednik) najprej preverili, kolikšen delež variance v dosežkih dijakov lahko pripišemo razlikam med šolami, koliko pa individualnim razlikam med dijaki znotraj šol. Z modeli, v katere smo vključili napovednike, pa smo poskušali ugotoviti, koliko variance lahko, ko smo primerjali Slovenijo z drugimi državami, skupno pojasnimo z razlikami v motivaciji dijakov, poklicnem pričakovanju učencev/ dijakov in ekonomskem, socialnem in kulturnem statusu staršev učenca/ dijaka, ko pa smo delali analizo samo za Slovenijo, pa še v izobraževalnem programu, spolu učencev/dijakov in šolskih ocenah. Analizirali smo fiksne učinke napovednikov, in sicer le njihove glavne učinke. Predpostavljali smo, da se variance dosežkov znotraj posameznih šol ne razlikujejo in da so učinki različnih napovednikov v različnih šolah enaki. Za oceno statistik smo uporabili omejeni algoritem največjega verjetja (REML). Kot statistično pomembne smo opredelili učinke z ravnjo tveganja, nižjo od 5 %. [12] Morebitna odstopanja med odstotki variance dosežkov na ravni šole in tistimi iz poročila PISA 2006 so verjetno posledica tega, da so v naši sekundarni študiji upoštevane samo osebe, za katere imamo podatke za vse napovednike. [13] Pojasnjene variance se nanašajo na model s tremi napovedniki, saj je bil učinek napovednika OPS pomemben le v dveh od štirih držav (na Finskem in Norveškem); tudi v Estoniji in Sloveniji je pojasnil majhen delež variance (< 1 %); v primerjavi s preostalimi tremi napovedniki (PPS, ESKS, MI) je nekoliko nenavaden, saj gre za dihotomen odgovor na eno samo vprašanje in je torej tudi precej manj zanesljiv od preostalih napovednikov. [14] V Nemčiji in Avstriji poteka zunanja diferenciacija pri 10, na Nizozemskem pa pri 12 letih otrokove starosti. Naj spomnimo na opozorila, da je (pre)zgodnje razvrščanje otrok negotovo, saj je pri mlajših otrocih težko napovedati razvoj njihovih sposobnosti oz. ustrezno oceniti njihove potenciale (Gutman, 1999; Schneider, 2006). Hkrati pa ne smemo zanemariti dejstva, da pri zgodnejšem odločanju o nadaljevanju otrokove šolske poti prevlada odločitev staršev, ne otroka. Ta pa je močno povezana z njihovo osebno izobraževalno izkušnjo in socialnim položajem (Blossfeld in Shavit, 1993). [15] Izobraževalni programi (IP): 1 - osnovna šola; 2 - nižje poklicno izobraževanje; 3 - srednje poklicno izobraževanje; 4 - tehnično oz. strokovno srednje izobraževanje; 5 - strokovna gimnazija; 6 - klasična ali splošna gimnazija. Ker dijaki izobraževalnega programa 2 niso imeli ustreznih podatkov za izračune MI, smo jih izključili iz nadaljnjih analiz. Pri 15-letnikih, ki so še obiskovali osnovno šolo, je treba imeti v mislih, da je šlo verjetno za velik del učencev/učenk, ki so ponavljali razred/-e. Šolske ocene: povprečje šolskih ocen pri naravoslovnih predmetih (ŠON); povprečje ocen pri matematiki in slovenščini (ŠOMS). [16] Ob redkih odstopanjih jih potrjujejo tudi rezultati, ki jih gimnazije dosegajo na maturi. [17] Raziskovalki in raziskovalec so ugotovili, da je bil ob koncu 3. razreda delež variance v rezultatih učencev pri nacionalnih preizkusih znanja iz slovenščine in matematike, ki so jo lahko pripisali razlikam med šolami, 20 %; v 9. razredu pa od 0 % do 9 % (odvisno od šolskih predmetov oz. od tega, ali so upoštevali šolsko oceno ali dosežke pri NPZ). Tudi Martin in sodelavci (2000) so v sekundarni analizi podatkov, zbranih v okviru mednarodne raziskave trendov znanja TIMSS 1995 pri učencih, starih približno 13 let, ugotovili, da lahko v Sloveniji razlikam med šolami pripišejo pri preizkusih znanja iz naravoslovja 7 % celotne variance med dosežki učencev, pri preizkusih znanja iz matematike pa 11 %. [18] Za ilustracijo lahko navedemo, da so L. Marjanovič Umek, Sočan in K. Bajc (2006a, 2006b) ugotovili, da lahko, v kolikor kot napovednike šolske uspešnosti upoštevamo tudi individualne značilnosti učencev in učenk (njihove intelektualne sposobnosti, govorno kompetentnost, osebnostne značilnosti), pojasnimo več, in sicer od 37 % do 63 % celotne variance v dosežkih učencev pri različnih predmetih. [19] Pri tem se je navezoval na strukturno teorijo aspiracij Kellerja in Zavallonija, ki sta med prvimi opozorila na razlike med učenci srednjega razreda, ki v primerjavi s tistimi iz delavskega razreda kažejo željo po nadaljevanju izobraževanja npr. na univerzitetni ravni, zato sta o njih govorila kot o tistih, ki imajo višje aspiracije. [20] Kulturni kapital je Bourdieu razvil kot teoretsko hipotezo, »ki je omogočila razlago neenakih šolskih dosežkov otrok, ki izhajajo iz različnih družbenih razredov v povezavi z akademskim uspehom, tj. specifičnih profitov, ki jih lahko otroci iz različnih razredov in razrednih frakcij pridobijo na akademskem trgu« (Bourdieu, 2004: 313). Ob tem, ko ekonomisti niso uspeli razložiti odnosa med stopnjami profita v izobraževalnem in ekonomskem vlaganju, Bourdieu opozarja, da tega niso mogli, ker so spregledali »družbeno najbolj determinirano izobraževalno investicijo, in sicer družinsko transmisijo kulturnega kapitala« (ibid.). Bourdieu je nasploh prepričan, da je sposobnost ali talent produkt investiranja časa in kulturnega kapitala. Socialni kapital pa Bourdieu opredeljuje kot »agregat dejanskih in potencialnih sredstev, ki so povezana s posedovanjem trajnega omrežja bolj ali manj institucionaliziranih odnosov vzajemnega poznanstva in prepoznavanja - s članstvom v skupini« (ibid:, 317). Pomen socialnega kapitala dokazuje dejstvo, da »posamezniki pridobivajo zelo neenake profite iz dejansko enakovrednega (ekonomskega ali kulturnega) kapitala« (ibid.), pač v odvisnosti od tega, v kolikšni meri lahko angažirajo kapital skupine (družine, alumnija elitne šole, izbranega društva (kluba), članstva v različnih vplivnih skupinah ipd.). Takšni odnosi se vzpostavljajo in ohranjajo v menjavah in so socialno utemeljeni »in zagotovljeni z uporabo imena (družine, razreda, plemena, šole, stranke itd.)« (ibid.). [21] Boudon popisuje, kako se enako uspešni otroci, glede na socialni izvor, različno odločajo o nadaljevanju svojih izobraževalnih poti. Tako na licejih nadaljuje svoje izobraževanje med »zelo uspešnimi in uspešnimi dijaki iz družin delavcev 37 %, iz družin uradnikov 53 %, 70 % otrok srednjega upravljavskega sloja in 70 % otrok industrialcev in svobodnih poklicev, in 83 % otrok, ki prihajajo iz družin najvišjega upravljavskega sloja« (ibid: 157). Socialno pogojevane odločitve so še izrazitejše pri povprečnih učencih. Med njimi na licejih nadaljuje šolanje »22 % dijakov iz delavskih družin, 36 % iz vrst uradništva, 50 % iz vrst srednjega upravljavskega sloja, 70 % otrok industrialcev in svobodnih poklicev, ter 83 % tistih, ki prihajajo iz družin najvišjega upravljavskega sloja« (ibid.). Podobna slika se ponovi s šibkimi dijaki. [22] Modeli so utemeljeni na »teoriji racionalne izbire«. Prim.: Goldthorpe, 2007. [23] Ob obravnavi razlik v naravoslovnih dosežkih smo se v tej točki odločili za prikazovanje razlik, povezanih z izobrazbo očeta. Za to se nismo odločili le zaradi »moške prevlade« pri dosežkih na tem področju, ampak tudi zaradi dosegljivosti podatkov: v publikaciji PISA so za očete podrobnejši podatki o številu let formalne izobrazbe kot za mame. [24] V izračune smo na začetku poleg šolskih ocen, o katerih so poročali učenci/ dijaki, vključili tudi njihove odgovore o dosežkih pri nacionalnih preizkusih znanja (NPZ) iz slovenščine, matematike in biologije (slednja je bila določena kot tretji predmet v letu zbiranja podatkov). Izkazalo pa se je, da vprašanje v Vprašalniku za učence/dijake ni bilo dovolj jasno oblikovano. Kot odgovor so, kot kaže, nekateri dijaki vpisovali dosežek v odstotkih, nekateri v številu točk, nekateri pa napačne podatke. Izračunane povezave z dosežki na PISI 2006 in učenčevimi šolskimi ocenami so bile zelo nizke in nerealne, kar ne nazadnje potrjujejo rezultati, ki so bili na vzorcu iste generacije učencev/ učenk dobljeni v drugi slovenski raziskavi (Marjanovič Umek, Sočan in Bajc, 2007). V prihodnje bi veljalo v mednarodnih raziskavah znanja tovrstna vprašanja oblikovati natančneje in bolj nedvoumno. Dobljeni podatki bi pomembno prispevali tudi k dodatnim premislekom o kakovosti ocenjevanja znanja. [25] Prim. Boudon, 2001: 164-165. Literatura Baudelot, C. in Establet, R. (2004). École, la lutte de classes retrouvée. V: Pierre Bourdieu, Sociologue. Paris: Fayard. Boudon, R. (1973). Education, opportunity and social ineguality. New York: Wiley. Boudon, R. (2002). Les causes de l'inégalité des chances scolaires. V: École et société. Paris: Presses Universitaires de France. Bourdieu, P. in Passeron, J. C. (1964/2004). Les héritieres. Paris: Minuit. Bourdieu, P. in Passeron, J. C. (1970/1990). Reproduction in education, society and culture. London: Sage. Bourdieu, P. (2002). Reotur sur la réception des héritiers et de la reproduction. V: Interventions 1961-2001. Marseill: Agone. Bourdieu, P. (2004). Oblike kapitala. V: Kompendij socioloških teorij . Ljubljana: ŠZ. Burchinal, M. R., Peisner - Feinberg, E., Pianta, R. in Howea, C. (2002). Development of academic skills from preschool through secod grade: Family and classroom predictors of developmental trajectories. Journal of School Psychology, 40 (5), 415 - 436. Caillé, A. (2006). Présentation. V: Pense la crise de l' école - perspective anti-utilitariste. Revue du M.A.U S.S, 28. Duru - Bellat, M. (2006). L'inflation scolaire. Pariz: Seuil. Erikson R. in Jonsson J. O. (1996). Explaining class inequality in education: The Swedish test case. V: Can education be equalized? Colorado: Westview Press. Gaber S. in Poljanšek M. (2006). Reproduction of inequalities and education -concepts and examples from primary and higher education in Slovenia. Tekst je bil predstavljen na sociološkem kongresu v Pragi, avgust 2006. Goldthorpe, J. H. (2007). On sociology (volume two). Stanford: Stanford University Press. Grenfell, M.(2004). Pierre Bourdieu - agent provocateur. London: Continuum. Gutmann, A. (1999). Democratic education. Princeton: PUP. Gutman, L. M., Sameroff, A. J. in Cole, R. (2003). Academic growth curve trajectories from 1st grade to 12th grade: Effects of multiple social risk factors and preschool child factors. Developmental Psychology, 39 (4), 777-790. Hauser-Cram, P., Sirin, S. R. in Stipek, D. (2003). When teachers' and parents' values differ: Teachers' ratings of academic competence in children from low-income families. Journal of Educational Research, 95(4), 813-820. Howie, S. in Plomp, T. (2005). International comparative studies of education and large -scale change. V: Bascia idr. (ur.), International handbook of educational policy I. Dordrecht: Springer. Jakku - Sihvonen R. in Kuusela, J. (2002). Evaluation of the equal opportunities in the Finnish comprehensive schools 1998-2001. Helsinki: Yliopistopaino Oy. Johnson, W., McGue, M. in Iacono, W. G. (2006). Genetic and environmental influences on academic achivement trajectories during adolescence. Developmental Psychology, 42 (1), 514-532. Mallet, C.(2006). Pour une « dématernisation » de l'education nationale. V: Pense la crise de l' école - perspective anti-utilitariste. Revue du M.A.US., 28. Marjanovič Umek, L., Sočan, G. in Bajc, K. (2006a). Šolska ocena: koliko jo lahko pojasnimo z individualnimi značilnostmi mladostnika in koliko z dejavniki družinskega okolja. Psihološka obzorja, 15 (4), 25-52. Marjanovič Umek, L., Sočan, G. in Bajc, K. (2006b). Psihološki in družinski dejavniki šolske ocene. Sodobna pedagogika, 57(2), 108-129. Marjanovič Umek, L., Sočan, G. in Bajc, K. (2007). Vpliv psiholoških dejavnikov in izobrazbe staršev na učno uspešnost mladostnikov. Psihološka obzorja, 16(3), 27-48. Martin, M. O., Mullis, I. V. S., Gregory, K. D., Hoyle, C. in Shen, C. (2000). Effective schools in science and mathematics. lEA's third international mathematics and science study. Boston: The International Study Center, Boston College. Meuret, D. (2001). School equity as a matter of justice. V: Hutmacher idr. (ur.), Pursuit of equality in education. Dortrecht: KAP. Nash R. (2003). Inequality/difference in education: is a real explanation of primary and secundary effects possible? British Journal of Sociology, 54 (4), 433-451. Nash R. (2005). Boudon, realism, and cognitive habitus: Why an explanation of inequality/difference can not be limited to a model of secondary effects. Interchange, 36 (3), 275-293. Peck, R. F. (1972). Coping styles and achivement: A cross - national study of school children. Cultural patterns to coping (Volumen II). Austin: UT. Peck, R. F. (1973). Coping styles and achivement: A cross - national study of school children.Patterns in eight countries (Volumen V). Austin: UT. PIRLS (2006). International Report pdf. http://timss.bc.edu/PDF/p06 . Raudenbush, S. W., Bryk, A. S., Cheong, Y. F. in Congdon, R. (2005). Hierarchical linear and nonlinear modeling, version 6.02: Users' guide and software program. Chicago: Scientific Software International. Rawls, J. (1973). Theory of justice. Oxford: OUP. Rawls, J. (2004). Pravičnost kot poštenost: politično, ne metafizično. V: Komunitarizem in individualizem. Ljubljana: Sophia. Schneider, T. (2006). Does the effect of social origins on educational participation change over the life course? Zurich: University Zurich. Sen, A. (1995). Inequality reexamined. Camridge: HUP. Valijarvi Jouni idr. (2002). The Finnish success in Pisa - and some reasons behind It. Jyvaskyla: IER. Toličič, I. in Zorman, L. (1977). Okolje in uspešnost učencev. Ljubljana: Državna založba Slovenije. Vprašalniku za dijakinje in dijake (2006). Ljubljana: Nacionalni center raziskave PISA 2006, Pedagoški inštitut. Troger, V. (2002). Bourdieu et l'ecole: la démocratisation désenchantée. SH - posebna številka posvečena Bourdieuju. Walzer, M. (1983). Spheres of justice. USA: Basic Books. Wigfield, A,, Galper, A., Denton, K. in Seefeldt, C. (1999). Teachers' beliefs about former Head Star and non-Head Start first-grade children's motivation, performance, and future educational prospects. Journal of Educational Psychology, 91(1), 98-104. Priloga Tabela 1: Opisne statistike po državah (del analize, ki se nanaša na primerjavo med Slovenijo, Estonijo, Finsko in Norveško) M Me SD Asim. Spl. Min. Max. Q1 Q3 Estonija (N = 3561) PPS 57,37 64 18,9 -0,26 -1,16 16 90 38 71 MI 0,16 0,09 0,87 0,23 0,54 -3,24 3,35 -0,40 0,66 ESKS 0,16 0,13 0,81 0,03 -0,54 -3,89 2,82 -0,46 0,81 OD1 538,7 541,2 81,3 -0,12 -0,01 208,8 799,2 483,0 594,0 OD2 538,7 538,8 81,3 -0,04 -0,23 266,9 798,3 483,8 596,3 OD3 538,6 541,0 81,4 -0,08 -0,18 208,8 778,1 482,5 593,2 OD4 538,3 539,0 80,1 -0,05 -0,18 279,0 789,0 483,9 594,4 OD5 539,5 540,0 81,1 -0,05 -0,17 230,3 792,5 483,9 595,8 Finska (N = 3470) PPS 51,33 51 19,10 0,29 -1,08 16 90 33 68 MI -0,10 -0,14 0,99 0,18 0,44 -3,57 3,35 -0,73 0,51 ESKS 0,23 0,24 0,79 -0,15 -0,16 -2,48 3,11 -0,31 0,80 OD1 563,2 566,3 83,5 -0,07 -0,11 292,9 820,7 507,5 621,0 OD2 563,0 563,6 83,5 -0,08 -0,19 292,3 821,9 506,5 621,2 OD3 562,6 564,9 83,8 -0,11 -0,13 256,6 831,6 505,8 621,3 OD4 562,8 564,3 83,0 -0,10 -0,03 255,9 851,8 508,3 619,3 OD5 561,4 562,4 82,9 -0,10 -0,16 293,0 817,7 504,6 619,2 Norveška (N = 3193) PPS 56,03 56 18,92 -0,05 -1,18 16 90 40 71 MI -0,12 -0,16 1,14 0,09 0,16 -3,57 3,35 -0,85 0,57 ESKS 0,44 0,41 0,74 -0,05 0,21 -2,97 3,01 -0,08 0,97 OD1 498,9 496,5 89,48 0,05 -0,18 214,9 803,9 437,5 560,6 OD2 498,4 498,0 88,46 0,00 -0,13 211,1 790,2 437,4 558,7 OD3 498,7 498,8 87,66 0,01 -0,17 201,8 757,3 437,8 557,8 OD4 498,4 498,0 88,65 0,04 -0,10 202,5 848,5 437,3 559,0 OD5 499,4 500,0 88,79 0,03 -0,09 215,4 828,8 437,2 559,6 Slovenija (N = 4492) BSMJ 59,88 65 17,12 -0,23 -0,90 16 90 46 71 moti- 0,08 0,04 1,02 0,06 0,18 -3,57 3,12 -0,58 0,72 vacija ESCS 0,15 0,07 0,88 0,08 -0,50 -3,37 2,94 -0,49 0,85 OD1 525,8 525,7 96,5 0,01 -0,35 211,9 822,6 457,7 594,4 OD2 526,0 524,9 96,9 0,01 -0,29 242,9 830,9 458,7 594,9 OD3 525,4 525,4 97,4 -0,04 -0,34 240,4 822,6 457,4 594,6 OD4 525,3 525,9 97,0 0,01 -0,36 219,0 821,5 453,3 594,2 OD5 526,0 526,3 96,2 -0,02 -0,30 235,8 811,3 458,9 594,9 Opombe: N = število upoštevanih udeležencev v posameznem vzorcu; M = aritmetična sredina; Me = mediana; SD = standardni odklon; Asim. = koeficient asimetrije, Spl. = koeficient sploščenosti; Min., Max. = najmanjša in največja vrednost; Q1, Q3 = prvi oz. tretji kvartil; OD = ocena dosežka. Statistike so izračunane za osebe, uporabljene v hierarhičnih linearnih modelih za primerjave med državami (torej tiste, ki so imele rezultate pri vseh napovednikih). Pri računanju so uporabljene uteži. Tabela 2: Opisna statistika vključenih spremenljivk (del analize, opravljene posebej za Slovenijo) M SD Ocena dosežka 1 526,87 95,94 Ocena dosežka 2 527,11 96,49 Ocena dosežka 3 526,48 96,89 Ocena dosežka 4 526,36 96,49 Ocena dosežka 5 527,18 95,64 PPS 60,03 17,01 OPS 0,41 0,49 ESKS 0,15 0,88 MI -0,00 1,01 ŠON 3,80 0,95 ŠOMS 3,64 0,95 Tabela 3: Glavni učinki posameznih napovednikov v modelu pojasnjevanja dosežkov učencev/dijakov posameznega izobraževalnega programa pri testu naravoslovne pismenosti PISA 2006 Izobraževal- Učinek Koeficient SE(koef.) t df p ni program Osnovna šola Presečišče 151,87 81,82 1,86 20 0,078 Spol 60,91 20,45 2,98 27 0,007 PPS 2,79 1,10 2,53 27 0,018 OPS 7,46 26,37 0,28 26 0,780 ESKS 0,24 18,74 0,01 27 0,990 MI 11,89 16,08 0,74 24 0,467 ŠON 7,62 28,16 0,27 27 0,789 ŠOMS 6,49 18,62 0,35 11 0,734 Srednje poklicno izobraževanje Presečišče 316,17 18,60 17,00 92 0,000 Spol 24,87 4,96 5,01 410 0,000 PPS 0,29 0,19 1,49 176 0,138 OPS 7,90 6,05 1,31 1048 0,192 ESKS -1,52 3,61 -0,42 100 0,674 MI 9,09 2,40 3,78 725 0,000 ŠON 13,04 4,71 2,77 263 0,007 ŠOMS 7,83 5,90 1,33 316 0,185 Izobraževal- Učinek Koeficient SE(koef.) t df p ni program Tehnično oz. strokovno srednje izobraževanje Presečišče 387,64 16,82 23,04 108 0,000 Spol 20,92 5,05 4,14 234 0,000 PPS 0,12 0,14 0,87 673 0,386 OPS 6,43 5,44 1,18 152 0,240 ESKS 5,04 2,87 1,75 1608 0,079 MI 8,01 2,59 3,10 23 0,006 ŠON 5,01 4,45 1,13 43 0,267 ŠOMS 15,45 3,41 Strokovna gimnazija 4,53 157 0,000 Presečišče 353,84 31,54 11,22 27 0,000 Spol 40,75 7,38 5,53 56 0,000 PPS 0,32 0,31 1,04 58 0,305 OPS 8,20 7,29 1,13 386 0,262 ESKS 9,59 4,08 2,35 604 0,019 MI 9,88 3,26 3,04 234 0,003 ŠON 8,47 6,47 1,31 202 0,192 ŠOMS 18,14 5,81 3,12 330 0,002 Klasična ali splošna gimnazija Presečišče 425,04 29,96 14,19 46 0,000 Spol 30,82 4,60 6,70 164 0,000 PPS -0,20 0,24 -0,83 333 0,407 OPS 0,21 4,94 0,04 120 0,966 ESKS 5,92 2,76 2,15 139 0,033 MI 13,10 1,90 6,90 89 0,000 ŠON 7,27 7,01 1,04 102 0,303 ŠOMS 24,54 6,68 3,67 30 0,001 Opombe. Pri napovednikih oznake pomenijo: PPS pričakovani poklicni status, OPS osebni poklicni status, ESKS ekonomski, socialni in kulturni status, MI motivacijski indeks, ŠON povprečje šolskih ocen pri naravoslovnih predmetih in ŠOMS povprečje šolskih ocen pri matematiki in slovenščini. V stolpcu Koeficient so zapisane regresijske konstante v modelu napovedovanja dosežka pri testu naravoslovne pismenosti PISA 2006, v stolpcu SE (koef.) pa njihove standardne napake. V zadnjih treh stolpcih so navedeni rezultati testiranja statistične pomembnosti posameznega učinka. Vrednosti koeficientov v tabeli razlagamo kot porast v dosežku pri testu naravoslovne pismenosti PISA 2006(v točkah) ob porastu posameznega učinka za eno enoto in istočasnem ohranjanju vrednosti vseh drugih napoved-nikov kot konstantnih. Statistike so izračunane za osebe, ki so imele rezultate pri vseh na-povednikih (N kot v Tabeli 4 v glavnem besedilu). Pri računanju so bile uporabljene uteži. Tabela 4: Glavni učinki posameznih napovednikov v modelu pojasnjevanja dosežkov vseh 15-letnikov, vključenih v analize, pri testu naravoslovne pismenosti PISA 2006 Učinek Koeficient SE(koef.) t df P Presečišče 302,78 17,43 17,37 167 0,000 Program 3 3,77 15,96 0,24 151 0,814 Program 4 53,65 16,50 3,25 276 0,002 Program 5 85,60 17,25 4,96 312 0,000 Program 6 125,54 18,49 6,79 312 0,000 Spol 29,14 2,84 10,25 1409 0,000 PPS 0,15 0,12 1,32 671 0,187 OPS 5,05 3,18 1,59 81 0,116 ESKS 5,16 1,85 2,80 171 0,006 MI 10,13 1,26 8,02 61 0,000 ŠON 8,23 3,21 2,56 118 0,012 ŠOMS 17,44 2,85 6,13 141 0,000 Opombe. Program 3 je srednje poklicno izobraževanje, program 4 tehnično oz. strokovno srednje izobraževanje, program 5 strokovna gimnazija in program 6 klasična ali splošna gimnazija. Glej tudi opombe pod Tabelo 3. Tabela povzema učinkovanje vseh napoved-nikov v združenem dvostopenjskem modelu, kamor so bile k napovednikom, vključenim v modele za napovedovanje dosežka učencev/dijakov posameznih izobraževalnih programov, dodane še spremenljivke, ki so označevale programe. V vrsticah 2-5 Tabele vidimo, kako se povprečni dosežki dijakov v posameznih srednješolskih programih razlikujejo od povprečnega dosežka osnovnošolcev. Tabela 5: Pearsonovi koeficienti povezanosti med različnimi spremenljivkami, vključenimi v analize. Ocena Ocena Ocena Ocena Ocena dosež- dosež- dosež- dosež- dosež- Spol PPS OPS ESKS MI ŠON ka 1 ka 2 ka 3 ka 4 ka 5 Ocena dosežka 1 1 ,923** ,926** ,925** ,923** ,013 ,455** ,222** ,402** ,252** ,610** Ocena dosežka 2 ,923** 1 ,923** ,925** ,921** ,006 ,461** ,226** ,412** ,243** ,624** Ocena dosežka 3 ,926** ,923** 1 ,925** ,923** ,009 ,454** ,221** ,399** ,247** ,612** Ocena dosežka 4 ,925** ,925** ,925** 1 ,924** ,001 ,454** ,216** ,406** ,245** ,617** Ocena dosežka 5 ,923** ,921** ,923** ,924** 1 ,009 ,457** ,220** ,401** ,251** ,616** Spol ,013 ,006 ,009 ,001 ,009 1 -,134** ,051** ,016 ,005 -,206** PPS ,455** ,461** ,454** ,454** ,457** -,134** 1 ,418** ,309** ,204** ,496** OPS ,222** ,226** ,221** ,216** ,220** ,051** ,418** 1 ,096** ,286** ,211** ESKS ,402** ,412** ,399** ,406** ,401** ,016 ,309** ,096** 1 ,098** ,374** MI ,252** ,243** ,247** ,245** ,251** ,005 ,204** ,286** ,098** 1 ,261** ŠON ,610** ,624** ,612** ,617** ,616** -,206** ,496** ,211** ,374** ,261** 1 ŠOMS ,614** ,621** ,619** ,621** ,622** -,260** ,492** ,189** ,380** ,196** ,835** ^^ p < 0,01. Tabela 6: Modeli s programi kot napovedniki ESKS po posameznih šolskih ocenah iz matematike Koeficient SE(koef.) t p Ocena 2 Program 3 -0.447 0.031 -14.653 0.000 Program 4 0.351 0.052 6.752 0.000 Program 5 0.947 0.107 8.837 0.000 Program 6 0.599 0.182 3.293 0.002 Ocena 3 Program 3 -0.371 0.046 -8.038 0.000 Program 4 0.358 0.054 6.575 0.000 Program 5 0.759 0.079 9.600 0.000 Program 6 0.835 0.074 11.233 0.000 Ocena 4 Program 3 -0.386 0.106 -3.627 0.001 Program 4 0.375 0.119 3.155 0.002 Program 5 0.716 0.125 5.709 0.000 Program 6 0.900 0.113 7.943 0.000 Ocena 5 Program 3 -0.065 0.139 -0.469 0.639 Program 4 -0.010 0.152 -0.064 0.949 Program 5 0.444 0.150 2.958 0.004 Program 6 0.707 0.152 4.668 0.000 Opombe. Program 3 je srednje poklicno izobraževanje, program 4 tehnično oz. strokovno srednje izobraževanje, program 5 strokovna gimnazija in program 6 klasična ali splošna gimnazija. Če v Tabeli analiziramo ESKS le pri dijakih/dijakinjah, ki so imeli v OŠ pri matematiki oceno 2, ugotovimo, da je v programu 3 povprečje ESKS -0,447. V programu 4 je povprečje ESKS za 0.351 višje od povprečja v programu 3. Razlika je statistično pomembna (t = 6.752, p = 0,000). V programu 5 je povprečje ESKS za 0,947, v programu 6 pa za 0,599 višje od povprečja v programu 3. V obeh primerih je razlika statistično pomembna. Vidimo tudi, daje pri vseh ocenah v primerjavi s povprečjem programa 3 ESKS v vseh izobraževalnih programih statistično pomembno višji, razen pri dijakih/dijakinjah, ki so imeli v šoli pri matematiki oceno 5, se ESKS med programoma 3 in 4 ne razlikuje statistično pomembno. POVEZANOST NEKATERIH INDIVIDUALNIH IN SOCIALNIH ZNAČILNOSTI SLOVENSKIH DIJAKOV Z NJIHOVIMI DOSEŽKI NA PISI 2006: MATEMATIČNA IN BRALNA PISMENOST Maja Zupančič in Anja Podlesek Oddelek za psihologijo, Filozofska fakulteta, Univerza v Ljubljani Uvod V okviru pričujočega prispevka sva preučevali, katere izbrane značilnosti posameznikov in njihovega okolja, ki so bile zajete v raziskavo PISA 2006, napovedujejo matematično in bralno pismenost (skupni dosežek na področju) pri slovenskih dijakih prvih letnikov, vključenih v različne programe srednješolskega izobraževanja. Podatki PISA 2006 so bili sicer zbrani pri enako starih (15-letnih) mladostnikih (generacija, rojena leta 1990), med katerimi so nekateri obiskovali še osnovno šolo. Za homogeni vzorec dijakov sva se odločili zato, ker je učinek let šolanja na splošno spoznavno sposobnost in intelektualno kompetentnost udeležencev izobraževanja precejšen oz. večji od učinka kronološke starosti (npr. Ceci, 1999). Poleg tega večina (90 %) slovenskih 15-letnikov obiskuje srednje šole in je v raziskavi PISA 2006 (v: Štraus, Repež in Štigl, 2007) sodelovalo majhno število osnovnih šol in seveda tudi učencev. V opravljenih sekundarnih analizah bi lahko navedena razloga vplivala na pravilnost zaključkov. Vzporedno z ugotavljanjem napovedne vrednosti izbranih spremenljivk sva tudi preverjali, ali se dosežki dijakov na PISI 2006 in povezave preučevanih značilnosti z njihovimi dosežki razlikujejo med srednješolskimi programi in med šolami znotraj posameznih programov. Dosežke dijakov sva v okviru predstavljenih analiz obravnavali kot kriterijsko spremenljivko. Matematična pismenost zajema posameznikovo sposobnost prepoznavanja in razumevanja vloge matematike pri reševanju problemov v različnih situacijah in funkcionalno rabo znanja iz matematike. Pri zbiranju podatkov PISA 2006 na mednarodni ravni je bilo to področje preučevanja manj poudarjeno, enako kot bralna pismenost. Slednja vključuje posameznikovo sposobnost razumevanja, uporabe in razmišljanja o napisanem besedilu (v: Štraus idr., 2007). ŠOLSKO POLJE « LETNIK XX (2009) « ŠTEVILKA 1/2 « str. 127-143 Med podatki, zbranimi z vprašalnikom za dijakinje in dijake v raziskavi PISA 2006, sva na podlagi različnih psiholoških razlagalnih modelov in rezultatov empiričnih raziskav izbrali dva sklopa napovednikov, sklop dejavnikov posameznika in sklop dejavnikov okolja. Tako sva med značilnostmi posameznikov upoštevali spol udeležencev in tiste mere, s katerimi so različni avtorji pojasnjevali medosebne razlike v učni uspešnosti (dosežkih pri preizkusih znanja, šolskih ocenah) učencev in dijakov, npr. posameznikove učne aspiracije in vrednotenje učnih dosežkov (Mullis, Martin, Gonzales in Chro-stowski, 2004; Zupančič, Gril, Štraus in Brečko, 2002). Z učnim dosežkom se povezuje tudi posameznikova zaznana količina učenja in učne pomoči, ki jo prejme od kompetentnih oseb zunaj pouka. Te zveze pa so negativne, kar pomeni, da se subjektivno zaznani čas učenja in količina pomoči z večjo verjetnostjo pojavljata kot posledica medosebnih razlik v učni uspešnosti in manj verjetno kot njihov vzrok (Marjanovič Umek, Sočan in Bajc, 2006; Puklek Levpušček in Zupančič, 2009; Zupančič idr., 2002). Večina avtorjev, ki se ukvarja s pojasnjevanjem učne uspešnosti, v analizah upošteva tudi spol posameznikov, ki pa v nasprotju s prevladujočimi laičnimi predstavami ljudi dosledno pojasnjuje majhne ali celo nepomembne odstotke variance na ravni doseženega znanja (pri objektivnih preizkusih znanja) in v šolskih ocenah. Če že prihaja do razlik med spoloma, se pogosteje izkaže, da so dekleta, če mero uspešnosti predstavlja šolska ocena, pri večini predmetov uspešnejša od fantov, razen npr. pri fiziki in matematiki (npr. Deary, Strand, Smith in Fernandes, 2007; Puklek Levpušček in Zupančič, 2009). V sklopu značilnosti okolja sva izbrali tiste spremenljivke, zajete v raziskavi PISA 2006, ki vsaj delno predstavljajo ključne značilnosti družine in šole (oz. pouka na procesni ravni), za katere je bila dosledno podprta pozitivna in pomembna posredna ali celo neposredna vloga v učni uspešnosti posameznikov. Te so npr. izobrazba staršev, poklicni položaj staršev, ekonomski položaj družine, jezik, ki ga uporablja dijakova družina doma, in število ur pouka v šoli pri ustreznem predmetu (npr. Johnson, McGue in Iacono, 2007; Marjanovič Umek idr., 2006; Mullis idr., 2004). Metoda Baza podatkov Sekundarno sva analizirali podatke PISE 2006, in sicer pri slovenskem vzorcu dijakov. Prvotno je baza podatkov o slovenskih dijakih obsegala podatke 6595 oseb, in sicer odgovore pri Vprašalniku za dijakinje in dijake (Na- cionalni center za raziskave PISA 2006, 2006; v nadaljevanju Vprašalnik) in ocene dosežkov na različnih področjih pismenosti. Zaradi specifičnega načina vzorčenja šol in dijakov v raziskavi PISA 2006 je imel v izhodiščni bazi vsak dijak pripisano utež (W_FSTUWT), ki je označevala, koliko dijakov v slovenski populaciji zastopa. Da v analizah, ki sva jih izvajali, ob upoštevanju uteži dijaka ne bi presegli velikosti vzorca in stopenj prostosti, ki ustrezajo analizam vzorčnih podatkov, sva najprej izračunali novo utež za vsakega dijaka, in sicer tako, da sva populacijsko utež delili z vsoto vseh uteži W_FSTUWT (tj. 20595,19) in dobljeno vrednost nato pomnožili s številom dijakov v bazi, tj. s 6595. Tako sva dobili utež, s katero sva v nadaljevanju pri izvajanju vseh analiz obtežili podatke posameznega dijaka. V analize sva vključili samo dijake, ki so šolo obiskovali 10. leto in so obiskovali enega od programov srednjih šol. Ker pri modeliranjih, kakršna sva uporabili v raziskavi, v primerih, ko je število oseb znotraj posameznih skupin (šol) nizko (Kreft, 1996, po Garson, 2008), lahko dobimo nestabilne ocene parametrov, sva iz nadaljnje obdelave izključili vse šole, iz katerih je bilo v zbiranje podatkov vključenih manj kot 5 dijakov. Takih je bilo 30 šol. Tako so v analizah ostali podatki, zbrani na 288 šolah. Ute-ženi N v analize vključenih dijakov je bil 5888. Od tega je bilo v vzorcu 2989 dijakinj (50,8 %). Povprečna starost dijakov in dijakinj je bila 15,71 leta (SD = 0,27). V program srednjega poklicnega izobraževanja jih je bilo vključenih 1035 (17,6 %), v program tehničnega oz. strokovnega srednjega izobraževanja 2169 (36,8 %), v program strokovne gimnazije 610 (19,4 %) in v program klasične/splošne gimnazije 2075 (35,2 %). Ker so imeli nekateri od dijakov pri določenih spremenljivkah manjkajoče vrednosti, je končno število podatkov v analizah nižje od 5888. V analizo dosežkov pri preizkusu matematične pismenosti PISA 2006 sva tako vključili 3942 (uteženi N) dijakov, ki so imeli popolne podatke za vse obravnavane spremenljivke, v analizo dosežkov pri preizkusu bralne pismenosti PISA 2006 pa 3960 dijakov. Spremenljivke V analize sva vključili spremenljivke, vezane na odgovore dijakov pri Vprašalniku, in spremenljivke, vezane na dosežek dijakov pri preizkusih pismenosti v okviru raziskave PISA 2006 (z vrednostmi, kot obstajajo v bazi PISA 2006). Nekatere spremenljivke sva prekodirali. Spremenljivko ST15Q01, ki predstavlja število knjig doma, sva iz ordinalne spremenljivke s šestimi ravnmi (kategorije števila knjižnih polic) spremenili v intervalno spremen- ljivko (število knjig doma), in sicer sva kategorijo 1 (0-10 knjig) pretvorili v vrednost 5, kategorijo 2 (11-25 knjig) v vrednost 18, kategorijo 3 (26-100) v vrednost 64, kategorijo 4 (101-200 knjig) v vrednost 151, kategorijo 5 (201-500 knjig) v vrednost 351 in kategorijo 6 (več kot 500 knjig) v vrednost 750. Spremenljivko ST02Q01, ki predstavlja izobraževalni program, sva spremenili v tri dihotomne spremenljivke, PROGRAM4, PROGRAM5 IN PROGRAM6, ki so skupaj predstavljale štiri izobraževalne programe. Izobraževalni program 3 oz. program srednjega poklicnega izobraževanja je bil zastopan z vrednostmi 0 pri vseh treh spremenljivkah, medtem ko so imeli programi 4 do 6 vrednost 1 pri istoimenski spremenljivki in vrednost 0 pri drugih dveh spremenljivkah. Tako je imel program 4, tj. program tehničnega oz. strokovnega srednjega izobraževanja, vrednost 1 na spremenljivki PROGRAM4, program 5 oz. program strokovne gimnazije na spremenljivki PROGRAM5 in program 6 oz. program klasične/splošne gimnazije na spremenljivki PROGRAM6. Spremenljivko ST12Q01 sva spremenili v jezik doma, kjer je vrednost 1 pomenila, da pri dijaku doma govorijo slovensko, vrednost 0 pa, da govorijo kateri koli drugi jezik. Veliko psihosocialnih dejavnikov sva opredelili prek WLE indeksov (ocen obteženega verjetja), ki so že vključeni v bazo podatkov PISA 2006. WLE indeksi so bili dobljeni na podlagi združene obdelave odgovorov dijakov vseh v raziskavo vključenih držav s skaliranjem po teoriji odgovora na postavko. Vsak indeks predstavlja skupno mero odgovorov na več izbranih dihotomnih ali intervalnih (likertovih) postavkah z določeno vsebino. Povprečna vrednost WLE indeksa za dijake vseh držav je 0, standardni odklon je enak 1. Kriterijske spremenljivke je sestavljalo pet ocen dosežka na področju matematične (MAT) in bralne (BRA) pismenosti. Te ocene so bile v mednarodni analizi dobljene s skaliranjem po teoriji odgovora na postavko na podlagi odgovorov dijakov iz vseh vključenih držav. Predstavljajo pet različnih, naključno izbranih vrednosti verjetja za oceno dosežka posameznega dijaka pri preizkusih matematične in bralne pismenosti. Napovedniki so vključevali: - izobraževalni program (srednji poklicni, tehnični oz. strokovni srednji programi, strokovne gimnazije, splošne oz. klasične gimnazije); - spol dijakov; - čas za učenje matematike oz. slovenščine (v urah tedensko), tj. redni pouk v šoli (v bazi podatkov PISA 2006 je bila to spremenljivka ST31Q04 oz. ST31Q07), organizirano učenje zunaj rednega pouka (dopolnilni/dodatni pouk, inštrukcije; spremenljivka ST31Q05 oz. ST31Q08), samostojno učenje in domače naloge doma (spremenljivka ST31Q06 oz. ST31Q09); - pripisovanje osebne pomembnosti lastnemu uspehu pri matematiki (spremenljivka ST36Q02) in slovenščini (spremenljivka ST36Q03); - najvišjo izobrazbo obeh staršev (v letih šolanja; spremenljivka PARED), najvišji poklicni položaj staršev (spremenljivka HISEI) in predvideni lastni poklic (raven poklicnega položaja; spremenljivka BSMJ); - spremenljivke, ki opisujejo količino dobrin pri dijaku doma, in sicer število knjig in WLE indekse, ki opisujejo (a) kulturne dobrine (npr. klasična literatura, poezija, druga umetniška dela; spremenljivka CULTPOSS), (b) učne vire (npr. miren prostor za učenje, slovar, knjige za pomoč pri šolskem delu; spremenljivka HEDRES) in (c) materialne dobrine (npr. kamera, DVD, MP3, število avtomobilov, računalnikov, kopalnic; spremenljivka HOMEPOS). Statistična analiza Za opisno statistiko sva uporabili računalniški program AM (ver. 0.06; American Institutes for Research, 2005), ki omogoča istočasno združeno obdelavo vseh pet ocen dosežka pri dijakih. Pri analizi povezav med napovedniki in dosežkom na PISI 2006 sva uporabili dvonivojske linearne modele (HLM; Raudenbush, Bryk, Cheong in Congdon, 2005), pri čemer so prvo raven predstavljali dijaki, drugo, višjo raven pa so predstavljale šole, ki so jih dijaki obiskovali. V dvonivojske modele sva med napovednike vnesli tudi tri dihotomne spremenljivke, ki so predstavljale izobraževalne programe. Da bi ugotovili, kolikšen del variance dosežkov na PISI 2006 je pojasnljive z razlikami med izobraževalnimi programi, sva oblikovali tudi trinivojska linearna modela. Zaradi klastrskega vzorčenja je pri statističnih analizah priporočljivo upoštevati dejstvo, da so podatki različnih dijakov znotraj posameznih šol korelira-ni in da so korelirani tudi podatki med različnimi šolami znotraj posameznih izobraževalnih programov. Z drugimi besedami, dosežki dijakov, ki obiskujejo isto šolo, so si med seboj predvidoma bolj podobni, kot so si z dosežki dijakov iz drugih šol, saj si dijaki iz iste šole delijo določene izkušnje, način zvajanja pouka, socialno-ekonomsko okolje ipd. Prav tako so šole, ki izvajajo sti izobraževalni program, bolj homogene, medtem ko so šole z različnimi zobraževalnimi programi raznovrstnejše. V dvonivojskih linearnih modelih sva zato gnezdili podatke dijakov k posameznim šolam, v trinivojskih pa sva poleg tega gnezdili še šole k posameznim izobraževalnim programom. V analizah sva preverjali, koliko variance v dosežkih dijakov lahko pojasnimo s posameznimi napovedniki in kolikšen delež variance lahko pojasnimo z razlikami med izobraževalnimi programi ter z razlikami med šolami znotraj programov. Najprej sva izdelali ničelni model za pojasnjevanje dosežkov na PISA 2006 pri matematiki, tj. model, v katerega ni bil vključen noben napovednik. S tem modelom sva nato primerjali model z vključenimi napovedniki. Ker obstajajo le štirje izobraževalni programi, ki vključujejo dijake v 10. letu šolanja, bi bili za ocenjevanje učinkov napo-vednikov trinivojski modeli neprimerni, saj bi imeli zaradi nizkega števila enot na tretji ravni prenizko moč. Zato sva s trinivojskim modelom ocenili zgolj delež variance, ki ga lahko pripišemo vsaki od treh ravni modela, nato pa sva nadaljevali z dvonivojskim modelom, s katerim sva na prvi ravni (na ravni dijaka) preverjali učinke napovednikov, ki so vezani na dijaka, na drugi ravni (na ravni šole) pa učinek vrste izobraževalnega programa. Za oceno učinkov posameznih napovednikov sva analizirali t. i. fiksne učinke napovednikov, in sicer le njihove glavne učinke: predvidevali sva, da so variance dosežkov dijakov na različnih šolah enake in da se med različnimi šolami tudi ne razlikujejo učinki posameznih napovednikov (modeli, v katerih je bila predvidena drugačna kovariančna struktura, niso konvergirali k rešitvi). Z modelom sva tako ocenjevali vrednost presečišča in učinkov posameznih spremenljivk. Kot odvisne spremenljivke sva v model vnesli vseh pet ocen dosežkov dijakov pri preizkusu matematične oz. bralne pismenosti PISA 2006. Podatke sva na ravni 1 (ravni dijaka) ustrezno obtežili. Analize sva izvedli z necentriranimi spremenljivkami. Za oceno statistik sva uporabili algoritem omejenega največjega verjetja. Kot statistično pomembne sva opredelili učinke z ravnjo tveganja, nižjo od 5 %. Rezultati Napovedovanje matematične pismenosti na PISI2006 V trinivojskem modelu lahko z razlikami med izobraževalnimi programi pojasnimo 45 % variance v matematični pismenosti dijakov. Povprečni dosežek dijakov v srednjih poklicnih šolah je znašal 419,0 točke, v tehničnih oz. strokovnih srednjih programih 480,0 točke, v strokovnih gimnazijah 524,4 točke in v splošnih oz. klasičnih gimnazijah 576,7 točke. K varianci dosežkov dijakov pa ni prispevala le vrsta izobraževalnega programa, tem- več so se glede dosežkov dijakov med seboj razlikovale tudi šole znotraj posameznih programov. Z razlikami med šolami znotraj izobraževalnih programov lahko pojasnimo 14 % variance dosežkov, torej po priporočilih Cohena (1988) srednje velik delež. Preostali del variance, tj. 41 % variance dosežkov, pa lahko pripišemo individualnim razlikam med dijaki. V dvonivojskem modelu zmoremo z učinkom napovednikov pojasniti skupaj 57 % celotne variance dosežkov (in sicer 84 % na ravni šole in 18 % na ravni dijaka). V Tabeli 1 so predstavljene ocene parametrov, ki odražajo glavne učinke posameznih napovednikov. Posamezna vrednost koeficienta v tabeli nam pove, za koliko točk bi se zvišal dosežek dijaka, če bi se zvišala vrednost napovednika za eno enoto (pri WLE indeksih sprememba za eno enoto pomeni spremembo za en standardni odklon), pri čemer bi imeli vsi drugi napovedniki konstantno vrednost. Tabela 1: Povzetek rezultatov za napoved dosežkov pri matematični pismenosti PISA 2006 Učinek koef. SE(koef.) t df p presečišče 366,29 11,03 33,20 139 0,000 na ravni šole PROGRAM4 59,64 5,05 11,80 197 0,000 PROGRAM5 99,22 6,72 14,76 284 0,000 PROGRAM6 148,09 7,26 20,39 167 0,000 na ravni dijaka spol 34,54 2,84 12,15 38 0,000 ure pouka MAT v šoli 4,74 1,47 3,22 416 0,002 ure MAT izven pouka -16,45 1,29 -12,71 89 0,000 čas samostojnega učenja MAT -2,40 1,42 -1,68 64 0,097 pomembnost uspeha pri MAT -8,73 1,63 -5,37 36 0,000 lastni poklicni položaj 0,10 0,08 1,19 2789 0,233 najvišji poklicni položaj staršev 0,16 0,12 1,28 14 0,222 najvišja izobrazba staršev 0,05 0,58 0,09 729 0,931 kulturne dobrine 1,44 1,85 0,78 20 0,447 učni viri 3,33 1,99 1,67 20 0,110 materialne dobrine -6,58 1,78 -3,70 18 0,002 število knjig 0,04 0,01 4,32 18 0,000 jezik doma 21,91 5,35 4,09 18 0,001 Opombe: MAT pomeni predmet matematika. V stolpcu koef. so predstavljene vrednosti regresijskih koeficientov, v stolpcu SE(koef.) pa njihove standardne napake. V zadnjih treh stolpcih so predstavljeni rezultati preverjanja statistične pomembnosti posameznih učinkov. PROGRAM4, PROGRAM5 in PROGRAM6 so naknadno ustvarjene dihotomne spremenljivke, namenjene preverjanju učinka vrste izobraževalnega programa. V Tabeli 1 vidimo, da je vrsta izobraževalnega programa napovednik, ki statistično pomembno pojasnjuje razlike v dosežkih dijakov pri preizkusu matematične pismenosti. Dosežki dijakov v programih 4 do 6 se pomembno razlikujejo od dosežkov dijakov programa 3. V analizah učinkov napovednikov na ravni dijakov se je izkazalo, da so dijakinje v povprečju dosegle za 34,5 točke nižji rezultat od dijakov. Ta razlika je statistično pomembna. Med statistično pomembnimi napovedniki so še: • tedensko število ur pouka matematike v šoli; ta napovednik je pozitivno povezan z dosežkom dijakov, ena ura pouka na teden več pomeni za skoraj 5 točk višji dosežek dijakov; • tedensko število ur organiziranega učenja matematike zunaj pouka; ta napovednik visoko negativno korelira z uspešnostjo dijakov na PISI; dijaki, ki so deležni več ur takega učenja, imajo nižje dosežke na PISI oziroma nasprotno, dijaki z nižjimi dosežki na PISI so deležni več ur organiziranega dodatnega učenja; • pomembnost uspeha pri matematiki; dijakom z višjimi dosežki je uspeh pri matematiki pomembnejši kot dijakom z nižjimi dosežki na PISI (nižja vrednost pri tej spremenljivki namreč pomeni višjo pomembnost uspeha dijaku); • količina materialnih dobrin doma; zvišanje tega indeksa za eno enoto rezultira v znižanju dosežka dijaka; količina materialnih dobrin je torej z dosežki povezana negativno - dijaki z več materialnimi dobrinami imajo nižje dosežke; • število knjig doma; zelo poenostavljeno povedano, vsaka dodatna knjiga doma prinese k dosežku dijaka 0,04 točke; • jezik, ki ga dijak govori doma; dijaki, ki doma govorijo slovensko, so pri preizkusu matematične pismenosti dosegli statistično pomembno višje rezultate kot dijaki, ki prihajajo iz domov, kjer govorijo kateri drugi jezik. Preostali napovedniki, med njimi tudi izobrazbena raven staršev, se z dosežki dijakov ne povezujejo statistično pomembno. Napovedovanje bralne pismenosti na PISI 2006 V ničelnem trinivojskem modelu lahko 50 % variance v dosežkih dijakov pripišemo učinku vrste izobraževalnega programa. Povprečni dosežek dijakov v srednjih poklicnih šolah je znašal 408,8 točke, v tehničnih oz. strokovnih srednjih programih 481,0 točke, v strokovnih gimnazijah 522,6 točke in v splošnih oz. klasičnih gimnazijah 570,2 točke. Z razlikami med šolami znotraj izobraževalnih programov lahko pojasnimo 16 % variance dosežkov, nepojasnjene pa ostane 34 % variance. Z učinkom izbranih napovednikov zmoremo pojasniti 58 % variance dosežkov dijakov pri preizkusu bralne pismenosti PISA 2006 (81 % na ravni šole in 12 % na ravni dijaka). Tabela 2 prikazuje pomembnost posameznih napovednikov za pojasnjevanje bralne pismenosti dijakov. Tudi tokrat so razvidne pomembne razlike med izobraževalnimi programi v dosežku pri preizkusu bralne pismenosti. Pri tem preizkusu so, obratno kot pri preizkusu matematične pismenosti, dekleta v povprečju dosegla za 18,6 točke višji rezultat od fantov. Tedensko število ur pouka slovenščine je z dosežkom pri preizkusu bralne pismenosti povezano statistično pomembno pozitivno, medtem ko se število organiziranih ur učenja izven pouka slovenščine, podobno kot število organiziranih ur matematike, negativno povezuje z dosežki na ustreznih področjih. Dosežki pri bralni pismenosti se pozitivno, a nizko, povezujejo z najvišjim poklicnim položajem staršev -višji kot je ta položaj, višji je dosežek dijaka. Z dosežkom se pozitivno in statistično pomembno povezujeta tudi količina učnih virov in število knjig doma, količina materialnih dobrin pa je tudi tokrat negativno povezana z dosežkom dijakov. Dijaki, ki doma govorijo slovensko, pri preizkusu bralne pismenosti PISA 2006 dosegajo približno 17 točk več kot njihovi vrstniki, ki doma govorijo drugi jezik. Napovedna veljavnost preostalih napovednikov ni statistično pomembna. Tabela 2: Povzetek rezultatov za napoved dosežkov pri bralni pismenosti PISA 2006 Učinek koef. SE(koef.) t df p presečišče 397,02 9,52 41,71 284 0,000 na ravni šole PROGRAM4 57,91 6,27 9,24 284 0,000 PROGRAM5 93,04 7,22 12,90 284 0,000 PROGRAM6 129,78 6,68 19,43 284 0,000 na ravni dijaka spol -18,57 2,20 -8,42 1606 0,000 ure pouka SLO v šoli 8,96 1,33 6,72 44 0,000 ure SLO izven pouka -11,10 1,66 -6,67 28 0,000 čas samostojnega učenja SLO 0,82 1,45 0,56 105 0,575 pomembnost uspeha pri SLO -1,07 1,49 -0,71 36 0,480 lastni poklicni položaj 0,13 0,08 1,66 131 0,099 najvišji poklicni položaj staršev 0,20 0,08 2,47 87 0,016 najvišja izobrazba staršev 0,53 0,51 1,05 1237 0,295 kulturne dobrine -2,52 2,16 -1,17 119 0,245 učni viri 16,45 5,26 3,13 30 0,004 materialne dobrine -19,84 4,26 -4,65 34 0,000 število knjig 0,02 0,01 2,66 35 0,012 jezik doma 17,08 4,18 4,09 76 0,000 Opombe: SLO pomeni predmet slovenščina. Glej tudi opombe pod Tabelo 1. V prikazanih modelih sta bili v analize vključeni približno dve tretjini osnovnega vzorca dijakov, kar bi lahko ogrožalo veljavnost zaključkov, če bi bili dijaki, ki so imeli manjkajoče vrednosti pri kateri od spremenljivk na kakršen koli način drugačni od dijakov, ki so podali popolne podatke. Največ manjkajočih podatkov je vsebovala spremenljivka lastnega predvidenega poklicnega položaja. Analize sva izvedli še enkrat brez tega na-povednika, da bi preverili, ali se zaključki v zvezi z učinkom preostalih napovednikov spremenijo. V takem primeru je v analizah dosežkov pri preizkusu matematične pismenosti PISA 2006 ostalo 5080 dijakov, v analizah dosežkov pri preizkusu bralne pismenosti pa 5131. Osip je torej v obeh primerih znašal manj kot 15 %. Analizi sta vodili do zelo podobnih rezultatov - pri preizkusu matematične pismenosti so se vsi napovedniki, ki so se izkazali za statistično pomembne v modelu z vključenim predvidenim poklicnim položajem, izkazali za take tudi v modelu brez tega napovednika. Pri analizi dosežkov bralne pismenosti pa se je kot statistično pomemben dodatno pokazal učinek količine kulturnih dobrin doma; koeficient = 3,70, SE(koef.) = 1,16, t(138) = 3,18, p = 0,002. Razprava Na podlagi podatkov PISE 2006 ugotavljava, da približno polovico razlik v dosežkih slovenskih dijakov prvih letnikov srednješolskega izobraževanja pri vsakem od obeh obravnavanih področij pismenosti (matematična in bralna) pojasnijo razlike v izobraževalnih programih. V povprečju najvišje rezultate pri preizkusih matematične in bralne pismenosti dosegajo dijaki, ki obiskujejo splošne gimnazije, najnižje pa dijaki v srednjih poklicnih šolah. Razlike ocenjujeva kot razmeroma velike. Pojavljajo se lahko zaradi samega učinka izobraževalnega programa, ki se, tako pri predmetu matematika kot tudi slovenščina, v obsegu in spoznavni zahtevnosti razlikuje med poklic- nimi šolami, tehničnimi srednjimi programi, strokovnimi gimnazijami in splošnimi gimnazijami. Poleg tega v statističnih analizah ugotovljeni učinek izobraževalnega programa ne vključuje le morebitnega dejanskega učinka programa, temveč tudi selekcijo udeležencev izobraževanja (npr. Pind, Gunnarsdottir in Johanesson, 2003) glede na njihove predhodne učne dosežke. V splošne gimnazije se vpisujejo posamezniki, ki so bili ob koncu osnovnega izobraževanja v povprečju učno najuspešnejši, v poklicne šole pa posamezniki z bistveno nižjimi preteklimi učnimi dosežki. Razmeroma majhen del razlik (14 do 16 %) v dosežkih dijakov na področju matematične in bralne pismenosti pri PISI 2006, ki pa praktično nikakor ni zanemarljiv, lahko pripišemo razlikam med šolami znotraj posameznih srednješolskih izobraževalnih programov. Razlike v povprečnih dosežkih dijakov med šolami bi se lahko pojavljale zaradi razlik med značilnostmi posameznih šol znotraj istih programov, npr. v težnjah šol, da bi za vpis pridobile čim več dijakov, v ravni pritiska staršev na šolo, da postavlja visoka učna merila dijakom, v ravni avtonomnosti šole pri njenem upravljanju, številu dijakov na učitelja pri ustreznem predmetu, v ravni usposobljenosti in obremenjenosti učiteljev (PISA 2006: Science Competencies for Tomorrow's World Executive Summary, 2007) ter v njihovem prevladujočem načinu poučevanja (npr. Middleton in Midgley, 2002; Puklek Levpušček in Zupančič, 2009), v razlikah med šolami pri izbiri učbenikov (Justin in Zupančič, 2005). Večji del variance kot z razlikami med šolami znotraj istih izobraževalnih programov pa pojasnjujejo razlike na ravni dijakov, tako socialne kot psihološke, in sicer približno dve petini razlik v matematični pismenosti in približno eno tretjino razlik v dosežkih pri bralni pismenosti. V dvonivojskih modelih, s katerimi sva preverjali učinke posameznih napovednikov, vezanih na dijake in na vrsto izobraževalnega programa, se je pokazalo, da večino pojasnjenih razlik (z izbranimi napovedniki pojasnimo nekoliko več kot polovico razlik v dosežkih dijakov) na vsakem izmed dveh obravnavanih področij pismenosti lahko pripišemo vrsti srednješolskega izobraževalnega programa. Učinek te spremenljivke vključuje tudi predhodno selekcijo posameznikov po učnem uspehu, kot sva navedli v prvem odstavku, pa tudi posameznikove izobraževalne aspiracije. V eni izmed delnih napovednih analiz,1 v kateri nisva upoštevali izobraževalnih programov kot napovednikov, se je namreč izkazalo, da samoocena pričakovanega lastnega poklicnega položaja dijakov pomembno napoveduje njihove dosežke. Dijaki, ki pričakujejo višji položaj, imajo v povprečju višje rezultate pri PISI 2006. Ko pa sva v analizo vključili izobraževalne programe, se pričakovani poklicni položaj ni izkazal kot pomemben napovednik ravni pismenosti. To pomeni, da se srednješolski programi razlikujejo tudi po pričakovanem poklicnem položaju dijakov (primerjaj tudi z Marjanovič Umek, Gaber, Sočan, Podlesek in Tasner, v tej številki), saj učinek programa »pobere« večino prispevka »lastnega« poklicnega položaja k ravni pismenosti. Med izbranimi napovedniki na individualni ravni se z matematičnimi in bralnimi dosežki PISA 2006 povezujejo čas učenja v okviru rednega pouka matematike oz. slovenščine v šoli, manjša subjektivno zaznana poraba časa za organizirane oblike učenja pri odgovarjajočih predmetih (matematika, slovenščina) zunaj rednega pouka teh predmetov in spol dijakov. Povezave med porabo časa dijakov za učenje ustreznih predmetov in njihovimi dosežki na področju matematične ter bralne pismenosti so enake tistim, ki jih navaja mednarodno poročilo na področju naravoslovja v različnih državah (PISA 2006: Science Competencies for Tomorrow's World Executive Summary, 2007). Prisotnost pri pouku, sledenje razlagi, sodelovanje pri učnem delu so pogoji, ki med drugimi prispevajo k usvajanju in uporabi ustreznih kompetenc. Po drugi strani pa je večja količina porabljenega časa dijakov za organizirano učenje ustreznega predmeta (dopolnilni pouk, inštrukcije) zunaj pouka prej posledica kot vzrok za njihove nižje dosežke. Fantje so na področju matematične pismenosti nekoliko uspešnejši od deklet, medtem ko dijakinje v povprečju dosegajo nekoliko višje rezultate pri preizkusu bralne pismenosti v primerjavi z dijaki. Do razlik v učnih dosežkih med spoloma naj bi prihajalo predvsem zaradi različnega vedenja fantov in deklet v razredu (Fergusson in Horwood, 1997) in zaradi razlik v izraznosti specifičnih spoznavnih sposobnosti. Slednje imajo, poleg splošne inteligentnosti (g faktor), pomembno dodatno vlogo v učnih dosežkih posameznikov, npr. prostorska sposobnost pri matematiki (Rohde in Thompson, 2007; Shea, Lubinski in Benbow, 2001), sposobnost pisnega izražanja v maternem jeziku (Deary idr., 2007). Fantje in dekleta se glede g praviloma ne razlikujejo (npr. Deary, Thrope, Wilson, Starr in Whalley, 2003; Fergusson in Horwood, 1997), vendar so dekleta v povprečju nekoliko uspešnejša pri večini predmetov kot fantje (Deary idr., 2007), obratne majhne razlike med spoloma pa včasih najdemo v dosežkih iz matematike in fizike (npr. Mullis idr., 2004). Tako naj bi imela dekleta prednost pred fanti glede besedne fluentnosti, spomina za besedno posredovane podatke, spretnosti pisanja (Deary idr., 2007), fantje pa naj bi imeli prednost pred dekleti v specifični prostorski sposobnosti, ki je neodvisna od g (npr. predstavljanje obratov ali položajev predmeta ali oblik predmetov v prostoru) in dodatno napoveduje uspešnost pri reševanju težkih matematičnih nalog (Stumpf, 1994, v: Rohde in Thompson, 2007). Z višjimi dosežki pri vsakem izmed dveh področij PISE 2006 se v povprečju povezujejo še slovenščina kot pogovorni jezik dijakov doma, večje število knjig doma in manjše število materialnih dobrin (npr. mobilnih telefonov, računalnikov, avtomobilov, televizorjev, kopalnic), za katere dijaki navajajo, da jih imajo doma. Dijaki, ki živijo v slovensko govorečem družinskem okolju, imajo verjetno bolj razvite govorne kompetence v tem jeziku kot dijaki, ki doma govorijo tuji jezik, kar prispeva k nekoliko višjim dosežkom pri bralni in matematični pismenosti prvih v primerjavi z drugimi. Govorna kompetentnost (npr. ustnega in pisnega razumevanja ter izražanja) je namreč pomemben dejavnik učne uspešnosti pri različnih šolskih predmetih, ne glede na metodo ocenjevanja uspešnosti (npr. Marjanovič Umek idr., 2006; Marjanovič Umek, Sočan in Bajc, 2007). Dalje dosegajo otroci staršev, ki imajo doma več knjig, na splošno višje učne rezultate kot tisti, ki imajo doma manj knjig (npr. Mullis idr., 2004; Plomin, DeFries, McClearn in McGuffin, 2001). Ta povezava pa ne pomeni, da sama količina knjig vpliva na učne dosežke oz. da so otroci in mladostniki z več knjigami doma zaradi tega učno uspešnejši kot njihovi vrstniki z manj knjigami. Navedena zveza se verjetno pojavlja zato, ker se število knjig doma pozitivno povezuje z izobrazbo in s spoznavnimi sposobnostmi staršev ter s kakovostjo in količino spoznavno spodbudnih dejavnosti, v katere starši vključujejo svoje otroke (tudi med navedenimi v povprečju obstaja zmerna povezanost). Te značilnosti staršev in starševstva, ki niso nujno okoljskega izvora (Plomin idr., 2001), pa pomembno prispevajo k sposobnostim in učni uspešnosti njihovih otrok ter mladostnikov (npr. Yeung, Linver in Brooks-Gunn, 2002). Ugotovljeni napovedni odnos tudi ne izključuje zveze v obratni smeri: dijaki z višjo ravnjo pismenosti se lahko bolj zanimajo za branje, več berejo in spodbujajo starše k nakupu knjig kot njihovi vrstniki z nižjimi dosežki. Ugotovljena nizka in negativna napovedna zveza med materialnimi dobrinami doma ter ravnjo pismenosti dijakov sugerira, da odnos med družinskim prihodkom in materialnimi dobrinami, ki jih imajo mladostniki doma, ni nujno linearen in pozitiven, kot to navajajo drugi avtorji pri posameznikih, pristransko izbranih zlasti iz nižjih socialnoekonomskih slojev (npr. McLoyd, 1998). V okviru zagotavljanja ugodnega, spoznavno spodbudnega fizičnega okolja doma in spoznavno spodbudnih dejavnosti za otroke in mladostnike, ima ugodno materialno stanje družine sicer pozitivno vlogo, vendar le do določene meje. Velika količina materialnih dobrin tako nujno ne zagotavlja optimalno spodbudnega okolja za otroke in mladostnike oz. materialno izobilje ni nujno pokazatelj intelektualno ugodnega okolja doma. Z bralno pismenostjo se pozitivno povezuje tudi količina učnih virov (pisalna miza, miren prostor za učenje, lasten kalkulator, knjige za pomoč pri šolskem delu, slovar), ki jih imajo dijaki doma, in visok poklicni položaj vsaj enega izmed staršev. S spoznavnimi dosežki torej sovariirajo tisti pogoji v dija-kovem fizičnem okolju doma, ki se neposredno vežejo na njegovo vključevanje v »tradicionalno akademske« intelektualne dejavnosti, ne pa tudi tisti, ki so odraz visokega materialnega položaja družine. Seveda je pri tem pomembno, da dijaki vire tudi uporabljajo, ne le, da so jim neposredno dostopni. V pričujoči analizi se je tudi izkazalo, da izobrazba staršev ni pomemben napovednik ravni dosežkov pri preizkusu na področjih bralne (pa tudi matematične) pismenosti dijakov, verjetno predvsem zaradi povezave izobrazbe s (a) poklicnim položajem staršev, (b) številom knjig doma in (c) količino učnih virov na domu dijakov. Ko je v analizo poleg izobrazbe staršev vključenih več napove-dnikov, ki se povezujejo z izobrazbo, se namreč lahko izkaže, da nekateri (npr. število knjig, poklicni položaj staršev) poleg vse variance, ki jo v dosežkih dijakov pojasnjuje izobrazba staršev, vsebujejo še nekaj dodatne pojasnjevalne moči. Z višjimi dosežki na področju matematične pismenosti se v povprečju povezuje tudi dijakovo pripisovanje večje pomembnosti učnemu uspehu pri predmetu matematika, kar je skladno z nekaterimi predhodnimi ugotovitvami (glej npr. Mullis idr., 2004; Wigfield in Eccles, 2002; Zupančič idr., 2002). Omejitve, prednosti in nadaljnje analize Pomembna omejitev predstavljene sekundarne analize je zlasti ta, da vsi podatki temeljijo na poročilih dijakov. Te ocene, kot so npr. ocena časa samostojnega učenja pri ustreznem šolskem predmetu, pomembnost uspeha pri tem predmetu, so subjektivno pristranske zaradi več razlogov (npr. halo učinek, merila ocenjevanja, težnja k sredini), poleg tega poročila dijakov npr. o poklicu, izobrazbi staršev, količini dobrin doma niso nujno povsem zanesljiva. Prednosti opravljenega dela so predvsem v tem, da rezultati temeljijo na podatkih, pridobljenih pri velikem in reprezentativnem vzorcu slovenskih srednješolcev prvih letnikov, z izbrano metodo statistične analize pa sva lahko ločeno ocenili učinke različnih napovednikov in pregledali, kolikšen del variabilnosti dosežkov lahko pripišemo posamezni ravni analize (izobraževalnemu programu, šoli, dijaku). Rezultatov si ne smemo razlagati le v smislu enosmernih učinkov oz. enosmernih povezav od napovednih h kriterijskim spremenljivkam. Ugotovitve torej ne izključujejo zvez med spremenljivkami v nasprotni smeri. Dijaki z višjimi dosežki na področju matematične pismenosti verjetno porabijo manj časa za organizirano učenje matematike zunaj pouka, ker dejansko bolje in hitreje razumejo in obvladajo matematično snov ter upora- bljajo učinkovitejše strategije pri reševanju nalog s tega področja kot dijaki z nižjimi dosežki, zato prvi ne potrebujejo dodatne pomoči zunaj pouka. Poleg tega tudi ni nujno, da so ugotovljeni učinki napovednih spremenljivk na dosežke dijakov neposredni. Tako se lahko dijaki z višjo ravnjo bralne pismenosti bolj zanimajo za branje knjig in zaradi tega v povprečju doma opazijo večje število knjig kot njihovi manj bralno pismeni vrstniki. V nadaljnjih analizah bi bilo smiselno preveriti še morebitne učinke interakcije med posamičnimi napovedniki na matematično in bralno pismenost dijakov. Pozornost bi bilo treba nameniti tudi ugotavljanju izvorov razlik v matematični in bralni pismenosti dijakov med šolami znotraj istih izobraževalnih programov, torej zakaj se npr. pojavljajo pomembne razlike v dosežkih dijakov med posameznimi splošnimi gimnazijami v Sloveniji. Vsekakor pa bodo natančnejši vpogled v izvore razlik v matematični in bralni pismenosti na ravni dijakov omogočila naslednja zbiranja podatkov, ko bosta poudarjeni področji bralne (leta 2009) in matematične (leta 2012) pismenosti. Kratek pregled stanja na področju bralne in matematične pismenosti, ki je bil cilj zbiranja podatkov v raziskavi PISA 2006 (poudarjeno je bilo področje naravoslovne pismenosti), je namreč v nabor spremenljivk zajel zelo majhno število individualnih značilnosti dijakov. Poleg tega te spremenljivke niso neposredno odražale psiholoških značilnosti posameznikov, ki jih je obravnavalo v letu 2006 poudarjeno področje naravoslovja (npr. motivacijska prepričanja, zaznana učna samoučinkovitost ipd). Opombe [1] Rezultati so dostopni v osebnem arhivu druge avtorice tega prispevka. Literatura American Institutes for Research in Jon Cohen (2005). AM statistical software. Sneto 1. 7. 2008 s spletne strani: http://am.air.org/ Ceci, S. J. (1999). Schooling and intelligence. V: S. J. Ceci in W. M. Williams (ur.), The nature-nurture debate (str. 168-176). Oxford: Blackwell Publishers Ltd. Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Lawrence Erlbaum Associates. Deary, I. J., Strand, S., Smith, P. in Fernandes, C. (2007). Intelligence and educational achievement. Intelligence, 35, 13-21. Deary, I. J., Thrope, G., Wilson, V., Starr, J. M. in Whalley, L. J. (2003). Population sex differences in IQ at age 11: The Scottish Mental Survey 1932. Intelligence, 31, 533-542. Fergusson, D. M. in Horwood, L. J. (1997). Gender differences in educational achievement in a New Zealand birth cohort. New Zealand Journal of Educational Studies, 32, 83-96. Garson, G. D. (2008). Linear Mixed Models: Random Effects, Hierarchical Linear, Multilevel, Random Coefficients, and Repeated Measures Models. Sneto 15. 4. 2008 s strani: http://www2.chass.ncsu.edu/garson/pa765/multilevel.htm Johnson, W., McGue, M in Iacono, W. G. (2007). How parents influence school grades: Hints from a sample of adoptive and biological families. Learning and Individual Differences, 17(3), 201-219. Justin, J. in Zupančič, M. (2005). TIMSS in trendi v stališčih do vloge učbenikov. Šolsko polje, 16(3/4), 79-104. Marjanovič Umek, L., Gaber, S., Sočan, G., Podlesek, A. in Tasner, V. (2009). PISA: analiza primarnih in sekundarnih učinkov družbenih razlik na naravoslovne dosežke učencev oz. dijakov. Šolsko polje, 20(1/2) Marjanovič Umek, L., Sočan, G. in Bajc, K. (2006). Psihološki in družinski dejavniki šolske ocene. Sodobna pedagogika, 57(2), 108-129. Marjanovič Umek, L., Sočan, G. in Bajc, K. (2007). Vpliv psiholoških dejavnikov in izobrazbe staršev na učno uspešnost mladostnikov. Psihološka obzorja, 16(3), 27-48. McLoyd, V. C. (1998). Socioeconomic disadvantage and child development. American Psychologist, 53(2), 185-204. Middleton, M. J. in Midgley, C. (2002). Beyond motivation: Middle school students' perceptions of press for understanding in math. Contemporary Educational Psychology, 27, 373-391. Mullis, I. V. S., Martin, M. O., Gonzales, E. J. in Chrostowski, S. J. (2004). TIMSS 2003 international mathematics report. Chestnut Hills, MA: TIMSS & Pirls International Study Center. Nacionalni center za raziskave PISA 2006 (2006). Vprašalnik za dijakinje in dijake. Ljubljana: Pedagoški inštitut. Pind, J., Gunnarsdottir, E. K. in Johanesson, H. S. (2003). Raven's standard progressive matrices: New school age norms and a study of test validity. Personality and Individual Differences, 34, 375-386. PISA 2006: Science Competencies for Tomorrow's World Executive Summary (2007). Paris: OECD. Plomin, R., DeFries, J. C., McClearn, G. E. in McGuffin, P. (2001). Behavioral genetics. New York: Worth Publishers. Puklek Levpušček, M. in Zupančič, M. (2009). Math achievement in early adolescence: The role of parental involvement, teachers' behavior and students' motivational beliefs about math. Journal of Early Adolescence, 29, 541-570. Raudenbush, S. W., Bryk, A. S., Cheong, Y. F. in Congdon, R (2005). Hierarchical Linear and Nonlinear Modeling, Version 6.02: Users' Guide and Software Program. Chicago: Scientific Software International. Rohde, T. E. in Thompson, L. A. (2007). Predicting academic achievement with cognitive ability. Intelligence, 35, 83-92. Shea, D. L., Lubinski, D. in Benbow, C. P. (2001). Importance of assessing spatial ability in intellectually talented young adolescents: A 20-year longitudinal study. Journal of Educational Psychology, 93, 604-614. Štraus, M., Repež, M. in Štigl, S. (ur.) (2007). Nacionalno poročilo PISA 2006: naravoslovni, bralni in matematični dosežki slovenskih učencev. Ljubljana: Nacionalni center PISA, Pedagoški inštitut. Wigfield, A. in Eccles, J. S. (ur.) (2002). Development of achievement motivation. San Diego: Academic Press. Yeung, W., Linver, M. R. in Brooks-Gunn, J. (2002). How money matters for young children's development: Parental investments and family processes. Child Development, 73, 1861-1879. Zupančič, M., Gril, A., Štraus, M. in Brečko, B. (2002). Mednarodna primerjava obremenjenosti učencev z vidika otrokovega in mladostnikovega psihosocialnega razvoja. Neobjavljeno raziskovalno poročilo. Ljubljana: Pedagoški inštitut. POVEZANOST INDIVIDUALNIH ZNAČILNOSTI IN DEJAVNIKOV KONTEKSTA Z NARAVOSLOVNIMI DOSEŽKI SLOVENSKIH DIJAKOV NA PISI 2006 Maja Zupančič in Anja Podlesek Oddelek za psihologijo, Filozofska fakulteta, Univerza v Ljubljani Uvod V okviru prispevka sva analizirali napovedne odnose med izbranimi individualnimi značilnostmi dijakov in njihovega okolja, ki so bile zajete v raziskavo PISA 2006, ter ravnjo naravoslovne pismenosti. Slednja je bila poudarjeno področje pri zbiranju podatkov PISA 2006. Naravoslovna pismenost (PISA 2006. Science Competencies for Tomorrow's World, 2007) vključuje posameznikovo: - naravoslovno znanje in rabo tega znanja pri prepoznavanju naravoslovne problematike, pridobivanju novega znanja, razlagi naravoslovnih pojavov ter pri izpeljavi sklepov, ki temeljijo na dejstvih; - razumevanje značilnosti znanstvenega védenja kot oblike človeškega znanja in raziskovanja; - poznavanje tega, kako znanost in tehnologija oblikujeta človekovo fizično, intelektualno in kulturno okolje; - pripravljenost za ukvarjanje z aktualno naravoslovno problematiko s perspektive razmišljujočega državljana. Podatki PISA 2006 so bili sicer zbrani pri slovenskih petnajstletnikih (generacija 1990), med katerimi so nekateri obiskovali še osnovno šolo (v: Štra-us, Repež in Štigl, ur., 2007), vendar sva se osredotočili le na dijake prvih letnikov, vključene v različne programe srednješolskega izobraževanja. Za homogen vzorec dijakov sva se odločili, ker: (a) je učinek let šolanja na splošno spoznavno sposobnost in intelektualno kompetentnost udeležencev izobraževanja precejšen oz. večji od učinka kronološke starosti (npr. Ceci, ŠOLSKO POLJE « LETNIK XX (2009) « ŠTEVILKA 1/2 « str. 145-174 1999); (b) večina (90 %) slovenskih 15-letnikov obiskuje srednje šole; (c) v raziskavi PISA 2006 je sodelovalo majhno število osnovnih šol (in učencev). V opravljenih sekundarnih analizah bi se lahko zaradi navedenega pojavile neželene napake. Poleg ugotavljanja napovedne vrednosti izbranih spremenljivk sva tudi preverjali, v kolikšni meri lahko razlike v skupnih naravoslovnih dosežkih dijakov in v dosežkih na posameznih področjih naravoslovne pismenosti pojasnimo z razlikami med srednješolskimi izobraževalnimi programi ter z razlikami med šolami znotraj istih programov. Med podatki, zbranimi s pomočjo vprašalnika za dijakinje in dijake v raziskavi PISA 2006, sva na podlagi različnih psiholoških razlagalnih modelov in rezultatov empiričnih raziskav izbrali dva široka sklopa napovednikov, sklop individualnih značilnosti dijakov in sklop dejavnikov okolja (značilnosti konteksta). Med značilnostmi posameznikov sva upoštevali tiste mere, s katerimi so različni avtorji pojasnjevali medosebne razlike v učni uspešnosti (dosežkih pri preizkusih znanja, šolskih ocenah) učencev in dijakov. Zaznana učna sa-moučinkovitost je na primer ključna pri pojasnjevanju uspešnosti v modelu Bandure (1986, 1997). V skladu z novim modelom, v katerem naj bi intelektualna kompetentnost (Chamorro-Premuzic in Furnham, 2006) predstavljala mero učne uspešnosti, avtorji ugotavljajo, da t. i. mere subjektivne ocene sposobnosti (SOS) dodatno pojasnjujejo intelektualno kompetentnost, poleg pojasnjevalne vrednosti spoznavnih sposobnosti in osebnostnih potez učencev oz. dijakov. Pomembne značilnosti poleg navedenih, čeprav se z njimi do določene mere povezujejo, so tudi učna motivacija (notranja in zunanja; Eccles in Wigfield, 2001; Schunk in Pajares, 2002; Wentzel, 1997), posameznikovo zanimanje za učenje vsebin pri posameznih šolskih predmetih, njegove učne aspiracije in vrednotenje učnih dosežkov (Mullis, Martin, Gonzales in Chrostowski, 2004; Zupančič, Gril, Štraus in Brečko, 2002). Z učnim dosežkom se povezuje tudi posameznikova zaznana količina učenja in učne pomoči, ki jo prejme od kompetentnih oseb zunaj pouka. Te zveze pa so negativne, kar lahko pomeni, da se subjektivno zaznani čas učenja in količina pomoči z večjo verjetnostjo pojavljata kot posledica medosebnih razlik v učni uspešnosti in manj verjetno kot njihov vzrok (Marjanovič Umek, Sočan in Bajc, 2006; Puklek Levpušček in Zupančič, 2009; Zupančič idr., 2002). Večina avtorjev, ki preučujejo dejavnike učne uspešnosti, v analizah upošteva tudi spol posameznikov. Spol učencev in dijakov pa dosledno pojasnjuje majhne ali celo nepomembne odstotke variance na ravni doseženega znanja (pri objektivnih preizkusih znanja), v zaključnih šolskih ocenah iz posameznih predmetov in v skupnem učnem uspehu. Če že prihaja do razlik med spoloma, se pogosteje izkaže, da so dekleta pri večini predmetov (ko mero uspešnosti predstavlja zaključna šolska ocena), uspešnejša od fantov, fantje pa so nekoliko pogosteje uspešnejši npr. pri fiziki, matematiki (npr. Deary, Strand, Smith in Fernandes, 2007; Puklek Levpušček in Zupančič, 2009). V sklopu posameznih dejavnikov konteksta sva izbrali tiste spremenljivke, zajete v raziskavi PISA 2006, ki se pomensko vsaj delno ujemajo s ključnimi značilnostmi družine in pouka v šoli in za katere je bila v dosedanjih raziskavah podprta pomembna vloga v učnih dosežkih posameznikov. Te so npr. izobrazba staršev, poklicni položaj staršev, ekonomski položaj družine (npr. Mar-janovič Umek idr., 2006; Mullis idr., 2004; PISA 2006. Science Competencies for Tomorrow's World, 2007), ciljne usmeritve učiteljev v razredu, način učnega dela (npr. Middleton in Midgley, 2002; Midgley idr. 2000; Puklek Levpušček in Zupančič, 2009). Na splošno se z višjimi dosežki učencev in dijakov povezujejo višja izobrazba, višji poklicni položaj staršev in višji materialni položaj družine (vendar to ne pomeni, da se zveza ohranja tudi z rastjo materialnega položaja na nadpovprečnem območju; glej tudi Zupančič in Podlesek, v tej številki). Dalje se učenci in dijaki, ki v razredu izkusijo več učne opore učitelja pri določenem predmetu (npr. zanimanje učitelja za učno delo učencev/dijakov, nudenje pomoči pri učenju, spodbujanje k optimalnim dosežkom glede na individualne značilnosti posameznikov), bolj vključujejo v učenje in imajo v povprečju višje učne dosežke pri tem predmetu kot posamezniki, ki zaznavajo manj učne opore učiteljev (npr. Wentzel, 1994, 1997). Tudi učenci/dijaki učiteljev, ki v razredu bolj usmerjajo k obvladovanju učne snovi (ciljna usmerjenost učiteljev k obvladovanju), razvijanju učnih kompetenc in spretnosti ter poudarjajo razumevanje učne snovi, se v povprečju uspešneje spoprijemajo z učnimi zahtevami in imajo v povprečju višje dosežke kot učenci/dijaki učiteljev z nižjo ravnjo ciljne usmerjenosti k obvladovanju (Kaplan in Midgley, 1999; Urdan in Midgley, 2003). Prav tako so učenčeve/dijakove zaznave učiteljeve zahtevnosti glede spoznavnega vključevanja v razredu (pričakovanja učiteljev in tehnike, ki jih uporabljajo pri poučevanju, zagotavljanju razumevanja učne snovi in pri preverjanju znanja) pozitivno povezane z mladostnikovi-mi prilagojenimi vzorci učenja in z učno uspešnostjo (Middleton in Midgley, 2002; Puklek Levpušček in Zupančič, 2009). Metoda Baza podatkov Sekundarno sva analizirali podatke raziskave PISA 2006 pri slovenskem vzorcu dijakov. Prvotno je baza podatkov o slovenskih dijakih obsegala podatke o 6595 posameznikih, in sicer njihove odgovore pri Vprašalniku za dijakinje in dijake (Nacionalni center za raziskave PISA 2006, 2006; v nadaljevanju Vprašalnik) in ocene dosežkov na različnih področjih naravoslovne pismenosti. Podatek vsakega dijaka sva obtežili tako, da sva populacijsko utež W_FSTUWT delili z vsoto vseh uteži W_FSTUWT (tj. 20595,19) in dobljeno vrednost nato pomnožili s številom dijakov v bazi, tj. s 6595 (glej tudi Zupančič in Podlesek, v tej številki). V analize sva vključili samo dijake, ki so šolo obiskovali 10. leto in so obiskovali enega od srednješolskih programov (število dijakov, ki so šolo obiskovali 8., 9. ali 11. leto, je bilo tudi sicer prenizko za ustrezno izvedbo analiz). V obdelavo sva vključili le dijake iz 288 šol, v katerih je bilo v zbiranje podatkov vključenih več kot 5 dijakov (glej tudi Zupančič in Podlesek v tej številki). Nadalje so bili iz analiz izključeni dijaki z manjkajočo vrednostjo na kateri koli obravnavani spremenljivki. Končno število podatkov je bilo 3861. Vsota njihovih obtežitev je bila 3950,8. Od obteženih podatkov jih je 2143 (54,2 %) pripadalo dijakinjam. Povprečna starost dijakov in dijakinj je bila 15,70 leta (SD = 0,27). V program srednjega poklicnega izobraževanja jih je bilo vključenih 580 (14,7 %), v program tehničnega oz. strokovnega srednjega izobraževanja 1445 (36,6 %), v program strokovne gimnazije 441 (11,2 %) in v program klasične/splošne gimnazije 1484 (37,6 %). Spremenljivke V analize sva vključili spremenljivke, vezane na odgovore dijaka pri Vprašalniku, in spremenljivke, vezane na dosežek dijaka na različnih področjih naravoslovne pismenosti PISA 2006, tj. z vrednostmi, kot so obstajale v bazi PISA 2006. Nekatere spremenljivke sva prekodirali. Spremenljivko ST15Q01, ki predstavlja število knjig doma, sva iz ordinalne spremenljivke s šestimi ravnmi (kategorije števila knjižnih polic) spremenili v intervalno spremenljivko število knjig doma (za natančnejši opis pretvorbe glej Zupančič in Podlesek v tej številki). Spremenljivko ST02Q01, ki predstavlja izobraževalni program, sva spremenili v tri dihotomne spremenljivke (program 4, program 5 in program 6), ki so skupaj predstavljale štiri izobraževalne programe (izobraževalni program 3 je bil zastopan z vrednostmi 0 na vseh treh spremenljivkah, medtem ko so imeli programi od 4 do 6 vrednost 1 na istoimenski spremenljivki in vrednost 0 na drugih dveh spremenljivkah). Spremenljivko ST12Q01 sva spremenili v jezik doma, kjer je vrednost 1 predstavljala, da pri dijaku doma govorijo slovensko, vrednost 0 pa, da govorijo katerikoli drugi jezik. Veliko napovednih spremenljivk sva opredelili prek WLE indeksov (ocen obteženega verjetja), ki so že vključeni v bazo podatkov PISA 2006. WLE indeksi so bili dobljeni na podlagi združene obdelave odgovorov dijakov vseh v raziskavo vključenih držav s skaliranjem po teoriji odgovora na postavko. Vsak indeks predstavlja skupno mero odgovorov na več izbranih dihotomnih ali intervalnih (likertovih) postavk z določeno vsebino. Povprečna vrednost WLE indeksa za dijake vseh držav je 0, standardni odklon pa je enak 1. Kriterijske spremenljivke je sestavljalo 5 ocen dosežka na vsakem izmed 6 področij: - splošni naravoslovni dosežek (SCIE), ki združuje tri naravoslovne kompetence in tri vsebinska področja znanja (fizikalni sistemi, živi sistemi in sistemi Zemlje in vesolja; v: Štraus idr., ur., 2006), - splošno zanimanje za naravoslovje (INTR), ki predstavlja eno izmed sestavin odnosa dijakov do naravoslovja, - dijakova podpora naravoslovnemu raziskovanju (SUPP), ki je prav tako eno izmed sestavin odnosa do naravoslovja, - znanstveno razlaganje pojavov (EPS), tj. prva izmed treh kompetenc naravoslovne pismenosti, - prepoznavanje naravoslovnih vprašanj oz. problematike (ISI), tj. druga izmed treh kompetenc naravoslovne pismenosti, - uporaba znanstvenih dokazov (USE), tj. tretja kompetenca v okviru naravoslovne pismenosti. Te ocene dosežkov na vsakem področju so bile v mednarodni analizi dobljene s skaliranjem po teoriji odgovora na postavko na podlagi odgovorov dijakov iz vseh vključenih držav. Predstavljajo pet različnih, naključno izbranih vrednosti verjetja za oceno dosežka posameznega dijaka pri splošni lestvici naravoslovne pismenosti in po posameznih petih področjih. Napovedniki so vključevali: - izobraževalni program (v bazi PISA 2006 spremenljivka ST02Q01 s kategorijami: srednji poklicni, tehnični oz. strokovni srednji programi, strokovne gimnazije, splošne oz. klasične gimnazije); - spol dijakov (spremenljivka ST04Q01); čas, ki ga dijaki porabijo za učenje naravoslovja (v urah tedensko): (a) pri rednem pouku v šoli (spremenljivka ST31Q01), (b) organizirano zunaj rednega pouka, npr. pri dopolnilnem/dodatnem pouku, in-štrukcijah (ST31Q02) in (c) doma, tj. za samostojno učenje in domače naloge (ST31Q03); dijakovo pripisovanje pomembnosti lastnemu uspehu pri naravoslovnih predmetih (ST36Q01); izobrazbeni oz. poklicni položaj družine:: (a) izobrazbo (v letih šolanja) tistega od staršev, ki ima več zaključenih let šolanja kot drugi (spremenljivka najvišja izobrazba staršev oz. PARED), (b) poklicni položaj tistega od staršev, ki ima izmed obeh višji položaj (HISEI), in (c) predvideni lastni poklic dijaka v prihodnosti (raven poklicnega položaja; spremenljivka BSMJ); spremenljivke, ki opisujejo količino dobrin pri dijakih doma, in sicer (1) število knjig ter (2) WLE indekse: (a) kulturne dobrine (npr. klasična literatura, poezija, druga umetniška dela; spremenljivka CULTPOSS), (b) učni viri (npr. miren prostor za učenje, slovar, knjige za pomoč pri šolskem delu; spremenljivka HEDRES) in (c) materialne dobrine (npr. kamera, DVD, MP3, število avtomobilov, računalnikov, kopalnic; spremenljivka HOMEPOS); premoženje družine (spremenljivka WEALTH); dijakovo (a) raven obveščenosti o naravoslovnih poklicih (o zaposlitvah, ki so na voljo na trgu dela, kje poiskati informacije o poklicih, kateri koraki so potrebni za doseganje poklica, podjetja, ki zaposlujejo ljudi z naravoslovnimi poklici; spremenljivka CARINFO), (b) oceno priprave na naravoslovne poklice v šoli (npr. dijaki menijo, da pridobivajo pri ustreznih predmetih temeljna znanja in veščine; spremenljivka CARPREP), (c) vpletanje v dejavnosti, povezane z naravoslovjem (TV-oddaje, radijske oddaje, spletne strani, branje knjig, revij, člankov z naravoslovno vsebino, obiskovanje interesnih dejavnosti; spremenljivka SCIEACT); spremenljivke, ki se nanašajo na značilnosti poučevanja naravoslovja v šoli: (a) na uporabnost naravoslovnega znanja (dijaki uporabljajo znanje pri reševanju vsakdanjih problemov, učitelj razloži, kako lahko dijaki znanje uporabijo pri razlagi različnih pojavov, pojasni, zakaj je naravoslovno znanje pomembno v njihovem življenju; spremenljivka SCAPPLY), (b) na praktično preizkušanje (dijaki v laboratoriju izvajajo praktične poskuse, poskuse izvaja učitelj pred razredom, dijaki de- lajo poskuse tako, da sledijo navodilu učitelja; spremenljivka SCHAN-DS), (c) na interaktivno učenje (dijaki imajo priložnost razložiti svoje zamisli, povedati svoje mnenje o obravnavani snovi, razred sodeluje v razpravi o snovi; spremenljivka SCINTACT), (č) na raziskovanje (dijaki sestavijo načrt laboratorijskega poskusa, sami pripravijo poskus, sami si lahko izberejo raziskavo; spremenljivka SCINVEST); spremenljivke, ki zajemajo dijakovo vrednotenje naravoslovja:: (a) splošno vrednotenje naravoslovja (strinjanje s trditvami, kot so npr. napredek v naravoslovnih znanostih izboljša pogoje življenja ljudi in je koristen za družbo, poznavanje naravoslovja ljudem pomaga razumeti svet; spremenljivka GENSCIE), (b) osebno vrednotenje naravoslovja (strinjanje s trditvami, kot so npr. naravoslovna znanja mi pomagajo razumeti moje odnose z ljudmi, ko bom odrasel, bom na več načinov uporabljal naravoslovno znanje; spremenljivka PERSCIE); spremenljivke, vezane na motivacijo dijakov za naravoslovje:: (a) instrumentalna motivacija (strinjanje s trditvami, kot so npr. trud pri naravoslovnih predmetih mi bo pomagal pri delu, ki ga želim opravljati kasneje, naravoslovno znanje je zame pomembno, ker ga bom potreboval pri nadaljnjem šolanju, to znanje bo izboljšalo moje možnosti za napredovanje v poklicu; spremenljivka INSTSCIE) (b) zanimanje za učenje (v kolikšni meri dijake zanimajo vsebine iz npr. fizike, kemije, biologije, načrtovanja poskusov; spremenljivka INTSCIE), (c) veselje do naravoslovja (stopnja strinjanja s trditvami, kot so npr. z veseljem rešujem naravoslovne naloge, učenje mi je običajno v zabavo, uživam ob pridobivanju naravoslovnega znanja; spremenljivka JOYSCIE), (č) motivacija za naravoslovje v prihodnosti (dijaki bi npr. radi vpisali študij ene izmed naravoslovnih smeri, opravljali poklic, povezan z naravoslovjem; spremenljivka SCIEFUT); spremenljivki, ki vključujeta dijakovo pojmovanje sebe v kontekstu naravoslovja: (a) samoučinkovitost (dijakova ocena truda, ki bi ga porabil npr. pri prepoznavanju naravoslovne problematike, pri razumevanju podatkov npr. na embalaži, v razpravljanju o določenih naravoslovnih vprašanjih; spremenljivka SCIEEFF) in (b) samopodoba (stopnja strinjanja s trditvami, kot so npr. novih naravoslovnih vsebin bi se zlahka naučil, snov dobro razumem, običajno dobro odgovarjam pri preverjanju znanja; spremenljivka SCSCIE). Statistična analiza Reduciranje števila napovednikov Zaradi velikega števila napovednikov in nekaterih močnejših povezav med njimi sva se odločili, da najprej skrčiva število napovednikov z analizo glavnih komponent, kar se je izkazalo za smiselno (KMO = 0,760, x2[406] = 47019, p = 0,000). Prikaz drobirja je pokazal, da večino napovednikov lahko zgoščeno predstavimo s tremi komponentami. Ker je v regresijskih modelih ugodno, da so napovedniki čim manj korelirani med seboj, sva uporabili rotacijo Varimax. V dobljenih treh komponentah niso bili ustrezno predstavljeni (tj. so imeli prenizke nasičenosti): (a) spol, (b) čas, ki ga dijaki porabijo za učenje naravoslovja (spremenljivke ST31Q01, ST31Q02 in ST31Q03), (c) predvideni lastni poklic v prihodnosti, (č) naravoslovna samoučinkovitost in (d) jezik doma. Te napovednike sva zato ohranili ločene od preostalih. Tri komponente, ki so predstavljale preostale napovednike, so skupno pojasnile 49,9 % njihove variance (po rotaciji prva komponenta 23,5 % variance, druga 14,1 % variance in tretja 12,3 % variance napovednikov). Tabela 1 prikazuje nasičenosti napovednikov s posamezno komponento. Vidimo, da so s prvo komponento nasičene spremenljivke, vezane na vrednotenje naravoslovja, samopodobo na tem področju, motivacijo in interes za naravoslovje, poznavanje naravoslovnih poklicev. Zato sva to komponento poimenovali motivacija za naravoslovje. Druga komponenta nasiča spremenljivke, kot so poklicni položaj in izobrazba staršev ter različne vrste dobrin doma, zato sva jo poimenovali dejavniki družinskega okolja. Tretja komponenta pa nasiča spremenljivke, vezane na poučevanje naravoslovja. Tabela 1: Matrika rotiranih komponent Napovedniki Prva kom- Druga kom- Tretja kom- ponenta: ponenta: ponenta: motivacija dejavniki poučeva- za naravo- družinske- nje naravo- slovje ga okolja slovja pomembnost uspeha pri NAR -,678 -,040 -,096 splošno vrednotenje NAR ,602 ,122 ,037 instrumentalna motivacija za NAR ,764 ,012 ,165 zanimanje za učenje NAR ,708 ,063 ,079 veselje do NAR ,794 ,006 ,015 osebno vrednotenje NAR ,801 ,032 ,095 NAR dejavnosti dijakov ,704 ,104 ,099 motivacija za NAR v prihodnosti ,774 ,033 ,051 NAR samopodoba ,573 ,025 ,190 priprava na NAR poklic v šoli ,483 ,028 ,204 obveščenost o NAR poklicih ,395 ,139 ,271 najvišji poklicni položaj staršev ,008 ,652 -,108 najvišja izobrazba staršev v letih ,035 ,650 -,030 materialne dobrine doma ,029 ,905 ,072 družinsko premoženje -,095 ,686 ,124 kulturne dobrine doma ,130 ,654 -,044 število knjig doma ,130 ,505 -,084 učni viri doma ,096 ,467 ,124 poučevanje: uporabnost NAR znanja ,256 -,020 ,793 poučevanje: praktično preizkušanje ,154 ,070 ,756 poučevanje: interaktivno ,189 -,068 ,749 poučevanje: raziskovanje ,069 -,007 ,819 Opombe: Spremenljivka pomembnost uspeha pri NAR je vrednotena obrnjeno (nižja vrednost pomeni večjo pomembnost). Ker je bila struktura komponent v posameznih programih zelo podobna kot struktura, dobljena na celotnem vzorcu (glej Tabelo 1), sva z metodo regresije (s koeficienti, izračunanimi za celotni vzorec) za vsakega dijaka izračunali tri komponentne dosežke, ki sva jih nato v nadaljnjih analizah uporabljali namesto množice posameznih napovednikov. Pojasnjevanje naravoslovnih dosežkov z napovedniki Pri analizi povezav med napovedniki in dosežkom na PISI 2006 sva uporabili dvonivojske linearne modele (HLM; Raudenbush, Bryk, Cheong in Congdon, 2005), pri čemer so prvo raven predstavljali dijaki, drugo, višjo raven pa so predstavljale šole (N = 288), ki so jih dijaki obiskovali. V dvonivojske modele sva med napovednike na drugi ravni vnesli tudi tri dihotomne spremenljivke, ki so predstavljale izobraževalne programe. Da bi ugotovili, kolikšen del variance dosežkov na PISI 2006 je pojasnljive z razlikami med izobraževalnimi programi, pa sva naredili tudi trinivojska linearna modela (glej Zupančič in Podlesek v pričujoči številki). V analizah sva preverjali, koliko variance dosežkov dijakov lahko pojasnimo s posameznimi napovedniki in kolikšen delež variance lahko pojasnimo z razlikami med izobraževalnimi programi ter z razlikami med šolami znotraj programov. Najprej sva izdelali ničelni model za pojasnjevanje dosežkov na PISI 2006 pri vsakem skupku kriterijskih spremenljivk, tj. model, v katerega ni bil vključen noben napovednik. S tem modelom sva nato primerjali model z vključenimi napovedniki, da sva ugotovili, kako pomembno se izboljša napoved dosežkov po vključitvi napovedni-kov. Najprej sva s trinivojskim modelom ocenili delež variance, ki ga lahko pripišemo vsaki od treh ravni modela, nato pa sva nadaljevali z dvonivoj-skim modelom, s katerim sva preverjali učinke napovednikov, ki so na prvi ravni vezani na dijaka, in učinek vrste izobraževalnega programa kot napovednika na drugi ravni (glej tudi Zupančič in Podlesek v tej številki). Za oceno učinkov posameznih napovednikov sva analizirali njihove t. i. fiksne učinke, in sicer le njihove glavne učinke, saj modeli s prosto kovari-ančno strukturo niso konvergirali k rešitvi. To pomeni, da sva predvidevali, da se variance dosežkov znotraj posameznih šol ne razlikujejo in da se med različnimi šolami tudi ne razlikujejo učinki posameznih napovednikov. Kot odvisne spremenljivke sva v posamezni model vnesli vseh pet ocen dosežka dijaka pri preizkusu naravoslovne pismenosti PISA 2006 oz. na enem od njegovih področij. Podatke sva na ravni dijaka ustrezno obtežili (glej odsek Baza podatkov). Analize sva izvedli z necentriranimi spremenljivkami. Za oceno statistik sva uporabili algoritem omejenega največjega verjetja. Kot statistično pomembne sva opredelili učinke z ravnjo tveganja, nižjo od 5 %. Rezultati Dosežki dijakov, ki so vključeni v različne izobraževalne programe. Tabela 2: Razstavljena varianca dosežkov na vsakem področju naravoslovne pismenosti po treh ravneh Področje Raven Varianca % pojasnjene SCIE program 4010,56 45 šola 1034,30 12 dijak 3772,42 43 INTR program 0,21 0 šola 405,49 5 dijak 8353,09 95 SUPP program 225,74 3 šola 441,24 5 dijak 7956,45 92 EPS program 3807,47 37 šola 1277,64 12 dijak 5211,07 51 ISI program 2728,03 41 šola 923,66 14 dijak 3080,11 46 USE program 4154,36 46 šola 1188,82 13 dijak 3672,69 41 Opombe: SCIE = splošni naravoslovni dosežek; INTR = splošno zanimanje za naravoslovje; SUPP = podpora naravoslovnemu raziskovanju; EPS = znanstveno razlaganje pojavov; ISI =prepoznavanje naravoslovnih vprašanj; USE = uporaba znanstvenih dokazov. V trinivojskem modelu lahko z razlikami med izobraževalnimi programi pojasnimo 45 % variance v splošnem naravoslovnem dosežku dijakov (glej Tabelo 2, razdelek SCIE - program). V Tabeli 3 pa v razdelku SCIE lahko razberemo, kakšen je povprečni dosežek dijakov v različnih izobraževalnih programih. Vidimo, da povprečni splošni naravoslovni dosežek v raziskavi PISA 2006 narašča z zahtevnostjo izobraževalnega programa (od 426 točk v srednjih poklicnih šolah do 601 točke v splošnih oz. klasičnih gimnazijah). K varianci dosežkov dijakov pa ni prispevala le vrsta izobraževalnega programa, temveč so se glede povprečnih dosežkov dijakov med seboj razlikovale tudi šole znotraj posameznih programov. Z razlikami med šolami znotraj izobraževalnih programov lahko pojasnimo 12 % variance dosežkov (glej Tabelo 2), preostali del variance (43 %) pa lahko pripišemo individualnim razlikam med dijaki. Na področjih odnosa dijakov do naravoslovja (splošno zanimanje za naravoslovje in podpora naravoslovnemu raziskovanju) z razlikami med programi in z razlikami med šolami pojasnimo zanemarljive odstotke variabilnosti, razložimo jih lahko skoraj izključno z razlikami med posamezniki (95 % oz. 92 %; glej Tabelo 2). Na področju dveh naravoslovnih kompetenc, tj. znanstveno razlaganje pojavov in prepoznavanje naravoslovnih vprašanj, večino razlik v dosežkih dijakov prav tako pojasnijo razlike med njimi (51 % in 46 %), vendar tudi razlike med izobraževalnimi programi prispevajo k razmeroma visokemu deležu pojasnjene variance (37 % in 41 %), manjši del te variance pa odpade na šole znotraj posameznih izobraževalnih programov (12 % in 14 %). Podobno tudi raven kompetence na področju uporabe znanstvenih dokazov v največji meri pojasnimo z razlikami med štirimi izobraževalnimi programi (46 %) in z individualnimi razlikami med dijaki (41 %), na razlike med šolami znotraj programov pa odpade 13 % variance. Tabela 3: Povprečni dosežki dijakov, ki obiskujejo različne programe: posamezna področja naravoslovne pismenosti Področje pismenosti SCIE INTR SUPP EPS gram N M SE(M) 3 580 426,0 2,9 4 1445 496,8 2,2 5 441 543,5 3,6 6 1484 600,7 2,7 3 580 504,6 4,3 4 1445 502,3 3,3 5 441 498,4 4,5 6 1484 505,6 3,3 3 580 480,6 3,8 4 1445 502,9 3,4 5 441 502,1 4,4 6 1484 524,2 3,2 3 580 430,6 3,3 4 1445 499,5 2,9 ISI USE 5 441 544,9 3,9 6 1484 601,8 3,1 3 580 441,1 2,9 4 1445 500,0 2,3 5 441 540,2 2,9 6 1484 584,6 2,4 3 580 418,8 3,0 4 1445 495,4 2,5 5 441 543,2 3,2 6 1484 598,0 2,7 Opombe: N = število dijakov; M = aritmetična sredina; SE = standardna napaka; program 3 = srednje poklicne šole; program 4 = tehnični oz. strokovni srednji programi; program 5 = strokovne gimnazije; program 6 = splošne oz. klasične gimnazije; SCIE = splošni naravoslovni dosežek; INTR = splošno zanimanje za naravoslovje; SUPP = podpora naravoslovnemu raziskovanju; EPS = znanstveno razlaganje pojavov; ISI = prepoznavanje naravoslovnih vprašanj; USE = uporaba znanstvenih dokazov. Podrobnejši pregled dosežkov po področjih naravoslovne pismenosti nam pokaže, da se programi (in šole) zelo malo razlikujejo v odnosu do naravoslovja, tj. v splošnem zanimanju dijakov za naravoslovje in v njihovi podpori naravoslovnemu raziskovanju. V Tabeli 2 je varianca dosežkov na ravni programov in šol nizka, prav tako so povprečni rezultati dijakov, ki obiskujejo različne izobraževalne programe (glej Tabelo 3) zelo podobni. Bolj pa se izobraževalni programi (in tudi šole znotraj njih) razlikujejo v dosežkih dijakov na področjih kompetenc, tj. znanstvenega razlaganja pojavov, prepoznavanja naravoslovnih vprašanj in uporabe znanstvenih dokazov. Na teh področjih se povprečni dosežki dijakov povečujejo z naraščanjem zahtevnosti izobraževalnega programa. Ničelni modeli in modeli z napovedniki V naslednjem koraku sva pregledali, v kolikšni meri lahko z izbranimi spremenljivkami (te so bile: spol, čas, porabljen za učenje naravoslovja, predvideni lastni poklic, naravoslovna samoučinkovitost, jezik doma ter trije komponentni dosežki, ki so predstavljali motivacijo za naravoslovje, dejavnike družinskega okolja in poučevanje naravoslovja) napovemo dosežke dijakov pri naravoslovju v raziskavi PISA 2006, in sicer tako splošni naravoslovni dosežek kot tudi posamezne naravoslovne kompetence (znanstveno razlaganje pojavov, prepoznavanje naravoslovnih vprašanj in uporabo znanstvenih dokazov), pa tudi, kako dobro lahko napovedujemo odnos dijakov do naravoslovja, in sicer njihovo splošno zanimanje za naravoslovje in podporo naravoslovnemu raziskovanju. V Tabelah 4 in 5 prikazujeva rezultate dvonivojskih hierarhičnih modelov za vsako obravnavano področje. V Tabeli 4 lahko v ničelnih modelih vidimo (glej stolpec delež skupne variance v modelu), kolikšen del variance dosežkov pripada posamezni ravni oz. kolikšen del variance je posledica razlik med šolami ter kolikšen posledica individualnih razlik med dijaki. Na primer, 58 % variance v splošnem naravoslovnem dosežku dijakov lahko pojasnimo z razlikami med šolami (v tem modelu izobraževalnih programov nisva obravnavali ločeno), 42 % variance dosežkov pa je posledica individualnih razlik med dijaki. Razlike v odnosu dijakov do naravoslovja v pretežni meri niso posledica razlik med šolami, temveč izhajajo iz individualnih razlik med dijaki, saj slednje pojasnijo 95 % razlik v splošnem zanimanju za naravoslovje in 92 % razlik v podpori naravoslovnemu raziskovanju. Razlike v treh naravoslovnih kompetencah pa so v nekoliko večji meri posledica razlik med šolami (od 50 % do 60 %) kot individualnih razlik med dijaki (od 40 % do 50 %). Potem ko v model uvedemo napovednike, se nepojasnjena varianca dosežkov zmanjša. V stolpcu R2 vidimo, kolikšen del variance na posamezni ravni (šole, dijaki) in v celoti pojasnjujejo vsi napovedniki skupaj. Napove-dniki pojasnjujejo 87 % variance splošnih naravoslovnih dosežkov na ravni šole in 21 % na ravni dijakov. Skupno zmoremo z modelom, v katerega so vključeni napovedniki, pojasniti 59 % variance dosežkov. Ob upoštevanju dejstva, da v model nisva vključili sposobnosti dijakov (npr. splošne spoznavne sposobnosti), njihovega znanja ipd., je to razmeroma visoka vrednost. Podobno ugotavljava na področjih treh naravoslovnih kompetenc: v celoti lahko z izbranimi spremenljivkami napovemo od 53 % (prepoznavanje naravoslovne problematike) do 56 % variance (uporaba znanstvenih dokazov). Z napovedniki razložimo bistveno višji odstotek razlik v kompe-tencah dijakov na ravni šol kot na ravni posameznikov. V primerjavi z navedenim pa na področju odnosa dijakov do naravoslovja napovedniki skupno pojasnijo manjši del variance, tj. 32 % na področju splošnega zanimanja za naravoslovje in 22 % na področju podpore naravoslovnemu raziskovanju, več variance pa napovedniki ponovno pojasnijo na ravni šol (67 % oz. 53 %) kot na ravni dijakov (30 % oz. 19 %). Tabela 4: Razstavljanje variance po posameznih področjih naravoslovne pismenosti na pojasnjeni in nepojasnjeni del Delež skupne variance Nep.var. Področje Nep. var. v modelu R2 R2(tot) (tot) SCIE model 1 - šola 689,29 0,19 0,87 0,50 0,08 model 1 - dijak 2975,62 0,81 0,21 0,09 0,33 model 1 - skupaj 3664,91 0.59 model 0 - šola 5114,20 0,58 model 0 - dijak 3769,82 0,42 model 0 - skupaj 8884,03 INTR model 1 - šola 137,63 0,02 0,67 0,03 0,02 model 1 - dijak 5800,96 0,98 0,30 0,29 0,66 model 1 - skupaj 5938,58 0,32 model 0 - šola 420,70 0,05 model 0 - dijak 8338,72 0,95 model 0 - skupaj 8759,41 SUPP model 1 - šola 310,92 0,05 0,53 0,04 0,04 model 1 - dijak 6453,73 0,95 0,19 0,18 0,75 model 1 - skupaj 6764,65 0,22 model 0 - šola 658,80 0,08 model 0 - dijak 7988,53 0,92 model 0 - skupaj 8647,33 EPS model 1 - šola 792,29 0,17 0,85 0,42 0,07 model 1 - dijak 3944,25 0,83 0,24 0,12 0,38 model 1 - skupaj 4736,54 0,54 model 0 - šola 5153,03 0,50 model 0 - dijak 5217,92 0,50 model 0 - skupaj 10370,95 ISI model 1 - šola 687,26 0,21 0,81 0,45 0,10 model 1 - dijak 2652,69 0,79 0,13 0,06 0,39 model 1 - skupaj 3339,96 0,53 model 0 - šola 3712,89 0,55 model 0 - dijak 3059,95 0,45 model 0 - skupaj 6772,84 USE model 1 - šola 862,44 0,22 0,84 0,50 0,09 model 1 - dijak 3108,92 0,78 0,16 0,06 0,34 model 1 - skupaj 3971,36 0,56 model 0 - šola 5444,14 0,60 model 0 - dijak 3685,16 0,40 model 0 - skupaj 9129,30 Opombe: Nep.var. = nepojasnjena varianca; R2 = delež z napovedniki pojasnjene variance znotraj posamezne ravni; R2(tot) in nep.var. (tot) = z napovedniki pojasnljiv in nepo-jasnljiv delež celotne variance (izpisane v vrstici model 0 - skupaj) na posamezni ravni. Model 0 predstavlja ničelni model, v katerega so vnesene le kriterijske spremenljivke, brez napovednikov. Z ničelnim modelom uspemo varianco dosežkov razstaviti na varianco na ravni šole (varianco, ki je posledica razlik v povprečnih dosežkih dijakov med šolami) in varianco na ravni dijakov (varianco, ki je posledica individualnih razlik med dijaki). Model 1 pa je model z vključenimi napovedniki. Glej tudi opombe k Tabeli 3. V zadnjih dveh stolpcih Tabele 4, tj. v stolpcih R2(tot) in nep.var.(tot) lahko vidimo, kolikšen delež celotne variance dosežkov dijakov na posamezni ravni pojasnijo napovedniki, vključeni v model, in koliko variance je nepojasnljive (vsota vseh štirih vrednosti, tj. R2(tot) in nep.var.(tot) na ravni šole in na ravni dijaka, je znotraj posameznega področja enaka 1,00). V primeru splošnega naravoslovnega dosežka, kjer celotna varianca dosežkov znaša približno 8884 (glej stolpec nep.var), z napovedniki pojasnimo 50 % te variance na ravni šole, 9 % pa na ravni dijaka. Na ravni šole je 8 % celotne variance nepojasn-ljive, na ravni dijaka pa ostaja nepojasnjenih 33 % variance. Z napovedniki pojasnimo podobne odstotke celotne variance v naravoslovnih kompetencah na ravni šol (od 42 % do 50 %) in na ravni dijakov (od 6 % do 12 %), medtem ko na področjih odnosa do naravoslovja napovedniki pojasnijo zanemarljive odstotke celotne variance dosežkov na ravni šol in višje odstotke celotne variance na ravni dijakov (29 % in 18 %). Na ta način lahko dobimo splošno sliko o tem, kaj z modelom v varianci pojasnjujemo. Lahko bi rekli, da napovedniki v precejšnji meri pojasnjujejo tudi razlike med šolami, saj je večina pojasnljive variance pri splošnem naravoslovnem dosežku in naravoslovnih kompetencah na ravni šole. Zaključimo torej lahko, da se šole med seboj razlikujejo ne le v povprečnih dosežkih dijakov, temveč tudi v vrednostih napovednikov. Učinki posameznih napovednikov na naravoslovne dosežke PISA 2006 V Tabeli 5 so predstavljene ocene parametrov, ki odražajo glavne učinke posameznih napovednikov. Posamezna vrednost v tabeli nam pove, za koliko točk bi se zvišal dosežek dijaka, če bi se zvišala vrednost napovednika za eno enoto (pri WLE indeksih in komponentnih dosežkih sprememba za eno enoto pomeni spremembo za en standardni odklon), pri čemer bi imeli vsi drugi napovedniki stalno vrednost. V drugi do četrti vrstici razdelkov tabele so dosežki dijakov v izobraževalnih programih 4, 5 in 6 primerjani z dosežki dijakov v programu 3 (rezultate sva opisali že v podpoglavju Dosežki dijakov, ki so vključeni v različne izobraževalne programe). V razdelku SCIE (Tabela 5) vidimo, da so dijaki na splošni ravni naravoslovne pismenosti PISA 2006 v povprečju dosegli za 24 točk višji rezultat od dijakinj. Med statistično pomembnimi napovedniki splošnega naravoslovnega dosežka je tudi čas, ki ga dijaki posvetijo naravoslovju. Tedensko število ur učenja pri pouku naravoslovnih predmetov v šoli je pozitivno povezano z dosežkom dijakov. Ena ura pouka na teden več pomeni za več kot 9 točk višji dosežek dijakov. Tedensko število ur organiziranega učenja naravoslovja zunaj pouka in tedensko število ur samostojnega učenja naravoslovja pa se negativno povezujeta s splošnim naravoslovnim dosežkom. Dijaki, za katere je značilno večje število ur takega učenja, imajo v povprečju nižje dosežke na PISI 2006. Oziroma nasprotno, dijaki z nižjimi dosežki so deležni več ur organiziranega dodatnega učenja in se več samostojno učijo. Presenetljiva je negativna povezanost med splošnim naravoslovnim dosežkom in komponento poučevanje naravoslovja. Z naravoslovnim dosežkom sta pozitivno povezana naravoslovna samoučinkovitost in motivacija za naravoslovje. Medtem ko se rezultat na komponenti dejavniki družinskega okolja ni izkazal za pomemben napovednik naravoslovnega dosežka, pa je bil pomemben napovednik jezik, ki ga dijak govori doma. Dijaki, ki doma govorijo slovensko, imajo v povprečju višje dosežke kot njihovi vrstniki, ki doma govorijo kateri drugi jezik. Tabela 5: Napoved dosežkov pri naravoslovni pismenosti PISA 2006: povzetek rezultatov Izvor variabilnosti Koef. SE t df p Koef. SE t df p SCIE EPS presečišče 361,05 9,38 38,47 100 0,000 326,43 10,30 31,69 270 0,000 program 4 61,31 5,17 11,85 201 0,000 59,66 5,56 10,74 284 0,000 program 5 98,34 6,58 14,94 284 0,000 94,45 7,66 12,32 284 0,000 program 6 144,68 7,13 20,30 284 0,000 139,59 7,28 19,18 284 0,000 spol 24,32 2,36 10,29 2117 0,000 42,56 3,02 14,08 84 0,000 ure v šoli 9,47 1,47 6,46 44 0,000 10,45 1,38 7,59 3847 0,000 ure izven pouka -10,68 2,04 -5,23 20 0,000 -11,58 2,25 -5,14 23 0,000 ure sam -3,12 1,48 -2,11 244 0,036 -2,10 1,62 -1,30 751 0,195 poučevanje -11,18 1,45 -7,73 32 0,000 -11,46 1,38 -8,28 3847 0,000 predvideni poklic 0,15 0,09 1,65 405 0,099 0,17 0,11 1,55 133 0,123 samoučinkovitost 17,01 1,69 10,09 26 0,000 20,63 1,82 11,35 49 0,000 motivacija 9,36 1,41 6,63 3847 0,000 10,84 1,98 5,47 34 0,000 jezik doma 36,14 5,61 6,44 29 0,000 45,65 5,69 8,03 129 0,000 domače okolje 1,78 1,33 1,34 2210 0,180 1,89 1,71 1,10 64 0,276 INTR ISI presečišče 508,72 15,32 33,21 115 0,000 422,21 9,31 45,34 149 0,000 program 4 -8,57 5,36 -1,60 85 0,113 49,11 5,20 9,44 227 0,000 program 5 -9,61 6,62 -1,45 117 0,149 80,69 6,55 12,31 284 0,000 program 6 -15,73 6,08 -2,59 88 0,012 114,04 6,85 16,64 284 0,000 spol 7,87 3,37 2,34 745 0,020 -0,08 2,46 -0,03 92 0,975 ure v šoli 0,67 1,79 0,38 298 0,707 10,40 1,19 8,72 1121 0,000 ure izven pouka 1,76 2,32 0,76 256 0,449 -6,52 1,59 -4,11 38 0,000 ure sam -0,39 2,15 -0,18 1011 0,857 -5,58 1,41 -3,97 93 0,000 poučevanje 7,74 1,59 4,87 1539 0,000 -9,16 1,12 -8,18 175 0,000 predvideni poklic -0,17 0,12 -1,50 565 0,135 0,03 0,10 0,31 108 0,757 samoučinkovitost 10,43 1,95 5,35 104 0,000 13,45 1,53 8,79 50 0,000 motivacija 48,31 2,32 20,84 98 0,000 5,57 1,60 3,47 62 0,001 jezik doma 1,18 9,54 0,12 254 0,902 28,46 5,10 5,58 51 0,000 domače okolje 0,64 1,96 0,33 43 0,746 2,98 1,36 2,20 298 0,029 SUPP USE presečišče 510,99 14,67 34,83 82 0,000 369,78 9,53 38,78 148 0,000 program 4 14,87 5,73 2,60 284 0,010 68,79 5,57 12,34 229 0,000 program 5 13,52 8,43 1,60 64 0,113 108,09 6,94 15,57 284 0,000 program 6 22,94 7,98 2,87 62 0,006 153,57 7,81 19,67 284 0,000 spol -1,10 3,65 -0,30 111 0,764 18,94 2,43 7,79 421 0,000 ure v šoli 2,02 2,04 0,99 40 0,327 9,85 1,27 7,74 436 0,000 ure izven pouka -7,09 2,63 -2,70 54 0,010 -10,82 1,67 -6,49 63 0,000 ure sam 2,35 2,45 0,96 141 0,339 -2,58 1,56 -1,66 462 0,098 poučevanje 4,13 1,72 2,40 143 0,018 -9,63 1,16 -8,27 1988 0,000 predvideni poklic -0,33 0,11 -3,07 274 0,003 0,07 0,10 0,67 102 0,506 samoučinkovitost 12,86 2,38 5,42 36 0,000 13,95 1,48 9,45 147 0,000 motivacija 34,96 2,28 15,36 558 0,000 7,98 1,74 4,58 32 0,000 jezik doma 4,37 7,91 0,55 101 0,582 27,38 5,13 5,34 92 0,000 domače okolje 5,20 2,17 2,40 50 0,020 0,98 1,59 0,62 49 0,539 Opombe: V stolpcu Koef. so predstavljene vrednosti regresijskih koeficientov, v stolpcu SE pa njihove standardne napake. Program 4, program 5 in program 6so naknadno ustvarjene dihotomne spremenljivke, namenjene preverjanju učinka vrste izobraževalnega programa. Oznake pomenijo naslednje: NAR = naravoslovje/naravoslovno, ure v šoli = število ur pouka naravoslovja v šoli, ure izven pouka = čas organiziranega učenja naravoslovja izven pouka, ure sam = čas samostojnega študija naravoslovja, predvideni poklic = raven predvidenega lastnega poklicnega položaja dijaka v prihodnosti, poučevanje = komponenta poučevanja naravoslovja, motivacija = komponenta motivacije za naravoslovje, domače okolje = komponenta dejavniki družinskega okolja. SCIE = splošni naravoslovni dosežek; INTR = splošno zanimanje za naravoslovje; SUPP = podpora naravoslovnemu raziskovanju; EPS = znanstveno razlaganje pojavov; ISI = prepoznavanje naravoslovnih vprašanj; USE = uporaba znanstvenih dokazov. Jezik, ki ga dijak govori doma, je tudi pomemben napovednik vseh treh preučevanih naravoslovnih kompetenc, in sicer dijaki, ki doma govorijo slovensko, dosegajo višje rezultate. V primerjavi z dijakinjami dijaki dosegajo višje rezultate na področju znanstvenega razlaganja pojavov in uporabe znanstvenih dokazov. Vse tri preučevane naravoslovne kompetence dijakov napoveduje večje število ur učenja naravoslovja v šoli in manjše število ur organiziranega učenja izven pouka, prepoznavanje naravoslovnih vprašanj pa napoveduje še manjše število ur samostojnega učenja. Pogostejša uporaba interaktivnih metod pri poučevanju naravoslovja in poudarek na višjih ravneh znanja sta, tako kot s splošnim naravoslovnim dosežkom, negativno povezana tudi z vsemi tremi naravoslovnimi kom-petencami. Dijakov predvideni poklicni položaj z naravoslovnimi kompe-tencami ni statistično pomembno povezan. Značilnosti družinskega okolja so povezane le s prepoznavanjem naravoslovnih vprašanj, ne pa tudi z znanstvenim razlaganjem pojavov in uporabo znanstvenih dokazov. Z vsemi tremi naravoslovnimi kompetencami pa se prepričljivo pozitivno povezujeta motivacija za naravoslovje in naravoslovna samoučinkovitost. Obe področji odnosa dijakov do naravoslovja (splošno zanimanje za naravoslovje in podpora naravoslovnemu raziskovanju) sta pomembno pozitivno povezani z njihovo motivacijo za naravoslovje. To je logično, saj ocene odnosa do naravoslovja temeljijo na odgovorih dijakov na vprašanja, postavljena ob nekaterih nalogah v preizkusu znanja, in na njihovih odgovorih na vprašanja na katerih temeljijo tudi WLE indeksi, ki sva jih združili v komponento motivacija. Nadalje sta obe področji odnosa do naravoslovja statistično pomembno pozitivno povezani z naravoslovno samoučinkovitostjo, pa tudi s poučevanjem naravoslovja. Pogostejša uporaba interaktivnih oblik učenja, uporaba znanja, praktično preizkušanje in raziskovanje so povezani s pozitivnejšim odnosom do naravoslovja. Dijaki izražajo nekoliko višji interes za naravoslovje kot dijakinje, medtem ko se v podpori naravoslovnemu raziskovanju od njih ne razlikujejo statistično pomembno. Podpora naravoslovnemu raziskovanju je pozitivno povezana z ugodnimi dejavniki družinskega okolja, negativno pa z dijakovim predvidenim poklicnim položajem in s časom, ki ga dijaki porabijo za organizirano učenje izven pouka. Na splošno pa čas, namenjen učenju naravoslovja, pri pojasnjevanju odnosa do naravoslovja nima tolikšne vloge kot pri pojasnjevanju splošnega naravoslovnega dosežka in posameznih naravoslovnih kompetenc. Enako velja tudi za pogovorni jezik doma. Razprava Na podlagi predstavljenih analiz ugotavljava, da se slovenski dijaki prvih letnikov srednjih šol, ki obiskujejo različne izobraževalne programe, med seboj precej razlikujejo v svojem splošnem naravoslovnem dosežku v raziskavi PISA 2006 in v kompetencah na področju naravoslovja. Najvišje rezultate v povprečju dosegajo dijaki splošnih gimnazij, najnižje pa dijaki poklicnih šol. Dosežki slovenskih 15-letnih dijakov na področju naravoslovja, tako kot dosežki na področjih matematične in bralne pismenosti v raziskavi PISA 2006 (glej Zupančič in Podlesek, v tej številki), naraščajo s stopnjo zahtevnosti izobraževalnega programa, v katerega so mladostniki vključeni. Seveda navedene razlike v splošnem naravoslovnem dosežku in v naravoslovnih kompetencah dijakov verjetno niso le posledica zahtevnosti izobraževalnega programa, temveč tudi izbora posameznikov v programe različne zahtevnosti, ki temelji na predhodni učni uspešnosti dijakov v osnovni šoli. Kot kažejo rezultati pojasnjevanja razlik v dosežkih dijakov z dvonivojskimi modeli (šole in programi v teh modelih niso ločeni), k razlikam v povprečnih naravoslovnih dosežkih med programi verjetno prispevajo še nekatere značilnosti konteksta, v katerem dijaki delujejo in po katerem se mladostniki, ki obiskujejo različne programe, med seboj razlikujejo. Podobno velja za razlike na ravni nekaterih vidikov motivacije dijakov, njihove vrednotne usmeritve in pojma o sebi v kontekstu naravoslovja. Tudi te značilnosti dijakov se v povprečju razlikujejo med programi (šolami) in so povezane z naravoslovnimi dosežki. Pomemben, vendar bistveno manjši del razlik med splošnim naravoslovnim dosežkom dijakov in njihovimi kompetencami pri naravoslovju lahko pojasnimo tudi z razlikami med šolami znotraj izobraževalnih programov. K razlikam v povprečnih dosežkih dijakov med šolami, ki se ne razlikujejo po zahtevnostni stopnji, lahko prispevajo določene značilnosti šol, kot so npr. šolska politika odgovornosti, avtonomija šole, šolski viri (velikost razre- dov, kakovost učil, obremenjenost učiteljev s poučevanjem ipd.) (PISA 2006. Science Competencies for Tomorrow's World, 2007). Poleg tega se šole med seboj razlikujejo v določenih značilnostih družinskega in vrstniškega okolja, v katerem živijo dijaki, ki te šole obiskujejo. Prav tako med šolami obstajajo določene razlike v povprečnih motivacijskih in vrednotnih usmeritvah dijakov ter v njihovem pojmovanju sebe v kontekstu naravoslovja (glej Tabelo 4). Dodatno se znotraj posameznih šol, delno neodvisno od že navedenega, razvija specifična vrstniška subkultura, ki lahko v precejšnji meri vpliva na učne dosežke in kompetence posameznikov ter prispeva tudi k razlikam v povprečnih dosežkih dijakov, ki se pojavljajo med paralelkami v istih šolah (Harris, 1998). Precejšen del razlik v splošnem naravoslovnem dosežku in v kompetencah dijakov pri naravoslovju pa lahko pripišemo individualnim razlikam med dijaki. Od tega lahko del razlik pojasnimo, kot je to moč razbrati iz dvonivojskih modelov z napovedniki, z izbranimi napovedniki (npr. čas učenja pri pouku naravoslovja in izven pouka, motivacija in vrednotenje naravoslovja, samoučinkovitost v kontekstu naravoslovja ipd.). Verjetno pa se precejšen del razlik na ravni dijakov pojavlja tudi zaradi razlik v njihovih splošni in specifičnih spoznavnih sposobnostih ter v osebnostnih potezah (npr. Allik, Laidra, Realo in Pullman, 2004; Bratko, Chamorro-Premuzic in Saks, 2006; Chamorro-Premuzic in Furnham, 2006). Razlike med srednješolskimi izobraževalnimi programi in razlike med šolami znotraj posameznih programov pa obratno zgoraj navedenemu pojasnijo praktično zanemarljivi del razlik v odnosu dijakov do naravoslovja. Tako gimnazijci kot tudi dijaki strokovnih in poklicnih srednjih šol v povprečju izražajo podobno splošno raven zanimanja za naravoslovje in v podobni meri podpirajo naravoslovno raziskovanje. Razlike v odnosu dijakov do naravoslovja torej lahko v največji meri pripišemo kontekstualnim in individualnim razlikam med njimi, in sicer ne glede na program izobraževanja in ne glede na šolo, ki jo znotraj tega programa obiskujejo. Del teh razlik na ravni dijaka napovedujejo v pričujočo analizo vključene spremenljivke. Povezava naravoslovnih dosežkov na PISI 2006 z individualnimi značilnostmi dijakov Vsi izbrani napovedniki skupaj, tako individualne značilnosti dijakov kot tudi značilnosti konteksta, v katerem delujejo (dom, šola), pojasnijo skupno (na ravni šol in na ravni dijakov) nekoliko več kot polovico variance v splošnem naravoslovnem dosežku dijakov in v njihovih kompetencah na področju naravoslovja, manjši del variance (petino do tretjino) pa po- jasnijo na vsakem izmed področij odnosa dijakov do naravoslovja. Med značilnostmi dijakov njihove dosežke na vsakem izmed šestih področij PISE 2006 (splošni naravoslovni dosežek, tri kompetence in dve področji odnosa do naravoslovja) pomembno napovedujeta: (a) njihovo splošno vrednotenje naravoslovja, zanimanje in motivacija zanj ter (b) zaznana samoučinkovitost v okviru naravoslovja. Oba napovednika sta dosledno pozitivno povezana z dosežki na vseh šestih področjih. Komponenta motivacija za naravoslovje zajema različne vidike: zanimanje za učenje naravoslovja in veselje do naravoslovja, izvajanje naravoslovnih dejavnosti, motivacijo za naravoslovje v prihodnosti, obveščenost o naravoslovnih poklicih in pripravo na te poklice v šoli, instrumentalno motivacijo za naravoslovje, pomembnost uspeha pri naravoslovju, splošno in osebno vrednotenje naravoslovja in naravoslovno samopodobo. Motivacija dijakov za naravoslovje verjetno prispeva k učinkovitejšemu in vztrajnejše-mu učenju dijakov na tem področju, kar lahko vodi do višjih dosežkov. Pri primerjavi različnih držav je bilo npr. ugotovljeno, da so v tistih državah, kjer so dijaki visoko motivirani za naravoslovni poklic, tudi povprečni dosežki dijakov visoki (PISA 2006. Science Competencies for Tomorrow's World, 2007). Seveda pa pričujoči rezultati ne izključujejo zveze tudi v nasprotni smeri: dijaki z višjimi naravoslovnimi dosežki so lahko zaradi svoje uspešnosti bolj motivirani za učno delo in druge dejavnosti na področju naravoslovja. Zanimanje za pridobivanje znanja na določenem področju je notranja motivacijska preferenca, ki prispeva h kontinuiteti in intenzivnosti učenja na ustreznem področju, neodvisno od posameznikove splošne motivacije za učenje (Baumert in Koller, 1998). Notranja motivacija ima pozitiven učinek na vztrajanje posameznikov pri učni dejavnosti, na rabo učinkovitih učnih strategij in uspešno delovanje tudi ob odsotnosti zunanjih nagrad. Eden izmed vidikov notranje motivacije za učenje je tudi veselje do učenja določenega predmeta: dijaki, ki se radi učijo o naravoslovju, so čustveno navezani na pridobivanje znanja s tega področja in doživljajo učenje naravoslovja kot smiselno dejavnost (Glaser-Zikuda, Mayring in von Rhoeneck, 2003), naravoslovne dejavnosti pogosteje izvajajo tudi v prostem času. Odnos mladostnikov do naravoslovja je vsaj delno odvisen od njihove notranje motivacije za učenje na tem področju, tj. zanimanja za naravoslovne vsebine in doživljanja zadovoljstva ob učenju le-teh, pa tudi od pomembnosti, ki jo pripisujejo naravoslovju v kontekstu svojega osebnega življenja. V motivacijo dijakov za naravoslovje so nadalje zajeta tudi splošna vrednotna prepričanja o naravoslovju, ki kažejo na to, kako ugodno dijaki ocenjujejo prispevek znanosti in tehnologije k razumevanju naravnega in umetno oblikovanega sveta ter k izboljšanju naravnih, tehnoloških in socialnih pogojev življenja (Carstensen, Rost in Prenzel, 2003). V Sloveniji se, v skladu s povprečnimi trendi povezav te spremenljivke z naravoslovnimi dosežki 15-letnikov med državami, kaže podobno: dijaki, ki višje cenijo naravoslovne ugotovitve in njihovo uporabo, imajo višje naravoslovne dosežke in tudi ugodnejši odnos do naravoslovja. Slednje ni presenetljivo, saj naj bi vrednotna prepričanja o naravoslovju predstavljala pomemben del odnosa do naravoslovnega raziskovanja in se tesno povezovala z epi-stemološkimi prepričanji posameznikov o naravoslovju (PISA 2006. Science Competencies for Tomorrow's World, 2007). V motivacijo za naravoslovje je zajeta tudi samopodoba dijakov na področju naravoslovja. Učna samopodoba je večdimenzionalni konstrukt, ki se nanaša na oceno lastnega delovanja prek socialne primerjave z drugimi in relativnega delovanja sebe na enem področju v primerjavi z drugim, npr. pri različnih šolskih predmetih (Marsh in Yeung, 1996). V primerjavi z zaznano samoučinkovitostjo pri npr. naravoslovju (raven samozaupanja pri spoprijemanju z različno naravoslovno problematiko in pri obvladovanju posameznih nalog pri naravoslovju) samopodoba vključuje splošno raven posameznikovega pojmovanja lastnih sposobnosti in kompetenc pri naravoslovju. Splošno učno uspešnost pri posameznih predmetih napoveduje tako samo-podoba pri ustreznih predmetih kot tudi splošna učna samopodoba, višja raven te podobe se povezuje z višjimi učnimi dosežki (npr. House, 1997; Marsh in Yeung, 1997). Posamezniki, ki zaupajo svojim sposobnostim pri učenju, imajo v povprečju ustreznejši nadzor nad svojim učenjem oz. bolj optimalno vlagajo svoj trud v učenje ter uporabljajo primernejše učne strategije, imajo višje učne dosežke kot njihovi vrstniki z manj pozitivno učno samopodobo. Povezave se po eni strani sicer kažejo v smeri od samopodobe k učnemu uspehu mladostnikov, npr. tudi ob nadzoru predhodne učne uspešnosti (House, 1995; Marsh in Yeung, 1997) in v različnih kulturnih okoljih oz. sistemih izobraževanja (Rao, Moely in Sachs, 2000), vendar ima po drugi strani tudi predhodna učna uspešnost pomemben učinek na samopodobo in učno motivacijo učencev/dijakov. Višja uspešnost prispeva k izboljšanju učne samopodobe (Abu-Hilal, 2000; Skaalvik in Valas, 1999). Rezultati pričujoče slovenske študije s podatki PISE 2006 nakazujejo, da samopodoba pri naravoslovju (poleg šolskih ocen in doseženega znanja pri ustreznih predmetih, kar so ugotavljale prej omenjene študije) napoveduje tudi splošni naravoslovni dosežek in ustrezne kompetence na tem področju. Rezultati množice raziskav kažejo, da ima subjektivna ocena samo-učinkovitosti posameznikov na določenem področju njihovega delovanja pomembno pozitivno vlogo v uspešnosti na tem področju, npr. pri matematiki, branju, naravoslovju ipd. (npr. House, 1996; Pajeras in Graham, 1999; Puklek Levpušček in Zupančič, 2009). Pričujoča analiza pa dosedanje ugotovitve razširja s področja učne uspešnosti pri posameznih predmetih (šolske ocene, preizkusi znanja) na raven kompetenc in ugodnega odnosa mladostnikov do določenih ved, konkretno do naravoslovja. Posamezniki, ki se zaznavajo kot visoko učinkoviti, so bolj pripravljeni na spoprijemanje z izzivajočimi vprašanji in nalogami, bolj vlagajo svoj trud v dejavnost ter so vztrajnejši pri opravljanju ustrezne dejavnosti kot njihovi vrstniki z nižjo ravnjo zaznane samoučinkovitosti. Z drugimi besedami, ocena samoučinkovitosti vpliva na posameznikovo motivacijo (Bandura, 1997). Zaznana samoučinkovitost pa ne predstavlja le tega, kako si posamezniki predstavljajo svojo uspešnost na določenem področju, temveč predvsem vrsto samozaupanja, ki je potrebna za uspešno obvladovanje posameznih nalog, izzivov, problematike, dejavnosti na ustreznem področju. Odnos med samoučinkovitostjo in dosežki ter stališči dijakov do npr. naravoslovja pa je lahko tudi recipročen: učno uspešni, kompetentni in tisti posamezniki, ki imajo bolj pozitiven odnos do naravoslovja, na podlagi tega tudi bolj zaupajo v svojo učinkovitost. Analiza slovenskih podatkov o splošnem naravoslovnem dosežku na PISI 2006, ki je zajela tudi osnovnošolski vzorec 15-letnikov, razlik med spoloma ni pokazala, v povprečju pa so imeli fantje v večini držav višje povprečne rezultate pri kompetenci znanstvenega razlaganja pojavov kot dekleta, ki so bila uspešnejša pri prepoznavanju naravoslovne problematike (PISA 2006. Science Competencies for Tomorrow's World, 2007). Podobni trendi se kažejo pri homogenem vzorcu slovenskih srednješolcev v pričujoči študiji: fantje imajo višji splošni naravoslovni dosežek in višjo raven kompetenc na področju usvajanja znanstvenih spoznanj pri naravoslovju in na področju uporabe znanstvenih dokazov kot dekleta, medtem ko spol ne napoveduje kompetence na področju prepoznavanja naravoslovnih vprašanj v posameznih situacijah. Morda se ugotovljene razlike med spoloma v srednjih šolah pojavljajo zaradi sprememb v nekaterih specifičnih zanimanjih mladostnikov, povezanih s poklicno samopodobo, s poklicnimi odločitvami (pregled v: Zupančič, 2004) in smerjo nadaljnjega šolanja na prehodu iz osnovne v srednjo šolo. Povezave med porabo časa dijakov za učenje naravoslovnih predmetov in njihovim splošnim naravoslovnim dosežkom ter naravoslovnimi kompetenca-mi so podobne tistim, ki jih ugotavljava na področjih matematične in bralne pismenosti (glej Zupančič in Podlesek, v tej številki), ter stanju v drugih državah (PISA 2006. Science Competencies for Tomorrow's World, 2007): večje število ur pouka naravoslovja, prisotnost pri pouku, sledenje razlagi, sodelovanje pri učnem delu so pogoji, ki med drugimi prispevajo k učinkovitemu usvajanju naravoslovne problematike in uporabi ustreznih kompetenc; večja količina porabljenega časa dijakov za organizirano učenje naravoslovja (dopolnilni pouk, inštrukcije) izven pouka in za samostojno učenje pa je verjetno prej posledica kot vzrok nižjim dosežkom. Poleg tega kompetentnejši dijaki bolje obvladajo ustrezno snov in verjetno hitreje rešujejo naravoslovne naloge. Povezava naravoslovnih dosežkov na PISI2006 z značilnostmi konteksta Značilnosti dijakovega okolja doma (to so: poklicni položaj in izobrazba staršev, družinsko premoženje, materialne in kulturne dobrine, število knjig, količina učnih virov), ki jih lahko pojmujemo v smislu pokazateljev spodbudnega družinskega okolja, so statistično pomembno pozitivno povezane s prepoznavanjem naravoslovne problematike in z dijakovo podporo naravoslovnemu raziskovanju. Pogovorni jezik doma pa se povezuje z višjim splošnim dosežkom dijakov pri naravoslovju in z višjo ravnjo vsake izmed treh preučevanih kompetenc (znanstvenim razlaganjem pojavov, prepoznavanjem naravoslovne problematike in uporabo znanstvenih dokazov). Dijaki, ki tudi doma govorijo slovensko, so verjetno bolj govorno kompetentni v tem jeziku, kot tisti, ki doma govorijo tuji jezik, zato so morda prvi nekoliko uspešnejši pri odgovarjanju na naloge PISE 2006, ki so zastavljene v slovenščini. Govorna kompetentnost v slovenščini (npr. ustnega in pisnega razumevanja ter izražanja) je namreč pomemben dejavnik učne uspešnosti slovenskih učencev in dijakov pri različnih šolskih predmetih, ne glede na metodo ocenjevanja (npr. Marjanovič Umek, Sočan in Bajc, 2006, 2007), pa tudi bralne in matematične pismenosti v raziskavi PISA 2006. Z naravoslovnimi dosežki dijakov se povezujejo tudi značilnosti konteksta v šoli, in sicer so dosežki na vseh šestih področjih statistično pomembno povezani z značilnostmi poučevanja naravoslovja. Medtem ko je pogostejša uporaba interaktivnih oblik učenja, poudarjanje uporabe znanja, praktičnega preizkušanja in raziskovanja pri dijakih pozitivno povezana z obema področjema odnosa do naravoslovja (zanimanjem za naravoslovje in podporo naravoslovnemu raziskovanju), pa so taki načini poučevanja in učenja negativno povezani s splošno ravnjo naravoslovne pismenosti in z vsemi tremi naravoslovnimi kompetencami. Višja (s strani dijakov zaznana) raven osredotočenosti pouka naravoslovnih predmetov na praktično preizkušanje (dijaki izvajajo poskuse, oblikujejo sklepe o poskusih, ki so jih izvedli, učitelj prikazuje poskuse) in pogostejše raziskovanje pri pouku na- ravoslovnih predmetov v šoli (dijaki samostojno izbirajo in oblikujejo poskuse, ugotavljajo, kako bi lahko potekal neki poskus, izvedejo raziskavo, da bi preverili svoje zamisli) torej v nasprotju s pričakovanji napovedujejo nižje naravoslovne dosežke dijakov, skladno s pričakovanji pa ugodnejši odnos dijakov do naravoslovja. Pri tem se seveda pojavlja vprašanje, v kolikšni meri dijaki ustrezno poročajo. Rezultati nakazujejo možnost, da praktično preizkušanje in raziskovanje sicer pritegneta učence oz. jim vzbujata zanimanje za naravoslovje, vendar pa jim tako poučevanje zaradi različnih razlogov ne omogoča tudi ustreznega posploševanja, njihove kompetence in znanje morda ostajajo na ravni posamičnih primerov. Perry (2000) npr. ugotavlja, da do želenega učinka prihaja takrat, ko praktičnim poskusom sledi obširna razlaga učitelja. K želenim učinkom seveda prispevata še premišljena izbira učinkovitih praktičnih primerov in učiteljeva psihološka opora učencem oz. dijakom (zanimanje za učno delo in napredek, spodbujanje k višjim dosežkom) v razredu (Boyer, 2002). Eden izmed razlogov za take rezultate, ob predpostavki, da dijaki razmeroma točno poročajo o poučevanju, bi npr. lahko bil tudi ta, da imajo dijaki prvih letnikov premalo naravoslovnega znanja za vpletanje v samostojno raziskovanje. Vsekakor bi bilo smiselno navedene načine poučevanja in njihovo izvajanje natančneje preučiti, da bi ugotovili, zakaj se pogostejša uporaba teh metod pri naravoslovju povezuje z nižjimi dosežki na področju naravoslovne pismenosti slovenskih dijakov. Sklepi, omejitve in prednosti opravljene analize Pomembna omejitev predstavljene raziskave je zlasti ta, da vsi podatki temeljijo na odgovorih dijakov, ki so poročali o svojih individualnih značilnostih in o značilnostih okolja doma ter v šoli. Te ocene so subjektivno pristranske oz. vključujejo napako istega ocenjevalca. Prednosti opravljenega dela so predvsem v tem, da rezultati temeljijo na podatkih, pridobljenih pri velikem in reprezentativnem vzorcu slovenskih srednješolcev prvih letnikov, z izbranimi metodami statističnih analiz pa sva preučili »izvore« razlik v naravoslovnih dosežkih slovenskih dijakov na več ravneh, na ravni programov, šol znotraj programov in na ravni dijakov. Hkrati sva preučili povprečne učinke več napo-vednikov skupaj na različna področja naravoslovne pismenosti dijakov, tako na ravni šol kot na ravni dijakov, ter pomembnost posameznih napovednikov pri pojasnjevanju naravoslovnih dosežkov in odnosa do naravoslovja. Rezultati opravljene sekundarne analize podatkov PISE 2006 na področju naravoslovne pismenosti pri slovenskih dijakih kažejo, da se razmeroma velike razlike v njihovem splošnem naravoslovnem dosežku in v kompetencah pojavljajo med srednješolskimi programi različne stopnje zahtevnosti, pa tudi kot posledica individualnih razlik med dijaki. Razlike med šolami znotraj posameznih programov so precej manjše, čeprav praktično pomembne. Do razlik v odnosu dijakov do naravoslovja prihaja v pretežni meri zaradi razlik v njihovih individualnih značilnostih, ne pa zaradi razlik med programi in/ali šolami. Med individualnimi značilnostmi mladostnikov in značilnostmi konteksta, v katerem živijo, in jih ugotavljamo prek odgovorov na vprašanja v Vprašalniku za dijake in dijakinje PISA 2006, prve pomembno napovedujejo tako naravoslovno znanje in kompetence dijakov pri naravoslovju kot tudi njihov odnos do naravoslovja. Med vsemi napovedniki skupaj višje rezultate pri vseh šestih obravnavanih sestavinah naravoslovne pismenosti dosledno napovedujejo višja motivacija dijakov za naravoslovje in višja raven samozaznane učinkovitosti pri naravoslovju. Med spremenljivkami konteksta značilnosti poučevanja naravoslovja prispevajo k pojasnjevanju vseh področij naravoslovne pismenosti. Značilnosti dijakovega okolja doma (razen pogovornega jezika, ki se povezuje s splošnim naravoslovnim dosežkom in kompetencami, ne pa tudi z odnosom do naravoslovja) pa prispevajo le k pojasnjevanju posameznih področij naravoslovne pismenosti. Ob upoštevanju vseh izbranih napvednikov je mogoče, da značilnosti družine na preostalih področjih naravoslovne pismenosti sovariirajo s tistimi individualnimi značilnostmi dijakov, ki se povezujejo z rezultati PISE 2006. Napovedniki v precejšnji meri pojasnjujejo tudi razlike na različnih področjih naravoslovne pismenosti med programi-šolami, ki se med seboj razlikujejo ne le v povprečnih dosežkih dijakov, temveč tudi v vrednostih napovednikov. Med ugotovitvami izpostavljava še negativne zveze med oblikami poučevanja naravoslovja, zajetimi v študijo, in naravoslovnimi dosežki slovenskih dijakov, kar bi bilo treba v prihodnosti natančneje preučiti. Literatura Abu-Hilal, M. M. (2000). A structural model of attitudes toward school subjects, academic aspirations, and achievement. Educational Psychology, 20, 75-84. Allik, J., Laidra, K., Realo, A. in Pullman, H. (2004). Personality development from 12 to 18 years of age: Changes in mean levels and structure of traits. European Journal of Personality, 18, 445-462. American Institutes for Research in Jon Cohen (2005). AM statistical software. Sneto 1. 7. 2008 s spletne strani: http://am.air.org/ Bandura, A. (1986). Social foundations of thought and action: A social cognitive theory. Englewood Cliffs, NJ: Prentice Hall. Bandura, A. (1997). Self-efficacy: The exercise of control. New York: Freeman. Baumert, J. in Koller, O. (1998). Interest research in secondary level I: An overview. V: Hoffmann idr. (ur.), Interest and learning. Kiel: Institute for Science Education at the University of Kiel. Boyer, K. R. (2002). Using active learning strategies to motivate students. Mathematics Teaching in the Middle Schools, 8, 48-51. Bratko, D., Chamorro-Premuzic, T. in Saks, Z. (2006). Personality and school performance: Incremental validity of self- and peer-ratings over intelligence. Personality and Individual Differences, 41, 131-142. Carstensen, C., Rost, J. in Prenzel, M. (2003). Proposal for asessing the affective domain. Dokument, pripravljen za Srečanje ekspertne skupine PISA - naravoslovje, Las Vegas. Ceci, S. J. (1999). Schooling and intelligence. V: S. J. Ceci in W. M. Williams (ur.), The nature-nurture debate (str. 168-176). Oxford, UK: Blackwell Publishers Ltd. Chamorro-Premuzic, T. in Furnham, A. (2006). Intellectual competence and the intelligent personality: A third way in differential psychology. Review of General Psychology, 10(3), 251-267. Deary, I. J., Strand, S., Smith, P. in Fernandes, C. (2007). Intelligence and educational achievement. Intelligence, 35, 13-21. Eccles, J. S. in Wigfield, A. (1995). In the mind of the achiever: The structure of adolescent's academic achievement-related beliefs and self-perceptions. Personality and Social Psychology Bulletin, 21, 215-225. Eccles, J. S. in Wigfield, A. (ur.) (2001). Development of achievement motivation. San Diego: Academic Press. Garson, G. D. (2008). Linear Mixed Models: Random Effects, Hierarchical Linear, Multilevel, Random Coefficients, and Repeated Measures Models. Sneto 15. 4. 2008 s strani: http://www2.chass.ncsu.edu/garson/pa765/multilevel.htm Glaser - Zikuda, M., Mayring, P. in von Rhoeneck, C. (2003). An investigation of the influence of emotional factors on learning physics interaction. International Journal of Science Education, 25(4), 489-507. Harris, J. R. (1998). The nurture assumption: Why children turn out the way they do. New York: Touchstone. House, J. D. (1995). The predictive relationship between academic sel-concept, achievement expectancies, and grade performance in college calculus. The Journal of Social Psychology, 135, 111-112. House, J. D. (1996). Student expectations and academic self-concept as predictors of science achievement. The Journal of Psychology, 130, 679-681. House, J. D. (1997). The relationship between self-beliefs, academic background, and achievement in adolescent Asian-American students. Child Study Journal, 27, 95-110. Kaplan, A. in Midgley, C. (1999). The relationship between perceptions of classroom goal structure and early adolescents' affect in school: The mediating role of coping strategies. Learning and Individual Differences, 11, 187-212. Marjanovič Umek, L., Sočan, G. in Bajc, K. (2006). Psihološki in družinski dejavniki šolske ocene. Sodobna pedagogika, 57(2), 108-129. Marjanovič Umek, L., Sočan, G. in Bajc, K. (2007). Vpliv psiholoških dejavnikov in izobrazbe staršev na učno uspešnost mladostnikov. Psihološka obzorja, 16(3), 27-48. Marsh, H. W. in Yeung, A. S. (1996). The distinctiveness of affects in specific school subjects: An application of confirmatory factor analysis with the National Educational Longitudinal Study of 1988. American Educational Research Journal, 33, 665-689. Marsh, H. W. in Yeung, A. S. (1997). Causal effects of academic self-concept in academic achievement: Structural equation models of longitudinal data. Journal of Educational Psychology, 89, 41-54. Middleton, M. J. in Midgley, C. (2002). Beyond motivation: Middle school students' perceptions of press for understanding in math. Contemporary Educational Psychology, 27, 373-391. Midgley, C., Maehr, M. L., Hruda, L. Z., Anderman, E., Anderman, L., Freeman, K. E. idr. (2000). Manual for the Patterns of Adaptive Learning Scales. University of Michigan. Mullis, I. V. S., Martin, M. O., Gonzales, E. J. in Chrostowski, S. J. (2004). TIMSS 2003 international mathematics report. Chestnut Hills, MA: TIMSS & Pirls International Study Center. Nacionalni center za raziskave PISA 2006. (2006). Vprašalnik za dijakinje in dijake. Ljubljana: Pedagoški inštitut. Pajeras, F. in Graham, L. (1999). Self-efficacy, motivation constructs, and mathematics performance of entering middle school students. Contemporary Educational Psychology, 24, 124-139. Perry, M. (2000). Explanation of mathematical concepts in Japanese, Chinese, and U. S. first- and fifth-grade classrooms. Cognition and Instruction, 18, 181-207. PISA 2006. Science Competencies for Tomorrow's World. Volume 1: Analysis (2007). Paris: OECD. Puklek Levpušček, M. in Zupančič, M. (2009). Math achievement in early adolescence: The role of parental involvement, teachers' behavior and students' motivational beliefs about math. Journal of Early Adolescence. 29,541-570. Rao, N., Moely, B. E. in Sachs, J. (2000). Motivational beliefs, study strategies, and math attainment in high- and low-achieving Chinese secondary school students. Contemporary Educational Psychology, 25, 287-316. Raudenbush, S. W., Bryk, A. S., Cheong, Y. F. in Congdon, R (2005). Hierarchical Linear and Nonlinear Modeling, Version 6.02: Users' Guide and Software Program. Chicago: Scientific Software International. Schunk, D. H. in Pajares, F. (2002). The development of academic self-efficacy. V: A. Wigfield in J. S. Eccles (ur.), Development of achievement motivation (str. 16-32). San Diego: Academic Press. Skaalvik, E. in Valas, H. (1999). Relations among achievement, self-concept, and motivation in mathematics and language arts: A longitudinal study. The Journal of Experimental Education, 67, 135-149. Štraus, M., Repež, M. in Štigl, S. (ur.) (2007). Nacionalno poročilo PISA 2006: naravoslovni, bralni in matematični dosežki slovenskih učencev. Ljubljana: Nacionalni center PISA, Pedagoški inštitut. Urdan, T. in Midgley, C. (2003). Changes in the perceived classroom goal structure and patterns of adaptive learning during early adolescence. Contemporary Educational Psychology, 28, 524-551. Wentzel, K. R. (1994). Relations of social goal pursuit to social competence, classroom behavior, and perceived social support. Journal of Educational Psychology, 86, 173-182. Wentzel, K. R. (1997). Student motivation in middle school: The role of perceived pedagogical caring. Journal of Educational Psychology, 3, 411-419. Zupančič, M. (2004). Razvoj identitete in poklicno odločanje v mladostništvu. V: L. Marjanovič Umek in M. Zupančič (ur.), Razvojna psihologija (str. 571-588). Ljubljana: Znanstvenoraziskovalni inštitut Filozofske fakultete. Zupančič, M., Gril, A., Štraus, M. in Brečko, B. (2002). Mednarodna primerjava obremenjenosti učencev z vidika otrokovega in mladostnikovega psihosocialnega razvoja. Neobjavljeno raziskovalno poročilo. Ljubljana: Pedagoški inštitut. POVZETKI/ABSTRACTS VARIANCA DOSEŽKOV SLOVENSKIH UČENCEV MED ŠOLAMI IN ZNOTRAJ ŠOL NA LESTVICAH DOSEŽKOV IZ MATEMATIKE, BRANJA IN NARAVOSLOVJA RAZISKAVE PISA 2006 Gašper Cankar Mednarodna raziskava PISA zagotavlja veliko zbirko podatkov, katerih največja prednost je prav možnost primerjav med državami. Pri tem je večina postopkov glede izbire vzorca in merjenja znanja natančno določenih in standardiziranih, da so primerjane vrednosti med državami tudi veljavno primerljive. Ker pa so določene odločitve pri izbiri vzorca prepuščene posameznim državam in posebnostim njihovih šolskih sistemov, lahko prihaja pri določenih statistikah do neprimerljivih vrednosti. Primer je kazalnik neenakih možnosti šolskih sistemov, izračunan kot delež variance dosežkov učencev med šolami in znotraj šol, saj je izračunana statistika, navedena v mednarodnem poročilu, za slovenski vzorec neprimerna zaradi specifičnega slovenskega šolskega sistema in ločenega upoštevanja izobraževalnih programov pri zajemu vzorca. Avtor predstavi alternativne izračune deležev variance, ki se razlikujejo od vrednosti v mednarodnem poročilu PISA 2006 (OECD, 2007a), in poleg njih predstavi tudi primerljive vrednosti, izračunane na podlagi dosežkov nacionalnega preverjanja znanja (NPZ) v letih 2006 in 2007. Ker se omenjena statistika uporablja kot kazalec enakih možnosti v šolstvu, se pomembno spremeni tudi interpretacija omenjenega kazalca v raziskavi PISA 2006 za Slovenijo. Ključne besede: PISA, NPZ, veljavnost, enakost WITHIN AND BETWEEN SCHOOL VARIANCE AMONG SLOVENIAN STUDENTS' ACHIEVEMENT IN SCIENCE, READING AND MATHEMATICS ON PISA 2006 Gašper Cankar The Programme for International Student Assessment (PISA) provides invaluable database that enables important comparisons by country. Since most steps of PISA preparation and implementation are thoroughly prescibed and standardized most comparisons of results bear high validity. Due to specific differences between countrys' school systems and in smaller part specific sampling decisions in slovenian sample indicator of equity in distribution of learning opportunities for Slovenia, as published in international report (OECD, 2007a), can not be compared to other countries and validity of inferences from such comparisons are threatened. Based on results from national assessment that each year includes whole population of students in Slovenia approximately one year younger than in the population assessed in PISA author argues that interpretation of equity indicator for Slovenia is inherently flawed. Keywords: PISA, NPZ, validity, equity ANALIZA RAZLIK V DOSEŽKIH UČENCEV/DIJAKOV TER ANALIZA PRIMARNIH IN SEKUNDARNIH UČINKOV DRUŽBENIH RAZLIK NA DOSEŽKE UČENCEV/DIJAKOV Slavko Gaber, Ljubica Marjanovič Umek, Anja Podlesek, Gregor Sočan in Veronika Tašner V sekundarni študiji smo naravoslovne dosežke slovenskih učencev/dijakov, zbranih v okviru mednarodne primerjalne raziskave znanja PISA 2006, analizirali na ozadju socialne reprodukcije. Posebej so nas zanimale primerjave z izbranimi državami: Finsko, Estonijo in Norveško, mestoma pa tudi primerjave z drugimi vključenimi državami, zlasti z dosežki učencev/dijakov na ravni povprečja držav OECD. Rezultati analize razlik v dosežkih učencev/dijakov med šolami in znotraj šole kažejo, da je treba velike razlike v dosežkih slovenskih učencev/dijakov med šolami pripisati različnim srednješolskim izobraževalnim programom, v katere so bili naši 15-letniki že vključeni v času preverjanja znanja. Tudi vsi nadaljnji izračuni, s pomočjo katerih smo dosežke slovenskih učencev/dijakov in njihovih vrstnikov iz primerjanih držav pojasnjevali z vključenimi napovedniki, kažejo, da izračuni in interpretacija o razlikah v dosežkih učencev/dijakov med šolami in v šolah, ki je prikazana v poročilu PISA 2006, niso dovolj natančni, ker spregledajo nekatere pomembne razlike med šolskimi sistemi v različnih državah. Upoštevajoč rezultate, prikazane v poročilu PISA 2006, lastne izračune in različne koncepte pravičnosti in učinkovitosti izobraževalnega sistema, smo ugotovili, da ima ekonomski, socialni in kulturni status staršev učencev/dijakov (ESKS) na primarni ravni pomemben učinek na dosežke učencev/dijakov. Izsledki analize primarnih in sekundarnih učinkov socialne neenakosti (vključitev učencev/učenk v različne izobraževalne programe, aspiracija in motivacija dijakov/dijakinj v različnih izobraževalnih programih, ocene, ki jih »prinesejo« s seboj, vloga ESKS pri vključitvi v različne programe ob enakih šolskih ocenah) pa kažejo, da je treba v slovenskem šolskem sistemu izoblikovati mehanizme in ukrepe, s katerimi bi zmanjševali učinke socialne neenakosti. Ključne besede: dosežki učencev/dijakov; šolski sistemi; socialna neenakost; socialni, ekonomski in kulturni status učencev; učinkovitost in pravičnost v izobraževanju ANALYSIS OF DIFFERENCES IN STUDENT PERFORMANCE AND OF PRIMARY AND SECONDARY EFFECTS OF SOCIAL DIFFERENCES Slavko Gaber, Ljubica Marjanovič Umek, Anja Podlesek, Gregor Sočan and Veronika Tašner This secondary study analyses Slovenian students' science performance in the international comparative study PISA 2006 within the context of social reproduction. We were especially interested in comparisons with selected countries (Finland, Estonia, and Norway), and also, in places, comparisons with other countries included in PISA 2006, especially student performance at the OECD average. An analysis of between-school and within-school differences in student performance indicates that the large differences in performance of Slovenian students must be attributed to the various secondary-school programs that Slovenian 15-year-olds were enrolled in when tested. All of the additional calculations that we used to help explain the performance of Slovenian students versus their peers from the countries compared (with predictors included) indicate that the calculations and interpretation of between-school and within-school differences in student performance presented in the PISA 2006 report are not precise enough because they overlook certain important differences between the school systems in different countries. Taking into account the findings presented in the PISA 2006 report, our own calculations, and various concepts of educational system fairness and effectiveness, we determined that the economic, social, and cultural status (ESCS) of students' parents has an important effect on student performance at the primary level. Findings from the analysis of primary and secondary effects of social inequality (student inclusion in various educational programs, student aspirations and motivations in various educational programs, the grades that they "bring" with themselves, and the role of ESCS in inclusion in various programs despite having identical grades in school) indicate that mechanisms and measures must be created in the Slovenian school system to reduce the effects of social inequality. Key words: student performance; school systems; social inequality; students' social, economic, and cultural status; effectiveness and equity in education KAJ NAM POVEDO MEDNARODNE RAZISKAVE IN NACIONALNO PREVERJANJE ZNANJA? Neja Markelj in Matej Majerič V prispevku avtorja poskušata umestiti mednarodne raziskave znanja in nacionalno preverjanje znanja v proces evalvacije šole in s tem šolskega sistema. Rezultati raziskav znanja se navadno med seboj precej razlikujejo, kar je predvsem posledica metodoloških razlik: razlike v vzorčenju, obliki in načinu aplikacije testov ter še posebej v izbiri spremenljivk (torej vsebina preverjanja znanja). Vsaka raziskava ima namreč svoj namen, zato je zastavljena tako, da le-tega najlaže ter čim bolj veljavno in zanesljivo tudi doseže. Zato moramo biti pri interpretaciji rezultatov in branju izsledkov previdni in upoštevati metodološke omejitve -evalvacija kurikuluma ali celo šolskega sistema na podlagi ene izmed raziskav ni smiselna niti „pravična". Vendar pa nam primerjava več različnih raziskav ravno na podlagi njihove metodološke različnosti omogoča, da dobimo širšo sliko o dejavnikih, ki vplivajo na učne dosežke otrok v izobraževalnem procesu, kajti vsaka raziskava ponuja drugačno informacijo o znanju (slovenskih) otrok. Namen prispevka je torej poiskati skupne točke in razlike med omenjenimi raziskavami ter izpeljati, kaj uspešnost otrok v nacionalnih in mednarodnih raziskavah znanja pomeni za razumevanje kakovosti šol in s tem šolskega sistema. Ključne besede: mednarodne raziskave znanja, nacionalno preverjanje znanja, evalvacija, kakovost šolskega sistema WHAT CAN THE INTERNATIONAL AND NATIONAL STUDENT ASSESMENTS TELL US? Neja Markelj and Matej Majerič The authors discuss the role of national and international student assessments in the evaluation process of schools and educational system. Different assessments produce different results, usually due to methodological differences, for instance: sample design, type of test application and the content assessed. The research design is shaped in accordance to survey's aim and in a way to achieve the goals at low costs and with still acceptable validity and reliability. Therefore it is necessary to read and interpret the surveys' results carefully with methodological constraints in mind. The evaluation of educational system on the basis of one such assessment is not sensible neither fair. Nevertheless, the comparison of a number of such surveys gives us a wider perspective of factors that influence students' academic achievements. The aim of this article is to point out the common features and differences between existing international and national surveys. On that basis we will discuss the meaning of their results for understanding the quality of schools and educational system. Key words: international student assessments, national student assessment, evaluation process, quality of educational system PSIHOMETRIČNA ANALIZA SLOVENSKE VERZIJE PREIZKUSOV PISA 2006 Gregor Sočan Na odgovorih slovenskega vzorca dijakov pri preizkusih bralne, matematične in naravoslovne pismenosti v okviru raziskave PISA 2006 smo izvedli psihometrično analizo v skladu s klasično testno teorijo in Raschevim modelom. Glede na kriterije dimenzionalnos- ti, zanesljivosti ter diskriminativnosti in težavnosti postavk so se preizkusi večinoma izkazali kot zelo dobri. Glede na velikost vzorcev dijakov in velike razlike v diskriminativnosti pa je vprašljivo, ali je Raschev model res optimalna osnova za lestvičenje dosežkov. Ključne besede: imenzionalnost, zanesljivost, analiza postavk, Raschevo lestvičenje, PISA PSYCHOMETRIC ANALYSIS OF THE SLOVENIAN VERSION OF PISA 2006 TESTS Gregor Sočan A psychometric analysis according to the classical test theory and the Rasch model, respectively, was performed on the Slovenian students' scores on mathematics, reading literacy and science, obtained in the PISA 2006 study. In general, the tests fulfilled the criteria of dimensionality, reliability, item discrimination and difficulty distribution very well. However, regarding the huge size of the available data matrices and a large variability of discrimination indices, the optimality of the Rasch model as the basis for scaling the PISA scores is disputed. Key words: dimensionality, reliability, item analysis, Rasch scaling, PISA POVEZANOST INDIVIDUALNIH ZNAČILNOSTI IN DEJAVNIKOV KONTEKSTA Z NARAVOSLOVNIMI DOSEŽKI SLOVENSKIH DIJAKOV NA PISI 2006 Maja Zupančič in Anja Podlesek V prispevku analizirava podatke o naravoslovni pismenosti PISA 2006, ki so bili zbrani pri slovenskih dijakih prvih letnikov srednjih izobraževalnih programov. Razlike v rezultatih dijakov na področju splošnega naravoslovnega dosežka in po področjih naravoslovnih kompetenc ter odnosa do naravoslovja sva ugotavljali med štirimi programi različne zahtevnosti, med šolami znotraj programov in na ravni dijakov. V trinivojskih modelih razlike v naravoslovnem dosežku in kompetencah dijakov večinoma pojasnimo z razlikami med programi in z individualnimi razlikami med dijaki, v manjši meri pa z razlikami med šolami znotraj programov. V povprečju imajo najnižje rezultate dijaki poklicnih srednjih šol, najvišje pa dijaki splošnih gimnazij. K razlikam v odnosu dijakov do naravoslovja prispevajo individualne razlike med njimi, prispevek razlik med programi in med šolami znotraj teh pa je zanemarljiv. Dvonivojski model (raven šole-programa in raven dijakov) z napovedniki, ki zajemajo individualne značilnosti dijakov in značilnosti konteksta (dom, šola), razloži bistveno več variance na vseh področjih naravoslovne pismenosti kot model brez napovednikov. Z vsemi napovedniki je moč skupno (na ravni šol-programov in na ravni dijakov) pojasniti nekoliko več kot polovico razlik v splošnem dosežku in v vsaki izmed kompetenc, na področjih odnosa do naravoslovja pa je ta prispevek manjši. Dosledno pomembni posamični napovedniki na vsakem izmed področij naravoslovne pismenosti so dijakova motivacija za naravoslovje, zaznana samoučinkovitost v kontekstu naravoslovja in način poučevanja naravoslovja. Ključne besede: PISA 2006, dijaki, naravoslovna pismenost, individualne značilnosti, dejavniki konteksta, napovedne zveze INDIVIDUAL CHARACTERISTICS AND CONTEXTUAL FACTORS: THEIR RELATIONS WITH PISA 2006 SCIENCE ACHIEVEMENTS OF SLOVENE STUDENTS Maja Zupančič and Anja Podlesek In this paper, we analyze data on science literacy PISA 2006 which were collected with 15-year-old Slovene secondary school students. Differences in students' scores across domains of general science performance, science competencies, and attitudes towards science were explored among four secondary educational programmes, among schools within the programmes, and at the level of students. Considering three-level models, the differences in science performance and competencies were mainly explained by the differences among programmes and by students' individual differences, whereas the contribution of differences among schools within the same programme were smaller. On average, students of vocational secondary schools scored the lowest and general high school students obtained the highest scores. Individual differences among students account for most of the differences in students' attitudes towards science, while contributions of differences among the programmes and among the schools are negligible. Considering two-level models (at the school-programme level and at the level of students), the model which includes predictors, i. e. individual characteristics of students and context (home, school) variables, explains considerably larger proportions of variance across the domains of science literacy than the null model. All of the predictors jointly account for somewhat more than a half of variance (at the school-programme level and at the level of students) in general science performance and in science competencies. The contribution of predictors is smaller with regard to students' attitudes towards science. Students' motivation to learn science, perceived self-efficacy, and teaching science were consistently demonstrated to be significant single predictors in each of the domains of science literacy. Keywords: PISA 2006, secondary school students, science literacy, individual characteristics, contextual factors, predictive relations POVEZANOST NEKATERIH INDIVIDUALNIH IN SOCIALNIH ZNAČILNOSTI SLOVENSKIH DIJAKOV Z NJIHOVIMI DOSEŽKI NA PISI 2006: MATEMATIČNA IN BRALNA PISMENOST Maja Zupančič in Anja Podlesek V prispevku predstavljava rezultate sekundarne analize podatkov PISA 2006 na področju matematične in bralne pismenosti slovenskih dijakov prvih letnikov. Dosežke dijakov na vsakem izmed področij pismenosti sva napovedovali na podlagi izbranih spremenljivk, ki predstavljajo nekatere individualne značilnosti dijakov in njihovega socialnega okolja doma. V modelih brez napovednikov sva z razlikami med štirimi srednješolskimi izobraževalnimi programi pojasnili 45 % variance v matematični pismenosti in 50 % variance v bralni pismenosti dijakov, z razlikami med šolami znotraj teh programov pa 14 % variance v dosežkih pri matematiki in 16 % variance v dosežkih pri bralni pismenosti. V povprečju imajo najnižje dosežke na obeh področjih dijaki poklicnih srednjih šol, najvišje pa dijaki, ki obiskujejo splošne gimnazije. V dvonivojskih modelih sva z izbranimi napovedniki pojasnili 57 % variance dosežkov dijakov na področju matematike in 58 % variance na področju bralne pismenosti. Tako na ravni šol kot tudi na ravni dijakov višje dosežke na obeh obravnavanih področjih dosledno napovedujejo večja poraba časa za učenje pri pouku ustreznega predmeta v šoli (matematike, slovenščine), večje število knjig doma in slovenski pogovorni jezik doma ter manjša poraba časa za organizirano učenje ustreznega predmeta zunaj pouka in manjše število materialnih dobrin doma, ki niso neposredno vezane na učno delo. Fantje imajo v povprečju nekoliko višje rezultate na področju matematične pismenosti kot dekleta, ta pa so v povprečju nekoliko uspešnejša od fantov na področju bralne pismenosti. Ključne besede: PISA 2006, dijaki, matematična pismenost, bralna pismenost, napovedni odnosi RELATIONSHIP BETWEEN SOME INDIVIDUAL AND SOCIAL CHARACTERISTICS OF SLOVENE STUDENTS AND THEIR PISA 2006 ACHIEVEMENT: MATHEMATICAL AND READING LITERACY Maja Zupančič and Anja Podlesek In this contribution, we present results of a secondary analysis of PISA 2006 data focused on mathematical and reading literacy in 15-year-old Slovene secondary school students. The students' achievement in each of the two domains of literacy was predicted from a set of selected variables which represent some of the students' individual and social characteristics of their home environment. Considering null models, the differences among four secondary school programmes explained 45% and 50% of variance in students' mathematical and reading literacy, respectively. The differences among schools within the same educational programme accounted for additional 14% and 16% of variance in math and reading literacy achievement, respectively. On average, the students of vocational secondary schools scored the lowest and the students attending general and classical gymnasia obtained the highest scores. Concerning the two-level models, the selected predictors accounted for 57% of variance in students' performance in the math domain and for 58% of variance in students' reading literacy. Higher performance in the two domains of literacy, and at both the school and the student level of analysis, was predicted by longer learning time the students spent in corresponding class (math, Slovene), more books in students' home, speaking Slovene at home, shorter time spent on organized learning for the relevant course outside the school class, and less material resources (not directly tied to academic work) in students' home. In math, boys performed somewhat better than girls. Girls, in turn, slightly outperformed boys in the reading literacy domain. Keywords: PISA 2006, secondary-school students, math literacy, reading literacy, predictive relations ZAHVALA Revija Šolsko polje izhaja s finančno podporo naslednjih inštitucij: MINISTRSTVO ZA ŠOLSTVO in ŠPORT JAVNA AGENCIJA ZA KNJIGO REPUBLIKE SLOVENIJE PEDAGOŠKI INŠTITUT, Ljubljana