i i “Japelj” — 2017/11/27 — 9:21 — page 136 — #1 i i i i i i ŠOLA KAJ NAM O MATEMATIČNEM ZNANJU MATURANTOV SPOROČA RAZISKAVA TIMSS ADVANCED? BARBARA JAPELJ PAVEŠIĆ1 IN GAŠPER CANKAR2 1Pedagoški inštitut 2Državni izpitni center Math. Subj. Class. (2010): 97D10, 97D60, 97C40; 62-07: Data analysis Mednarodna objava rezultatov primerjalne raziskave znanja preduniverzitetne ma- tematike je prinesla nekatere pomembne nove informacije o poučevanju matematike pri nas. Najpomembneǰse je, da je znanje maturantov, ki se odločajo za maturo iz mate- matike na vǐsji ravni, zraslo in je relativno visoko. V prispevku prikazujemo rezultate prvih nacionalnih analiz. Rezultate raziskave smo povezali z rezultati iz preteklih merjenj znanja matematike med srednješolci: iz sploh prvega sodelovanja Slovenije v mednarodni primerjavi leta 1989 in iz treh merjenj trendov v letih 1995, 2008 in 2015. Neodvisno izmerjene dosežke TIMSS Advanced smo primerjali z rezultati nacionalne mature. Iskali smo razlago, zakaj so razlike v dosežkih med spoloma v obeh merjenjih različne, čeprav sta preizkusa po vsebini in kognitivni strukturi zelo podobna. Ugotovili smo, da varianco v dosežkih dijakov v veliki meri pojasnijo spol, izbira ravni mature, izbira fizike za matu- ritetni predmet in naklonjenost do učenja matematike. Rezultate primerjamo z rezultati podobne analize pred osmimi leti. WHAT DOES TIMSS ADVANCED SAY ABOUT MATHEMATICS KNOWLEDGE OF SLOVENE SECONDARY SCHOOL STUDENTS The international report of the results of large scale assessments of pre-university mathematics has brought some important new information on mathematics teaching in Slovenia. Most importantly, the knowledge of students who choose the higher level of the national mathematics examination has grown and is relatively high. The paper presents results of the first national analysis. We compare the results of the study with the results from previous assessments: from the first participation of Slovenia in the international comparative study in 1989 and from three studies of trends in the years 1995, 2008 and 2015. The independently measured achievements of TIMSS Advanced were linked with the results of the national matura examination. We tried to find the explanation for di- fferences in achievements by gender that are different in both measurements, even though the content and cognitive structure of the tests are very similar. The important factors which explain achievement variance were found to be students’ gender, the choice of the national exam difficulty level, the choice of physics for the optional subject at the national examination, and how much students like to learn mathematics. Uvod Slovenija je med leti 1988 in 2016 sodelovala v mednarodnih raziskavah združenja IEA (International Association for the Evaluation of Educational 136 Obzornik mat. fiz. 64 (2017) 4 i i “Japelj” — 2017/11/27 — 9:21 — page 137 — #2 i i i i i i Kaj nam o matematičnem znanju maturantov sporoča raziskava TIMSS Advanced? Achievement) iz znanja matematike in naravoslovja med učenci osnovne šole in dijaki v programih srednjih šol, ki dopuščajo vstop v univerzitetni študij. Države članice, ki so se ob vstopu zavezale k razvoju raziskovanja izobra- ževanja, v IEA zastopajo skupine raziskovalcev iz raziskovalnih inštitutov, univerz ali ministrstev. Združenje IEA so pred skoraj šestdesetimi leti usta- novili raziskovalci izobraževanja na sestanku Unesca, ko so ugotovili, da bi lahko države veliko lažje izbolǰsevale izobraževalne sisteme, če bi se lahko učile o učinkovitih rešitvah druga od druge. Ker so za to potrebovale pri- merljive podatke o sistemih, so zasnovale mednarodne primerjalne študije znanja in okolǐsčin učenja. V začetku so bila izvedena posamična merjenja znanja, od leta 1995 pa IEA izvaja največjo mednarodno raziskavo trendov šolskega matematičnega in naravoslovnega znanja, TIMSS (Trends in Inter- national Mathematics and Science Study), na štiri leta med osnovnošolci in na okoli osem let med srednješolci. V letih 1995, 2008 in 2015 je tudi Slovenija sodelovala v raziskavi znanja matematike in fizike med dijaki zah- tevneǰsih programov matematike in fizike v zadnjem letu pred vstopom na univerzo, TIMSS Advanced, ves čas pa tudi v raziskavah osnovnošolskega znanja. V prispevku bomo predstavili pomembneǰsa sporočila raziskave med srednješolci za slovensko matematično izobraževanje, ki smo jih iz podat- kov izluščili po mednarodni objavi rezultatov zadnjega merjenja v letu 2016 [5, 6]. Kaj je raziskava merila in kako? Mednarodna raziskava TIMSS Advanced tradicionalno meri skupno zna- nje matematike, znanje posameznih velikih vsebinskih poglavij matematike, algebre, analize in geometrije, ter ločeno tri kognitivne ravni znanja, pozna- vanje dejstev in postopkov, uporabo znanja ter matematično sklepanje. V merjenje vključi vnaprej natančno določene populacije dijakov zahtevneǰsih programov matematike v zaključnih letnikih srednje šole. Raziskava se vsa- kič začne s skupnim oblikovanjem načrta o merjenju znanja in dejavnikov ter zapisom načrtov, vsebine in namena primerjav v publikaciji Izhodǐsča raziskave TIMSS Advanced [5]. Sodelujoče države se skupaj dogovorijo o vsebinah preizkusa. Ker je namen IEA raziskav merjenje šolskega znanja, vsebine za preizkuse določijo iz primerljivih analiz učnih načrtov. V preiz- kuse znanja so vključene le vsebine, ki so pomemben del preduniverzitetnega matematičnega izobraževanja v vseh sodelujočih državah. Nekatera klasična poglavja matematike, kot so kombinatorika, verjetnost in statistika ter upo- raba polarnega koordinatnega sistema, v letu 2015 niso bila zajeta, ker jih v več državah ne učijo na preduniverzitetni ravni. V seznamu ni bilo nobenega poglavja, ki se ga slovenski dijaki programa splošne gimnazije ne bi imeli priložnosti naučiti v šoli. Naloge preizkusa znanja nato sledijo seznamu vsebin ter hkrati trem kognitivnim kategorijam znanja. 136–157 137 i i “Japelj” — 2017/11/27 — 9:21 — page 138 — #3 i i i i i i Barbara Japelj Pavešić in Gašper Cankar Vsebinska izhodǐsča preizkusa TIMSS Advanced 2015 Algebra Izrazi in operacije: računanje z eksponentnimi, logaritemskimi, polinomskimi, racionalnimi izrazi in koreni ter s kompleksnimi števili; izračunavanje vrednosti algebrskih izrazov (npr. eksponentnih, logaritemskih, polinomskih, racionalnih in korenskih); določiti n-ti člen aritmetičnega in geometrijskega zaporedja ter vsoto končne in neskončne vrste. Enačbe in neenačbe: rešiti linearne in kvadratne enačbe in neenačbe, kakor tudi sistem linearnih enačb in neenačb; rešiti eksponentne, logaritemske, polinomske, ra- cionalne in enačbe s koreni; uporabiti enačbe in neenačbe za reševanje problemskih nalog. Funkcije: interpretirati, primerjati in zapisati ekvivalentne predstavitve funkcij, tudi sestavljenih, v obliki urejenih parov, preglednic, grafov, formul ali besedila; prepoznati in ločiti temeljne lastnosti eksponentnih, logaritemskih, polinomskih, racionalnih in korenskih funkcij. Analiza Limite: določiti limite funkcij, tudi racionalnih; prepoznati in opisati pogoje za zveznost in odvedljivost funkcij. Odvodi: odvajati polinomske, eksponentne, logaritemske, trigonometrične, racio- nalne, korenske in sestavljene funkcije ter odvajati produkte in kvociente funkcij; uporabiti odvode za reševanje problemskih nalog iz optimizacije in hitrosti spre- memb; uporabiti prve in druge odvode za določanje naklona tangente ter iskanje ekstremov in prevojev polinomskih in racionalnih funkcij; uporabiti prvi in drugi odvod za skiciranje in opisovanje grafa funkcije. Integrali: integrirati polinomske, eksponentne, trigonometrične in enostavne raci- onalne funkcije; izračunati vrednosti določenih integralov in uporabiti integriranje pri računanju ploščin in prostornin. Geometrija Nekoordinatna in koordinatna geometrija: uporabiti nekoordinatno geome- trijo za reševanje problemskih nalog v dveh in treh dimenzijah; uporabiti koor- dinatno geometrijo za reševanje problemskih nalog v dveh dimenzijah; uporabiti lastnosti vektorjev, njihovih vsot in razlik pri reševanju problemov. Trigonometrija: uporabiti trigonometrijo pri reševanju nalog s trikotniki; pre- poznati, interpretirati in narisati grafe sinusnih in kosinusnih funkcij in funkcije tangens; rešiti problemske naloge, ki vključujejo trigonometrične funkcije. 138 Obzornik mat. fiz. 64 (2017) 4 i i “Japelj” — 2017/11/27 — 9:21 — page 139 — #4 i i i i i i Kaj nam o matematičnem znanju maturantov sporoča raziskava TIMSS Advanced? Preverjanje je potekalo ob koncu aprila in v začetku maja 2015, da je kar najmanj motilo izvajanje mature. Šole so bile vnaprej seznanjene z vse- binskimi izhodǐsči raziskave in so dijakom večinoma prilagodile obravnavo snovi. Pri interpretaciji rezultatov pa je primerno upoštevati, da nekatere vsebine še niso bile utrjene. Učitelji so za vsako snov sporočili, ali so jo nji- hovi dijaki obravnavali že pred zadnjim letnikom, v 4. letniku ali pa so jo pri pouku pravkar uvedli in še ne utrdili.1 Učitelji 23 odstotkov slovenskih dija- kov so zapisali, da še niso dokončali obravnave uporabe odvoda za določanje prevojnih točk. 26 odstotkov dijakov pri pouku še ni dokončalo obravnave integriranja funkcij in 17 odstotkov se jih še ni naučilo uporabiti odvodov za reševanje problemov (ekstremalne naloge). Dokončano obravnavo drugih vsebin so potrdili učitelji več kot 95 odstotkov dijakov. V drugih državah, še posebej v Franciji, so sodelujoči dijaki pred testiranjem celovito obdelali manj snovi kot v Sloveniji. TIMSS Advanced meri dosežke dijakov s šestimi različnimi pisnimi pre- izkusi, v katere je bilo leta 2015 porazdeljenih 115 nalog. Vsak dijak reši le po en preizkus. Naloge TIMSS Advanced 2015 so enakomerno, v tretjinskih deležih, pokrivale omenjene tri vsebine (algebro, analizo in geometrijo) in tri kognitivna področja (poznavanje dejstev in postopkov, uporaba znanja in matematično sklepanje). Naloge sestavljajo učitelji matematike iz vseh sodelujočih držav na sku- pnem delovnem sestanku. Že ob sestavljanju vsako nalogo enolično umestijo v vsebinsko in kognitivno kategorijo. Mednarodna komisija za naloge izvede recenzijo. Vse države jih nato prevedejo, prilagodijo v svoj jezik in preizku- sijo med dijaki. Za vsako izvedbo raziskave je treba na novo napisati okoli polovico nalog, druga polovica pa se prevzame iz preǰsnje izvedbe raziskave. Po vsakem zaključku merjenja znanja polovica nalog ostane prikritih, da se lahko v enaki obliki prihodnjič ponovijo. V letu 2015 so bile naloge raz- deljene v devet skupin ali poglavij in štiri od teh so po izvedbi raziskave postale javno dostopne [4]. Velika večina nalog v raziskavah TIMSS preveri le znanje enega določe- nega koncepta. Rešitve dijakov so ocenjene z nič ali eno točko. Največ je nalog izbirnega tipa, kjer dijak dobi eno točko za pravilno izbran odgovor med štirimi ali petimi možnostmi. Del nalog je odprtega tipa, pri katerih dijaki sami zapǐsejo svojo rešitev in odgovor. Med temi je nekaj večsto- penjskih (leta 2015 jih je bilo 18), da zaporedoma preverijo dva povezana koncepta in dijakovo sposobnost reševanja obsežneǰsih problemov. Te na- loge dijakom prinesejo 0 točk za napačno rešitev, 1 točko za pravilno rešitev 1Podatki vseh držav o obravnavi snovi so objavljeni v dokumentu: TA15 MAT TeacherAlmanac, dostopnem na timssandpirls.bc.edu/timss2015/ advanced-international-database/downloads/TA15\_Almanacs.zip 136–157 139 i i “Japelj” — 2017/11/27 — 9:21 — page 140 — #5 i i i i i i Barbara Japelj Pavešić in Gašper Cankar enega dela ali izkazano znanje enega koncepta ali 2 točki za popolno rešitev. Točk ni bilo mogoče deliti. V mednarodni podatkovni bazi se za vsakega dijaka in vsako nalogo2 ohrani tudi podatek o vrsti dijakove rešitve, tudi če je napačna (npr. računska pot, tipična napaka) in se uporabi za primerjalne analize napačnih rešitev ali nerazumevanja konceptov. Poleg deležev pravilnih rešitev je iz rezultatov raziskave mogoče dobiti tudi druge informacije. Ob nalogah, ki so bile uporabljene v več zaporednih raziskavah, lahko spremljamo spreminjanje uspešnosti dijakov pri istih kon- ceptih. Ob nekaterih nalogah, ki so bile uporabljene v letih 1995, 2008 in 2015, bomo prikazali spreminjanje uspešnosti slovenskih dijakov v primer- javi z nekaterimi drugimi državami. Kaj kažejo rešitve nalog? Ruska federacija je sodelovala v vseh treh merjenjih z zelo specializirano populacijo dijakov programa intenzivne matematike (šest ur ali več pouka matematike na teden), v letu 2015 pa s splošno maturitetno populacijo, ki je po obsegu pouka matematike primerljiva s slovenskimi maturanti. Francija je sodelovala leta 1995, ko je dosegla med vsemi državami najvǐsji rezultat, in leta 2015, ko je znanje dijakov tako padlo, da se je uvrstila med države s podpovprečnim rezultatom. Italija je sodelovala v vseh treh raziskavah in nikoli ni dosegla zelo visokih dosežkov, čeprav njihova gimnazija traja pet let. ZDA so sodelovale v letih 1995 in 2015. V zadnjem merjenju so amerǐski dijaki reševali naloge in odgovarjali na vprašanja zelo podobno kot slovenski. Švedska je sodelovala v vseh treh merjenjih. Med vsemi državami je doživela najmočneǰsi padec znanja med 1995 in 2008, potem pa ji je do leta 2015 uspelo svoje rezultate izrazito popraviti. Trendi dosežkov za vse države so prikazani v preglednici 2. V nadaljevanju prikazujemo podrobneǰse podatke o reševanju petih pri- merov klasičnih matematičnih nalog, ki so se na preizkusih v letih 1995, 2008 in 2015 ponovile in katerih rezultati opozarjajo na potrebo po posebni pozornosti slovenskih učiteljev pri pouku. V Sloveniji smo primerjali reševanje med dijaki, odločenimi za vǐsjo in osnovno raven maturitetnega izpita iz matematike. Med vsemi maturanti splošne mature je bila leta 2008 in 2015 na vǐsjo raven izpita iz matematike prijavljena približno četrtina dijakov. Učni načrt matematike za obe skupini je enak, razlikujejo se samo zahtevani standardi znanja za maturo. Temu je prilagojena tudi priprava dijakov na maturo. 2Datoteke z rezultati nalog so ločene po državah in od datotek z odgovori dijakov, uči- teljev ali ravnateljev na vprašalnike. Dosegljivo na timssandpirls.bc.edu/timss2015/ advanced-international-database/downloads/TA15_SPSSData.zip 140 Obzornik mat. fiz. 64 (2017) 4 i i “Japelj” — 2017/11/27 — 9:21 — page 141 — #6 i i i i i i Kaj nam o matematičnem znanju maturantov sporoča raziskava TIMSS Advanced? Primer 1: Naloga iz algebre, racionalizacija izraza, uvrščena med poznavanje dejstev Deleži odgovorov v Sloveniji, 2015 A* B C D E Osnovna raven mature 47,4 14,3 7,7 24,8 3,9 Vǐsja raven mature 77,8 9,0 1,8 6,5 3,2 Deleži pravilnih odgovorov med dijaki v sodelujočih državah Leto raziskave Francija Italija Ruska federacija Ruska federacija 6 ur+ Švedska ZDA Slovenija Osnovna raven mature Vǐsja raven mature 1995 79,4 55,0 78,9 52,4 44,6 62,7 2008 61,6 82,2 22,6 59,6 55,9 78,7 2015 43,8 57,7 57,6 77,1 20,4 42,2 55,1 47,4 77,8 Dijaki vǐsje ravni matematike v Sloveniji so glede na druge vrstnike to nalogo leta 2015 dobro reševali. V povprečju so dosegli enak rezultat kot dijaki intenzivne matematike iz Ruske federacije in bolǰsega kot dijaki drugih držav. Slovenski dijaki osnovne ravni so nalogo rešili veliko slabše, samo malo bolje kot Francozi in slabše kot leta 2008. Ob razmeroma slabih splošnih rezultatih pri tako elementarni nalogi bi se v Sloveniji (in tudi drugod) najbrž morali zamisliti in več pozornosti posvetiti razumevanju in vadbi osnovnega računanja z ulomki. Natančneǰsa vsebinska analiza rezultatov pri tej nalogi pokaže ne samo, da tako osnovno nalogo zna rešiti le slaba polovica teh dijakov, temveč tudi to, da jih je kar četrtina izbrala ZELO napačno rešitev D. Primer 2: Naloga iz kompleksnih števil, uvrščena med poznavanje dejstev Pri tej nalogi je treba opozoriti na izrazito slab uspeh naših dijakov in na veliko poslabšanje v zadnjih letih v večini držav, tudi pri nas. Leta 2015 so slovenski dijaki vǐsje ravni (8 % populacije) nalogo rešili enako dobro kot veliko večja skupina slovenskih dijakov v letu 1995 (74 % populacije). Slo- venski dijaki osnovne ravni so najpogosteje ločeno izračunali tretji potenci realnega in imaginarnega dela števila. Dosežek je slabši, kot bi pričako- vali glede na učni načrt, ki med cilji poglavja o učenju kompleksnih številih navaja »množenje kompleksnih števil« in med priporočili pravi, da je »pou- 136–157 141 i i “Japelj” — 2017/11/27 — 9:21 — page 142 — #7 i i i i i i Barbara Japelj Pavešić in Gašper Cankar Deleži odgovorov v Sloveniji, 2015 A B C* D E Osnovna raven mature 4,2 9,9 14,9 38,2 25,7 Vǐsja raven mature 1,8 3,2 40,7 18,5 28,5 Deleži pravilnih odgovorov med dijaki v sodelujočih državah Leto raziskave Francija Italija Ruska federacija Ruska federacija 6 ur+ Švedska ZDA Slovenija Osnovna raven mature Vǐsja raven mature 1995 59,1 18,6 55,9 46,2 24,1 40,3 2008 24,0 65,2 40,2 23,4 19,3 42,1 2015 36,7 23,8 35,1 47,6 30,7 25,1 21,5 14,9 40,7 darek na računskih operacijah s kompleksnimi števili«. Obenem je potenci- ranje in množenje kompleksnih števil običajno vključeno v maturitetni izpit na osnovni ravni. Primer 3: Naloga izračuna odvoda sestavljene eksponentne funk- cije, uvrščena med poznavanje dejstev Deleži odgovorov v Sloveniji, 2015 A B C* D E Osnovna raven mature 20,7 14,7 36,0 22,7 4,5 Vǐsja raven mature 8,7 7,4 68,6 11,1 2,5 Deleži pravilnih odgovorov med dijaki v sodelujočih državah Leto raziskave Francija Italija Ruska federacija Ruska federacija 6 ur+ Švedska ZDA Slovenija Osnovna raven mature Vǐsja raven mature 1995 92,5 62,5 73,7 57,7 32,6 55,6 2008 68,1 73,3 52,0 48,1 43,4 70,8 2015 79,8 61,7 61,8 68,9 48,3 70,7 44,2 36,0 68,6 Odvod sestavljene eksponentne funkcije so znali najbolje izračunati v Franciji, najslabše pa naši dijaki, ki kažejo tudi največje padanje znanja od leta 1995 dalje. Razlika v uspehu med slovenskimi dijaki osnovne in vǐsje maturitetne ravni je zelo velika. Rezultati so v nasprotju s smernicami učnega načrta, kjer je med učnimi cilji za obe ravni navedeno, da dijaki »odvajajo elementarne funkcije in kompozitum funkcij«. Slabi rezultati opozarjajo, da tudi te vsebine potrebujejo več pozornosti pri pouku. 142 Obzornik mat. fiz. 64 (2017) 4 i i “Japelj” — 2017/11/27 — 9:21 — page 143 — #8 i i i i i i Kaj nam o matematičnem znanju maturantov sporoča raziskava TIMSS Advanced? Primer 4: Prepoznavanje enačbe pravokotnice na premico, uvr- ščena med uporabo znanja Deleži odgovorov v Sloveniji, 2015 A B C D E* Osnovna raven mature 20,1 7,9 14,6 10,1 39,7 Vǐsja raven mature 9,0 2,1 4,8 12,0 69,1 Deleži pravilnih odgovorov med dijaki v sodelujočih državah Leto raziskave Francija Italija Ruska federacija Ruska federacija 6 ur+ Švedska ZDA Slovenija Osnovna raven mature Vǐsja raven mature 1995 51,6 43,2 42,5 39,8 36,7 51,4 2008 44,6 48,6 23,3 46,6 39,3 78,5 2015 25,7 40,1 36,5 45,2 18,7 49,7 46,5 39,7 69,1 V primerjavi z drugimi kažejo naši dijaki relativno dobro razumevanje tega koncepta, še posebej dijaki vǐsje ravni, ki so močno prehiteli vse druge, tudi precej bolj specializirane ruske dijake. Zanimivo pa je, da so se rezultati naših dijakov osnovne maturitetne ravni od testiranja v letu 2008 ohranili oziroma celo rahlo izbolǰsali, med dijaki vǐsje ravni pa je znanje nekoliko upadlo. Primer 5: Naloga z vektorji v trikotniku, iz geometrije, uvrščena v uporabo znanja Pri nalogah z vektorji se naši dijaki tradicionalno dobro obnesejo. Zanimivo je, da se je pri tej nalogi rezultat v Sloveniji od preizkusa leta 2008 celo izbolǰsal. Naši dijaki so se najpogosteje zmotili, ker so vektor od A do B prepoznali kot vsoto in ne kot razliko med ~a in ~b. Od leta 2008 je pri reševanju preizkusov TIMSS (skladno z globalnimi trendi) dovoljena uporaba simbolnih in grafičnih kalkulatorjev. Vendar so naloge še naprej sestavljene tako, da kalkulator ne olaǰsa reševanja. Dijaki so opozorjeni, da morajo pri rešitvah s pomočjo kalkulatorjev primerno na- vesti razmisleke (algoritem reševanja oz. ukaze) in vmesne rezultate, rešitve pa so posebej označene, da so sledljive. Pri raziskavi 2015 so kalkulatorje uporabljali predvsem skandinavski dijaki in analiza rešitev je pokazala, da uporaba kalkulatorjev ni zagotavljala bolǰsega uspeha. 136–157 143 i i “Japelj” — 2017/11/27 — 9:21 — page 144 — #9 i i i i i i Barbara Japelj Pavešić in Gašper Cankar Deleži odgovorov v Sloveniji, 2015 A B C* D E Osnovna raven mature 18,1 14,8 37,7 9,1 9,9 Vǐsja raven mature 10,4 10,1 56,7 3,2 9,2 Deleži pravilnih odgovorov med dijaki v sodelujočih državah Leto raziskave Francija Italija Ruska federacija Ruska federacija 6 ur+ Švedska ZDA Slovenija Osnovna raven mature Vǐsja raven mature 1995 38,9 24,1 53,1 17,2 27,6 47,0 2008 23,2 62,2 18,9 36,8 32,9 54,2 2015 48,2 17,9 45,4 55,8 18,8 30,1 42,1 37,7 56,7 O metodah izračunavanja predstavljenih TIMSS dosežkov Raziskava TIMSS je izjemno kompleksna in vanjo so vključeni različni mo- deli ter statistične metode. Na ta način raziskava TIMSS zagotavlja široko bazo zanimivih statističnih podatkov, ki jih je ob primerni poglobitvi mogoče dobiti in analizirati na različne načine. Najodmevneǰsi so rezultati dosežkov na lestvicah, ki ponujajo tako primerjavo med državami kot tudi časovne trende glede na zaporedne raziskave (1995, 2008, 2015). Za izračun dosežkov iz osnovnih dijaških rešitev nalog se uporabljajo zahtevni statistični modeli, ki omogočajo sledljivost in primerjavo znanja dijakov kljub različnim oko- lǐsčinam v vsaki izvedbi raziskave: naloge v zaporednih TIMSS raziskavah so le deloma enake, sodelujoče populacije dijakov se razlikujejo med drža- vami, razlike so v nacionalnih učnih načrtih, organizaciji šolskih sistemov in nacionalnih prevodih preizkusov znanja. Vse skupaj v vsebinskem in teh- ničnem pogledu ustvarja navidezno različne pogoje za reševanje. Končno izračunavanje primerljivosti in dosežkov je računsko zelo zahteven proces, ki upošteva in preseže razlike, da so končni dosežki vsakega dijaka primer- ljivi med državami in med časovno zaporednimi izvedbami merjenja znanja. Izračun dosežkov izvedejo psihometriki pod vodstvom Mednarodnega cen- tra raziskave TIMSS (TIMSS and PIRLS International Study Center, Lynch School of Education, Boston College). 144 Obzornik mat. fiz. 64 (2017) 4 i i “Japelj” — 2017/11/27 — 9:21 — page 145 — #10 i i i i i i Kaj nam o matematičnem znanju maturantov sporoča raziskava TIMSS Advanced? Postopek je v osnovi sestavljen iz izračuna dosežka za vsakega sodelujo- čega dijaka in nato določanja lestvice (z linearnimi transformacijami) tako, da je primerljiva z lestvicami iz preteklih raziskav. Čeprav v zaporednih izvedbah sodelujejo različne države, postopek zagotovi primerljivost med- narodne lestvice za nazaj. Določanje lestvice dosežkov je predstavljeno v tehničnem poročilu [8], shematsko pa prikazano na sliki 1. Lestvice dosež- kov so vedno umerjene tako, da je mednarodno povprečje med dijaki enako 500 točk, standardni odklon pa 100 točk. Slika 1. Prikaz določanja lestvice dosežkov za izračune trendov. Za uporabnika podatkov je pomembno, da so lestvice iste vrste rezul- tatov primerljive med državami in med leti (npr. matematični dosežki ali dosežki iz algebre). Med seboj pa niso primerljivi dosežki z različnih lestvic (npr. dosežki iz algebre z dosežki iz sklepanja v isti državi). Raziskava od vseh nacionalnih merjenj znanja odstopa po tem, da dosežki vsakega dijaka niso eno število, pač pa pet verjetnostnih vrednosti (angl. plausible values). V statističnih računih je treba upoštevati teh pet vrednosti in še dejstvo, da dijaki niso popolnoma naključne osebe, pač pa izbrani iz naključnih, ven- dar različno velikih šol in razredov. Za delo s podatki so zato na spletni strani objavljenih rezultatov (Timss2015.org,internationaldatabases) na voljo obširna navodila in dostop do statističnih orodij (IDB Analyzer, ki požene ustrezne kombinacije ukazov v SPSS). Za uporabnike brez SPSS so na voljo tudi specialne knjižnice v R, trenutno Bifie in Intsvy. Kaj kažejo trendi v znanju matematike v Sloveniji? Slovenija je prvič izpeljala mednarodno primerljivo merjenje znanja leta 1989. To je bila raziskava znanja matematike SIMS (Second International 136–157 145 i i “Japelj” — 2017/11/27 — 9:21 — page 146 — #11 i i i i i i Barbara Japelj Pavešić in Gašper Cankar Mathematics Study3). Med dijaki naravoslovno-matematičnih (Slovenija NM) in drugih srednjih šol sistema usmerjenega izobraževanja (Slovenija Ne-NM) je bilo znanje matematike izmerjeno na popolnoma enak način kot v petnajstih drugih državah med letoma 1980–1982. Pod vodstvom med- narodnega centra raziskave TIMSS smo dopolnili mednarodno bazo podat- kov s slovenskimi meritvami. Mednarodnim povprečnim deležem pravilnih odgovorov za skupine nalog iz posameznih poglavij matematike smo do- dali podatke za naše dijake, ločeno za dijake naravoslovno-matematičnega usmerjenega izobraževanja in dijake drugih smeri (preglednica 1, [3]). 10 Preglednica 1: Rezultati Druge mednarodne raziskave matematike, SIMS, v zadnjem letniku srednje šole, 1989 Država/sistem Množice in relacije Številski sistemi Alge- bra Geome- trija Ana- liza Verjet- nost in statistika Skupno Prikaz skupnega deleža pravilnih odgovorov Hong Kong 79,5 77,7 78,3 65,1 71,2 72,6 72,7 Japonska 78,6 68,3 77,8 60,0 66,1 70,0 68,2 Anglija 61,4 59,4 66,0 51,4 57,5 63,7 58,6 Finska 77,1 56,7 68,8 47,9 54,6 57,6 57,5 Švedska 58,8 62,1 59,9 48,5 51,1 63,9 54,9 Slovenija NM 69,1 51,0 60,3 40,9 53,0 50,2 53,0 Nova Zelandija 71,8 50,6 56,6 42,9 48,2 57,9 50,8 Belgija Fl. 71,5 47,8 61,3 42,4 45,7 43,1 49,5 Ontario 69,1 46,6 56,7 41,5 45,5 46,1 48,2 lzrael 51,2 46,1 60,4 34,6 45,0 35,6 45,7 Belgija Fr. 66,0 44,0 55,3 37,7 42,9 42,1 45,5 Škotska 50,4 39,0 47,9 41,8 31,6 45,6 39,7 ZDA 53,0 40,3 42,6 32,6 28,3 40,9 35,6 Brit. Kolumbija 47,8 43,1 46,9 30,1 21,0 38,4 33,4 Tajska 52,1 33,0 38,3 29,8 26,4 34,1 32,1 Madžarska 35,2 27,9 44,9 30,2 25,8 28,7 31,3 Slovenija Ne-NM 44,2 31,0 40,2 23,8 29,0 33,3 30,9 Na prvih dveh mestih sta izstopala Hong Kong in Japonska. Sledile so jim Anglija, Finska in Švedska. Azijske države so še vedno v vrhu vseh mednarodnih primerjav iz znanja matematike, Anglija pa je od takrat doživela padanje znanja matematike med svojimi dijaki in učenci do leta 2011. Od objave rezultatov TIMSS 2011 za osnovno šolo Anglija sedaj intenzivno izboljšuje svoje matematično izobraževanje, tudi z različnimi vzpodbudami za dvig motivacije za učenje matematike v družbi nasploh (znani so npr. novi matematični muzeji). Finska pri nas še vedno velja za uspešno, ker je med drugim med državami OECD pri petnajstletnikih dosegla najboljši rezultat v raziskavi Pisa iz matematičnih kompetenc med petnajstletniki leta 2003 in iz naravoslovnih kompetenc leta 2006. Po prvem uspehu v raziskavi Pisa nekaj časa v TIMSS ni sodelovala in ko se je leta 2011 vrnila v TIMSS, med osnovnošolci ni dosegla najvišjih mest. V matematiki so jih v Pisi 2012 prehiteli Azijci, padli pa so tudi finski naravoslovni dosežki v Pisi 2015. Švedska v letih 1995 - 2011 kaže močno padanje matematičnega znanja, ki je bilo še večje v osnovni šoli. Po objavi TIMSS 2011 so se lotili temeljite prenove matematičnega izobraževanja (predvsem z dodatnim sistematičnim izobraževanjem učiteljev) in že v letu 2015 zaznali občutno izboljšanje na vseh ravneh. Njihova izkušnja je skladna s splošno ugotovitvijo TIMSS 2015, da je dobra izobraženost učiteljev in stalno dopolnjevanje njihovega znanja ključno za doseganje odličnosti v poučevanju matematike. Na žalost se v Sloveniji dodatno izobraževanje za učitelje izrazito zmanjšuje, še posebej na osnovnošolski ravni vse od leta 2012, ko je bila naša država še zgled drugim po obsegu ponudbe in številu vključenih učiteljev. Slovenija je vključno z raziskavo 2015 sodelovala v 6 raziskavah matematike in naravoslovja v osnovni šoli in 3 raziskavah matematike in fizike v srednji šoli. V Preglednici 2 so prikazani dosežki maturantov izbranih držav za vse izvedbe raziskave TIMSS v srednji šoli. Preglednica 1. Rezultati Druge mednarodne raziskave matematike, SIMS, v zadnjem letniku srednje šole, 1989. Slovenski dijaki naravoslovno-matematične usmeritve so s povprečnim matematičnim rezultatom dosegli 6. mesto med petnajstimi drugimi drža- vami. Dosegli so 5. mesto v analizi, 6. mesto v nalogah iz množic in številskih siste ov, 7. mesto iz algebr in v rjetnosti ter 10. mest v geometriji. Pov- prečni rezultat slovenskih dija ov, ki iso bili v naravosl vn -m tematičnih usmeritvah, je bil pričakovano nižji in najnižji med povprečji dijakov iz dru- gih držav. Ker je raziskava od dijakov zbrala še množico podatkov o učenju in odnosu do znanja, je bila nacionalna primerjava pomembna za kritično analizo usmerjenega izobraževanja. 3Podatki o osnovni izvedbi raziskave SIMS 1980–1982 so dostopni na: ips.gu.se/ english/research/research_databases/compeat/Before_1995/SIMS 146 Obzornik mat. fiz. 64 (2017) 4 i i “Japelj” — 2017/11/27 — 9:21 — page 147 — #12 i i i i i i Kaj nam o matematičnem znanju maturantov sporoča raziskava TIMSS Advanced? Na prvih dveh mestih sta izstopala Hong Kong in Japonska. Sledile so jim Anglija, Finska in Švedska. Azijske države so še vedno v vrhu vseh mednarodnih primerjav iz znanja matematike, Anglija pa je od takrat doži- vela padanje znanja matematike med svojimi dijaki in učenci do leta 2011. Od objave rezultatov TIMSS 2011 za osnovno šolo Anglija sedaj intenzivno izbolǰsuje svoje matematično izobraževanje, tudi z različnimi vzpodbudami za dvig motivacije za učenje matematike v družbi na splošno (znani so npr. novi matematični muzeji). Finska pri nas še vedno velja za uspešno, ker je med drugim med državami OECD pri petnajstletnikih dosegla najbolǰsi rezultat v raziskavi Pisa iz matematičnih kompetenc med petnajstletniki leta 2003 in iz naravoslovnih kompetenc leta 2006. Po prvem uspehu v raz- iskavi Pisa nekaj časa v TIMSS ni sodelovala in ko se je leta 2011 vrnila v TIMSS, med osnovnošolci ni dosegla najvǐsjih mest. V matematiki so jih v Pisi 2012 prehiteli Azijci, padli pa so tudi finski naravoslovni dosežki v Pisi 2015. Švedska v letih 1995–2011 kaže močno padanje matematičnega znanja, ki je bilo še večje v osnovni šoli. Po objavi TIMSS 2011 so se lo- tili temeljite prenove matematičnega izobraževanja (predvsem z dodatnim sistematičnim izobraževanjem učiteljev) in že v letu 2015 zaznali občutno izbolǰsanje na vseh ravneh. Njihova izkušnja je skladna s splošno ugotovi- tvijo TIMSS 2015, da je dobra izobraženost učiteljev in stalno dopolnjevanje njihovega znanja ključno za doseganje odličnosti v poučevanju matematike. Na žalost se v Sloveniji dodatno izobraževanje za učitelje izrazito zmanǰsuje, še posebej na osnovnošolski ravni vse od leta 2012, ko je bila naša država še zgled drugim po obsegu ponudbe in številu vključenih učiteljev. Slovenija je vključno z raziskavo 2015 sodelovala v šestih raziskavah ma- tematike in naravoslovja v osnovni šoli in štirih raziskavah matematike in fizike v srednji šoli. V preglednici 2 so prikazani dosežki maturantov izbranih držav za vse izvedbe raziskave TIMSS v srednji šoli. Pri osnovnošolcih gre za obvezno šolanje celotne populacije, zato rezul- tati osnovnošolcev kažejo nacionalna povprečja. Pri populacijah srednje- šolcev pa govorimo o indeksu (odstotku) pokritja populacije vseh ustrezno starih mladostnikov v državi. Slednje je še posebej zanimivo v luči primerjav zahtevnih matematičnih programov (natančen opis programov in populacij je na spletni strani Timss2015.org). Skupna ugotovitev raziskave TIMSS Advanced med srednješolci v letu 2015 je, da je znanje matematike v zadnjih dvajsetih letih padlo v večini držav. Edina država, ki je dosegla vǐsje dosežke vsaj v zadnjem obdobju, je Švedska. Vendar tudi njihovi sedanji dosežki še vedno zaostajajo za re- zultatom iz leta 1995. V letih 2008 in 2015 so bili najuspešneǰsi dijaki intenzivnega programa matematike iz Ruske federacije, ki pa jih je v popu- laciji manj kot 2 odstotka in so torej zelo specializirana skupina. Sledijo jim slovenski dijaki vǐsje ravni mature, ki so po povprečnem dosežku v letu 2015 136–157 147 i i “Japelj” — 2017/11/27 — 9:21 — page 148 — #13 i i i i i i Barbara Japelj Pavešić in Gašper Cankar 11 Preglednica 2: Trendi 1995-2015 v dosežk h maturantov v izb anih državah Države Indeks* pokritja populacije Povprečni dosežek Razlika med leti Porazdelitev matematičnega dosežka 2008 1995 Francija 2015 21,5% 463 (3,1) -107 ↓ 1995 19,9% 569 (3,9) Italija 2015 24,5% 422 (5,3) -27 ↓ -61 ↓ 2008 19,7% 449 (7,2) -34 ↓ 1995 14,1% 483 (9,8) Ruska federacija 6 ur+ 2015 1,9% 540 (7,8) -21 ↓ -9 2008 1,4% 561 (7,0) 12 1995 2,0% 549 (8,2) Slovenija, višja raven mature 2015 8,2% 549 (3,4) 26 ↑ 2008 10,1% 523 (5,1) Slovenija, osnovna raven mature 2015 26,2% 433 (3,3) -6 2008 30,3% 439 (3,8) Slovenija, povprečje 2015 34,4% 460 (3,4) 2 -18 2008 40,5% 457 (4,3) -20 ↓ 1995 75,4% 478 (9,3) Švedska 2015 14,1% 431 (4,0) 19 ↑ -71 ↓ 2008 12,8% 412 (5,6) -89 ↓ 1995 16,2% 502 (5,2) ZDA 2015 11,4% 485 (5,2) -12 1995 6,4% 497 (7,4) ↓ Rezultati so se poslabšali. ↑ Rezultati so se izboljšali. Skupna ugotovitev raziskave TIMSS Advanced med srednješolci v letu 2015 je, da je znanje matematike v zadnjih 20 letih padlo v večini držav. Edina država, ki je dosegla višje dosežke vsaj v zadnjem obdobju, je Švedska. Vendar tudi njihovi sedanji dosežki še vedno zaostajajo za rezultatom iz leta 1995. V letih 2008 in 2015 so bili najuspešnejši dijaki intenzivnega programa matematike iz Ruske federacije, ki pa jih je v populaciji manj kot 2 % in so torej zelo specializirana skupina. Sledijo jim slovenski dijaki višje ravni mature, ki so po povprečnem dosežku v letu 2015 enaki ruskim vrstnikom. V resnici je znanje slovenskih dijakov višje ravni mature boljše, saj imajo relativno visok indeks pokritja populacije, ki je mnogo večji od ruskega. Najvišje znanje matematike med vsemi primerjavami so izkazali francoski dijaki v letu 1995. Na žalost se je do leta 2015 njihov dosežek izrazito poslabšal. Francoski raziskovalci verjamejo, da je razlog za slabo znanje matematike tudi to, da sodelujoči dijaki v svoj program matematike niso izbrani kot posebej uspešni v matematiki, pač pa po svojih študijskih željah. Pokazalo se je, da so ti francoski dijaki po nameravanem vpisu na naravoslovne, tehnične in matematične programe precej podobni slovenskim dijakom višje ravni. 100 200 300 400 500 600 700 800 Percentili dosežka 5. 25. 75. 95. I 95-% interval zaupanja za povprečje (+/-2SE) Preglednica 2. Trendi 1995–2015 v dosežkih maturantov v izbranih državah. enaki ruskim rstnik m. V resnici j nanj slovenskih dijakov vǐsje ravni mature bolǰse, saj imajo relativno visok indeks pokritja populacije, ki je ve- liko večji od ruskega. Najvǐsje znanje matematike med vsemi primerjavami so izkazali francoski dijaki v letu 1995. Na žalost se je do leta 2015 njihov dosežek izrazito poslabšal. Francoski raziskovalci verjamejo, da je razlog za slabo znanje matematike tudi to, da sod lujoči dijaki v svoj pr gram ma- temati e niso izbrani kot posebej uspeš i v te atiki, pač pa po svojih študijskih željah. Pokazalo se je, da so ti francoski dijaki po nameravanem vpisu na naravoslovne, tehnǐske in matematične programe precej podobni slovenskim dijakom vǐsje ravni. Leta 1995 je Slovenija sodelovala v raziskavi z dijaki, ki so predstavljali kar 75 odstotkov populacije vseh enako starih mladostnikov v naši državi. V 148 Obzornik mat. fiz. 64 (2017) 4 i i “Japelj” — 2017/11/27 — 9:21 — page 149 — #14 i i i i i i Kaj nam o matematičnem znanju maturantov sporoča raziskava TIMSS Advanced? tej luči je splošni padec znanja bolj zaskrbljujoč. Po uvedbi poklicne mature leta 2003 je pri nas v zahtevneǰsem programu gimnazijske matematike še ve- dno več kot 30 odstotkov populacije, kar je precej več kot v večini drugih primerljivih držav. Vendar srednješolski program zahtevneǰse matematike pri nas ni pogoj za vpis v naravoslovne, matematične in tehnǐske univerzi- tetne študije, kakor je v večini drugih držav. Iz podatkov raziskave TIMSS je viden tudi upad vpisa na gimnazije pri nas, od več kot 40 odstotkov vpi- sanih v splošni gimnazijski program v letu 2008 na 33 odstotkov splošnih gimnazijcev v letu 2015. Razveseljivo je, da v primerjavah z drugimi državami zelo dobri slovenski dijaki vǐsje ravni mature posebej izstopajo v znanju algebre, ki vsaj v ZDA velja za najelitneǰse področje (preglednica 3). 14 Preglednica 3: Dosežki iz posameznih poglavij m tematike, TIMSS Advanced 2015 Države/sistemi Algebra Analiza Geometrija Francija 469 (2,9) 466 (3,2) 441 (3,7) Italija 414 (5,1) 433 (5,2) 413 (5,7) Ruska federacija 6ur+ 556 (9,0) 513 (8,0) 560 (8,4) Ruska federacija 495 (6,3) 459 (5,9) 500 (5,8) Slovenija, višja raven m. 558 (3,0) 532 (3,7) 532 (3,7) Slovenija, nižja raven m. 448 (3,5) 408 (4,5) 425 (3,9) Slovenija 474 (3,5) 437 (4,4) 456 (4,0) Švedska 422 (4,1) 438 (3,9) 430 (3,7) ZDA 478 (5,0) 504 (6,0) 455 (5,7) 5. Razlike v znanju matematike v Sloveniji Eno glavnih sporočil rezultatov mednarodnega merjenja znanja matematike so velike razlike med spoloma. V nobeni državi dekleta ne prekašajo fantov, v precej državah pa so bili fantje bolj uspešni od deklet. Razlike med srednješolci so še posebej zaskrbljujoče vpričo dejstva, da je na ravni osnovne šole precej drugače. V nekaterih državah (tudi v Sloveniji) razlik v dosežkih med spoloma sploh ni, ponekod so celo uspešnejša dekleta. V Sloveniji so razlike v dosežkih med spoloma v srednji šoli precejšnje. Analiza razlik med spoloma v Sloveniji skupaj s primerjavo dosežkov na maturi pa nam postavlja nekatera težka vprašanja o poučevanju matematike. V raziskavi TIMSS so fantje v povprečju dosegli kar za 27 točk višji rezultat od deklet (Preglednica 4). To je v nasprotju s šolskimi ocenami, ki se nagibajo v korist dekletom pri pouku in na maturi. Preglednica 4: Razlike v matematičnih dosežkih TIMSS Advanced 2015 med spoloma Država % fantov Povprečni matematični dosežek Dekleta (s.n.) Fantje (s.n.) Razlika (s.n.) Slovenija, višja raven mature 45 538 (3.4) 562 (5.5) 24* (3.3) Portugalska 49 481 (3.0) 483 (3.1) 2 (3.6) ZDA 51 470 (5.3) 500 (6.4) 30* (5.8) Slovenija 40 449 (3.5) 476 (4.9) 27* (4.7) Slovenija, osnovna raven mature 39 424 (4.0) 447 (4.7) 23* (5,2) *Razlika je statistično značilna. Rezultati mature v točkovnih ocenah so bili v letu 2015 za približno 0,5 točke (od 8 točk) višji pri dekletih. Natančen pogled pove, da so bila dekleta uspešnejša od fantov le v skupini osnovne ravni mature (Preglednica 5). V povprečju so dekleta v primerjavi s fanti pridobila več točk in s tem višjo oceno pri ustnem delu izpita. Preglednica 3. Dosežki iz posameznih poglavij matematike, TIMSS Advanced 2015. Razlike v znanju matematike v Sl veniji Eno glavnih sporočil rezultatov mednarodneg merjenja znanj matematike so velike razlike med spoloma. V nobeni državi dekleta ne prekašajo fantov, v precej državah pa so bili fantje bolj uspešni od deklet. Razlike med sre- dnješolci so še posebej zaskrbljujoče vpričo dejstva, da je na ravni osnovne šole precej drugače. V nekaterih državah (tudi v Sloveniji) razlik v dosežkih med spoloma sploh ni, ponekod so dekleta celo uspešneǰsa. V Sloveniji so razlike v dosežkih med spoloma v srednji šoli preceǰsnje. Analiza razlik ed spoloma v Sloveniji skupaj s primerjavo dosežkov na ma- turi pa nam postavlja nekatera težka vprašanja o poučevanju matematike. V raziskavi TIMSS so fantje v povprečju dosegli kar za 27 točk vǐsji rezultat od deklet (preglednica 4). To je v nasprotju s šolskimi ocenami, ki se nagibajo v korist dekletom pri pouku in na maturi. Rezultati mature v točkovnih oce ah so bili v letu 2015 za približno 0,5 točk (od 8 točk) vǐsji pri dekletih. Natančen pogled pove, da so bila dekleta uspešneǰsa od fantov le v skupini osnovne ravni mature (preglednica 5). V 136–157 149 i i “Japelj” — 2017/11/27 — 9:21 — page 150 — #15 i i i i i i Barbara Japelj Pavešić in Gašper Cankar 13 ZDA 478 (5.0) 504 (6.0) 455 (5.7) 5. Razlike v znanju matematike v Sloveniji Eno glavnih sporočil rezultatov mednarodnega merjenja znanja matematike so velike razlike med spoloma. V nobeni državi dekleta ne prekašajo fantov, v precej državah pa so bili fantje bolj uspešni od deklet. Razlike med srednješolci so še posebej zaskrbljujoče vpričo dejstva, da je na ravni osnovne šole precej drugače. V nekaterih državah (tudi v Sloveniji) razlik v dosežkih med spoloma sploh ni, ponekod so celo uspešnejša dekleta. V Sloveniji so razlike v dosežkih med spoloma v srednji šoli precejšnje. Analiza razlik med spoloma v Sloveniji skupaj s primerjavo dosežkov na maturi pa nam postavlja nekatera težka vprašanja o poučevanju matematike. V raziskavi TIMSS so fantje v povprečju dosegli kar za 27 točk višji rezultat od deklet (Preglednica 4). To je v nasprotju s šolskimi ocenami, ki se nagibajo v korist dekletom pri pouku in na maturi. Preglednica 4: Razlike v matematičnih dosežkih TIMSS Advanced 2015 med spoloma Država % fantov Povprečni matematični dosežek Dekleta (s.n.) Fantje (s.n.) Razlika (s.n.) Slovenija, višja raven mature 45 538 (3,4) 562 (5,5) 24* (3,3) Portugalska 49 481 (3,0) 483 (3,1) 2 (3,6) ZDA 51 470 (5,3) 500 (6,4) 30* (5,8) Slovenija 40 449 (3,5) 476 (4,9) 27* (4,7) Slovenija, osnovna raven mature 39 424 (4,0) 447 (4,7) 23* (5,2) *Razlika je statistično značilna. Rezultati mature v točkovnih ocenah so bili v letu 2015 za približno 0,5 točke (od 8 točk) višji pri dekletih. Natančen pogled pove, da so bila dekleta uspešnejša od fantov le v skupini osnovne ravni mature (Preglednica 5). V povprečju so dekleta v primerjavi s fanti pridobila več točk in s tem višjo oceno pri ustnem delu izpita. Preglednica 5: Maturitetna ocena iz matematike po spolu in ravni mature *Razlika je statistično značilna. V sodelovanju med nacionalnim centrom raziskave TIMSS in Državnim izpitnim centrom smo na ustrezen način izračunali zanimive korelacije med rezultati obeh merjenj znanja. Na podoben način kot v sodelovanju ob TIMSS 2008 [1], smo izračunali Fantje Dekleta Razlika Povprečna ocena SD Povprečna ocena SD Fantje - dekleta Osnovna raven mature 3.28 0.98 3.84 0.68 - 0.56* Višja raven mature 6.02 1.60 6.11 1.39 - 0.09 Skupaj 4.08 1.72 4.64 1.47 -0.56* Preglednic 4. Razli e matematičnih dosežkih TIMSS Advanced 2015 med spoloma. 15 Preglednica 5: Maturitetna ocena iz matematike po spolu in ravni mature *Razlika je statistično značilna. V sodelovanju med nacionalnim centrom raziskave TIMSS in Državnim izpitnim centrom smo na ustrezen način izračunali zanimive korelacije med rezultati obeh merjenj znanja. Na podoben način kot v sodelovanju ob TIMSS 2008 [1], smo izračunali korelacije med dosežki TIMSS Advanced, rezultati mature in zaključnimi šolskimi ocenami. Če primerjamo vsebine obeh preizkusov znanja (Izhodišča TIMSS Advanced [5] in Katalog za maturo), ugotovimo, da bi med rezultati mature in preizkusa TIMSS upravičeno pričakovali zelo korelirane rezultate. Oba sta merila znanje s področja istih vsebin in enako določenih kognitivnih ravni znanja. V povprečju rezultati tudi so primerno korelirani, korelacija med dosežki TIMSS Advanced in pisnim delom mature je visoka, med TIMSS Advanced in ustnim delom mature pa nizka. Pri primerjavi rezultatov med spoloma pa opazimo zanimivo anomalijo (Preglednica 6). Preglednica 6: Korelacije med dosežki TIMSS Advanced, maturitetnimi in šolskimi ocenami iz matematike po spolu Korelirani dosežki Dekleta Razlika* Fantje Matura, osnovna raven, pisni del + TIMSS 0,56 = 0,57 Matura, višja raven, pisni del + TIMSS 0,59 > 0,56 Matura, osnovna raven, ustni del + TIMSS 0,27 > 0,24 Matura, višja raven, ustni del + TIMSS 0,23 < 0,26 Končne ocene na maturi, osnovna raven (1-5) + TIMSS 0,56 = 0,56 Končna ocena na maturi, višja ravenl (1-8) + TIMSS 0,58 > 0,55 Šolske ocene (1-5) + TIMSS 0,61 < 0,65 Šolske ocene (1-5) + končne ocene na maturi 0,66 < 0,76 *Vse korelacije so statistično značilne. Pričakovano je najvišja korelacija med ocenami na maturi in šolskimi ocenami. Nepričakovano so dosežki TIMSS Advanced najbolj povezani s šolskimi ocenami, edinim merjenjem, ki ni zunanje. Zelo nizka je korelacija med dosežki TIMSS Advanced in ocenami ustnega dela maturitetnega izpita, najverjetneje tudi zato, ker se ustnih dosežk dijakov med seboj zelo malo razlikujejo. Ker korelacije ne pokažejo sistematičnih razlik med obema rezultatoma na lestvici možnih točk, opazujemo še absolutne dosežke v obeh preizkusih. Grafi ordinalne dominantnosti na sliki 2 primerjajo skupini fantov in deklet glede na njihov dosežek in nazorno pokažejo večji uspeh fantov v pisnem TIMSS Advanced preizkusu in pisni maturi ter večji uspeh deklet v ustnem delu mature. Če bi bili skupini izenačeni, bi črta Fantje Dekleta Razlika Povprečna ocena SD Povprečna ocena SD Fantje - dekleta Osnovna raven mature 3,28 0,98 3,84 0,68 - 0,56* Višja raven mature 6,02 1,60 6,11 1,39 - 0,09 Skupaj 4,08 1,72 4,64 1,47 -0,56* Preglednica 5. Maturitetna ocena iz matematike po spolu in ravni mature. povprečju so dekleta v primerjavi s fanti pridobila več točk in s tem vǐsjo oceno pri ustnem delu izpita. V sodelovanju med acio alnim c ntrom raziskave TIMSS in Državnim izpitnim centrom smo na ustrezen način izračunali zanimive korelacije med rezultati obeh merjenj znanja. Na podoben način kot v sodelovanju ob TIMSS 2008 [2] smo izračunali korelacije med dosežki TIMSS Advanced, rezultati mature in zaključnimi šolskimi ocenami. Če primerjamo vsebine obeh preizkusov znanja (Izhodǐsča TIMSS Ad- vanced [6] in Katalog za maturo), ugotovimo, da bi med rezultati mature in preizkusa TIMSS upravičeno pričakovali zelo korelirane rezultate. Oba sta merila znanje s področja istih vsebin in enako določenih kognitivnih ravni znanja. V povprečju rezultati tudi so primerno korelirani, korelacija med dosežki TIMSS Advanced in pisnim delom mature je visoka, med TIMSS Advanced in ustnim delom mature pa nizka. Pri primerjavi rezultatov med spoloma pa opazimo zanimivo anomalijo (preglednica 6). Pričakovano je najvǐsja korelacija med ocenami na maturi in šolskimi ocenami. Nepričakovano so dosežki TIMSS Advanced najbolj povezani s šolskimi ocenami, edinim merjenjem, ki ni zunanje. Zelo nizka je korela- cija med dosežki TIMSS Advanced in ocenami ustnega dela maturitetnega izpita, najverjetneje tudi zato, ker se ustni dosežki dijakov med seboj zelo malo razlikujejo. 150 Obzornik mat. fiz. 64 (2017) 4 i i “Japelj” — 2017/11/27 — 9:21 — page 151 — #16 i i i i i i Kaj nam o matematičnem znanju maturantov sporoča raziskava TIMSS Advanced? 15 Preglednica 5: Maturitetna ocena iz matematike po spolu in ravni mature *Razlika je statistično značilna. V sodelovanju med nacionalnim centrom raziskave TIMSS in Državnim izpitnim centrom smo na ustrezen način izračunali zanimive korelacije med rezultati obeh merjenj znanja. Na podoben način kot v sodelovanju ob TIMSS 2008 [1], smo izračunali korelacije med dosežki TIMSS Advanced, rezultati mature in zaključnimi šolskimi ocenami. Če primerjamo vsebine obeh preizkusov znanja (Izhodišča TIMSS Advanced [5] in Katalog za maturo), ugotovimo, da bi med rezultati mature in preizkusa TIMSS upravičeno pričakovali zelo korelirane rezultate. Oba sta merila znanje s področja istih vsebin in enako določenih kognitivnih ravni znanja. V povprečju rezultati tudi so primerno korelirani, korelacija med dosežki TIMSS Advanced in pisnim delom mature je visoka, med TIMSS Advanced in ustnim delom mature pa nizka. Pri primerjavi rezultatov med spoloma pa opazimo zanimivo anomalijo (Preglednica 6). Preglednica 6: Korelacije med dosežki TIMSS Advanced, maturitetnimi in šolskimi ocenami iz matematike po spolu Korelirani dosežki Dekleta Razlika* Fantje Matura, osnovna raven, pisni del + TIMSS 0,56 = 0,57 Matura, višja raven, pisni del + TIMSS 0,59 > 0,56 Matura, osnovna raven, ustni del + TIMSS 0,27 > 0,24 Matura, višja raven, ustni del + TIMSS 0,23 < 0,26 Končne ocene na maturi, osnovna raven (1-5) + TIMSS 0,56 = 0,56 Končna ocena na maturi, višja ravenl (1-8) + TIMSS 0,58 > 0,55 Šolske ocene (1-5) + TIMSS 0,61 < 0,65 Šolske ocene (1-5) + končne ocene na maturi 0,66 < 0,76 *Vse korelacije so statistično značilne. Pričakovano je najvišja korelacija med ocenami na maturi in šolskimi ocenami. Nepričakovano so dosežki TIMSS Advanced najbolj povezani s šolskimi ocenami, edinim merjenjem, ki ni zunanje. Zelo nizka je korelacija med dosežki TIMSS Advanced in ocenami ustnega dela maturitetnega izpita, najverjetneje tudi zato, ker se ustnih dosežki dijakov med seboj zelo malo razlikujejo. Ker korelacije ne pokažejo sistematičnih razlik med obema rezultatoma na lestvici možnih točk, opazujemo še absolutne dosežke v obeh preizkusih. Grafi ordinalne dominantnosti na sliki 2 primerjajo skupini fantov in deklet glede na njihov dosežek in nazorno pokažejo večji uspeh fantov v pisnem TIMSS Advanced preizkusu in pisni maturi ter večji uspeh deklet v ustnem delu mature. Če bi bili skupini izenačeni, bi črta Fantje Dekleta Razlika Povprečna ocena SD Povprečna ocena SD Fantje - dekleta Osnovna raven mature 3,28 0,98 3,84 0,68 - 0,56* Višja raven mature 6,02 1,60 6,11 1,39 - 0,09 Skupaj 4,08 1,72 4,64 1,47 -0,56* Preglednica 6. Korelacije med dosežki TIMSS Advanced, maturitetnimi in šolskimi ocenami iz matematike p spolu. Ker korelacije ne pokažejo sistematičnih razlik med obema rezultatoma na lestvici možnih točk, opazujemo še absolutne dosežke v obeh preizkusih. Grafi ordinaln dominantnosti na sliki 2 primerjajo skupini fantov in deklet glede na njihov dosežek in nazorno pokažejo večji uspeh fantov v pisnem TIMSS Advanced preizkusu in pisni maturi ter večji uspeh deklet v ustnem delu mature. Če b bili skupini iz načeni, bi črta potekala po diagonali, tako pa kaže dominantnost ene oziroma druge skupine [1]. Prikazana pro- blematičnost ocenjevanja na ustnem izpitu na maturi je sicer že prepoznan problem tudi pri drugih maturitetnih predmetih [9]. 0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 % sp Dekleta OME(x)=0.5 Fa nt je O M E( y) =0 .5 Matura iz matematike, ustni del, osnovna raven 0% 10% 20% 30% 40% 50% 60% 70% 80% 90 % 100% 0% 10% 20% 30 % 40% 50% 60% 70 % 80 % 90% 100% TIMSS Advanced, matematični dosežki Dekleta OME(x) = 0.4 Fa nt je O M E( y) =0 .6 0% 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80% 90% 100 % 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Dekleta OME(X)= 0.4 Fa nt je O M E( y) =0 .5 Matura iz matematike, pisni del, višja raven 0% 10% 20% 30% 40% 50% 60% 70% 80% 90 % 100% Slika 2. Delež deklet v odvisnosti od deleža fantov, ki so dosegli posamezno število točk na preizkusu TIMSS, pisnem in ustnem maturitetnem preizkusu. TIMSS Advanced dosežki naraščajo z ocenami fantov in deklet obeh ravni mature (slika 3). Prikazani dosežki na sliki 3 opozarjajo na dvoje: 1. V raziskavi TIMSS so fantje ob enaki oceni na maturi ali v šoli kot dekleta pokazali vǐsje znanje. 2. Dijaki, ki so na raziskavi TIMSS pokazali enako znanje, so bili v šoli in na maturi ocenjeni z vǐsjo oceno, če so bili dijaki osnovne ravni mature, in z nižjo oceno, če so bili dijaki vǐsje ravni mature. 136–157 151 i i “Japelj” — 2017/11/27 — 9:21 — page 152 — #17 i i i i i i Barbara Japelj Pavešić in Gašper Cankar 17 Slika 2: Delež deklet v odvisnosti od deleža fantov, ki so dosegli posamezno število točk na preizkusu TIMSS, pisnem in ustnem maturitetnem preizkusu. TIMSS Advanced dosežki naraščajo z ocenami fantov in deklet obeh ravni mature. (Slika 3). Slika 3: Dosežki TIMSS Advanced glede na maturitetno in šolsko oceno 356 394 428 460 474 430 496 515 556 397 415 458 484 508 468 517 536 581 350 400 450 500 550 600 650 1 2 3 4 5 Dosežki TIMSS Advanced in šolske ocene iz matematike Dekleta, osnovna raven Dekleta, višja raven Fantje, osnovna raven Fantje, višja raven 0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 % sp Dekleta OME(x)=0.5 Fa nt je O M E( y) =0 .5 Matura iz matematike, ustni del, osnovna raven 0% 10% 20% 30% 40% 50% 60% 70% 80% 90 % 100% 0% 10% 20% 30 % 40% 50% 60% 70 % 80 % 90% 100% TIMSS Advanced, matematični dosežki Dekleta OME(x) = 0.4 Fa nt je O M E( y) =0 .6 0% 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80% 90% 100 % 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Dekleta OME(X)= 0.4 Fa nt je O M E( y) =0 .5 Matura iz matematike, pisni del, višja raven 0% 10% 20% 30% 40% 50% 60% 70% 80% 90 % 100% 392 425 458 491475 482 503 526 543 561 595 411 443 482 517496 509 543 541 564 577 617 350 400 450 500 550 600 650 1 2 3 4 5 6 7 8 Dosežki TIMSS Advanced in matura iz matematike Slika 3. Dosežki TIMS Ad glede na maturitetno in š lsko ceno. Med enako ocenjenimi dijaki v šoli in na maturi so fantje vedno dosegli vǐsji TIMSS dosežek kot dekleta. Fantje vǐsje ravni mature z maturitetno oceno 5 so v TIMSS pokazali skoraj enako znanje kot dekleta z oceno 6. Skoraj enak dosežek TIMSS imajo fantje z maturitetno oceno 6 kot dekleta z oceno 7. Podobno velja za razlike med osnovno in vǐsjo ravnjo mature. Pri istem dosežku TIMSS so dijaki vǐsje ravni mature iz matematike na maturi in v šoli dobili nižjo oceno kot dijaki osnovne ravni. Enako velja za dijakinje. Da dijaki z enakim povprečnim znanjem matematike na osnovni ravni mature dobijo vǐsjo oceno kot na vǐsji ravni, ali dekleta vǐsjo oceno kot fantje, prav gotovo nista zaželena rezultata mature. Za vǐsje ocene deklet na ustnem delu mature je lahko več razlogov. Vǐsje ocene deklet na ustni maturi bi lažje razumeli, če bi lahko z dodatno nacionalno raziskavo ugo- tovili, kateri izmed treh vrst razlogov prevladujejo: ali so dekleta na ustni maturi relativno bolje ocenjena za enako znanje kot fantje morda tudi zato, ker imajo učitelji o njih vnaprej ustvarjeno bolj pozitivno mnenje; ali so dekleta na ustni maturi relativno bolje ocenjena, ker so se bolj temeljito pripravila za ustni izpit iz mature, čeprav matematiko slabše razumejo; ali so dekleta na ustni maturi relativno bolje ocenjena zato, ker svoje znanje bolje demonstrirajo ustno, pisni preizkusi pa tega ne zaznajo? Dejstvo, da pri enakem znanju dobǐs vǐsjo oceno na osnovni ravni maturitetnega izpita, zelo verjetno vpliva tudi na manǰse zanimanje za maturo na vǐsji ravni, kar je še eden od rezultatov TIMSS raziskave. Od leta 2008 do 2015 se je delež dijakov vǐsje ravni v populaciji zmanǰsal z 10 % na 8 % (preglednica 2), zato je nadaljnje raziskovanje problema ocenjevanja na maturi nujno. 152 Obzornik mat. fiz. 64 (2017) 4 i i “Japelj” — 2017/11/27 — 9:21 — page 153 — #18 i i i i i i Kaj nam o matematičnem znanju maturantov sporoča raziskava TIMSS Advanced? Katerih matematičnih sposobnosti matura ne opazi? Iz primerjav sklepamo, da matura ne prepoznava določenega znanja, ki ga je zaznal TIMSS Advanced med fanti. Primerjava dosežkov med vsebinskimi področji pokaže za več kot 20 točk (pri mednarodnem povprečju 500) vǐsje znanje fantov od deklet v skupini dijakov vǐsje ravni mature, in sicer iz vseh treh vsebin, algebre, analize in geometrije. Med dijaki osnovne ravni imajo fantje vǐsje dosežke pri analizi in geometriji, ne pa pri algebri. Zanimive so razlike med spoloma glede na kognitivne ravni. V preglednici 7 so povprečni dosežki pri nalogah treh kognitivnih ravni glede na spol in maturitetno oceno. Jasno se vidi, da so razlike med spoloma najvǐsje na področju sklepanja. Razlike v dosežkih TIMSS Advanced iz znanja dejstev in uporabe znanja niso statistično značilne med dijaki vǐsje ravni mature (z ocenami 6, 7 in 8). V dosežkih iz sklepanja pa so vsi fantje prehiteli enako ocenjena dekleta. Fantje z nižjimi maturitetnimi ocenami (5 ali manj) so v TIMSS Advanced torej dosegli vǐsji rezultat od deklet na vseh treh kognitivnih ravneh. 19 Preglednica 7: Razlike med dosežki TIMSS Advanced na kognitivnih področjih po maturitetni oceni in spolu *Razlika je statistično značilna. Rezultati nakazujejo, da matura na višji ravni izmeri in še primerljivo nagradi podobno matematično znanje dejstev in uporabo znanja med dekleti in fanti kot TIMSS Advanced. V enakem obsegu kot v preizkusu TIMSS Advanced pa matura najverjetneje ne prepozna znanja najvišje kognitivne ravni, sklepanja. Matura iz matematike na osnovni ravni pa najverjetneje ne prepozna dela matematičnega znanja vseh treh kognitivnih ravni, ki so ga pokazali fantje pri reševanju sicer dokaj zahtevnih nalog TIMSS Advanced. 7. Kakšne so razlike med šolami? V letu 2015 je bil vzorec sodelujočih dijakov v raziskavi TIMSS zasnovan tako, da bi lahko pravilno izmerili razlike med dijaki, ki se odločajo za osnovno in višjo raven matematike na maturi. Glede na načrtovane maturitetne predmete dijakov so bile srednje šole s programom splošne gimnazije razdeljene v 4 skupine: 1. Veliko višje ravni mature iz matematike: šole z maturanti (tudi iz fizike), kjer je bil delež kandidatov za višjo raven mature iz matematike višji od 25 % 2. Malo višje ravni mature iz matematike: šole z maturanti (tudi iz fizike), kjer je bil delež kandidatov za višjo raven mature iz matematike nižji od 25 % 3. Zelo malo ali brez višje ravni mature iz matematike: šole z maturanti (tudi iz fizike), kjer ni nihče ali so le posamezniki izbrali matematiko na višji ravni 4. Brez fizike: šole brez maturantov iz fizike Deleže dijakov in dijakinj glede na celo populacijo splošnih maturantov v posameznih skupinah prikazuje Slika 4. Med vsemi maturanti je petina deklet v šolah z veliko višje ravni matematike, vendar pa je petina fantov v šolah, kjer se za višjo raven mature iz matematike odloča malo vpisanih ali pa le posamezniki. V šolah brez fizike je dvakrat toliko deklet kot fantov. Maturi- tetna ocena Povprečni dosežek - sklepanje Raz- lika Povprečni dosežek – uporaba znanja Raz- lika Povprečni dosežek – znanje dejstev Raz- lika Fantje (s.n.) Dek- leta (s.n.) Fantje (s.n.) Dek- leta (s.n.) Fantje (s.n.) Dek- leta (s.n.) 8 617 (9,2) 585 (8,6) 33* 623 (7,9) 602 (11,0) 21 621 (8,6) 604 (7,2) 17 7 570 (7,6) 544 (7,4) 26* 581 (8,8) 567 (5,5) 14 579 (9,9) 573 (6,5) 6 6 555 (13,1) 521 (6,3) 34* 569 (11,9) 551 (8,9) 19 568 (9,7) 551 (5,5) 17 5 514 (8,0) 481 (5,9) 33* 533 (7,0) 509 (4,9) 23 531 (6,9) 510 (4,8) 21* 4 475 (5,6) 439 (5,0) 37* 493 (5,8) 469 (3,9) 24* 491 (8,2) 468 (3,2) 23* 3 433 (6,2) 407 (6,1) 26* 452 (5,2) 435 (4,3) 16* 450 (7,4) 431 (4,6) 19* 2 402 (8,3) 373 (8,6) 29* 420 (6,9) 402 (6,6) 18* 420 (7,8) 402 (5,1) 18* Preglednica 7. Razlike med dosežki TIMSS Advanced na kognitivnih področjih po maturitetni oceni in spolu. Rezultati nakazuj jo, da matur n vǐsji ravni izmeri in še primerljivo nagradi podobno matematično znanje dejstev in uporabo znanja med dekleti in fanti kot TIMSS Advanced. V enakem obsegu kot v preizkusu TIMSS Advanced pa matura najverjetneje ne prepozna znanja najvǐsje kognitivne ravni, sklepanja. Matura iz matematike na osnovni ravni pa najverjetneje ne prepozna dela matematičnega znanja vseh treh kognitivnih ravni, ki so ga pokazali fantj pri reševanju sice dokaj zaht vnih nalog TIMSS Advanced. Kakšn so razlike ed šolami? V letu 2015 je bil vzorec sodelujočih dijakov v raziskavi TIMSS zasnovan tako, da bi lahko pravilno izmerili razlike med dijaki, ki se odločajo za 136–157 153 i i “Japelj” — 2017/11/27 — 9:21 — page 154 — #19 i i i i i i Barbara Japelj Pavešić in Gašper Cankar osnovno in vǐsjo raven matematike na maturi. Glede na načrtovane maturi- tetne predmete dijakov so bile srednje šole s programom splošne gimnazije razdeljene v štiri skupine: 1. Veliko vǐsje ravni mature iz matematike: šole z maturanti (tudi iz fizike), kjer je bil delež kandidatov za vǐsjo raven mature iz matematike vǐsji od 25 %. 2. Malo vǐsje ravni mature iz matematike: šole z maturanti (tudi iz fizike), kjer je bil delež kandidatov za vǐsjo raven mature iz matematike nižji od 25 %. 3. Zelo malo ali brez vǐsje ravni mature iz matematike: šole z maturanti (tudi iz fizike), kjer ni nihče ali so le posamezniki izbrali matematiko na vǐsji ravni. 4. Brez fizike: šole brez maturantov iz fizike. Deleže dijakov in dijakinj glede na celo populacijo splošnih maturantov v posameznih skupinah prikazuje slika 4. Med vsemi maturanti je petina deklet v šolah z veliko vǐsje ravni matematike, vendar pa je petina fantov v šolah, kjer se za vǐsjo raven mature iz matematike odloča malo vpisanih ali pa le posamezniki. V šolah brez fizike je dvakrat toliko deklet kot fantov. 20 4. Brez fizike: šole brez maturantov iz fizike Deleže dijakov in dij kinj glede na celo populacijo splošnih maturantov v posameznih skupinah prikazuje Slika 4. Med vsemi maturanti je petina deklet v šolah z veliko višje ravni matematike, vendar pa je petina fantov v šolah, kjer se za višjo raven mature iz matematike odloča malo vpisanih ali pa le posamezniki. V šolah brez fizike je dvakrat toliko deklet kot fantov. Slika 4: Porazdelitev deklet in fantov po skupinah šol (vzorec) Rezultati primerjave v znanju pokažejo velike razlike v dosežkih TIMSS med skupinami (Preglednica 8). Dosežki padajo od šol z več prijavljenimi na višjo raven mature do šol z manj prijavljenimi na višjo raven mature, med dijaki na osnovni ali dijaki na višji ravni mature. Tudi na šolah z zelo malo prijavljenimi na višjo raven mature so dijaki, ki pa so imeli namen maturo opraviti na višji ravni, na preizkusu TIMSS pokazali mnogo višje znanje od dijakov na osnovni ravni. Če upoštevamo, da na teh šolah večinoma prevladuje pouk za osnovne standarde znanja na maturi in ti dijaki nimajo vedno enako intenzivne priprave za višjo raven mature kot na šolah z velikimi razredi kandidatov za višjo raven, je to dober rezultat. 8% 14% 19% 20% 4% 10% 11% 15% brez fizike brez ali zelo malo višje ravni matematike malo višje ravni matematike veliko višje ravni matematike dekleta fantje Slika 4. Porazdelitev deklet in fantov po skupinah šol (vzorec). Rezultati primerjave v znanju pokažejo velike razlike v dosežkih TIMSS med skupinami (preglednica 8). Dosežki padajo od šol z več prijavljenimi na vǐsjo raven mature do šol z ma j prijavljenimi na vǐsjo raven mature, med dijaki na osnovni ali dijaki na vǐsji ravni mature. Tudi na šolah zelo malo prijavljenimi n vǐsjo ra en mature so dijaki, ki pa so imeli namen maturo opraviti na vǐsji ravni, na preizkusu TIMSS pokazali veliko vǐsje znanje od dijakov na osnovni ravni. Če upoštevamo, da na teh šolah večinoma prevladuje pouk za osnovne standarde znanja na maturi in ti dijaki nimajo vedno enako intenzivne priprave za vǐsjo raven mature kot na šolah z velikimi razredi kandidatov za vǐsjo raven, je to dober rezultat. Analize so pokazale, da so v Sloveniji dosežki dijakov pri matematiki močno povezani s štirimi dejavniki: izbiro ravni mature iz matematike, izbiro fizike za maturitetni predmet, spolom in naklonjenostjo do učenja matematike. Z ustreznimi statističnimi modeli je mogoče s temi štirimi 154 Obzornik mat. fiz. 64 (2017) 4 i i “Japelj” — 2017/11/27 — 9:21 — page 155 — #20 i i i i i i Kaj nam o matematičnem znanju maturantov sporoča raziskava TIMSS Advanced? 21 Preglednica 8: Skupni uspeh in uspehi na posameznih kognitivnih področjih med skupinami š l in dij ki, ki so izbrali osnovn ali višjo ven m ture Skupina % dija- kov raven mature % dijakov v skupini Mate- matični dosežek s. n. znanje dejstev s. n. uporaba znanja s. n. Skle- panje s. n. brez fizike 12 osnovna 96 379.60 9.19 384.04 7.89 386.16 9.00 358.07 9.67 višja 4 511.16 24.30 512.82 31.56 522.98 30.44 494.30 34.91 zelo malo višje ravni m. 25 osnovna 89 431.94 10.29 437.67 10.70 435.05 10.87 412.22 11.79 višja 11 518.43 10.83 529.71 15.70 527.65 13.49 501.86 14.53 malo višje ravni m. 29 osnovna 79 440.64 4.00 448.60 3.90 447.18 3.44 422.74 4.23 višja 21 543.34 6.77 550.06 8.07 550.28 7.87 531.14 7.68 veliko višje ravni m. 34 osnovna 58 456.90 3.53 464.47 4.01 460.33 5.53 440.22 4.36 višja 42 557.57 3.71 561.67 4.77 563.11 4.86 543.82 5.48 Analize so pokazale, da so v Sloveniji dosežki dijakov pri matematiki močno povezani s štirimi dejavniki: izbiro ravni mature iz matematike, izbiro fizike za maturitetni predmet, spolom in naklonjenostjo k učenju matematike. Z ustreznimi statističnimi modeli je mogoče s temi štirimi dejavniki pojasniti velik del variabilnosti dosežkov posameznikov in skupin. Podobno je bilo že z raziskavo TIMSS leta 2008, le da se je vpliv posameznih dejavnikov spremenil. Iz leta 2008 do leta 2015 opazimo povečanje vpliva 'spola' in 'ravni mature', vpliv 'naklonjenosti do učenja matematike' pa se je zmanjšal. Večji pomen spola in ravni mature ter manjši pomen naklonjenosti do matematike v letu 2015 kažejo, da je za dijakovo visoko znanje matematike najpomembnejša izbira višje ravni mature, medtem ko večje veselje do učenja matematike ni tako pomembno. Več matematike se naučijo dijaki, ki izberejo višjo raven mature v primerjavi z dijaki na osnovni ravni, ki imajo do matematike sicer iskreno veselje. Slovenija med drugimi državami (tako v raziskavi TIMSS kot PISA) sicer izstopa s skoraj najnižjim veseljem dijakov do naravoslovnih predmetov in matematike. Kakor 300 350 400 450 500 550 600 osnovna višja osnovna višja osnovna višja osnovna višja veliko višje ravni matematike malo višje ravni matematike zelo malo višje ravni matematike brez fizike matematični dosežek znanje dejstev uporaba znanja sklepanje 21 i ij - r ven ature dijakov v skupini Mate- matični dosežek s. n. znanje dejstev s. n. uporaba znanja s. n. Skle- panje s. n. i s vna 96 379,60 9,19 384,04 7,89 386,16 9,00 358,07 9,67 išja 4 51 ,16 24,30 512,82 31,56 52 ,98 30,44 494,30 34,91 l i . s vna 89 431,94 10,29 437,67 10,70 435,05 10,87 412, 2 11,79 išja 11 518,43 10,83 529,71 15,70 527,65 13,49 501,86 14,53 i j . s vna 79 440,64 4,0 4 8,60 3,90 4 7,18 3,44 422,74 4,23 išja 21 543,34 6,7 5 0,06 8,07 5 0,28 7,87 531, 4 7,68 li i j r i . s vna 58 456,90 3,53 464,47 4,01 460,3 5, 3 440,22 4,36 išja 42 557,57 3,71 561,67 4,7 563,1 4,86 543,82 5,48 Analize so pokazale, da so v Sloveniji dosežki dijakov pri matematiki močno povezani s štirimi dejavniki: izbiro ravni mature iz matematike, izbiro fizike za maturitetni predmet, spolom in naklonjenostjo k učenju matematike. Z ustreznimi statističnimi mo eli je mog če s temi štirimi dejavniki pojasniti velik d l variabilnosti dosežkov posameznik v in skupin. Podobno je bilo že z r ziskavo TIMSS leta 2008, le da se je vpliv posameznih dejavnikov spremenil. Iz leta 2008 do leta 2015 opazimo povečanje vpliva 'spola' in 'ravni mature', vpliv 'naklonjenosti do učenja matematike' pa se je zmanjšal. Večji pomen spola in ravni mature ter manjši pomen naklonjenosti do matematike v letu 2015 kažejo, da je za dijakovo visoko znanje matematike najpomembnejša izbira višje ravni mature, medtem ko večje veselje do učenja matematike ni tako pomembno. Več matematike se naučijo dijaki, ki izberejo višjo raven mature v primerjavi z dijaki na osnovni ravni, ki imajo do matematike sicer iskreno veselje. Slovenija med drugimi državami (tako v raziskavi TIMSS kot PISA) sicer izstopa s skoraj najnižjim veseljem dijakov do naravoslovnih predmetov in matematike. Kakor kažejo ezultati primerjav v osnovni šoli, je Slovenija z nasprotjem med nenaklonjenostjo učenju matematik in hkrati z relativno visokimi dosežki slovenskih dijakov podobna azijskim državam, za katere je tradicionalno značilna najnižja stopnja veselja z učenjem in obenem najvišji dosežki. Zaključek 300 350 400 450 500 550 600 osnovna višja osnovna višja osnovna višja osnovna višja veliko višje ravni matematike malo višje ravni matematike zelo malo višje ravni matematike brez fizike matematični dosežek znanje dejstev uporaba znanja sklepanje Pregl dnica 8. Skupni uspeh in uspehi na pos meznih kognitivnih p dročjih med sku- pina i šol in dijaki, ki so izbrali osnovno li vǐsjo raven mature. dejavniki pojasniti velik del variabilnosti dosežkov posameznikov in skupin. Podobno je bilo že z raziskavo TIMSS leta 2008, le da se je vpliv posameznih dejavnikov spremenil. Od leta 2008 do leta 2015 opazimo povečanje vpliva »spola« in »ravni mature«, vpliv »naklonjenosti do učenja matematike« pa s je z a ǰ al. Večji pomen spola in ravni mature ter manǰsi pomen naklonjenosti do matematike v letu 2015 kažejo, da je za dijakovo visoko znanje atematike najpomembneǰsa izbira vǐsje ravni mature, edtem ko večje veselje do uče- nja matematike ni t ko pomembno. V č matematike se aučijo dijaki, ki izberejo vǐsjo raven mature v primerjavi z dijaki na osnovni r vni, ki imajo do matematike sicer iskreno eselje. Slovenija med drugimi državami (tako v raziskavi TIMSS kot PISA) sicer izstop s skoraj najnižjim v seljem di- jakov do naravoslovnih predmetov in matematike. Kakor kažejo rezultati primerjav v osnovni šoli, je Slovenija z nasprotjem med nenaklonjenostjo 136–157 155 i i “Japelj” — 2017/11/27 — 9:21 — page 156 — #21 i i i i i i Barbara Japelj Pavešić in Gašper Cankar učenju matematike in hkrati z relativno visokimi dosežki slovenskih dija- kov podobna azijskim državam, za katere je tradicionalno značilna najnižja stopnja veselja z učenjem in obenem najvǐsji dosežki. Zaključek Raziskava TIMSS je obsežna in kompleksna in takšna so tudi njena sporo- čila. Skupaj je bilo izmerjenih in zabeleženih več sto podatkov za vsakega dijaka in s tem posredno tudi za vsakega učitelja in šolo. V analizi razlik znanja med dijaki smo se osredotočili na povezanost uspešnosti s spolom, na značilnosti nalog preizkusa, na ocenjevanje v šoli in na naklonjenost dijakov do matematike. V primerjavah se je pokazalo, da učiteljeve ocene matematičnega znanja pri pouku izkazujejo relativno dobro povezanost z neodvisnimi mednaro- dnimi ocenami znanja, medtem ko so tako ocene pri pouku kot maturitetne ocene (glede na iste dosežke TIMSS) bolǰse pri dekletih kot pri fantih. V okviru mature pa je ocenjevanje ustnega dela z vidika razlik med spoloma najbolj problematično. Pri nas običajno težavnost naloge narašča s kognitivno zahtevnostjo. V raziskavi TIMSS pa so naloge sestavljene tako, da je težavnost neodvisna od kognitivnih ravni. Nekatere naloge preverjajo sklepanje in niso težke, druge preverjajo poznavanje dejstev in so tako težke, da jih reši le majhen del dijakov. S TIMSS Advanced 2015 smo zato izmerili znanje sklepanja tudi med srednje in manj uspešnimi dijaki. Fantje so sposobnost sklepanja izkazali v večjem obsegu kot dekleta. Ker pri maturi ne merimo rezultatov po vsebinah in kognitivnih ravneh, tudi ne vemo, ali so dekleta pri maturi morda pokazala več znanja od fantov iz vsebin, ki jih TIMSS ne meri, na primer iz verjetnosti. Med letoma 2008 in 2015 je stopil v veljavo prenovljeni učni načrt za gimnazije, ki vzpodbuja učitelje k avtonomni določitvi zaporedja obravnave snovi. Obenem so bolj jasno zapisani cilji in vsebine, ki so izbirni in se jih dijaki učijo po presoji učiteljev. Ob zadnji raziskavi TIMSS 2015 so učitelji poročali, da si prizadevajo za poučevanje, ki bi pri dijakih doseglo večje znanje vǐsjih kognitivnih ravni, česar v preǰsnjih študijah nismo zaznali. Kljub relativno dobrim dosežkom ne smemo spregledati vse večje razlike med znanjem dijakov obeh ravni mature. Ob opazovanju trendov je treba upoštevati še, da so maturanti, ki so sodelovali v raziskavi leta 2015, opravili devetletno šolo, medtem ko so bili dijaki, ki so sodelovali v TIMSS 2008, zadnja generacija stare osemletne osnovne šole. Iz povezav med dosežki in odgovori dijakov in učiteljev na spremljevalne vprašalnike je mogoče pridobiti še veliko drugih zanimivih informacij. Na primer to, da se večina slovenskih dijakov z dobrim uspehom iz matematike 156 Obzornik mat. fiz. 64 (2017) 4 i i “Japelj” — 2017/11/27 — 9:21 — page 157 — #22 i i i i i i Kaj nam o matematičnem znanju maturantov sporoča raziskava TIMSS Advanced? (običajno na vǐsjem nivoju mature) odloča za študij in zaposlitve s področja matematike, naravoslovja in tehnike. Podatki raziskave so javno dostopni in veseli bomo, če bodo deležni uporabe. Še posebej si želimo uporabe, ki bi preko zanimivih nadaljnjih ugotovitev pripomogla k bolǰsemu pouku in celoviteǰsem znanju matema- tike. Ogromne mednarodne podatkovne baze so dober vir podatkov pri učenju in razvijanju statistične metodologije. Od junija 2017 so vsi podatki zbrani na javnem spletǐsču ILSA Gateway (www.ilsa-gateway.org/). Tre- nuten trend je razvoj knjižnic za paket R, s katerimi bi lahko najmoderneǰse statistične analize opravili tudi za izobraževalne podatke z vsemi njihovimi značilnostmi in omejitvami. Podatki so za nas najbrž zanimivi tudi zato, ker podobnih ne bo več. Slovenija je namreč po letu 2016 prekinila sodelovanje v TIMSS. LITERATURA [1] D. Bamber, The area above the ordinal dominance graph and the area below the receiver operating characteristic graph, Journal of Mathematical Psychology 12(4) (1975), 387–415. [2] G. Cankar in B. Japelj Pavešič, Dosežki TIMSS in ocene matematike na maturi, Sodobna pedagogika 2/2010 (2010), 118–140. [3] B. Japelj in C. Velkovrh (ur.), Testne naloge Druge mednarodne raziskave znanja ma- tematike (SIMS – Second International Mathematics Study), Društvo matematikov, fizikov in astronomov, Ljubljana, 1992. [4] B. Japelj Pavešić in K. Svetlik, Znanje preduniverzitetne matematike in fizike v Sloveniji in po svetu, Izsledki raziskave TIMSS 2015, zvezek I, Pedagoški in- štitut, Ljubljana, 2016; dostopno na timsspei.splet.arnes.si/files/2017/06/ 13-TA15-preduniverzitetna.pdf (geslo timssslo15), ogled 14. 11. 2017. [5] B. Japelj Pavešić, K. Svetlik, A. Kozina in M. Rožman, Znanje matematike in fizike med maturanti v Sloveniji in po svetu, Pedagoški inštitut, Ljubljana, 2009; dostopno na www.pei.si/Sifranti/InternationalProject.aspx?id=14, ogled 14. 11. 2017. [6] I. V. S. Mullis in M. O. Martin (ur.), TIMSS Advanced 2015 Assessment Frameworks, TIMSS & PIRLS International Study Center, Boston College, Boston, 2014; dosto- pno na timssandpirls.bc.edu/timss2015-advanced/frameworks.html, ogled 14. 11. 2017. [7] I. V. S. Mullis, M. O. Martin, P. Foy in M. Hooper, TIMSS Advanced 2015 Interna- tional Results in Advanced Mathematics and Physics, TIMSS & PIRLS International Study Center, Boston College, Boston, 2016; dostopno na timssandpirls.bc.edu/ timss2015/international-results/advanced/, ogled 14. 11. 2017. [8] TIMSS & PIRLS International Study Center, TIMSS Advanced 2015 Achievement Scaling Methodology, v M. O. Martin, I. V. S. Mullis in M. Hooper (ur.), Methods and Procedures in TIMSS Advanced 2015, TIMSS & PIRLS International Study Center, Boston College, Boston, 2016, od 12.1. do 12.12.; dostopno na timssandpirls.bc. edu/publications/timss/2015-a-methods/chapter-12.html, ogled 14. 11. 2017. [9] D. Zupanc, M. Bren in G. Cankar, Interno ocenjevanje pri slovenski maturi, Šol- sko polje 23(3/4) (2012), 113–137; dostopno na www.pei.si/Sifranti/StaticPage. aspx?id=128, ogled 14. 11. 2017. 136–157 157