246 SODOBNA PEDAGOGIKA 2008/Posebna izdaja	Apolonija Klančar
Dr. Gašper Cankar
Nacionalno preverjanje znanja kot
•	Vi	• 1 1«V	•	v	•
pripomoček za izboljšanje poučevanja
Povzetek: Zadnji dve leti je nacionalno preverjanje znanja (NPZ) s spremembo zakona dobilo pomen dodatne informacije o znanju učencem in njihovim staršem, pa tudi učiteljem, šolam in šolskemu sistemu na splošno. Skladno z dinamičnim modelom učinkovitosti v izobraževanju (Creemers in Kyriakides 2008) vsi ti različni uporabniki s svojimi vidiki na koncu neposredno in posredno vplivajo na poučevanje, zato lahko pogledamo različne primere, kako lahko uporabimo dosežke nacionalnega preverjanja znanja kot pripomoček za izboljšanje poučevanja.
Ključne besede: nacionalno preverjanje znanja, povratna informacija, dinamični model učinkovitosti. UDK: 371.26
Pregledni znanstveni prispevek
Dr. Gašper Cankar, Državni izpitni center; e-naslov: gasper.cankar@guest.arnes.si SODOBNA PEDAGOGIKA 2008/Posebna izdaja, 130-141
107
Uvod
Šolski sistemi po svetu so eno najplodnejših področij za nenehne reforme, spremembe in vpeljevanje novosti. Ker vpeljevanje sprememb ne pomeni obenem tudi izboljšave, se je v bolj organiziranih sistemih pojavila potreba po skrbnem spremljanju dosežkov, saj le tako lahko govorimo o povečevanju učinkovitosti šolskega sistema. Dosežki so na tem mestu mišljeni najširše in segajo od kognitivnih do psihomotoričnih, vedenjskih in celo sposobnosti učenja, čeprav pogosto spremljamo le kognitivne. V zadnjem času se v literaturi s področja šolske učinkovitosti vedno bolj uveljavlja dinamični model učinkovitosti v izobraževanju, ki ga je v prvih potezah opisal Creemers (1994). Gre za integrati-vni model, ki združuje ugotovitve mnogoterih študij učinkovitosti šolskih sistemov in skuša celostno zajeti vse pomembne dejavnike učinkovitosti. Poglavitna struktura dinamičnega modela zajema različne nivoje (Creemers in Kyriakides 2008):
-	dejavnike širšega okolja (context level),
-	dejavnike na nivoju šole,
-	dejavnike na nivoju razreda (učitelja) in
-	dejavnike na nivoju učenca.
Sam model je dokaj izdelan in pomeni obsežno teoretično podlago za raziskovanje na področju učinkovitosti v izobraževanju, saj združuje različna spoznanja o dinamiki šolske učinkovitosti in jih postavlja v kontekst. Tako na primer daje poseben poudarek učenju in poučevanju ter izpostavlja učitelja in učenca kot najpomembnejša udeleženca v modelu, predvideva, da je vpliv dejavnikov na učenčeve dosežke večnivojski, zaradi česar predvideva omenjeno večnivojsko strukturo in upošteva, da je povezanost posameznih dejavnikov z dosežki lahko nelinearna, kar je morebitni vzrok mnogim nasprotujočim si ugotovitvam raziskav, ki so izpeljane na podatkih z omejenimi vrednostmi določenega dejavnika (npr. samo v eni državi) in zato ne zmorejo prikazati celostnega vpliva določenega dejavnika na dosežke.
246 SODOBNA PEDAGOGIKA 2008/Posebna izdaja
Apolonija Klančar
Izhajali bomo iz osnovne strukture dinamičnega modela, z omenjenimi nivoji širšega okolja (države), šole, razreda (učitelja) in učenca. Na vsakem od omenjenih nivojev bomo prikazali uporabo dosežkov nacionalnega preverjanja znanja in tako naslikali širok spekter načinov, na katere lahko dosežki nacionalnega preverjanja znanja rabijo kot pripomoček za izboljšanje poučevanja. Nacionalno preverjanje znanja preverja sicer le kognitivne dosežke in še to pri izbranih predmetih, vendar je ta način preverjanja objektivno in zanesljivo merilo, ki ga lahko z dodatnimi raziskavami in vključitvijo različnih dodatnih podatkov postavimo v kontekst in smiselno interpretiramo. Vsekakor bi bil izziv meriti širši nabor dosežkov v celostni strukturi dinamičnega modela.
S spremembo Zakona o osnovni šoli (ZOŠ, 2005) je nacionalno preverjanje znanja leta 2006 dobilo nov pomen. Zakon namreč eksplicitno navaja:
»Dosežki nacionalnega preverjanja znanja so dodatna informacija o znanju učencev.« (64. člen ZOŠ)
Nacionalno preverjanje znanja kot zunanje preverjanje znanja, ki je enako za celotno populacijo, s standardizacijo in še posebno z vzorčenjem pri tretjem predmetu zagotavlja objektivne in primerljive informacije o znanju učencev, ki jih vsekakor ne gre zanemariti. Ker pomeni nacionalno preverjanje znanja dodatno informacijo, naj bi bil njegov vpliv na šolsko prakso posreden. Dosežki niso povezani z morebitnimi nagradami ali sankcijami, kar je sicer pozitivno, vendar včasih celo sproža odzive nemotiviranosti pri učencih (»Če ni za oceno, se ne bom učil.«) ali vprašanja o smiselnosti samega preverjanja (»Če NPZ ne odloča o vpisu na srednjo šolo, ga ne potrebujemo!«) pri drugih udeležencih v šolskem sistemu (Bečaj 2007). Pa vendar ravno preverjanje znanja, ki ne odloča o nadaljnjem šolanju posameznega učenca in s tem ne predstavlja nepotrebnih pritiskov na učence, starše in učitelje, ki ne spodbuja različnih načinov za zviševanje rezultata brez ustreznega povečanja znanja, omogoča vpogled v resnično znanje generacije učencev pa tudi v značilne napake, zmote in nejasnosti, ki nastanejo med poučevanjem. Zaradi neobremenjenosti z ocenjevanjem, ki ga pri nacionalnem preverjanju znanja ni, lahko preizkus vsebuje tudi naloge, katerih rezultate strokovnjaki za posamezni predmet uporabijo za interpretacijo prakse poučevanja pri njihovem predmetu. Kakšno znanje značilni učenec devetega razreda slovenske osnovne šole odnese kot popotnico s sabo, kakšne so luknje v njegovem znanju in ali je mogoče z majhnimi, a utemeljenimi spremembami pri poučevanju nekatere od teh lukenj zakrpati pri naslednjih generacijah, so vprašanja, ki vsekakor sodijo v samo jedro nove funkcije nacionalnega preverjanja znanja.
V nadaljevanju bodo predstavljene izbrane analize dosežkov nacionalnega preverjanja znanja, ki so bile pripravljene v letu 2007 na Državnem izpitnem centru in omogočajo različne interpretacije na nivoju države, šole, učitelja in učenca. To je le majhen del vseh mogočih analiz in primerjav, ki jih lahko izluščimo iz baze podatkov, ki jih ponuja nacionalno preverjanje znanja in predstavljajo le začetek uporabe nacionalnega preverjanja znanja kot povratne informacije. Z odzivi posameznih uporabnikov teh informacij in z večanjem baze podatkov z vsakoletno izvedbo nacionalnega preverjanja znanja bodo na-
Nacionalno preverjanje znanja kot pripomoček za izboljšanje poučevanja
133
stale možnosti za še bolj kakovostne povratne informacije, ki bodo na primer vključevale tudi večletne podatke.
Primeri povratne informacije na podlagi dosežkov NPZ - širši nivo (države)
Daleč najpomembnejša povratna informacija nacionalnega preverjanja znanja je prav gotovo vsebinska. Bistvo vsebinske interpretacije je zajeto v opisih mejnikov dosežkov, ki jih predmetne komisije za posamezni predmet pripravijo na podlagi dosežkov nacionalnega preverjanja znanja in jih za nacionalno preverjanje znanja v devetem razredu še pred koncem tekočega šolskega leta pošljejo na vse šole. Informacija je sistemska, saj odslikuje znanje celotne populacije učencev, obenem pa jo lahko uporabimo na posameznih nivojih (šole, učitelja, učenca), saj omogoča primerjavo.
Mejniki dosežkov so pripravljeni tako, da se iz populacije učencev, ki so opravljali nacionalno preverjanje znanja, vzame štiri skupine učencev in podrobneje analizira njihove dosežke (slika 1). Skupine so izbrane glede na njihove dosežke tako, da iz porazdelitve urejenih dosežkov od najnižjega do najvišjega izberemo v posamezno skupino:
-	učence od 20. do 30. kvantila (»spodnja četrtina« dosežkov);
-	učence od 45. do 55. kvantila (»sredina« dosežkov);
-	učence od 70. do 80. kvantila (»zgornja četrtina« dosežkov) in
-	učence od 90. kvantila navzgor (»najboljših 10 %« dosežkov).
-2
1 0 1
Porazdelitev dosežkov
Slika 1: Prikaz izbire podskupin, katerih dosežki se uporabijo pri opisih mejnikov
V naslednjem koraku se poišče naloge, ki jih učenci v posamezni skupini uspešno rešujejo (naloge, ki imajo za posamezno skupino težavnost nad 0,65). Tako dobimo nabore nalog, ki spadajo v posamezno območje. Predmetne komisije
246 SODOBNA PEDAGOGIKA 2008/Posebna izdaja
Apolonija Klančar
za posamezni predmet, ki so preizkuse za nacionalno preverjane znanja sestavljale, pripravijo tudi vsebinsko interpretacijo ciljev, ki jih preverjajo naloge v posameznem območju, in tako določijo vsebinske opise mejnikov dosežkov, s katerimi lahko interpretiramo, kaj značilni učenec v posameznem območju zna in česa ne.
Primer opisa dosežkov pri preizkusu iz matematike pri nacionalnem preverjanju znanja 2007 za učence v srednjem območju (sredina):
Srednje območje
Srednje območje označuje skupino učencev, katerih skupni dosežki določajo mejo med polovicama dosežkov. To so učenci z dosežki med 45. in 55. kvantilom.
Učenci računajo v množici realnih števil, rešujejo besedilne naloge o številih, smiselno izbirajo in uporabljajo ustrezne strategije za reševanje problemov, vendar so izračuni pogosto nepravilni in zapisi nenatančni. Obvladajo minimalne standarde o algebrskih izrazih.
Na ravni temeljnih standardov rešujejo geometrijske naloge o odnosih med geometrijskimi elementi v ravnini in prostoru. Rešitev praviloma ne utemeljijo. Pri pretvarjanju merskih enot so uspešni pri pretvarjanju enot za maso, ne pa pri pretvarjanju enot za dolžino in prostornino. Učenci znajo:
-	zapisati vsa cela števila na danem odprtem intervalu (2.3);
-	izbrati ustrezno strategijo pri reševanju besedilne naloge iz vsakdanjega življenja, ki vključuje računske operacije s celimi in decimalnimi števili (brez pravilno izvedenih postopkov v nadaljevanju) (3.1);
-	izbrati ustrezno strategijo pri reševanju besedilne naloge iz vsakdanjega življenja z uporabo znanja o odstotkih (brez pravilno izvedenih postopkov v nadaljevanju) (4.1);
-	pretvoriti merske enote za maso (4.2);
-	v dani končni množici števil prepoznati naravna števila in jih razporediti v drevesni prikaz (6.1);
-	reševati besedilno nalogo o odnosih med celimi števili s sklepanjem ali z enačbo (7.1; 7.3);
-	v algebrskem izrazu uporabiti znanje o seštevanju in odštevanju enočlenikov (8.1);
-	s skice prebrati in uporabiti podatke za stranice lika, izražene s spremenljivkami, in uporabiti pojem obsega (9.1; 9.5);
-	prezrcaliti enakokraki trikotnik čez osnovnico in označiti četrto oglišče nastalega štirikotnika (10.1; 10.2);
-	uporabiti lastnost trikotnika o vsoti notranjih kotov in izračunati ostri kot v pravokotnem trikotniku (12.1; 12.2);
-	analizirati kompleksno geometrijsko nalogo, prepoznati pojem prostornine in uporabiti obrazca za izračun prostornin kvadra in valja in izbrati ustrezne podatke (14.1; 14.3).
(Opisi dosežkov učencev 9. razreda pri nacionalnem preverjanju znanja, 2007, str. 12)
Nacionalno preverjanje znanja kot pripomoček za izboljšanje poučevanja
135
Z izrazito konkretnim in natančnim opisom skušajo komisije spodbuditi vsebinsko primerjavo dosežkov pred normativnim primerjanjem dosežkov (npr. med dosežkom učenca in povprečnim dosežkom v državi).
Poleg vsebinske interpretacije so na državnem nivoju pomembne tudi primerjave dosežkov po različnih načinih grupiranja. Doslej so prevladovale predvsem primerjave dosežkov po spolu, statističnih regijah in šolah. Primere grafičnih prikazov omenjenih primerjav lahko vidimo v slikah 2-4, sicer pa so podrobneje interpretirane v letnem poročilu (Rigler Šilc in Štraus 2007).
Vsebinski opisi dosežkov vplivajo na izboljšanje poučevanja predvsem na nivoju učiteljev, kjer lahko skupaj z drugimi informacijami prispevajo k odkrivanju vzorcev neznanja, povezanih z določenim načinom poučevanja, kot bo prikazano v nadaljevanju članka. Primerjave dosežkov po spolu, regijah in šolah lahko sprožajo vrsto strokovnih in političnih vprašanj, ki lahko bolj ali manj neposredno vplivajo na samo poučevanje.
Primerjava dosežkov po spolu - matematika 3. obdobje 2007
300	200	100	0	100	200	300
Vir RIC 2007
Št. učencev Št. učenk
Slika 2: Primerjava porazdelitev dosežkov učenk in učencev pri matematiki pri nacionalnem preverjanju znanja 2007 v devetem razredu
246 SODOBNA PEDAGOGIKA 2008/Posebna izdaja
Apolonija Klančar
Dosežki NPZ pri predmetu matematika po regijah - 3. obdobje 2007
Slika 3: Porazdelitev dosežkov pri matematiki pri nacionalnem preverjanju znanja 2007 v devetem razredu po statističnih regijah. Pike označujejo aritmetične sredine dosežkov po regijah, število pa se nanaša na število učencev v posamezni regiji.
Nacionalno preverjanje znanja kot pripomoček za izboljšanje poučevanja	137
Slika 4: Porazdelitev dosežkov pri matematiki pri nacionalnem preverjanju znanja 2007 v devetem razredu po šolah. Navpični intervali predstavljajo 95-odstotne intervale zaupanja za povprečni dosežek šole.
138 SODOBNA PEDAGOGIKA 2008/Posebna izdaja
Gašper Cankar
Primeri povratne informacije na podlagi dosežkov nacionalnega preverjanja znanja - nivo šole, učitelja in učenca
Iz povsem logističnih in organizacijskih razlogov se večina informacij z Državnim izpitnim centrom, kjer se podatki nacionalnega preverjanja znanja zbirajo, hranijo in obdelujejo, izmenja na nivoju šole in pogosto je lahko ista analiza zanimiva za posameznega učitelja in za celotno šolo. V nadaljevanju predstavljene povratne informacije šole za nacionalno preverjanje znanja za deveti razred prejmejo še pred koncem tekočega šolskega leta. V idealnem primeru bi lahko tako učenci, ki šolanje končujejo, dobili dodatno povratno informacijo o svojem znanju.
Prvi del povratne informacije, ki ga prejme šola, so osnovne statistike dosežkov (število učencev, aritmetična sredina in standardni odklon dosežkov) za konkretno šolo in za vse učence, ki so opravljali nacionalno preverjanje znanja. Izpis je bolj namenjen nadzoru podatkov, čeprav omogoča tudi normativno primerjavo šole z državnim povprečjem. Poleg tega izpisa šola dobi tudi dve grafični sliki dosežkov za vsak predmet pri nacionalnem preverjanju znanja. Na prvi je izrisana porazdelitev dosežkov vseh učencev v državi (slika 5), na drugi pa porazdelitev dosežkov učencev konkretne šole (slika 6). Na obeh slikah sta označena državno povprečje in povprečje šole.
Porazdelitev točk pri predmetu matematika (NPZ 3. ob d. 2007. N = 19310)
f g.
1
-1—
20
—r~
40
Vir RIC 2007
Sola
60
državno povprečje
odstotne točke (Ar. sredina = 58,7 N = 86)
povprečje 30 šole
100
Nacionalno preverjanje znanja kot pripomoček za izboljšanje poučevanja
139
Porazdelitev točk pri predmetu matematika za šolo	(NPZ 3. obd. 2007. N = 59)
0	20	40	60	80	100
Vir. RIC 2007
odstotne točke
Šola	(Ar. sredina = 67,4 N = 59). Vse šole (Ar. sredina = 51,5 N = 19311)
Sliki 5 (prejšnja stran) in 6: Porazdelitev dosežkov pri matematiki pri nacionalnem preverjanju znanja 2007 za vse učence, ki so opravljali to preverjanje, in za učence konkretne šole (identiteta šole je zakrita). S piko oz. črtico pod histogramom sta označena državno povprečje in povprečje šole. S temnejšo barvo so označena območja učencev, uporabljena pri sidranju vsebinskih mejnikov.
Če posamezni predmet na konkretni šoli uči en sam učitelj, so te slike zanimive tudi za posameznega učitelja. Tudi na nivoju posameznega učenca je mogoče učencu na obeh slikah prikazati njegov dosežek in ga interpretirati bodisi normativno (kje je učenčev dosežek glede na dosežke drugih učencev v državi ali na njegovi šoli) bodisi vsebinsko prek opisov mejnikov dosežkov. Če je npr. učenčev dosežek v »rumenem« območju, potem iz opisov mejnikov dosežkov vemo, kaj značilno učenci v »rumenem« območju znajo in katere naloge rešujejo uspešno, kar je lahko izhodišče za primerjavo z nalogami, ki jih je uspešno rešil konkretni učenec.
Prikazani primeri slik omogočajo le interpretacijo skupnega dosežka pri preizkusu; to ima omejeno vsebinsko vrednost, saj vemo, da so lahko učenci z enakim skupnim dosežkom različno uspešni pri posameznih nalogah. Sole oz. učitelji tako dobijo tudi analizo dosežkov po nalogah (slika 7), ki vsebuje osnovne statistične podatke za vsako nalogo v preizkusu na nivoju konkretne šole in za vse učence, ki so preizkus opravljali.
246 SODOBNA PEDAGOGIKA 2008/Posebna izdaja
Apolonija Klančar
| NPZ ob koncu tretjega obdobja - redni rok 2007 : prikaz dosežkov pri predmetu	27.8.2007
Matematika XX OSNOVNA ŠOLA
		Število	Št. vseh	Povprečje	Std. odklon	št. učencev	Povprečje	Std. odklon
Z a p. št. Naloga		možnih točk	učenčev	točk vseh	točk vseh	na šoli	točk na šoli	točk ne šoli
1	01.1	1.0	19.310	0,827	0.38	36	0,917	0.28
2	01.2	1.0	19.310	0.833	0.37	36	0,809	0.32
3	01.3	1,0	19.310	0,822	0.48	36	0,750	0.44
4	02.1	1,0	19.310	0,563	0 50	36	0,500	0.51
5	02.2	1,0	19.310	0,804	0 40	36	0,806	0.40
s	02.3	1.0	19.310	0,642	0 46	36	0,722	0.45
7	02.4	1,0	19.310	0,396	0 49	36	0,361	0.49
S	03.1	1.0	19.310	0.710	0.45	36	0,867	0.48
Slika 7: Primer dosežkov pri nacionalnem preverjanju znanja 2007 za matematiko po nalogah za konkretno šolo (identiteta šole je zakrita) in za vse učence, ki so preizkus opravljali
Šole, učitelji in širša javnost imajo možnost na spletni strani Državnega izpitnega centra www.ric.si dobiti vsebino odpisanih preizkusov in navodila za njihovo vrednotenje. Tako lahko sami pripravijo vsebinsko analizo nalog, ki so jih mogoče na njihovi šoli znali bolje kot značilni učenec v Sloveniji ali pa slabše. Mogoče se bolje in slabše reševane naloge združujejo v posamezna vsebinska področja ali pa so si podobne po obliki in načinu reševanja. Mogoče je bil učitelj del leta odsoten in so učenci nekatere vsebine poslušali pri drugem učitelju in se to kaže pri znanju posameznih vsebin. Celostno interpretacijo skupaj z mogočimi vzroki in razlogi lahko pripravi le konkretni učitelj sam, zato so lahko prikazane informacije zelo uporabne v npr. procesu samoevalvacije (MacBea-th in McGlynn 2006), vsekakor pa je tovrstne ugotovitve mogoče uporabiti za izboljšanje poučevanja pri naslednjih generacijah učencev.
Sklep
Samo sprememba od znotraj je lahko resnična sprememba (Fullan 2001). Izboljšanje poučevanja je tako vedno najbolj odvisno od tistih, ki so s poučevanjem in učenjem najtesneje povezani - od učiteljev in učencev - in šele nato od drugih udeležencev v procesu. Prikazani primeri povratne informacije o dosežkih nacionalnega preverjanja znanja in primeri mogočih interpretacij so lahko spodbuda za uporabo omenjenih podatkov, ne morejo pa sami na sebi zagotoviti izboljšanja. In čeprav jih lahko uporabljamo na različne načine na različnih nivojih, ki jih predvideva dinamični model učinkovitosti v izobraževanju, je za samo izboljšanje ključna vsebinska in v kontekst postavljena uporaba na nivoju učitelja.
Nacionalno preverjanje znanja kot pripomoček za izboljšanje poučevanja
141
Literatura
Bečaj, J. (2007). Cilji nacionalnega preverjanja znanja [predstavitev]. Srečanja predmetnih učiteljic in učiteljev osnovnih sol, september-oktober 2007. Ljubljana: Kolosej.
Creemers, B. P. M. (1994). The effective classroom. London: Cassell.
Creemers, P. M. in Kyriakides, L. (2008). The dynamics of educational effectiveness. Routledge: London.
Fullan, M. (2001). The new meaning of educational change. New York: Teachers College Press.
Hopkins, D. (2007). Vsaka sola odlična sola Sprevod izvirnika Every school a great school]. Državni izpitni center: Ljubljana.
MacBeath, J. in McGlynn, A. (2006). Samoevalvacija - Kaj je tu koristnega za sole [prevod izvirnika Self-evaluation: What's in it for schools?]. Ljubljana: Državni izpitni center.
Opisi dosežkov učencev 9. razreda na Nacionalnem preverjanju znanja (2007), Državni izpitni center, Ljubljana.
Rigler Silc, K. in Straus, M. (ur.) (2007). Letno poročilo o izvedbi »Nacionalnega preverjanja znanja« v solskem letu 2006/2007. Državni izpitni center: Ljubljana.
Zakon o spremembah in dopolnitvah zakona o osnovni soli. Uradni list RS 53/05, str. 5211.
Dr Gasper CANKAR
NATIONAL EXAMINATION OF KNOWLEDGE AS A TEACHING IMPROVEMENT AID
Abstract: By virtue of the amended law in the last two years the National Examination of Knowledge has provided an additional piece of information about knowledge for pupils and their parents, as well as for teachers, schools and the school system in general. In line with the dynamic model of efficiency in education (Creemers and Kyriakides, 2008), in the end all these different users directly and indirectly influence teaching with their views. We can therefore have a look at the different ways in which we can use the achievements of the National Examination of Knowledge as an aid for improving teaching.
Key words: National Examination of Knowledge, feedback, dynamic model of efficiency