[geografija v šoli] 2-3·2013 125 Aktualno * Bojan Hozjan je pomočnik ravnatelja v Dvojezični osnovni šoli I. Lendava. hozjan@guest.arnes.si ** Andrej Krumpak je profesor zgodovine in geografije v Osnovni šoli Zalog. Andrej.Krupmpak@gmail.com *** Danijel Lilek je profesor geografije in sociologije, pedagoški svetovalec na ZRSŠ. Danijel.Lilek@zrss.si **** Saša Masterl sasa.masterl@ric.si ***** Tinkara Mihačič tinkara.mihacic@gmail.com ****** Jože Račič joze.racic@guest.arnes.si ******* Dr. Tatjana Resnik Planinc je docentka na Oddelku za geografijo Filozofske fakultete v Ljubljani. tatjana.resnik-planinc@guest.arnes.si COBISS: 1.04 na Cionalno Preverjanje znanja iz geograFije 2013 Bojan Hozjan * , Andrej Krumpak ** , Danijel Lilek *** , Saša Masterl **** , Tinkara Mihačič ***** , Jože Račič ****** , Tatjana Resnik Planinc ******* Povzetek V prispevku je celostno predstavljena problematika nacionalnega prever- janja znanja iz geografije. Predstavitvi izhodišč nacionalnega preverjanja znanja ter sestavi in nalogam predmetne komisije za geografijo sledi analiza dosežkov nacionalnega preverjanja znanja iz geografije 2013 po postavkah v specifikacijski preglednici, analiza kontrolnih preizkusov, analiza anketnega vprašalnika o e-vrednotenju za učitelje ocenjevalce pri nacionalnem preverjanju znanja – geografija 2013 ter primerjava nacion- alnih preverjanj znanj iz geografije v letih 2008, 2011 in 2013. Analize nadgrajuje primer analize nacionalnega preverjanja znanja iz geografije 2013 ter razmislek o nacionalnem preverjanju znanja iz geografije v prihodnje. Ključne besede: nacionalno preverjanje znanja, geografija, e-vrednoten- je, preizkus znanja. NATIONAL ASSESSMENT OF KNOWLEDGE IN GEOGRAPHY 2013 Abstract This paper presents national assessment of knowledge in geography. Platform presentation of national assessment of knowledge and subject testing committee of geography is followed by: an analysis of achieve- ments of national assessment of knowledge in geography in 2013 in accordance with the specification table; an analysis of control tests; an analysis of a questionnaire on e-evaluation for teachers assessors in na- tional assessment of knowledge in geography in 2013 and a comparison of national assessment of knowledge in geography in 2008, 2011 and 2013. The analyses are upgraded by an example of the analysis of the national assessment of knowledge in geography in 2013 and a reflection on the national assessment of knowledge in geography in the future. Key words: national assessment of knowledge, geography, e-evaluation, test paper. izhodišča nacionalnega preverjanja znanja Izhodišča nacionalnega preverjanja znanja je postavila in zapisala Stro- kovna posvetovalna skupina za nacionalno preverjanje znanja v letih priprave programa devetletne osnovne šole. V dokumente je zapisala, da je temeljni cilj preverjanja znanja izboljšanje znanja in kakovosti učenja in [geografija v šoli] 2-3·2013 126 Aktualno poučevanja. Kljub nekaterim zakonodajnim spremembam je ostal temelj- ni cilj preverjanja znanja do danes nespremenjen. V šolskem letu 2005/2006 je Zakon v osnovni šoli spremenil namen zu- nanjega preverjanja. Nacionalno preverjanje znanja (v nadaljevanju NPZ) je dobilo formativno funkcijo. Dosežki nimajo vpliva na posameznika, saj ne odločajo več o zaključku osnovne šole. Državna komisija za vodenje nacionalnega preverjanja znanja je v Izhodiščih nacionalnega preverjanja znanja v osnovni šoli (Izhodišča…, 2005) zapisala, da so s spremembo pravnih podlag izpolnjeni pogoji, ko dosežki učencev lahko služijo kot do- datna informacija o njihovem znanju in so podlaga za ugotavljanje stanja na različnih nivojih (na ravni sistema, šole in posameznika) in področjih (npr. evalvacija učnih načrtov, učnega gradiva, pogojev dela šol …). Da bi lahko uporabili dosežke učencev za najrazličnejše evalvacije, je Državna komisija zapisala osnovna načela preverjanja, ki narekujejo, da: – so namen in pogoji preverjanja znanja vselej jasno izraženi, – mora biti preverjanje vselej v korist učencev, – z NPZ preverjamo standarde in učne cilje, zapisane v učnih načrtih, – mora biti preverjanje znanja z NPZ veljavno, zanesljivo, objektivno in občutljivo, – mora biti preverjanje znanja z NPZ nepristransko do vseh učencev, – mora NPZ učencem omogočati, da pokažejo različne vrste in ravni znanja, – je treba učitelje čim bolj vključiti v proces NPZ, – mora NPZ dati uporabne informacije, – je dovoljeno dosežke NPZ uporabiti samo za namene, za katere jih je možno veljavno uporabiti, – je potrebna nenehna evalvacija NPZ (Izhodišča …, 2005). Za predmetne komisije in sestavljavce nalog pa je Državna komisija zapi- sala napotke za pripravo preizkusov znanja. Pri tem je določila: – enoten čas pisanja v 6. in 9. razredu (60 minut), – razmerja med taksonomskimi stopnjami po poenostavljeni Bloomovi taksonomiji (v razmerju 30 % nalog mora preverjati znanja miselnih procesov na prvi stopnji, 35 % na drugi in 35 % na tretji taksonomski stopnji), – obseg preizkusov (s preizkusi preverjamo znanje učnih ciljev in stan- dardov znanja celotnih učnih načrtov), – število tipov nalog, ki se lahko pojavijo v preizkusih znanja (Izhodišča …, 2005). Državna komisija je zahtevala tudi primerljivo sestavo preizkusov sorod- nih predmetov. Predmetne komisije so dobile nalogo, da izmerijo znanje celotne populacije. Preizkusi morajo biti sestavljeni tako, da je poprečni dosežek učencev okoli 50 %. Zato morajo preizkusi znanja vsebovati naloge, ki jih rešijo vsi učenci (lahke naloge), in naloge, ki jih reši samo nekaj učencev v populaciji (težke naloge). Naloge morajo biti izbrane tako, da učenci lahko izkažejo raznovrstnost znanja. Nacionalno preverjanje znanja s formativno funkcijo dokončno umesti v program devetletne osnovne šole Bela knjiga (2011) v kontekstu decen- tralizacije šolskega sistema, avtonomije šole in samoevalvacije. Zadnja sprememba zakonodaje je bila v šolskem letu 2012/2013, ko je bil spre- [geografija v šoli] 2-3·2013 127 Aktualno jet novi Pravilnik o nacionalnem preverjanju znanja v osnovni šoli. Pravil- nik prinaša spremembe v izvedbi preverjanja. Znanje se obvezno preverja v 6. in v 9. razredu, vendar le v enem roku. Tretji predmet, iz katerega učenci v 9. razredu opravljajo NPZ na posamezni šoli, je znan že v začet- ku šolskega leta. Preizkusi znanja se tako v 6. kot 9. razredu vrednotijo elektronsko. Dosežki učencev se ne vpišejo v spričevalo. Namen preverjanja znanja pa ostaja nespremenjen. Nacionalno prever- janje znanja ohranja formativno funkcijo. V ospredju ni dosežek posa- meznika, pač pa dosežki izbrane populacije (državne, šolske, razredne). Namenjeno je torej pridobivanju dodatnih informacij o znanju učencev in uporabi le-teh za analizo kakovosti dela, načrtovanju, iskanju izboljšav in ugotavljanju učinkovitosti. Predmetno komisijo za geografijo imenuje minister za obdobje štirih let. Sestavlja jo šest članov: predsednik iz vrst visokošolskih učiteljev s pod- ročja geografije, svetovalec za geografijo z Zavoda RS za šolstvo in štirje učitelji praktiki. Ker vsebujejo učni načrti za geografijo tudi narodnostne programe, sta dva člana komisije učitelj iz osnovne šole z italijanskim učnim jezikom in učitelj iz dvojezične osnovne šole v Prekmurju. Seje predmetne komisije za geografijo, ki se sestaja običajno enkrat tedensko, sklicuje predsednik, ki je odgovoren za delo komisije, za stro- kovnost pripravljenega gradiva, za pravočasno oddajo gradiva za NPZ in za varovanje tajnosti. V šolskem letu, ko se geografija preverja na NPZ ob koncu 3. vzgojno-izobraževalnega obdobja, komisija izmed svojih članov predlaga glavnega ocenjevalca, ki je praviloma predmetni učitelj v šoli. Člani predmetne komisije za geografijo (v nadaljevanju PK) opravljajo naslednje naloge: – pripravljajo gradivo (naloge z navodili za vrednotenje in specifikacijski- mi preglednicami ) za izvedbo NPZ, – pripravljajo naloge z navodili za vrednotenje za banko nalog, gradivo za spletne strani Državnega izpitnega centra (v nadaljevanju RIC) in gradivo za strokovna poročila, – pripravijo poročilo za tekoče šolsko leto o delu PK in poročilo o dosež- kih učencev na NPZ, – predlagajo spremembe in dopolnitve publikacije za učence (Informaci- ja za učence in starše), – pripravijo strukturo preizkusa NPZ za tekoče šolsko leto, – pripravijo načrt dela PK za tekoče šolsko leto (število načrtovanih sej, izobraževanje članov, izobraževanje pomočnikov glavnega ocenjeval- ca, oddaja gradiva za NPZ ...), – pripravljajo gradivo za izobraževanje učiteljev o NPZ, – sodelujejo pri izboru in pripravijo ter izvedejo izobraževanje pomočni- kov glavnega ocenjevalca, moderirajo (prilagajajo in umerjajo) navodi- la za vrednotenje in opravijo standardizacijo, – sodelujejo pri izvedbi elektronskega vrednotenja in v sodelovanju z glavnim ocenjevalcem zagotavljajo kakovost vrednotenja, – pripravijo opise dosežkov učencev 9. razreda na nacionalnem prever- janju znanja, – pripravijo vsebinsko analizo o dosežkih učencev in nalogah nacional- nega preverjanja znanja. Sestava in naloge predmetne komisije za geografijo [geografija v šoli] 2-3·2013 128 Aktualno Osrednja naloga komisije je priprava gradiva za NPZ. Gradivo za NPZ geografije sestavljajo: preizkus znanja s prilogami, moderirana navodila za vrednotenje in specifikacijska preglednica. Člani komisije ga oblikuje- jo v skladu z navodili RIC ter upoštevajo Izhodišča NPZ v osnovni šoli (v nadaljevanju Izhodišča NPZ) in Napotke za pripravo preizkusov v osnovni šoli, ki jih je pripravila Državna komisija. Pri določitvi ciljev in standardov je treba upoštevati taksonomske stopnje po Bloomu (priklic, razumevanje, uporaba, analiza, sinteza, vrednotenje). Vsebine se izberejo glede na reprezentativnost, za število nalog pa se komisija odloči na osnovi pomembnosti tako učnih ciljev kot tudi učnih vsebin. Pri vsem tem je nujno izhajati iz učnega načrta, s čimer zagotovi- mo ustrezno vsebinsko veljavnost preizkusa znanja. Tip nalog za preizkus znanja, (npr. izbirne naloge, naloge s krajšim odgo- vorom ali naloge z daljšim odgovorom), se izbere glede na učne cilje in standarde, ki jih naloga preverja. Za nekatere cilje oziroma standarde je bolj primeren en tip nalog, za druge pa drugi. Praviloma so v preizkusu znanja trije ali največ štirje različni tipi nalog. Pri sestavljanju preizkusov se upoštevajo priporočila glede deležev posa- meznih taksonomskih stopenj: priklic 30 %, razumevanje in uporaba 35 % in samostojno reševanje novih problemov, samostojno interpretiran- je, vrednotenje 35 %. Predsednik PK je odgovoren, da je gradivo NPZ oddano do roka, ki je določen z rokovnikom za delo PK. Ko PK gradivo preda višjemu svetoval- cu, gradivo postane tajno. Pred tiskom ga pregledajo odgovorne osebe. Pregled opravita tudi zunanja pregledovalca gradiva, katerih imeni sta tajni. PK pregleda njune pripombe in na njihovi podlagi po lastni presoji popravi gradivo. Nato gradivo pregleda lektor, ki odgovarja za slovnično pravilnost in slogovno ustreznost besedil. Ko je gradivo lektorirano, PK preveri in potrdi ali zavrne predlagane lektorske popravke. Ko je pregledovanje gradiva za NPZ zaključeno, predsednik PK ali po- oblaščeni član podpiše in datira vsak list gradiva posebej, podpisani izvod se imenuje vzorčni izvod preizkusa. Predsednik PK ali pooblaščeni član podpiše tudi priloge in specifikacijske preglednice. Člani predmetne komisije so zavezani varovanju tajnosti. V začetku šolskega leta od RIC prejmejo in podpišejo izjavo o ožjih sorodnikih v teko- čem šolskem letu. Predsednik in člani PK ne smejo sodelovati pri pripravi gradiva za NPZ za šolsko leto (in obdobje), v katerem bo njihov ožji sorod- nik opravljal NPZ. Naloge za učence geografije sestavlja član komisije, ki je učitelj geografije v dvojezični osnovni šoli. Učni načrt za geografijo je za dvojezične osnovne šole prilagojen in dopol- njen. V okviru Srednje Evrope se obravnava geografija Madžarske v obse- gu 6 ur, nekatere druge vsebine pa so prilagojene. Tako preizkus vsebuje naloge iz geografije Madžarske, znotraj sklopa Evropa pa sta zamenjani dve nalogi z enako taksonomsko stopnjo in številom točk. nPz iz geografije v dvojezičnih osnovnih šolah [geografija v šoli] 2-3·2013 129 Aktualno Preizkus je dvojezičen: na eni strani je tekst v slovenščini, na drugi v madžarščini. Učenci rešitve lahko zapisujejo v obeh jezikih: samo sloven- ščini, samo v madžarščini ali kombinirano. Naloge za učence osnovnih šol z italijanskim učnim jezikom pripravlja član PK, ki je učitelj geografije in je zaposlen na eni od šol z italijanskim učnim jezikom. Učni načrt za geografijo je za osnovne šole z italijanskim učnim jezikom prilagojen in dopolnjen. V 9. razredu so učne vsebine o geografskih zna- čilnostih Slovenije okrnjene, dodani so učni cilji o geografskih značilnos- tih Italije. Obravnavi učnih vsebin o Italiji je namenjena približno polovica učnih ur (32 ur). V NPZ iz geografije je v sklopu Slovenija zamenjanih do polovice nalog (običajno 4), ki ohranjajo taksonomsko stopnjo in število točk prvotnih nalog o Sloveniji. Preizkus in rešitve so prevedeni, učenci odgovore zapisujejo v italijan- skem jeziku. Podlaga za analizo dosežkov NPZ iz geografije 2013 je indeks težavnosti (IT) 1 . Analiza dosežkov po vsebinskih področjih je pokazala, da so učen- ci najbolje reševali vsebinski sklop Slovenija, nekoliko slabše vsebinski sklop Evropa in najslabše vsebinski sklop Svet. Znotraj sklopa Svet sta bili najbolje rešeni nalogi 5.1 (IT 0,89) 2 in 7.3 (IT 0,88) 3 . PK za geografijo nadpovprečen dosežek pripisuje tipu naloge (obkroževanja oz. alterna- tivne izbire) in dodatnemu gradivu (zemljevida). Najslabše je bila rešena naloga 6.1 (IT 0,19) 4 , ki je bila zastavljena na II. taksonomski stopnji. PK za geografijo je nalogo ocenila kot zahtevnejšo, predvsem zaradi zahtev po kompleksnem razmišljanju v smislu iskanja in razlage korelacij med podnebjem, reliefom in geografsko lego na konkretnem primeru (Nizka oz. Visoka ekvatorialna Afrika). Kar 66,5 % učencev je na nalogo odgo- vorilo napačno, 14,5 % pa se reševanja sploh ni lotilo. Izkazalo se je, da imajo učenci težave z razlago oz. ubeseditvijo kompleksnejših vzročno-po- sledičnih povezav. Morda bi bil rezultat boljši, če bi imeli učenci na voljo zemljevid izbranega območja in klimogram. Znotraj vsebinskega sklopa Evropa je bila najbolje rešena naloga 16.1 (IT 0,88) 5 , ki je bila zastavljena na I. taksonomski stopnji. K uspešnemu reševanju so poleg taksonomske stopnje prispevali tudi tip naloge (obkro- ževanje), nabor ponujenih odgovorov in prepoznavnost pravilnih odgovo- rov med nepravilnimi (riž, oljka, kava). Zanimivo je, da učenci niso tako 1 Indeks težavnosti se giblje med 0 in 1. Večja ko je njegova vrednost, večji delež učencev je nalogo rešil pravilno. 2 Ugotovi, katera od naštetih dejavnikov najbolj vplivata na manjšo primernost prsti za kmetijsko rabo. (nalogo je bilo potrebno rešiti z uporabo zemljevida na barvni prilogi, op. a.) 3 Preberi trditve o naravnem bogastvu Kanade. Obkroži DA, če trditev drži, in NE, če trditev ne drži (nalogo je bilo potrebno rešiti z uporabo zemljevida, op. a.) 4 Gostota poselitve Visoke ekvatorialne Afrike je večja kakor gostota poselitve Nizke ekvatorialne Afrike. Razloži, kako podnebje vpliva na večjo gostoto poselitve Visoke ekvatorialne Afrike. 5 Gospodarstvo Severne Evrope je razvito. Obkroži črki pred dvema pojmoma, ki sta osnova za razvoj prevladujočih gospodarskih dejavnosti držav Severne Evrope. nPz iz geografije v osnovnih šolah z italijanskim učnim jezikom analiza dosežkov nPz iz geografije 2013 po postavkah v specifikacijski preglednici analiza po vsebinskih sklopih [geografija v šoli] 2-3·2013 130 Aktualno uspešno prepoznali nafte kot pravilnega odgovora. Najslabše rešena je bila naloga 15.2 (IT 0,19) (glej sliko 1), ki je bila tudi najslabše rešena na- loga v celotnem preizkusu. Zastavljena je bila na III. taksonomski stopnji, zahtevala pa je razlago geografskega dejavnika na konkretnem primeru (pristanišče London). Znotraj vsebinskega sklopa Slovenija sta bili najbolje rešeni nalogi 26.1 in 26.2 (IT 0,95) 6 , ki sta tudi najbolje rešeni nalogi v celotnem preizkusu. Po mnenju PK so učenci 26. nalogo uspešno reševali zaradi tipa naloge (obkroževanja) in dodanega tematskega zemljevida. Najslabše rešena je bila naloga 21.2 (IT 0,46) 7 , pri kateri so morali učenci ovrednotiti konkret- ni problem in predlagati dve rešitvi zanj. Med posameznimi vsebinskimi sklopi sicer ni velikih razlik, so pa dosežki v skladu s pričakovanji PK, saj v povprečju padajo s časovno odmaknje- nostjo usvajanja preverjanih učnih vsebin. Znotraj posameznih sklopov so bile slabše rešene naloge, ki so zahtevale kompleksno mišljenje, razlago, utemeljitev in enoznačne odgovore. Podobno kakor leta 2008 in leta 2011 namreč ugotavljamo, da so neko- liko slabše rešene naloge, ki preverjajo premalo utrjene učne vsebine, obravnavane ob zaključku posameznega šolskega leta. Miselne procese I. taksonomske stopnje je preverjalo15 nalog, 18 nalog II. in 17 nalog III. taksonomske stopnje. Med nalogami I. taksonomske stopnje je bila najbolje rešena naloga 16.1 (IT 0,88), najslabše pa 9.1 (IT 0,24) 8 . Kar 63 % odgovorov je bilo napačnih, 13 % učencev pa se reše- vanja ni lotilo. Vzrok za slabše reševanje so po mnenju PK (pre)malo utrjena učna vsebina, precejšnja časovna oddaljenost obravnave ter zah- teva po enoznačnem odgovoru. Dodatno težavo je učencem predstav- ljalo razumevanje navodil (bralna pismenost), saj so pogosto navedli ime veroizpovedi ne pa imena države. V povprečju so se naloge II. taksonomske stopnje izkazale za bolje rešene od nalog, zastavljenih na I. taksonomski stopnji. PK meni, da je vzrok za uspešno reševanje nalog tudi uvrstitev vseh nalog, ki so zahtevale branje podatkov in vsebujejo dodatno gradivo, kot so zemljevidi in grafi, v II. tak- sonomsko stopnjo. Najbolje sta bili rešeni nalogi 26.1 in 26.3 (IT 0,95), najslabše pa 6.1 (IT 0,19). Delež učencev, ki naloge niso rešili, je bil sicer visok, vendar nižji v primerjavi z nekaterimi drugimi nalogami (npr. 8.2, 15.2, 18.2, 21.2). Precejšnjo težavo učencem predstavlja razlaga oz. za- pis razlage; pogosto so vzroke le navedli ali zapisali presplošne odgovore (slika 1). 6 Obkroži črke pred tremi pravilnimi trditvami o prometni obremenitvi cestnega križa v Sloveniji. 7 V novejšem času se mestne oblasti trudijo oživiti stara mestna jedra. Na črte napiši dva predloga, s katerima bi mestne oblasti lahko to dosegle. 8 V kateri državi Jugozahodne Azije večina prebivalstva pripada veri, katere simbola sta prikazana na slikah? analiza po taksonomskih stopnjah [geografija v šoli] 2-3·2013 131 Aktualno 15. naloga London je eno najpomembnejših evropskih pristanišč. Razloži dva dejavnika, ki sta vplivala na razvoj pristanišča London. Odgovora napiši na črte. Razlaga dejavnika 1: Angleške kolonije po svetu. Razlaga dejavnika 2: Visoka razvitost držav. 18. naloga Število držav članic Evropske unije se od njenega nastanka dalje nenehno povečuje. Razloži dva vzroka, zakaj si države prizadevajo za vstop v Evropsko unijo. Odgovora napiši na črte. Razlaga vzroka 1: Finančne težave. Razlaga vzroka 2: Večji dostop. Vir: RIC, 2013. Naloge na III. taksonomski stopnji so bile po pričakovanjih PK najslabše rešene, saj so morali učenci pri reševanju uporabiti kompleksnejše misel- ne procese, analizirati oz. sintetizirati dejstva ali podatke, jih ovrednotiti ali podati predloge in rešitve za predstavljeno problemsko situacijo. Pri večini nalog, zastavljenih na tej taksonomski stopnji, je bilo treba zapi- sati kratek odgovor, v katerem so učenci trditve utemeljili, argumentirali ali vrednotili. Najbolje rešena je bila naloga 5.1 (IT 0,89) 9 . K uspešnemu reševanju so pripomogli tip naloge (obkroževanja), dodan tematski zemlje- vid in utrjenost učne vsebine, ki se v okviru regionalne geografije pojavlja od 6. do 9. razreda. Najslabše rešena pa je bila naloga 8.2 (IT 0,20) (slika 2). 61 % učencev jo je rešilo napačno, slaba petina pa se reševanja sploh ni lotila. Naloga kratkega odgovora je preverjala sposobnosti sinteze in vrednotenja, učenci so morali podati drugo od dveh zahtevanih razlag. Zapis kratkega odgovora, iz katerega je razvidna utemeljitev oz. razlaga, se je za učence ponovno izkazal kot problematičen, saj so večinoma le navedli vzroke, ki jih nato niso utemeljili. Zaskrbljujoče je tudi precejšnje število odgovorov, ki kažejo na veliko neznanje (slika 2). 8. naloga Razloži, zakaj se na označenih območjih na zemljevidu na sliki 3 pogosteje dogajajo nesreče in s tem razlitja nafte. Na črte napiši dve razlagi. Razlaga 1: Zaradi podnebja, ker je tam več potresov in se zato nafta izlije v morje. Razlaga 2: Ker ljudje onesnažujemo in vlivamo nafto v morje. Vir: RIC, 2013 Analiza dosežkov po taksonomskih stopnjah je pokazala, da so bile naj- bolje rešene naloge, zastavljene na II. taksonomski stopnji, nato naloge na I. taksonomski stopnji. Najslabše rešene so bile naloge, zastavljene na 9 Ugotovi, katera od naštetih dejavnikov najbolj vplivata na manjšo primernost prsti za kmetijsko rabo. Slika 1: Primeri pomanjkljivih odgovorov Slika 2: Primeri neustreznih oz. nepravilnih odgovorov. [geografija v šoli] 2-3·2013 132 Aktualno III. taksonomski stopnji. V primerjavi z NPZ 2011 so učenci bolje reševali naloge na vseh treh taksonomskih stopnjah, še posebej tiste z dodatnim gradivom. Še vedno je opazen primanjkljaj pri nalogah zapisa kratkega odgovora, ki zahtevajo kompleksno/divergentno mišljenje. V primerjavi z letom 2011 je bila za preizkus na NPZ leta 2013 značilna večja raznolikost nalog. Dodana sta bila dva tipa nalog: naloge dopolnje- vanja in naloge alternativnega tipa. Te naloge so bile zelo dobro rešene, saj jih je v povprečju pravilno rešilo 74 % oziroma 81 % učencev. Posle- dično pa je to verjetno vplivalo na uspešnejše reševanje preizkusa znanja kakor na NPZ leta 2011. Najbolje so bile rešene naloge obkroževanja (IT 0,83) in naloge alternativ- nega tipa (IT 0,81). Naloge s slikovnim odgovorom (1.1, 1.2 in 11.1) 10 so bile slabše rešene predvsem zaradi zahtev po jasnosti in nedvoumnosti. Najslabše so bile rešene naloge zapisa kratkega odgovora (IT 0,38), med katerimi so precejšnje razlike: bolje so rešene naloge z zapisom problema oz. predloga, slabše pa naloge z zapisom utemeljitve in razlage. V preizkusu je bilo 38 nalog, pri katerih so učenci iskali odgovor z upora- bo dodanega gradiva: zemljevid (23 nalog), slika (11 nalog), klimogram (2 nalogi) in besedilo (2 nalogi). Nalog z dodanim gradivom je bilo v primer- javi z letom 2011 za četrtino več, saj je PK mnenja, da je pri geografiji za razvijanje prostorskih predstav, divergentnega mišljenja, kompleksnega razmišljanja ter bralne in funkcionalne pismenosti nujna uporaba razno- vrstnega gradiva. PK ugotavlja, da so bili učenci pri reševanju nalog z do- danim gradivom načeloma uspešnejši kot pri reševanju nalog brez njega, pri čemer sta na uspešnost reševanja pomembno vplivala tudi tip naloge in taksonomska stopnja. Najbolje so bile rešene naloge z zemljevidom (IT 0,71) in naloge z besedilom (IT 0,70). Pri nalogah zapisa kratkega odgo- vora učenci niso v polni meri uporabili izrazne vrednosti dodanih zemljevi- dov. Najslabše sta bili rešeni nalogi s klimogramoma (IT 0,59). V primerjavi z letom 2011 so učenci preizkus iz geografije na NPZ 2013 uspešneje rešili, k čemur je pripomogla tudi struktura preizkusa. Analiza je pokazala, da učenci bolje rešujejo naloge, ki preverjajo cilje, ki so dobro utrjeni, se pojavljajo pri več učnih temah in obravnava katerih je časovno manj oddaljena. Načeloma uspešno berejo tematske zemljevide in si pri iskanju odgovorov pomagajo s slikovnim gradivom. Učenci so manj uspešni pri reševanju nalog, ki preverjajo njihove sposob- nosti sinteze, vrednotenja, kompleksnega razmišljanja in iskanja rešitev na dan geografski problem. Težave imajo pri ubeseditvi (daljšega) raz- mišljanja ter pri zapisu samostojnega (daljšega) odgovora, pri razlagi in utemeljitvi pa so pogosto omejeni na en vidik. Kontrolni preizkusi so bili namenjeni analizi kakovosti vrednotenja in pripravi povratne informacije o kakovosti vrednotenja ocenjevalcem. 10 Na zemljevidu pobarvaj: a) vroči (tropski) pas z rdečo barvico, b) južni mrzli (polarni) pas z modro barvico. analiza po tipu naloge analiza po dodanem gradivu Ugotovitve analiza kontrolnih preizkusov [geografija v šoli] 2-3·2013 133 Aktualno Izbrani so bili med vsemi opravljenimi preizkusi. Dokončno jih je izbrala predmetna komisija, predizbor pa je bil zaupan tudi vsem pomočnikom glavnega ocenjevalca. Pred moderiranjem je vsak pomočnik glavnega ocenjevalca pregledal večje število preizkusov in se odločil za tri, ki so bili, po njegovem mnenju, primerni za kontrolo. Oddal jih je v Scoris Asse- sor. Predmetna komisija je po opravljenem moderiranju izbrala tri, ki so ustrezali vsem želenim karakteristikam. Izbrali smo raznolike preizkuse, ki so bili večinoma rešeni in niso nakazovali večjih težav, na katere bi lahko naleteli ocenjevalci. Preizkuse smo v komisiji ovrednotili v skladu z moderiranimi navodili za vrednotenje. V času vrednotenja se je z vsemi tremi preizkusi srečal vsak ocenjevalec, saj so bili pomešani med tistimi, ki jih je imel v naboru za vrednotenje. Po zaključenem vrednotenju smo na RIC-u pripravili analizo njihovega vrednotenja. Analiza je bila narejena po vprašanjih za vsak kontrolni preizkus posebej. Rezultate smo prikazali v preglednicah, iz katerih so razvidna povprečna odstopanja vseh ocenjevalcev v vrednotenju posa- meznih vprašanj od referenčnega vrednotenja predmetne komisije. Vir: RIC, 2013. Slika 3 prikazuje povprečna odstopanja vrednotenja vseh ocenjevalcev kontrolnega preizkusa 1. Razvidno je, da večina ocenjevalcev ne odstopa od referenčnega vrednotenja. Izjema sta vprašanji 8.2 in 15.2, kjer odsto- pa več kot 60 % ocenjevalcev in vprašanja 14.1, 14.2, 15.1, 16.1 in 21.1., kjer odstopa 30 % ocenjevalcev. Gre večinoma za vprašanja zapisa krat- kega odgovora na najvišji taksonomski stopnji, ki so zahtevala razlago ali vrednotenje. Podobno je tudi pri preostalih kontrolnih preizkusih, kar nas je privedlo do zaključka, da bo v prihodnje treba posvečati več pozornosti vrednotenju nalog na najvišjih taksonomskih stopnjah. Analiza vseh kontrolnih preizkusov je pokazala kakovostno vrednotenje večine ocenjevalcev, pa tudi manjša ali večja odstopanja pri nekaterih ocenjevalcih. Kot vzorec se pri vseh treh kontrolnih preizkusih pojavljajo odstopanja pri vprašanjih zapisa kratkega odgovora, ki največkrat zah- tevajo razlago ali pojasnilo, in pri vprašanjih ter nalogah, ki zahtevajo po dva sorodna odgovora (dve razlagi, dva problema, dva predloga …). Pri vprašanjih, ki so zahtevala razlago pojava ali procesa, smo opazili, da se nekateri ocenjevalci pogosto niso držali moderiranih navodil za vredno- tenje in so odgovore ovrednotili kot pravilne, kljub odsotnosti razlage. Slika 3: Povprečno odstopanje vseh ocenjevalcev od referenčnega vrednote- nja predmetne komisije pri kontrolnem preizkusu 1. [geografija v šoli] 2-3·2013 134 Aktualno Komisija je pri analizi kontrolnih preizkusov ugotovila, da so se preveč- krat pojavljale napake tudi tam, kjer to ni bilo pričakovano, na primer pri nalogah s samo enim možnim in enoznačnim odgovorom ali kjer je šlo za napačno rabo popravnih znakov. Do te ugotovitve smo prišli tudi na podlagi vzorčnih primerov preizkusov, ki so bili ponovno ovrednoteni na poizvedbah. Vir: RIC, 2013. Kot je razvidno s slike 4, je ocenjevalec tretje vprašanje naloge najprej ovrednotil napačno, čeprav je bila na voljo le ena možna rešitev. Naloga tega preizkusa je zato prišla na poizvedbo, kjer jo je pomočnik glavnega ocenjevalca pravilno ovrednotil. Podobnih primerov je bilo preveč. Tovr- stne napake si v komisiji lahko razlagamo le kot neupoštevanje moderira- nih navodil za vrednotenje ali pa kot površno vrednotenje. Vir: RIC, 2013. Pri vrednotenju naloge 15.2. je v prvem kontrolnem preizkusu je 60 % ocenjevalcev odstopalo od referenčnega vrednotenja predmetne komisi- je. Komisija se je odločila, da je odgovor učenca pri razlagi dejavnika 2 pomanjkljiv, saj iz odgovora ni razvidna razlaga, ki naj bi vplivala na razvoj pristanišča London. Podobnih primerov, kot sta oba prikazana, smo zasledili še precej. Pred- metna komisija pa kljub temu ocenjuje, da je večina ocenjevalcev kon- trolne preizkuse vrednotila ustrezno. Do večjih odstopanj je prihajalo pri nekaterih tipih nalog, kar je v skladu s pričakovanji. V prihodnje bo zato komisija večjo pozornost namenila še bolj natančni pripravi moderiranih navodil za vrednotenje in še kakovostnejši vsebinski pripravi ocenjevalcev in pomočnikov glavnega ocenjevalca na vrednotenje. Slika 4: Primer napačno ovrednotene naloge alternativne izbire. Slika 5: Primer naloge iz kontrolnega preizkusa 1 z več kot 60 % odstopanjem ocenjevalcev od referenčnega vrednotenja. [geografija v šoli] 2-3·2013 135 Aktualno Velika novost NPZ v letu 2013 je bila uvedba e-vrednotenja preizkusov. Kljub vsem predhodnim pripravam vse do zaključka e-vrednotenja nismo vedeli, ali bo vse potekalo v skladu z načrtom, če se bodo pojavile ne- predvidene težave, če bodo imeli učitelji ocenjevalci veliko težav, kaj se bo izkazalo kot dobro in kaj kot slabo itd. Zato so bili učitelji ocenjevalci naprošeni, da ob zaključku e-vrednotenja izpolnijo anketni vprašalnik. Od 345 učiteljev geografije, ki so vrednotili preizkuse znanja, je pri anketi sodelovalo 107 učiteljev, katerih mnenje podajamo v nadaljevanju. Kot je razvidno s slike 6, največji delež (44,9 %) anketirancev o uvedbi e- -vrednotenja pri geografiji pred dejanskim e-vrednotenjem ni imel izobli- kovanega mnenja, medtem ko so v dokaj enakem deležu e-vrednotenje podpirali (29,0 %) oziroma ga niso podpirali (26,2 %). Njihovo mnenje se je po sodelovanju pri e-vrednotenju občutno nagnilo v prid e-vrednotenju (68,2 %). 15,0 % anketirancev mnenja še vedno nima izoblikovanega, medtem ko ga le 16,8 % ne podpira. Vir: Semen, 2013. V nadaljevanju so anketiranci na podlagi lastnih izkušenj ocenili značilno- sti e-vrednotenja v primerjavi s klasičnim načinom vrednotenja (tj. vredno- tenjem na papirju). Tako je po mnenju anketirancev: – možnost tehnične napake (napačen zapis števila točk, seštevek sku- pnega števila točk ipd.) manjša (34,0 %) oz. veliko manjša (40,0 %); – možnost vsebinske napake (vrednotenje ni v skladu z navodili za vred- notenje) enaka (56,0 %) ali celo večja (26,0 %) oz. veliko večja (5,0 %); – preglednost opravljenega dela boljša (37,0 %) oz. veliko boljša (25,0 %) ali enaka (23,0 %); – poraba časa večja (31,0 %), enaka (24,0 %) oz. manjša (24,0 %); – napornost vrednotenja pa enaka (33,0 %), manjša (27,0 %) oz. večja (26,0 %). Več kot polovica anketirancev (54,2 %) je izbrala vrednotenje po preiz- kusih (celoten preizkus od prve do zadnje naloge) ter v manjšem deležu (30,8 %) vrednotenje po nalogah (najprej 1. nalogo v vseh preizkusih, nato 2. nalogo itd.), le majhen delež (15,0 %) pa je uporabljal oba načina. Kar 86,0 % anketirancev ocenjuje seznanitveni način Scoris Assessor kot koristen. Na lestvici od 1 (nezadostno) do 5 (odlično) so ocenili program za e-vrednotenje Scoris Assessor z vidika preglednosti programa (4,0), kakovosti skeniranih preizkusov (4,2), uporabe popravnih znakov (4,1), analiza anketnega vprašalnika o e-vrednotenju za učitelje ocenjevalce pri nPz – geografija 2013 Slika 6: Podpora za e-vrednotenje [geografija v šoli] 2-3·2013 136 Aktualno uporabe komentarjev (3,8), možnosti uporabe sporočil (4,1), možnosti sporočanja problemov (4,1), razumljivost besedila v programu (4,1) in hitrosti delovanja programa (3,8). 46,7 % anketirancev bi želelo, da bi bile posamezne naloge prikazane v celoti, 30,8 % da bi bile prikazane po posameznih vprašanih znotraj ene naloge, 22,4 % pa je vseeno. Učitelji ocenjevalci so ves čas lahko komunicirali s pomočniki glavnega ocenjevalca. Več kot polovica je ni komunicirala nikoli (56,1 %), manj kot četrtina (22,4 %) enkrat, 12,1 % 2-3krat, 5,6 % 3-5krat in le 3,7 % več kot 5krat. Med razlogi, zaradi katerih so učitelji potrebovali pomoč pomočni- ka glavnega ocenjevalca, so anketiranci (45 odgovorov) navedli: nejas- nosti pri dodelitvi popravnih znakov, manjše tehnične težave, vprašanja v zvezi z vrednotenjem že oddanih preizkusov ter dvome o pravilnosti odgovorov. Po drugi strani je pomočnik glavnega ocenjevalca vzpostavil z njimi stik bodisi nikoli (28,0 %) bodisi enkrat (15,0 %), 2–3-krat (32,7 %), 3–5-krat (15,0 %) in več kot 5-krat (8,4 %). Med razlogi, zaradi katerih je pomočnik glavnega ocenjevalca pisal ocenjevalcem, so anketiranci (77 odgovorov) navedli: napake pri vrednotenju, težave s popravnimi znaki, komentarje in nasvete, odgovore na konkretna vprašanja učiteljev, splošna obvestila, dodatna navodila ter oceno standardizacije. Preglednica 1 prikazuje oceno komuniciranja med učitelji ocenjevalci in po- močnikom glavnega ocenjevalca pri e-vrednotenju v primerjavi s klasičnim načinom vrednotenja (tj. vrednotenjem na papirju). Največji del (33,6 %) jih ocenjuje komuniciranje kot enako. koMUniCiranje S PoMočnikoM glavne- ga oCenjeval Ca Število Delež Komuniciranje je boljše. 21 19,6 % Komuniciranje je enako. 36 33,6 % Komuniciranje je slabše. 27 25,2 % Na vprašanje ne morem odgovoriti. 23 21,5 % Skupaj 107 100,0 % Vir: Semen, 2013. Večini (87,9 %) se zdi koristno, da pomočnik glavnega ocenjevalca spremlja njihovo delo. 77,6 % anketirancev tudi ne moti, da imajo glavni ocenjevalec, pomočnik glavnega ocenjevalca in pooblaščeni sodelavci Državnega izpitnega centra vpogled v njihovo delo med e-vrednotenjem. Tisti, ki jih je to motilo, so med odgovori (9 odgovorov) navedli, da se ustvari vtis nezaupanja, da se počutijo kot v oddaji »Veliki brat te opazu- je«, ker imajo občutek zunanje kontrole učiteljevega dela ter zato, ker eno delo dela več ljudi. Glede postopkov za zagotavljanje kakovosti e-vrednotenja so anketiranci kot pozitivno izpostavili časovni prihranek, povratne informacije o oprav- ljenem delu, pozitivno izkušnjo, manj stresa, kot negativno pa potrebo po bolj natančnih navodilih za uporabo popravnih znakov, moteč »odziv na da- Preglednica 1: Vrednotenje komunikacije s PGO [geografija v šoli] 2-3·2013 137 Aktualno ljavo«, nepotrebno kontrolno vrednotenje v obsegu 3 preizkusov, pomanj- kanje komuniciranja med ocenjevalci, odsotnost stika z ostalimi učitelji, težave z računalnikom ter premalo časa, namenjenega vrednotenju. Največje prednosti e-vrednotenja so po mnenju anketirancev (101 od- govor): časovni prihranek, elektronski dostop, možnost dela doma in v šoli, odsotnost seštevanja in barvanja krožcev, večja varnost, hitrejše vrednotenje in kontrola, natančnost vrednotenja, pregled nad delom ter možnost popravljanja lastnih napak. Kot največje pomanjkljivosti (93 odgovorov) so omenili odsotnost osebnega stika z drugimi učitelji in PGO, odsotnost plačila, fizično naporno delo, probleme z vrednotenjem odprtih odgovorov, da je »NPZ je sam sebi namen«, ocenjevanje učiteljevega dela, pomanjkanje časa ter tehnične težave. Glede na rezultate ankete lahko zaključimo, da je bilo e-vrednotenje med učitelji geografije, ki so bili ocenjevalci, dobro sprejeto in da jim ni povzro- čalo večjih težav. Izrazito odklonilnega mnenja ni bilo zaznati, se pa vsi zavedamo, da je v prihodnje treba nekatere stvari bodisi nadgraditi bodisi izboljšati. Nacionalno preverjanje znanja (NPZ) iz geografije za dodatne/povratne, uporabne informacije učencu, učitelju, šoli, staršem in izobraževalnemu sistemu, je bilo izvedeno v letih 2008, 2011 in 2013. V vseh treh preverjanjih izpostavljamo skupne značilnosti: – cilji (povratna, dodatna, uporabna informacija), – struktura (cilji in vsebine UN, število nalog, tipi nalog, skupno število točk, vrednotenje), – taksonomske ravni/stopnje (Bloomova taksonomija), – podrobne analize dosežkov (grafično, tabelarično …), – razumevanje smiselnosti NPZ (učenci, učitelji, starši, šole). ŠTevilo UčenCev 4436 Možno število točk 50 Povprečno št. točk 26,47 Povprečno št.% točk 52,94 Vir: Letno poročilo …, 2008. Podrobna in natančna analiza dosežkov učencev je celostno zadovolji- la pričakovanja predmetne komisije iz geografije. Pri nekaterih ciljih in vsebinah pa so bili pričakovani boljši dosežki, predvsem pri preverjanju minimalnih standardov znanja v nalogah prve taksonomske ravni. Enaka pričakovanja so bila tudi za reševanje nalog druge in tretje taksonomske ravni, saj je geografija kompleksna veda, ki temelji na primerjanju, pove- zovanju, posploševanju, vzročno-posledičnem povezovanju, razlaganju in predvidevanju. Analize so pokazale, da so učitelji poučevali v skladu s sodobnimi pristopi pri pouku geografije. Komisija je menila, da je treba bolj uresničevati procesne cilje, umeščene v učni načrt, aktualizirati problematiko in dati več poudarka znanju tretje taksonomske stopnje. Naloge tretje taksonomske stopnje so pokazale, da so učenci premalo poglobljeno razmišljali o nekaterih problemih. Pri nalogah, ki so zahtevale več raznovrstnih odgovorov o istem problemu, so učenci praviloma našli Primerjava nPz iz geografije v letih 2008, 2011 in 2013 Skupne značilnosti nPz leta 2008 Preglednica 2: Podatki o NPZ iz geografije za leto 2008 [geografija v šoli] 2-3·2013 138 Aktualno le eno možno rešitev. Učenci so pogosto zamenjevali pojme vzrok, posle- dica, proces, pojav. Analiza je v nadaljevanju pokazala, da učenci nalog, ki so imele dodano slikovno gradivo, niso najbolje reševali. Predmetna komisija je pri sestavljanju nalog ugotovila, da nekateri avtorji učbenikov bolj upoštevajo vsebine, cilje in pojme, ki so predpisani po učnem načrtu, in drugi manj. Zato je naloga učitelja, da ne glede na to, kateri učbenik uporablja, izvaja pouk po učnem načrtu. Dolžan je nado- mestiti gradiva in znanje, ki ga učni načrt zahteva, v učbeniku pa tega ni. Nekatere naloge nižje taksonomske ravni so učenci slabše reševali tudi zaradi nepoznavanja strokovne terminologije ali lastnih imen. PK je učiteljem predlagala, naj učencem kažejo različno slikovno gradivo, ki prikazuje npr. isti pojav ali proces, tako da učence navaja na opazova- nje in prepoznavanje različnih elementov v pokrajini, na iskanje skupnih značilnosti in razlik ter na interpretiranje enakosti, podobnosti in različno- sti. Kadar je le mogoče, naj učitelji uporabljajo različne didaktične pri- pomočke za dosego istih učnih ciljev. V vzgojno-izobraževalnem procesu pri pouku geografije naj učenci uporabljajo neme zemljevide. Poudarek naj bo na branju zemljevidov (fizičnih in tematskih), saj se na tak način (lahko) preverja znanje višjih taksonomskih ravni. Ker se učenci niso dobro pisno izražali, bi bilo treba več časa posvetiti natančnemu pisnemu izražanju, kar seveda zahteva od učencev boljše poznavanje terminov geografske stroke. Priporočena je bila natančna in dosledna uporaba strokovnih terminov v vseh fazah učnega procesa. Priporočilo se je nana- šalo tudi na doslednejše branje navodil. ŠTevilo UčenCev 5899 Možno število točk 50 Povprečno št. točk 30,15 Povprečno št.% točk 60,29 Vir: Letno poročilo …, 2011. Tudi po drugem NPZ iz geografije je bila predmetna komisija (PK) načelo- ma zadovoljna, vendar si je želela v prihodnje od učiteljev (in posledično tudi učencev) večje odzivnosti predvsem pri upoštevanju analize dosežkov učencev ter predlogov komisije za izboljšanje obstoječih razmer. Analiza dosežkov po vsebinskih področjih glede na indeks težavnosti je pokazala, da so učenci skoraj enako dobro reševali vsebinski sklop Slove- nija in vsebinski sklop Svet. Presenetljivo dobro so reševali tiste naloge v sklopu Svet, ki so se nanašale na učno vsebino šestega razreda oziroma občo geografijo. V povprečju je bil najslabše rešen vsebinski sklop Evro- pa, kar je bilo povezano z vsebinsko nekoliko zahtevnejšim vprašanjem, premalo utrjenim znanjem in premalo pozornosti, ki so jo učitelji namen- jali kompleksnemu geografskemu razmišljanju. Dobri dosežki pri nekate- rih nalogah so bili verjetno posledica aktualnosti vsebine in številnih še sprejemljivih pravilnih rešitev, sprejetih na moderiranju. V povprečju so učenci naloge druge taksonomske stopnje reševali bolje od nalog, zastavljenih na prvi taksonomski stopnji. Komisija je menila, da je bil temeljni razlog dejstvo, da so bila vprašanja, ki so zahtevala branje po- datkov in vsebovala dodatno gradivo, kot so zemljevidi in grafi, umeščena v drugo taksonomsko stopnjo in da je največ vprašanj druge taksonomske Predlogi in priporočila učiteljem nPz leta 2011 Preglednica 3: Podatki o NPZ iz geografije za leto 2011 [geografija v šoli] 2-3·2013 139 Aktualno stopnje preverjalo minimalne standarde znanja. Vse najbolje rešene na- loge so preverjale znanje uporabe oziroma branja podatkov (npr. zemlje- vidov, grafov). Predmetna komisija je menila, da so dosežki nakazovali tudi na prenos in izkazovanje medpredmetnega znanja, saj sta bila branje podatkov in izdelava diagramov učna cilja tudi drugih predmetov. Naloge tretje taksonomske stopnje, ki so od učencev zahtevale sintetizi- ranje, vrednotenje, iskanje rešitev in uporabljanje znanja v novih okolišči- nah, so bile najslabše rešene. V primerjavi z NPZ 2008 so učenci bistveno bolje reševali naloge druge taksonomske stopnje pri enakem načinu razvrščanja nalog po taksonom- skih stopnjah. Ta pozitivni trend bi veljalo ohraniti, dvigniti pa bi bilo treba povprečje reševanja nalog prve taksonomske stopnje. Izboljšanje bi lahko dosegli ob stalnem utrjevanju temeljnih geografskih pojmov in dejstev, ki predstavljajo osnovo za kompleksno geografsko razmišljanje ter za ugo- tavljanje vzročno posledičnih povezav, načrtovanja in posploševanja. V nasprotju z rezultati NPZ 2007/2008, ko je komisija ugotovila, da učen- ci nalog, ki so imele dodatno slikovno gradivo, niso najbolje reševali, so ugotovitve iz leta 2011 pokazale ravno nasprotno. Komisija je predvideva- la, da so učitelji upoštevali prejšnja priporočila in v večji meri vključevali dodatno slikovno gradivo oziroma različna učila v pouk geografije in pri tem spodbujali in razvijali njihovo ustrezno uporabo pri učencih. Ponov- no je bilo poudarjeno spoznanje, da je treba zaradi slabega pisnega (in ustnega) izražanja več dodatnega truda vložiti v natančno(st) izražanja, ki je seveda med drugim tudi posledica dobrega poznavanja geografske terminologije. Komisija je ugotovila tudi, da so bili učenci pogosto premalo pozorni na navodila za reševanje nalog, zato je priporočila, da se pri vzgojno-izobra- ževalnem procesu temu nameni večja pozornost. ŠTevilo UčenCev 4160 Možno število točk 50 Povprečno št. točk 32,07 Povprečno št. % točk 64,14 Vir: Letno poročilo …, 2013. Analiza dosežkov po vsebinskih področjih glede na indeks težavnosti je pokazala, da so učenci najbolje reševali vsebinski sklop Slovenija, ne- koliko slabše vsebinski sklop Evropa in najslabše vsebinski sklop Svet. Najbolje rešene naloge znotraj posameznih vsebinskih sklopov so bile tiste, ki so učencu ponujale možnost izbire pravilnih odgovorov, in tiste, ki so imele kot dodatek tematske zemljevide. Na drugi strani pa so bile najslabše rešene naloge, ki so zahtevale zapis kratkega odgovora, dve navedbi rešitev, utemeljevanje, razlago ali pa enoznačne odgovore. Tako kot na preverjanju znanja leta 2011 so bile tudi tokrat v povprečju naloge II. taksonomske stopnje bolje rešene od nalog, zastavljenih na I. takso- nomski stopnji. Največ vprašanj, zastavljenih na II. taksonomski stopnji, je preverjalo minimalne standarde znanja. V primerjavi z letom 2011 je bila za preizkus na NPZ leta 2013 značilna večja raznolikost nalog. Dodana sta bila dva tipa nalog: naloge dopolnje- Primerjava in priporočila nPz leta 2013 Preglednica 4: Podatki o NPZ iz geografije za leto 2013 [geografija v šoli] 2-3·2013 140 Aktualno vanja in naloge alternativnega tipa, ki so jih učenci dobro reševali. Najbol- je so bile rešene naloge obkroževanja, ki so imele kot dodatke tematske zemljevide, slike ali pa nabor možnih odgovorov. Med nalogami z dodat- nim gradivom so bile najbolje rešene naloge z zemljevidom in naloge z besedilom. Če so bile to naloge III. taksonomske stopnje, pri katerih je bilo treba zapisati kratek odgovor, so jih učenci reševali občutno slabše. Ponovno sta bili najslabše rešeni nalogi s klimogramoma. PK je menila, da učenci niso imeli težav z branjem, pač pa z upoštevanjem in povezo- vanjem vseh podatkov, zajetih v klimogramih, v zapis razlage. Analiza je pokazala, da so pri nalogah z dodatnim gradivom učenci na- čeloma uspešnejši; vendar v odvisnosti od tipa naloge in taksonomske stopnje. V nadaljevanju je podan primer analize NPZ iz geografije, ki je bila pri- pravljena za poročanje na seji učiteljskega zbora ene izmed slovenskih osnovnih šol. Vir. Urank, 2013. Primer analize nPz iz geografije, namenjene poročanju na seji učiteljskega zbora Slika 7: Prikaz dosežkov po nalogah (barvna območja) in označeni nižji dosežki od državnega povprečja [geografija v šoli] 2-3·2013 141 Aktualno NPZ iz geografije je v rednem roku 2013 obsegal 27 nalog, pri katerih so lahko učenci dosegli največ 50 točk. Naloge so bile vredne od 1 do 3 točke. Glede na tip so bile naloge izbirnega tipa (naloge obkroževan- ja, povezovanja in razvrščanja, dopolnjevanja in naloge alternativnega tipa), naloge kratkih in slikovnih odgovorov ter naloge z zapisom kratkih odgovorov. V preizkusu so bile preverjane vse tri stopnje znanja, in sicer: znanje in prepoznavanje 30 % (dejstev, podatkov, geografskih imen ipd.), razumevanje in uporaba 35 % (pojasnjevanje, primerjanje in razlikovanje, razvrščanje) ter analiza in sinteza 35 % (presoja in sklepanje, prepozna- vanje protislovnosti, uporaba poznanih informacij na novih primerih, zveze, posplošitve, načrtovanje, vrednotenje, utemeljevanje). Povprečni dosežek v državi je 64,14 % in na naši šoli 66,78 %. Vir: Urank, Cankar, 2013. Vir: Opisi dosežkov …, 2013. Glede na barvna območja so učenci naše šole močni v modrem, rdečem in predvsem v območju nad modrim. Uspešni so bili predvsem pri reše- vanju nalog, ki preverjajo znanje III. taksonomske stopnje. Npr. naloga B. 15.2 je zahtevala razlago dveh dejavnikov, ki sta omogo- čila razvoj pristanišča London. Povprečje točk v Sloveniji pri tej nalogi je bilo 0, 19 in na naši šoli 0,27. Še večja razlika je bila pri nalogi A. 09.1, Slika 8: Prikaz porazdelitve točk pri pred- metu geografija za izbrano šolo Slika 9: Prikaz porazdelitve točk pri predmetu geografija [geografija v šoli] 2-3·2013 142 Aktualno kjer je bilo povprečje Slovenije 0,24 in pri nas 0,45. Naloga je zahtevala ime države v Jugozahodni Aziji. V splošnem so bili letošnji devetošolci naše šole uspešnejši od povprečja Slovenije v večini odgovorov, le v 12 odgovorih od 50 so bili slabši od povprečja države. Slabše so reševali naloge v zelenem območju, ki so zahtevale uporabo/ branje slik in tematskih zemljevidov, kot npr. naloga A. 04.2, B. 11.1, B. 12.1, B. 12.2, B. 12.3. Tudi nalogo B. 14.2 so slabše reševali. Napisati je bilo treba dva problema, ki nastaneta zaradi plimovanja na otoku Mont Saint Michel ob Atlantskem oceanu v Franciji. Pri tej nalogi se je pokazala šibka vztrajnost učencev pri iskanju rešitev. Pri zapisu prvega problema so bili precej nad državnim povprečjem, pri zapisu drugega pa že pod državnim povprečjem. Naloga C. 20.1 je zahtevala znanje o kamni- nah po nastanku na območju Slovenije. Kot kaže je bilo znanje premalo utrjeno, čeprav se kamnine obravnavajo že pri naravoslovju in omenjajo že pri družbi v 5. razredu. Naloga C. 25.1 je zahtevala, da učenci napišejo en razlog, zakaj človek spreminja rečne struge. Zakaj tu ni bilo dovolj idej, ni jasno. Naloga C. 26.1 je zahtevala pozorno branje tematske karte. Tudi tu je bil v začetnem delu naloge slabši rezultat, v nadaljevanju naloge pa boljši od povprečja. Ne najdemo logične razlage. Splošne ugotovitve: NPZ iz geografije je kljub uspehu pokazal na slabše branje tematskih kart, ki jih je največ v atlasu in v delovnih zvezkih za geografijo. Načrt: – Tudi v novem šolskem letu veliko dela z atlasi (tudi kakšno domačo nalogo), tudi posodobitev GPS. – Pisni preizkus znanja v vsakem razredu. – Od učencev zahtevati poznavanje minimalnih standardov iz 6., 7., 8. razreda še v 9. razredu. Prihodnost NPZ nam je v letu 2013 začrtal nov Pravilnik o nacionalnem preverjanju znanja v osnovni šoli, ki je sledil Beli knjigi in ohranil revizijsko vlogo oziroma diagnostični namen preverjanja. V tem namenu vidi pravo vrednost nacionalnega preverjanja znanja tudi Državna komisija za vo- denje NPZ v novem mandatu. S preverjanjem znanja bomo torej tudi v pri- hodnje ugotavljali stanje oziroma kakovost znanja, procesov in sistema. Ohranjanje namena preverjanja vpliva na ohranjanje zasnove preizkusov, ki je vedno podrejena namenu. Struktura preizkusov znanja iz geografije se v prihodnje ne bo spremenila. Preizkus bo obsegal naloge, z reševanjem katerih bodo učenci lahko dosegli 50 točk. Naloge bodo podrobno preverjale znanje obveznih učnih ciljev celotnega posodobljenega učnega načrta. Ohranili bomo tri vsebin- ske sklope. Ob nalogah regionalne geografije sveta, Evrope in Slovenije bomo preverjali tudi temeljna obče geografska znanja. Izogibali pa se bomo nalogam, pri katerih učenci načrtujejo geografske spremembe bolj na podlagi splošnega in ne geografskega znanja (npr. reševanje onesna- ženosti Sredozemskega morja, oživljanje mestnih jeder). nPz iz geografije v prihodnje [geografija v šoli] 2-3·2013 143 Aktualno Tudi razmerja med deležem preverjanih taksonomskih stopenj se ne bo spremenilo. Tretjina nalog bo še vedno preverjala znanje na prvi takso- nomski stopnji, tretjina na drugi in tretjina na tretji stopnji po Bloomovi poenostavljeni taksonomiji. Le enakomerno razvijanje miselnih procesov na vseh stopnjah, po ugotovitvah nekaterih strokovnjakov s področja psi- hologije in pedagogike, lahko pripomore k razvoju osebnosti z zmožnostjo samostojnega, celovitega ali pa fragmentarnega mišljenja. Naloge z branjem zemljevidov so bile do sedaj uvrščene med naloge, ki preverjajo miselne procese na drugi taksonomski stopnji. V prihodnje pa bomo ob vsaki nalogi, ki bo vključevala branje zemljevidov ali drugo slikovno gradivo, razmislili, kateri miselni procesi dejansko potekajo pri reševanju. Naloge, kjer učenci zgolj preberejo zapisani podatek z zemlje- vida, slike ali drugega slikovnega gradiva, bodo uvrščene med naloge, ki preverjajo znanje na prvi taksonomski stopnji. Če pa bo naloga zahtevala od učencev, da prebrane podatke s slikovnega gradiva tudi razumejo, uporabijo, povežejo ali nadgradijo, bo uvrščena v višje taksonomske stopnje. Izbor tipov nalog v preizkusu znanja ni naključen. Zavedamo se, da z izborom tipov nalog vplivamo na dosežke. Nekateri tipi nalog so za reše- vanje lažji in tako pripomorejo k boljšim dosežkom (npr. naloge obkrože- vanja, naloge povezovanja …). Predmetna komisija pri izboru tipov nalog sledi nekaterim splošnim ciljem predmeta in didaktičnim priporočilom, zapisanim v učnem načrtu, ki nam nalagajo, da pri učencih med drugim razvijamo sposobnost samostojnega geografskega razmišljanja, vzročno- -posledičnega povezovanja in medpredmetnega povezovanja. Tako znanje učenci lahko izkažejo le pri nalogah, ki zahtevajo tvorjenje daljših odgo- vorov in oblikovanja zaključene misli. Čeprav so praviloma učenci pri opi- sanih nalogah manj uspešni, bodo naloge tudi v prihodnje v precejšnjem deležu vključene v preizkus znanja. Sočasno pri nalogah z zapisom krajših odgovorov ugotavljamo večje število težav pri vrednotenju. Učitelji ocenjevalci so pogosto potrebovali pomoč pomočnikov glavnega ocenjevalca, hkrati pa je bilo največ pozitiv- no rešenih poizvedb ravno pri omenjenih nalogah. Zelo pogosto z naloga- mi z zapisom krajših odgovorov preverjamo miselne procese višjih takso- nomskih stopenj, zato rešitve niso enoznačni kratki odgovori. Ocenjevalci imajo težave s prepoznavanjem še pravilnih oziroma napačnih odgovorov. Nekateri učitelji ocenjevalci so preveč strogi in iščejo v odgovorih učencev dobesedne zapise pravilnih odgovorov iz moderiranih navodilih za vredno- tenje. Na drugi strani pa nekateri učitelji ocenjevalci preveč popuščajo pri vrednotenju in dodeljujejo maksimalno število točk kljub temu, da učenci ne izpolnijo testne zahteve (npr. ne zapišejo utemeljitve ali razlage pač pa zgolj navedejo dejstva ali naštejejo pojave). Odločili smo se, da bomo v prihodnje v moderiranih navodilih za vrednotenje označili, katere stopnje miselnih procesov preverjamo s posamezno nalogo in tako opozorili uči- telje ocenjevalce, pri katerih naloga ne smemo popuščati pri vrednotenju, saj z nižanjem kriterijev vrednotenja lahko vplivamo na znižanje takso- nomske stopnje naloge (npr. Če učenec zapiše vzrok pojava namesto razlago vzroka pojava, preverjamo samo še miselne procese druge in ne več tretje taksonomske stopnje.). Poskusili bomo zapisati tudi bolj celovi- te primere pravilnih odgovorov v moderirana navodila za vrednotenje in z dodatnimi opombami pripomoči k kakovosti vrednotenja. [geografija v šoli] 2-3·2013 144 Aktualno Kljub nekaterim napakam in težavam pa si vsi učitelji ocenjevalci zasluži- jo pohvalo, saj so prvič vrednotili preizkuse znanja elektronsko. Po prvem letu izvedbe pa načrtujemo nekatere popravke v samem programu (npr. preimenovanje nekaterih ukazov). Največja sprememba pa bo ukinitev pisanja komentarjev. Nekateri učitelji geografi so pisali k vsakemu odgo- voru učenca komentar, kar je seveda pohvalno, toda preveč zamudno in nepotrebno. Komentarje bi morali pisati le v treh izrednih primerih (če je učenec obkrožil več rešitev od zahtevanih; če je učenec pravilnemu odgo- voru dodal nekaj, kar ni pravilno, ali če je bil odgovor pomensko enak že ovrednotenemu odgovoru). V prihodnje bo učitelj ocenjevalec lahko učen- cu pojasnil z znakom. Tako bodo učitelji ocenjevalci lahko prihranili čas. Na krajši čas vrednotenja pa bo verjetno vplivalo tudi nekoliko drugačno oblikovanje nalog v preizkusu znanja. Vsako vprašanje znotraj naloge bo oštevilčeno in bo tako omogočalo boljšo preglednost pri vrednotenju po nalogah. Predvidevamo, da se bo tako večje število učiteljev ocenjevalcev odločilo za hitrejši način vrednotenja. Spremembe bomo uvedli tudi v postopke vrednotenja, ki jih izvaja pred- metna komisija in pomočniki glavnega ocenjevalca. Cilj sprememb pa je izbor ustreznejših preizkusov znanja za vajo, standardizacijo in kontrolno vrednotenje. Predvidevamo, da bodo tako učitelji ocenjevalci pridobili bolj natančne usmeritve pred vrednotenjem in posledično bolj kakovostno vrednotili. Za vrednotenje bo namenjeno tudi nekaj več časa, zlasti za vnos popravkov. Podaljšali bomo tudi čas elektronskih vpogledov v preizkuse znanja in raz- bremenili šole pri izvedbi tega dogodka. Tudi v prihodnje pa bomo nadaljevali z različnimi oblikami izobraževanja tako za učitelje kot ravnatelje. Učiteljem vsako leto v Koloseju predstavljamo dosežke učencev pri pred- metih, ki so se preverjali v preteklem šolskem letu. Osvetljujemo nekatere novosti in opozarjamo na načrtovane spremembe, predvsem pa se nam zdi pomembno, da lahko slišimo mnenje učiteljev. Žal pa nas krčenje finančnih sredstev sili v razmišljanje o drugačnih oblikah izobraževanja. Verjetno bo priložnosti za opisana srečanja manj. Poskušali bomo poiska- ti primeren medij za posredovanja informacij in razmišljanj predmetnih komisij ter izmenjavo mnenj z učitelji. Le na podlagi posredovanih dodat- nih informacij o znanju učencev lahko učitelji opravijo analize dosežkov učencev na ravni šole in posameznika in tako podatke pretvorijo v povra- tne informacije o znanju, učenju in poučevanju. Pri analizi pa je ključna tudi pravilno interpretiranje podatkov in informa- cij. O tem smo v preteklosti izobraževali ravnatelje in tudi na tem področju imamo nekaj načrtov za prihodnje. Samo povprečni dosežek šole še nič ne pove o znanju učencev in o učnih procesih ter ne more biti merilo za uspešnost posameznikov ali šole. Da pa dosežki učencev na NPZ ne bi bili presenečenje, pripravljamo zbirko prejšnjih nalog v elektronski obliki, namenjeno učiteljem. Naloge [geografija v šoli] 2-3·2013 145 Aktualno bodo v primerni obliki, da jih bodo lahko učitelji natisnili in nespremenje- ne uporabili v katerikoli fazi učnega procesa. Lahko pa bodo naloge tudi dopolnjevali ali prilagajali. Poleg nalog bodo na voljo tudi rešitve in priloge ter, kot najpomembnejše, tudi edukometrični podatki. To pomeni, da bo lahko učitelj znanje učencev neposredno primerjal z dosežki učencev, ki so uporabljeno nalogo reševali v okviru nacionalnega preverjanje znanja. Torej za evalvacijo znanja in procesa učitelju geografije ne bo treba več čakati, da bo geografija izbrana v nabor tretjih predmetov in bo šola izbra- na v vzorec za preverjanje. Težave in pomanjkljivosti v znanju učencev bo učitelj lahko odpravljal med ali pa takoj po obravnavi učnih ciljev in tako verjetno tudi lažje načrtoval delo. 1. Bečaj, J., 2010: Kaj je nacionalno preverjanje znanja in kaj smo v Sloveniji do sedaj naredili. Interno gradivo. 2. Bečaj, J., 2008: Gradivo za pomoč pri analizi dosežkov nacionalnega prever- janja znanja. URL: http://www.mizs.gov.si/si/delovna_podrocja/direktorat_za_predsolsko_vzgo- jo_in_osnovno_solstvo/osnovno_solstvo/nacionalno_preverjanje_znanja/. 3. Državna komisija za vodenje nacionalnega preverjanja znanja (2005): Izhodi- šča nacionalnega preverjanja znanja. URL: http://www.ric.si/preverjanje_znanja/splosne_informacije/Izhodiščanacio- nalnega preverjanja znanja v osnovni šoli. 4. Izhodišča za pripravo nacionalnih preizkusov znanja v devetletni osnovni šoli. Strokovna posvetovalna skupina za pripravo nacionalnih preizkusov znanja v programu devetletne osnovne šole: Gradivo s posveta predmetnih komisij za pripravo nacionalnih preizkusov znanja, Postojna 2001. 5. Letno poročilo o izvedbi NPZ v šolskem letu 2007/2008, Državni izpitni center, Ljubljana 2008 6. Letno poročilo o izvedbi NPZ v šolskem letu 2010/2011, Državni izpitni cen- ter, Ljubljana 2011 7. Letno poročilo o izvedbi NPZ v šolskem letu 2012/2013, Državni izpitni center, Ljubljana 2013 8. Opisi dosežkov učencev 9. razreda in specifikacijske tabele preizkusov znan- ja, državni izpitni center, Ljubljana 2013. 9. Semen, E., 2013: Analiza anketnega vprašalnika_e-vrednotenje_učitelji_ GEO, Državni izpitni center, Ljubljana 2013. 10. Statistični podatki Državnega izpitnega centra. URL: http://www.ric.si/prever- janje_znanja/statisticni_podatki/. 11. Urank, M., 2013: NPZ_ob koncu 3. obdobja_redni rok 2013_statistični indeksi, Državni izpitni center, Ljubljana 2013. 12. Urank, M., Cankar, G., 2013: Grafične predstavitve dosežkov NPZ na ravni šole, Državni izpitni center; Ljubljana 2013. viri in literatura