Organizacija, letnik 38 Razprava številka 8, oktober 2005 Računalniško podprto preverjanje in ocenjevanje znanja Alenka Krapež1, Vladislav Rajkovič2 'Gimnazija Vič, Tržaška cesta 72, 1000 Ljubljana, alenka.krapez@guest.arnes.si 2Univerza v Mariboru, Fakulteta za organizacijske vede, Kidričeva 55a, 4000 Kranj, vladislav.rajkovic@fov.uni-mb.si V prispevku je izpostavljen pomen celostnega načrtovanja učnega procesa. Poudarek je na fazi preverjanja znanja, ko je ključnega pomena izbira ustreznih, merljivih kriterijev, ki omogočajo objektivno in razumljivo izvajanje preverjanja in ocenjevanja znanja. Predstavljen je tudi pomen razumevanja učnih ciljev za načrtovanje uspešnega učenega procesa. Opisano je, kako izbirati operativne cilje in kako kriterije za ugotavljanje stopnje doseganja operativnih ciljev ter katerim pogojem naj kriteriji ustrezajo, da bodo res pripomogli k uspešno izpeljanem učnem procesu. Predstavljen je tudi primer iz učne prakse: od določitve operativnih ciljev do modela za preverjanje in ocenjevanje seminarske naloge. Model je podprt z računalniškim programom za večparametrsko odločanje. Predstavljene so tudi izkušnje pri uporabi tega modela. Ključne besede: načrtovanje učno-vzgojnega procesa, cilji učno-vzgojnega procesa, preverjanje znanja, ocenjevanje znanja, kriteriji za preverjanje znanja, merila za preverjanje znanja, model za preverjanje in ocenjevanje znanja 1 Uvod Učni proces, ki ga grobo razčlenimo na uvajanje v novo snov, obravnavo le te, utrjevanje, preverjanje in na koncu ocenjevanje pridobljenega znanja, je celota. Vsako fazo učnega procesa sicer lahko proučujemo ločeno, vendar so med seboj neločljivo povezane in soodvisne. Ta odvisnost je zlasti očitna pri ocenjevanju in ugotavljanju kakovosti učenčevega znanja. Velik odstotek slabih rezultatov, hitro pozabljanje znanja, za katerega bi sicer iz nalog in odgovorov pri ocenjevanju sodili, da je globoko in osmišljeno, stiske učencev pred ocenjevanjem, ... so pojavi, ki bi se jim radi izognili. Pogosto so razlogi zanje prav neupoštevanje soodvisnoti omenjenih faz ali celo izpuščanje posameznih od njih. V učnem procesu si želimo vedoželjne učence, ki se aktivno, samoiniciativne trudijo za doseganje učnih ciljev. Pa vedo, za katere cilje naj si prizadevajo in kako? Ali razumejo kaj pomeni »uspešno doseči učni cilj«? Ali vedo, kje na poti do cilja so in kako lahko to sami ugotovijo? Znati »vse« je namreč nemogoče in narediti »najboljše« prav tako. Prispevek je razdeljen na dva dela. V prvem delu je izpostavljen pomen načrtovanja učnega procesa še posebej učnih ciljev in z njimi povezanimi razumljivimi in objektivno merljivimi kriteriji za preverjanje in ocenjevanje znanja. V drugem delu pa je predstavljen primer načrtovanja učnega procesa s poudarkom na predstavitvi modela za preverjanje in ocenjevanje znanja. 2 Pomen preverjanja znanja in ocenjevanja znanja Cilj neke gospodarske dejavnosti je kakovosten izdelek oziroma kakovostna storitev -zadovoljni odjemalci. To ji omogoča napredek in razvoj. Skrb za kakovost je izražena na različne načine: od stalnega preverjanja vseh faz procesa, preko merjenja odziva kupcev in seveda neprestanega izobraževanja zaposlenih. V uspešnih podjetjih potekajo vse te dejavnosti skrbno načrtovano z množicami povratnih informacij tako zaposlenim kot strankam. V dnevnem časopisju lahko zasledujemo prispevke o doseganju različnih standardov kakovosti v podjetjih (nagrade za poslovno odličnost, pridobitve standardov ISO 9000, ISO 9004-2, ISO 9000-2000). Tudi izobraževanje je dejavnost, kjer si prizadevamo za čim boljšo kakovost. V tem primeru gre za kakovostno pripravo učencev na življenje, kar v pretežni meri predstavlja v izobraževanem procesu pridobljeno trajno znanje vseh vrst. Pri tem mislimo na deklarativna in proceduralna znanja različnih področij, pa tudi meta znanje. Osnovni cilj preverjanja znanja je torej zagotavljanje kakovostnega znanja. Če želimo preverjati različne oblike in taksonomske ravni znanja je nujno uporabiti tudi različne oblike preverjanja znanja (Wiggins in McTighe, 1998) od klasičnih »testov« z vprašanji zaprtega tipa, preko različnih vrst esejev do samostojnih, avtentičnih nalog. S preverjanjem učitelj ugotavlja, kako učenec napreduje proti ciljem učnega procesa, katero raven je že dosegel, v 417 Razprava številka 8, oktober 2005 rese-tudi Organizacija, letnik 38 kolikSni meri je napredoval, kako obvladuje proces vanja problema in kako interpretira rezultate, pa kako sodeluje v skupini. Ključna pri preverjanju je povratna informacija tako za učitelja kot za učenca. S pomočjo analize rezultatov preverjanja lahko učitelj načrtuje nadaljnje aktivnosti za uspeSnejSe doseganje učnih ciljev, svetuje posameznim učencem kaj in kako izboljSati. Jasna, nedvoumna in ustrezno predstavljena povratna informacija pomeni za učenca vzpodbudo tudi v primeru, da je stopnja trenutno doseženega znanja nizka. »Premalo si se učil!« verjetno ni te vrste povratna informacija. Učenci pa ne bi smeli biti v procesu preverjanja le predmet opazovanja, tudi sami lahko ugotavljajo stanje svojega znanja ali izdelka in ga tako izboljSujejo. Za to so seveda potrebne ustrezno organizirane in predstavljene oblike preverjanja. Jasne povratne informacije ne moremo oblikovati, Se manj zmore učenec sam preverjati svoje znanje, če niso oblikovani jasni kriteriji in merila za vrednotenje. Ocenjevanje kot zadnja faza učnega procesa je le zaključni del preverjanja znanja. Gre za Stevilčno ali kako drugače izraženo oceno učenčevih učnih dosežkov. Zagotovo predstavlja želja po dobri oceni za učenca določeno stimulacijo za sodelovanje v učnem procesu, ko pa je enkrat dosežena, neposredno ne vzpodbuja izpopolnjevanje znanja na ocenjenem področju, ima pa različne druge vplive ne samo na učenca (Maretič Požarnik, 2000). Razumljivi kriteriji in merila zanje pa ponujajo možnost samostojnega napredovanja. Kot vse faze učnega procesa morata biti tudi preverjanje in ocenjevanje znanja skrbno načrtovana in v skladu z vsemi predhodnimi fazami (Marzano, 1997). Nemogoče ju je načrtovati samostojno, saj sta neposredno povezana s cilji, ki jih določa učni načrt, hkrati pa tudi neposredno vplivata na ostale faze. Najpomembneje pa je, da je načrtovanje vključno z izdelavo kriterijev in merili za preverjanje in ocenjevanje znanja zaključeno pred začetkom pouka. 2.1 Načrtovanje učnega procesa Karkoli že počnemo, počnemo z namenom doseganja kakega, lahko Se tako preprostega ali nenavadnega cilja. Bolj kompleksen cilj želimo doseči, bolj pomembna je njegova natančna opredelitev. Različne zapletene, večplastne probleme učinkovito reSujemo z metodo »razdeli in obvladaj«, zato kompleksne cilje razbijemo na manjSe, lažje opredeljive in tudi lažje dosegljive. Šele ko imamo jasno predstavo o ciljih, lahko začnemo načrtovati procese, s katerimi jih bomo dosegli. Seveda je potrebno pri načrtovanju procesov upoStevati danosti, v katerih jih želimo doseči. Pri načrtovanju učnega procesa izhajamo iz učnega načrta (UN). Ta določa sploSne cilje predmeta, s katerimi dosegamo globalne cilje določene vrste izobraževanja. V njem so poleg vsebin opredeljeni tudi cilji posameznih vsebinskih sklopov predmeta. Vsebine so dejansko v Operativni cilji Slika 1: Nacrtovanje ucnega procesa izhaja iz jasno opredeljenih ciljev funkciji doseganja zastavljenih ciljev. Del UN so tudi standardi znanj in specialno didaktična priporočila. Na osnovi tega lahko pripravimo za sklop oziroma za vsebinsko enoto načrt za učni proces. Izhajajoč iz sploSnih ciljev predmeta in ciljev določenega sklopa je smiselno najprej opredeliti operativne cilje, saj iz njih izhaja načrtovanje oblik in metod dela. Cilji pa postanejo v pravem pomenu besede operativni, ko določimo kriterije in merila, s katerimi lahko merimo stopnjo doseganja določenega operativnega cilja. Proces predstavlja Slika 1. Te kriterije in merila uporabljamo tako v procesu preverjanja kot v procesu ocenjevanja znanja. V njih je potrebno zajeti vse vidike različnih znanj, ki naj bi jih učenec pridobil, in upoStevati njihovo taksonomijo. V prispodobi lahko rečemo, da gre pri učnem procesu za potovanje z jasnim ciljem in vmesnimi postajami. Od potnika (učenca) je odvisno, katere bo obiskal. Vsaka naslednja obiskana postaja vliva dodatno zaupanje in orientacijo za dosego cilja. To bi moralo biti potniku zelo jasno predstavljeno. 2.2 Kriteriji za preverjanje in ocenjevanje znanja En od pomembnih vidikov priprave učnega procesa so učnim ciljem primerno izbrani kriteriji. Ker za osvajanje različnih vrst znanja uporabljamo različne metode poučevanja je naravno, da znanje tudi preverjamo na različne načine. Za vsakega od njih pa je potrebno oblikovati ustrezne kriterije. Dokaj objektivno merimo znanje pri pisnih nalogah, čeprav se to običajno omeji na Stetje pravilnih odgovorov. Marsikdaj, najpogosteje je to pri ustnem preverjanju, se zatečemo k intuitivnemu merjenju znanja. Sicer opazujemo kar nekaj kriterijev: prepoznavanje, razumevanje, natančnost, originalnost, hitrost, prepričljivost, ... brez sistematičnosti pa je tak način preverjanja preveč odvisen od trenutka. Nekega učenca za enako znanje ocenimo bolje v skupini slabSih učencev, kot bi ga, če bi bil v skupini boljSih, posamezen kriterij preprosto spre- 418 Organizacija, letnik 38 Razprava številka 8, oktober 2005 gledamo ali pa ga otežimo, ker se nam zdi v tistem trenutku pomembnejši. Problem objektivnosti se pojavi tudi pri vrednotenju različnih izdelkov in nalog esejskega tipa, seminarskih in projektnih nalogah. Na očitno pomanjkanje jasno in razumljivo predstavljenih ali celo postavljenih kriterijev kaže pripomba učenke: »Zadnjič sem dobila prav dobro, potem zadostno, danes pa dobro, pa ne vem, zakaj!« Kriterije opredelimo glede na operativne cilje in jih razvrstimo po pomembnosti, tako da jih na primer otežimo. Kot pri teoriji večkriterijskega odločanja, je tudi pri izbiranju kriterijev za preverjanje in ocenjevanje potrebno upoštevati načelo polnosti. To pomeni, da preverimo, da nismo spregledali kriterija, ki pomembno vpliva na stopnjo doseganja učnega cilja (Krapež in Rajkovič, 2003). Ko se osredotočamo na procesne cilje, je smiselno, da kriteriji presegajo okvir konkretnih vsebin. Pri informatiki bi bil tak kriterij na primer: »učenec pozna princip izbire oblikovnih ukazov besedila« in ne »učenec pozna ukaz za poravnavo odstavka«. Kriteriji morajo biti merljivi. Vsakemu določimo več ocenjevalnih stopenj - zalogo vrednosti. Ko kriterij vrednotimo, mu pripišemo eno od določenih vrednosti: npr. minimalno, dobro, optimalno ali pa nezadostno, zadostno, dobro, prav dobro, odlično. Kadar je kriterij pogoj za napredovanje, ima samo dve vrednosti npr.: ni dosežen, dosežen. Vsaka vrednost kriterija pa mora biti tako opisana, da lahko nedvoumno razlikujemo med njimi. Kriteriji se med seboj ne smejo prekrivati, saj bi tako imel isti kriterij na rezultat večkratni vpliv. Kriteriji in učni cilji morajo biti učencem razumljivo predstavljeni na začetku pouka, zapisani in javni (Ilc Rutar et al., 2000). S tem dosežemo, da se lažje osredotočijo na sam učni proces in imajo možnost sprotnega, tudi samostojnega preverjanja svojega znanja. Kriteriji so lahko predstavljeni v različnih oblikah: po alineah, v obliki tabel, raznih diagramov ali v obliki drevesa kriterijev. Učitelj pri izbiranju, strukturiranju oz. uteževanju kriterijev in določanju merskih lestvic ustvarja model za preverjanje in ocenjevanje znanja, ki dejansko pomeni model znanja, ki naj bi ga učenec po zaključenem učnem procesu usvojil. Dober model pomaga učitelju pri vodenju Razumljivo predstavljeni kriteriji T Slika 2: Nekaj fukcij razumljivih in jasno predstavljenih kriterijev učenca, pri preverjanju njegovega napredka in na koncu tudi pri utemeljevanju ocene. Slednje je lahko zlasti pri ocenjevanju kompleksnih nalog problem. Na tem mestu je smiselno poudariti razliko med kriteriji o katerih je govora v tem članku in točkovniku, ki mora biti sestavni del vsake pisne naloge. Jasno opisani kriteriji pomagajo učitelju pri vodenju učenca, pri preverjanju njegovega napredka in na koncu tudi pri utemeljevanju ocene upoštevaje različne vrste znanja, ki naj bi jih učenec usvojil in stopnje do katerih jih je usvojil (Slika 2). Poleg tega omogočajo analiziranje dosežka po več dimenzijah oziroma kriterijih, večjo zanesljivost in sistematič-nost. Točkovnik pa je pripomoček pri izražanju ocene učenčevih dosežkov s številkami. Kdaj preverjamo, kdaj ocenjujemo V dobri praksi je zgornje vprašanje zgolj retorično. Pri sodobnem procesno orientiranem pouku je preverjanje znanja prisotno ves čas učnega procesa. Učitelj preveri predznanje učencev, da lahko načrtuje aktivnosti za doseganje ciljev nove učne enote, vmesno preverjanje pomaga njemu in učencem, da se osredotočajo na tiste dele, kjer kriteriji niso zadovoljivo izpolnjeni. Zaključno preverjanje pa je marsikdaj le še v funkciji »psihološke« priprave na ocenjevanje ali zadnja prilika za izpopolnjevanja znanja. Pri tako izpeljanem učnem procesu je samo ocenjevanje zgolj potrebna formalnost. Seveda pa k motiviranju učenca za sodelovanje v učnem procesu nujno sodi tudi ozaveščanje o odgovornosti, ki jo nosi vsak učenec za gradnjo lastnega znanja. K temu pa pripomoremo tudi z jasnimi učnimi cilji in razumljivimi kriteriji in merili. Nedvomno je prijetneje in z dosti več motivacije hoditi na goro, ko imamo jasen načrt kako do cilja, kot pa tavati proti nečem, za kar se zdi, da se neprestano odmika. 3 Primer: Model za preverjanje in ocenjevanje znanja Za doseganje boljše kakovosti podjetja v svoje procese vključujejo najnovejša tehnološka dognanja. Mednje zagotovo sodi informacijsko komunikacijska tehnologija (IKT). V precejšnji meri se tega zavedamo tudi v šolah. Možnosti na področju simulacije in večpredstavnosti se izkoriščajo za nazornejši pouk. Možnosti iskanja virov, možnosti različnega preoblikovanja vseh vrst podatkov in komunikacijske možnosti nudijo prilike za aktivno delo učencev. Bistvenega pomena je le smiselno umeščanje uporabe IKT v učni proces in njena ustvarjalna uporaba (Newton, 2000; Nilsson, 1998). Ena takih smiselnih in ustvarjalnih uporab se nudi na področju (Krapež in Rajkovič, 2003) preverjanja in ocenjevanja znanja. IKT omogoča, da izdelamo za vsako vrsto preverjanja in ocenjevanja znanja računalniški model, ki ni nič drugega kot pregleden zapis kriterijev, kjer se jasno vidi njihova hierarhija in medsebojni vplivi. Prav tako IT omogoča, da so merske lestvice razumljivo opredeljene in pojasnjene, in nudi razlago vrednotenja znanja - ocene. 419 Organizacija, letnik 38 Razprava številka 8, oktober 2005 V nadaljevanju je predstavljen model za preverjanje in ocenjevanje znanja za Tehnologije znanja pri predmetu informatika. Za lažje razumevanje konkretnega primera so predstavljeni tudi cilji, ki jih preverjamo in ocenjujemo s pomočjo tega modela. Gre za model podprt z računalniškim programom za večparametrsko odločanje DEXi. 3.1 Od splošnih ciljev v UN do preverljivih ciljev - predmet Informatika, modul: Tehnologije znanja V UN za informatiko je med splošnimi cilji zapisan tudi cilj, »da dijaki in dijakinje spoznavajo pomen tehnologij znanja in njihove uporabe pri reševanju problemov«. Ta cilj lahko dosežejo pri temi Tehnologije znanja, pri predmetu Informatika, ki je načrtovan za drugi letnik gimnazije. Operativni cilji te teme so, da dijak oz. dijakinja: ■ pozna različne vrste tehnologij znanja, ■ razloži mesto in vlogo tehnologij znanja ter opredeli osnovne pristope k upravljanju z znanjem, ■ razloži pomen modeliranja in simulacije pri reševanju problemov, ■ našteje in razloži faze odločitvenega procesa, ■ uporabi in, skladno zahtevam, spremeni že zgrajen odločitveni model, ■ razlikuje med temeljnimi metodami odločanja (abacon, preglednica, lupina ekspertnih sistemov) in opredeli njihove lastnosti; za dani primer izbere najustreznejšo in izbiro utemelji, ■ zgradi večparameterski odločitveni model za preprost odločitveni problem, ovrednoti variante in analizira rezultat vrednotenja z uporabo računalniškega programa za večparametrsko odločanje in po analizi kaj-če utemelji končno odločitev. Zlasti doseganje zadnjih ciljev, ki sodijo v najvišje taksonomske ravni in dejansko predstavljajo vse-živ-ljenjska znanja, je smiselno preverjati in ocenjevati s pomočjo kompleksne projektne naloge (Krapež in Rajkovič, 2003). Za nalogo morajo dijaki izpeljati celoten odločitveni proces z različnimi metodami odločanja in ga dokumentirati. Zato, da dijakom čimbolj približamo učno snov, je izbira odločitvenega problema prepuščena njim. Izbirajo najrazličnejše probleme, ki zadevajo njih same ali njihove družine. Tako postanejo naloge aktualne za vsakega posameznega dijaka. Precejšen del učnega procesa tako poteka ob izdelavi modelov. Skupne so metode odločanja in zakonitosti odločitvenega procesa. Za izdelavo poročila so pripravljena natančna navodila. 3.2 Model za preverjanje in ocenjevanje znanja Preden začno dijaki načrtovati projektno nalogo jim natančno predstavimo navodila in računalniški model za preverjanje in ocenjevanje, ki razvrsti naloge v pet skupin glede na to, kako dosegajo predpisane cilje. Razlaga modela pomeni razlago kriterijev in merskih lestvic posameznih kriterijev ter vpliv posameznega kriterija na razvrstitev naloge. Model je na razpolago tudi na spletni strani in ga lahko dijaki sami uporabijo, kadar želijo. Razvrstitev, ki jo opravi program na osnovi modela, pa pomeni dejansko oceno za trenutni izdelek. Model je narejen s pomočjo programa za večparame-trsko odločanje DEXi (Jereb in Bohanec, 2003) z isto metodologijo in tehnologijo, kot jo morajo učenci usvojiti v tem sklopu. Tako nastopa v dvojni funkciji: kot instrument za ocenjevanje in kot vir znanja, ki se ocenjuje. Vsako ocenjevanje je odločanje o tem, v katero skupino bomo razvrstili izkazano znanje. S tem modelom skušamo doseči, da je ocena čimbolj objektivna in utemeljena. Tako kot velja za katerikoli avtomatiziran proces odločanja, je tudi v tem primeru odgovoren za končno odločitev človek - učitelj. Model je le pripomoček. V sam proces pa je zaželeno vključi tudi učence. Pri oblikovanju osnovnih kriterijev za ocenjevanje predstavljenega odločitvenega modela preverjanja in ocenjevanja znanja so v času poskusnega izvajanja tega vsebinskega sklopa sodelovali učitelji desetih srednjih šol. Kriteriji, njihova struktura in zaloge vrednosti Pri pripravi modela smo glede na zastavljene učne cilje podrobno zapisali vse kriterije, s katerimi lahko zasledujemo doseganje učnih ciljev. Potem smo jih struktu-rirali v smiselne skupine v drevo kriterijev, ki ga prikazuje slika 3. Strukturiranje kriterijev pomaga pri ugotavljanju, ali se kriteriji podvajajo in če kateri od pomembnih manjka. Hkrati pa tako nastaja semanti~ni zapis znanja nekega področja, v našem primeru znanja o učnih ciljih, katerih doseganje želimo ovrednotiti. Slika 3: ""Velika slika" sestave ocene Koren drevesa kriterijev (slika 3: »Velika slika« sestave ocene), Ocena poročila, sestavljata dva sestavljena kriterija: Vsebinski del in Pisna predstavitev. Slika 4: Struktura kriterija Pisna_predstavitev 420 Razprava številka 8, oktober 2005 Organizacija, letnik 38 Pisna predstavitev je sestavljena iz osnovnega kriterija Jezik, pri katerem upoštevamo pravilno rabo knjižnega jezika, in Oblika, ki ga sestavljajo kriterij Naslovnica, Viri in sestavljen kriterij Tehnični elementi.Ta kriterij pa določajo osnovni kriteriji: Kazala, Poglavja in Glava/Noga. Vsi ti elementi so potrebni za dobro pisno poročilo. Vsak kriterij konkretne naloge je opisan z eno izmed vrednosti, ki so določene v modelu kot zaloga vrednosti določenega kriterija. Vrednosti kriterijev so opisne. Kriterij Naslovnica lahko na primer ocenimo z nesprejemljivo ali sprejemljivo ali odlično. Nesprejemljivo pomeni, »da naslovnice ni ali manjka naslov ali podnaslov ali avtor ali učitelj ali je nepregledna«. Na K rite rij_ Ocena poročila -Vsebinskidel -Opisi Opis_odl_probl -OpisProblern -OpisCilji LOp isO dl_skup in a 0 Kriteriji —Op isKrrte rijev -Izločitven ¡Kriterij LOpisVrednostiKr '-Variante ^OpisVariant LSteviloVar -Model -M_Kriteriji SteviloKrit Ortogonalnost Polnost Krit D revo_kriterijew -Ravni —Vsebinski_v idik L-Tehnicni_vidik Zaloge Hzbira_zalog *-St_v rednost i SAnalizavrednotenja Kaj-ce bElernent_kajCe '-Razlaga_kajCe LUtemeljitev_ocen Utemelj_Posam Utemelj_ Najbolj Utemelj_Koncne Pisna_predst I—Jezik '-Oblika Tehnicni_e -Kazala -Poglavja Lglava/noga -Naslovnica ■-Viri Opis_ Ocena poročila o odločitvenem procesu pri informatiki ... odločitvenega problema; elementi: cilji odločitve, posledice, odi. skupina Predstavitev problema in okoliščin,v katerih gaje potrebno rešiti Opis ciljev in posledic odločitve Predstavtev odločitvene skupine in pomena posameznih članov Opis kriterijev Utemeljitev (ne)obstoja izločitvenega kriterija Opisi posameznih vrednosti Z navodili za nalogo predpisano število varjant Odločitveni model Izbor kriterijev koliko kriterijev je v modelu - upoštevanje navodil Se kriteriji pomensko prekrivajo? Ali manjka pomemben kriterij za doseganje zastavljenih ciljev? na koliko ravni je strukturirano - navodila z analogo Vsebinski vidik strukturiranja - doprinos k razumljivosti modela Upoštevanje omejitev izbrane metode Ustreznost zalog vrednosti Upoštevanje naravnih merskih lestvic, smiselnost izbire K|0|k|j..vrednosti je za posamezni kriterij, glede na raven v drevesu kriterijev in Uporaba analize kaj-ce izbira primernega elementa za kaj-ce analizo Obrazložitev rezultata Utemeljitev ocene posamezne variante utemeljitev najboljše variante pred kaj ce analizo Razlaga koncene izbire po kaj ce analizi Oblika pisne predstavitve Pravilna raba knjižnega jezika Fizični izgeled, tehnica izdelava Upoštevanje tehničnih elementov Ali so vstavljena kazala za vsebino, slike in stvarno kazalo Ali je dijak(inja) v poročilu upoštevala oblikovanje poglavij s slogi Ali poročilo vsebuje glavo/nogo in številčenje strani Izgled naslovnice v poročilu so navedeni viri Slika 5: Izpis programa DEXi: celotno odločitveno drevo z opisi kriterijev tak način je opisana vsaka vrednost, ki jo lahko določimo posameznim kriterijem. Vsaka vrednost je opisana tako, da je opisovanje kriterijev čimbolj objektivno. Program, v katerem je model narejen, omogoča med drugim tudi izračun povprečnih uteži kriterijev. Povprečnih zato, ker metoda odločanja, ki temelji na tehnologiji ekspertnih sistemov omogoča, da se pomembnost kriterija spreminja glede na njegovo vrednost, kar je pogosto v realnem svetu. Kriterij Vsebinski del predstavlja v modelu približno tri četrtine končne ocene (slika 6). Sestavljajo ga trije sestavljeni kriteriji: Opisi, Model in Analiza_vred-notenja. Kriterij Opis določajo kriteriji: Opis_odl_probl, O_Kriteriji in Variante. Kriterij Opis ocenjuje kakovost opisov odločitvenega problema, kriterijev po katerem naj bi odločitveni problem reševali, ciljev, ki jih želimo z rešitvijo dose- 421 Organizacija, letnik 38 Razprava številka 8, oktober 2005 Slika 6: Struktura kriterija Vsebinski del či, in samih variant, ki nastopajo v odločitvenem problemu. Opisi so za pripravo odločitvenega modela izjemno pomembni. Dobri opisi pomenijo, da je učenec o odločitvenem problemu temeljito razmislil in ga proučil, kar je predpogoj za dober odločitveni model in na koncu za optimalno rešitev. Povprečna lokalna utež za Opis je v modelu 21%. Pri kriteriju Opis_odl_probl upoštevamo osnovne kriterije OpisProblem, OpisCilj in OpisOdl_skupina. Kriterij O_Kriteriji določajo osnovni kriteriji OpisKriterijev, IzlocitveniKriterij in OpisVrednostiKr. Posebej izpostavimo IzlocitveniKriterij. Ta predstavlja razumevanje pomena izločitvenega kriterija in hkrati tudi razumevanje lastnega odločitvenega modela. Opis mora biti namreč skladen tudi z modelom, ne le s predstavami dijaka o problemu. Zaloge vrednosti so v tem primeru: slabo, sprejemljivo, dobro. Slednje pomeni: »predstavljen je pravi izločitveni kriterij, ki ga izkazuje tudi model, ali pa je zapisano, da ne obstaja«. Kriterij Variante pa je sestavljen iz OpisVariant in SteviloVar. Kriterij Model je sestavljen iz kriterijev M_Kriteri-ji, Drevo_kriterijev in Zaloge. Ta kriterij ocenjuje kakovost izdelanega modela.V njem se odraža stopnja usvojenega tehnološko-meto-dološkega znanja, tako deklarativnega kot proceduralnega s področja odločitvenih procesov in uporabe metod umetne inteligenca na tem področju. Kaže se v upoštevanju omejitev uporabljene metode odločanja. Poleg tega upošteva, kako so kriteriji izbrani ali se pomensko pokrivajo ali kateri od kriterijev, ki lahko pomembno vplivajo na odločitev, manjka. Upošteva tudi način strukturiranja kriterijev in ali so izbrane ustrezne zaloge vrednosti za posamezni kriterij. Zaloge vrednosti odločajo o občutljivosti modela in pripomorejo k večji razumljivosti in s tem lažjemu opisu variant ter preglednejši analizi rezultatov. Dodali smo administrativno omejitev najmanjšega števila kriterijev in najmanjše globine drevesa kriterijev kot pomoč pri doseganju osnovne zahtevnostne ravni odločitvenega modela. Povprečna lokalna utež za kriterij Model je v modelu 46%. M_Kriteriji so sestavljeni iz SteviloKrit, Ortogo-nalnost in PolnostKriterijev. Drevo_kriterijev sestavljajo Ravni, Vsebin-ski_vidik in Tehni~ni_vidik. Za ta del drevesa kriterijev navajamo zaloge vrednosti za kriterij Vsebinski_vidik: slabo, zadovoljivo, dobro. Slednje pomeni: »povezovanje olajša razumevanje problema«. Kriterij Zaloge je sestavljen iz Izbira_zalog in Št_vrednosti. Analizo_vrednotenja sestavljata kriterija Kaj-~e in Utemeljitev_ocen. S pomočjo tega kriterija ocenjujemo kako učenec analizira variante, argumentira oceno in končno izbiro oziroma odločitev, smiselnost izbire elementa za analizo kaj-če in pravilnost uporabe te analize. Povprečna lokalna utež za kriterij Analizo_vrednotenja je v modelu 33%. Kriterij Kaj_~e sestavljata kriterija Element_kajCe in Razlaga_kajCe. Utemeljitev_ocen pa sestoji iz Utemelj_Posam, Utemelj_Najbolj in Utemelj_Koncne. Zaloga vrednosti za kriterij Utemelj_Koncne je: neustrezno, ustrezno. Ocena ustrezno pomeni »z rezultati utemeljena razlaga končne izbire; grafično podprto«. Če je ocenjen ¡n Vsebinski del če je ocenjena ■ Pisna predst Ocena poročila 72% 28% 1 nesprjemljivo 2 <=komaj sprejemljivo * nesprjemljivo 1 1 3 kornaj sprejemljivo 4 komaj sprejemljiv o: sprejemljiv o 5 sprejemljivo 6 odlično >=kornaj sprejemljivo komaj sprejemljivo <=kornaj sprejemljivo nesprjemljivo 2 2 2 2 7 sprejemljivo 8 dobro >=sprejemljivo nesprjemljivo 3 3 9 dobro 10 >=dobro komaj sprejemljivo:sprejemljivo komaj sprejemljivo 4 4 11 >=dobro >= dobro S 12 odlično >=sprejemljivo S Slika 7: Izpis programa DEXi: Tabela odlo~itvenih pravil za Oceno poro~ila 422 Organizacija, letnik 38 Razprava številka 8, oktober 2005 Pri tako izbranih in strukturiranih kriterijih pri preverjanju kot tudi na koncu pri ocenjevanju ne moremo izpustiti nobenega za odločitveni proces pomembnega koraka. Zaloga vrednosti za Oceno poročila je kar številska lestvica, ki jo uporabljamo za ocenjevanje, in pomeni oceno: nezadostno (1), zadostno (2), dobro (3), prav dobro (4), odlično (5). Funkcije koristnosti Funkcije koristnosti določajo medsebojni vpliv kriterijev na vrednost nadrednega kriterija. Določene so v obliki tabele za vse možne kombinacije vrednosti po-drednih kriterijev. Program DEXi ob določitvi vsaj dveh odločitvenih pravil ob upoštevanju nastavljenih uteži sam izračuna vrednost agregirane funkcije. V tem primeru so uteži konstantne. Vendar je v večini primerov smiselno upoštevati, da je teža posameznega kriterija odvisna od njegove vrednosti. V drevesu kriterijev za Oceno poročila imamo šestnajst tabel odločitvenih pravil. Slika 4 prikazuje odločitveno tabelo za Oceno poročila, slika 5 pa tabeli odločitvenih pravil za sestavljena kriterija M_kriteriji in Drevo kriterijev. Funkcije koristnosti so določene za vsak nadredni (sestavljeni) kriterij. V primeru, da je vrednost kriterija Vsebinski del »nesprejemljivo«, je ne glede na vrednost kriterija Pisna predstavitev Ocena poročila »nezadostno (1)«,kar razberemo iz prve vrstice tabele na sliki 7. Če je Pisna predstavitev »nesprejemljiva«, mora biti vrednost za Vsebinski del manj ali enako »komaj sprejemljivo«, da je Ocena poročila »nezadostno (1)« (druga vrstica tabele na sliki 7). Oceno »odlično (5)«, pa model priredi Oceni poročila takrat, ko sta oba podredna kriterija ocenjena z vsaj »dobro« ali pa, ko je kriterij Vsebinski del ocenjen z »odlično«, Pisna predstavitev pa vsaj s »sprejemljivo« (enajsta in dvanajsta vrstica tabele na sliki 7). SteviloKrit Ortogonalnost PolnostKrit M Kriteriji 14% 43% 43% 1 * slabo * neustrezno 2 * * slabo neustrezno 3 slabo dobro dobro sp re jenriljiv o 4 dobro dobro dobro odlično Ravni Vsebinski vidik Tehnični vidik Drevo kriterijev 27% 33% 40% 1 slabo <=zadovoljlvo <=slabo slabo 2 * slabo * slabo 3 * + neustrezno slabo 4 slabo >=zadovoljlvo dobro sprejemljivo 5 slabo dobro >=slabo sprejemljivo 6 * dobro slabo sprejemljivo 7 dobro >=zadovoljjvo slabo sprejemljivo 8 dob ro >=zadovolilvo dobro odlično Slika 8: Izpis programa DEXi: Tabeli odločitvenih pravil za M_kriteriji in Drevo kriterijev V modelu nastopajo naslednji izločitveni kriteriji: Ortogonalnost, PolnostKrit, Vsebinski _vidik in Tehnič- ni_vidik. Vsi sestavljajo kriterij Model, ki sestavlja kriterij Vsebinski del. Čim je en od teh osnovnih kriterijev oziroma listov ocenjen z najslabšo možno vrednostjo, je Ocena poročila tudi ocenjena z najslabšo vrednostjo. Izkušnje pri uporabi modela S tem modelom smo v prvih dveh letih (š.l. 2001/02, 2002/03) uporabe preverjali in na koncu tudi ocenili znanje 128 dijakov. Dijaki so uporabljali model med nastajanjem projektne naloge. Pri tem so sproti odpravljali pomanjkljivosti. Pred ocenjevanjem samim so analizirali vrednotenje poročila programa skupaj z učiteljem in imeli priliko odpraviti še preostale napake in pomanjkljivosti. Model kot pripomoček uporabljamo v treh fazah učnega procesa: pri ponavljanju in utrjevanju, pri preverjanju in ocenjevanju. Model smo objavili in ga v preteklem šolskem letu dopolnili (učitelji, ki so se z modelom seznanili na spletu in študijskih skupinah so predlagali, da dodamo kriterij Viri). Programska oprema javna, model pa je zelo preprosto ne le uporabiti ampak tudi spremeniti glede na trenutne potrebe. Ankete, s katerimi ugotavljamo kakovost pouka, so pokazale, da dijaki temo Tehnologije znanja sprejemajo kot smiselno in uporabno učno snov. Povprečna ocena projektnih nalog je 4,3. Dragocenejše kot pozitivni rezultati analiz pa so spontani odmevi dijakov, ki leto dni ali več po pouku sporočijo, kje in kako so uporabili v šoli pridobljeno znanje v vsakdanjem življenju. Prepričana sem, da na trajnost znanja vpliva ne le avtentična naloga, ki miselno zagotovo bolj zaposli dijaka kot šolski primeri, ampak tudi dejstvo, da so zaradi jasnih kriterijev vsi, ki so hoteli, zaključili nalogo z uvrstitvijo v najvišji ocenjevalni razred. 4 Zaključek 5 teorijami v zvezi z učno-vzgojnim procesom bodoče učitelje seznanijo v času študija. Kot za vsako teorijo velja tudi za te, da je potrebno za dobro prasko precej več kot le njihovo poznavanje. Vendarle pa dobro obvladovanje teorij in njihovo nadgrajevanje omogoča praktiku obvladovanje vsakršnih učno-vzgojnih situacij. Ena od najbolj kočljivih je prav faza ocenjevanja. Upoštevanje predstavljenega omogoča, da se izognemo stresnim situacijam tako za dijake kot za učitelje. Izkoriščanje možnosti, ki jih nudi sodobna IKT na področju preverjanja in ocenjevanja, pa pomeni olajšanje dela pri načrtovanju učno-vzgojnega procesa, tako pri sami zasnovi, kot nadgrajevanju. Predstavljeni model za ocenjevanje seminarske naloge je objavljen na spletnem naslovu: http://193.2.145.130/predmeti/gradiva/HTML-ji/oce-na_porocila.zip. Učitelj ga lahko prilagodi tako svojemu načinu poučevanja, kot načinu ocenjevanja. Gre preprosto zato, da so kriteriji ocenjevanja jasno in pregledno zapisani, da se vidi njihov medsebojni vpliv in način merje- 423 Organizacija, letnik 38 Razprava številka 8, oktober 2005 nja posameznih kriterijev. To pa omogoča, da pri posamezniku ne spregledamo katerega od pomembnih elementov, dijakom pa, da se res osredotočijo na bistvo učne snovi. Literatura Ilc Rutar, Z. et al, (2000) Gradivo za seminar in projekt nova kultura preverjanje znanja, Zavod RS za šolstvo, Ljubljana. Informatika, učni načrt (1998) Nacionalni kurikularni svet, MZŠŠ, Ljubljana. Jereb, E., Bohanec, M., Rajkovič, V. (2003) DEXi - uporabniški priročnik, Moderna organizacija, Kranj. Krapež, A. (2004) Preverjanje in ocenjevanje znanja - nepogrešljiva dela celote. Kaj pa kriteriji?, Preverjanje in ocenjevanje, 1/02/03, 89-93. Educa, Nova Gorica. Krapež, A., V.Rajkovič (2003) Tehnologije znanja pri predmetu informatika: vodnik za izpeljavo sklopa tehnologije znanja, ZRSŠ, Ljubljana. Krapež, A., V.Rajkovič (2003) Zbornik 8. mednarodne izobraževalne računalniške konference MIRK 2003 Večkriterijski model ocenjevanja učenčeve projektne naloge, Piran, pp. 261-265, Ljubljana: MŠZŠ, ZRSŠ, Ljubljana. Marentič Požarnik, B. (2000) Psihologija učenja in pouka, DZS, Ljubljana. Marzano R.J. et al.(1997) Dimensions of Learning, ASCD, Alek-sandrija. Newton, D.P. (2000) Teaching for Understanding, Rutledge Flamer, London. Nilsson, J.N. (1998) Artificial Intelligence: A New Synthesis. San Francisco, Morgan Kaufmann Pub. Inc. San Francisco. Wiggins, G., J. McTighe (1998) Understanding by Design, ASCD, Aleksandrija. Alenka Krapež je diplomirala na Fakulteti za elektrotehniko Univerze v Ljubljani, podiplomski študij je končala na Fakulteti za računalništvo in informatiko Univerze v Ljubljani. Poučuje informatiko in je pomočnica ravnateljice na Gimnaziji Vič. Sodelovala je pri prenovi predmeta leta 1994, bila pa je tudi članica kurikularne komisije za računalništvo in informatiko v zadnji prenovi slovenskega osnovnega in srednjega šolstva. Med drugim je zdaj glavna ocenjevalka republiške predmetne komisije za informatiko, zunanja članica predmetne skupine za računalništvo in informatiko na Zavodu za šolstvo RS. Sodeluje v različnih projektih ZZŠ RS za dvig informacijske ravni slovenskih šol. in sodeluje v različnih slovenskih in mednarodnih projektih za boljšo šolo. Vladislav Rajkovič je redni profesor in predstojnik Laboratorija za odločitvene procese in ekspertne sisteme na Fakulteti za organizacijske vede Univerze v Mariboru ter raziskovalni sodelavec Odseka za inteligentne sisteme Instituta »Jožef Stefan«. Njegovo področje so računalniško informacijski sistemi, s posebnim poudarkom na uporabi metod umetne inteligence v procesih odločanja ter vzgoje in izobraževanja. Že vrsto let sodeluje pri informatizaciji slovenskih šol. 424