CC = 2227
UDK = 37.015.3:37.091.33(094.3)
Psihološka obzorja / Horizons of Psychology, 23, 54-56 (2014) © Društvo psihologov Slovenije, ISSN 2350-5141
Novi doktorati
Predstavitev doktorske disertacije "Metodološka in vsebinska primerjava modelov ocenjevanja znanja pri maturitetnih
esejih iz slovenščine" (dr. Sonja Čokl)
Valentin Bucik*
Oddelek za psihologijo, Filozofska fakulteta, Univerza v Ljubljani
Presentation of the doctoral dissertation "Methodological and content comparison of models of knowledge assessment in essays in Slovene language at Slovene secondary school final
examination" (Sonja Čokl, PhD)
Valentin Bucik
Department of Psychology, Faculty of Arts, University of Ljubljana, Slovenia
Ključne besede: matura, eseji, ocenjevanje, veljavnost, slovenščina, recenzije
Key words: Slovene secondary school final examination , essays, Slovene language, assessment, validity, reviews
Čokl, S. (2013). Metodološka in vsebinska primerjava modelov ocenjevanja znanja pri maturitetnih esejih iz slovenščine (neobjavljena doktorska disertacija). Ljubljana: Univerza v Ljubljani, Filozofska fakulteta, Oddelek za psihologijo (COBISS.SI ID 273066496)
Mag. Sonja Čokl, profesorica slovenščine in angleščine, je na Filozofski fakulteti (FF) Univerze v Ljubljani (UL) pred komisijo v sestavi red. prof. dr. Boža Krakar Vogel z Oddelka za slovenistiko FF UL, izr. prof. dr. Cveta Razdevšek Pučko s Pedagoške fakultete UL, v pok. in red prof. dr. Valentin Bucik z Oddelka za psihologijo FF UL uspešno zagovarjala doktorsko disertacijo z naslovom »Metodološka in vsebinska primerjava modelov ocenjevanja znanja pri maturitetnih esejih iz slovenščine«, ki jo je opravila ob mentorstvu red. prof. dr. Valentina Bucika. Kolegica je bila zadnjih triintrideset let zaposlena na Gimnaziji Bežigrad, kjer je 18 let poučevala tudi v programu mednarodne mature. Ob uvedbi mature je prek Zavoda RS za šolstvo vodila pedagoške delavnice za profesorje slovenščine v pripravah na maturo. Bila je tudi vključena v projekt zavoda Nova kultura preverjanja in ocenjevanja znanja, nato pa na Državnem izpitnem centru zasnovala in izvedla raziskavo o primerjavi različnih vrst kriterijev za ocenjevanje maturitetnih esejev. Kot zunanja ocenjevalka dela tudi pri ocenjevanju maturitetnih esejev iz slovenščine. Objavila je vrsto odmevnih strokovnih člankov in drugih del na temo poučevanja slovenščine, taksonomije znanja in ocenjevanja.
Po vsebini lahko disertacijo v širšem smislu umestimo na presek med književnost in družboslovno metodologijo ter teorijo merjenja zahtevnih in večplastnih psiholoških konstruktov kot je znanje. V ožjem smislu pa jo lahko umestimo predvsem na področje teorije in prakse psihološkega merjenja in merskih lastnosti (zlasti objektivnosti, zanesljivosti in še posebej veljavnosti) ter poučevanja slovenske književnosti ter priprave in izvedbe verodostojnega (smotrnega in do dijakov pravičnega) sistema ocenjevanja znanja pri kompleksnih enotah kot je maturitetni esej iz slovenščine, tako razpravljalni kot tudi razlagalni oz. interpretativni.
Avtorica v izhodišče svoje raziskovalne teze postavi pogled, po katerem problematizira obstoječi način ocenjevanja maturitetnih esejev iz slovenščine, ki je pri splošni maturi v veljavi od njene uvedbe v letu 1995. Uvodno vprašanje, kako čim bolj pravično oceniti maturitetne eseje iz slovenščine, se je oblikovalo v skladu s sodobnimi pojmovanji
*Naslov/Address: red. prof. dr. Valentin Bucik, Oddelek za psihologijo, Filozofska fakulteta, Univerza v Ljubljani, Aškerčeva 2, 1000 Ljubljana, e-pošta: tine.bucik@ff.uni-lj.si
ocenjevanja kompleksnih vsebin znanja in na podlagi nekaterih pomanjkljivosti obstoječega načina ocenjevanja pri slovenski splošni maturi (npr. prenizko ocenjeni slabši in srednji eseji ter previsoko ocenjeni bolj ši eseji, hkrati pa nizko število odličnih ocen; premajhna zastopanost višjih taksonomskih ravni, primerljivih z merili v nekaterih evropskih deželah - npr. problemski pristop k naslovnemu vprašanju in samostojno razvijanje koherentnega besedila; izenačevanje ocen za preproste obnove in bolj poglobljene razčlembe; odštevanje istega števila točk za jezik kljub različnemu številu napak v eseju; neskladnost ocen med prvim in ponovljenim ocenjevanjem; neskladnost ocen za isti esej med več ocenjevalci; neustrezno določanje končnega razreda ocen esejev in podobno).
Ocenjevanje maturitetnih esejev iz slovenščine je sestavni del razvojno naravnane splošne mature, katere eden od ciljev je doseganje višjih spoznavnih ravni znanja, poleg tega pa korektno ter za dijake pravično ocenjevanje in primerljivost s tujimi izpiti te vrste. Že pred več kot desetimi leti so se pojavile prve strokovne kritike ocenjevanja esejev, prav tako so bile predlagane nekatere rešitve, vendar se način ocenjevanja od uvedbe splošne mature do danes ni bistveno spremenil. Ocenjevanje zahtevnih ter na prvi pogled manj strukturiranih besedil je resen metodološki problem, kjer mora predlagatelj ustreznega modela ocenjevanja predvideti tako strokovne parametre same vsebine besedila kot tudi pedagoške in psihološke momente, ki so pri preverjanju in ocenjevanju znanja ključni, če hočemo znanje meriti res kakovostno in celovito. Predvsem gre za upoštevanje različnih ravni kognitivnih procesov, ki se odvijajo pri izkazovanju znanja, oziroma različnih taksonomskih ravni znanj, ki se jih pričakuje pri posameznih vsebinah znanja (na primer pri razumevanju, razpravljanju, razlaganju oziroma interpretiranju in sporočanju o književnem delu) kot tudi zanesljivost, veljavnost, občutljivost oziroma razločljivost, zlasti pa pravičnost ocenjevanja, gledano z očmi avtorja ocenjevanega izdelka. Glede na nekatere resne strokovne kritike je prišel čas, ko si obstoječi model ocenjevanja zasluži temeljito primerjalno analizo ter soočenje z drugimi, alternativnimi modeli ocenjevanja. Na nekatere pomanjkljivosti sedanjega načina ocenjevanja maturitetnih esejev opozarja več avtorjev, in sicer, da je ocena preveč subjektivna (saj nastaja kot ocenjevalčev celosten vtis procesiranja tujega besedila, v katerega vnaša svojo vednost, vrednote, predstave itd.), da obstoječi način kandidatov ne spodbuja k samostojnemu razmišljanju, utemeljevanju in izvirnosti ubeseditve, da ocenjevanje izhaja iz točk, ki jih kandidat dobi na podlagi čim popolnejšega upoštevanja esejskih navodil, da je pri kandidatih potrebno poleg obsega in globine znanja znati razlikovati njihovo razvitost bralne kulture, ki temelji na različnih strategijah dialoga z besedilom in podobno. Čeprav so argumenti v prid obstoječemu modelu ocenjevanja pri slovenski splošni maturi tudi čvrsti, namreč da daje vse možnosti uresničevanja ciljev, ki jih predpisuje učni načrt, to je samostojno tvorbo esejskega besedila, osebni bralni odziv, kritični in problemski pristop
ter taksonomsko zasnovanost in objektivnost ocenjevanja ter sorazmerno lahko uporabnost ocenjevanja. Na podlagi vsega povedanega je mogoče zaključiti, da je bil obstoječi model ocenjevanja zrel za resno primerjalno znanstveno analizo v vseh ključnih metričnih ter vsebinskih parametrih.
Glavni namen disertacije je bil raziskati, ali je mogoče oblikovati pravičen in dovolj občutljiv model ocenjevanja z jasnim razvrščanjem ocen glede na taksonomske ravni znanja in z upoštevanjem celostne komponente ocenjevanja. Avtorica je postavila več alternativnih modelov ocenjevanja maturitetnih esejev iz slovenščine; modele pa je po metodoloških pravilih, značilnih za merjenje različnih komponent znanja, testirala tako, da je primerjala njihovo veljavnost, objektivnost, razločljivost in občutljivost, hkrati pa tudi primerljivost z že obstoječimi modeli. Preliminarna analiza obstoječih meril ocenjevanja (Čokl in Cankar, 2008) je že postavila nekatera ključna vprašanja: (i) ali je ocenjevanje veljavno glede na pojme, ki jih vsebujejo merila, v primerjavi s pojmi, ki jih predpisuje učni načrt, (ii) ali se oba sestavna dela eseja (jezikovnega in vsebinskega) ocenjuje dovolj objektivno in ali je razmerje deležev ocen med obema ustrezno, (iii) kako je z zanesljivostjo ocenjevanja v smislu skladnosti ocen pri ponovljenem ocenjevanju, (iv) ali je občutljivost ocenjevanja dovolj velika, da je v esejih mogoče zaznati različnost taksonomskih ravni znanja in (v) kolikšna je možnost razločevanja dobrih esejev od slabih in ali dodeljene točke uvrstijo esej v ustrezen razred ocene. Na ta vprašanja je skušala na velikem reprezentativnem vzorcu dejanskih esejev odgovoriti s primerjavo obstoječih meril s takimi, ki vsebujejo ocenjevanje taksonomsko razvrščenega znanja in tudi celostno komponento ocenjevanja in sicer tako, (a) da je uporabila celostna merila z opisi taksonomskih ravni znanja, ki jih pri sedanjem ocenjevanju uporabljajo zunanji ocenjevalci pri splošni maturi le za okvirno določitev ocene, a ta ne vpliva na rezultat eseja in (b) da je uporabila merila iz programa mednarodne mature, ki temeljijo na taksonomskem razvrščanju znanja z opisniki in pri tem upoštevajo celotni vtis eseja. Na ta način je soočila tri modele: obstoječa merila, celostna merila in opisne kriterije, in sicer tako, da se vpliv ocenjevalcev zmanjša na minimum, značilne razlike med merili pa izpostavi. Primerjava je potekala na kriterijskih merskih lastnostih, ki pri ocenjevanju znanja (kot tudi pri drugih vrstah merjenja) igrajo ključno vlogo: ustrezna veljavnost, objektivnost, razločljivost, občutljivost ter primerljivost z izkušnjami v tujini.
Raziskovalni model in metode dela (razdeljevanje esejev na enake skupine, statistična analiza rezultatov ocenjevanja, kvalitativna analiza s tremi vrstami meril) so avtorici omogočali dovolj zanesljive in veljavne zaključke in verodostojne generalizacije rezultatov z vzorca izbranih esejev na splošne proučevane zakonitosti. V skladu z novejšim pojmovanjem znanja, ki poudarja predvsem poglobljeno razumevanje na vsebinski in procesni ravni ter ustvarjalen prenos v novi kontekst, je avtorica torej
primerjala tri vrste meril na metodološki in vsebinski ravni. Vsa tri merila so izbranim esejem prisodila zelo podobne povprečne ocene. Prva opisnokriterijska merila iz programa mednarodne mature, zasnovana na Bloomovi taksonomiji, so dobro razlikovala vsebinsko in procesno znanje na ravni književnega znanja in uporabe jezika; pomanjkljivost se je pokazala le v presplošnih opisih taksonomskih ravni, kar je avtorica izboljšala s pomožno ocenjevalno preglednico in nato dosežke kandidatov razvrstila na 20-stopenjski lestvici. Druga celostna merila iz programa splošne mature, zasnovana na Bloomovi taksonomiji, so pokazala več pomanjkljivosti, kot je bilo pričakovati, saj so imela delež opisnikov za jezik premajhen, delež opisnikov za vsebino pa nekoliko premalo natančen. Tudi ocenjevalna lestvica za končno razporejanje dosežkov je bila s petimi stopnjami preozka. Tretja opisnokriterijska merila, ki jih je avtorica zasnovala na podlagi ključnih kompetenc za vseživljenjsko učenje, so podobno kot prva merila dobro razlikovala vsebinsko in procesno znanje na ravni književnega znanja in uporabe jezika, vsebovala pa so tudi opise konkretnih vsebin za izbrani maturitetni naslov. Jezikovni del esejev je v okviru tretjih meril ocenila na dva načina. Najprej s petstopenjsko ocenjevalno lestvico taksonomskih ravni za jezikovno pravilnost, slog in zgradbo, nato pa z novimi merili, za katera je najprej določila težje in lažje napake ter oblikovala ocene za gostoto napak v posameznem eseju. Pri končni oceni jezika z novimi merili je upoštevala povprečje petih ocen iz težjih in lažjih jezikovnih napak, iz kakovosti povedi, sloga in zgradbe. Primerjava obeh načinov ocenjevanja jezika je dala zelo podobne rezultate, hkrati pa je opozorila na razlike pri obstoječem načinu ocenjevanja jezika, saj imajo kandidati v povprečju jezikovno pravilnost ocenjeno nezadostno, slog dobro, zgradbo pa odlično. Končne ocene kandidatov pri tretjih merilih je nato razvrstila na 15-stopenjski lestvici, pri čemer je upoštevala tudi razred ocene.
Avtorica pravilno zaključuje, da morajo merila za ocenjevanje maturitetnih esejskih nalog iz slovenščine zaznati ne le prisotnost ali odsotnost zahtevanih vsebin, ampak tudi količino in hkrati kakovost predpisanih vrst znanja. Predlaga, da bi jezikovni del esejev ocenjevali s samostojnimi merili, kar bi omogočilo izračun odstotnega deleža v okviru celotnega eseja. S tem paje tudi občutljivost meril in večja razpršenost rezultatov večja. Na osnovi svojih empiričnih analiz predlaga nekaj pomembnih sprememb ter dopolnil v sedanjem ocenjevalnem sistemu, kar bi po njenem mnenju maturitetni izpit iz preverjanja književnega znanja iz slovenščine na slovenski splošni maturi močno približali neoporečnosti.
Čeprav je študiji mogoče na nekaterih mestih očitati ozkost v obravnavi problema ocenjevanja kompleksnih besedil, kakršni so interpretativni ali razpravljalni eseji književnih del - zlasti bi lahko v uvodnem delu disertacije izvedeli več o različnih raziskavah v mednarodnem prostoru o tovrstni problematiki (znano je, da so zlasti v Veliki Britaniji raziskovalci temeljito raziskovali problematiko kriterijev in dimenzionalnosti ocenjevanja
interpretativnega eseja v britanskih književnih delih, avtorica pa se sklicuje predvsem na svojo raziskavo (Čokl in Cankar, 2008), ki je sicer odlična osnova za problematiziranje obstoječih pravil ocenjevanja maturitetnih esejev pri slovenščini), pa je potrebno opozoriti na sistematičen, temeljit in v podrobnostih zelo razdelan model vrednotenja ter ocenjevanja posameznih delov (in segmentov) eseja. Avtorica tu predlaga povsem konkretne in iz empirično analitične kritike obstoječega načina ocenjevanja izhajajoče izboljšave, ki lahko privedejo k verodostojnejšemu ocenjevanju. Korektno tudi opozori na nekatere omejitve študije, ki ovirajo preveliko generalizacijo izsledkov, prav tako pa opozori na nekatera odprta vprašanja, ki jih bo mogoče v prihodnosti nadalje razreševati ali pa o njih vsaj razmišljati ob ukvarjanju z veljavnejšim vrednotenjem ter ocenjevanjem eseja pri slovenski maturi in tudi pri znanstvenem zaključevanju.
Disertacija Sonje Čokl je samostojno, z vidika razvoja znanosti sodobno in izvirno znanstveno-raziskovalno delo, pomembno za raziskovanje v polju ocenjevanja znanja, še posebej ocenjevanja kompleksnejših enot, kot so naloge s prostimi odgovori, katere specifična oblika so interpretativni ali razpravljalni eseji pri maternem jeziku. Z znanstvenega stališča pomeni disertacija temeljito osvetljevanje dejavnikov, ki so bistveni pri tem, da je ocenjevanje tako zapletenih izdelkov pri preverjanju znanja, kot so interpretativni ali razpravljalni eseji, veljavno, zanesljivo in pravično do učencev, dijakov ali študentov. Delo predstavlja pomemben prispevek k znanstvenem področju slovenščine, pa tudi psihološke metodologije. Hkrati pa imajo izsledki študije izrazit praktičen pomen in vrednost. Avtorica predlaga nekaj čisto konkretnih in takojšnjih sprememb oziroma izboljšav trenutnega ocenjevalnega sistema, predvsem pa poziva k nenehni izmenjavi in upoštevanju izkušenj med sestavljavci izpitnih pol za maturitetni izpit (in pripadajočih ocenjevalnih meril) na eni strani ter gimnazijskimi učitelji na drugi. Vse to lahko prispeva k še višji izpitni kulturi in zadovoljstvu vseh sodelujočih. Zlasti pa to lahko pripomore k ocenjevanju, ki bo še bolj veljavno, zanesljivo in pravično do dijakov.
Literatura
Čokl, S. in Cankar, G. (2008). Raziskava različnih vrst kriterijev za ocenjevanje maturitetnih esejev iz slovenščine (Raziskovalno poročilo). Ljubljana: Državni izpitni center.