............TERVJU«
Dr. Mojca Štraus, Pedagoški inštitut
PISNO IN RAČUNALNIŠKO PREVERJANJE V RAZISKAVI PISA
Raziskava PISA (The Programme for International Student Assessment) je odmevna mednarodna raziskava OECD, ki vse od leta 2000 trienalno vrednoti dosežke 15-letnikov v bralni, matematični in naravoslovni pismenosti (vsakič je v ospredju ena od pismenosti). Naloge v raziskavi PISA niso neposredno povezane s šolskimi kurikulumi, temveč izhajajo iz realnih, življenjskih situacij, zato ne preseneča odziv raziskave na sodobne trende v izobraževanju in vrednotenje (dodatnih) vidikov, kot so npr. digitalno branje, reševanje problemov, finančna pismenost ter razvijanje vrednotenja znanja na računalniku (letošnja raziskava PISA 2015 bo že v celoti izvedena na računalnikih). Za pričujočo tematsko številko revije VIZ smo se osredotočili na razvoj vrednotenja na računalniku ter vrednotenje digitalnega branja v raziskavi PISA. Pravi naslov za tovrstna vprašanja je dr. Mojca Štraus, direktorica Pedagoškega inštituta, ki že vse od začetka sodelovanja Slovenije, koordinira raziskavo PISA v Sloveniji.
Na kratko nam predstavite raziskavo PISA in
vidike vključevanja IKT v raziskavo.
Raziskava PISA je zasnovana kot program zbiranja podatkov o bralnih, matematičnih, naravoslovnih in drugih kompetencah učenk in učencev v sodelujočih državah vsaka tri leta. Primerjave med državami so izvedene na populaciji 15-letnikov, kar je za večino držav približno ob koncu obveznega izobraževanja. Raziskavo koordinira Organizacija za ekonomsko sodelovanje in razvoj (OECD) in v njej sodeluje več kot 70 držav. Prvič je bila izvedena leta 2000, v Sloveniji smo se ji priključili z zbiranjem podatkov leta 2006, zadnji do zdaj zbrani podatki pa so iz leta 2012. V Sloveniji so glede na starost 15 let v raziskavo vključeni praviloma dijakinje in dijaki prvih letnikov srednjih šol. Skupaj s šolami raziskavo PISA v Sloveniji izvaja Pedagoški inštitut.
Od leta 2006 dalje je raziskava PISA po posameznih delih preverjala znanja in kompetence tudi s pomočjo preizkusov na računalnikih, kar s kratico imenujemo preverjanje CBA (angl. computer based assessment). Ta preverjanja so bila v dosedanjih raziskavah PISA izvedena v okviru mednarodnih dodatkov, za katere so se odločile le nekatere države. Leta 2015 pa raziskava že v skoraj vseh državah poteka le na računalnikih. Pri tem je pomembno, da še vedno preverjamo bralne, matematične in naravoslovne kompetence, le da pri tem uporabljamo nove tehnologije.
Kakšna je razlika med tradicionalnim
vrednotenjem in CBA?
Tradicionalno preverjanje znanja v mednarodnih raziskavah, torej tudi v raziskavi PISA, poteka z zbiranjem podatkov prek tiskanih delovnih zvezkov, v katerih so naloge predstavljene na t. i. statičen način. Najpomembnejša razlika med tradicionalnim načinom pisnega preverjanja in preverjanjem CBA je torej v tem, da je mogoče na računalniku poleg statičnih pripraviti tudi interaktivne naloge, ki lahko uporabljajo animacije, eksperimentiranje in drevesno strukturo reševanja ter s katerimi preverimo kompetence učenk in učencev v širšem obsegu.
Razlike so tudi pri izvedbi raziskave. Preverjanje CBA je zahtevnejše v delu pripravljanja vsebine in oblike nalog, saj so te, kot smo že omenili, interaktivne. Obenem je treba zagotoviti IKT in njeno ustrezno delovanje v celotnem procesu izvajanja raziskave, predvsem pa na samih šolah, ko poteka neposredno zbiranje podatkov. Na drugi strani pa so mogoče določene logistične poenostavitve, saj naknadni prenos podatkov iz pisnih preizkusov v elektronsko obliko ni potreben, vrednotenje t. i. odprtih odgovorov učenk in učencev pa se lahko zaradi lažjega razporejanja odgovorov pripravi in izvede učinkoviteje kot pri pisnih preizkusih.
Pri dosedanjih preverjanjih CBA so učenci in učenke vseh držav poročali tudi o večji motiviranosti za preizkus. Dodatne prednosti so, da preverjanje lahko bolj avtentično zbira podatke o procesu razmišljanja učenk in učencev pri reševanju nalog, zbiramo in analiziramo lahko tudi procesne podatke v obliki t. i. log datotek, v prihodnosti pa se bo mogoče razvilo tudi prilagojeno preverjanje (angl. adaptive testing), pri katerem učencu oziroma učenki določimo naslednjo nalogo ustrezne stopnje težavnosti glede na izkazano reševanje predhodnih nalog.
Kakšne so ugotovitve za CBA pri raziskavi PISA?
Kako so se pri CBA odrezali slovenski dijaki leta
2012?
PISA 2012 je vključevala izvedbo preverjanja CBA za matematično in bralno pismenost v državah, ki so se za to odločile. Osnovno preverjanje matematične pismenosti je še vedno potekalo na klasičen način. V spodnjih preglednicah so predstavljene primerjave držav, ki so sodelovale pri preverjanju CBA, v obliki povprečnih dosežkov, določenih na mednarodnih lestvicah. Območja z različnimi barvami označujejo države, ki so nad povprečjem OECD
2-3 - 2015 - XLVI
#6
INTERVJU
(ki na teh lestvicah znaša 500 točk), podobne povprečju OECD ali pod povprečjem OECD.
Najuspešnejše pri CBA-preverjanju matematične pismenosti so azijske države Singapur, Šanghaj-Kitajska, Koreja, Hongkong-Kitajska, Makao-Kitajska, Japonska in Tajpej. Pri CBA-preverjanju bralne pismenosti pa so v ospredju Singapur, Koreja, Hongkong-Kitajska, Japonska in Kanada. Šele za njimi je Šanghaj-Kitajska.
Razvidno je, da je rezultat za Slovenijo pri obeh pismenostih na CBA-preverjanju pod povprečjem OECD. Tudi drugi kazalniki dosežkov, na primer odstotki učenk in učencev, ki dosegajo določene ravni kompetenc na mednarodni lestvici CBA-preverjanja matematične in bralne pismenosti, nakazujejo zaostajanje slovenskih 15-letnikov za vrstniki iz drugih držav.
Država povprečje			Država povprečje	
Singapur	566		Singapur	567
Š anghaj -Kitaj ska	562		Koreja	555
Koreja	553		Hongkong-Kitajska	550
Hongkong-Kitaj ska	550		Japonska	545
Makao-Kitajska	543		Kanada	532
Japonska	539		Šanghaj-Kitajska	531
Tajpej	537		Estonija	523
Kanada	523		Avstralija	521
Estonija	516		Irska	520
Belgija	511		Tajpej	519
Nemčija	509		Makao-Kitajska	515
Francija	508		ZDA	511
Avstralija	508		Francija	511
Avstrija	507	Italija		504
Italija	499	Belgija		502
ZDA	498	Norveška		500
Norveška	498	Švedska		498
Slovaška	497	povprečje OECD		497
povprečje OECD	497	Danska		495
Danska	496	Nemčija		494
Irska	493		Portugalska	486
Švedska Ruska federacija	490 489		Avstrija Poljska	480 477
Poljska	489		Slovaška	474
Portugalska	489	Slovenija		471
Slovenija	487		Španija	466
Španija	475		Ruska federacija	466
Madžarska	470		Izrael	461
Izrael	447		Čile	452
Združeni Arabski	434		Madžarska	450
Emirati Čile Brazilija	432 421		Brazilija Združeni Arabski Emirati	436 407
Kolumbija	397		Kolumbija	396
Zakaj po Vašem mnenju prihaja do razlik med
uspešnostjo pri tradicionalnem vrednotenju in
CBA?
Kot je znano, je že tradicionalno pisno preverjanje v zadnjih dveh ciklih raziskave PISA pokazalo zaostajanje bralnih kompetenc slovenskih 15-letnikov za njihovimi vrstniki iz večine drugih držav OECD. To zaostajanje lahko razberemo tudi iz CBA-preverjanja bralne pismenosti. Glede bralne pismenosti slovenskih učenk in učencev torej ostajamo pri enakih vprašanjih.
V primerjavi s tradicionalnim preverjanjem matematične pismenosti, pri katerem so slovenski 15-letniki v dosedanjih ciklih raziskave izkazovali nadpovprečne rezultate, pa podpovprečni rezultati preverjanja CBA kažejo drugo sliko in torej odpirajo nova vprašanja. Vzroke za razliko je težko prepoznati na prvi pogled, lahko pa rečemo, da tako na reševanje nalog pri tradicionalnem preverjanju kot pri preverjanju CBA lahko vpliva vrsta dejavnikov, ki se med tema preverjanjema tudi razlikujejo. Na prvi pogled je jasno, da gre za določene različnosti v nalogah. Vendar je prav uravnoteženju tega dejavnika posvečeno veliko pozornosti. Naloge so za obe obliki preverjanja pripravljene po celotnem razponu težavnosti in ni mogoče reči, da so naloge računalniškega preverjanja v povprečju in v mednarodnem merilu (precej) težje od nalog pisnega preverjanja. Morda je bolj smiselno vzroke iskati v izkušnjah uporabe IKT za tovrstna preverjanja. Mogoče je reči, da tovrstnega preverjanja v slovenskem prostoru nismo vajeni.
Kakšna je razlika med CBA in ERA?
ERA je kratica za specifično preverjanje t. i. digitalnega branja, ki je bilo izvedeno v okviru raziskave PISA 2009 (angl. Electronic Reading Assessment). V tem preverjanju Slovenija ni sodelovala. CBA pa predstavlja splošno preverjanje različnih kompetenc z računalniki, torej vključujoč bralno pismenost. Leta 2015 tako vse države v raziskavi PISA izvajajo preverjanje CBA za vse tri pismenosti, naravoslovno, matematično in bralno pismenost.
Kakšne so ugotovitve/trendi za ERA pri raziskavi
PISA?
Leta 2009, ko je preverjanje ERA potekalo, je sodelovalo 16 držav članic OECD in 3 države partnerke. Po dosežkih so se države razvrstile tako: Koreja (568 točk), Nova Zelandija (537 točk), Avstralija (537 točk), Japonska (519 točk), Hongkong-Kitajska (525 točk), Islandija (512 točk), Švedska (510 točk), Irska (509 točk), Belgija (507 točk), Norveška (500 točk), Francija (494 točk), Makao-Kitajska (492 točk), Danska (489 točk), Španija (475 točk), Madžarska (468 točk), Poljska (464 točk), Avstrija (459 točk), Čile (435 točk) in Kolumbija (368 točk). Tudi primerjava tradicionalnega preverjanja bralne pismenosti in preverjanja ERA v raziskavi PISA 2009 za nekatere države pokaže glede na druge države nižje dosežke na preverjanju ERA. Te države so na primer Madžarska, Poljska in Avstrija.
2-3 - 2015 - XLVI
INTERVJU #7
Kakšna bo raziskava PISA 2015? Kakšne dosežke slovenskih dijakov napovedujete, v čem so močni?
Raziskava PISA 2015 večji del preverjanja namenja naravoslovni pismenosti in v njej sodeluje 70 držav. Do zdaj so slovenski 15-letniki v naravoslovju v vseh raziskavah PISA pokazali nadpovprečne rezultate, upamo torej, da bo tako tudi letos. Tudi matematični dosežki so bili do zdaj nadpovprečni, obenem pa so bili rezultati pri preverjanju vseh treh pismenosti v zadnjem obdobju stabilni. Tako lahko rečemo, da slovenski mladi izkazujejo naravoslovno in matematično pismenost kot močni področji svojih kompetenc. Seveda se da še kaj izboljšati, kar nakazujejo že rezultati preverjanja CBA pri matematični pismenosti. Prav zato pa težko čakamo rezultate raziskave, ki bo izvedena letos, ko bomo na način CBA preverjali tudi naravoslovno pismenost.
Kot je bilo že omenjeno, ugotavljamo, da so dosežki slovenskih 15-letnikov v bralni pismenosti podpovrečni. Pričakovati je, da bo to tudi letos še opazno, saj je izboljšave v šolskem sistemu nemogoče vpeljati tako, da bi zagotovile hitre rezultate. Upamo pa, da se bodo pokazali pozitivni trendi, s katerimi bomo prepoznali uspešne pristope k izboljševanju in jih v nadaljnjih letih še okrepili.
Kaj lahko v slovenskem izobraževalnem prostoru še naredimo, da bodo dosežki slovenskih dijakov pri raziskavi boljši (še posebej na področju IKT)?
Na prvem mestu se mi zdi pomembno, da pozornost iz neposrednega doseganja rezultatov v raziskavi PISA ali podobnih preverjanjih usmerimo v splošno izboljševanje kakovosti v dolgoročnem smislu, kar se bo ustrezno odrazilo tudi v dosežkih. Seveda pa razumem, da na šolah objavljanje tovrstnih raziskav lahko čutijo tudi kot pritisk. Menim, da ima ključno vlogo pri dvigovanju kakovosti izobraževanja razvoj strokovnih delavcev. Hitre poteze se v sistemu, kot je vzgoja in izobraževanje, ne obrestujejo. Razvoj novih tehnologij odpira širok spekter možnosti, kako posredovati in soustvarjati znanje ter razvijati kompetence, zato pa strokovni delavci potrebujejo več in ne manj znanja za vključevanje IKT v pouk. Sicer je preveč možnosti, da pouk ostane le na površini vsebinske obravnave in obenem le na površini uporabe IKT. Izboljševanje dosežkov v raziskavi PISA pa je smiselno le, če je posledica izboljševanja kakovosti izobraževanja na splošno.
Kako napovedujete razvoj vrednotenja z IKT?
Razvoj IKT in razmah uporabe IKT v izobraževanju bosta posledično še okrepila razvoj mednarodnih raziskav s preverjanji CBA. Raziskava PISA nadaljuje s preverjanjem na način CBA in povsem opušča tradicionalni način preverjanja. Samo preverjanje znanja uporabe IKT je bilo na primer izvedeno že v Mednarodni raziskavi računalniške in informacijske pismenosti ICILS s podatki iz leta 2013. V prihodnje se preverjanje CBA napoveduje še v okviru Mednarodne raziskave o bralni pismenosti PIRLS 2016 pri četrtošolcih. Mogoče bomo tudi s tem preverjanjem lahko dobili več podatkov o vzrokih in potrebnih ukrepih za izboljševanje bralnih in drugih kompetenc slovenskih 15-letnikov.
2-3 - 2015 - XLVI