i» i
^RAZPRAVE
#?<;j ¡M
Marja Bešter Turk in Lara Godec Soršak, Univerza v Ljubljani, Pedagoška fakulteta
bralna pismenost in pouk1
^ Slovenski 15-letniki sodelujejo v primerjalni mednarodni raziskavi PISA od leta 2006, vendar povprečno število doseženih točk z leti (2009, 2012) pada. V članku so v raziskavi, v okviru katere je bila uporabljena metoda analize dokumentov, kritično ovrednotene naloge ob neumetnostnih besedilih, ki so jih slovenski dijaki v raziskavi PISA leta 2009 reševali slabše od drugih Evropejcev. Te ugotovitve smo nato povezali s podatki dijakov iz enega izmed odzadnjih vprašalnikov raziskaave PISA 2009 (odgovori o branju za šolo) in jih primerjali z odgovori finskih, nemških in hrvaških dijakov ter iskali vzroke za ugotovljene razlike. Ob ugotovitvah o nalogah ter ob odgovorih dijakov se porajajo vprašanja o pouku v slovenskih šolah; članek želi spodbuditi učitelje vseh predmetov k premisleku o izboljšanju pouka, pri katerem dijaki razvijajo bralno pismenost.


1	Gre za drugo/skrajšano objavo članka; daljši članek z naslovom Kaj spremeniti pri pouku za dvig ravni bralne pismenosti (Bešter in Godec Soršak 2016) je bil objavljen v monografiji Bralna pismenost kot izziv in odgovornost; ta je dostopna tudi na spletni strani https://www.pef.uni-lj.si/fileadmin/ Datoteke/Posvet/2016/Bralna-pismenost_Posvet--PeF-20l6.pdf.
2	V prispevku je uporabljena le oblika za moški spol, ker je v slovenščini moški spol slovnično nezazna-movan, mišljene pa so osebe obeh spolov.
3	Leta 2012 je sodelovalo 34 držav OECD in 33 držav partnerk (Program mednarodne primerjave dosežkov).
4	Primerjave doseženih točk in drugih tovrstnih statističnih rezultatov v članku je treba gledati v luči statističnega vzorčenja oz. standardnih napak izračunanih vrednosti, ki so v navedenih virih natančno opredeljene, v članku pa so zaradi lažje berljivosti opuščene.
5	Bralna pismenost je v raziskavi PISA opredeljena kot posameznikova sposobnost razumevanja in uporabe zapisanih besedil ter razmišljanja ob njih in kot zavzetost ob branju tega, kar bralcu omogoča doseganje postavljenih ciljev, razvijanje lastnega znanja in potencialov ter sodelovanje v družbi (Štra-us, Šterman Ivančič in Štigl 2013).
Uvod
Slovenski 15-letniki2 (tj. večinoma dijaki 1. letnika gimnazij in drugih srednjih šol) sodelujejo v mednarodni raziskavi PISA (Programme for International Student Assessment) od leta 2006. Raziskava, ki se izvaja pod okriljem OECD in v kateri sodeluje čez 60 držav,3 poteka na tri leta od leta 2000 dalje in poleg vrednotenja bralne pismenosti vključuje tudi vrednotenje matematične in naravoslovne pismenosti - v vsakem ciklu je poudarek na eni izmed njih. Slovenija je v raziskavi PISA prvič sodelovala leta 2006 in nato še leta 2009, 2012 in 2015 (dosežki zadnje raziskave, pri kateri so sodelujoči vse naloge prvič reševali na računalniku, še niso javno znani).
Povprečno število doseženih točk slovenskih dijakov v okviru bralne pismenosti z leti pada. Leta 2006 so dosegli 494 točk oz. dve točki več4 od povprečja OECD (OECD 2007), leta 2009 483 točk oz. 10 točk manj od povprečja OECD (OECD 2010b) in leta 2012 481 točk oz. 15 točk manj od povprečja OECD (OECD 2014). Če primerjamo naše dosežke z dosežki finskih dijakov, ki so po navadi uvrščeni na eno višjih mest, vidimo, da je povprečno število doseženih točk pri njih precej večje od našega, vendar z leti tudi pada (s 547 točk leta 2006 na 524 točk leta 2012). Napredek pa je viden npr. pri Nemčiji, ki je leta 2000 doživela t. i. PISIN šok (Salzer in Prenzel 2014), in sicer število točk narašča (495, 497 in 508). Tudi Hrvaška zvišuje dosežke: leta 2006 in 2009 je imela slabše od Slovenije (477, 476), leta 2012 pa že boljše (485). Podatki so predstavljeni tudi na Sliki 1.
PISA pri dijakih vrednoti bralno pismenost v razširjenem pomenu:5 dijaki naj bi bili ob koncu obveznega šolanja zmožni razmišljati o pomenu prebranega v besedilih, ki pripadajo raznim besedilnim vrstam in so nastala v raznih okoliščinah (v šoli in zunaj nje), ter vrednotiti vsebino in obliko teh besedil. Raziskava PISA poudarja, da pri dijakih ugotavlja »sposobnost
Marja Bešter Turk, Lara Godec Soršak BRALNA PISMENOST IN POUK
31
^iSlika 1: Povprečno število doseženih točk pri bralni pismenosti v letih 2006, 2009 in 2012 (Viri podatkov: OECD 2007, 2010b, 2014-1
440 460 480 500 520 540 560 Število točk
2012 «2009 «2006
uporabe znanja in izkušenj pri srečavanju s situacijami iz resničnega sveta« (OECD 2010a: 3).
Od dijakov se pričakuje, da bodo svojo bralno pismenost izkazali na petih ravneh: na eni strani naj bi znali najti podatke v besedilu in jih povezati med seboj pri razumevanju celotnega besedila ali med deli besedila, na drugi strani pa s pomočjo predznanja in izkušenj zunaj besedila razmišljati o vsebini in obliki danega besedila. Gre za »smiselno urejen nabor zmožnosti branja in strategij predelovanja informacij« (Repež in Štraus 2007: 34), ki je odvisen ne le od vrste vprašanja/naloge, temveč tudi od »obseg[a], zgradb[e] in zapletenost[i] besedila« (prav tam), ki ga je treba prebrati. Glede na obliko se besedila, uporabljena v raziskavi, delijo v dve skupini: v skupino besedil iz povedi (»vezana besedila« (prav tam: 20)) in v skupino besedil, v katerih imajo pomembno vlogo nebesedne prvine (»nevezana besedila« (prav tam: 21-22)) - pri slednjih so besedni podatki razvrščeni v obliki preglednic, diagramov, grafov, zemljevidov ...; sem uvrščajo med drugim tudi obrazce ter vabila in reklame, pri katerih ima pomembno vlogo slikovno gradivo. Glede na okoliščine, v katerih se besedila pojavljajo zunaj raziskave, se ta delijo na besedila za »osebno branje« (prav tam: 29), npr. osebna pisma, književna besedila ...; na besedila, ki omogočajo sodelovanje posameznika v družbenih dogodkih, npr. obvestila (»javno branje« (prav tam)); na besedila za poklicno udejstvovanje, npr. navodila (»poklicno branje« (prav tam)), in na besedila, iz katerih se učimo npr. v šoli (»branje za izobraževanje« (prav tam: 30)).
Uspešnost reševanja različno zahtevnih nalog ob bolj ali manj zahtevnih besedilih se pokaže na lestvici doseženih točk - razdeljena je na šest ravni (OECD 2010b; Pečjak 2011). Raven 2 odraža temeljno raven bralne pismenosti, tj. da dijak zmore prepoznati osnovne podatke v besedilu, izpeljati preprost sklep, prepoznati temo v besedilu ali »v dobro označenem delu besedila« (Pečjak 2011: 12) in povezati podatke iz besedila s svojim predznanjem. Najvišja raven pa od dijakov zahteva »večkratno izpeljavo podrobnih in natančnih sklepov in primerjav« (prav tam: 13), podrobno razumevanje, ki
32
SLOVENŠČINA V ŠOLI, 2016
XIX. letnik, številka 3-4
^Preglednica 1: Delež dijakov v % po državah in v OECD glede na doseganje ravni pismenosti na PISI 2012 (Vira podatkov: OECD 2014; Štraus idr. 2013.1
»vključuje tudi povezovanje informacij iz več besedil hkrati« (prav tam) in kritično ovrednotenje zahtevnega besedila z več vidikov (prav tam). Iz Preglednice 1 je razvidno, koliko odstotkov sodelujočih 15-letnikov je v državah, ki so bile omenjene v Uvodu, in povprečno v državah OECD doseglo določeno raven bralne pismenosti v raziskavi PISA iz leta 2012.
Država Povprečje OECD	Pod ravnjo 1 b 1,3	Raven 1 b 4,4	Raven 1 a 12,3	Raven 2 23,5	Raven 3 • • • • • 29,1	Raven 4 • • • • • 21,0	Raven 5 • • • • • 7,3	Raven 6 • • • • • 1,1
Slovenija	1,2	4,9	15,0	27,2	28,4	18,2	4,7	0,3
Finska	0,7	2,4	8,2	19,1	29,3	26,8	11,3	2,2
Nemčija	0,5	3,3	10,7	22,1	29,9	24,6	8,3	0,7
Hrvaška	0,7	4,0	13,9	27,8	31,2	17,8	4,2	0,2
Največ slovenskih dijakov je doseglo tretjo raven, na četrti ter zlasti na peti in šesti ravni pa (precej) zaostajajo od npr. povprečja razvitih držav (OECD) - to navaja na razmišljanje, da naši dijaki slabše obvladajo »strategije kritičnega branja« (Pečjak 2011: 21). Pred nami sta torej dva izziva: povečati število dijakov z zmožnostjo branja na višjih ravneh in seveda znižati delež dijakov, ki ne dosegajo temeljne ravni bralne pismenosti.6
6	Do leta 2020 naj bi v Sloveniji zmanjšali delež teh dijakov z zdajšnjih 21,1 % pod 15 % (Nolimal 2014].
7	»Naloge [v raziskavi PISA, op. avt.] se ne omejujejo na ugotavljanje znanja, ki je specifično za določeni šolski predmet, temveč se osredotočajo na tisto znanje in tiste spretnosti na področju branja [...], ki so potrebne za učinkovito delovanje v odraslem poklicnem in zasebnem življenju. Poudarek je torej na obvladovanju procesov, razumevanju pojmov in sposobnosti delovanja v različnih situacijah [. ]« (Štraus idr. 2013: 6).
8	Tudi S. Pečjak na podlagi dosežkov slovenskih dijakov v raziskavi PISA razmišlja o možnem sklepu, da dijaki pri pouku redkeje dobivajo »naloge, ki bi jih spodbujale k razmišljanju o besedilu in h kritičnemu vrednotenju tega« (2011: 21), in predpostavlja, da »pri delu z besedili učitelji relativno 'zaprto' obravnavajo besedila - torej po vnaprej predvidenih algoritmih, ki vodijo do podobnih interpretacij in ne dopuščajo toliko možnosti za lastna razmišljanja učencev, tj. za kritično mišljenje ob branju« (prav tam).
2 Raziskava
2.1 Raziskovalni problem in cilji
Kljub temu da naloge v raziskavi bralne pismenosti PISA niso vezane samo na pouk slovenščine,7 so pri nas vzroke za slabe dosežke iskali pri pouku svojega predmeta predvsem slovenisti. Saksida (2014) je prepričan, da je razvijanje pismenosti odvisno ne le od pouka vseh predmetov, temveč tudi od branja v prostem času ter stališča do branja in pojmovanja izobraževanja v družbi nasploh. Na primeru nekaj nalog iz raziskave PISA, ki so povezane z branjem književnega besedila, je ugotovil, da je »vse pregledane bralne naloge v raziskavi PISA [...] mogoče povezati s cilji, ki jih predpisuje veljavni učni načrt za slovenščino« (prav tam: 11). Ob tem opozarja na nujnost branja zahtevnejših8 književnih besedil pri pouku in poučevanja ob kakovostnih bralnih nalogah, da bo izražanje mnenja učenca o prebranem »kakovostno, oprto tako na razumevanje in osebno vrednotenje besedila kot na kontekstno znanje, ki ga zahteva interpretacija« (prav tam). B. Krakar Vogel (2014) je primerjala bralne naloge ob književnem besedilu iz raziskave PISA z nalogami v berilih, ki naj bi jih naši osnovnošolci reševali po branju književnih besedil, in ugotovila, da učna gradiva za književni pouk vsebujejo podobne naloge, ter priporočila »vsestransk[o] in dosledn[o] uporabo učbenikov v šoli in doma« (prav tam: 32). Nadalje je zapisala, da so učenci premalo vajeni uporabljati strategije »tesnega branja 'od vrstice do vrstice'« (prav tam: 31), in priporočila npr. »prevajanje v neumetniški jezik« (prav tam) (ker učenci ne razumejo arhaičnih besed, zapletene skladnje

33
Marja Bešter Turk, Lara Godec Soršak BRALNA PISMENOST IN POUK
9	Gimnazijcev je bilo 31,15 %, dijakov srednjega tehniškega izobraževanja 35,96 %, srednjega poklicnega izobraževanja 28,68 % in nižjega poklicnega izobraževanja 3,61 %; osnovnošolcev je bilo 0,6 % (Puklek Levpušček, Podlesek in Šterman Ivančič 2012],
10	Vsak sodelujoči v raziskavi PISA dobi delovni zvezek z nalogami, s katerimi se preverjajo vse tri vrste pismenosti (bralna, matematična in naravoslovna]; v določenem letu raziskave je v delovnem zvezku več tistih nalog, s katerimi se preverja vrsta pismenosti, ki je takrat poudarjena, Delovni zvezki ne vsebujejo popolnoma enakih nalog za vse dijake, temveč se /zvezki/ delno prekrivajo - vsako nalogo pa rešuje reprezentativni vzorec dijakov v državi, - V naključno izbranem delovnem zvezku z nalogami iz leta 2009 je bilo 17 nalog, povezanih s preverjanjem naravoslovne pismenosti, 12 nalog, povezanih s preverjanjem matematične pismenosti, ter 8 besedil in ob njih 32 nalog, povezanih s preverjanjem bralne pismenosti (pri tej vrsti pismenosti so bile naloge ob šestih neumetnostnih besedilih in dveh umetnostnih], Vse navedeno kaže na velik obseg delovnega zvezka (46 str,], - Dijaki rešujejo naloge dve (polni] uri, nato izpolnijo še t, i, odzadnji vprašalnik, Ocenjevalci vrednotijo odgovore po t, i, kodirnih shemah, v katerih je natančno opredeljeno, kaj je pravilni/nepravilni odgovor, - Besedila in naloge lahko predlaga vsaka sodelujoča država; za vrednotenje in preizkušanje je odgovorna ekspertna skupina za bralno pismenost, ki deluje v okviru Mednarodnega združenja za izvedbo raziskave PISA (Program mednarodne primerjave dosežkov], - Vsebina delovnih zvezkov je iz angleščine in francoščine, ki sta uradna jezika PISE (prav tam], prevedena v jezike sodelujočih držav,
11	Naloge smo pridobili pri slovenski/nacionalni ko-ordinatorici raziskave PISA dr, Mojci Štraus s Pedagoškega inštituta in se ji za to zahvaljujemo,
12	Vrednosti so zaokrožene,
ipd,], povzemanje motivov in tem (v obliki besedne zveze], »dokazovanje svojih trditev s sklicevanjem na določeni del besedila, skladenjsko-pomens-ko analizo, razvezovanje metafor, [...] pa spet vrnitev k celoti« (prav tam], Na boljše razvijanje bralne pismenosti bi po njenem mnenju vplivalo tudi povezovanje strategij jezikovnega in književnega pouka (prav tam],
Tudi Nemci so po slabih dosežkih na PISI leta 2000 načrtovali izboljšanje predvsem načina in kakovosti poučevanja (Salzer in Prenzel 2014], C, Salzer in Prenzel (prav tam] sta prepričana, da morajo pri pouku prevladovati naloge, ki spodbujajo učence k razmišljanju in k temu, da so ti ustvarjalni, aktivni in sposobni uporabiti usvojene spretnosti v resničnem svetu, Za to, da učence spodbujamo k učenju in jih pripravimo na življenje v sodobni družbi, je odgovorno predvsem to, kar se dogaja pri konkretnem pouku, ne pa sam šolski sistem (prav tam],
K izboljšanju ravni pismenosti lahko torej veliko prispevajo usposobljeni učitelji, PISA omenja osem temeljnih ciljev, ki naj bi jih dosegle države, da bi izboljšale svoj izobraževalni sistem, in med temi je tudi kakovost učiteljevega dela (Bieber in Martens 2011], OECD priporoča učiteljev profesionalni razvoj in nadaljnje izobraževanje (OECD 2009 v Bieber in Martens 2011], C, Salzer in Prenzel (2014] poročata o tem, da je bilo spodbujanje profesionalnega razvoja učiteljev in njihovega medsebojnega sodelovanja eden izmed najpomembnejših ciljev v okviru nemškega programa, Tudi slovenski učitelji vseh predmetov so bili v okviru projekta Opolnomočenje učencev (Nolimal 2014], v katerega je bilo vključeno določeno število šol, spodbujeni k raziskovanju lastne prakse, k izmenjavi izkušenj in znanja, k uvajanju raznih bralnih strategij v pouk svojega predmeta in predvsem k razmišljanju o tem, da bi moralo biti poučevanje branja in jezika sestavni del pouka vseh predmetov,
Zato želi tudi naš članek ob iskanju odgovorov na vprašanje, kaj vpliva na slabše dosežke slovenskih dijakov v raziskavi PISA, spodbuditi učitelje vseh predmetov k premisleku o izboljšanju pouka, pri katerem dijaki razvijajo bralno pismenost, Dva izmed ciljev raziskave, katere nekaj rezultatov prikazujemo v nadaljevanju, sta bila:
-	ugotoviti, kaj je značilno za naloge, ki so bile v raziskavi bralne pismenosti PISA težje za slovenske dijake kot za dijake drugih držav;
-	iskati odgovore na vprašanje, kaj spremeniti pri pouku, da bi se raven bralne pismenosti slovenskih dijakov zvišala,
2,2 Metoda
V raziskavi PISA je leta 2009, ko je bil poudarek na bralni pismenosti, sodelovalo 7764 slovenskih 15-letnikov (približno polovica je bila deklet], med njimi je bilo največ dijakov 1, letnika gimnazij in drugih srednjih šol, nekaj pa tudi dijakov 2, letnika SŠ in nekaj učencev 9, razreda OŠ,9 Reševali so pisne naloge v zvezi z »vezanimi« in »nevezanimi« besedili - ta so morali najprej prebrati, nato pa odgovoriti na nekaj vprašanj ob posameznem besedilu,10
Za analizo smo uporabili bazo podatkov raziskave PISA iz leta 2009, Z metodo analize dokumentov smo pregledali naloge,11 ki so jih slovenski dijaki reševali za 5 odstotnih točk ali več slabše (od 5 do 3112 odstotnih točk] od
34
SLOVENŠČINA V ŠOLI, 2016
XIX. letnik, številka 3-4
13	Te države so bile: Avstrija, Češka, Danska, Estonija, Finska, Francija, Grčija, Hrvaška, Irska, Italija, Latvija, Litva, Luksemburg, Madžarska, Nemčija, Nizozemska, Norveška, Poljska, Portugalska, Slovaška, Španija, Švedska in Velika Britanija.
14	Nalog, ki so se pojavile v dveh ali treh ciklih raziskave in ki so jih naši dijaki reševali več kot 5 odstotnih točk slabše od povprečja 24 evropskih držav, je bilo 11. Ugotovili smo, da so dijaki kar 8 izmed teh nalog reševali slabše v kasnejšem ciklu (npr. neko nalogo so dijaki leta 2009 rešili 6, leta 2012 pa 11 odstotnih točk slabše).
15	B. Krakar Vogel (2014: 28) je ob neki nalogi ob književnem besedilu iz raziskave PISA opozorila na to, da je naloga rešljiva ob pozornem večkratnem branju.
dijakov iz 23 drugih evropskih držav.13 Takih nalog, vezanih na neumetnost-no besedilo, ki so ga dijaki morali najprej prebrati, je bilo 20; če se je ista naloga pojavila v več zaporednih ciklih raziskave PISA (tudi leta 2006 in/ali 2012), so bili upoštevani tudi tisti dosežki, ker se je ista naloga v vseh letih pokazala za težko.14 Ker bodo nekatere od pregledanih nalog še uporabljene v raziskavah PISA, jih v nadaljevanju ne moremo dobesedno navesti, lahko pa jih opišemo ali ponazorimo s podobno nalogo, ki je bila v raziskavi PISA že uporabljena, a je bila nato izločena.
2.3 Rezultati pregleda nalog iz raziskave PISA 2009
Kot je bilo že omenjeno, smo se v raziskavi osredotočili samo na naloge, povezane z neumetnostnimi besedili. Preden predstavimo ugotovitve o nalogah, ki so bile za slovenske dijake težje kot za druge Evropejce, se ustavimo ob besedilih, ker so lahko tudi besedila (njihova zgradba, oblika ...) vplivala na dosežke dijakov pri reševanju nalog.
2.3.1 Neumetnostna besedila
Neumetnostnih besedil iz raziskave, ob katerih so dijaki slabše reševali naloge, je bilo 15. Besedila so bila različne dolžine in oblike, od pol tipkane strani do dveh tipkanih strani formata A4. Besedilo je bilo pogosto (šestkrat) dopolnjeno z nebesednimi prvinami (preglednica, diagram, graf, risba, zemljevid), lahko celo z dvema vrstama nebesednih prvin (zemljevid in graf, preglednica in graf). Besedila so bila iz časopisa, učbenika, z letaka, s spleta ... in so pripadala raznim besedilnim vrstam (poljudnoznanstveni članek, ocena umetniške stvaritve, predstavitev poklica, obrazec ...) - vse te besedilne vrste naj bi slovenski učenci/dijaki v skladu z učnim načrtom obravnavali pri pouku slovenščine in/ali nekatere brali pri drugih predmetih ali zunaj šole, torej jim niso bile tuje. Zaradi dolžine (nekaterih) besedil in velikega števila besedil (in nalog, povezanih z vsemi tremi vrstami pismenosti) v delovnem zvezku je moral dijak hitro brati in verjetno ni imel časa, da bi se vračal v besedilo in ga ponovno/večkrat15 prebral, torej je moral poznati in uporabiti strategije za hitro branje. Ugotavljamo, da je pri reševanju nalog v okviru PISE pomembno hitro branje, vendar se je treba zavedati, da sama hitrost branja še ne pomeni boljšega razumevanja besedila ali boljše bralne pismenosti.
Vsebinsko so bila pregledana neumetnostna besedila povezana s temami splošne razgledanosti in z izkušnjami dijakov (prim. besedilo o cepljenju proti gripi, znajdenju na podlagi podatkov v brošuri, ki jo najdemo v vsaki hotelski sobi, iskanju zaposlitve, o živalih, jezikih ...). Nekatere naloge so dijaki lahko rešili na podlagi znanja drugih predmetov, npr. geografije (znajdenje na zemljevidu in v stopinjski mreži), matematike (branje podatkov iz diagrama) .
Primer naloge [1] ob besedilu Delo (Repež in Štraus 2005: 25-26), pri kateri se pričakuje tudi matematično znanje:
Koliko ljudi, ki so del aktivne populacije, ni del delovne sile? (Napiši število ljudi, ne odstotka.)
Marja Bešter Turk, Lara Godec Soršak BRALNA PISMENOST IN POUK
35
V diagramu v besedilu je podatek 949,9, ob naslovu diagrama pa je opomba, da je število ljudi podano v tisočih. Dijak je moral torej povezati oba podatka in številčnega pomnožiti s tisoč. Iz Kodirnih shem (prav tam: 60) je razvidno, da so kot pravilno rešitev poleg točnega odgovora (949 900) upoštevali tudi približnega, npr. skoraj milijon, približno devetsto tisoč.
2.3.2 Naloge
Ob vsakem neumetnostnem besedilu v raziskavi PISA so bile naloge (povprečno tri oz. štiri), te pa so bile različnih vrst glede na dejavnost dijakov in ravni zahtevnosti. Slovenski dijaki so reševali slabše eno nalogo (ob 12 besedilih) ali dve (ob 4 besedilih).
Glede na način odgovarjanja dijakov so med nalogami, ki so jih slovenski dijaki reševali slabše od drugih, naloge polodprtega tipa, tj. take, pri katerih so morali rešitev poiskati v besedilu (tudi v več delih), nato pa odgovor napisati na črto, npr. primer naloge [2] iz besedila Športni copati (Štraus 2011b:
16-17):
Del članka pravi »Dobri športni copati bi morali zadostiti štirim merilom.« Katera so ta merila?
16 Primeri odgovorov so prepisani iz internega priročnika Pedagoškega inštituta za usposabljanje ocenjevalcev.
Pri večini nalog je dobil dijak točko samo za popoln odgovor, tj. za vse (npr. štiri) izpisane podatke. Enako je pri nalogah, pri katerih je moral napisati mnenje in ga utemeljiti, dobil točko samo za oboje. Vrednotenje na slovenskem Nacionalnem preverjanju znanja v OŠ in na obeh maturah se v tem razlikuje od vrednotenja v raziskavi PISA: pri nalogah, ki so ovrednotene z več točkami, prejme učenec/dijak, ki ne napiše vseh zahtevanih podatkov, določeno/manjše število točk.
Navajamo primer naloge [3], pri kateri je moral dijak po branju besedila Teledelo (prav tam: 9) napisati odgovor na podlagi svojega predznanja in svoj odgovor utemeljiti, da bi se rešitev naloge štela kot pravilna:
Navedi eno vrsto dela, ki bi ga težko opravljali kot teledelo? Utemelji svoj odgovor.
Dijak je pri tej nalogi prejel točko, če je »[n]avede[l] vrsto dela in poda[l] prepričljivo pojasnilo, zakaj oseba, ki opravlja takšno službo, ne bi mogla opravljati teledela. Odgovor MORA natančno pojasniti, zakaj je treba biti fizično navzoč pri tem delu« (Štraus 2011a: 7). Nepravilni odgovori kandidatov so bili npr.: Gradbenik. / Pastir, ker ne bi mogel imeti električnih ovc. / Naprimer skrbljenje za ceste, smeti, ... To so dela za katera so potrebna fizična dela. / Učenje - ker moraš to delo opravljati sam, tako da zraven razmišljaš. Pravilni odgovor pa je bil npr.: Tovarna avtomobilov. Težko bi delali avto prek računalnika, ker za to potrebujejo tudi človeške roke.6 Iz navedenega pravilnega odgovora lahko sklepamo tudi, da jezikovne napake dijakov ne vplivajo na pravilnost odgovora.
Slovenski dijaki slabo rešujejo naloge višje zahtevnostne ravni, tj. naloge, ki jih ne morejo rešiti s prepisom podatkov iz besedila, temveč morajo na
36
SLOVENŠČINA V ŠOLI, 2016
XIX. letnik, številka 3-4
podlagi podatkov v besedilu o čem sklepati, še posebej težko pa je sklepanje iz podatkov, ki so »skriti« v nebesednih prvinah (grafih, preglednicah, zemljevidih ...). Primer take naloge [4] je ob besedilu Čadsko jezero (Štraus 2011b: 10-11):
[Približno katerega leta se začenja graf na sliki 1? .................................................................................................................................................]
Zakaj je avtor izbral začetek grafa na tej točki?
Slabo so bile reševane tudi naloge, pri katerih je treba razbrati podatke iz več rubrik oz. delov besedila in jih nato smiselno povezati oz. poiskati »skupni imenovalec«. Če je treba vsebinsko primerjati dela besedila, npr. zadnji odstavek in preostalo besedilo ali prvo poved in preostalo besedilo, slovenski dijaki napišejo, kaj je v posameznem delu besedila, ne znajo pa povezati teh podatkov oz. jih primerjati. Prim. nalogo [5] iz besedila Varnost prenosnih telefonov (prav tam: 3-5):
»Težko je dokazati, da je neka stvar nedvomno povzročila neko drugo.« Kako je ta trditev [ki je ni v besedilu, op. avt.] povezana s 4. točko trditve »da« in »ne« v razpredelnici Ali so prenosni telefoni nevarni?
A Podpira trditev »da«, vendar je ne dokaže. B Dokazuje trditev »da«. C Podpira trditev »ne«, vendar je ne dokaže. D Pokaže, da je trditev »ne« napačna.
Dijakom je težko, če morajo razložiti nasprotujoča si podatka, npr. neko trditev v besedilu z drugačnim podatkom v grafu ali preglednici. Veliko težav jim povzroča tudi presojanje vloge nebesednih prvin; te sicer prepoznajo, ne znajo pa utemeljiti, zakaj so npr. določene besede v posameznih odstavkih napisane krepko/poševno.
Najslabše rešujejo naloge, pri katerih morajo izraziti svoje mnenje o podatkih iz besedila [6] ali svoje mnenje podpreti z odlomkom/primerom iz besedila [7]. Pri nalogi [6] so morali ob besedilu Plan International (Repež in Štraus 2005: 39-40) izraziti svoje mnenje:
Leta 1996 je bila Etiopija ena najrevnejših držav na svetu.
Če upoštevamo to dejstvo in podatke v razpredelnici, kaj po tvojem mnenju pojasnjuje stopnjo dejavnosti PLAN Internationala v Etiopiji v primerjavi z dejavnostjo v drugih državah?
Prim. še nalogo [7] ob besedilih Grafiti (Štraus 2011b: 12-13), v katerih sta navedeni različni mnenji o grafitih v mestnem okolju:
S katero avtorico pisem se strinjaš? Pojasni svoj odgovor, tako da se s svojimi besedami sklicuješ na to, kar piše v enem ali obeh pismih.
Dijaki slabše rešujejo tudi naloge, pri katerih jih zgoščeno navodilo ne vodi po korakih (npr. najprej naredi x, nato y) ali pri katerih jih navodilo ne usmerja v določeni del besedila, iz katerega naj razberejo podatke/odgovor. Tako so slovenski dijaki npr. slabo reševali nalogo, v navodilu katere
Marja Bešter Turk, Lara Godec Soršak BRALNA PISMENOST IN POUK
37
ni bilo posebej omenjeno, da je treba odgovor poiskati v preglednici in ne v besedilu.
2.3.3 Jezik v besedilih in nalogah
Ob presoji nalog, ponujenih v raziskavi PISA, ne moremo mimo jezika. Na to sta pred nami opozorila že raziskovalca Kosem in Š. Arhar Holdt (2012), ki sta za enega od možnih vzrokov za manjšo uspešnost naših dijakov v raziskavi PISA prepoznala prevod besedil iz tujega jezika v slovenščino. S statistično analizo besedišča v angleškem izvirniku in slovenskem prevodu sta s pomočjo angleškega in slovenskega korpusa primerjala pogostnost uporabljenih besed in besednih zvez v »realnem, živem jeziku« (Kosem in Arhar Holdt 2012: 4) in ugotovila, da je slovensko besedišče »za razumevanje zahtevnejše, torej redkeje uporabljano, kot v angleškem testu« (prav tam). Zaradi tega sta priporočila, da se v prihodnje vprašanju prevajanja posveti velika pozornost (prav tam).
Saksida (2014) je opozoril na mešanje vprašalnic po vzroku in namenu; to bi lahko vplivalo na dijakovo napačno razumevanje navodila in posledično na napačno rešitev ali vsaj na upočasnjeno reševanje. Dijaki se pri pouku slovenščine učijo, da v slovenščini z vprašalnico zakaj sprašujemo po vzroku (odgovor se začne z veznikom ker), po namenu pa sprašujemo z vprašalnico čemu ali s katerim namenom (odgovor se začne z veznikom da). V tem smislu je pravilni odgovor B v nalogi [8] ob besedilu Motorno kolo (Šterman Ivančič 2013: 91-95) zavajajoč:
Zakaj avtor začne zgodbo z vprašanjem?
A Ker želi izvedeti odgovor.
B Da bi bralca pritegnil k zgodbi.
C Ker je na to vprašanje težko odgovoriti.
D Da bi bralca opomnil, da se kaj takega ne zgodi pogosto.
Na upočasnitev pri reševanju zagotovo vplivajo tudi strokovne (metajezi-kovne) napake. V eni od nalog, ki smo jih pregledali, je ob besedilu Športni copati(Štraus 2011b: 16-17) uporabljena napačna raba termina stavek - rabljen je v drugačnem pomenu, kot ga dijaki uporabljajo pri pouku slovenščine, prim. [9]:
Poglej stavek, ki je skoraj na koncu članka. Ta je prikazan v dveh delih:
»Da bi se izognili manj resnim, toda bolečim stanjem kot je žulj ali celo rana ali atletsko stopalo (glivična okužba!...« Iprvi del)
»...mora copat omogočati izhlapevanje potu in preprečiti vstop vlage od zunaj.« (drugi delj
Kakšno je razmerje med prvim in drugim delom tega stavka? Drugi del
A nasprotuje prvemu delu. B ponovi prvi del.
C razloži problem, ki je opisan v prvem delu. D daje rešitev na problem, opisan v prvem delu.
38
SLOVENŠČINA V ŠOLI, 2016
XIX. letnik, številka 3-4
Odlomek iz besedila, ki je naveden v nalogi [9], obsega (eno) poved, ki je sestavljena iz (treh) stavkov.17 Poleg manjkajočih štirih vejic je v povedi še ena pravopisna napaka - stičnost treh pik. Pravilni dogovor D pa je zapisan slovnično nepravilno (daje rešitev problema, opisanega v prvem deluj. Po našem mnenju pravopisne napake in slovnična napaka v tem primeru (najverjetneje) niso vplivale na uspešnost reševanja, metajezikovna pa bi lahko.
Oglejmo si še slovnično napako v povedi [KDO NAJ BI SE CEPIL?] Vsi, ki bi se radi zaščitil pred virusom iz besedila Gripa (prav tam: 18-20) - ponovi se tudi v navodilu naloge [10] -; ta napaka bi lahko vplivala na pravilen odgovor dijaka:
Lahko govorimo o vsebini besedila (kaj pove). Ali pa o njegovem slogu (kako je vsebina predstavljena). Fani je hotela, da bi bil slog obvestila prijazen in vzpodbuden. Se ti zdi, da ji je uspelo?
Pojasni svoj odgovor, ki naj se podrobno nanaša na ureditev besedila, slog pisanja in slike ali drugo grafiko.
V navedeni povedi je napisana pogovorna oblika deležnika moškega spola ednine (bi se zaščitil; knjižno: bi se zaščitili), ki bi bralca lahko zmedla pri presoji sloga pisanja. Iz Kodirnih shem (Štraus 2011a: 17-18) je razvidno, da ta »napaka« ni bila predvidena kot del odgovora (tj. sloga pisanja).
In še primer za poimenovalno napako v nekem besedilu: Namesto izraza svetovni jeziki bi moralo pisati jeziki sveta, ker besedilo govori o jezikih po svetu, ne samo o tistih, ki so najbolj razširjeni; ugotavljanje pravilnega razumevanja takih izrazov je za dijake lahko zelo zamudno.
Da bi izključili vpliv jezikovnih in metajezikovnih napak na reševanje dijakov, bi moral besedila in naloge pred testiranjem pregledati slovenist, in sicer tak, ki dobro pozna tudi učni načrt za slovenščino.18
17	Pravopisno pravilna poved: »Da bi se izognili manj resnimi, toda bolečim stanjem, kot je žulj, ali celo rana, ali atletsko stopalo (glivična okužba).., « (prvi delI
»... mora copat omogočati izhlapevanje potu in preprečiti vstop vlage od zunaj.« (drugi delI
18	M. Štraus in N. Markelj (2011: 42] med raznimi mehanizmi, ki se uporabljajo za zagotavljanje strogih standardov raziskave PISA, omenjata tudi »neodvisno verifikacijo prevoda«, ki jo opravi mednarodni center.
19	Pri analizi teh rezultatov se je treba zavedati, da gre za mnenja dijakov.
20	Reading for School (RSF) questionnaire (https:// www.oecd.org/pisa/pisaproducts/PISA09_RFS_ questionnaire.pdf].
2.4 Odgovori dijakov o branju za šolo
Poleg nalog smo analizirali še odgovore dijakov na vprašanja v odzadnjem vprašalniku.19 Zanimalo nas je, kaj so leta 2009 dijaki odgovarjali o branju za šolo,20 in sicer kako pogosto so morali v zadnjih dveh mesecih pri pouku ali za domačo nalogo a) prebrati razna besedila za šolo in b) rešiti določene naloge, povezane s prebranim besedilom.
Iz odgovorov je razvidno, da slovenski dijaki največkrat berejo prozna umetnostna besedila, neumetnostna besedila pa redko. Večina slovenskih dijakov tako rekoč ni brala navodil o delovanju npr. naprave oz. opisa delovanja npr. naprave (66 %), reklamnega gradiva (64 %), besedil o pisatelju ali knjigah (61 %), poezije (61 %), člankov iz časopisov in revij (61 %). Polovica dijakov ni brala besedil, ki vsebujejo preglednice ali grafe (52 %), in besedil, ki vsebujejo diagrame ali zemljevide (50 %). Če primerjamo pogostost branja besedil, ki vsebujejo preglednice in grafe, ugotovimo, da je v zadnjih dveh mesecih tovrstna besedila večkrat bralo dvakrat toliko finskih (32 %) in skoraj dvakrat toliko nemških dijakov (28 %) v primerjavi s slovenskimi
39
Marja Bešter Turk, Lara Godec Soršak BRALNA PISMENOST IN POUK
(16 %). Podobno bi lahko trdili za branje besedil, ki vsebujejo diagrame ali zemljevide: večkrat jih je bralo 29 % finskih, 25 % nemških in le 16 % slovenskih dijakov. Ta odgovor pa je v obeh primerih izbral najmanjši delež hrvaških dijakov (10 % oz. 9 %).
Nato so dijaki odgovarjali še o tem, kako pogosto so reševali naloge, povezane z besedilom.
Med odgovori, da so določeno nalogo v zadnjih dveh mesecih delali večkrat, je največji delež slovenskih dijakov odgovoril, da so prepoznali namen besedila (28 %), približno četrtina jih je odgovorila, da so razlagali vzrok dogodkov v besedilu (26 %) in vedenje oseb v besedilu (25 %). Veliki večini slovenskih dijakov se tako rekoč nikoli ni bilo treba naučiti (dela) besedila na pamet (81 %), ni jim bilo treba opisovati, kako so podatki razvrščeni v preglednici ali grafu (71 %), in predstaviti povezave med različnimi deli besedila (npr. med besednim delom in zemljevidom) (65 %). Skoraj polovica slovenskih dijakov ni iskala podatkov v grafu, diagramu ali preglednici (49 %).
Zanimali so nas odgovori finskih, nemških in hrvaških dijakov o nalogah, povezanih z neumestnostim besedilom, katerega del so preglednice, grafi in diagrami, in sicer deleži dijakov, ki so odgovorili, da so določeno nalogo v zadnjih dveh mesecih opravili večkrat.
Država/Naloga	Poiskati podatke iz grafa, diagrama, preglednice (delež dijakov v %)	Opisati, kako so razvrščeni podatki v preglednici ali grafu (delež dijakov v %)	Razložiti povezavo med različnimi deli besedila (npr. med besednim delom in zemljevidom) (delež dijakov v %)
Povprečje OECD	28	12	14
Slovenija	19	8	11
Finska	30	7	6
Nemčija	28	13	14
Hrvaška	7	4	6
Iz Preglednice 2 je razvidno, da je med primerjanimi dijaki posamezno nalogo večkrat opravljal največji delež nemških dijakov in najmanjši delež hrvaških dijakov. Slovenski dijaki so pri vseh primerjanih nalogah odgovorili v manjšem deležu od povprečja OECD in od nemških dijakov oz. v enem primeru tudi od finskih dijakov. Največja razlika je pri iskanju podatkov iz nebesednih delov besedila - večkrat jo je reševalo 30 % finskih dijakov in več kot 10 odstotnih točk manj slovenskih dijakov.
Sklepamo torej, da sta manj pogosto branje neumetnostnih besedil in redko reševanje nalog, povezanih s temi besedili, dva od zelo verjetnih vzrokov za slabše reševanje nalog slovenskih dijakov na PISI. Rezultati PISE kažejo močno povezanost med tem, kako radi dijaki berejo, in njihovimi dosežki pri bralni pismenosti na PISI (OECD 2010c). Prav tako so na PISI 2009 boljše rezultate dosegli tisti dijaki, ki berejo zelo raznovrstna besedila (prav

^Preglednica 2: Primerjava deleža dijakov, ki so v zadnjih dveh mesecih določeno nalogo opravili večkrat
40
SLOVENŠČINA V ŠOLI, 2016
XIX. letnik, številka 3-4
tam). Zato je zelo pomembno, da so vsi učitelji dijakom bralni zgled, da jih spodbujajo k branju in jim priporočajo za branje različna besedila, ne samo umetnostna.
3 Sklep
Ob analizi nalog, ki so jih slovenski dijaki v raziskavi PISA 2009 reševali več kot 5 odstotnih točk slabše od dijakov iz drugih evropskih držav, in ob pregledu odgovorov dijakov na vprašanja o branju za šolo v odzadnjem vprašalniku se lahko vprašamo, kaj se zares dogaja pri pouku, ko slovenski dijaki izražajo bolj ali manj pozitivna stališča o svojem pouku, pri tem pa imajo slabe dosežke v raziskavi PISA.
Glede na predstavljene ugotovitve bi bilo dobro, da bi slovenski učitelji vseh predmetov razmislili o konkretnem pouku svojega predmeta, pri katerem učenci/dijaki razvijajo (tudi) bralno pismenost, in sicer o tem,
-	katera neumetnostna besedila so smiselna za obravnavo učne snovi in ali dovolj pogosto obravnavajo tudi taka neumetnostna besedila, ki vsebujejo nebesedne prvine (preglednice, diagrame, grafe ...);
-	ali učencem/dijakom dovolj pogosto priporočajo v branje razna besedila in ali učitelji sami veliko berejo in so učencem/dijakom bralni zgled;
-	kako obravnavajo neumetnostno besedilo pri pouku - ali v pristnem učnem pogovoru, v katerem res poslušajo drug drugega; ali pri učencih/dijakih preverjajo razumevanje besedila, tj. prepoznavanje bistvenih podatkov, tudi iz nebesednih prvin, presojanje vloge nebesednih prvin v besedilu, povzemanje besedila ali njegovega dela, ločevanje dejstev in piščevih stališč, izrekanje mnenja o vsebini in obliki besedila in njegovo utemeljevanje, povezovanje prebranega z življenjskimi izkušnjami - ali pa zahtevajo od učencev/dijakov samo obnovo učnega gradiva ali celo samo zapiskov oz. narekovanih povzetkov;
-	ali seznanijo učence/dijake z bralnimi učnimi strategijami in pouk zasnujejo tako, da jih morajo učenci/dijaki utrjevati na novem bralnem gradivu.
Poleg tega naj učitelji razmislijo o tem,
-	ali dajejo učencem/dijakom (tudi zahtevnejše) (domače) naloge; ali so te pregledane in je učencem/dijakom v najkrajšem času dana povratna informacija o tem, kako jih izboljšati;
-	ali skrbijo za red pri pouku, da imajo učenci/dijaki primerne razmere za delo;
-	ali med seboj sodelujejo in se dodatno strokovno usposabljajo ...
Razvijanje pismenosti je odgovornost vseh učiteljev. Vsak naj bi sam pri sebi odgovoril na ta vprašanja in razmislil o tem, kaj bi lahko spremenil pri pouku svojega predmeta. Kakovostnejši pouk bi vplival na znanje učencev in tudi na njihove dosežke v mednarodnih raziskavah.
41
Marja Bešter Turk, Lara Godec Soršak BRALNA PISMENOST IN POUK
^ POVZETEK
Slovenski 15-Letniki sodelujejo v primerjalni mednarodni raziskavi PISA od Leta 2006, vendar povprečno število doseženih točk z Leti (2009, 2012) pada. V članku so v raziskavi, v okviru katere je biLa uporabljena metoda analize dokumentov, kritično ovrednotene naloge ob neumetnostnih besedilih, ki so jih sLovenski dijaki v raziskavi PISA Leta 2009 reševaLi slabše od drugih Evropejcev. Te ugotovitve smo nato povezaLi s podatki dijakov iz enega izmed odzadnjih vprašalnikov raziskave PISA 2009 (odgovori o branju za šoLo) in jih primerjali z odgovori finskih, nemških in hrvaških dijakov ter iskaLi vzroke za ugotovLjene razLike. Ob ugotovitvah o naLogah ter ob odgovorih dijakov se porajajo vprašanja o pouku v sLovenskih šoLah; čLanek žeLi spodbuditi učiteLje vseh predmetov k premisLeku o izboLjšanju pouka, pri katerem dijaki razvijajo braLno pismenost.
Ključne besede: braLne naLoge, odzadnji vprašaLnik, pouk, ravni braLne pismenosti, raziskava PISA
^Viri in literatura
•	Bešter, M., in Godec Soršak, L., 2016. Kaj spremeniti pri pouku za dvig ravni bralne pismenosti. V: Devjak, T., in Saksida, I. (ur.): Bralna pismenost kot izziv in odgovornost. Ljubljana: Pedagoška fakulteta. 119-142. Dostopno na: https:// www.pef.uni-lj.si/fileadmin/Datoteke/Posvet/2016/Bralna-pismenost_Posvet--PeF-20l6.pdf (15. 1. 2016).
•	Bieber, T., in Martens, K., 2011. The OECD PISA Study as a Soft Power in Education? Lessons from Switzerland and the US. European Journal of Education 46 (1). 101-116.
•	Compendium for the RSFquestionnaire. Pridobljeno na: http://pisa2009.acer. edu.au/downloads/COMP_RFS09_DEC11.zip (15. 1. 2016).
•	Kosem, I., in Arhar Holdt, Š. (2012). Analiza besedišča in skladnje v besedilih testa bralne pismenosti PISA 2009. Pridobljeno na http://www.pef.uni-lj.si/ceps/ dejavnosti/sp/2012-10-24/povezetek.pdf (15. 1. 2016).
•	Krakar Vogel, B., 2014. Bralna pismenost med teoretičnimi načeli in poučeval-no prakso. Slovenščina v šoli 17 (3-4), 25-41.
•	Nolimal, F., 2014. Empirične ugotovitve projekta Opolnomočenje učencev z izboljšanjem bralne pismenosti in dostopa do znanja kot izhodišče za nadaljnji razvoj pismenosti. Slovenščina v šoli 17 (3-4). 91-94.
•	OECD (2007). PISA 2006: Science Competencies for Tomorrow's World: Executive Summary. Pridobljeno na: http://www.oecd.org/pisa/pisaproduc-ts/39725224.pdf (15. 1. 2016).
•	OECD (2010a). PISA 2009 at a Glance. Pridobljeno na: http://www.oecd.org/ pisa/46660259.pdf (15. 1. 2016).
•	OECD (2010b). PISA 2009 Results: Executive Summary. Pridobljeno na: http:// www.oecd.org/pisa/pisaproducts/46619703.pdf (15. 1. 2016).
•	OECD (2010c). PISA 2009 Results: Learning to Learn - Student Engagement, Strategies and Practices (Volume II). Pridobljeno na: http://www.oecd-ilibrary. org/docserver/download/9810091e.pdf?expires=1457004335&id=id&accname= guest&checksum=FE0B498EDA693D7C1C7B4C7227FAF312 (15. 1. 2016).
42
SLOVENŠČINA V ŠOLI, 2016
XIX. letnik, številka 3-4
•	OECD (2014). PISA 2012 Results: What Students Know and Can Do - Student Performance in Mathematics, Reading and Science (Volume I, Revised édition, February 2014). Pridobljeno na: http://www.oecd.org/pisa/keyfindings/pi-sa-2012-results-volume-I.pdf (15. 1. 2016).
•	Pečjak, S., 2011. Bralna pismenost dijakov pri branju različnih besedil - Kaj nam pripoveduje PISA 2009?. V: V. Gomivnik Thuma (ur.): Vloga slikovnih sestavin pri sporazumevanju: zbornik Bralnega društva Slovenije, Ljubljana, 8. septembra 2011. Ljubljana: Zavod RS za šolstvo. 11-24.
•	Program mednarodne primerjave dosežkov učencev - PISA (Programme for International Student Assessment). Pridobljeno na: http://www.pei.si/Sifranti/ InternationalProject.aspx?id=18 (15. 1. 2016).
•	Puklek Levpušček, M., Podlesek, A., in Šterman Ivančič, K., 2012. Dejavniki bralne pismenosti v raziskavi PISA 2009. Digitalna knjižnica, Dissertationes, 21. Ljubljana: Pedagoški inštitut. Pridobljeno na: http://www.pei.si/UserFilesUplo-ad/file/digitalna_knjiznica/Dissertationes_21_ISBN_978-961-270-138-3_PDF/ DK_CC%202.5_Dissertationes_21_ISBN_978-961-270-138-3.pdf (15. 1. 2016).
•	Reading forSchool (RSF) questionnaire. Pridobljeno na: https://www.oecd.org/ pisa/pisaproducts/PISA09_RFS_questionnaire.pdf (15. 1. 2016).
•	Repež, M., in Štraus, M. (ur.)., 2005. PISA 2000: Naloge iz bralne pismenosti. Ljubljana: Nacionalni center PISA, Pedagoški inštitut. Pridobljeno 15. 1. 2016 s http://193.2.222.157/UserFilesUpload/file/raziskovalna_dejavnost/PISA/ PISA2009/Naloge_iz_bralne_pismenosti_2000.pdf.
•	Repež, M., in Štraus, M. (ur.). (2007). PISA 2006 - Izhodišča merjenja bralne pismenosti v raziskavi PISA 2006. Ljubljana: Nacionalni center PISA, Pedagoški inštitut.
•	Saksida, I., 2014. PISA - sferično zrcalo slovenske bralne pismenosti. Slovenščina v šoli 17 (3-4). 2-14.
•	Salzer, C., in Prenzel, M., 2014. Looking Back at Five Rounds of PISA: Impacts on Teaching and Learning in Germany. Šolsko polje 25 (5-6). 53-72.
•	Šterman Ivančič, K. (ur.). (2013). Izhodišča merjenja bralne pismenosti v raziskavi PISA 2012 s primeri nalog. Ljubljana: Pedagoški inštitut. Pridobljeno na: http://www.pei.si/UserFilesUpload/file/digitalna_knjiznica/Documenta_6_
ISBN_978-961-270-192-5_PDFZ978-961-270-192-5.pdf (15. 1. 2016).
•	Štraus, M., 2011a. Kodirne sheme za naloge iz raziskave PISA. Ljubljana: Pedagoški inštitut.
•	Štraus, M., 2011b. Primeri nalog iz raziskave PISA. Ljubljana: Pedagoški inštitut.
•	Štraus, M., in Markelj, N., 2011. Bralna, matematična in naravoslovna pismenost dijakinj in dijakov 1. letnikov srednjih šol v Sloveniji v raziskavi PISA 2009. Šolsko polje 22 (5-6). 35-68.
•	Štraus, M., Šterman Ivančič, K., in Štigl, S. (ur.)., 2013. OECD PISA 2012. Ljubljana: Pedagoški inštitut. Pridobljeno na: http://193.2.222.157/UserFilesUpload/ file/raziskovalna_dejavnost/PISA/PISA2012/PISA%202012%20Povzetek%20re-zultatov%20SLO.pdf (15. 1. 2016).