Učinek izboljšave besedila v učbenikih geografije na dosežke pri preizkusu znanja: primerjava visoko in nizko uspešnih učencev pri predmetu Janc/jLisntr.Mcijci Zupančič in Vlojca Rozman Učbeniki, zlasti osnovnošolski, so pogosto predmet kritike, ki se navadno osredotoča na različne vidike zunanjega dogajanja (sistem potrjevanja in nabave, cene ipd.) ali zunanje podobe učbenika oz. zaznavne privlačnosti za mlade bralce (npr. vsebina in kakovost fotografij). Zelo redke pa so kritike bistva učbenikov, tj. pomenskih in spoznavnih predstav, ki jih vsebina učbenika ustvarja v umu učencev, zgradba in vsebina učbeniških sporočil, ki jih učenci sprejemajo, ko prebirajo ali se učijo iz učbenikov (Justin, zoioa). Prav s posegom v zgradbo učbeniških besedil (pomensko strukturo, besedišče, sintaktične, semantične in besedilne značilnosti) namreč lahko pri učencih izboljšamo in jim hkrati olajšamo uspešen priklic prebranih informacij, razumevanje spoznavne vsebine besedila in uporabo usvojenih informacij v novih kontekstih (Justin, loiob, 2012.; Mikk, 2.001). S premišljenim oblikovanjem učbeniškega besedila, ki se ravna po znanstvenih izsledkih o njihovi spoznavni (učni) učinkovitosti, je torej mogoče ustvariti biscvcno učinkovitejša besedila od tistih, ki nascanejo le na podlagi strokovnega znanja avtorjev, njihovih osebnih oblikovalskih sposobnosti ¡11 pedagoških izkušenj (Justin, loiob). (Kvazi)eksperimentalno raziskovanje učbenikov V zadnjih dveh desetletjih je v svetu najbolj uveljavljeno (kvazi)eksperi-mentalno raziskovanje pomenske strukture učbenikov, ki vodi k odgovoru na vprašanje, kako raba učbenikov v izobraževanju vpliva na doseganje ciljev te dejavnosti (Justin, loioa; Mikk, 2.000; Sclander, Thoey in T.orentzen, 1001). Tovrstno raziskovanje se omejuje na spoznavno (učno) učinkovitost učbenikov, večinoma na vprašanje, kako določen (jezikovni, vidni) način po- sredovanja informacij v učbenikih vpliva na priklic, razumevanje in uporabo ceh informacij. Kljub nekoliko mchanicističnem pojmovanju učbenika kot sredstva /a karseda učinkovito posredovanje informacij učencu so ugotovitve (kvazi)eksperiinentalnih raziskav o učinku učbenikov na uporabnike pomembne tako pri oblikovanju in razvoju učno učinkovitih ccr učencu »prijaznih« učbenikov koc tudi strokovnemu ocenjevanju njihove kakovosti. Na splošno v kvazickspcrimentih avtorji izberejo vzorce učbeniških besedil in eno ali več lastnosci (npr. semantična žabcev-nost besedila, težavnosc besedišča, abstraktnost besedišča, dolžina povedi, medpovedna razmerja) po določenih postopkih izboljšajo (popravijo). Nato v nadzorovanih postopkih, navadno s poskusno in nadzorno skupino (skrbno izenačenima po značilnostih, ki bi poleg variacij v branju različnih različic besedil utegnile vplivati na učni dosežek), primerjajo učinke izvirnih in popravljenih različic besedil na učne dosežke udeležencev, V slovenski kvazieksperimentalni raziskavi (Justin, Zupančič in Rozman, ion), prvi tovrstni raziskavi učbenikov v Sloveniji, smo posegli v štiri med seboj povezane razsežnosti učbeniškega besedila, da bi učencem olajšali njegovo razumevanje: kohezivnost, premišljenost, vrzeli in koherentnost (Beck, McKeown in (iromoll, lySyjJulkunen, 1991; Mikk, 2.000; Wilkes, 1997). Na tem mestu navedene značilnosti besedil kratko opisujemo, nato pa predstavljamo ugotovitve naše predhodne raziskave o učinku izboljšave učbeniškega besedila v naštetih razsežnostih na njegovo učno učinkovitost (Justin et al., 1011). Iz teh ugotovitev izhaja tudi problem pričujočega prispevka. Prva lastnosc odlomkov izvirnega učbeniškega besedila, ki smo jo izboljšali v popravljenih različicah, je bila njegova kohezivnost. Kohezivno ali notranje povezano je tisco besedilo, v katerem so povezave med njegovimi sestavnimi deli trdne. Bralec v koherentnem besedilu prepozna osrednjo temo, na katero se veže večina povedi (Klare, 1985). Tako si lažje ustvari predstavo o pomenski celoti besedila. Kohezivnost je večja, če so v besedilu skupaj tematsko povezane informacijske celote, ki si sledijo v logičnem zaporedju, če je premisa pred sklepom in/ali če splošni erdievi sledijo posamične trditve. Kohezivnost v besedilih dalje okrepi ponavljanje nekaj ključnih besed, jasen in urejen argumentacijski tok, povezava delov besedila z argumentacijskimi vezniki (ker, zato, saj, čeprav), raba izrazov, ki se nanašajo na dele predhodnega besedila (glej tudi Justin, 1004; Justin et al., 1011). Druga lastnost, na katero smo se osredotočili pri izboljšavi odlomkov izvirnih učbeniških besedil, je bila njihova premišljenost. Premišljenost besedil se nanaša na posredovanje nedvoumnih in bistvenih informacij, bližnje in neposredno nanašanje (npr. zaporedje povedi ustrezno odslikava razmerje vzrok-posledica, gl. Justin et al., 2012), vključevanje pojmov, ki jih bralec lahko poveže s svojim predhodnim znanjem (npr. Beck et al., 1989; Chiesi, Spilich in Voss, 1979). Tretja lastnost, v katero smo posegli pri popravkih odlomkov izvirnih učbeniških besedil, so bile vrzeli, ki smo jih želeli čim bolj odpraviti. Vrzeli v besedilu so mesta, na katerih mora bralec narediti sklepe, ki niso neposredno izraženi (Sperber in Walson, 1986). Da bi učenec razumel besedilo v učbeniku kot pomensko celoto, mora na nekaterih mestih izpeljati sklepe, ki v besedilu niso neposredno izraženi - zapolniti mora te vrzeli. Na primer, pri povedi iz geografskega učbenika, uporabljenega v pričujoči raziskavi, »Tekstilna industrija je počasi izgubljala svoj vodilni položaj, vendar je z večanjem obratov in modernizacijo še vedno pomemben izvoznik svojih proizvodov.«, bi moral učenec narediti dva sklepa, in sicer: »Dobro je, če industrija izvaža proizvode.« in »Industrija lahko izvaža le, če ima dovolj veliko in moderno proizvodnjo.« (Justin, 2010a). Četrta lastnost, ki smo jo v odlomkih izvirnih učbeniških besedil popravljali, je bila njihova koherentnost. Koherentnost se nanaša na skladnost in urejenost pomenov, ki jih vsebuje besedilo, in na urejenost razmerja med zgradbo besedila ter zgradbo nanosnikov (stvari, dogodkov in pojavov), o katerih govori besedilo. Koherentno besedilo je pomensko enotno, logično pravilno (z jezikovnimi sredstvi oblikuje predstave o svetu, v katerem so čas, prostor in dogajanje logično povezani, gl. Justin, 2004), skladno spravili besedilne gradnje (Wales, 1994) in vzpostavlja pomensko kontinuiteto (Beaugrande in de Dressier, 1992). V že omenjeni predhodni kvazieksperimentalni študiji z devetošolci (Justin et al., 2012) smo s primeri odlomkov besedil v potrjenih geografskih učbenikih, ki smo jim povečali kohezivnost, premišljenost in koherentnost ter zapolnili vrzeli, dosegli bistveno izboljšanje njihove spoznavne (učne) učinkovitosti. Na porast spoznavne učinkovitosti popravljenih didaktičnih besedil smo sklepali na podlagi znatno višjih dosežkov deve-tošolcev pri preizkusu znanja z ustrezno tematiko, ki je zahtevala razumevanje, in kjer so učenci brali popravljene odlomke učbeniških besedil, v primerjavi z branjem odlomkov izvirnih besedil, in sicer tudi ob nadzoru njihove zaključne ocene iz geografije v osmem razredu. Poseg, ki smo ga opravili v zgradbo izvirnih učbeniških besedil, je v primerjavi s podobnimi tujimi raziskavami (npr. Bauman, 1986; Beck et al., 1989; Beck, McKe-own, Sinatra in Loxterman, 1991; Mikk, 2000; Selander et al., 2002 ) prispeval k večjemu porastu spoznavne učinkovitosti popravljenih besedil. Domnevamo, da je k temu delno pripomogla kritična analiza izvirnih besedil, s pomočjo katere smo natančno prepoznali mesta njihove pomanjkljive kohezivnosti, premišljenosti, koherentnost in številne vrzeli ter jih ustrezno popravili (za opis primerov gl. Justin et al., 2011). Vsi ti popravki so prispevali k višji ravni eksplicitnosti besedila v primerjavi /. izvirnim. Poleg tega smo uporabili tudi drugačen, celovitejši, nadzorovan in hkrati časovno ekonomičen raziskovalni načrt (gl. razdelek metoda v nadaljevanju pričujočega prispevka). Tako branje popravljenih različic besedil (ne glede na njihovo specifično geografsko tematiko) kot tudi zaključna ocena iz geografije v preteklem šolskem letu sta imela pomemben glavni (in neodvisni) učinek na razumevanje devctošolccv (Justin et al., 2011), Zaključne ocene pri določenem predmetu v devetem razredu se, čeprav so vsaj delno subjektivne, močno povezujejo z ravnjo doseženega znanja pri tem predmetu (npr. Puklek Levpušček, Zupančič in Sočan, ion), učno uspešnejši učenci pri predmetu, ki mu je učbenik namenjen, pa lažje ločijo med bistvenimi in nebistvenimi informacijami v učbeniškem besedilu (Chiesi et al., 1979) in lažje zapolnijo besedilne vrzeli v učnih besedilih s pravilnimi sklepi, ker imajo v spominu shranjenih več ustreznih informacij (predznanja) kot njihovi vrstniki z nižjimi učnimi ocenami (Justin, icioa). Kot so pokazali že Franks et al. (1982), je s povečanjem eksplicitnosti učbeniških besedil moč izboljšati spominski priklic in razumevanje pri nizko učno uspešnih učencih do ravni, ki jo dosegajo visoko učno uspešni učenci, in to ob branju vsebinsko enakih besedilnih odlomkov na nižji ravni eksplicitnosti. Slednje smo želeli preveriti tudi v nadaljnji analizi naših podatkov, zbranih v predhodni študiji na vzorcu slovenskih devctošolccv (Justin ctal., 2012). Problem študije Učinek popravljenih besedil v učbenikih geografije na učenčevo razumevanje (Justin et al., 2012) smo v pričujočem prispevku natančneje preučili pri specifičnih podvzorcih devetošolcev, in sicer smo želeli ugotoviti dvoje: (1) v kolikšni meri se razlike v dosežkih pri preizkusu znanja med učenci, ki so imeli v preteklem šolskem letu nizke zaključne ocene iz geografije, in učenci, ki so imeli visoke zaključne ocene, zmanjšajo, če prvi berejo izboljšana besedila pred preizkusom, drugi pa izvirne različice besedil; (2) koliko z branjem popravljenih različic besedila pridobi skupina učencev z nizkimi zaključnimi ocenami pri geografiji in koliko skupina z visokimi ocenami; z drugimi besedami, ali učenci z manjšim predznanjem iz geografije po branju izboljšanih besedil pridobijo več, manj ali enako kot učenci z večjim predznanjem. Metoda Udeleženci Sodelovalo je 170 učencev in učenk (kar predstavlja le del celotnega vzorca učencev in učenk) iz 5 naključno izbranih osnovnih šol v Ljubljani in okolici, 2 iz Maribora in okolice ter 1 primorske šole. V vsaki šoli smo najprej izbrali vse devete razrede (po 1 oziroma 2 na šoli). Tako je bilo vzorčenih 247 učencev (približno polovica deklet) iz 8 šol oziroma 14 oddelkov. Ker smo želeli primerjati skupini učencev z nizkimi in visokimi zaključnimi ocenami pri predmetu geografija v preteklem šolskem letu (tj. v osmem razredu), smo pregledali porazdelitev njihovih zaključnih ocen (Tabela 1). Slednje so bile razmeroma visoke, kar se seveda kaže tudi v aritmetični sredini (M = 4,03), mediani (Me = 4) ter v percentilnih vrednostih zgornje (P^ = 5) in spodnje tretjine porazdelitve (P^ = 4). Tabela 1: Porazdelitev zaključnih ocen učencev v 8. razredu pri predmetu geografija. Zaklj učna ocena / % 2 17 6.9 3 56 22.7 4 77 51.2 5 97 5.9-5 Skupaj i 47 100 Da bi odgovorili na raziskovalni vprašanji, smo želeli oblikovati dve približno enako veliki skupini (učenci z nizkimi in učenci z visokimi zaključnimi ocenami pri geografiji). Delitev učencev glede na mediano učne ocene kot tudi delitev na skupini v zgornji in spodnji tretjini ocen je vodila do podobnih skupin, tj. skupino z nižjimi ocenami so sestavljali učenci z zaključnimi ocenami od 2 do 4 (60,7 %), skupino z višjimi ocenami pa učenci z odlično oceno (39,3 %). Zato smo se odločili, da v skupino z nizkimi zaključnimi ocenami uvrstimo le učence z oceno 2 ali 3 (73 učencev oz. 42,9 %), v skupino z visoko oceno pa učence z oceno 5 (97 učencev oz. 57,1 %). V vsaki od skupin je nekaj manjkajočih vrednosti, saj vsi učenci niso bili prisotni pri obeh izvedbah raziskave in tako niso brali vseh besedil (v skupini z ocenama 2 ali 3 za besedilo poselitev manjka osem, kmetijstvo šest, gričevja šest in industrija sedem podatkov; v skupini z oceno 5 za besedilo poselitev manjka osem, kmetijstvo sedem, gričevja osem in industrija enajst podatkov). Pripomočki Vi potrjenih učbenikih geografije smo izbrali odlomke, za katere so nam predmetni učitelji sodelujočih učencev predhodno zagotovili, da njihove vsebine pri pouku še niso obravnavali. Vsak od odlomkov je vseboval samostojno vsebinsko celoto, odlomki pa so se nanašali na štiri vsebinska področja, cj. poselitev, kmetijstvo, industrija in gričevje. Štiri besedilne odlomke v učbenikih smo obravnavali kot prve, izvirne različice besedil. Popravili smo jih v treh različicah. Ker naj bi grafična podoba besedila - na primer krepko natisnjeni nosilni izrazi - prispevala k večji spoznavni dostopnosti glavnih pojmov (npr, Chiesi et al., 1979; Klare, 1985), smo izvirne različice štirih besedil oblikovali tako, da smo besedila natisnili v grafični podobi, o kateri smo menili, da je izboljšana. Izraze, ki so vsebovali najpomembnejše pojme, smo natisnili krepko, dodali smo podnaslove (največ dva), ob robu smo izpisali najpomembnejše dele vsebine. Tako so nastale druge, izvirne različice besedil z grafično izboljšavo. V tretjih, besedilno izboljšanih različicah smo popravili zgolj besedila (zgradbo in organizacijo besedil), nismo pa posegali v grafično podobo besedil. Nato smo izdelali še četrte, besedilno in grafično izboljšane različice besedil - v besedilno izboljšane različice smo vnesli še grafične popravke. Vsebino vsake izvirne različice smo najprej povzeli v nizu izoliranih stavkov ali propozicij. Z risanjem spoznavnih zemljevidov (gl. Ko bal, 1997) smo določili smeri delovanja vzrokov in argumentov v vsebini besedil. To je bilo izhodišče za besedilne popravke izvirnih različic. Za vsakega od izbranih izvirnih besedil smo izdelali več popravljenih besedilnih različic. Obseg teh različic je bil približno enak obsegu izvirnega besedila in niso vsebovale informacij, ki jih ni bilo v izvirnih besedilih. T.ahko pa je bil v besedilno popravljenih različicah besedil izpisan del sklepov, kijih je moral ob branju izvirnega besedila narediti bralec, če je izvirno besedilo narekovalo te sklepe. Pri tem smo si prizadevali, da bi učenci v popravljenih različicah našli več opore za sklepanje o manjkajočih informacijah, kot so jo dobili v izvirnih različicah. V popravljenih različicah smo tudi odstranili ovire, ki v izvirnem besedilu otežujejo sklepanje (naprimer protislovja). Natančna kritična analiza uporabljenih besedilnih odlomkov, na kateri temeljijo popravki izvirnih učbeniških besedil, je s primeri predstavljena v našem predhodnem prispevku (gl. Justin et al., 1012.). Na tem mestu prikazujemo eno od besedilno popravljenih različic izvirnega odlomka (v samem kvazieksperimentu nismo uporabili te različice, temveč neko drugo, podobno različico, v kateri smo upoštevali zgradbo informativne vsebine celotnega besedila, ki ga tu ne navajamo). »Gričevnata pokrajina, ki ji domačini rečejo Gorički bregi, je bila v preteklosti kmetijska pokrajina. Vendar so bile razmere za kmetovanje sla- be. Tla so namreč neravna in iz prsti je voda odstranila veliko tistih snovi, ki jih za rast potrebujejo rastline. Zato so se kmetje bolj ukvarjali z živinorejo in sadjarstvom kot s poljedelstvom in gojenjem vinske trte. Zemlja je bila razen tega razdeljena na množico majhnih kmetij, ki so dajale le majhen pridelek in dohodek. Tako so lastniki kmetij zaslužili premalo, da bi kupovali stroje in gnojila ter z njimi izboljšali prst. Zaradi vsega tega so nekateri kmetje občasno delali v tujini (predvsem Avstriji) ali pa so se izselili. Če pride v neki kmetijski pokrajini na posamezno kmečko družino malo zemlje, ki j t povrh še slaba, rečemo, da)t pokrajina kmetijsko prenaseljena. Kmetovanje je bilo torej zastarelo. Vendar je imelo to vsaj eno dobro posledico. Pokrajina je namreč ostala takšna, kot je bila pred sto leti. Čeprav je še vedno najmanj razvita slovenska pokrajina, bo njena ohranjenost v prihodnosti za mnoge zelo zanimiva.« (Justin et al., 2012, str. 146). V tej različici je močan poudarek na argumentiranju. Izraze, ki so nosilci argumentacijskega toka (»vendar«, »namreč«, »zato« itd.) smo za namene tega prispevka zapisali poševno. Tovrstni izrazi pomagajo učencu, da laže sledi sporočevalni nameri avtorja besedila in si laže ustvari mentalni model situacije, o kateri govori besedilo. Raven razumevanja izvirnih in popravljenih besedil smo merili s preizkusi znanja. Za vsako od štirih vsebinskih celot smo izdelali poseben preizkus, ki pa je bil za vse različice enega besedila enak. Preizkusi so vsebovali po 19 vprašanj izbirnega tipa, pri besedilu o gričevju pa 20 vprašanj. Učenci so na vprašanja odgovarjali tako, da so med 4 možnimi odgovori izbrali tistega, za katerega so menili, daje pravilen. Vsak pravilni odgovor smo točkovali z eno točko. Tako smo za vsako od štirih vsebinskih celot posebej ugotavljali, v kolikšni meri so učenci razumeli njeno izvirno različico in popravljene različice. Preizkuse smo predhodno preverili na priložnostnem vzorcu učencev (n = 132) in jih glede na njihovo diskriminativ-nost ustrezno prilagodili. Postopek Kvazieksperiment smo izvajali v posameznih razredih ob prisotnosti te-statorke. Slednja je na začetku učne ure učencem na kratko predstavila splošni namen raziskave ter jih prosila za sodelovanje. Soglasja šol, učiteljev in staršev smo pridobili že prej. Vsak sodelujoči učenec je v dveh šolskih urah (ki nista bili v istem dnevu, temveč v razmiku nekaj dni) bral štiri tematsko različna besedila, vsakega približno 15 minut. Vsako uro je posamezni učenec bral po dve besedili. Učenci so najprej samostojno prebrali prvo besedilo in odgovorili na vprašanja, povezana z njim (prvi preizkus znanja z odgovarjajočo tematiko), ter nato še drugo besedilo ter odgovorili na vprašanja, povezana z njim (drugi tematski preizkus znanja). Med reševanjem preizkusa so učenci lahko uporabljali besedila, ki so jim bila izročena. Vprašanja niso zahtevala spominskega priklica informacij temveč razumevanje razmerij med pojavi (vzročnih razmerij, vplivov, razlogov, ki jih imajo ljudje za neko ravnanje ipd.). Besedila je testatorka razdeljevala po načelu permutacije. Učenci v skupini i so besedilo A (poselitev) brali v različici I (izvirno besedilo), besedilo R (industrija) v različici II (izvirno besedilo z grafično dodelavo), besedilo C (gričevja) v različici III (besedilno izboljšana različica) in besedilo D (kmetijstvo) v različici IV (besedilno in grafično izboljšana različica). Učenci v skupin i 2 so besedilo A brali v različici II, besedilo B v različici III, C v različici IV, D v različici I in tako naprej. Razporeditev kaže Tabela 2. Učenci so bili pri prvi izvedbi naključno razvrščeni v skupine. 1 abcla i: K.i/porcd iicv različic besedil po skupinah. Skupiiu Poseli Le v i A) luduslrijj B: (j nčevja C. Kmetijstvo :'LV 1 l/viritri 11 (iivilieno izboljšanj Besedilno izboli«j- Bt-s( dilno in ^r.ilir ¡ynrn.li TI na (ITI. no i/.Soljš.in» JV: - C1 r ,i lk'n>' i/Solidna Bes* dilno izboljša- Besedilno m t^ra 1 le- T/v rn.i; Ti i/.vi rim II na ;J 1 : no izboljšana (IV) J, Besedilno izboljša- Besedil no in grafič- Izvirna . 1 Grafično izboljšana na III no izboljšana IV ¡/.vi rna (II! 4 Besedilno ingra tirno izboljšana {1 V) Izvirna ( 1) Grafične) izboljšana i/.virna .11; Besedilno izboljšana ;J II, i Tako je imel vsak učenec v vsaki skupini hkrati vlogo člana poskusne in nadzorne skupine. Kvazieksperimenc smo torej izvedli s štirimi skupinami učencev, štirimi enotami spoznavne (učne) vsebine: poselitev, industrija, gričevje in kmetijstvo. Testatorka je bila pozorna na to, da učenca, ki sta sedela v isti klopi, nista brala istega besedila in tako tudi ne reševala istih nalog pri preizkusu v isti šolski uri. Vrstni red besedil smo naključno obračali tudi znotraj posamezne skupine, da bi nadzorovali vpliv utrujenosti ali pa nemara na novo pridobljene veščine reševanja nalog. Pri obdelavi dobljenih podatkov smo uporabili Levenov test za preverjanje homogenosti varianc ter r-test za homogene in nehomogene vzorce (kjer je bilo to potrebno). Pri rezultatih poročamo tudi o velikosti učinka (Cohenov d). Rezultati V predhodni raziskavi z istim testnim materialom in postopkom izvedbe ter pri vzorcu, ki je vključeval tudi podvzorca učencev v pričujočem delu, smo ugotovili, da le s posegom v besedilno zgradbo ustvarimo razliko v spoznavni učinkovitosti izbranih učnih besedil, medtem ko grafična iz- boljšava (bodisi izvirne, bodisi besedilno izboljšane različice besedila) ne prispeva k dosežkom učencev pri preizkusu znanja (Justin et al., 2012). V tem članku zato obravnavamo samo dve različici besedil: skupaj obravnavamo izvirno in zgolj grafično izboljšano izvirno različico (v nadaljevanju izvirna različica) ter besedilno izboljšano različico in kombinirano, tako besedilno kot grafično izboljšano različico (v nadaljevanju popravljena različica). V tabelah od 3 do 6 prikazujemo aritmetične sredine (M) in standardne odklone (SD) rezultatov pri preizkusu znanja za vsako temo prebranega besedila, in sicer glede na zaključno oceno učencev pri geografiji v preteklem šolskem letu (skupina z oceno 2 do 3 in skupina z oceno 5) ter različico prebranega besedila (izvirna in popravljena). Nadalje predstavljamo razlike med skupinama učencev pri preizkusu znanja po branju besedila, tj. med skupino z nizkimi ocenami pri geografiji, ki je brala popravljeno različico besedila, in skupino z visokimi ocenami, ki je brala izvirno različico besedila. Nato pa še preverjamo, v kolikšni meri so z branjem popravljene različice besedil v svojem razumevanju pridobili učenci z nizkimi ocenami pri geografiji in koliko učenci z visokimi ocenami. Tabela 3: Pravilni odgovori pri preizkusu znanja po branju besedila o poselitvi: učenci z visoko in nizko oceno pri geografiji. Ocena Različica M SD / 2 do 5 Izvirna 12.11 5.28 36 Popravljena 15.07 4-25 Skupaj 13-43 4.00 65 5 Izvirna 17.26 4-23 46 Popravljena 20.09 2.84 43 Skupaj 18.65 5.88 89 Skupaj Izvirna 15.00 4.60 82 Popravljena 18.07 4-25 72 Skupaj i6'.44 4.69 154 Razlike med učenci z nizkimi ocenami (branje popravljenega besedila) in učenci z visokimi ocenami (branje izvirnega besedila) pri preizkusu znanja s tematiko poselitve. Varianci dosežkov pri preizkusu znanja s to tematiko v skupini učencev z nizkimi ocenami (po branju popravljene različice besedila) in skupini učencev z visokimi ocenami (po branju izvirne različice) sta bili homogeni (F = 0,26-, p > 0,05). Razlika v srednjih dosežkih med skupinama (gl. Tabelo 3), preverjena s i-testom, je bila statistično pomembna (i(73) = 2,i8;/> < 0,05; d = 0,53). Devetošolci z odličnimi zaključ- nimi occnami iz geografije v 8. razredu, ki so brali izvirno različico besedila o poselitvi, so v povprečju podali značilno več pravilnih odgovorov pri preizkusu znanja kot devetošolei z nizkimi ocenami, ki so brali popravljeno različico besedila. Razlika med povprečnimi dosežki skupin pa je bila srednje velika. To pomeni, daje bil povprečni dosežek učencev z odličnimi ocenami pri preizkusu znanja za 0,51 standardnega odklona višji tudi, ko so ti brali izvirno različico besedila. Učinek različice besedila na rezultate preizkusa s tematiko poselitve pri učencih z nizkimi in visokimi ocenami. Varianci dosežkov pri preizkusu znanja v skupini učencev 7. nizkimi ocenami, ki so brali izvirno različico besedila, in v skupini enako uspešnih učencev, ki so brali popravljeno različico besedila, nista bili homogeni (F = 5,07;p < 0,05). Razlika med skupinama (gl. Tabelo 3), preverjena s /-testom z različnima variancama, je bila statistično pomembna (¿(52) = 3,08;p < 0,01; d = 0,81). Devetošolei z nizkimi zaključil i mi ocenami pri geografiji v 8. razredu, ki so brali popravljeno različico besedila o poselitvi, so v povprečju podali značilno več pravilnih odgovorov pri preizkusu znanja s to tematiko kot učenci z enakimi ocenami, ki so brali izvirno različico besedila. Razlika med srednjima rezultatoma skupin je bila velika, saj sta se povprečna dosežka razlikovala za 0,82 standardnega odklona. Učenci /. nizkimi ocenami so torej pridobili bistveno več znanja o poselitvi z branjem popravljene različice v primerjavi /. branjem izvirnega besedila. Tudi varianci dosežkov pri preizkusu znanja v skupini učencev z visokimi ocenami, ki so brali izvirno različico besedila, in v skupini enako uspešnih učencev, ki so brali popravljeno različico besedila, nista bili homogeni (F= 5,92;p < 0,05). Razlika med skupinama (gl. Tabelo 3), preverjena s /-testom z različnima variancama, je bila statistično pomembna in razmeroma velika (/(79) = 3,72.; p < 0,001; d = 0,79). Devetošolei z visokimi zaključnimi ocenami i7. geografije v preteklem šolskem letu, ki so brali popravljeno različico besedila o poselitvi, so v povprečju podali značilno več pravilnih odgovorov pri preizkusu znanja s to tematiko kot njihovi vrstniki z enakimi ocenami, ki so brali izvirno različico besedila. Tudi učenci z odličnimi ocenami so pridobili bistveno več znanja z branjem popravljene različice v primerjavi z branjem izvirnega besedila. Učenci z nizkimi in visokimi zaključnimi ocenami iz geografije pa so, glede na ugotovljeno velikost učinka različice besedila, v podobni meri v svojem znanju o poselitvi po branju popravljenega besedila pridobili. Razlike med učenci z nizkimi ocenami (branjepopravljenega besedila) in učenci z visokimi ocenami (branje izvirnega besedila) pri preizkusu znanja s tematiko industrije. Varianci dosežkov pri preizkusu znanja s tematiko industrije v skupini učencev z nizkimi zaključnimi ocenami (po branju popravljene različice besedila) in v skupini učencev z visokimi ocenami (po branju izvirne različice) sta bili homogeni (F = 1,5y,p > 0,05). Razlika v aritmetični sredini med skupinama (gl. Tabelo 4), preverjena s i-testom, pa je bila mejno statistično pomembna (i(78) = i,88;/> = 0,06; d = 0,43). Učenci z visokimi zaključnimi ocenami pri geografiji v preteklem šolskem letu, ki so brali izvirno različico besedila o industriji, so v povprečju sicer podali nekoliko manj pravilnih odgovorov pri preizkusu znanja s to tematiko kot učenci z nizkimi ocenami, ki so brali popravljeno različico besedila, vendar je bila razlika med srednjima dosežkoma skupin majhna. Na področju znanja o industriji so torej deveto-šolci s predhodno nizkimi ocenami iz geografije, ki so brali popravljeno različico besedila, v svojih dosežkih zagotovo dohiteli svoje vrstnike z odlično zaključno oceno pri predmetu, ki so brali izvirni odlomek tega besedila, in so (ob 6-% tveganju) v povprečju pokazali celo nekoliko višjo raven razumevanja. Tabela 4: Pravilni odgovori pri preizkusu znanja po branju besedila o industriji: učenci z visoko in nizko oceno pri geografiji. Ocena Različica A i SD / 2 do ^ Izvirna 8,05 2.85 30 Popravljena 12.00 37i 36 Skupaj 10.20 3-87 66 5 Izvirna 10.59 3-OI 44 Popravljena 15.4S 2.86 4i Skupaj 12.98 5.81 86 Skupaj Izvirna .9-55 5.18 74 Popravljena 13-87 5.6? 78 Skupaj 11.77 4.07 151 Učinek različice besedila na rezultate preizkusa s tematiko industrije pri učencih z nizkimi in visokimi ocenami. Varianci dosežkov pri preizkusu znanja v skupini učencev z nizkimi ocenami, ki so brali izvirno različico besedila, in v skupini enako uspešnih učencev, ki so brali popravljeno različico besedila, sta bili homogeni (F = 2,05;p > 0,05). Razlika med skupinama (gl. Tabelo 4) je bila statistično pomembna in velika (/"(64) = 4,79; p < 0,001; d = 1,2). Učenci z nizkimi zaključnimi ocenami iz geografije, ki so brali popravljeno različico besedila o industriji, so v povprečju podali značilno več pravilnih odgovorov pri preizkusu znanja s to tematiko kot učenci z enakimi ocenami, ki so brali izvirno različico besedila. Deveto-šolci z nizkimi zaključnimi ocenami v preteklem šolskem letu so torej ve- liko pridobili v svojem znanju o industriji z branjem popravljene različice v primerjavi z branjem izvirnega besedila. Varianci dosežkov pri preizkusu znanja v skupini devetošolcev z visokimi zaključnimi ocenami, ki so brali izvirno različico besedila, in enako uspešnih devetošolcev, ki so brali popravljeno različico besedila s tematiko industrije, sta bil i homogeni (F= o,6i;/> > 0,05). Razlika med skupinama (gl. Tabelo 4) je bila statistično pomembna in zelo velika •77 Ml y • Popravljana V" Sk11p.11 11.57 i.9i 67 S Tzvirtu 45 Popravljena If',59 V"? 44 Sk11p.11 Iv 46 1.95 Skupili Tzvirtu 11.52 5 Popravljena t 4.96 Si Skup.li M>7? 5.9 - 156 Razlike med. učenci z nizkimi ocenami (branje popravljenega besedila) in učenci z visokimi ocenami (branje izvirnega besedila) pri preizkusu znanja s tematiko gričevja. Varianci dosežkov pri preizkusu znanja s to tematiko v skupini učencev z nizkimi ocenami (po branju popravljene različice besedila) in skupini učencev z visokimi ocenami (po branju izvirne različice) nista bili homogeni (F = 6,«;p < 0,05). Razlika med skupinama, preverjena s /-testom za nehomogene vzorce, pa ni bila statistično pomembna (i(57) = 1,85;/» > 0,05; d = 0,4?). Devetošolciz odličnimi zaključnimi ocenami 17. geografije (v 8. razredu), ki so brali izvirno različico besedilao gri- čevju, so v povprečju sicer podali nekoliko več pravilnih odgovorov pri preizkusu znanja s to tematiko kot učenci z nizkimi zaključnimi ocenami, ki so brali popravljeno različico besedila (glej tabelo 5), vendar je bila razlika med srednjima dosežkoma skupin majhna in verjetno naključna. Učinek različice besedila na rezultate preizkusa s tematiko'.gričevja pri učencih z nizkimi in visokimi ocenami. Varianci dosežkov pri preizkusu znanja v skupini učencev z nizkimi zaključnimi ocenami iz geografije, ki so brali izvirno različico besedila, in v skupini enako uspešnih učencev, ki so brali popravljeno različico besedila, sta bili homogeni (F = 0,08; p > 0,05), razlika med skupinama pa je bila statistično pomembna in velika (t(65) = 3,87;p < 0,001; d = 0,92). Devetošolci z nizkimi ocenami pri geografiji v 8. razredu, ki so brali popravljeno različico besedila o gričevju, so v povprečju podali značilno več pravilnih odgovorov pri preizkusu znanja s to tematiko kot njihovi vrstniki z enakimi ocenami, ki so brali izvirno različico besedila (gl. Tabelo 5). To kaže, da so učenci z nizkimi ocenami pridobili veliko več znanja o gričevju po branju popravljene različice kot z branjem izvirnega besedila. Varianci dosežkov pri preizkusu znanja v skupini učencev z visokimi zaključnimi ocenami, ki so brali izvirno različico besedila, in v skupini učencev z enakimi ocenami, ki so brali popravljeno različico besedila, sta bili homogeni (F= 2,05;p > 0,05), razlika med skupinama pa je bila statistično pomembna in velika (i(87) = 3,85-,p < 0,001; d = 0,82). Devetošolci z odličnimi zaključnimi ocenami iz geografije v preteklem šolskem letu, ki so brali popravljeno različico besedila o gričevju, so v povprečju podali značilno več pravilnih odgovorov pri preizkusu znanja s to tematiko kot devetošolci z enakimi ocenami, ki so brali izvirno različico besedila (gl. Tabelo 5). Tudi učenci z visokimi zaključnimi ocenami so pridobili bistveno več znanja z branjem popravljene različice kot z branjem izvirnega besedila. Čeprav so tako učenci z nizkimi kot tudi tisti z visokimi zaključnimi ocenami iz geografije pridobili veliko več znanja o gričevju po branju popravljenega besedila kot z branjem izvirnega besedila, so ga devetošolci z nizkimi ocenami pridobili celo nekoliko več. Razlike med učenci z nizkimi ocenami (branjepopravljenega besedila) in učenci z visokimi ocenami (branje izvirnega besedila) pri preizkusu znanja s tematiko kmetijstva. Varianci dosežkov pri preizkusu znanja s tematiko kmetijstva v skupini devetošolcev z nizkimi zaključnimi ocenami (po branju popravljene različice besedila) in skupini učencev z visokimi ocenami (po branju izvirne različice) sta bili homogeni (F = 3,01 ;p > 0,05), razlika med skupinama pa ni bila statistično pomembna (t(72) = 1,76-,p > 0,05; d = 0,42). Učenci z odličnimi ocenami iz geografije v preteklem šolskem letu, ki so brali izvirno različico besedila o kmetijstvu, so v povpre- čju siccr podali nckol iko več pravilu ih odgovorov pri preizkusu znanja s to tematiko kot njihovi vrstniki z nizkimi ocenami, ki so brali popravljeno različico besedila, vendar je bila razlika med srednjima rezultatoma skupin (gl. Tabelo 6) majhna in verjetno naključna. Tabela 6: Pravilni odgovori pri preizkusu znanja po branju besedila o krnuijsivu: učenci / visoko in ni/ko oceno pri gcograliii. Orcna Ribičiča SD 1 Jo j izvirna SM >" Popravlj* iui y 1 Skupni 9.16' >54 »'7 5 izvirna U7 44 Popravlji iui ' 4-54 5-57 4* Skupni H.V" Skupaj izvirna l'j .i'j 5,56 ¡»1 Popravil* iui 7'' Skupni "•54 Ti 7 Učinek različice besedila na rezultate preizkusu s tematiko kmetijstva pri učencih z nizkimi in visokimi ocenami. Varianci dosežkov pri preizkusu znanja v skupini dcvetošolccv z nizkimi zaključnimi ocenami iz geografije v 8. razredu, ki so brali izvirno različico besedila, in v skupini dcvetošolccv z enakimi ocenami, ki so brali popravljeno različico besedila, nista bili homogeni {F- 6,14;p < 0,05), razlika med skupinama, preverjena s t--testom z različnima variancama, pa je bila statistično pomembna in srednje velika (¿(50) = 2,91;p < 0,01; d - 0,75). Učenci z nizkimi zaključnimi ocenami pri geografiji, ki so brali popravljeno različico besedila o kmetijstvu, so v povprečju podali značilno več pravilnih odgovorov pri preizkusu znanja s to tematiko kot njihovi vrstniki z enakimi ocenami, ki so brali izvirno različico besedila (gl. Tabelo 6). Devctošolci z nizkimi zaključnimi ocenami v preteklem šolskem letu so torej pridobili razmeroma veliko znanja o kmetijstvu z branjem popravljene različice v primerjavi z branjem izvirnega besedila. Varianci dosežkov pri preizkusu znanja v skupini učencev z visokimi zaključnimi ocenami v preteklem šolskem letu, ki so brali izvirno različico besedila, in skupini enako uspešnih učencev, ki so brali popravljeno različico besedila, sta bili homogeni (F= 0,0up > 0,05), razlika med skupinama je bila statistično pomembna in srednje velika (f(88) = ^69; p < 0,001; d, = 0,78). Devctošolci z odličnimi ocenami iz geografije, ki so bra-I i popravljeno razi ičico besedila o poselitvi, so v povprečju podali značil no več pravilnih odgovorov pri preizkusu znanja s to tematiko kot devetošol-ci z enakimi ocenami, ki so brali izvirno različico besedila (gl. Tabelo 6). Tudi učenci z visokimi zaključnimi ocenami so pridobili razmeroma veliko znanja z branjem popravljene različice v primerjavi z branjem izvirnega besedila. Devetošolci z nizkimi in visokimi zaključnimi ocenami iz geografije v 8. razredu pa so v podobni meri pridobili v svojem razumevanju tematike o kmetijstvu po branju popravljenega besedila. Sklepi Na podlagi rezultatov predstavljene kvazieksperimentalne študije s slovenskimi devetošolci, ki so brali štiri tematsko različne odlomke izvirnih besedil iz potrjenih učbenikov geografije, in v štirih razsežnostih (kohezivnost, premišljenost, premostitev vrzeli in koherentnost) izboljšane različice teh besedil, lahko na splošno sklenemo, da z uporabljenim izboljšanjem zgradbe besedila razmeroma močno vplivamo na porast razumevanja obravnavanih tematik, in sicer tako pri učencih s predhodno nizko kot tudi pri njihovih vrstnikih s predhodno visoko zaključno oceno iz geografije (v 8. razredu). Popravljena besedila so na splošno prispevala k razumevanju v tolikšni meri, da so učenci z nizkimi ocenami (zadostno in dobro) v predhodnem šolskem letu, ki so brali izboljšano besedilo, dosegli pri preizkusu znanja tako visoke rezultate kot učenci z visokimi zaključnimi ocenami (domnevno z bistveno večjim predznanjem), ki so brali izvirno učbeniško besedilo, ali pa so se prvi drugim vsaj precej približali. Z vidika statistične velikosti učinka so glede na specifično tematiko besedilnih odlomkov tako devetošolci z nizko kot tudi visoko zaključno oceno pri geografiji pridobili največ razumevanja po branju popravljenih odlomkov s tematiko industrije. Semantična analiza pa je predhodno pokazala, da je bilo prav v izvirnem odlomku o industriji več težko premostljivih vrzeli kot v drugih treh tematskih odlomkih (Justin, 2oioa, b). Nekoliko manjši, vendar še vedno velik učinek na rezultat pri ustreznem preizkusu znanja se je pokazal po branju izboljšanih besedil s tematiko gričevja in poselitve, razmeroma najmanj razumevanja (vendar še vedno srednje veliko) pa so učenci pridobili o kmetijstvu po branju izboljšane različice tega tematskega besedila. Raven izboljšanja razumevanja po branju popravljenih besedil v primerjavi z izvirnimi pa je med učenci s predhodno nizko in visoko zaključno oceno iz geografije nekoliko variirala. Medtem ko so svoje razumevanje tematike o poselitvi in kmetijstvu devetošolci s predhodno visokimi in nizkimi ocenami izboljšali v podobni meri, so devetošolci z odlično oceno pridobili malenkostno več pri tematiki o industriji, devetošolci s predhodno zadostno in dobro oceno pa pri tematiki o gričevjih. Primerjava ravni razumevanja med devetošolci s predhodno nizko zaključno oceno iz geografije, ki so brali popravljena besedila, in njihovimi vrstniki z odlično oceno, ki so brali izvirne odlomke, je pokazala, da so se učni dosežki pri tematiki o poselitvi med učenci z nizkimi ocenami precej približali povprečnim dosežkom učencev z visoko oceno, ki so brali izvirno besedilo, medtem ko so o kmetijstvu in o gričevju prvi dosegli povprečni ravni znanja, ki se nista razlikovali od povprečnih dosežkov pri drugih. Učenci z nizkimi ocenami pa so z branjem popravljene različice besedila o industriji v povprečju dosegli celo nekoliko višjo raven razumevanja kot učenci z odlično oceno po branju izvirnega besedila. Napodlagi podobnih analiz izvirnih odlomkovvučbenikih in besedil v mednarodnih preizkusih pismenosti (Justin, ion) menimo, da imajo pri razumevanju prebranih besedil ključno vlogo učenčevi sklepalni procesi, dopolnitveno in zlasti premostitveno sklepanje (Garnhain, 1994; Justin, ioiob, ioii). Branje namreč 111 le razvezovanje jezikovnih znamenj, temveč bralci (v našem primeru so to učenci) v cežnji, da bi razumeli prebrano, zapolnjujejo pomenske vrzeli s sklepanji in predstavami, prikli-canimi iz dolgotrajnega spomina. Medtem ko učenec z dopolnitvenimi sklepanji dopolni informacije, ki jih besedilo vsebuje v eksplicitni obliki, in služijo kot dodatek h koherentni interpretaciji (slednja je eden izmed pogojev za to, da učenec izdela model situacije, ki jo opisuje besedilo (Johnson-Laird, 1983), ¡11 ima pomembno vlogo v prepoznavanju komunikacijske namere pisca, (Justin, 1011)), pa učenec s premostitvenimi sklepi premešča vrzeli v besedilu - med povedmi mora narediti premostitveni sklep, da izdela koherentno interpretacijo pomena besedila. Mnoga premostitvena sklepanja se zdijo samoumevna, zato jim tvorci besedil ne posvečajo pozornosti (Garnham, 1994; Justin, ion). Vprašanje pa je, ali učenci na določeni ravni spoznavnega razvoja in z informacijami v njihovem dolgotrajnem spominu lahko izpeljejo ustrezne premostitvene sklepe oz. prepoznajo komunikacijsko namero tvorca besedila (primer dveh takih sklepov smo navedli v uvodnem delu tega prispevka, gl. čudi Justin, ioii). Če temu ni tako (ali vsaj delno ne), je učencu besedilo le delno razumljivo. V izboljšavah izvirnih besedil smo tako učencem poskušali olajšati sklepalne procese z (1) zapoln it vam i vrzeli v besedilu (na prepoznanih mestih težko premostljivih vrzeli smo izrecno posredovali sporočila), (1) bolj premišljenim posredovanjem besedila (odpravili smo dvoumne informacije, posredno nanašanje in pojme, ki jih učenci verjetno ne znajo povezati s svojim zalednim znanjem oz. informacijami v dolgotrajnem spominu), s (3) povečanjem kohezivnosti besedila (z bolj urejenim argumentacijskim tokom) 111 (4) povečanjem koherentnosti besedila (povečali smo njegovo pomensko enotnost ¡11 kontinuiteto ter logično pravilnost, skladno s pra- vili besedne gradnje). Našo razlago o izboljšanju spoznavne učinkovitosti besedila s posegi, ki učencem olajšajo premostitveno sklepanje, specifično podpirajo rezultati pričujoče študije, ki kažejo največji prirast razumevanja po branju besedilnih odlomkov z največjim številom težko premostljivih vrzeli, in sicer ne glede na učenčevo ozadnje znanje (predhodno učno oceno pri predmetu). V pričujočem prispevku smo pokazali, daje moč z domišljenimi popravki učbeniških besedil, ki temeljijo na ugotovitvah multidisciplinar-nih znanstvenih raziskav, izdelati učna besedila, ki po kakovosti presegajo besedila v izbranih in veljavnih slovenskih učbenikih geografije. Ocenjujemo, da so rezultati obeh navedenih slovenskih študij uporabni celo bolj, kot smo sprva domnevali, saj smo dosegli veliko izboljšanje učnih rezultatov učencev na podlagi naših besedilnih popravkov. Predpostavljamo, da bi upoštevanje »algoritmov«, ki smo jih uporabili pri popravkih besedil, na splošno vodilo h kakovostnejšim (spoznavno učinkovitim) učbeniškim besedilom kot to v povprečju velja za sedanje slovenske učbenike. Poleg tega je potrebno poudariti, da nižja spoznavna učinkovitost učbeniških besedil ne ovirale spominskega priklica, razumevanja in uporabe pridobljenih informacij, temveč tudi preobremenjuje učence, otežuje razvoj njihovega mišljenja in samozaupanje ter jih dolgoročno demotivira za branje in učenje (Mikk, 2002). Poznavanje različnih posegov v samo zgradbo učbeniških besedil, njihovih učinkov na učno učinkovitost in postopkov, s katerimi je mogoče sproti empirično in na majhnih vzorcih učencev ocenjevati fazne izdelke besedil, ima pri oblikovanju učbeniških besedil posebno uporabno vrednost za založbe (Justin, 2012). Slednje se, vsaj po naši vednosti, v Sloveniji zanašajo le na strokovno znanje, spretnosti ter intuicijo avtorjev in redak-torjev učbenikov. Poleg tega naše ugotovitve prinašajo kakovostne kriterije, ki jih lahko uporabijo ocenjevalci učbenikov in člani komisij za potrditev učbenikov. V poljudni in nekoliko poenostavljeni obliki prikazani rezultati naših študij so lahko v pomoč tudi učiteljem pri izbiri učbenikov, ki jih ponuja tržišče. Pokazali smo namreč, da je mogoče z uporabo kakovostnih (spoznavno učinkovitih) učbeniških besedil pri učencih z nizkimi učnimi ocenami doseči tolikšno raven razumevanja kot pri učencih z odličnimi ocenami, ki uporabljajo manj kakovostno besedilo. Že samo ta podatek priča o pomembnosti predstavljenih ugotovitev za razvoj kakovosti izobraževanja v Sloveniji (Justin, 2oiob). SOI S KO l-oi.jl , I l; I NIK XXV, S IliVII k A T— 1 Literatura Bauman, J. (1986) Lilect of rewritten textbook passages on middle grade students' comprehension of main ideas: Making the inconsiderate considerate..Journal ofReading Behavior. 18 (1). Str. 1-21. Beaugrand, R. A. in de Dressier, W. U. (1992) Uvod v tekstoslovje. Ljubljana: Park. Beck, 1.1,., McKcown, M. G. in Gromoll, H. W. (1989) Learning from social study texts. Cognition and. Instruction. 6. Str. 99-158. Beck, I. I,, ct al. (1991) Revising social text from a text-processing perspective: Kvidence of improved comprchensibility. Reading Research Quarterly. 26 (3). Str. 251-276. Chiesi, H. L., Spilich, G. L. in Voss, J. 1;. (1979) Acquisition ofdomein--related information in relation to high and low domain knowledge. Journal of Verbal Learning and Verbal Behavior, 18. Str. 275-290. Pranks, J. J. et al. (1982) Learning from explicit versus implicit texts. Journal of Experimental Psychology: General. 111 (4). Str. 414-422. Garnham, A. (1994) Discourse processing. VAsher, R. L. (ur.). Tfje Encyclopedia of language and linguistics. Headington Hill Hall: Perga-111011 Press. Johnson T.aird, P. (1983) Mental models. Cambridge: Cambridge University Press. Julkunen, M. L. (1991) Text types and teaching of concepts in Finish schoolbooks. VJulkunen, M. T.., Selander, S. in Ahlberg, M. (ur.). Research on texts at school. Joensuu: University ofjoensuu. Justin, J. (2004) Koherentnost besedilnih rcprczentacij znanja. Šolsko polje. 15 (5/6). Str. 5-28. Justin, J. (2010a) Učna učinkovitost učbeniškega besedila. D id akt d. 20 (138). Str. 22-24. Justin, J. (2010b) Optimalizacija spoznavne (učne) učinkovitosti didaktičnega besedila. Neobjavljeno poročilo o realizaciji programa raziskovalnega projekta. Ljubljana: Pedagoški inštitut. Justin, J. (2011) Besedilo, branje, sklepanje. Šolsko polje. 22 (5/6). Str. 15-34. Justin, J. (2012) Revising the school textbook according to its new role in the educational process. Prispevek predstavljen 11a Evropski konferenci o raziskovanju v izobraževanju (LCT.R), Cadiz, Španija. Justin, J., Zupančič, M. in Rozman, M. (2012) Spoznavna učinkovitost učbeniškega besedila. Šolsko polje. 23 (3/4). Str. 139-156. Klare, Ci. R. (1985) How to write readable English. London: Hutchinson. Kobal, D. (1997) Pojmovni zemljevidi, pouk o etiki in družbi. V Just in, J. (ur.), Etika, družba, država II. Ljubljana: i2. Mikk, J. (2000) Textbook: Research and writing. Frankfurt: Peter Lang. Mikk, J. (2002) Experimental evaluation of textbooks in multimedia. V Selander, S., Tholey, M. in Lorentzen, S. (ur.). New educational media and textbooks. Stockholm: Institute of Education Press. Puklek Levpušček, M., Zupančič, M. in Sočan, G. (2013) Predicting achievement in mathematics in adolescent students: The role of individual and social factors. The Journal of Early Adolescence. 33 (4). Str. 52.3-55I- Selander, S„ Tholey, M. in Lorentzen, S. (ur.) (2002) New educationalme-dia and textbooks. Stockholm: Institute of Education Press. Sperber, D. in Wilson, D. (1986) Relevance - communication and cognition. Oxford and Cambridge: Blackwell. Wales, K. (1994) Cohesion and coherence in literature. V Asher, R. E. (ur.), The encyclopaedia of language and linguistics. Oxford: Perga-mon Press. Wilkes, A. L. (1997) Knowledge in minds, individual and collectiveproces-ses in cognition. Hove: Psychology Press.