76 SODOBNA PEDAGOGIKA 1/2006 Mag. Mihaela Zavašnik, dr. Karmen Pižorn Povratni učinek nacionalnih tujejezikovnin preizkusov : opredelitev pojma in posnetek stanja v svetu Povzetek: Povratni učinek zunanjega preverjanja in ocenjevanja tujejezikovnega znanja in zmožnosti je v slovenski literaturi še povsem neraziskano področje. Prav zato avtorici najprej umestita in opredelita pojem z vsemi njegovimi podmenami, pri čemer se opreta na tuje in domače raziskave. Nato predstavita možnosti empiričnega raziskovanja povratnega učinka in kritično razpravljata o obstoječih tujih študijah, ki obravnavajo omenjeni pojem. V nadaljevanju se dotakneta vprašanja, kako kar najbolj zagotoviti pozitiven povratni učinek. Članek rabi kot pregled obstoječih vedenj s področja povratnega učinka nacionalnih tujejezikovnih preizkusov (še posebno najbolj razširjenega tujega jezika - angleščine) in hkrati nakaže potrebo po empirično podprtih raziskavah o povratnem učinku treh najpomembnejših preizkusov zunanjega preverjanja angleškega jezika v Sloveniji, tj. splošne in poklicne mature ter nacionalnih preizkusov znanja ob koncu osnovne šole. Ključne besede: povratni učinek, zunanje preverjanje, nacionalni preizkusi, jezikovno preverjanje. UDK: 371.26:372.880.2 Pregledni znanstveni prispevek Mag. Mihaela Zavašnik, asistentka, Oddelek za anglistiko, Filozofska fakulteta v Ljubljani Dr. Karmen Pižorn, docentka, Pedagoška fakulteta v Ljubljani SODOBNA PEDAGOGIKA 1/2006, 76-89 77 »What is assessed becomes what is valued, which becomes what is taught.« (McEwan 1995) 1 Uvod V svetu že desetletja, prav verjetno tudi že stoletja, vlada splošno prepričanje, da nacionalni preizkusi znanja neposredno vplivajo na izobraževalne procese in tudi na družbo kot celoto. Čeravno je to prepričanje že dolgo prisotno, obstaja presenetljivo malo raziskav, ki bi tovrstne domneve tudi empirično podprle. V splošnem izobraževanju je bila tematika že neštetokrat predmet (ne)plodnih razprav, v tujejezikovnem izobraževanju pa je sorazmerno novejšega časa. Svetovna strokovna javnost je vprašanjem povratnega učinka v jezikovnem izobraževanju začela posvečati posebno pozornost šele proti koncu prejšnjega stoletja. V Sloveniji do danes žal nimamo še nobene uradne raziskave, čeravno je od uvedbe prvega zunanjega preverjanja jezikovnega znanja po osamosvojitvi Slovenije, tj. eksterne mature, minilo že več kot desetletje2. V tem članku avtorici odstirata problematiko povratnega učinka, pri čemer najprej opredelita pojem in njegove podmene s posebnim pogledom na jezikovno preverjanje, v nadaljevanju pa nakažeta problematiko in smernice za empirično raziskovanje povratnega učinka pri nacionalnih preizkusih angleščine in tujih jezikov nasploh. 1 Z nacionalnimi tujejezikovnimi preizkusi označujeta avtorici tri največje jezikovne preizkuse iz angleškega jezika v Sloveniji, tj. maturo, poklicno maturo in preizkus angleškega jezika ob koncu obdobij v osnovni šoli. 2 Raziskav in analiz o povratnem učinku nacionalnih preizkusov nejezikovnih predmetov je v Sloveniji sicer kar nekaj (glej npr. Steh Kure 2000; Bečaj 2000; Marentič Požarnik 2001; lic 2001a), vendar se nobena izmed njih ne osredotoča neposredno na tujejezikovne nacionalne preizkuse. Vzorec Ilčeve (2001a) vključuje tudi »angleški jezik«, vendar predmeta ne obravnava podrobneje. Edina izjema ostaja manjša raziskava s področja nacionalnih preizkusov slovenskega jezika, ki sta jo opravili Brinovčeva in Juvanova (2000), vendar gre v tem primeru za nacionalno preverjanje slovenščine kot maternega jezika. Poleg tega so v raziskavah in polemičnih razpravah bolj v ospredju vprašanja obremenjenosti učencev, stresnosti preverjanja in motivacije, ne pa toliko vplivi nacionalnih preizkusov na učne strategije, učne metode, učne vsebine, kar je središče zanimanja avtoric tega članka. 78 SODOBNA PEDAGOGIKA 1/2006 Mihaela Zavašnik, Karmen Pižorn 2 Umestitev in opredelitev pojma povratnega učinka Strokovna literatura označuje učinek (nacionalnih) preverjanj s tremi različnimi termini, in sicer z vplivom (angl. impact), s povratnim učinkom (angl. washback I backwash) in posledicami oz. posledično veljavnostjo (angl. consequences, consequential validity). Vsi pojmi se nanašajo na spremembe, ki nastanejo kot rezultat oz. posledica vpeljave preizkusa. Najširše področje tovrstnih sprememb zajema pojem vpliva, ki se nanaša na učinek preizkusov na izobraževanje in družbo na splošno, saj vpeljava nacionalnega preizkusa lahko vpliva ne le na učenje in poučevanje, marveč na kariero oz. življenjske priložnosti kandidata, na založniški trg ipd. Najpogosteje se pojem vpliva uporablja v splošnoizobraževalni literaturi, predvsem v ameriški strokovni javnosti na področju izobraževanja. Vidik vpliva preverjanja in ocenjevanja, ki je v središču zanimanja jezikoslovcev, imenujemo povratni učinek (angl. washback I backwash?). Termin je mogoče najti celo v Collins Cobuild Dictionary, kjer je zapisano, da gre za »neprijeten učinek ob koncu nekega dogodka oz. situacije«, iz česar bi lahko sklepali, da se povratni učinek nanaša na negativen odziv oz. reakcijo preverjanja jezikovnega znanja oz. zmožnosti. Precej pogosteje kot v slovarjih je termin mogoče zaslediti v znanstvenih in strokovnih člankih, ki se nanašajo na posledice procesa učenja in poučevanja tujega jezika, predvsem na učiteljevo metodiko poučevanja in izbiro učnih vsebin. Alderson in Wallova (1993, str. 117), vodilna strokovnjaka s področja jezikovnega preverjanja, opredeljujeta pojem kot »pojav, pri katerem učitelji in učenci4 zaradi nacionalnega preizkusa tujega jezika počnejo stvari, ki jih v odsotnosti preizkusov ne bi«. V tem primeru se povratni učinek nanaša na konkretne procese učenja in poučevanja in ne širše. Konkretni procesi učenja in poučevanja so seveda hkrati del vpliva preverjanja na izobraževalni sistem in družbo kot celoto, zato lahko povratni učinek opredelimo tudi kot podpomenko vpliva. Povratni učinek tako razlaga tudi Angleško-poljsko-slovenski pojmovnik s področja jezikovnega testiranja (Ferbežar in drugi 2004). Nekateri strokovnjaki umeščajo učinek nacionalnih preverjanj v teoretični okvir »posledične veljavnosti«, v katerem so posledice preverjanja del širšega, enotnega koncepta veljavnosti preverjanja (glej npr. Messick 1996; Marentič Požarnik 2000; Šimenc 2000; Marentič Požarnik 2001; Bucik 2001; Marentič Požarnik 2004). Marentič Požarnikova (2004, str. 9) opredeljuje posledično veljavnost kot pojem, ki pove, »ali neki način ocenjevanja in njegova uporaba vodita do pozitivnih posledic za poučevanje in učenje, torej do tega, da učitelji in učenci posvečajo več časa in pozornosti v razredu dejavnostim, ki vodijo do pomembnih, vrednih učnih ciljev - ali pa ne«. V luči tega je tudi Messick (1996) prepričan, da je povratni učinek edina posledica preverjanja, ki jo je treba »pretehtavati« 3 Nekateri uporabni jezikoslovci uporabljajo tudi angleško različico »backwash« (npr. Hughes 1989), vendar različica ni semantično oziroma pragmatično drugačna. V novejšem času se je v jezikovnem testiranju ustalila raba različice »washback«. 4 Avtorici označujeta z besedo »učenec« tako učenca v osnovni šoli kot tudi dijaka v srednjih šolah. Povratni učinek nacionalnih tujejezikovnih preizkusov ... 79 pri vrednotenju veljavnosti, zato je po njegovem mnenju preverjanje posledic nacionalnih preizkusov edini vidik konstruktne veljavnosti (angl. construct validity), ki vodi k pojmu posledična veljavnost (angl. consequential validity). Mes-sickovo razmišljanje oz. pojem posledične veljavnosti na neki način predstavljata most med širšim pojmom vpliva in ožjim pojmom, tj. povratnim učinkom. Posledična veljavnost, skupaj z etičnostjo in pravičnostjo preverjanja, je prav v zadnjih letih deležna posebne obravnave (Kunnan 2000). V pričujočem članku avtorici v nadaljevanju uporabljata pojem povratnega učinka, saj se osredotočata le na vpliv oz. posledice nacionalnih tujejezikovnih preizkusov na učenje in poučevanje tujega jezika. 3 Podmene povratnega učinka Izhajajoč iz široko zastavljene definicije povratnega učinka Aldersona in Wallove (1993) kot »pojava, pri katerem učitelji in učenci zaradi nacionalnega preizkusa tujega jezika počnejo stvari, ki jih v odsotnosti preizkusov znanja ne bi«, je pojem povratnega učinka sam po sebi povsem nevtralen in se nanaša na vpliv. Pri takem pojmovanju potem lahko trdimo, da je povratni učinek »slabega« preizkusa negativen in nasprotno - učinek »dobrega« preizkusa ugoden oz. pozitiven. Hkrati lahko ob bipolarni različici izpeljemo še druge možnosti. Tako lahko domnevno trdimo tudi, da ima »slab« preizkus pozitiven povratni učinek, tj. da učitelji in učenci počnejo »dobre« stvari, ki jih drugače ne bi, kot na primer, da se temeljiteje pripravljajo, bolj predano obravnavajo predmetne vsebine itn. Kateri koli preizkus, dober ali slab, zato lahko učinkuje pozitivno, če krepi omenjene dejavnosti. Kako torej deluje preizkus (dober oz. slab) z negativnim učinkom? Najpogosteje se takšen učinek kaže v strahu oz. učenčevi zaskrbljenosti zaradi vloge (rezultatov) preizkusa ali pa v učiteljevi bojazni, če verjame, da bodo njegovi učenci pretrpeli posledice zaradi slabega rezultata pri preizkusu. Učitelji ponavadi želijo, da bi njihovi učenci opravili preizkuse kar se da dobro, zato se morebiti znajdejo pod pritiskom, ki usmeri njihovo poučevanje v smeri preizkusa. Preizkusi so torej izpostavljeni nevarnosti, da usmerjajo poučevanje in učenje v napačno smer. To pogosto imenujemo »poučevanje za preizkus« Tangi, teaching to the test) ali »pouk, ki ga vodi preverjanje« (angl. assessment driven instruction), ki lahko vodi k nezaželenemu »ožanju kurikuluma« (angl. narrowing of the curriculum), tj. ožanju uporabljenih metod, strategij, vsebin in ciljev, oziroma kot je velikokrat moč slišati, k »lovu za točkami«. Prav tako lahko nekateri učitelji preizkuse občutijo kot sredstvo, s katerim se ne meri le učenčeva, temveč tudi njihova učinkovitost ali učinkovitost šole. Dokaj hitro ugotovimo, da je pojem povratnega učinka potreben jasnejše opredelitve. Strokovna literatura najpogosteje navaja dva5 veljavna mehanizma 5 Avtorici članka se osredotočata na Hughesovo trihotomijo in hipoteze po Aldersonu in Wallovi. Baileyjeva (1996) v svojem članku združuje in hkrati poenostavi oba modela, ko govori o dveh vrstah povratnega učinka: povratni učinek na učni načrt/kurikulum in povratni učinek na učenca. Maren-tič Požarnikova (2004) se v svojem članku osredotoča na posledice pri učencih in jih v skladu z ustaljenimi klasifikacijami v splošnem izobraževanju deli na spoznavne, čustvene in motivacijske. 80 SODOBNA PEDAGOGIKA 1/2006 Mihaela Zavašnik, Karmen Pižorn povratnega učinka. Hughes (1993, kot navaja Baileyjeva 1996, str. 262) pojasnjuje mehanizem povratnega učinka s temile besedami: »Če želimo poglobljeno pojasniti pojem povratnega učinka, nam je lahko v pomoč razlikovanje med udeleženci, procesom in produktom v poučevanju in učenju, saj s tovrstnim razlikovanjem dopuščamo spoznanje, da je lahko vse troje pod vplivom preizkusa.« Ta osnovni model povratnega učinka, imenovan tudi Hughesova triho-tomija povratnega učinka (Baileyjeva 1996, str. 262), razlikuje tri žarišča morebitnega povratnega učinka: - udeležence — učenci, učitelji, starši, administrativno osebje, pisci gradiva, založniki itn., pri katerih lahko preizkus vpliva na njihove zaznave in odnos do njihovega dela; - procese — katera koli dejanja udeležencev, ki lahko prispevajo k procesu učenja/poučevanja (To so na primer procesi, ki zajemajo pisanje gradiva, oblikovanje učnega načrta/kurikuluma, spremembe načina oz. načinov poučevanja, rabo učnih strategij in/ali strategij pisanja preskusov itn.); - produkte — naučeno znanje/zmožnosti, nove spretnosti in kakovost učenja. Medtem ko se je Hughes v svojem modelu osredotočil na udeležence, procese in produkte, sta Alderson in Wallova (1993) v študiji, ki sta jo izpeljala na Srilanki, pozornost usmerila v mikrovidike učenja in poučevanja, ki jih lahko zaznamujejo preizkusi. Oblikovala sta t. i. »hipoteze povratnega učinka« (angl. washback hypotheses), s katerimi sta poskušala podrobneje razjasniti dejavnike povratnega učinka (1993, str. 120-121): 1. Preizkus bo vplival na poučevanje. Ta hipoteza je najsplošnejša, vendar pa druga hipoteza, ki je izpeljana iz prve, temelji na domnevi/predpostavki, da sta poučevanje in učenje povezana, vendar ne identična, zato 2. Preizkus bo vplival na učenje. Mogoče je, vsaj načeloma, ločevati med vsebino in načinom poučevanja, zato lahko ločujemo tudi med povratnim učinkom preizkusa na vsebino in način: 3. Preizkus bo vplival na to, kaj učitelji poučujejo in česa se učenci (na)učijo. 4. Preizkus bo vplival na to, kako učitelji poučujejo in kako se učenci učijo. V želji biti natančnejši glede učinkov na poučevanje in učenje, pri čemer pozornost usmerimo na hitrost in zaporedje poučevanja in učenja, lahko po prepričanju Aldersona in Wallove izpeljemo naslednjo hipotezo: 5. Preizkus bo vplival na hitrost, etapnost in sosledje6 poučevanja/učenja. 6 Etapnost (angl. staging) se nanaša na razdelitev programa v časovne segmente, kar je povezano s številom in pogostostjo učnih ur ter intenzivnostjo učenja/poučevanja. Sosledje (angl. sequencing) pomeni vrstni red, po katerem naj se jezikovna vsebina poučuje (primerjaj Banathy in Lange 1972; Skela 2000). Povratni učinek nacionalnih tujejezikovnih preizkusov ... 81 Zaradi izčrpnejšega proučevanja kakovosti in količine poučevanja in učenja lahko postavimo tudi hipotezo 6. Preizkus bo vplival na kakovost in količino poučevanja/učenja. Povratni učinek se morda nanaša tako na odnose kot na vedenje, zato bi lahko veljala naslednja hipoteza: 7. Preizkus bo vplival na odnose do vsebin, metod itn. poučevanja/učenja. Glede na naravo preizkusa oz. rabo rezultatov preizkusa lahko predpostavimo: 8. Preizkusi, ki imajo pomembne posledice, bodo imeli povratni učinek; tisti, ki jih nimajo, povratnega učinka ne bodo imeli. In zadnji dve hipotezi: 9. Preizkusi bodo imeli povratni učinek na vse učitelje in učence. ali pa 10. Preizkusi bodo imeli povratni učinek le na nekatere učitelje in nekatere učence. Alderson in Wallova (1993) skleneta, da je nadaljnje raziskovanje povratnega učinka neogibno potrebno. Le-to mora spodbujati podrobnejšo »specifikacijo hipotez povratnega učinka« ter vključevati ugotovitve s področja motivacije in učinkovitosti, predvsem pa tudi izsledke izobraževalnih novosti (angl. educational innovation), ki jih je jezikovno izobraževanje v preteklosti zanemarjalo (več o tem Wall 2000). Tako je razširitev njunih hipotez že mogoče zaslediti na primer pri Aldersonu in Hamp-Lyonsovi (1996). V luči povedanega se zdi smiselno zavzeti stališče, da je treba pri vsakem raziskovanju povratnega učinka jasno opredeliti in pojasniti raziskovalčevo lastno različico podmen povratnega učinka, za katere lahko skoraj z gotovostjo trdimo, da bodo kompleksnejše, kot jih navajajo omenjeni avtorji. 4 Kako raziskovati povratni učinek »Merjenje« povratnega učinka je zapleteno, saj se je nujno treba zavedati, da (statistični) rezultati nacionalnih preizkusov v obliki točk oz. ocen niso in ne morejo biti edino merilo učinka poučevanja in učenja. Smiselno se zdi poudariti, da dobri rezultati na nacionalnem preizkusu niso neizogibno kazalnik dobrega poučevanja/učenja ali visokih standardov oz. kakovosti, temveč so le košček v mozaiku jezikovnega učenja in poučevanja v povezavi z njegovim preverjanjem. Problem pri raziskovanju povratnega učinka se pojavi predvsem zaradi težavnega ločevanja med slednjim in večino drugih spremenljivk, ki vplivajo na učenje in poučevanje. Če raziskovalec naredi takšno ločnico, potem so njegovi 82 SODOBNA PEDAGOGIKA 1/2006 Mihaela Zavašnik, Karmen Pižorn rezultati neveljavni, neustrezni in v veliki meri neresnični. Ugotovimo lahko, da je povratni učinek obsežen pojav, katerega raziskovanje je oteženo, saj težko najdemo »otipljive« smernice. Zahteva tudi dolgoročno opazovanje, je pogosto prikrit očem raziskovalca in se lahko pojavi tudi zunaj razisko-valčevih domen. Watanabe (2004) poleg dimenzij povratnega učinka (npr. intenzivnost, dolžina in vrednost povratnega učinka) in vidikov učenja/poučevanja, na katere povratni učinek lahko vpliva (npr. Hughesova trihotomija, Aldersonove in Wallove hipoteze povratnega učinka), še posebej izpostavlja posredne dejavnike, ki povzročajo povratni učinek. Prepričan je, da pri raziskovanju ne smemo spregledati splošnih dejavnikov preizkusa (npr. metod, vsebine, jezikovnih zmožnosti, ki se preverjajo, namenov preizkusa), dejavnikov ugleda preizkusa (npr. interesov preizkusa, statusa preizkusa/predmeta v celotnem izobraževalnem sistemu) in osebnih dejavnikov (npr. učiteljeva preteklost, učiteljeva prepričanja in vedenja o poučevanju/učenju tujega jezika). Zaradi takšne zapletenosti postane pomembno, da se raziskovalci zavemo celotnih okoliščin posameznega nacionalnega preizkusa. Alderson in Wallova (1993, str. 122) sta zato prepričana, da je povratni učinek treba raziskovati pri »nacionalnih preizkusih, ki jih redno izvajamo v kurikulumih in ki naj bi imeli izobra`evalne posledice«. Hkrati seveda te zahteve terjajo kvalitativno raziskovalno metodologijo, poleg tradicionalnih pristopov torej še druge manj kvantitativne metode. Najpogostejši metodološki in-stumentarij proučevanja povratnega učinka zajema predvsem opazovanje pouka, intervjuje (z učitelji, učenci, s starši, z administrativnim osebjem), temeljito analizo obstoječih dokumentov (npr. učnih načrtov, izpitnih polpreizkusov), analizo obstoječega (potrjenega) gradiva in učnih sredstev itn. Pri proučevanju povratnega učinka je torej jasno, da je potreben jasnejši vpogled v dogodke in ravnanja v razredu, kakor tudi jasnejša primerjava med tistim, za kar učitelji/učenci trdijo, da se dogaja v razredu, in pravo resnico. 5 Obstoječe empirične študije povratnega učinka V začetku devetdesetih let prejšnjega stoletja, ko sta Alderson in Wallova (1993) pozvala k večji potrebi po proučevanju povratnega učinka, smo govorili o dokaj majhnem številu empirično podkrepljenih raziskav (glej npr. Hughes 1989; Alderson, Clapham in Wall 1987; Pearson 1988; Alderson in Wall 1990). Od takrat do danes se je število raziskav povratnega učinka v različnih kontekstih jezikovnih preizkusov zelo povečalo (glej npr. Watanabe 1996, 2004; Alderson in Hamp-Lyons 1996; Wall in Alderson 1993; Wall 1996; Cheng 1998, 2004; Shohamy 1997, 2001; Andrews in drugi 2002; Qi 2004), kar kaže, da je pojav pereč in ga je treba raziskovati. Vsi avtorji raziskav ugotavljajo, da preizkusi vsekakor vplivajo na vsebino poučevanja in naravo učnega gradiva, kljub temu pa so dokazi o povratnem učinku na način poučevanja, torej na metode dela oz. poučevalne pristope, še vedno pičli, saj jih je zaradi njihove obsežnosti in zapletenosti veliko teže znanstveno opazovati in meriti. Povratni učinek nacionalnih tujejezikovnih preizkusov ... 83 Tako na primer Wallovi in Aldersonu (1993) pri proučevanju nacionalnega preizkusa angleščine ob koncu srednje šole na Srilanki ni uspelo dokazati, kakšne spremembe v načinu poučevanja so nastale pred vpeljavo novega preizkusa in po njem, če so se sploh zgodile. Wallova (seminar in delavnice julij in avgust 2002 in 2005) omenja, da je bil jezikovni preizkus naravnan komunikacijsko (angl. communicative approach), a so učitelji s sicer novim gradivom, ki je že bilo izdelano po načelih komunikacijskega pristopa, še vedno poučevali po »tradicionalnih« metodah. Chengova in Curtis (2004, str. 17) v zvezi s tem izpeljujeta, da se »učitelji ne upirajo spremembam, marveč se upirajo biti spremenjeni«. Lahko se torej spremenijo vsebine, vendar ni nujno, da se bo posledično spremenil učiteljev način poučevanja. V nasprotju s tem je Aldersonu in Hamp-Lyonsovi (1996)7 uspelo prikazati, da lahko učitelji zaradi preizkusa poleg vsebine spremenijo tudi način poučevanja. Hkrati sta ugotovila, da se narava sprememb in način poučevanja razlikujeta glede na posameznega učitelja, vendar pa jima od učiteljev ni uspelo dobiti natančnih odgovorov, zakaj so poučevali drugače. Preizkus sam po sebi torej ne povzroča povratnega učinka, saj lahko različno vpliva na dejanja nekaterih učiteljev (in učencev) - pri nekaterih lahko sproži povsem nepričakovane odzive. Do podobnega sklepa so prišli tudi Watanabe (1996)8 in Andrews s sodelavci (2002)9. Alderson in Hamp-Lyonsova (ibid.) dodatno poudarjata, da ne zadostuje samo raziskovanje v smeri, ali in kako učitelji spreminjajo svoj način poučevanja zaradi preizkusa, temveč je treba hkrati raziskati razloge oz. vzroke za njihova dejanja, kar zahteva predvsem razumevanje učiteljevega vedenja in razmišljanja. Chengova (1998)10 je dognala, da učitelji neradi in s težavo spreminjajo svoj način poučevanja, vzroke pa je mogoče iskati v izobraževalnem sistemu na splošno. Shohamyjeva (2001)11 raziskavam dodaja, da se narava povratnega učinka spreminja glede na dejavnike, kot na primer status preverjanega jezika in raba (rezultatov) preizkusa. Slednje lahko namreč po njenem prepričanju sproži številna neetična dejanja. Iz dosedanjih raziskav lahko povzamemo, da je povratni učinek neizmerno zapleten in večplasten pojem v proučevanju preverjanja, na katerega poleg preizkusa in njegove narave vplivajo številni drugi dejavniki. Kljub temu velja kot zanimivost poudariti, da ni študij, ki bi pričale o povezanosti med učenčevo pripravo na jezikovni preizkus in dejanskim rezultatom preizkusa. 7 Študija se je osredotočala na tujejezikovni preizkus TOEFL (angl. Test of English as a Foreign Language). 8 Študija se je osredotočala na sprejemni preizkus iz angleščine na univerzi na Japonskem. 9 Študija se je osredotočala na preizkus iz angleščine ob koncu srednjega šolanja v Hong Kongu. 10 Raziskava se je osredotočala na prenovljen preizkus iz angleščine ob dokončanju srednje šole v Hong Kongu. 11 Raziskava se je osredotočala na ustni preizkus iz angleščine ob dokončanju srednje šole v Izraelu. 84 SODOBNA PEDAGOGIKA 1/2006 Mihaela Zavašnik, Karmen Pižorn 6 Krepitev pozitivnega povratnega učinka Želja sestavljavcev nacionalnih preizkusov je nedvomno sestaviti takšne preizkuse, s katerimi bi se čim bolj izognili negativnemu povratnemu učinku. Predmetne nacionalne komisije dosežejo pozitivni povratni učinek nacionalnih preizkusov, če le-ti odslikavajo znanje oz. zmožnosti, ki so posredovane v razredu, oz. če se uvajajo preizkusi, ki spodbujajo dobro prakso. Oblikovanje nacionalnega jezikovnega preizkusa je tako po mnenju Wallove (2000, str. 502) le eden izmed dejavnikov, ki vplivajo na povratni učinek: »Oblikovanje preizkusa je le eden izmed elementov zapletene enačbe. Dodatni dejavniki, ki vplivajo na naravo povratnega učinka preizkusa, so učiteljeva sposobnost in razumevanje preizkusa in pristopa, na katerem temelji preizkus, pogoji dela v razredu, upravljanje šole, I... I status predmeta v kurikulumu, mehanizmi povratne informacije med šolami in državnimi izpitnimi centri, učiteljev stil, predanost in volja do inoviranja, učiteljeva preteklost, splošni družbeni in politični kontekst, čas, ki je potekel od uvedbe preizkusa, vloga založnikov pri oblikovanju gradiva in usposabljanje in izpopolnjevanje učiteljev.« Številni avtorji (Hughes 1989; Heyneman in Ransom 1990; Kehaghan in Greaney 1992; Shohamy 1992; Wall 1996; Bailey 1996) navajajo mnoge strategije, ki spodbujajo pozitiven povratni učinek jezikovnega nacionalnega preverjanja. Bolj jih upoštevamo, manjša je možnost, da bi s preizkusi povzročili negativen učinek. Brown (2000 in 2002) strne tovrstne strategije v štiri skupine in njihove podteme: A. Strategije sestavljanja preizkusov (angl. test design strategies) - vzročenje naj bo čim širše in nepredvidljivo, tj. nabor tipov nalog naj bo čim širši, saj postane z ozkim naborom preizkus zelo »predvidljiv«, posledica tega pa je osredotočenost poučevanja/učenja na »predvidljivo«; preizkusi naj bodo zasnovani na kriterijski, in ne na normativni podlagi; - preizkusi naj bodo sestavljeni tako, da merijo tisto, česar naj bi se učenci pri pouku (na)učili, torej mora preizkus meriti, kar vključuje učni načrt/ kurikulum; - preizkus naj bo sestavljen na trdnih in veljavnih teoretičnih temeljih; pri jezikovnem testiranju morajo biti preizkusi komunikacijski oz. odsev sedanjih veljavnih/ustaljenih teorij o jeziku in jezikovnem poučevanju in učenju; - preizkusi dosežkov naj temeljijo na jasno oblikovanih oz. zastavljenih ciljih, ki se uresničujejo prek ciljev kurikuluma/učnega načrta; - zaželeno je neposredno testiranje; - preizkusi naj vodijo k učenčevi samostojnosti in samoocenjevanju12; Po prepričanju avtoric moramo v to kategorijo vključiti tudi zagotavljanje ravni jezikovnega znanja v skladu z evropsko primerljivimi lestvicami jezikovnega znanja, tj. s Skupnim evropskim jezikovnim okvirjem - učenje, poučevanje 12 Cilja te (pod)strategije v kontekstu nacionalnih tujejezikovnih preizkusov znanja ni mogoče ustrezno uresničiti. Povratni učinek nacionalnih tujejezikovnih preizkusov ... 85 in preverjanje jezikov (angl. The Common European Framework of Reference for Languages: Learning, Teaching, Assessment). Posebno skrb je hkrati treba nameniti preizkušanju nalog in preizkusov, saj v nasprotnem primeru sestavljavci preizkusov ne morejo jamčiti za njihovo veljavnost. Preizkušanje nalog je v državah, ki imajo urejen sistem zunanjega preverjanja, ena najpomembnejših stopenj v razvoju nacionalnih preizkusov. Pi-lotiranje nalog zagotovi, da pridobijo preizkusi standardizirano obliko in so pravični do vseh učencev, ne glede na leto ali rok opravljanja preizkusa. B. Vsebinske strategije preizkusov (angl. test content strategies) - preizkus naj zajema preverjanje tistih zmožnosti, ki jih moramo in želimo razvijati; pri tem je pomembno tudi, da posameznim zmožnostim dodelimo ustrezno »težo« v odnosu do drugih zmožnosti; - preizkus naj vsebuje čim več nalog odprtega tipa, saj dobimo tako boljši in temeljitejši vpogled v učenčevo znanje (npr. esejski tip naloge, naloga preverjanja bistva bralnega oz. slušnega besedila); - preizkus naj kar najbolj odslikava celoten učni načrt, ne le njegovih posameznih delov; - preverjati je potrebno tudi višje taksonomske ravni, kot so analiza, sinteza itn., da jih učitelji ne bi zanemarili pri pouku; - preizkus naj bo sestavljen iz več različnih delov za preverjanje prav vseh štirih zmožnosti, slovnice in besedišča; - preizkusi naj ne bodo naravnani zgolj na preverjanje akademskih spretnosti, torej tistih, ki jih učenci potrebujejo za uspešno nadaljnje šolanje oz. študij, ampak tudi na preverjanje različnih jezikovnih zmožnosti, ki jih posameznik potrebuje za uspešno delovanje v neki družbeni skupnosti (spoznavne, komunikacijske, praktične, poklicne, socialne ...); - naloge in izhodiščna besedila naj bodo čim bolj avtentični in uporabni, torej naloge in besedila, ki odslikavajo rabo jezika v življenjskih in poklicnih položajih; Pri teh strategijah morajo sestavljavci preizkusov zagotoviti tudi »pravilno« in »pravično« uravnoteženo točkovanje posameznih delov preizkusa. C. Logisti~ne strategije (angl. logistical strategies) - učenci, učitelji, izvajalci in sestavljavci učnega načrta morajo dobro razumeti namen preizkusa ter namen in podmene rabe rezultatov; - učni cilji in cilji preverjanja in ocenjevanja morajo biti jasni; - učiteljem je treba ponuditi pomoč pri razumevanju osnov jezikovnega preverjanja in ocenjevanja; - zagotavljanje ustrezne povratne informacije učiteljem in drugim vpletenim; - šole, učitelji in učenci naj bodo pravočasno seznanjeni z izpitnimi rezultati in tudi s težavami, ki se lahko pojavijo; - učitelji in izvajalci preizkusov naj bodo vključeni v celoten proces sestavljanja preizkusov, kajti prav oni so povzročitelji in obenem izvajalci potrebnih sprememb; 86 SODOBNA PEDAGOGIKA 1/2006 Mihaela Zavašnik, Karmen Pižorn - rezultati naj bodo čim natančnejši, tako da učencu in učitelju prikažejo resnično raven doseženega znanja; D. Strategije interpretiranja (angl. interpretation strategies) - rezultati morajo biti verjetni, zanesljivi, pravični in objektivni za učence in uporabnike rezultatov (npr. učitelje, fakultete ...); - strokovne kompetence sestavljavcev preizkusov in drugih vpletenih v razvoj preizkusov se morajo nenehno izboljševati. Pomembno je tudi, da so sestavljavci nalog neposredno vključeni v analizo rezultatov, hkrati pa morajo predvsem učitelji praktiki biti člani nacionalnih predmetnih komisij za pripravo jezikovnih preizkusov. Z drugimi besedami, sestavljavci preizkusa morajo imeti neposreden stik z učenci in drugimi učitelji. 7 Sklep Preverjanje in ocenjevanje znanja nasploh je v zadnjem času predmet vročih razprav učiteljev, strokovnih združenj, staršev in medijev tudi v Sloveniji. Pričujoči članek orisuje zapletenost pojava, ki se pojavlja vzporedno z vpeljavo nacionalnih preizkusov. Če se odločimo, da bomo jezikovno znanje preverjali zunanje oz. z nacionalnim preizkusom, je hkrati treba razmišljati o mehanizmih, ki bodo s preverjanjem vodili do pozitivnih posledic za poučevanje in učenje. Nacionalne preizkuse morajo strokovnjaki nenehno spremljati, raziskovati, ocenjevati ter nakazovati ustrezne rešitve in možnosti izboljšav in se še posebej ukvarjati z vprašanji povratnega učinka. Pričujoče smernice so lahko raziskovalne smernice za proučevanje povratnega učinka nacionalnih preizkusov angleškega jezika v Sloveniji, saj se žal raziskovanja le-tega sistematično še vedno nismo lotili. Literatura Alderson, J. C. in Wall, D. (1990). The Sri Lankan O-Level Evaluation Project: Third Interim Report. Lancaster: lancaster University. Alderson, J. C. in Wall, D. (1993). Does Washback Exist? Applied Linguistics, 14 (2), str. 115-129. Alderson, J. C. in Banerjee, J. (2001). Language Testing and Assessment (Part 1). State-of-the-Art Review. Language Teaching, 34 (4), str. 213-236. Alderson, J. C. in Pižorn, K. (ur.) (2004). Sestavljanje nacionalnih preizkusov znanja -most k evropskim standardom. Constructing School Leaving Examinations at a National level - Meeting European Standards. Ljubljana: Državni izpitni center in British Council. Alderson, J. C. in Hamp-Lyons, L. (1996). TOEFL Preparation Courses. A Study of Wash-back. Language Testing, 13, str. 280-297. Alderson, J. C, Clapham, C. in Wall, D. (1987). An Evaluation of the National Certificate in English. Institute for English Language Education, Lancaster University. Povratni u~inek nacionalnih tujejezikovnih preizkusov ... 87 Andrews, S. in drugi (2002). Targeting Washback-a Case-study. System, 30, str. 207-223. Bachman, L. F. in Palmer A. S. (1996). Language Testing in Practice. Oxford: OUP Bailey, K. (1996). Working for Washback: a Review of the Washback Concept in Language Testing. Language Testing, 13 (3), str. 257-279. Banathy, B. H. in Lange, D. L. (1972). A Design for Foreign Language Curriculum. Lexington, Mass., Toronto & London: D.C. Heath & Company. Be~aj, J. (2000). Je bolje ocenjevati ali preverjati? Sociopsiholo{ke dimenzije ocenjevanja in preverjanja. Vzgoja in izobra`evanje, 31 (2-3), str. 10-19. Brinovec, D. in Juvan, R. (2000). Vpliv zunanjega preverjanja na pouk slovenskega jezika. Vzgoja in izobra`evanje, 31 (2-3), str. 52-56. Brown, J. D. (2000). Strategies for Creating Positive Washback on English Language Teaching in Japan. JALT Testing & Evaluation SIG Newsletter, Vol. 3, No. 2. Dostopno na: www.jalt.org/test/bro_5.htm. Brown, J. D. (2002). Extraneous Variables and the Washback Effect. JALT Testing & Evaluation SIG Newsletter, Vol. 6, No. 2. Dostopno na: www.jalt.org/test/bro_11.htm. Bucik, V. (2001). Zakaj potrebujemo kakovostno zunanje preverjanje in ocenjevanje znanja? Sodobna pedagogika, {t. 3, str. 40-51. Cheng, L. (1998). Impact of Public English Examination Change on Students' Perceptions and Atitudes toward their English Learning. Studies in Educational Evaluation, 24, str. 279-301. Cheng, L. (2004). The Washback Effect of a Public Examination Change on Teachers' Perceptions Toward Their Classroom Teaching. V: L. Cheng in drugi (ur.). Washback in Language Testing. Research Contexts and Methods. London: Lawrence Erlbaum. Cheng, L. in Curtis, A. (2004). Washback or Backwash: A Review of the Impact of Testing on Teaching and Learning. V: L. Cheng in drugi (ur.). Washback in Language Testing. Research Contexts and Methods. London: Lawrence Erlbaum. Cheng, L. in drugi (ur.) (2004). Washback in Language Testing. Research Contexts and Methods. London: Lawrence Erlbaum. Ferbe`ar, I. in drugi (2004). Angle{ko-poljsko-slovenski pojmovnik s podro~ja jezikovnega testiranja. Ljubljana: Center za sloven{~ino kot drugi/tuji jezik. Hamp-Lyons, L. (1997). Washback, Impact and Validity: Ethical Concerns. Language Testing, 14 (3), str. 295-303. Heyneman, S. P. in Ranson A. W (1990). Using Examinations and Testing to Improve Educational Quality. Educational Policy, str. 177-192. Hughes, A. (1989). Testing for Language Teachers. Cambridge: CUP. Kehaghan, T. in Greaney, V (1992). Using Examinations to Improve Education: A Study of Fourteen African Countries. Washington DC: The World Bank. Kunnan, A. J. (ur.) (2000). Fairness and Validation in Language Assessment: Selected Papers from the Language Testing Research Colloquium, Orlando, Florida. Studies in Language Testing, Vol. 9. Cambridge: Cambridge University Press. Marenti~ Po`arnik, B. (2000). Ocenjevanje u~enja ali ocenjevanje za (uspe{no) u~enje? Kako zmanj{ati neskladje med nameni in u~inki ocenjevanja. Vzgoja in izobra`evanje, 31, {t. 2 -3, str. 4-9. Marenti~ Po`arnik, B. (2001). Zunanje preverjanje, kultura u~enja in kakovost (matu-ritetnega) znanja. Sodobna pedagogika, {t. 3 str. 52-74. 88 SODOBNA PEDAGOGIKA 1/2006 Mihaela Zava{nik, Karmen Pi`orn Marenti~ Po`arnik, B. (2004). Kako bolje uravnavati mogo~en vpliv preverjanja in ocenjevanja? Sodobna pedagogika, 55, {t. 1, str. 8-21. McEwen, N. (1995). Introducing Accountability in Education in Canada. Canadian Journal of Education, 20, str. 27–44. Messick, S. (1996). Validity and Washback in Language Testing. Language Testing, 13 (3), str. 241-256. Pearson, I. (1988). Tests as Levers for Change. V: Chamberlain, D. in Baumgardner, R. (ur.). ESP in the Classroom: Practice and Evaluation. ELT Document 128. Modern English Publications. Rutar Ilc, Z. (2001a). Ugotovitve spremljave vpliva mature na pouk. Sodobna pedagogika, {t. 3, str. 76-97. Rutar Ilc, Z. (2001b). Kako matura vpliva na kakovost pouka in znanja. Vzgoja in izobra`evanje, 32, {t. 3, str. 24-27. Rutar Ilc, Z. (2004). Pristopi k pou~evanju, preverjanju in ocenjevanju. Ljubljana: Zavod RS za {olstvo. Qi, L. (2004). Has a High-Stakes Test Produces the Intended Changes? V: L. Cheng in drugi (ur.). Washback in Language Testing. Research Contexts and Methods. London: Lawrence Erlbaum. Shohamy, E. (1992). Beyond Performance Testing: A Diagnostic Feedback Testing Model for Assessing Foreign Language Learning. Modern Language Journal, 76 (4), str. 513-521. Shohamy, E. (1997). Testing Methods, Testing Consequences: are they Ethical? Are they Fair? Language Testing, 14 (3), str. 340-349. Shohamy, E. (2001). The Power of Tests. A Critical Perspective on the Uses of Language Tests. Harlow: Pearson Education. Skela, J. (2000). Snovanje tujejezikovnih u~nih na~rtov. V: Grosman, G. (ur.). Angle{~ina - prenovi na pot. Ljubljana: Zavod RS za {olstvo. [imenc, M. (2000). K razmerju med zunanjim in notranjim preverjanjem znanja. Vzgoja in izobra`evanje, 31 (2-3), str. 20-22. [teh Kure, B. (2000). Kakovost u~enja in pou~evanja v okviru gimnazijskega programa. Doktorska disertacija. Ljubljana: Filozofska fakulteta, Univerza v Ljubljani. Taylor, L. (2005). Key concepts in ELT: Washback and impact. ELT Journal, 59 (2), str. 154-155. Wall, D. (1996). Introducing New Tests Into Traditional Systems: Insights from General Education and from Innovation Theory. Language Testing, 13, str. 231-354. Wall, D. (2000). The impact of high-stakes testing on teaching and learning: can this be predicted or controlled? System, 28, str. 499-509. Wall, D. (2005). Predavanja na izpopolnjevanju Language Testing at Lancaster 2005. Wall, D. in Alderson, J. C. (1993). Examining Washback: The Sri Lankan Impact Study. Language Testing, 10, str. 41-69. Watanabe, Y. (1996). Does Grammar Translation Come from the Entrance Examination? Preliminary Findings from Classroom-based Research. Language Testing, 13, str. 318-333. Watanabe, Y. (2004). Methodology in Washback Studies. V: L. Cheng in drugi (ur.). Washback in Language Testing. Research Contexts and Methods. London: Lawrence Erlbaum. Povratni u~inek nacionalnih tujejezikovnih preizkusov ... 89 ZAVA[NIK Mihaela, M.A., PI@ORN Karmen, Ph.D. WASHBACK OF NATIONAL FOREIGN LANGUAGE TESTS13: DEFINITION OF THE TERM AND REFLECTION OF THE SITUATION IN THE WORLD Abstract: In the Slovenian literature, the washback of external examination and assessment of foreign language knowledge and skills is an entirely unexplored area. This is why the authors first introduce and define the term with all its hypotheses on the basis of foreign and domestic researches. Then, they present the possibilities of empirical research of washback and critically discuss the existing foreign studies treating this concept. Afterwards, they touch on the question of how to provide a positive washback to the greatest possible extent. The article serves as an overview of the existing knowledge in the field of washback of national foreign language tests (especially in the most widespread foreign language - English) and simultaneously indicates a need for empirically supported researches on washback of the three most important external examination tests of the English language in Slovenia, namely general final exams, vocational final exams and the English language test at the end primary school. Keywords: return effect, external examination, national tests, language examination.