DOI: 10.20419/2020.29.515 Psihološka obzorja / Horizons of Psychology, 29, 79–86 (2020) CC: 3530 © Društvo psihologov Slovenije, ISSN 2350-5141 UDK: 37.015.3:37.091.33 Strokovni pregledni prispevek / Professional review article Uveljavljanje formativnega ocenjevanja v visokošolskem izobraževanju Barbara Šteh* in Marjeta Šarić Oddelek za pedagogiko in andragogiko, Filozofska fakulteta, Univerza v Ljubljani Povzetek: Formativno ocenjevanje je na idejni ravni že dolgo prisotno tudi v visokošolskem izobraževanju, manj pa je empiričnih podatkov o njegovi uporabi in učinkovitosti v praksi. Vprašanje je, ali ga visokošolski učitelji enotno razumemo, zato je namen tega članka prispevati k jasnosti tega pojma, tako da so izpostavljene ključne značilnosti formativnega ocenjevanja. Formativno ocenjevanje mora biti vpeto v celoten proces poučevanja in učenja študentov. Posebna pozornost je namenjena učinkovitosti formativnega ocenjevanja in dejavnikom, ki so povezani z njegovim uvajanjem v visokošolsko izobraževanje. Visokošolski učitelji imajo pomembno vlogo pri oblikovanju takšnega učnega okolja, ki omogoča kakovostno formativno ocenjevanje. Pri tem je pomembno tako oblikovanje ustreznih učnih nalog inizzivovza študente kot dajanje ustreznih povratnih informacijtersprejemanje, razumevanje in odzivanje nanje s strani študentov. Učinkovito ocenjevanje opolnomoči študente, da si postavljajo refleksivna vprašanja, presojajo kakovost svojega znanja in uravnavajo lastno učenje. Ne gre spregledati, da je pomemben dejavnik uspešnega vpeljevanja formativnega ocenjevanja v visokošolsko izobraževanje celoten kontekst, kultura visokošolske organizacije, zahteve programa, že uveljavljeni načini ocenjevanja, ipd., ter še posebej usposobljenost visokošolskih učiteljev za kakovostno ocenjevanje. Oblikovali sva nekaj ključnih vodil za vzpostavljanje takšnih pogojev, pod katerimi ocenjevanje podpira kakovosten študij. Ključne besede: visokošolsko izobraževanje, formativno ocenjevanje, povratna informacija, samouravnavanje učenja Implementation of formative assessment in higher education Barbara Šteh* and Marjeta Šarić Department of Educational Sciences, Faculty of Arts, University of Ljubljana, Slovenia Abstract: Formative assessment hasbeen generally acknowledgedat all levels ofeducation, including highereducation. However,the empirical data on its use and effectiveness in higher education is scarce and inconclusive. The issue is an ambiguous understanding of formative assessment. Therefore, the main aim of this article is to contribute to the clarification of this concept by analysing its key characteristics. Formative assessment has to be embedded in the entire teaching and learning process. In this paper we focus on effectivenessofformativeassessmentandfactorsthatinfluence its implementation in highereducation. Teachersin highereducation have an essential role in creating learning environments that enable quality formative assessment. This includes forming suitable tasks and challengesfor students,giving themrelevant feedback, as well asreceiving, understanding and responding to the feedback from students themselves. Effective formative assessment empowers studentsto ask reflexive questions, evaluate the quality of their knowledge, and regulate their learning. Finally,we drawattention tothe entire context asan important condition for implementation of formative assessment in higher education. The context includes the culture of an institution, the demands of an educational programme, general assessment methods, and especially the qualifications of higher education teachers for accomplishing quality assessment. We proposed several key guidelines for establishing the conditions under which assessment can support students’ learning. Keywords: higher education, formative assessment, feedback, self-regulated learning * Naslov/Address: izr. prof. dr. Barbara Šteh, Oddelek za pedagogiko in andragogiko, Filozofska fakulteta, Univerza v Ljubljani,Aškerčeva 2, 1000 Ljubljana, e-mail: barbara.steh@guest.arnes.si Članek je licenciran pod pogoji Creative Commons Attribution 4.0 International licence. (CC-BY licenca). The article is licensed under a Creative Commons Attribution 4.0 International License (CC-BY license). B. Šteh in M. Šarić Način ocenjevanja ima pomemben vpliv na to, kako se študenti lotijo obravnave študijskega gradiva oziroma kako študirajo (Biggs in Tang, 2007; Bloxham inBoyd,2007;Gibbs in Simpson, 2004-05). Veliko prispevkov o ocenjevanju v okviru visokošolskega izobraževanja se osredotoča na tako imenovano sumativno ali končno ocenjevanje – ocenjevanje končnih dosežkov študentov – in se ukvarja z vprašanji, povezanimi z določanjem standardov in jasnih kriterijev ocenjevanja, vlogo zunanjih ocenjevalcev pri doseganju teh standardov, z vprašanji zanesljivosti inveljavnosti, napakami merjenja, plagiatorstvom, ipd. (Gibbs in Simpson, 2004-05; Yorke, 2003,2009). Poudarek teh prispevkov jena ocenjevanju kot merjenju končnih dosežkov, v tem prispevku pa sva se osredotočili na formativno preverjanje in ocenjevanje1, katerega osrednji namen jepodpreti učenje(Black inWiliam, 2009, 2012; Wiliam, 2013) oz. spodbuditi pomembno učenje (angl. worthwile learning), kot sta se izrazila Gibbs in Simpson (2004-05). V zvezi z angleškim izrazom formativno ocenjevanje se je v slovenskem prostoru najprej uveljavil izraz formativno preverjanje (glej na primer Marentič Požarnik, 1988; Marentič Požarnik in Peklaj, 2002; Razdevšek Pučko, 1992, 1994, 2004), v zadnjem času pa se uveljavlja tudi izraz formativno spremljanje (glej na primer 5-6 št. Vzgoje in izobraževanja iz leta 2014, ki je bila v celoti namenjena spremljanju in preverjanju, ki podpirata kakovostno učenje; HolcarBrunauer idr. (2016) so pripravili priročnik zaučitelje z naslovom Formativno spremljanje v podporo učenju). V izrazih preverjanje in spremljanje ne vidiva bistvene razlike, saj izraza sama po sebi ne implicirata aktivne vloge, vpletenosti in odgovornosti učencev oz. študentov2. Slednje pa so ključni elementi koncepta formativnega ocenjevanja. Zgoraj omenjeni avtorji (npr. Holcar Brunauer idr., 2016) v svojih prispevkih o formativnem spremljanju sicer poudarjajo aktivno vlogo učencev in razvijanje spretnosti samouravnavanja učenja, a sam izraz tega ne vključuje.Poleg tega je potrebno ugotavljati, kako dobro učenci napredujejo v smeri zastavljenih ciljev, kar preverjamo. Zavedava se, da je koncept preverjanja v praksi pogosto narobe razumljen in izpeljanvobliki treninga za končno ocenjevanjein ne prispeva k kakovostnejšemu učenju in poučevanju (Bečaj,2000, 2009; Rutar Ilc, 2014), a sva v tem prispevku kljub temu ohranili ta izraz. Največja ovira za neuspešno uveljavljanje preverjanja za doseganje učinkovitejšega učenjain poučevanjaso verjetno utrjena pojmovanja o učenju in poučevanju ter vlogi učitelja kot tistega, ki je v celoti odgovoren za celoten proces in 1 V nadaljevanju namesto besedne zveze »preverjanje in ocenjevanje« uporabljava le izraz »ocenjevanje«, pri čemer slednjega razumeva tako v smislu diagnostične in formativne funkcije, ko zbiramo podatke o doseganju učnih ciljev, napredovanju študentov z namenom spodbujanja nadaljnjega učenja in vnašanja sprememb v poučevanje, kot sumativne, ko ovrednotimo učne dosežke (s številčno oceno ali brez nje). 2 Vnadaljevanju bova uporabljali izraz študenti, kadar se bova posebej osredotočali na formativno ocenjevanje v okviru visokošolskega izobraževanja, sicer pa bova uporabljali pri opredljevanju značilnosti formativnega ocenjevanja širši izraz učenci, ki se veže na vse ravni izobraževanja. mora ovrednotiti dosežke učencev (Earl, 2003), ter kontekst, v katerem so tako pomembni dobri končni rezultati, ki so izraženi z določenimi kvantitativnimi pokazatelji. Meniva, da sama sprememba v terminologiji ne bo prinesla željenih rezultatov. V tem prispevku sva najprej opredelili formativno ocenjevanjein izpostavili njegove ključne značilnosti.Posebej sva se posvetili učinkovitosti formativnega ocenjevanja in dejavnikom, ki so povezani z uvajanjem formativnega ocenjevanja v visokošolsko izobraževanje, ter izpeljali nekaj ključnih vodil za učinkovitejšo izvedbo tega zahtevnega procesa. Opredelitev in značilnosti formativnega ocenjevanja Med sumativno in formativno vlogo ocenjevanja so avtorji začeli razlikovati že v 60. letih prejšnjega stoletja: prvi je bil Scriven (1967, citirano v: Bennett, 2011), in sicer v kontekstu evalvacije izobraževalnih programov – ali je bil namen ocenjevanja predvsem v ovrednotenju programov ali v spodbujanju njihovega izboljšanja. Bloom (1969, citirano v: Bennett, 2011) je nato isto terminologijo uporabil v kontekstu procesa poučevanja in učenja. Na tem področju se je nato termin »formativno ocenjevanje« uveljavil, tako da danes izraz uporabljamo, ko smo usmerjeni k učencem oz. študentom in ne k izobraževalnim programom. Z razmahom psihometrične paradigme intestiranja pa je prišlona začetku 21. stoletja do razkola med tistimi avtorji, ki formativno ocenjevanje razumejo predvsem v smislu merskega instrumenta in tistimi, ki ga razumejo predvsem kot proces (Bennett, 2011).Prvi (npr. Pearson,2005,citirano v: Bennett, 2011) povezujejo pojem z diagnostičnim testiranjem in ustvarjanjem banke nalog, ki jih učitelji lahko uporabijo pri sestavi testov za ugotavljanje dosežkov učencev. Drugi pa poudarjajo, da ne gre le za to, da se pridobi vpogled v učne rezultate oz. razumevanje učencev, temveč da se uporabi te informacije za prilagoditev poučevanja in učenja oz. v podporo učenju (Black in Wiliam, 2009, 2012; Wiliam, 2013; Yorke, 2003). McManus (2008, citirano v: Bennett, 2011) jev skladu s tem opredelil formativno ocenjevanje kot proces, ki med poučevanjem omogoča učiteljem in učencem pridobitev povratne informacije, da lahko prilagajajo svoje poučevanje in učenje, tako da se izboljšujejo dosežki učencev v smeri predvidenih učnih rezultatov (angl. instructional outcomes). Ob tem razkolu med osredotočanjem na merjenje in na drugi strani na proces poučevanja in učenja se je uveljavilo razlikovanje med izrazoma »ocenjevanje učenja« (angl. assessment of learning) in »ocenjevanje za spodbujanje učenja« (angl. assessment for learning; Bennett, 2011). Pri prvem naj bitorej bili osredotočenipredvsem naugotavljanje učnih dosežkov, kar običajno poteka ob koncu učnega procesa, pri drugem pa se fokus že usmeri k temu, kako pridobljene informacije o znanju in kompetencah učencev uporabiti za prilagajanje procesa poučevanja in učenja. V povezavi s slednjim pomenom lahko zasledimo tudi izraz »k učenju usmerjeno ocenjevanje« (angl. learning-oriented assessment), kiga jeCarless(2015) opredelil kot ocenjevanje s primarnim fokusom napotencialu zarazvijanje produktivnih Uveljavljanje formativnega ocenjevanja učnih procesov pri študentih. Yorke (2003) pa je izpostavil, da je pravzaprav dialog med učiteljem in študentom tisti, po katerem se razlikujeformativno ocenjevanje odsumativnega. Oba pristopa v ocenjevanju se torej razlikujeta v osrednjem namenu ocenjevanja, pravtako pa vvlogah učiteljain učencev, kar je še posebej izpostavila Earl (2003). Slednja avtorica je kritična do obstoječih pristopov v ocenjevanju, pri katerih učiteljostaja v ekskluzivni vlogi tistega,ki presoja o kakovosti učenja in učnih dosežkov. Po njeni oceni pozabljamo na to, da moramo učence opolnomočiti, da bodo znali samostojno presojati kakovost svojega znanja in uravnavati svoje učenje. Nadalje je opozorila, da je tudi ocenjevanje za spodbujanje učenja pogosto razumljeno tako, da ima učitelj še vedno osrednjo vlogo: on je tisti, ki učencem priskrbi ustrezne povratne informacije, da bodo lahko prilagodili učenje itd.. Zato je uvedla izraz »ocenjevanje kot del učenja« (angl. assessment as learning). Ne smemo pozabiti, da je učenec, po besedah avtorice, kritični povezovalec med procesom ocenjevanja in učenja – le on lahko, če je vpleten v proces ocenjevanja, osmisli informacijo, ki jo dobi, poveže s svojim predhodnim znanjem, kompetencami in nadalje uravnava svoje učenje. Mnogi avtorji (na primer Bennett, 2011; Carless, 2015; Yorke, 2003) opozarjajo, da je strogo ločevanje med ocenjevanjem učenja, ocenjevanjem za spodbujanje učenja in nenazadnje ocenjevanjem kot dela učenja problematično, saj gre za kompleksne odnose med vsemi tremi pristopi k ocenjevanju in nameni ocenjevanja. V okviru holističnega ali celostnega pogleda na ocenjevanje je le-to razumljeno kot dobro integriran del celotnega procesa učenja in poučevanja (Boud, 1995, citirano v: Marentič Požarnik in Peklaj, 2002; Šteh inŠarić, 2016),ki zagotavljatako informacije o dosežkih in napredovanju učencev, omogoča nadaljnje prilagajanje učenja in poučevanja ter spodbuja kakovostno učenje. Sumativno ocenjevanje mora vsekakor izpolniti svoj prvotni namen – dokumentirati to, kar študent ve in zna narediti, a če je dobro izvedeno, lahko izpolni tudi drugi namen – spodbudi kakovostno učenje. Po drugi strani pa mora dobro načrtovano in implementirano formativno ocenjevanje dajati informacije o tem, kako bi bilo dobro prilagoditi poučevanje in o tem, kaj študenti že vedo in znajo narediti. V skladustemso tudiugotovitve Blackain Wiliama (2012), da morajo biti sumativni testi dobro integrirani v učni proces, da študentom lahko pomagajo pri izboljšanju učenja. Vendar ne pride vedno do sinergije, še posebej če gre za eksterno ocenjevanje in če je od dosežkov na testu odvisno napredovanje študentov. Zavedati se moramo, da sta si lahko nadzorna funkcija ocenjevanja in na drugi strani spodbujanje učenja v nasprotju. Študenti se v procesu učenja bojijo razkriti svoje ne/razumevanje, če imajo pred očmi sumativno ocenjevanje, pri katerem bodo morali izkazati obvladovanje določenega področja. Pravtako mora učiteljna neki točki izstopiti iz svoje vloge podpornika učenja v vlogo ocenjevalca študentovih dosežkov (Yorke, 2003). Težave pri uvajanju formativnega ocenjevanja nastopijo, če prevladuje sumativna funkcija ocenjevanja in če študenti še vedno niso videni kot tisti,ki soodgovorniza svoje učenje. Preusmeritev pozornosti odstroge delitve med sumativnimin formativnim ocenjevanjem k spremenjenem pogledu na vlogo učitelja in študenta v procesu ocenjevanja – koslednjipostanetisti, kije odgovoren za lasten učni proces in ga je zmožen uravnavati in avtonomno ter neodvisno presojati o kakovosti lastnega študija in študijskih rezultatov – želi Boud v zadnjem času doseči s konceptom »trajnostnega ocenjevanja« (Boud, 2000; Boud in Soler, 2016). Gre za tezo, da ocenjevanje ni enosmerno dejanje učitelja usmerjeno k študentu, ampak gre za vzajemno delovanje obeh za doseganje učnih ciljev, s tem, da se študent sčasoma opolnomoči za avtonomno presojo lastnega študija in študijskih rezultatov. Ocenjevanje je torej integrativen del poučevanja in učenja, tudi tisti del, ki se mu učenci oziroma študenti ne morejo izogniti, če želijo priti do določenega certifikata. Smiselno se je torej vprašati, kako lahko z njim spodbudimo kakovostno učenje in ga ne oviramo ali zavremo (Brown, 2004-05; Marentič Požarnik in Peklaj, 2002). Ob tem se moramo vedno spraševati tudi o namenu ocenjevanja, ne le, kaj in kako ocenjujemo (Brown, 2004-05) ter o vplivu oz.posledicah ocenjevanja (Šteh, 2012; Šteh in Šarić, 2016). Značilnosti formativnega ocenjevanja Black in Wiliam (2012) sta izpostavila, da ima ocenjevanje formativno vlogo, ko učne rezultate uporabimo za prilagoditev poučevanja in učenja. Avtorji (Bennett, 2011; Yorke, 2003) poudarjajo, da ni enotne opredelitve formativnega ocenjevanja, a vendarleskozipregledliterature lahko prepoznamo nekatere skupne značilnosti. Osrednja značilnost je integracija ocenjevanja v celoten izobraževalni proces z namenom spodbujanja kakovostnegaučenja.Nadalje pa avtorji izpostavljajo naslednje značilnosti: . Usmerjeni moramo biti na ustvarjanje učnih okoliščin, v katerih so študenti čim bolj vpleteni v učni proces in prevzamejo odgovornost zasvojeučenje (Blackin Wiliam, 2009, 2012; Earl, 2003; Winstone, Nash, Rowntree in Parker, 2017). . Pomembna postane skrb za kakovosten dialog tako med obravnavo določene teme (Bennett, 2011; Black in Wiliam, 2009, 2012) kot o ocenjevanju samem, npr. o prejeti povratni informaciji (Ajjawi in Boud, 2018; Nicol, 2010; Yorke, 2003). . Če je ocenjevanje integrirano v proces učenja in pouče­vanja, je povratna informacija v osrčju tega procesa oz. ključen del formativnega ocenjevanja (Black in Wiliam, 2009, 2012; Brown, 2004-05; Brown, Bull in Pendlebury, 1997; Carless, 2015; Nicol in Macfarlane-Dick, 2006; Razdevšek Pučko, 2004). Zato sva v nadaljevanju prispevka posvetili posebno pozornost raziskavam o učinkovitosti povratneinformacijevokviru visokošolskega izobraževanja. . Koncept formativnega učenja se ne more uveljaviti brez poudarka na razvijanju metakognitivnih strategij in spodbujanju učencev k samostojnemu presojanju učinkovitosti svojega učenja in kakovosti učnih dosežkov ter njegovem uravnavanju – spodbujanju samoregulacije (Earl, 2003; Nicol in Macfarlane-Dick, 2006; Yorke, 2003). Nicol in Macfarlene-Dick (2006) sta na primer zagovarjala tezo, da morata biti v okviru visokošolskega izobraževanja formativno ocenjevanje in povratna B. Šteh in M. Šarić informacija uporabljena za opolnomočenje študentov kot »samoregulacijskih« učencev. Podobno je Boud (2000) izpostavil, da ne smemo pozabiti, da je eden osrednjih namenov visokošolskega izobraževanja razvijanje avtonomije študentov v procesu vseživljenjskega učenja, saj je ključno, da se usposobijo za avtonomno delovanje v stroki. Carless (2015) je poudaril, da morajo študenti postati eksperti v presoji svoje uspešnosti in uspešnosti svojihkolegov. Earl(2003) pa je v okvirusvojega koncepta ocenjevanja kot dela učenja navedla,da jekončni ciljtega, da študenti postanejo svoji najboljši ocenjevalci. . Avtorji v povezavi z razvijanjem spretnosti samo­uravnavanja pogosto navajajo vključevanje priložnosti za samoocenjevanje, vrstniško ocenjevanje in skupinsko ocenjevanje (Bennett, 2011; Black in Wiliam, 2009, 2012; Brown, 2004-05; Carless, 2015; Marentič Požarnik, 2004). . Če želimo, daštudenti postanejo avtonomni v presoji svojih dosežkov, mora biti proces ocenjevanja transparenten (za vsevpletene), z jasno postavljenimi kriteriji zapresojanje učnih dosežkov in učnimi cilji, ki naj bi jih dosegli (Bennett, 2011; Black in Wiliam, 2009, 2012; Brown, 2004-05; Yorke, 2003). Za doseganje tega je potrebno razjasnjevanje pričakovanj in skupna diskusija, zgolj izjave o tem, kaj naj bi dosegli, ne zadostujejo (Yorke, 2003). . Metode ocenjevanja morajo biti osredotočene na pridobivanje dokazov o dosežkih (Bennett, 2011; Brown, 2004-05). To zagotovo pomeni manjšo koncentracijo tradicionalnihpisnih izpitov invečjipoudarek namerskih inštrumentih, kine zahtevajo zgolj priklicadejstev, temveč uporabo znanja v življenjskih, avtentičnih situacijah (Brown, 2004-05; Carless, 2015; Pereira, Flores, Veiga Simao in Barros, 2016). Avtorji zagovarjajo uporabo raznolikih metod ocenjevanja, tako da lahko raznoliki študenti demonstrirajo svoje zmožnosti in napredujejo v skladu s svojimi potenciali. Carless (2015) je izpostavil pomen k učenju osredotočenihučnihnalog, kiprištudentih spodbujajo razmišljanje in praktično ravnanje v okviru določene discipline, da osvojijo značilnosti diskurza, ki jeznačilen za določeno disciplino, in so vpleteni v realne probleme določenega predmetnega področja. Za uspešno uvajanje formativnega ocenjevanja učitelji vsekakor potrebujejo veliko znanja o učenju in o tem, kako se učijo študenti, saj bodo le tako lahko ustvarjali ustrezna učna okolja in učne naloge, ki bodo študente spodbudile, da se bodo bolj vpletli v proces učenja in naredili več miselnega dela (Black in Wiliam, 2012). Ob razumevanju procesa učenja in razvijanju svoje ekspertnosti na področju poučevanjamorajo postati tudieksperti v ocenjevanju,karpo mnenju Browna in sodelavcev (1997) ni lahka naloga. Hkrati pa morajo zelo dobro obvladati predmetno področje, ki je predmet njihovega poučevanja, saj le tako lahko postavljajo smiselna učne cilje in učne naloge, ki študente vodijo do teh (Bennett, 2011). Bennett (2011) je nadalje izpostavil pomen vzpostavljanja učnih skupnosti, v katerih se učitelji lahko usposabljajo za formativno ocenjevanje z izmenjavo izkušenj in spodbujanjem refleksije. V skladu z akcijsko teorijo, imenovano KLT (angl. Keeping Learning on Track) o tem, kako ohraniti učenje na pravi poti, se morajo učitelji usposobiti za: 1) neprestano pridobivanje dokazov o učenju študentov, 2) identifikacijo in delitev pričakovanj v zvezi z učenjem s svojimi študenti, 3) ustvarjanje priložnosti, da študenti prevzamejo »lastništvo« nad svojim učenjem, 4) strukturiranje priložnosti,ki aktivirajoštudente,da postanejo viri informacij drug drugemu in 5) zagotavljanje povratne informacije, ki bospodbudila nadaljnje učenje, inustvarjanje okoliščin, ko se bodo študenti lahko odzvali na to povratno informacijo. Učinkovitost formativnega ocenjevanja Pri poročanju o učinkovitosti formativnega ocenjevanja se avtorji najpogosteje sklicujejo na metaanalizo Blacka in Wiliama (1998, citirano v: Bennett, 2011), ki navajata, da naj bi se indeks moči vpliva na učne dosežke gibal med 0,40 in 0,70. Znane so tudi obsežne metaanalize avtorja Hattieja (2009), kije poročal šeovečjem indeksu vpliva formativnega ocenjevanja (0,90, SD = 0,079)3. Avtor je v izračun skupnega indeksa vpliva vključil dve metaanalizi, ki sta skupaj združevaliučinke 30študij.Hattie (2009)je posebej izpostavil pomen iskanja povratnih informacij s strani učiteljev o tem, kaj se dogaja pri poučevanju, ali učenci napredujejo v smeri postavljenihciljev,in odgovarjanjena vprašanje, kako naprej. Avtor se zaveda, da se učinki formativnega ocenjevanja razlikujejo od študije do študije; učitelji na primer lahko bolje prilagodijo svoje poučevanje, čeiščejo dokazeoznanju učencev, kot pače sezanašajo lena lastnopresojo; podobno je še posebej pomembnaodprtost učiteljevza iskanje dokazov o nerazumevanju učencev iniskanjenovihpoti. Prisklicevanju na rezultate metaanaliz pa pogosto pozabimo, da lahko združujejo zelo raznolike študije, ki se preveč razlikujejo v predmetu merjenja, da bi lahko smiselno združili njihov učinek.Multipli učinki, kise pokažejo, pogosto izhajajoiz iste študijein proučevanja istih avtorjev, metodologijavključenih študij pa ni objavljena, tako da ni omogočen kritični pregled (Bennett, 2011).Bennett(2011) jetako kritično osvetlil zgoraj omenjeno metaanalizo Blacka in Wiliama, saj vključuje zelo raznolikeštudije, odtistih povezanih s povratnoinformacijo, ciljno usmerjenostjo študentov, samozaznavo, vrstniškim ocenjevanjem, do tistih povezanih z učiteljevo izbiro nalog pri ocenjevanju, njegovim načinom postavljanja vprašanj, uporabo testov, ipd., česar pa se zavedata tudi avtorja sama (Black in Wiliam, 2012). Avtorja sta posebej izpostavila, da jeučinkovitost uvajanjaformativnega ocenjevanja odvisna od družbenega in izobraževalnega konteksta (Black in Wiliam, 2012). V tem prispevku najuje posebej zanimalaučinkovitost formativnega ocenjevanja v kontekstu visokošolskega izobraževanja. 3 Novozelandec Hattie, čigar glavno delo Visible learning (2009) imamo tudi v slovenskem prevodu .Vidno učenje za učitelje: maksimiranje učinka na učenje (2018), je 20 let proučeval rezultate več kot 800 metaanaliz o vplivih na učne dosežke učencev; izsledke je strnil v obliki »indeksa vpliva«, pri čemer pomeni vrednost pod 0,20 nizek vpliv, med 0,20 in 0,60 srednji vpliv in nad 0,60 visok vpliv. Uveljavljanje formativnega ocenjevanja Dejavniki učinkovitosti formativnega ocenjevanja v visokošolskem izobraževanju Formativno ocenjevanje je vedno del nekega izobraževalnega sistema in njegova učinkovitost je lahko omejena z naravo tega sistema, še posebej z uveljavljenimi načini poučevanja in ocenjevanja. V okviru visokošolskega izobraževanja imajo na primer že tradicionalno posebno vrednost predavanja, ki pa niso najprimernejša oblika za spodbujanje in izboljšanje učenja študentov (Biggs in Tang, 2007; Bloxham in Boyd, 2007; Yorke, 2003). Prav tako k učinkovitosti bistveno prispevajo po eni strani prizadevanja in usposobljenost učiteljev za čim bolj kakovostno izvedbo formativnega ocenjevanja, po drugi strani pa zmožnosti in volja študentov, da sprejmejo in ravnajo v skladu s prejeto povratno informacijo. Raziskav s področja učinkovitosti formativnega ocenjevanja v visokošolskem izobraževanju je v obdobju zadnjih deset let sicer vse več, a so razdrobljene, vežejo se na posamezne oblike ali elemente formativnega ocenjevanja inso običajno narejene namajhnih, priložnostnih vzorcih študentov ali visokošolskih učiteljev. V nadaljevanju sva osvetlili tako kontekstualne dejavnike kot dejavnike v učiteljih in študentih. Oblikovanje učnih okoliščin zaformativno ocenjevanje je odvisnoodorganizaciještudija,predmetnegapodročja,letni­ka in stopnje študija ter drugih kontekstualnih dejavnikov. Organizacija študija kot dejavnik oblikovanja nalog za formativno ocenjevanje je povezana zlasti s trajanjem predmeta in izkušnjami študentov s posamezno obliko ocenjevanja. Ni nepomembno, ali študenti že poznajo način preverjanja znanja, kot je vrstniško ocenjevanje, izdelava portfolia, video povratna informacija, ipd. Pri predmetu, ki se izvaja skozi daljše obdobje, npr. skozi dva semestra, lahko drugače zasnujemo naloge, ki bodo imele formativni učinek, kakor pri kratkih modularnih predmetih (npr. 8-tedenski moduli). Kadar je na voljo več časa, imajo študenti možnost, daspoznajo inusvojijo določen način preverjanja,ki ga doslej morda šeniso poznali. Tako jena primerza dajanje vrstniške povratne informacije potrebnega več časa, da študenti usvojijo kriterije presoje in da znajo te kriterije smiselno uporabiti pri ocenjevanju izdelka ali nastopa svojih kolegov, ob upoštevanju, da bo uporabna tudi za prejemnike vrstniške povratne informacije. Naloge, kijihučitelji vključujejo v formativno ocenjevanje, so običajno oblikovane v skladu z značilnostmi stroke, v kateri se študenti usposabljajo: v arhitekturi in oblikovanju je pogosta uporaba portfolia, v pravu študije primerov, v zgodovini projekti (Carless, 2015). Prav tako so v raziskavi o učinkovitosti ocenjevanja študenti prvega letnika izpostavili drugačne značilnosti povratne informacije, ki je zanje pomembna, kakor študenti zaključnih letnikov (Poulos in Mahoney, 2008).Za študenteprvega letnika jebila pomembna pogostost komunikacije, zlasti zaradi pomoči študentom pri prilagajanju na nov način študija inrazumevanjapričakovanj, ki jih imajo profesorji. Prav tako je imela negativna povratna informacija boljneugoden vpliv naštudente prvega letnikakot na študentezaključnih letnikov. Tiso izpostavili učinkovitost tiste povratne informacije, ki so jo ocenili kot uporabno za nadaljnje strokovno in poklicno udejstvovanje. Poleg kontekstualnih dejavnikov so za učinkovitost formativnega ocenjevanja pomembne značilnosti učiteljev. Carless (2015) je s študijo primerov proučeval pet učiteljev, ki so bili nagrajeni za odličnost pri poučevanju. Ena od njihovih odlik je bila, da so zasnovali v učenje usmerjeno ocenjevanje glede na predmetno področje oziroma disciplino poučevanja. Na primer, učitelj zgodovine je v ocenjevanje vključil aktivnosti, kot so poročilo o obisku muzeja, sprotno odzivanje na predavanja, individualna projektna naloga. Tovrstne naloge so od študentov zahtevale zgodovinski način razmišljanja, soočanje nasprotujočih si diskurzov, osvetlje­vanjezgodovinskih dogodkoviz različnih perspektivipd. Kot lahko vidimo, so to učne aktivnosti, spomočjokaterihse lahko študentiusposobijo zakasnejše avtonomno delovanje v stroki. Po drugi strani je učitelj arhitekture ocenjevanje osnoval na portfoliu, čigar pomemben del so bile redne predstavitve idej skupaj s kritičnimi ocenami ostalih študentov in učiteljev, ki so bile podane javno na mesečnih srečanjih. S tem je učitelj spodbujal tako ustvarjalnost kot samoevalvacijske zmožnosti študentov, v dialogu s strokovnjaki in kolegi pa tudi občutek za kakovost v arhitekturi. V zvezi s prizadevanji učiteljev sta Xu in Harfitt (2018) proučevala možnost formativnega ocenjevanja v velikih skupinah (od 45 do 57 študentov v skupini). Ugotovila sta, da je vključevanje različnih oblik formativnega ocenjevanja predvsem odvisno od lastne angažiranosti, iniciative in ustvarjalnosti posameznega učitelja. Podobno kot Carless (2015) staopazila, daso naloge, vključene v procesformativne­ga ocenjevanja, odvisne odpredmetnega področja.Pomemben dejavnik je bil tudi interes posameznih učiteljev za določen načinpreverjanja, naprimer interes zatehnologijoin uporabo digitalnih medijev. Poleg tega so na izvedbo formativnega ocenjevanja vplivali kontekstualni dejavniki, kot so urniki in lokacija izvedbe študijskega programa. Price, Handley, Millar in O’Donovan (2010) so s pomočjo polstrukturiranih intervjujev s 15 študenti in 20 učitelji ugotavljali razhajanja v pogledih na povratno informacijo med učitelji in študenti. Precej neskladni so bili glede namena povratne informacije. Učitelji soželeli spodbuditiučenje inštudente nadalje usmeriti v študijskem procesu. Poleg tega so s povratno informacijo želeli utemeljiti oziroma upravičiti oceno, ki so jo pripisalinalogi. Študenti so po drugi strani izražali ožje pojmovanje povratne informacije, želeli so neposredne in konkretne napotke o tem, kaj naj storijo, da bo naslednjič bolje. Tako učitelji kot študentipa sose strinjali,da jekakovostno dajanje in sprejemanje povratne informacije težko dosegljivo zaradi časovnih omejitev. Pogoste so bile pritožbe, da nimajo časa za poglobljeno pisanje povratneinformacije(učitelji) ali dane utegnejo natačno pogledati učiteljevih komentarjev in o njih razmisliti (študenti). Oboji pa so se strinjali, da je odnosna raven tista, ki lahko bistveno prispeva k temu, da povratna informacija doseže svoj namen. Ali je povratna informacija ustrezna oziroma ali ima formativno moč, je predvsem povezano s tem, kako študenti sprejemajo inrazumejo podanopovratno informacijo ter kako se nanjo odzovejo. V dosedanjih raziskavah (Duncan, 2007; Priceidr. 2010; Weaver, 2006) seje pokazalo, daimajomnogi študenti težave z razumevanjem povratne informacije, saj jo dojemajo kot presplošno, dvoumno, neskladno s podanimi B. Šteh in M. Šarić kriteriji ali preveč negativno usmerjeno; vse to pa jih ovira pri tem,da bito povratno informacijouporabiliza izboljšanje svojega študija. Duncan (2007) je na primer proučeval učinek komentarjev s prejšnjih nalog na kakovost izdelave nove naloge. Ugotovitve njegove sicer majhne in omejene raziskaveso značilnein seskladajo z predhodno omenjenimi raziskavami. Posebej zanimiv rezultat Duncanove raziskave je majhna pripravljenost študentov za sodelovanje pri raziskavi, ki jim je omogočalo bolj poglobljeno ukvarjanje s povratno informacijo (poleg analize prejšnjih komentarjev tudi individualne konzultacije, branje osnutkov idr.). Od 52 študentov, ki so jim ponudili tovrstno dodatno podporo, se jih je za sodelovanje odločilo le 15, pri čemer se je izkazalo, da so to bili tisti, ki so v povprečju dosegali višje študijske dosežke. Tega podatka avtor ni posebej interpretiral, vendar v luči tega prispevka dobro prikazuje, kako so študenti, ki se dejavno zanimajoza uravnavanje lastnega učenja,spremljajo svoj učni proces in iščejo povratne informacije, da bi ga izboljšali, uspešnejši od študentov, ki nimajo tako razvitih spretnosti samouravnavanja. Carless in Boud (2018) se posebej ukvarjata s pojmom pismenosti študentov zasprejemanjein odzivanje napovratno informacijo (angl. feedback literacy).Povratno informacijo sta opredelila z vidika študenta in ne z vidika učitelja: povratna informacija je »proces, skozi katerega študenti osmislijo informacije iz različnih virov in jih uporabijo za izboljšanje njihovega dela ali učnih strategij« (str. 1315). Štirje vidiki pismenosti za povratno informacijo po Carless in Boud (2018) so: - prepoznavanje pomena procesa povratne informacije in prepoznavanje lastne aktivne vloge pri tem (študenti sprejmejo odgovornost za lastno učenje); - presojanje, vrednotenje, zmožnost kritične presoje kakovosti dela ali izdelka (pomen eksplicitne uporabe kriterijev); - uravnavanje doživljanja, čustev in stališč (zmanjšanje reaktivnih, obrambnih odzivov na kritične povratne informacije), zmožnost za prenašanje izzivov; - delovanje – študenti imajo repertoar strategij za produktivno delovanje v skladu s prejeto povratno informacijo. Nicol (2010) je v zvezi z možnostjo aktivnejše vloge študentov v formativnem ocenjevanju izpostavil premik od monologa k dialogu, kar je poseben izziv, saj se ob povečevanju števila študentov in z raznolikostjo obveznosti povečuje obremenjenost visokošolskih učiteljevin sodelavcev za kakovostno podajanje povratne informacije. Kot je bilo že omenjeno, se študenti pogosto pritožujejo, da povratna informacija, ki jo prejmejo o njihovem izdelku, nalogi, eseju, referatu, ipd., ni pravočasna, ni dovolj podrobna in ne pomaga razjasniti nerazumljivih delov učne snovi. Prav tako so nezadovoljni učitelji: kljub dolgim uram, ki jih namenijo skrbnemu pregledovanju in pisanju opomb k izdelkom študentov, opažajo, da študenti niti ne pridejo na vpogled v podano povratno informacijo,če pa pridejo, se na komentarje ne odzovejo ali pa ne ravnajo v skladu z njimi. Seveda je pomembna kakovost napisanih ali izrečenih komentarjev ob delu študentov – torej,da jepovratna informacija pravočasna, dovolj podrobna in jasna. Vendar je še pomembneje, kaj študenti naredijo z njo (Nicol, 2010). Zato je ključno ustvarjanje priložnosti za dialog ob povratnih informacijah. Ovire za udejanjanje tega so tako v usposobljenosti učiteljev za vodenje kakovostnega dialoga in postavljanje refleksivnih vprašanj, kot v pripravljenosti študentov za sodelovanje v tovrstnem dialogu. Zanemarljive pa niso niti zunanje okoliščine, kot so veliko število študentov in številne druge obveznosti tako učiteljev kot študentov. Ovire, ki študentom preprečujejo ukvarjanje s povratno informacijo, so preko fokusnih skupin s študenti proučevali Winstone idr. (2017). Na podlagi analize pogovorov s študenti so avtorji identificirali štiri psihološke procese, ki so povezani s pripravljenostjo iskati, sprejeti in uporabiti povratno informacijo: zavedanje namenain pomenapovratne informacije, poznavanje strategij, s katerimi lahko uporabijo povratno informacijo, avtonomnost pri izvedbi in volja za to, da se ukvarjajo s povratno informacijo in jo upoštevajo. Pri tem so avtorji izpostavili ugotovitev, da se študenti zavedajo pomena povratne informacije, a niso vedno proaktivni. Njihovo pričakovanje, da dobijo natančna navodila, kaj storiti, je smiselno izzvati v smeri večje samostojnosti pri razumevanju strokovne in akademske terminologije. Tudi tu je torej na mestu dvosmerna komunikacija in vzajemno prevzemanje odgovornosti za učinkovitost povratne informacije. Prav tako sta Ajjawi in Boud (2018) izpostavila interakcijo kot pomembno lastnost »trajnostnega«ocenjevanja – povratne informacije v formativnem smislu. Pri tem povratna informacija ni le enosmerni »vhodni« podatek (angl. input) za študente, na katerega naj se odzovejo, ampak gre za interakcijo med študenti, učitelji in konteksti, in to v treh razsežnostih: kognitivni (spraševanje, izražanje idej), socialno-afektivni (razkrivanje sebe, izražanje empatije) in strukturni (priložnosti za dialog, možnosti za povabilo k dialogu; Ajjawi in Boud, 2018). Pogoji in vodila za uspešno uvajanje formativnega ocenjevanja Pri načrtovanju formativnega ocenjevanja znanja študentov sva na osnovi dosedanjega pregleda literature oblikovali nekatera načela in vodila. Najprej, pri dajanju učnih nalog in povratne informacije upoštevamo, kakšna so pojmovanja študentov v zvezi s študijskimi zahtevami: kako si razlagajo to, kar nalogaod njihzahteva, in kako pojmujejo učenje, znanje in njihovo vlogo (Gibbs in Simpson, 2004­05; Price idr. 2010). Smiselno je preveriti, kako študenti pojmujejo način diskurza discipline, ki jo študirajo, kar je lahko del začetnega ugotavljanja predznanja in določanja ciljev predmetaterpostavljanja kriterijev zapresojodoseganja teh ciljev. Če to naredimo skupaj s študenti, jih že postopno uvajamo v način razmišljanja v stroki in jim pokažemo, kakšni so kriteriji kakovosti. Drugič, izbrane naloge, ki jih vključimo v formativno ocenjevanje, naj bodo povezane s pomembni cilji predmeta (Black in Wiliam, 2009; Carless, 2015). Ko se torej študenti ukvarjajo z določeno nalogo, so njihove dejavnosti smiselno povezane s cilji predmeta in ne s čim drugim. Povratna informacija naj se veže nadejavnost, nakatero študentilahko vplivajo in ne na neke njihove inherentne, nespremenljive lastnosti. Uveljavljanje formativnega ocenjevanja Tretjič, pri podajanju povratne informacije je potrebno pretehtati razmerje med splošnim in specifičnim (Nicol in Macfarlane-Dick, 2006; Price idr., 2010).Povratna informacija najbo dovolj konkretna, da jo študenti razumejo v kontekstu naloge in dovolj splošna, da je prenosljiva v nadaljnje, sorodne problemske situacije. Pomembno je, da študenti razumejo, kaj sporoča povratna informacija, in obenem ni preveč direktivna, dane ovira samouravnavanja študentov in prevzemanja odgovornosti za učenje. Četrtič, pri zagotavljanju kakovostnega formativnega ocenjevanja ima pomembno vlogočasovnividik. Študentinaj imajo dovolj časa, da se ukvarjajo z nalogo, ki bo ocenjena, povratna informacija o njihovi nalogi pa je pravočasna, kadar je zastavljena tako, da imajo študenti možnost odzvati se nanjo in jo upoštevati pri nadaljnjih nalogah. Podana naj bo v času, ko je še relevantna za študente in se lahko z njo še ukvarjajo ter jo uporabijo v nadaljnjem študiju pri tem predmetu ali v nadaljnjih študijskih in poklicnih situacijah.Študenti potrebujejo ponavljajočo izkušnjo v interpretaciji, pregledovanju in delovanju na osnovi prejete povratne informacije (Carless in Boud, 2018), za kar je potrebno dolgotrajnejše spremljanje študijskega procesa. Petič, povratno informacijo oblikujemo v dialogu (Ajjawi in Boud, 2018; Nicol, 2010). Skozi dialog se lahko poveča pripravljenost študentovza sprejemanje povratne informacije inukvarjanje z njo.Vdialoškemnačinu oblikovanja povratne informacije se poleg večje zmožnosti študentov za presojo kakovosti ustvarja tudi prostor za upoštevanje čustveno­motivacijskih značilnosti. Sklepne misli V tem prispevku sva želeliizpostavitipomenuveljavljanja formativnega ocenjevanja za doseganje bistvenih ciljev visokošolskega izobraževanja, kot sta obvladovanje določenega predmetnega področja inkasnejše avtonomno ter odgovorno delovanje v stroki. Načelno strinjanje glede tega pomena ocenjevanja je doseženo, a veliko težje ga je uvesti v prakso. Teza, da moramo spremeniti ocenjevanje, če želimo spremeniti – izboljšati učenje, ni nova (Boud, 1995; Gibbs in Simpson, 2004-05; Marentič Požarnik in Peklaj, 2002), a spreminjanje kakovosti ocenjevanja ni tako enostavno, še posebno ne v pogojih, ko imajo tako pomembno vlogo kvantitativni pokazatelji učinkovitosti študentov inštudijskih programov (povprečne ocene, podatki o številu vpisanih študentov innjihoviprehodnosti, itd.).Shepard (2000, citirano v: Yorke, 2003) je že na začetku 21. stoletja opozarjal, da so se pristopi k spodbujanju učenjazačeli spreminjati v skladus konstruktivistično paradigmo učenja, pristopi v ocenjevanju pa ostajajo neustrezno osredotočeni na testiranje. Če želimo uvesti formativnoocenjevanje, gamoramo uskladiti s celotnim študijskim procesom in zahtevami sumativnega ocenjevanja. Zaključiva lahko z mislijo Yorka (2003, str. 485), da bi bile v idealnem svetu izmenjave med učiteljem in študentom vzajemno hermenevtične – »oba bi skušala interpretirati in razumeti komunikacijo drugega s ciljem, da študent postane bolj usposobljen za soočanje z raznolikimi novimi izzivi«. Opomba Prispevek je nastal v okviru raziskovalnega programa št. P5-0174: »Pedagoško-andragoške raziskave – Učenje in izobraževanje za kakovostno življenje v skupnosti«, ki ga financiraJavnaagencija zaraziskovalno dejavnost Republike Slovenije iz državnega proračuna. Literatura Ajjawi, R. in Boud, D. (2018). Examining the nature and effects of feedback dialogue. Assessment & Evaluation in Higher Education, 43(7), 1106–1119. Bečaj, J. (2000). Je bolje ocenjevati ali preverjati? Socialnopsihološke dimenzije ocenjevanja in preverjanja [Is it better to assess or examine? Socio-psychological dimensions of assessment and examination]. Vzgoja in izobraževanje, 31(2–3), 10–19. Bečaj,J. (2009). Cilji so vedno voblakih, pot pa je mogočale v resničnosti [The goals arealways inthe clouds, but the path is only possible in reality]. Vzgoja in izobraževanje, 40(jubilejna št.), 27–40. Bennett, R.E. (2011). Formative assessment: A criticalreview. Assessment in Education: Principles, Policy & Practice, 18(1), 5–25. Biggs, J. in Tang, C. (2007). Teaching for Quality Learning at University (3.izd.). Maidenhead, Združeno kraljestvo: Open University Press. Black, P. in Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation & Accountability, 21(1), 5–31. Black,P. inWiliam,D. (2012). Assessment for learning inthe classroom. V J. Gardner (ur.), Assessment and Learning (2. izd., str. 11–32). London, Združeno kraljestvo: Sage. Bloxham, S. in Boyd, P. (2007). Developing effective assessment in higher education. Maidenhead, Združeno kraljestvo: Open University Press. Boud, D. (1995). Assessment and learning: Contradictory or complementary? V P. Knight (ur.), Assessment for learning in higher education (str. 35–48). London, Združeno kraljestvo: Kogan Page. Boud, D. (2000). Sustainable assessment: Rethinking assessment for the learning society.Studies in Continuing Education, 22(2), 151–167. Boud, D.in Soler,R. (2016). Sustainable assessment revisited. Assessment & Evaluation in Higher Education, 41(3), 400–413. Brown, G., Bull, J. in Pendlebury, M. (1997). Assessing student learning in higher education. London, Združeno kraljestvo:Routledge. Brown, S. (2004-05). Assessment for learning. Learning and Teaching in Higher Education, 1(1), 81–89. Carless, D. (2015). Exploring learning-oriented assessment processes. Higher Education, 69, 963–976. Carless, D. in Boud, D. (2018). The development of student feedback literacy: Enabling uptake of feedback. Assessment & Evaluation in Higher Education, 43(8), 1315–1325. B. Šteh in M. Šarić Duncan, N. (2007). ‘Feed-forward’: Improving students’ use of tutors’ comments. Assessment & Evaluation in Higher Education, 32(3), 271–283. Earl, L. (2003). Assessment as learning: Using classroom assessment to maxime student learning. Thousand Oaks, CA, ZDA: Corwin Press. Gibbs, G. in Simpson, C. (2004-05). Conditions under which assessment supports students’ learning. Learning and Teaching in Higher Education, 1(1), 3–31. Hattie, J. A. C. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achivement. New York, NY, ZDA: Routledge. Holcar Brunauer, A, Bizjak, C., Borstner, M., Cotič Pajntar, J., Eržen, V., Kerin, M., Komljanc, N., Kregar, S., Margan, U., Novak, L., Rutar Ilc, Z., Zajc S. in Zore, N. (2016). Formativno spremljanje v podporo učenju: Priročnik za učitelje in strokovne delavce [Formative assessment to support learning: A manual for teachers and professional workers]. Ljubljana, Slovenija: Zavod Republike Slovenije za šolstvo. Marentič Požarnik, B.(1988). Dejavniki in metode uspešnega učenja [Factors and methods of successful learning]. Ljubljana, Slovenija: Filozofska fakulteta Univereze Edvarda Kardelja v Ljubljani, Oddelek za pedagogiko. Marentič Požarnik, B.(2004).Kako bolje uravnavatimogočen vpliv preverjanja inocenjevanja[How toBetter Regulate the PowerfulInfluenceof Examination and Assessment]. Sodobna pedagogika, 55/121(1), 8–22. Marentič Požarnik, B. in Peklaj, C. (2002). Preverjanje in ocenjevanje za uspešnejši študij [Assessment for successful study process]. Ljubljana, Slovenija:Center za pedagoško izobraževanje Filozofske fakultete. Nicol, D. (2010). From monologue to dialogue: Improving written feedback processes in mass higher education. Assessment & Evaluation in Higher Education, 35(5), 501–517. Nicol, D. J. in Macfarlane-Dick, M. (2006). Formative assessment and self-regulated learning: A model and seven principles of good feedback practice. Studies in Higher Education, 31(2), 199–218. Pereira, D., Flores, M. A., Veiga Simao, A. M. in Barros, A. (2016). Effectiveness and relevance offeedback inHigher Education: A study ofundergraduate students. Studies in Educational Evaluation, 49, 7–14. Poulos, A. in Mahony, M. J. (2008). Effectiveness offeedback: The students’ perspective. Assessment & Evaluation in Higher Education, 33(2), 143–154. Price, M., Handley, K., Millar, J. in O’Donovan, B. (2010). Feedback: All that effort, but what is the effect? Assessment & Evaluation in Higher Education, 35(3), 277–289. Razdevšek-Pučko,C. (1992). Preverjanje znanjakot povezava med poučevanjem in učenjem [Formative assessment as link between teaching and learning]. Sodobna pedagogika, 43(5–6), 235–243. Razdevšek Pučko,C. (1994). Nova doktrina preverjanja znanja kot odgovor na spremembe v šoli [A new paradigm of examining knowledge in response to changes in school]. Sodobna pedagogika, 45/111(3–4), 132–139. Razdevšek Pučko, C. (2004). Formativno preverjanje znanja in vloga povratne informacije [Formative knowledge assessment and the role of feedback]. Sodobna pedagogika, 55/121(1), 126–139. Rutar Ilc, Z. (2014). Spremljanje in preverjanje, ki podpirata kakovostno učenje [Evaluation and assessment that support quality learning]. Vzgoja in izobraževanje, 45(5– 6), 3–4. Šteh, B. (2012). Stari – novi izzivi preverjanja in ocenjevanja znanja [Old – new challenges of knowledge assessment].V B. Šteh (ur.), Preverjanje in ocenjevanje znanja ter vrednotenje dosežkov v vzgoji in izobraževanju [Assessment of knowledge and evaluation of achievements in education] (str. 20–27). Pridobljeno s https://www.dlib. si/details/URN:NBN:SI:DOC-BQQGLESO Šteh, B. in Šarić, M. (2016). Ocenjevanje v visokem šolstvu: Ovira ali spodbuda za kakovosten študij [Assessment in higher education: An obstacle or an encouragement for quaility study]. V K.Aškerc (ur.), Izboljševanje kakovosti poučevanja in učenja v visokošolskem izobraževanju [Improving the quality of teaching and learning in higher education] (str. 64–69). Ljubljana, Slovenija: Center RS za mobilnost in evropske programe izobraževanja in usposabljanja. Weaver, M. R. (2006). Do students value feedback? Student perceptions of tutors’ written responses. Assessment & Evaluation in Higher Education, 31(3), 379–394. Wiliam, D. (2013). Vloga formativnega vrednotenja v učinkovitih učnih okoljih [The role of formative assessment in effective learning environments]. V H. Dumont, D. Istance in F. Benavides (ur.), O naravi učenja: Uporaba raziskav za navdih prakse [The nature of learning: Using research to inspire practice] (str. 123– 145). Ljubljana, Slovenija: Zavod Republike Slovenije za šolstvo. Winstone, N. E., Nash, R. A., Rowntree, J. in Parker, M. (2017). ‘It’d be useful, but I wouldn’t use it’: Barriers to university students’ feedback seeking and recipience. Studies in Higher Education, 42(1), 2026–2041. Xu, Y.in Harfitt,G. (2018). Isassessment for learning feasible in large classes? Challenges and coping strategies from three case studies. Asia-Pacific Journal of Teacher Education, 47(5), 472–486. Yorke, M. (2003). Formative assessment in higher education: Moves towards theory and the enhacement of pedagogic practice. Higher Education, 45(4), 477–501. Yorke, M. (2009). Grading student achievement in higher education. V M. Tight, K. H. Mok, J. Huisman in C. C. Morphew (ur.), The Routledge international handbook of higher education (str. 211–223). New York, NY, ZDA: Routledge. Prispelo/Received: 29. 3. 2019 Sprejeto/Accepted: 8. 10. 2019