miV KOGNmVNČ PS1HQU>6UI WASPREMEM60..> _ 127 VPLIV KOGNITIVNE PSIHOLOGIJE NA SPREMEMBO PARADIGME PREVERJANJA IN OCENJEVANJA ZNANJA Cveta Razdevšek-Pučko KLJUČNE BESEDE: kognitivna psihologija, preverjanje in ocenjevanje znanja, refleksija, povratna informacija, samoocenjevanje KEY WORDS: cognitive psychology, assessment, reflection, feedback, self-evaluation POVZETEK V prispevku je kognitivna psihologija obravnavana kot metodološka paradigma, ki svojo pozornost namenja predvsem procesiranju informacij - v kontekstu učenja in poučevanja torej vse tiste usmeritve, ki v razpravah o učenju in znanju poudarjajo predvsem procese, ki potekajo "v učenčevi glavi". V takem okviru vključuje preverjanje in ocenjevanje vse tiste postopke, ki ugotavljajo, upoštevajo in vrednotijo ne le merljive (objektivne) rezultate, ampak tudi procese in njihovo kvaliteto. Predstavljen je vpliv kognitivne psihologije na pojmovanje znanja in pojmovanje vloge, ki jo ima preverjanje in ocenjevanje v procesu učenja, 128 ~ fSIHOlOŽKAOaZOlUA-HOlaZONS Of PSYCHOLOGY 97/4 nadalje vpliv na izbor vsebin in načinov preverjanja, na izbor načinov ocenjevanja, prevsem pa na oblikovanje povratne informacije, na spodbujanje refleksije učencev o lastnih dosežkih ter sploh na vključevanje učencev v vse etape pereverjanja in ocenjevanja. ABSTRAa Cognitive psychology is represented as a methodological paradigm and as an information processing approach. Within this framework learning processes are seen from the view of internal processes of knowledge construction; instruction as an intervention (facilitation) in these processes and assessment as a range of diverse activities, which are integrated with learning and instruction to be able to identify, recognize and facilitate changes within the inner processes. Cognitive conceptions of learning require a new assessment methodology with a focus on procedures that show what the pupil understands, how he/she constructs the knowledge structure and will at the same time facilitate the processes of learning itself. From such a view cognitive approach has an important impact on the conceptions of learning, on the role of assessment and the repertoire of assessment procedures, on using and creating feedback and especially on stimulating reflection and self-evaluation within the assessment processes. UVOD - OPREDELITEV POJMOV Kognitivno psihologijo razumem kot metodološko paradigmo, ki svojo pozornost namenja predvsem procesiranju informacij - v kontekstu učenja in poučevanja torej vse tiste usmeritve, ki v razpravah o učenju in znanju poudarjajo predvsem procese, ki potekajo "v učenčevi glavi". V takem okviru pojmujem poučevanje kot postopke, ki te procese (procesiranje informacij) sprožijo in vzdržujejo, preverjanje in ocenjevanje pa kot postopke, ki ugotavljajo, upoštevajo in vrednotijo ne le merljive (objektivne) rezultate, ampak tudi procese in njihovo kvaliteto. V»iVK06NtnVNePS1H0lj06USKA SPREMEMBO... 129 Preverjanje in ocenjevanje znanja torej obravnavam kot postopke ugotavljanja, zbiranja, interpretiranja in uporabe informacij o učenčevih dosežkih (procesi in rezultati) in kot pomembno sestavino šolskega kurikuluma, saj s svojimi značilnostmi vpliva tudi na druge sestavine (Pucko, 1992). Pri tem poudarjam tudi načelo, da različne sestavine kurikuluma (npr. izhodišča v učnih načrtih, oblikovanje ciljev, priporočene metode poučevanja, načini preverjanja znanja) temeljijo na enakih (ali vsaj podobnih) izhodiščih. KOGNmVNA PSIHOLOGUA IN VPUV NA PREVERJANJE IN OCENJEVANJE ZNANJA Kognitivna psihologija kot nova paradigma psihologije (D.Dellarosa govori celo o kognitivni revoluciji, v: R.J.Sternberg in E.E.Smith, ed., 1990, stran 11) je imela (ima) pomemben vpliv tako na preverjanje in ocenjevanje znanja kakor tudi na druge sestavine kurikuluma. Najprej gre za teorije učenja, ki za razliko od behaviorističnega pojmovanja (učenje je linerano, sekvenčno in dekontekstualno, pomembni so rezultati) pojmujejo učenje kot kompleksen proces: učenje je proces nastajanja sprememb v potencialih za nove oblike vedenja, je proces predelave informacij, znanje ne nastaja s snemanjem, ampak z aktivno (re)konstrukcijo obstoječih spoznanj. Kognitivne teorije učenja poudarjajo vpogled, razumevanje, ukvarjajo se s strukturo spomina in procesiranjem informacij, iščejo vzporednice z delovanjem računalnika, poudarjajo pomen povratne informacije in poznavanja rezultatov. Pomemben je tudi vpliv kognitivnih teorij motivacije. Že Maslow med potrebami omenja tudi kognitivne potrebe (želja po znanju, razumevanju, potreba po sistemizaciji in organizaciji podatkov). Gre tudi za vpliv kognitivnih procesov na motivacijo: vpliv zavedanja, percepcije in interpretacije informacij na prihodnje ravnanje, na razlago uspehov ali neuspehov ter na pričakovanje nadaljnjih dogodkov. Tudi sicer so poudarjanje, npr. inerpretacije informacij, pripisovanje uspešnosti ali neupešnsti ter oblikovanje pričakovanj pomembni pojmi, ki jih uporablja kognitivna psihologija, ko govori o motivacji za učenje. 130 PSIHOLOŠKA OgZOltiA^HOWZONS Of PSYCHOLOGY 97/4^ V pedagoško-psihološki teoriji so ta spoznanja vplivala na oblikovanje in uveljavljanje drugačnih oblik poučevanja, na oblikovanje taksonomije učnih ciljev, na ukvarjanje s hiearhijo procesov v različnih oblikah učenja, s pogoji učenja ter z analizo učnih dosežkov . Na področju preverjanja in ocenjevanja znanja se (tudi) pod vplivm kognitivne psihologije govori o paradigmatskem zlomu in potrebi po novi paradigmi (Pucko, 1994). Caroline Gipps v svoji knjigi Beyond Testing (Gipps, 1994a) opredeljuje to potrebo kot premik od kulture testiranja in spraševanja h kulturi preverjanja in vrednotenja v vseh različnih oblikah. Omenja tudi potrebo po novem načinu razmišljanja o preverjanju, potrebo po novi teoriji. Na drugi strani oceana pa se Mary Henning-Stout (M.Henning-Stout, 1994) v knjigi z naslovom Responsive Assessment zavzema za uveljavitev drugačnih oblik preverjanja in ocenjevanja, ki bi na eni strani povečale udeležbo učencev (in učiteljev) v tem procesu in tako "vrnile učenje učencem" (stran 49), na drugi strani pa omogočile zbiranje in upoštevanje vseh relevantnih informacij o otrokovem znanju v običajnem, avtentičnem okolju (v socialnem kontekstu) ter tako izpolnile temeljno zahtevo po ustreznem, odgovarjajočem ocenjevanju ("responsive" - odgovarjajoč, dovzeten, poln razumevanja), katerega bistvo je, "pomagati otrokom, da se učijo". V enem od drugih prispevkov Gippsova (1994b) ugotavlja, da je v zadnjem obdobju že prišlo do premika od psihometrične paradigme k pedagoško-psihološkemu (vzgojno-izobraževalnemu) pristopu ("educational assessment"). Tisto, kar po navedbah Gippsove (1994b) razlikuje klasični psihometrični vidik od pedagoškega pristopa, je na eni strani drugačen pogled na učenca in proces učenja (različnost v pristopih in spremenljivost dosežkov), na drugi strani pa drugačen odnos med učencem in ocenjevalcem (učitelj ne more biti neprizadet "zunanji" ocenjevalec). Odmik od psihometrične paradigme pomeni tudi odmik od predpostavke, da je znanje mogoče meriti točno in zanesljivo. "Ocenjevanje ni eksaktna znanost" (Broadfoot, 1994, cit. jo Gipssova, 1994b), to, kar počnemo, ni merjenje, ampak "jemanje vzorcev". VPUV K06HmVNL PSIH0L06UL HA SPI^EMBO... m Kognitivna usmeritev ali kognitivna teoretična podlaga se na področju preverjanja in ocenjevanja znanja kaže na različnih področjih in na različne načine. V nadaljevanju bomo obravnavali nekatera od teh področij: • Pojmovanje znanja. • Izbor vsebin in načinov/oblik preverjanja. • Vloga preverjanja znanja. • Načini ocenjevanja in oblikovanja povratne informacije. • Vključevanje učencev v proces preverjanja in ocenjevanja. POJMOVANJE ZNANJA "Znanje je to, kar moram znati, ko sem vprašan za oceno." je bil odgovor srednješolca v pogovoru o ocenjevanju znanja, ki sem ga imela pred leti s skupino srednješolcev. Učiteljevo pojmovanje znanja ima odločilen vpliv na postopke preverjanja in na kriterije ocenjevanja. Sodobno pojmovanje znanja (Boud, 1995) ne pojmuje kakor nekaj neosebnega, neodvisnega, izven učenca samega, pač pa je znanje učenčev dialog s stvarnostjo (z učiteljem), je osebna in socialna konstrukcija, nastaja na podlagi osebne izkušnje in njene interpretacije. Razumevanje pomeni postavljanje vprašanj o vsebini ter o lastnem razumevanju le-te, kar pomeni, da nam samo refleksija učenca samega omogoča "dostop" do znanja. Broadfootova (1995) npr. opozarja, da je potrebno pri načrtovanju preverjanja in ocenjevanja znanja upoštevati, da je nujen prehod od kurikuluma kot zbirke znanja (podatkov) k razvijanju visoko transfernega znanja, kot je proceduralno in strateško znanje (poznavanje postopkov in strategij). Pomembno je obvladovanje komunikacijskih in organizacijskih spretnosti, poznavanje in obvladovanje raziskovalnih strategij, obvladovanje metakognitivnih spretnosti kot ene temeljnih strategij, ki sestavljajo spretnost "učenje učenja". Tudi povečana količina informacij, ki so na voljo, je vplivala na preusmeritev zanimanja v "spretnosti" procesiranja (organiziranja, povezovanja...) informacij. ^ PSIHOLOŠKA OBZOftJA ~ HOfUZONS OP PSYCH0t06Y 97 / 4 IZBOR VSEBIN, OBUKE IN NAČINI PREVERJANJA Teoretično izhodišče, l HOftgONS OF PSYCHOLOGY 97/4 Drugačne oblike preverjanja imajo tudi možnost, da izboljšajo poučevanje, saj usmerjajo učiteljevo pozornost v to, KAKO se učenci učijo, učitelji postanejo pozorni in se naučijo opazovati in analizirati PROCES učenja, spretnosti učencev, njihova pozornost se preusmeri od rezultatov TUDI na proces učenja. NAČINI OaNJEVANJA IN OBUKOVANJA POVRATNE INFORMACUE Dosežki se opisujejo, poudarek je na kvaliteti individualnega rezultata, kvalitativni opis omogoča razumevanje dosežkov v relaciji do učenčevih zmožnosti, njegovih prešnjih dosežkov in v relaciji do konteksta (opisno in ipsativno ocenjevanje). Kvalitativni opisi niso primerljivi, sicer pa primerjava z drugimi (po mnenju Gippsove, 1994b) v resnici tudi ni potrebna vse do konca obveznega šolanja. Primerjava z drugimi namreč vpliva na slabšanje samopodobe, na težnjo po izogibanju sodelovanja v aktivnostih, kjer uspeh ni zagotovljen, negativno vpliva na razvoj interesov in na storilnostno motivacijo (lotevanje izzivalnih nalog), povzroča tudi uporabo nižjih ali manj učinkovitih miselnih strategij. V času obveznega šolanja je po mnenju Gippsove (1994b, stran 290) potrebno ocenjevanje, ki daje učencem uporabno povratno informacijo v smislu usmerjanja njihovih naporov in primerjave z njihovimi lastnimi prejšnjimi dosežki. Povratna informacija, kakor jo prakticiramo pri opisnem ocenjevanju, izpolnjuje temeljne vloge: učencu pove, do kod je prišel in katere stopnje znanja je že dosegel, spodbudi ga k iskanju pomanjkljivosti ter mu ob tem ponudi možnost in pot za njihovo odpravljanje. Povratna informacija v kognitivnem smislu ni klasična okrepitev, ampak spodbuja učenca k refleksiji in samoocenjevanju. Kot sestavni del formativnega ocenjevanja se pojavlja tudi samovrednotenje kot proces, ki bistveno razlikuje formativno ocenjevanje od sumativnega. Pojavlja se namreč v procesu učenja in ne šele takrat, ko domnevamo, da je proces že zaključen. Samovrednotenje ima vlogo povratne informacije, za katero Sadler (1989, citira ga Klenovvski, 1995) omenja, da je pomembnejši njen učinek kot vsebina. Bistvo učinka je namreč v tem, da pomaga premostiti primanjkljaj oz. odpraviti pomanjkljivosti, kar bi privedlo do VPUV KOGNfflVHČ PSiHOLOeUE NA SPR8Wa<(tftO...___137 željenega rezultata. Če torej povratna informacija sledi takrat, ko je proces učenja že končan (sumativno ocenjevanje), ni mogoče več ničesar popraviti in informacija v bistvu nima več vpliva na učenje samo. Kadar pa je povratna informacija umeščena v sam proces učenja (formativno ocenjevanje), lahko vpliva na izboljšanje. Če je učenec sam tisti, ki ugotavlja pomanjkljivosti in reflektira svoj pristop, je možnost za izboljšanje toliko večja. Klenovvski se sklicuje na Sadlerja (1995, stran 148), ko pravi: "Če naj učenci razvijejo svoje učne strategije, potrebujejo še kaj drugega kot samo sumativne ocene." VKUUČENOST UČENCEV V PROCESE PREVERJANJA IN OCENJEVANJA ZNANJA Med pomembne značilnostmi drugačnega ocenjevanja (Pucko, 1996) in "nove paradigme" ocenjevanja (Pucko, 1994) sodi predvsem večja vključenost učencev v proces ocenjevanja, kar sproži pri učencih procese refleksije in poveča njihovo odgovornost (to naj bi v končni fazi pripeljalo do odgovornih učencev, ki so pripravljeni na vseživljenjsko učenje brez nenehne kontrole in prisile). M.Henning-Stoutova (1994) ob tem poudarja tudi izhodišče, da nobeno vrednotenje ne more biti adekvatno, če tisti, ki ga vrednotimo (učenec), in ostali primarno zainteresirani (steakholders - starši, učitelji), nimajo možnosti sodelovanja in vplivanja (eksterni testi znanja npr. vsega tega ne omogočajo, saj je vse: vsebina, oblika, čas testiranja, določeno od zunaj). Tudi Patricia Broadfoot (1993, cit. jo Klenovvski, 1995, stran 145) omenja kot bistveno značilnost nove paradigme, da postaja glavni cilj UČENJE samo in ne merjenje rezultatov. V tem procesu učenja pa naj bi bili učenci zadolženi (odgovorni) za vse etape, to je za načrtovanje, organizacijo, izvedbo in evalvacijo. To ne pomeni, da učitelj ni več potreben, učiteljeva vloga še neprej ostaja vitalnega pomena, saj mora skrbno omogočati in strukturirati učno okolje, kjer so učenci deležni vodenja in podpore pri učenju ter pomoči pri razvijanju spretnosti za samo-ocenjevanje. Gippsova (1994b) opozarja, da ocenjevanje, ki primerja in kategorizira učenčeve dosežke, ne spodbuja procesa učenja, ampak usmerja pozornost zgolj k rezultatom in njihovim posledicam (učenca ne zanima, kaj se je naučil, ampak le, ali je rezultat pravilen in kako je ocenjen). 138 PStHOLQZKA OftZORJA ~ HOftgOXS Of PSYCHOLOGY 97 / 4 Klenowski (1995, stran 146) ofredeljuje samovrednotenje kot presojanje vrednosti posameznikovih dosežkov, identifikacijo močnih točk (kaj je dobro) in slabosti ter razmišljanje o izboljševanju rezultatov. Pri tem so pomembni relevantni kriteriji in načrtovanje nadaljnjih aktivnosti. Poudarek je na tem, da so učenci sami tisti, ki vrednotijo dosežke, od njih se pričakuje refleksija o procesu učenja (in poučevanja). Samovrednotenje učencev, ki poteka v dialogu z učiteljem, le-temu "odpira vrata" v učenčevo sprejemanje in razmišljanje in razumevanje, učitelju omogoča spoznavanje učenčevih spoznavnih procesov. (Pomembno pri tem je, da je tudi učitelj sposoben refleksije lastnih spoznavnih procesov. Op.C.R.P.) Kot pravi Boud (1995), je mogoče samo z refleksijo in samooceno razumevanja "priti blizu" dejanskim procesom razumevanja, sicer je naša ocena o tem, kako učenci razumejo določene vsebine, odsev našega lastnega razmevanja istih vsebin. Claxton (1995) pa poudarja razliko med samovrednotenjem in samoocenjevanjem. Samovrednotenje pojmuje kot izrazito intuitiven proces. Tisti hip, ko gre za primerjanje lastnih dosežkov z nekimi zunanjimi kriteriji, po njegovem mnenju ne gre več za samovrednotenje, ampak le za samoocenjevanje. V samovrednotenju vidi možnost za razvoj sposobnosti, ki jo imenuje "learning acumen" (izraz bi lahko pogojno prevedli z "učno inteligenco"), ki obsega štiri R {resilience, resourcefulness, reflectivity in responsibility - izraze je težko dobesedno prevesti). Resilience je sposobnost prenašanja kritike in neuspehov, soočenja z neprijetnimi dogodki v procesu učenja, kot so npr. neuspeh, zmedenost, presenečenje, strah, brez občutka ogroženosti, dvoma ali spraševanja o lastnih sposobnosti in lastni vrednosti. Resourcefulness (sposobnost uporabe virov) izvira iz poznavanja in obvladovanja spretnosti in učnih strategij in njihove fleksibilne uporabe v različnih situacijah. Reflectivity (sposobnost refleksije) pomeni v bistvu usmerjanje lastnega učenja; biti dober manager procesov učenja, kar pomeni nadzor procesov, ki potekajo, in njihov napredek; vrednotenje uspešnosti uporabljenih strategij VPUV KOGNmVNE PSIH0L06UE NA SPREMEMBO... 139 ter po potrebi izbiranje drugih; presoja o tem, kdaj smo dosegU potrebno ali zadovoljivo stopnjo uspešnosti ali kdaj je morda potrebno odnehati in se odločiti za drugo pot ali pa sploh na novo opredeliti prioritete. Responsibility (odgovornost) je pripravljenost videti učenje kot aktivnost, ki omogoča doseganje ciljev, ki smo jih sami postavili, in ne kot nekaj, kar nekdo drug od nas zahteva ali celo nekaj, s čimer nas hoče nekdo prizadeti. Uspešnost samovrednotenja presoja skozi vpliv oziroma razvijanje teh sestavin in se sprašuje, če vrednotenje rezultatov učenja v situacijah pretežno eksternih, vnaprej določenih kriterijev sploh lahko vpliva na omenjene sestavine, saj učenci skoraj nimajo možnosti za samostojno presojanje o tem, kaj je "dober dosežek". Zelo redko jim je omogočeno doživljanje zadovoljstva ob opravljenem delu zaradi lastnega občutka uspešnosti, največkrat gre le za primerjanje doseženega z zahtevami. Seveda je potrebno vedeti, kaj se zahteva in pričakuje in biti sposoben to tudi dosegati. Čim bolj jasne so te zahteve, tem več je prostora za intuitivno samovrednotenje, medtem ko je pri nejasnih pričakovanjih posameznik nesproščen in skuša s čimbolj konvencionalnimi načini doseči dober rezultat. Claxtona (prav tam) je zanimalo, kako posamezni postopki v procesu samovrednotenja vplivajo na opisane sestavine. Ugotovil je, da je diskusija v skupini, kjer so učenci drug drugemu dajali povratno informacijo z razlago o tem, zakaj je nek dosežek "dober", pozitivno vplivala na razvoj refleksije. To je razložil predvsem kot posledico zahteve, da so učenci ubesedili karakteristike dobrih rezultatov. Razvijanje sposobnosti dajanja in sprejemanja povratne informacije namreč omogoča razvoj kritičnosti in razlikovanje med komentiranjem rezultatov in kritiko osebe; vse to pa vpliva tudi na razvoj sposobnosti prenašanja neuspehov {resilience). Pomembna je tudi sposobnost razmejitve med informativno in emocionalno funkcijo povratne informacije - biti sposoben kritično presojati svoje delo brez negativnih občutkov o svojih sposobnostih. Tudi izkušnje iz situacije, ko so morali učenci sami presoditi, ali snov že obvladajo ali ne, in so lahko uravnavali proces učenja v smislu izbire med dodatno vajo, pisanjem testa ali prehodom na novo snov, so vplivale na razvoj refleksije in odgovornosti, delno pa tudi na razvoj sposobnosti uporabe in iskanja ustreznih virov {resourcefulness). 140 PSIHOL^KAOBZORJA - horizons of psychology97/4 Spodbujanje učencev k refleksiji pomeni spudbujanje razmišljanja o tem, kaj in kako delaš, kaj si naredil, kako si se ob tem počutil, primerjava s tem, kaj si nameraval narediti in kako v skladu s tem ocenjuješ svoje dosežke. Učenci na tak način spoznavajo razliko med procesom in dosežkom, spoznavajo svoje pristope, svoja močna in šibka področja. Ob tem je pomembno tudi, da učenci osvojijo besednjak, s katerim lahko izražajo svoja razmišljanja, opisujejo svoje pristope, opisujejo proces in rezultat. Refleksija in samoocenjevanje pride do veljave tudi pri vodenju mape učenčecih dosežkov (portfolio). Učenci pri izbiri izdelkov, ki jih bodo vključili v mapo, ustno ali pisno obrazložijo svoj izbor in se na ta način vadijo v ubeseditvi svojih razmišljanj o kvaliteti procesa in dosežkov. Razmišljanje o pomenu refleksije lahko zaključim najprej z mislijo Bettelheima in Zelana (1982, cit. po M.J.Drummond and A.Pollard, 1995), ki zelo preprosto opozarjata na bistveno razsežnost refleksije in samoocenjevanja, da namreč šele s pozornim poslušanjem in upoštevanjem otrokovih idej, vprašanj in interpretacij spoznamo, kaj je zares pomembno vedeti o procesu učenja. Drugo sklepno misel pa povzemam po Sternbergu (1990), ki sicer razmišlja o kognitivnih pristopih k razumevanju inteligentnosti. Če parafraziram njegovo misel (stran 303), je metodološki pristop pravzaprav nebistven, če ne izgubimo izpred oči bistvenega cilja, to je razumeti psihološki fenomen učenja in znanja. CITIRANI IN UPORABUENI VIRI: 1. AIRASIAN, Peter, W. (1994), Classroom Assessmnet, McGraw-Hill 2. BOUD, David (1995), Enhancing Learning through Self Assessment, Kogan Page, London 3. BROADFOOT, Patricia (1995), Editorial, Assessment in Education, 1995, Vol.2(2) 4. CLAXTON, Guy (1995) What Kind of Learning Does Self-assessment Driven Developing a "nose" for quality: comments on Klenowski (1995), Assessment in Education, Vol.2(3), 339-343 VPOV KOGNffiVNe PSIHOlOGUe NA SPREMIMBO... 141 5. DRUMMOND, M.J. and POLIARD, A. (1995) Assessing Children's Learning, David Fulton Publishers, London 6. GIPPS, V. Caroline, (1994a), Beyond Testing: Toward a Theory of Educational Assessment, The Palmer Press, London 1994 7. GIPPS, V. Caroline (1994b), Developments in Educational Assessment: what makes a good testi Assessment in Education, Vol.1 (3), 283-291 8. HARLEN, Wynne, ed. (1994), Enchancing Quality in Assessment, BERA, Paul Chapman Publishing, London 9. HENNING-STOUT, Mary (1994), Responsive Assessment, Jossey-Bass Publishers, San Francisco 10. KLENOWSKI, Val (1995), Student Self-evaluation Processes in Student-centred Teaching and Learning Contexts of Australia and England, Assessment in Education, Vol.2(2), 145-164 11. LITTLE, Angela (1994), Types of Assessment and Interest in Learning: variation in the South of England in the 1980s, Assessment in Education, Vol.1 (2), 201-222 12. RAZDEVŠEK-PUČKO, Cveta (1992), Preverjanje znanja kot povezava med poučevanjem in učenjem. Sodobna pedagogika, 43. letnik (5-6), 235-243 13. RAZDEVŠEK-PUČKO, Cveta (1994), Nova doktrina preverjanja znanja kot odgovor na spremembe v šoli, Sodobna pedagogika, 45. letnik (3-4), 132-139 14. RAZDEVŠEK-PUČKO, Cveta (1996), Drugačne oblike preverjanja in ocenjevanja znanja. Sodobna pedagogika, 47. letnik (9-10), 411-419 15. RAZDEVŠEK-PUČKO, Cveta (1996a), Mapa učenčevih izdelkov kot oblika spremljanja pri opisnem ocenjevanju, Pedagoška obzorja, letnik 11(5-6), 193-204 16. SMITH, Kari (1995), Action Research on the use of Portfolio for Assessing Foreign Language Learners, Paper presented at 20th Annual Conference of ATEE, Oslo 17. STERNBERG, R.J., SMITH, E.E., ed. (1990) The psychology of human thought, Cambridge University Press