KAJ NAM POVEDO MEDNARODNE RAZISKAVE IN NACIONALNO PREVERJANJE ZNANJA? Neja Markelj, Matej Majerič Fakulteta za šport, Univerza v Ljubljani Uvodna misel ali predstavitev problema Kakovost izobraževanja je danes zelo aktualna tema. Razvoj tehnologije in tempo življenja sta prinesla globalne spremembe, ki postavljajo vedno večje zahteve tako od posameznika kot vsake institucije, podjetja. Evrop- ske države se preoblikujemo v družbo, temelječo na znanju, da bi zagoto- vile gospodarsko rast in postale konkurenčne večjim gospodarskim silam (Portal Evropske unije, 2006). Države se temu klicu odzivajo tudi na podro- čju vzgoje in izobraževanja, kjer postavljamo visoke standarde, s pomočjo katerih želimo doseči vrednotenje in prenos znanja čim bolj učinkovito. Zato iščemo učinkovite sisteme zagotavljanja kakovosti izobraževanja in učinkovitost šol s sprejemanjem inovacij ali celo šolskih reform ter se pri- merjamo med seboj po učnih dosežkih učencev. Ugotavljanje kakovosti dela na vzgojno-izobraževalnem področju je potrebno in pomembno za preverjanje uspešnosti pri uresničevanju zasta- vljenih ciljev. Zelo ohlapno bi lahko kakovost šolskega sistema opredelili kot uspešnost izpolnjevanja potreb in pričakovanj udeležencev v procesih vzgoje in izobraževanja, pri čemer gre za razmerje med realnimi in pričako- vanimi dosežki. Tudi javnost ima pravico do vpogleda v kakovost vseh ele- mentov izobraževalnega sistema (Bela knjiga o izobraževanju, 1996). Rav- natelji so v skladu z 49. členom ZOFVI (Ur. l. RS, št. 16/07 – UPB5 in 36/08) odgovorni za zagotavljanje in ugotavljanje kakovosti s samoevalvacijo, pri čemer morajo pripraviti tudi letno poročilo o samoevalvaciji šole. Koncept kakovosti ni enoznačno sprejet ali razumljen, na kar opozarja- jo številni avtorji (npr. Barle, 2007; Brejc in Trunk, 2007). Odvisno je od gle- diščne točke opazovalca (časovne in perspektivne) ter načina vpletenosti v sistem vzgoje in izobraževanja. Na primer, z vidika državnih institucij je ka- kovost razumljena bolj v smislu učinkovitega prenosa znanja (visoki dosež- ki ob nizkem financiranju), na drugi strani pa je z vidika učenca in staršev ŠOLSKO POLJE LETNIK XX (2009) ŠTEVILKA 1/2 str. 55-81 56 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 razumljena kot uspešno doseganje (preseganje) standardov znanja ali pa uspešna priprava na življenje, spet odvisno od interesa in vrednot posame- znika. V večini primerov pa kakovost vzgojno-izobraževalnega sistema ob- sega doseganje standardov znanja; kateri in na kakšni ravni so, je odvisno od posameznih institucij, nacionalnega sistema in usmeritve stroke. Mednarodne raziskave znanja so »za države članice določenih integra- cij skorajda obvezne«, pravi Barle (2007: 37), »in so podlaga za oblikovanje politik na določenem področju«. To pomeni, da razumevanje kakovosti šolskih sistemov prihaja »od zunaj«; še posebej pomembno je, kaj in na kakšen način se v testih znanja preverja ter kako se interpretira rezultate (Štraus, 2004). Vsaka faza takšne raziskave je pomembna, tudi in mogoče celo najbolj način objave rezultatov. Najpogostejša predstavitev rezulta- tov mednarodnih primerjalnih raziskav je lestvica povprečnih dosežkov učencev iz sodelujočih držav, kjer povprečni dosežek učencev ene države primerjamo s povprečnim dosežkom učencev druge države (ranžirna le- stvica). Ta normativna informacija o kakovosti izobraževalnega sistema 1 je samo okvirna informacija posameznemu šolskemu sistemu, ker ne poda analize dejavnikov na dosežene rezultate, vendar pogosto postane v očeh javnosti glavno merilo primerjave med državami. Protner (2004) navaja primer Nemčije, kjer je slaba uvrstitev v ranžir- no lestvico v raziskavi PISA 2001 sprožila ostro polemiko o vzrokih: na eni strani so rezultate pripisali zgodnji diferenciaciji, na drugi pa neživljenjski usmeritvi nemške šole, tretji pa so spet »neuspeh« pripisali ravno preveliki orientaciji na življenje in slabi pedagoški dejavnosti. To kaže na prisotnost subjektivnosti pri interpretaciji rezultatov; ta je torej odvisna od raziskoval- čeve pedagoške paradigme, ki ji sledi, implicitnih teorij, ki jih poseduje, in ne nazadnje lastnega vrednotnega sistema. Nekateri raziskovalci (npr. Kodelja, 2005) opozarjajo, da enostransko obravnavani rezultati vodijo v unifikacijo in globalizacijo kurikulumov, saj se mnoge države s »slabo« uvrstitvijo na ranžirno lestvico začnejo zgledovati po tistih »boljših« in reducirajo »nepotrebne« elemente v lastnih kurikulumih. Pa vendar v tej tekmi ne smemo pozabiti na ključne elemente v tem sistemu – naše otroke. Preverjanje znanja (kaj in kako) je eden izmed po- membnejših elementov celotnega vzgojno-izobraževalnega sistema, ki povratno vpliva na vse predhodne faze v vzgojno-izobraževalnem proce- su. Vsak šolski sistem je bil (in bo) zasnovan na določenih konceptih, ki so odvisni od vpliva stroke, prevladujoče družbene naravnanosti in vrednot ter aktualnih političnih stremljenj. Ti vplivi se odražajo v prav vsaki fazi vzgojno-izobraževalnega procesa. 57 KAJ NAM POVEDO MEDNARODNE RAZISKAVE IN NACIONALNO PREVERJANJE ZNANJA? Vzgoja in izobraževanje sta dva prepletajoča se procesa, ki pomembno sooblikujeta otrokov pogled in odnos do sveta in s tem vplivata na kakovost njegovega življenja. Zato moramo pri (pre)oblikovanju vzgojno-izobraževalne- ga sistema paziti, da imamo pred seboj jasne cilje in vizijo, predvideti moramo posledice svojih odločitev ter biti kritični do globalnih iniciativ in pri prevze- manju praktičnih rešitev drugih držav. Ne praviva, da spremembe niso dobre; sploh ne. Le pozivava, da bodimo kritični, ves čas s celovito vizijo v mislih. Zato je namen tega prispevka opozoriti na previdnost pri uporabi re- zultatov mednarodnih raziskav, ki dajejo zaradi svoje metodologije omeje- ne informacije o kakovosti šolskih sistemov. Prenagljene in nepremišljene reakcije na slabe ali dobre rezultate so lahko »usodne« na področju vzgoje in izobraževanja zaradi vpliva, ki ga ima vzgojno-izobraževalni sistem na šolajoče se generacije in posledično na razvoj naroda. Pomembno je, da rezultate interpretiramo v luči koncepta izobraževalnega sistema, ki smo si ga postavili in kateremu želimo slediti, zato avtorja prispevka poudar- jata pomen kombiniranega evalvacijskega modela ugotavljanja kakovosti, ki temelji na sintezi različnih evalvacijskih pristopov. Ugotavljanje kakovosti vzgojno-izobraževalnega sistema Pristopi ugotavljanja kakovosti vzgojno-izobraževalnega sistema Evalvacija je proces sistematičnega zbiranja in analize informacij o nekem procesu (npr. vzgojno-izobraževalnem), na podlagi katerega presojamo in sprejemamo odločitve o morebitnih spremembah vrednotenega pro- cesa. Če evalvacijski proces izpeljejo udeleženci procesa sami, potem je to notranja evalvacija, če pa jo opravijo zunanji strokovnjaki, pa evalvacijo imenujemo zunanja. Postopek ugotavljanja kakovosti izobraževalnega sistema je pravzaprav evalvacija njegove uspešnosti in učinkovitosti doseganja zastavljenih ciljev. Pristopi, ki jih uporabljamo pri ugotavljanju kakovosti vzgojno-izobraževalne- ga sistema, so lahko zelo različni: razlikujejo se glede na področje preverjanja (npr. izvajanje učnega procesa, vodenje šole), nivo preverjanja (npr. izvajalci programa, šola, šolski sistem), sistematičnost, pogostost, način in tako naprej. Resinovič, Rajkovič in Mahnič (2003) ločujejo modele in pristope ugo- tavljanja kakovosti v dve skupini: (1) pristopi k uspešnosti in učinkovitosti šole in (2) pristopi k stalnemu izboljševanju dela šol. Prva skupina pristo- pov, ki temeljijo na teoretičnih in empiričnih raziskovalnih spoznanjih, ugo- tavlja kakovost dela šole na podlagi standardov in kazalnikov uspešnosti, 58 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 kot so uspešnost učencev, kakovost učiteljev, šolska klima in kultura. Druga skupina pristopov kakovost razume kot dinamičen proces, zato so ti pristo- pi osredotočeni na neprestano izboljševanje posameznih procesov znotraj šole, pogosto na udeležence v učnem procesu. Med temi pristopi je najbolj znana metodologija TQM (Total Quality Management), ki si skozi nenehne izboljšave in njihove evalvacije prizadeva celostno obvladovati in izboljše- vati kakovost šole (Sallis, 1993, v Resinovič, Rajkovič in Mahnič, 2003). Nekateri pristopi evalvacije (predvsem zunanje) so tradicionalni, kot na primer analiza uspeha ob zaključku ocenjevalnih obdobij ali pa šolska inšpekcija, medtem ko se drugi pospešeno razvijajo v zadnjem desetletju, kot na primer zunanje preverjanje znanja, matura in samoevalvacija kako- vosti šole. 2 Večina pristopov, ki je uveljavljenih pri nas, se uvršča v prvo skupino pristopov po Resinoviču, Rajkoviču in Mahniču (2003), nekatere šole pa v samoevalvaciji uveljavljajo tudi drugi način razmišljanja. V našem šolskem sistemu poznamo: – proces samoevalvacije, ki ga izvaja učitelj ali strokovni aktiv za vre- dnotenje svojega lastnega pedagoškega dela; – samoevalvacija na ravni šole kot institucije, v katero so vključeni vsi zaposleni, lahko pa tudi učenci; – notranjo evalvacijo vzgojno-izobraževalne institucije, kjer je evalvator vključen v dejavnosti šole (npr. kot učitelj ali učenec); – zunanjo evalvacijo, kjer evalvator ni direktno vključen v dejavnosti šole, hkrati pa je odgovoren šolskim oblastem; – evalvacijo vzgojno-izobraževalnega sistema na nacionalni ravni, za katero je pristojen Svet za evalvacijo vzgoje in izobraževanja; – evalvacijo vzgojno-izobraževalnega sistema na mednarodni ravni, ki jo zagotavljamo z vključevanjem v mednarodne raziskave znanja. Zunanja evalvacija je orodje centralizirane nacionalne spremljave in za- gotavljanja kakovostnega izobraževanja in enakomernega doseganja stan- dardov znanja ter učinkovite izrabe sredstev. Prek primerjalnih podatkov zunanja evalvacija šolam nudi povratno informacijo in podporo za lažje doseganje ciljev (MacBeth, 2000, v Maes, 2005). Evalvacija vzgojno-izobraževalnih sistemov je pri nas pravno urejena s Pravilnikom o posodabljanju vzgojno-izobraževalnega dela (Ur. l. RS 13/2003) in dodatno z Izhodišči za evalvacijo kurikularne prenove vzgoje in izobraže- vanja v Republiki Sloveniji (1999), vodi pa jo Svet za evalvacijo pri Ministrstvu 59 KAJ NAM POVEDO MEDNARODNE RAZISKAVE IN NACIONALNO PREVERJANJE ZNANJA? za šolstvo in šport ob podpori Zavoda RS za šolstvo (programi splošnega izo- braževanja), Centra RS za poklicno izobraževanje (programi poklicnega izo- braževanja) in Andragoškega centra RS (programi za izobraževanje odraslih). Evalvacija vzgojno-izobraževalnih programov se izvaja z naročenimi (prek Pedagoškega inštituta) ali v postopku javnega razpisa izbranimi eval- vacijskimi študijami (od leta 2000). Poleg evalvacijskih študij na nacionalni ravni poteka ugotavljanje in spremljanje kakovosti šolskega sistema še prek sodelovanja v mednarodnih raziskavah znanja TIMSS, PRILS in PISA. V zadnjih letih se pri nas vedno bolj spodbuja vzgojne-izobraževalne zavode k prevzemanju odgovornosti za kakovost lastnega dela, zato se v skladu s tem razvijajo pristopi samoevalvacije, ustanavljajo evalvacijske skupine na šolah in oblikuje zunanja strokovna podpora. Samoevalvacija se izvaja predvsem na ravni organizacije, prav tako pa jo lahko uporabimo za vrednotenje posameznikovega dela. Samoevalvacija je vrsta notranje evalvacije, ko udeleženci sami oprede- lijo in načrtujejo kriterije uspešnosti ter nato ugotavljajo in vrednotijo uspe- šnost in kakovost izvajanja procesa. Omogoča prepoznavanje prednosti in slabosti v delovanju posameznika ali organizacije, kar je temelj za nadaljnje načrtovanje (osebnega, skupinskega ali organizacijskega) razvoja, na ravni organizacije pa spodbuja tudi sodelovanje med zaposlenimi ter razpravo in usklajevanje pogledov na delovanje organizacije. Proces samoevalvaci- je se začne pred začetkom vrednotenega procesa, zaključi pa se krožno s postavljanjem novih ciljev in strategij, kar zelo dobro prikazuje Demingov krog statistične kontrole kakovosti (1986, v Vrabič s sodelavci, 2005): načr- tovanje, izvedba (implementacija), vrednotenje in ukrepanje. Glede na to bi kot korake samoevalvacije lahko opredelili naslednje: (1) opredelitev vizije in ciljev ter strategije doseganja le-teh, (2) določitev parametrov (podatkov, spremenljivk), ki jih bomo spremljali, (3) postavitev kriterijev uspešnosti glede na zastavljene cilje, (4) spremljanje, (5) analiza podatkov in razlik z želenim stanjem, razprava in iskanje vzrokov, (6) oblikovanje ukrepov za izpopolnitev procesa ter (7) priprava samoevalvacijskega poročila. Vrednotenje lastnega dela je prisotno pri vsakem posamezniku, ki skrbi za lasten strokovni razvoj, še posebej pogosto je to pri učiteljih, ki morajo sproti spremljati napredek učencev in vsaj pred začetkom šolskega leta opra- viti analizo stanja, na podlagi katere oblikujejo letni delovni načrt. Na drugi strani pa pristop samoevalvacije postaja z večanjem avtonomije in prevze- manjem odgovornosti za kakovost vedno pomembnejši tudi v šolah samih, ki postajajo pobudnice lastnega razvoja (van Lakerveld, Bauer in Williams, 2005). To pomeni, da šole same izbirajo način doseganja pričakovanj, posta- 60 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 vljenih s strani nacionalnega telesa in uporabnikov storitev, zato tudi same načrtujejo šolski proces in strukturno organizacijo, izbirajo poti delovanja in implementirajo različne politike, od vzgojnih do kadrovskih. Pogosto se po- vezujejo z drugimi podobnimi institucijami v t. i. mrežo šol ali partnerstva v nacionalnem in mednarodnem prostoru ter se vključujejo v različne razvojne projekte, na primer projekti Ogledalo, Mreža učečih se šol, Modro oko ipd. Težiti je treba k integraciji različnih evalvacijskih pristopov Opaziti je, da vzporedno potekata dva nasprotna procesa: decentralizacija in centralizacija. Z decentralizacijo se povečuje avtonomija šol, z njo pa tudi od- govornost za kakovostno izvajanje izobraževalnega procesa. To lahko opazimo tudi v povečanju števila različnih metod za aktivnejšo udeležbo šol v evalvaciji in samoevalvacijo. Na drugi strani pa poteka manj opazen proces centralizacije – gre namreč za evropski klic po razvoju gospodarsko močne in konkurenčne države, ki temelji na znanju državljanov, o čemer smo že govorili. Dokler bodo šole financirane od države, se bodo morale prilagajati tudi nacionalnim šol- skim politikam, ki pa so pod pritiskom evropske iniciative. To se kaže v vedno številčnejši participaciji držav v mednarodnih primerjavah znanja. Maes (2005: 18) piše, da je »uspešna združitev notranje in zunanje evalva- cije cilj, ki ga želi doseči večina evropskih sistemov«. Brejc in Trunk (2007: 44) povežeta namen notranje evalvacije z »izboljšanjem kakovosti učenja in pou- čevanja ter okrepitvijo šole, da samoevalvacijo vseh pomembnejših dejavno- sti sistematično (načrtno in periodično) izvaja«, namen zunanje evalvacije pa s »spodbudo k izvajanju samoevalvacije in 'prisile' k javnemu poročanju šole o rezultatih delovanja – posredovanje transparentnih informacij udeležen- cem izobraževanja«. Samoevalvacija poglobi spoznanja zunanje evalvacije, izboljša interpretacijo zunanjih ugotovitev in vpliva na uporabo rezultatov zunanje evalvacije (Nevo, 2001; po Brejc in Trunk, 2007). Pomen vseh pristopov k ugotavljanju kakovosti izobraževalnega sis- tema lahko prikažemo na naslednjem primeru, ki vleče vzporednice med podobo izobraževalnega sistema in samopodobo posameznika. Namreč, kakor gradimo lastno samopodobo prek (povratnih) informacij, tako gradi- mo (samo)podobo (tj. vrednotimo) izobraževalnega sistema prek evalvaci- je. Kakor ima naša lastna samopodoba področje, ki je znano le nam samim, področje, ki je dostopno tudi drugim, in področje, katerega vidijo drugi, mi se ga pa ne zavedamo, enako velja za izobraževalni sistem. Prek nacionalne- ga preverjanja znanja (oz. tudi notranje evalvacije na ravni šole) dobimo do- datno informacijo, ki gradi tisti del (samo)podobe izobraževalnega sistema 61 KAJ NAM POVEDO MEDNARODNE RAZISKAVE IN NACIONALNO PREVERJANJE ZNANJA? (oz. posamezne šole), ki je dostopen le nam, medtem ko prek zunanje eval- vacije (tj. mednarodnih primerjav znanja na ravni izobraževalnega sistema oz. nacionalnega preverjanja znanja na ravni šole) dobimo tiste dodatne informacije, ki se jih le delno ali pa sploh ne zavedamo. Maes (2005) razume sisteme evalvacije kot konstrukt, sestavljen iz treh dimenzij: notranja/zunanja dimenzija (kontinuum od samoevalvaci- je do zunanje evalvacije), dimenzija pritisk/podpora (objektivni kazalci in subjektivni občutki udeležencev o stopnji podpore oz. pritiska) in di- menzija neodvisnost/podrejenost višji oblasti (kako institucije dojemajo in implementirajo spremembe – »od zgoraj« ali »od spodaj«). Pri tem Maes poudarja, da je treba najti ravnovesje na vseh treh dimenzijah, da bi bila učinkovitost šol in izvajalcev pedagoškega procesa največja. V skladu s predstavljenimi idejami lahko nacionalno preverjanje zna- nja razumemo kot notranjo evalvacijo slovenskega izobraževalnega siste- ma, mednarodne raziskave znanja pa kot zunanjo evalvacijo. Predstavitev nekaterih projektov o ugotavljanju in zagotavljanju kakovosti v vzgojno-izobraževalnih zavodih Projekt Mreža učečih se šol je nastal pod okriljem Šole za ravnatelje in se posveča predvsem izobraževanju učiteljev in njihovemu strokovnemu po- vezovanju (po Koren in Sardoč, 2007): usmerjajo jih v razmišljanje o poslan- stvu šole in s tem k sodelovalnemu vodenju ter vrednotenju in izboljševanju dejavnosti na šoli, s čimer vplivajo na organizacijsko kulturo šole. Pod okriljem Pedagoške fakultete in Filozofske fakultete Univerze v Lju- bljani je bil v šolskem letu 2000/2001 izveden raziskovalni projekt Pojmova- nje kakovosti v vzgoji in izobraževanju in možni dejavniki kakovosti v vrtcih, osnovnih in srednjih šolah (Center za študij edukacijskih politik, 2009), kate- rega namen je bil ugotoviti teoretične koncepte ugotavljanja in zagotavljanja kakovosti, ovrednotiti posamezne dejavnike za različne ravni izobraževalne- ga sistema ter jih empirično verificirati. V njegovem okviru sta se izvajala dva podprojekta, in sicer projekt Ugotavljanje in zagotavljanje kakovosti v vzgoji in izobraževanju ter projekt Modro oko: spoznaj, analiziraj, izboljšaj. Raziskovalci v okviru projekta Modro oko (2001) so razvijali model in instrumente za ugotavljanje in zagotavljanje kakovosti v obliki samoevalva- cije na ravni šol, oddelkov in posameznih udeležencev pedagoškega pro- cesa, in sicer za šest področij: doseganje ciljev kurikuluma, pouk, učenec, učitelj, šola in starši ter vodenje. Menijo, da so elementi za oceno celotnega 62 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 sistema za Slovenijo na voljo v mednarodnih primerjavah, zunanjem oce- njevanju, uspehih na tekmovanjih, raziskavah o mladi populaciji ipd. Štraus (2005c) piše, da se kakovost izobraževalnega procesa izraža tudi v razliki med izvedbenim in doseženim kurikulumom, zato je Peda- goški inštitut v letih od 2002 do 2004 opravil evalvacijsko študijo Spremlja- nje in primerjava ključnih elementov, ki določajo učinkovitost in kakovost naravoslovnega in matematičnega izobraževanja na različnih ravneh, s katero je ugotavljal vpliv povezave med pričakovanji učiteljev in izkazani- mi dosežki učencev na kakovost izobraževanja. Na podlagi raziskovalnega projekta Kakovost v vzgoji in izobraževanju – samoevalvacija (2002–2004) je bila leta 2003 na nacionalni ravni ustano- vljena Komisija za ugotavljanje in zagotavljanje kakovosti v vrtcih, osnovnih in srednjih šolah ter organizacijah za izobraževanje odraslih, katere namen je »prek različnih oblik sodelovanja s šolami in z drugimi institucijami bolje spoznati primere dobre prakse razvoja in spremljanja kakovosti iz domačih logov in iz tujine ter jih koordinirano spodbujati v našem šolskem sistemu« (Tratnik, 2005: 1). Prav tako so pripravili priročnike za vzgojno-izobraževalne zavode (osnovne šole, gimnazije ter srednje poklicne in strokovne šole) in vprašalnike za samoevalvacijo, v katerih so zajeli šest področij: učni dosežki in učinki, pouk, učenci, učitelji, šola in okolje ter upravljanje in vodenje. Pod okriljem Slovenskega instituta za kakovost in meroslovje se od šol- skega leta 2005/2006 izvaja projekt Kakovost za prihodnost vzgoje in izo- braževanja (SIQ, 2009), v katerem udeleženi vzgojno-izobraževalni zavodi skupaj s projektno skupino sooblikujejo, preizkušajo in dopolnjujejo mo- del ter osnovne zahteve za pridobitev certifikata Kakovost za prihodnost. Cilji projekta so: uvedba sistematičnega in celovitega pristopa k vodenju kakovosti v vseh sodelujočih zavodih, zmožnost izkazovanja permanentne rasti kazalcev kakovosti v zavodih, nosilcih certifikata, v obdobju naslednjih pet let, doseganje prepoznavnosti in sprejetosti pojma »kakovostna« šola oz. vrtec v slovenskem vzgojno-izobraževalnem prostoru ter omogočanje izmenjave izkušenj in dobre prakse med sodelujočimi zavodi. Šola za ravnatelje je v letu 2008 začela tudi s projektom Zasnova in uvedba sistema ugotavljanja in zagotavljanja kakovosti vzgojno-izobra- ževalnih organizacij (2008–2014), s katerim želijo oblikovati koncept in postaviti model usposabljanja strokovnih in vodstvenih delavcev vzgojno- izobraževalnih zavodov za uvajanje modela zunanje evalvacije in samoe- valvacije vzgojno-izobraževalnih zavodov. Podobnih projektov je še veliko, predvsem na ravni povezovanja po- sameznih šol v mreže in sodelovanja v evropskih projektih, kot so na pri- 63 KAJ NAM POVEDO MEDNARODNE RAZISKAVE IN NACIONALNO PREVERJANJE ZNANJA? mer MoFAS (Modernisation of the Vocational Education and Training Fi- nancial-Administration System) (Vrabič idr., 2005), I-Probenet (Comenius 3 mreža) in podobni. Ugotavljanje kakovosti na ravni vzgojno-izobraževalnega sistema Model ugotavljanja in zagotavljanja kakovosti, ki bi ga implementirali na na- cionalni ravni, vključuje načrt in potek vseh postopkov: od načrtovanja, izva- janja, evalvacije in revizije sistema. Imeti mora razvito primerno metodologi- jo in orodja za vrednotenje kazalcev kakovosti na različnih ravneh celotnega sistema in postopke integracije teh podatkov. Kot sem že omenila, ugotavlja- nje in zagotavljanje kakovosti lahko poteka na različnih ravneh (prirejeno po Modro oko, 2001): (1) celoten šolski sistem, (2) vrsta izobraževanja, (3) šola, (4) oddelki na šolah ter (5) učitelji in učenci ter drugo strokovno osebje. Za ugotavljanje in zagotavljanje kakovosti dela na ravni šol, oddelkov in posameznikov v pedagoškem procesu je že precej dobro poskrbljeno v okviru različnih projektov, ki so bili že opisani. Za evalvacijo celotnega izobraževalnega sistema pa še ni razvit neki model, čeprav raziskovalci v okviru projekta Modro oko (2001) menijo, da so elementi za oceno celo- tnega sistema za Slovenijo na voljo v mednarodnih primerjavah, zunanjem ocenjevanju, uspehih na tekmovanjih, raziskavah o mladi populaciji ipd. Vendar to ni dovolj, kajti treba je znati integrirati posamezne informacije, ki jih dobimo iz različnih virov, v neko pregledno in uporabno celoto. Tabela 1: Mehanizmi ugotavljanja in zagotavljanja kakovosti (Vrabič in Mali, 2008) Zakon, pravilniki, izhodi- šča Nacionalni kurikulumi Zaključni izpiti Implementacijski projekti Usposabljanje učiteljev in ravnateljev Spremljanje in evalviranje Akreditacija izvajalcev izobraževana Sodelovanje med šolo in podjetji Šolska inšpekcija Samoevalvacija izvajalcev izobraževanja Povezovanje v mreže Nacionalni indikatorji kakovosti Vrabič in Mali (2008) pojasnjujeta, kako je in naj bi bil slovenski sistem ugo- tavljanja in zagotavljanja kakovosti sestavljen in povezan (Tabela 1). Prek 64 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 zakonskih aktov in nacionalnega kurikuluma načrtujemo vzgojno-izobra- ževalni proces – implementacijski projekti, akreditacija izvajalcev, usposa- bljanje učiteljev in ravnateljev ter sodelovanje šole s podjetji zagotavljajo uspešno izvajanje le-tega. V proces evalvacije so na eni strani vključeni zaključni izpiti, šolska inšpekcija, nacionalni indikatorji kakovosti, proce- si spremljanja in evalviranja, na drugi strani pa samoevalvacija izvajalcev in povezovanje v mreže. Ugotovitve evalvacije vzgojno-izobraževalnega procesa naj ne bi vplivale samo na izboljševanje vzgojno-izobraževalnega procesa, temveč tudi zakonskih aktov, procesov spremljanja in evalvacije, delovanja šolske inšpekcije, samoevalvacije izvajalcev in povezovanja šol v mreže. Pregled značilnosti različnih mednarodnih raziskav in nacionalnega preverjanja znanja Mednarodne raziskave znanja Mednarodne raziskave znanja prav tako postajajo pomembna podpora pri evalvaciji in ocenjevanju kakovosti vzgojno-izobraževalnih sistemov. Pojavile so se zaradi interesa različnih držav po pridobivanju dodatnih informacij o kakovosti svojega izobraževalnega sistema prek primerjave testnih dosežkov učencev iz različnih držav. Slovenija je članica Mednarodne organizacije za raziskovanje dosežkov v izobraževanju IEA [International Association for the Evaluation of Educatio- nal Achievements], ki je izpeljala že več različnih mednarodnih raziskav zna- nja, od katerih je Slovenija sodelovala v Mednarodni raziskavi matematike in naravoslovja TIMSS, Mednarodni raziskavi bralne pismenosti PIRLS, Študiji državljanske vzgoje CIVED, Mednarodni raziskavi uporabe informacijskih in komunikacijskih tehnologij v izobraževanju SITES. Poleg tega je Slovenija sodelovala še v Programu mednarodne primerjave dosežkov učencev PISA, ki je pod okriljem Organizacije za ekonomsko sodelovanje in razvoj OECD [Organisation for Economic Co-operation and Development]. Vključevanje v mednarodne raziskave znanja omogoča predvsem pri- merjavo povprečnih dosežkov učencev iz različnih držav oz. različnih šol- skih sistemov, 3 s čimer naj bi dobili sliko o uspešnosti različnih rešitev pre- nosa znanja na mlajše generacije, torej o uspešnosti posameznega učnega sistema. Z zajemom podatkov na vsakih nekaj let pa lahko spremljamo tudi trende vzgojno-izobraževalnih sistemov in učinke določene spremembe v nekem šolskem sistemu. Na splošno so mednarodne primerjave pomem- ben vir informacij za oblikovanje strategij razvoja izobraževalnega sistema. 65 KAJ NAM POVEDO MEDNARODNE RAZISKAVE IN NACIONALNO PREVERJANJE ZNANJA? Kot pri vsakem znanstvenem raziskovanju se je tudi tu treba najprej dogo- voriti, kaj in kako bomo merili, kar je zaradi različnosti vključenih držav izre- dno težko. Štraus (2004) pravi, da se morajo sodelujoče raziskave najprej dogo- voriti o populaciji, vključeni v raziskavo, o spremenljivkah, ki jih želijo izmeriti (vsebine in področja znanja), ter o vrsti in načinu aplikacije instrumenta. Preizkuse znanja in spremljajoče vprašalnike izpolnjujejo reprezenta- tivni vzorci učencev (metodologija vzorčenja in zajema podatkov je vna- prej dogovorjena). Pripravijo se nacionalne baze podatkov, na podlagi katerih se pripravi še skupna mednarodna baza podatkov, ki je običajno javno dostopna. Osnova primerjav so navadno povprečni dosežki sode- lujočih držav, mnogokrat metodologi na mednarodni ravni pripravijo t. i. ravni znanja za analizo ravni znanja in razpršenosti znotraj države. Raziskave se izvajajo v ciklusih v razmiku nekaj let, kar nam nudi infor- macijo o trendih znanja in drugih dejavnikov v izobraževalnem sistemu. Previdni in natančni moramo biti pri interpretaciji rezultatov ene takšne raziskave, bolje pa je pri interpretaciji kombinirati rezultate več različnih razi- skav, ker nam dajo več informacij in veljavnejšo sliko o realnem stanju. Premi- sliti moramo, kaj pravzaprav meri posamezna raziskava in rezultate skladno s tem interpretirati. Upoštevati moramo lastne referenčne točke, na podlagi katerih interpretiramo rezultate in jih ovrednotimo. Šele na podlagi tega lahko izpeljemo izsledke o močnih in šibkih področjih v dosežkih in ugotavljamo, kaj so vzroki in kaj bi bilo treba storiti za izboljšanje stanja (po Štraus, 2005a). Plomp idr. (2003; po Štraus, 2004) menijo, da se lahko podatke razi- skave IEA 4 uporabi za: (1) opisovanje in primerjanje stanja v izobraževal- nem sistemu s kulturno podobnimi državami, (2) spremljanje kakovosti izobraževanja (op. p. ker se mednarodne raziskave izvajajo v večletnih ci- klih), (3) ugotavljanje dejavnikov v izobraževalnem sistemu, (4) ugotavlja- nje vzrokov izkazanih problemov ter (5) seznanjanje s procesi in učinki različnih pristopov v izobraževanju. Nacionalno preverjanje znanja Nacionalna preverjanja znanja (v nadaljevanju NPZ) predstavljajo evalvacijo vzgojno-izobraževalnega sistema na nacionalni ravni, s katerim preverjamo uspešnost doseganja ciljev in standardov, določenih z učnimi načrti (Nacional- no preverjanje znanja: informacije za učence in starše, 2007). Preverja se torej »le tisto znanje, ki ga predvidevajo učni načrti, in na način, ki ga učenci in učen- ke poznajo iz vsakdanjega šolskega dela« (prav tam, str. 3). Za učence in starše so informacije, dobljene pri NPZ, dobrodošle, saj pokažejo močna in šibka 66 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 področja posameznega učenca ter morebitne pomanjkljivosti, ki jih moramo z nadaljnjim delom odpraviti. 5 Na drugi strani pa so rezultati NPZ pomemben vir informacij o kakovosti dela šolam in tudi sistemu na nacionalni ravni. Vendar pa je treba tu paziti na to, da povprečen rezultat šole pri NPZ ne pomeni nujno kakovosti dela na posamezni šoli, kajti (1) dosežek učen- ca je odvisen tudi od individualnih značilnosti posameznika in okolja, iz katerega izhaja, ter (2) povprečni dosežek šole je odvisen od značilnosti učencev, ki živijo v tem šolskem okolišu. 6 Analiza in primerjava metodoloških značilnosti posameznih raziskav znanja Ko dobimo v roke rezultate neke raziskave, se moramo vedno najprej vprašati, kaj je bil namen raziskave, kaj je bil predmet merjenja, kakšna je njena metodologija in kakšen instrument je bil uporabljen ter ne naza- dnje, kako so rezultati izračunani in interpretirani. Najprej je treba pojasniti razliko med namenom in možnostmi med mednarodnimi raziskavami znanja in nacionalnim preverjanjem znanja. Nacionalno preverjanje znanja je namenjeno predvsem učencu in staršem kot dodatna informacija o učenčevem znanju, hkrati pa daje in- formacije o ravneh znanja učencev nasploh (uspešnost doseganja ciljev in standardov učnih načrtov). Rezultati mednarodnih raziskav na drugi strani pa so podani na ravni celotne populacije ali njenih podskupin, zato dajo informacijo o delovanju izobraževalnega sistema nasploh, hkrati pa omogočajo vpogled v dejavnike uspešnosti v izobraževalnem sistemu. Nacionalno preverjanje znanja lahko bolje upošteva izobraževalni kontekst, saj izhaja iz njega, zato lahko rečemo, da je veljavnost merjenja tu boljša kot pri mednarodnih raziskavah, ki se metodološko ne zmorejo prilagoditi izobraževalnemu kontekstu v vseh državah, zato neposredna uporaba normativnih rezultatov ni primerna. Na drugi strani pa je to edini način, ko dobimo podatke, ki so primerljivi z drugimi državami (Štraus, 2004), in lahko na podlagi različnih izobraževalnih kontekstov pojasnjuje- mo razlike med dosežki učencev znotraj države kot med državami. Predmet merjenja je naslednji pomemben element za razpravo, saj nam pove, v kolikšnem obsegu lahko rezultate različnih raziskav primerja- mo med seboj – na katerih področjih se ujemajo in kje se dopolnjujejo. Nacionalno preverjanje znanja je vezano na slovenske veljavne učne načrte, na cilje in standarde znanja, ki so tam zapisani. Testi nacionalnega preverjanja znanja so oblikovani na podlagi veljavnih učnih načrtov. 67 KAJ NAM POVEDO MEDNARODNE RAZISKAVE IN NACIONALNO PREVERJANJE ZNANJA? Podobno tudi raziskava TIMSS ugotavlja šolsko znanje, vezano na učne načrte, vendar je vsebina merjenja nekakšen presek učnih načrtov sodelujočih raziskav, saj so izbor preverjanih ciljev in vsebin določili na podlagi konsenza predstavnikov sodelujočih držav. TIMSS poleg znanja otrok (vsebinsko in kognitivno področje) meri še spremenljivke, vezane na: (1) organizacijo dela na šoli in stališča ravnate- lja, (2) učitelja (izobrazba, stališča) in njegovo poučevanje ter (3) učenca v razredu (stališča do vseh vsebinsko zajetih področjih, uporaba računal- nika, doživljanje v šoli) ter njegovem zunajšolskem okolju (značilnosti do- mačega okolja in zunajšolske dejavnosti). Na drugi strani raziskava PISA ugotavlja pripravljenost učencev na ži- vljenje, torej meri kompetence, ki niso direktno vezane na učne načrte sodelujočih držav, temveč ugotavlja kompetence, ki so jih strokovnjaki do- ločili kot pomembne. Na izbor pomembnih kompetenc je imela vpliv or- ganizacija OECD, saj raziskava poteka pod njenim okriljem. Vendar prav tako kot TIMSS meri tudi druge spremenljivke, vezane na učenca, starše, šolo (spremljajoči dejavniki). Razlika v predmetu merjenja med raziskavama TIMSS in PISA je v tem, da TIMSS meri tisto, kar je bilo od učencev pričakovano, da so se naučili, medtem ko PISA meri tisto, kar lahko naredijo s tistim, kar naj bi se naučili. Za primerjave je pomembno tudi vedeti, koga smo izmerili (vzorčenje). Nacionalno preverjanje znanja izvajamo na koncu 6. razreda – vključeni so tisti učenci, ki sami želijo sodelovati, ter na koncu 9. razreda, vključeni so vsi učenci. Tako nacionalno preverjanje znanja predstavlja t. i. razredno raziskavo – vezano na razred. Ker so v 9. razredu vključeni v preverjanje vsi učenci, napake vzorčenja pri sklepanju na populacijo odpadejo. Te napake pa so lahko prisotne v mednarodnih raziskavah, v katere niso vključeni vsi učenci, temveč le tisti, ki smo jih na podlagi bolj ali manj ustreznega vzorčenja izbrali. Način vzorčenja je pri teh raziskavah delno že vnaprej določen, da se zagotovi čim večja primerljivost med državami. Vsaka država pa mora zaradi razlik v zunanji strukturi šolskih sistemov (npr. različen čas poklicnega usmerjanja) vzorčiti malo drugače, da se za- gotovi reprezentativnost populacije znotraj države. Na drugi strani je raziskava TIMSS kompromis med kohortno in ra- zredno raziskavo, kajti vključuje približno enako stare otroke, ki imajo za seboj približno enako število let šolanja. Karakteristiki (starost in leta šola- nja) sta zastopani skoraj enakovredno, po čemer se TIMSS loči od drugih raziskav, v katerih prevladuje le ena od njih (po Japelj Pavešič idr., 2005). 68 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 Načeloma so vključeni učenci 4. in 8. razreda. V raziskavi PISA pa so zajeti 15-letniki ne glede na razred oz. letnik, ki ga trenutno obiskujejo. Sestavljanje merskih instrumentov pa predstavlja eno izmed zahtev- nejših del, saj mora upoštevati tako vsebino, ki jo želimo meriti (veljav- nost), zadostiti zahtevam drugih merskih značilnosti (zanesljivost, objek- tivnost) ter upoštevati značilnosti merjenje populacije. Pomembno je, katera področja vključimo v test in v kolikšnem obsegu, za kakšen tip na- log gre (odprti, zaprti tip vprašanj), kako obtežimo posamezne naloge. Testi mednarodnih raziskav znanja morajo poleg tega paziti še na kultur- no in jezikovno neodvisnost, hkrati pa se morata težavnost in jasnost nalog s prevodi nujno ohraniti (gre za t. i. funkcionalno ekvivalentnost nalog). Večino teh zahtev je lažje izpolniti pri nalogah z izbirnimi odgovori, zato v raziskavah TIMSS in PISA takšne naloge prevladujejo, pogosto pa so vključene še naloge s kratkim zahtevanim pisnim odgovorom ali daljšim utemeljevanjem rešitve. V raziskavi TIMSS (TIMSS 2003) v nasprotju z nacionalnim preverjanjem znanja in raziskavo PISA pa so del nalog sestavljale tudi eksperimentalne naloge. Pomembno je tudi, na kakšen način merimo. Na primer, v raziskavi PISA in TIMSS se večja količina nalog, ki merijo iste koncepte, razdeli na več preizkusov (testnih zvezkov), od katerih posamezni otrok rešuje samo enega. Z metodo »imputiranja podatkov« kasneje na podlagi statističnih iz- računov karakteristike posameznega učenca ocenjujemo njegove najverje- tnejše odgovore še na vprašanja preostalih sklopov. Tako vsakemu učencu priredimo »imputirane« vrednosti za odgovore, ki manjkajo. Na drugi strani pa pri nacionalnem preverjanju znanja vsi učenci rešujejo enake naloge. Sledi faza ocenjevanja nalog. Pri izbirnem tipu nalog razen morebi- tnega napačnega vnosa v bazo ni težav pri enakem vrednotenju (pravilno – napačno), medtem ko je ocenjevanje nalog odprtega tipa bolj podvrže- no subjektivnim dejavnikom. 7 Še posebej to velja za mednarodne raziskave znanja, kjer ne samo da teste ocenjujejo različni ocenjevalci, temveč v vsaki državi ocenjevalci prihajajo iz različnega kulturnega okolja, kar predstavlja dodatno subjektivno kontaminiranost vrednotenja glede na državo. Štraus (2004) opozarja, da različne definicije oz. določitve zgoraj opi- sanih elementov pri mednarodnih raziskavah znanja vodijo do različnih rezultatov in s tem posledično do različnih razvrstitev na lestvicah rezulta- tov. To je razumljivo, saj nabor nalog pri konkretnem preizkusu znanja ne ustreza enako vsem sodelujočim državam, čeprav vsaka država sodeluje pri izboru nalog. 69 KAJ NAM POVEDO MEDNARODNE RAZISKAVE IN NACIONALNO PREVERJANJE ZNANJA? Razprava Od izobraževalnega sistema vsi udeleženci nekaj pričakujemo: učenci, starši, pedagoški delavci, država in državljani, gospodarstvo … Torej, kakor smo ugo- tovili na začetku prispevka, uspešnost izobraževalnega sistema je odvisna od pričakovanj različnih udeležencev, ki pa pogosto niso jasno razvidna. Vendar kakovosti izobraževalnega sistema ne smemo razumeti kot vsoto uspešnosti posameznih pričakovanj, temveč moramo ta pričakova- nja vzeti kritično in jih integrirati (Vahoof in Van Petegem, 2007), da dobi- mo popolnejšo sliko. To pomeni, da moramo razumeti uspešnost izobra- ževalnega sistema kot celote – namreč niso pomembni samo posamezni rezultati, temveč njihov sinergistični učinek ter tudi pot do njih, predvsem pa kontekst, v katerem se gibljemo. Kakor piše Cankar (2007), če upora- bimo le posamezne rezultate brez upoštevanja konteksta, lahko dobimo izkrivljene informacije o uspešnosti delovanja šole; kot primer navaja pri- merjavo povprečnih rezultatov NPZ šole s povprečnimi nacionalnimi vre- dnostmi brez upoštevanja značilnosti populacije otrok posamezne šole (konkretno njihovega predznanja, sposobnosti in značilnosti okolja, iz katerega izhajajo). Zato poudarja pomen dodane vrednosti šole, ki pred- stavlja povprečje prispevkov šole k dosežkom vsakega učenca. Dodano vrednost pa dobimo, če integriramo informacije, ki jih dobimo z različni- mi evalvacijskimi pristopi (tako različnih področij kot ravni evalvacije). V prispevku so omenjeni različni pristopi ugotavljanja in zagotavlja- nja kakovosti: vsak pristop je pomemben zaradi svojih lastnih značilnosti, skupaj pa nam lahko dajo popolnejšo sliko o dejavnikih, ki vplivajo na uspešnost delovanja izobraževalnega sistema. Vsak pristop preuči svoje področje uspešnosti in njenih dejavnikov, zato se med seboj dopolnjuje- jo. Hkrati pa se določeni deli prekrivajo, kar nam omogoča preverjanje veljavnosti posameznih podatkov oz. primerjavo interpretacije podatkov z različnih vidikov. Različni integrativni modeli zagotavljanja kakovosti s pomočjo notranjega in zunanjega načina ocenjevanja nastajajo tudi dru- god: na primer Hopkins in Ahtaridon (2007) sta postavila okvir za model notranje in zunanje odgovornosti za zagotavljanje kakovosti na anglosa- ksonskem območju kot združevanje sistemskega vodenja in samoevalva- cije posameznih vzgojno-izobraževalnih zavodov. V prispevku je predstavljena analiza značilnosti treh raziskav znanja (TIMSS, PISA in NPZ), ki je pokazala, da vsaka raziskava nudi ogromno in- formacij, ki pa jih moramo pravilno uporabiti: te so komplementarne, do- polnjujoče se. Podatki, ki jih dobimo s posamezno raziskavo znanja, sami po 70 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 sebi ne povedo ničesar o kakovosti izobraževalnega procesa. Na primer, pov- prečni rezultat šole pri testih mednarodnih raziskav znanja ni zanesljiva mera uspešnosti, saj zaradi metodoloških značilnosti vzorčenja (tj. 25 naključno izbranih učencev na 100) ni dovolj reprezentativen. Prav tako povprečnega rezultata šole pri nekem testu znanja ne moremo direktno primerjati z naci- onalnim povprečjem pri NPZ ali s povprečjem držav v mednarodni raziskavi znanja, kajti pomembni so še drugi dejavniki, ki vplivajo na končni rezultat, kot sta na primer socialno-ekonomski status učenčeve družine ali njegova motivacija. Zato je za uspešno oblikovanje strategije razvoja izobraževanja še posebej pomembna veljavnost sklepov, ki jih izpeljemo iz analiz zbranih po- datkov. Štraus (2006, str. 7) opozarja, da »te veljavnosti ne moremo neizpodbi- tno dokazati, lahko pa se s skrbno premišljeno zasnovo in natančno izvedbo raziskave izognemo mnogim nevarnostim, ki to veljavnost ogrožajo«. V nadaljevanju bo opisan predlog modela integracije informacij različ- nih virov, ki ga lahko šole uporabijo pri razlagi in vrednotenju lastnega dela. Področje samoevalvacije šole se je pri nas začelo razvijati že pred leti in po predstavljenih projektih lahko ugotovimo, da šole že uporabljajo raz- lične modele za ugotavljanje in zagotavljanje evalvacije in jih tudi razvijajo, oblikujejo delovne skupine, prav tako pa imajo zunanjo podporo (npr. SIQ, Komisija za ugotavljanje in zagotavljanje kakovosti v vzgoji in izobraževa- nju, sodelovanje v mednarodnih projektih). Še posebej zanimiv je model sa- moevalvacije šole, ki je nastal v projektu Modro oko (2001) – ta je natančno izdelan in vsebuje vrsto kazalnikov za ugotavljanje kakovosti na šestih raz- ličnih področjih dela šole. Na drugi strani mednarodne raziskave ponujajo še druge kazalnike, nacionalno preverjanje znanja pa objektivno in primer- ljivo doseganje standardov znanja učencev. V evalvaciji dela šole pravzaprav iščemo njeno dodano vrednost, pri čemer nam rezultati mednarodnih razi- skav znanja ponujajo ravno dodatne informacije za interpretacijo dosežkov učencev pri testih znanja in interpretacijo učinkovitosti dela šole. Tako so samoevalvacija šole, dosežki pri NPZ in rezultati mednaro- dnih raziskav osnovna področja, ki jih lahko integriramo v celovito po- vratno informacijo o delu šole. Slika 1 predstavlja, kako se področja, na katerih posamezne raziskave ugotavljajo znanje učencev in spremljajoče dejavnike uspešnosti dela, med seboj prekrivajo. Primerjava pogojev dela med šolami (npr. delovna klima ali značilnosti učencev) ter različnih nači- nov dela pri pouku nam pokaže, kako uspešno šola upravlja s človeškimi, materialnimi in finančnimi viri nasproti drugim šolam in kako uspešno učitelji načrtujejo in vodijo učni proces. 71 KAJ NAM POVEDO MEDNARODNE RAZISKAVE IN NACIONALNO PREVERJANJE ZNANJA? Slika 1: Prekrivanje in dopolnjevanje različnih pristopov ugotavljanja ka- kovosti vzgojno-izobraževalnega dela V Tabeli 2 so zbrani različni kazalniki ugotavljanja kakovosti različnih raziskav, tj. samoevalvacije šole, nacionalnega preverjanja znanja in dveh mednarodnih raziskav znanja. Pregled kazalnikov pokaže, da se tako sa- moevalvacija šole kot mednarodne raziskave znanja lotijo ugotavljanja različnih dejavnikov na učinkovitost in uspešnost učnega procesa. SAMOEVALVACIJA ŠOLE učinkovito delovanje šole na vseh nivojih in področjih delovanja MEDNARODNE RAZI- SKAVE ZNANJA primerjava nacionalnih standardov znanja z drugimi državami NACIONALNO PREVERJANJE ZNANJA učinkovitost učnega procesa glede na doseganje nac. standardov znanja UČNI DOSEŽKI UČENCEV DEJAVNIKI, KI VPLIVAJO NA USPEŠNOST UČENCEV STANDARDI ZNANJA 72 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 Tabela 2: Usklajevanje različnih kazalnikov ugotavljanja kakovosti pri- stopa samoevalvacije šole in mednarodnih raziskav znanja PODROČJE doseganje ciljev kurikuluma Znanje Vrednote Splošna uspešnost MODRO OKO (2001) ocene notranje- ga ocenjevanja, kakovost znanja, udeležba in do- sežki na tekmo- vanjih v znanju odnos do poja- vov in osebno- stne značilnosti prehodnost, zaposljivost, usposa- bljanje za podjetnost, usposabljanje za vseživljenjsko učenje NPZ dosežki učencev TIMSS dosežki učencev iz preseka učnih načrtov mate- matike in nara- voslovja sodelu- jočih držav PISA izraženost kompetenc, po- membnih za ži- vljenje s podro- čja matematike, bralne pisme- nosti in naravo- slovja 73 KAJ NAM POVEDO MEDNARODNE RAZISKAVE IN NACIONALNO PREVERJANJE ZNANJA? PODROČJE pouk Načrtovanje in vodenje pouka Učenec pri po- uku Čas, posvečen poučevanju in učenju Individualizacija MODRO OKO (2001) poznavanje uč- nega načrta in kataloga znanja, letna priprava na pouk, učne priprave in nji- hova vsebina razumljivost raz- lage, motivacija, medpredmetne kompetence, medpredmetne povezave, spod- buda k rabi raz- ličnega učnega gradiva, metod in oblik pouče- vanja ter učenja, povratne infor- macije, pozor- nost na slabe učne rezultate, preverjanje in ocenjevanje zna- nja za poučevanje in učenje novih ciljev oz. vsebin, čas za utrjevanje in ponavljanje pri pouku, čas za preverjanje in ocenjevanje zna- nja pri pouku, čas za aktivne metode pouče- vanja in učenja, čas za domače delo pri pouku individualizacija pri delu, identi- fikacija nadarje- nih in učencev z učnimi težavami NPZ TIMSS metode in obli- ke dela, delo z gradivi, vrsta in spremljanje do- mače naloge, naloge in načini preverjanja zna- nja spodbujanje ak- tivnosti učencev čas za domače naloge PISA značilnosti in- terakcije v pro- cesu učenja, ak- tivnost učencev, značilnosti pou- čevanja 74 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 PODROČJE učenec Šolsko učno okolje Domače delo in interesne dejav- nosti Učno ozračje Značilnosti učenca MODRO OKO (2001) arhitektura in oprema učilnic, dostopnost in možnosti knji- žnice, računalni- ške tehnologije, športnih površin in opreme ter drugih prosto- rov, varnost, ur- nik domače delo, interesne in zu- najšolske dejav- nosti pripadnost šoli, komunikacija NPZ TIMSS značilnosti ra- zredov, čas za poučevanje, na- črtovane in pou- čevane vsebine, dostop do raču- nalnika v šoli izobrazba star- šev, jezik doma, količina knjig, računalnik in internetna pove- zava občutek varno- sti veselje do uče- nja področja, vrednote, zaupa- nje vase PISA možnosti upora- be informacijsk o- komunikacijske tehnologije izobrazba in za- poslitev staršev, SES, kulturno okolje in dobri- ne, domači jezik, status priseljen- stva, dostop do učnih virov motivacija, sa- moučinkovitost, samopodoba, vrednote, splo- šna razgleda- nost in poklicna orientiranost v naravoslovju 75 KAJ NAM POVEDO MEDNARODNE RAZISKAVE IN NACIONALNO PREVERJANJE ZNANJA? PODROČJE učitelj Stalno izobraže- vanje Vključenost v delo šole Zadovoljstvo z delom Značilnosti uči- telja MODRO OKO (2001) kakovost in po- nudba progra- mov stalnega izobraževanja, koncept stalne- ga izobraževanja na šoli, samoizo- braževanje, sodelovanje v projektih sodelovanje v strokovnem ak- tivu in z drugimi učitelji in s služ- bami na šoli in zunaj nje, men- torstvo, izvajanje interesnih dejav- nosti prostorski po- goji in opremlje- nost šole, or- ganizacija dela na šoli (urnik), socialno okolje, učenci NPZ TIMSS stalno strokov- no spopolnjeva- nje, pedagoško usposabljanje sodelovanje z drugimi učitelji občutek omeje- vanosti, delovni pogoji, zaznava- nje šolske klime spol, starost, izo- brazba, delovne izkušnje, obču- tek kompeten- tnosti PISA PODROČJE šola in starši Informiranje Možnosti vpliva- nja Vključevanje v vzg.-izobr. proces MODRO OKO (2001) načini in vsebina informiranja vpliv na aktivno- sti šole in nad- standardne sto- ritve, evalvacija šole, način reše- vanja pobud in pripomb staršev na šoli in pri domačem delu otroka NPZ TIMSS PISA mnenje staršev o kakovosti šole lastno znanje, vrednote, promocija učnih vsebin 76 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 PODROČJE vodenje šole Strokovni razvoj ravnatelja Vodenje in rav- nanje z viri Skrb za pouk Sodelovanje med šolo in oko- ljem MODRO OKO (2001) spremljanje no- vosti, stalno stro- kovno spopol- njevanje načrtovanje, od- ločanje, evalvi- ranje, vodenje in razvoj zaposle- nih, izraba časa in finančnih sredstev osredotočenost na poučevanje in učenje, zago- tavljanje pogo- jev za pouk sodelovanje s starši, odprtost šole v okolje NPZ TIMSS značilnosti šole, čas za različne dejavnosti, raz- polaganje z viri za pouk, varnost in urejenost šole lastnosti popula- cije učencev, pri- sotnost učencev pri pouku sodelovanje s starši PISA šolski menedž- ment, značilno- sti šole, vstopni pogoji in dife- renciacija, razpo- ložljivost virov šolske dejavno- sti za promocijo naravoslovja vpliv gospodar- skih interesov, starševska izbira šole Prva pomoč pri izvedbi samoevalvacije šole je analiza dosežkov pri nacio- nalnem preverjanju znanja. Tako notranje preverjanje in ocenjevanje znanja kot dosežek učenca pri NPZ nam ponujajo informacije o znanju učencev in njihovem doseganju standardov znanja (Tabela 2). Notranje preverjanje in ocenjevanje znanja pa dajeta informacije o učenčevem znanju celotnega obsega obravnavanih vsebin, medtem ko nam NPZ ponudi objektivno in- formacijo o delu celotnega znanja, ki so ga učenci usvojili, zato je to doda- tna informacija k formativnemu spremljanju napredka učencev. Formativ- no spremljanje pa nam dodatno pove, kako je učenec napredoval, kakšen je njegov osebnostni razvoj in kolikšni meri smo dosegli druge vzgojno-iz- obraževalne cilje (čustvene, socialne in metakognitivne). Za veljavno vrednotenje dosežka in ugotavljanje uspešnosti dela šole moramo dosežek šole pri NPZ analizirati s pomočjo drugih povratnih in- formacij, ki jih šola pridobiva prek celega šolskega leta. Ugotoviti mora- mo, kakšno je bilo znanje učencev pred začetkom šolskega leta (in pred vstopom v šolo), kakšne so sposobnosti učencev, kakšni so njihova moti- 77 KAJ NAM POVEDO MEDNARODNE RAZISKAVE IN NACIONALNO PREVERJANJE ZNANJA? vacija, interesi, v kakšnem učnem okolju delajo in v kakšnem kulturnem okolju živijo, katere vire imajo na razpolago, kako je potekal učni pro- ces in podobno (projekt Modro oko je področja za samoevalvacijo dobro razdelal). Bečaj (2008: 4) opozarja, da znanje, ki ga učenec pokaže pri NPZ, odraža »kakovost pouka, njegovo osebno motivacijo, domače delo, sposobnosti, ožje okolje, klimo in kulturo na šoli« … in »da lahko dosežke uspešno interpretiramo, če imamo pred očmi vse navedene in še druge dejavnike, ki so vplivali na učenčevo prikazano znanje«. Za vrednotenje rezultatov potrebujemo ustrezne referenčne točke (po Štraus, 2005a), ki jih navadno določimo na podlagi ciljev in standar- dov znanja v učnih načrtih, ali pa primerjalno glede na dosežke učencev primerljivih držav, kot je to pogosteje v mednarodnih raziskavah. Interpre- tacija tako obsega močna in šibka področja izobraževalnega sistema, na podlagi česar poskušamo ugotoviti vzroke za »dobre« in »slabe« rezultate in izpeljati ukrepe za izboljšanje dosežkov na slabših področjih. Te refe- renčne, primerjalne točke se nanašajo na zastavljeni nacionalni kurikulum in s tem na splošne in operativne cilje, ki jih želimo doseči, obenem pa ne smemo pozabiti na informacije, ki jih dobimo z drugimi evalvacijskimi postopki. Na podlagi takšnih analiz je mogoče oblikovati integrativni eval- vacijski model uspešnosti učencev, ki bi vključeval vse ravni evalvacije. Na drugi strani pa rezultati mednarodnih raziskav znanja ponujajo pri- merjavo med nacionalnim kurikulumom in standardi znanja kot dogovorom različnih držav, kaj naj bi otroci v določenem letu starosti že znali (npr. TIMSS) oz. katere kompetence naj bi že razvili (npr. PISA). Odstopanje nacionalnih rezultatov od drugih držav samo po sebi ne pove še ničesar o učinkovitosti šolskega sistema in dela na posameznih šolah. Odstopanje od drugih držav lahko pomeni, da imamo drugačne vrednote in drugačno vizijo o izobraže- vanju in razvoju otrok kot druge države, česar pa ne moremo vrednotiti. Šele primerjava z državami, ki imajo podobno zastavljen šolski sistem, podoben kurikulum in kulturno okolje, nam lahko pokaže, kako učinkovit šolski sis- tem imamo. Zato so informacije, ki jih pridobimo iz rezultatov v mednaro- dnih raziskavah znanja, orientacija o značilnostih šolskega sistema glede na druge sistem in šele nato vrednotna orientacija kakovosti le-tega. Te dejavnike, ki vplivajo na uspešnost in učinkovitost učnega procesa, raziskujejo tako mednarodne raziskave kot samoevalvacija šole. Model ugo- tavljanja kakovosti po projektu Modro oko razvršča kazalnike na 6 različnih področij: poleg doseganja kurikularnih ciljev ugotavljajo še značilnosti vo- denja pouka in vodenja šole, značilnosti učencev in učiteljev ter sodelovanje s starši. Raziskava PISA s spremljajočimi vprašalniki pokrije vsa ta področja 78 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 in tudi podobne kazalnike kot v modelu samoevalvacije, vendar daje večji poudarek na učenca in njegove značilnosti ter na druge objektivne kazalni- ke v šolskem okolju, manj pa na samo izvajanje učnega procesa. Raziskava TIMSS prav tako zajame večino omenjenih kazalnikov, vendar daje večji po- udarek šolskemu okolju in učnemu procesu kot značilnostim učencev. Kateri dejavniki imajo večji in kateri manjši učinek na učno uspešnost, je pomembna informacija za izvajalce evalvacije, da se lahko osredotočijo na izbrane dejavnike, saj bi v nasprotnem primeru evalvacijski proces postal preobsežen in s tem tudi neobvladljiv. Obenem se moramo zavedati, da re- zultati raziskave PISA povedo, kateri dejavniki in v kolikšni meri vplivajo na znanje in kompetence učencev, ki so opredeljene kot pomembne za kasnej- še življenje, medtem ko rezultati raziskave TIMSS povedo, kateri dejavniki in v kolikšni meri vplivajo na uspešnost doseganja nacionalnih standardov znanja. Na dilemo, katere dejavnike spremljati, odgovarjajo mednarodne raz- iskave znanja, ki na velikih in reprezentativnih vzorcih ugotavljajo velikost učinka posameznih dejavnikov na uspešnost učenca. Tako je od evalvacijske skupine na posamezni šoli odvisno, katere dejavnike bo vključila v evalvacij- ski proces in kakšno težo jim bodo dodelili, ali bodo upoštevali morebitne rezultate mednarodnih raziskav ali pa bodo izbrane dejavnike merili sami. Prispevek lahko zaključimo z mislijo Mary Joy Pigozzi (2006: 50): »Vizija kakovosti, ki vključuje različne dimenzije, postavlja standarde. Za- radi splošnih ciljev in osnovnih principov ne obstaja pristop, ki bi bil pri- meren za vse. […] Učitelji, šole, skupnosti, sistemi in narodi so odgovorni za določitev, kako bo ta vizija (op. p.: vizija kakovosti) interpretirana in sčasoma uresničena. Pomembno je to, da razumejo, kaj pričakujejo od izobraževanja, in da le-ta izrazijo tako, da bodo merljiva«. Zavedati pa se moramo, da je vpliv evalvacije posameznih ravni na na- cionalno šolsko politiko različen (Livingston in McCall, 2005). To pomeni, da evalvacija na ravni šole takoj in neposredno vpliva na proces dela na tej šoli, na nacionalno politiko pa je njen vpliv posreden in izredno počasen. Obratno pa evalvacija na mednarodni ravni takoj in neposredno vpliva na nacionalno šolsko politiko, na šole pa je ta vpliv počasen in posreden. Opombe [1] Primerjave glede na neko normo (npr. dosežke učencev iz drugih držav) imenujemo normativne interpretacije (Hambleton in Sireci, 1997; po Štraus, 2005b). Kriterijske interpretacije pa so pogosto vezane na cilje in standarde v učnih načrtih. 79 KAJ NAM POVEDO MEDNARODNE RAZISKAVE IN NACIONALNO PREVERJANJE ZNANJA? [2] Vpliv nove paradigme: kakovostna šola = učeča se organizacija. [3] Nekatere države, kot je na primer Belgija, imajo dva ali več različnih šolskih sistemov. [4] Tj. TIMSS in druge raziskave pod okriljem IEA. [5] Rezultati NPZ v 9. razredu se le v redkih primerih (ko ima več kandidatov na spodnji meji v izbirnem postopku enak seštevek zaključnih ocen iz obveznih predmetov 7., 8. in 9. razreda ter splošnega učnega uspeha v teh razredih in če se starši s tem strinjajo) uporabijo kot selekcijski kriterij za nadaljnje šolanje (Nacionalno preverjanje znanja: informacije za učence in starše, 2007). [6] Res pa je, da starši v praksi velikokrat vpišejo otroka na drugo šolo, če ocenijo, da je »boljša«, kar pa predstavlja eno izmed sistematičnih napak »vzorčenja«. [7] Gre za napake ocenjevalcev (npr. napaka osebne enačbe, ocenjevanje glede na slog odgovarjanja ...), ki pa jih na tem mestu ne bomo obravnavali. Literatura Adams, R., Wu, M. (ur.). PISA 2000 Technical Report. Paris: OECD. Barle, A. (2007). Aktualizacija kakovosti – zarota evalvativne države?. Vodenje v vzgoji in izobraževanju, 5, 2, str. 29–40. Bečaj, J. (2008). Gradivo za pomoč pri analizi dosežkov nacionalnega preverjanja znanja. Ljubljana: Ministrstvo za šolstvo. Pridobljeno dne 10. 3. 2009 s spletne strani http://www.mss.gov.si/fileadmin/mss.gov.si/pageuploads/podrocje/os/ NPZ/Analiza_dosezkov_NPZ.doc Brejc, M., Trunk, N. (2007). Sistemi vodenja kakovosti – sinergija med notranjo in zunanjo evalvacijo. Vodenje v vzgoji in izobraževanju, 5, 2, str. 41–50. Center za študij edukacijskih politik (2009). Pojmovanje kakovosti v vzgoji in izobraževanju. Pridobljeno dne 1. 3. 2009 s spletne strani http://ceps.pef.uni-lj. si/projekti/slo/kakovost.htm Halton, M.A. (ur.), Smith-Voerman, M. (ur.), Williams, C. (ur.) (2005). Ustvarimo ogledalo za svojo šolo (2005). Ljubljana: Komisija za ugotavljanje in zagotavljanje kakovosti v vrtcih, osnovnih in srednjih šolah ter organizacijah za izobraževanja odraslih. Hopkins, D., Ahtaridou, E. (2007). Zagotavljanje kakovosti v nacionalnih izobraževalnih sistemih. Vodenje v vzgoji in izobraževanju, 5, 2, str. 5–28. Izhodišča za evalvacijo kurikularne prenove vzgoje in izobraževanja v Republiki Sloveniji (1999). Ljubljana: Nacionalna komisija za uvajanje in spremljanje novosti in programov v vzgoji in izobraževanju. Japelj Pavešić, B., Brečko. B.N., Bezgovšek, H., Čuček, M., Kozina, A., Lipovec, A., Magajna, Z., Perat, Z., Vidmar, M. (2005). Slovenija v raziskavi TIMSS 2003: mednarodna raziskava trendov znanja matematike in naravoslovja: TIMSS 2003. Ljubljana: Pedagoški inštitut. Kodelja, Z. (2005). Komparativne edukacijske raziskave in šolska politika. Šolsko polje, 16, 3/4, str. 211–226. 80 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 1/2 Koren, A., Sardoč, M. (2007). Evalvacija programa Mreže učečih se šol: Mreže I. Vodenje v vzgoji in izobraževanju, 5, 3, str. 33–46. Krek, J. (ur.) (1995). Bela knjiga o vzgoji in izobraževanju v Republiki Sloveniji. Ljubljana: Ministrstvo za šolstvo in šport. Van Lakerveld, J., Bauer, C., Williams, C. (2005). Uvod v samoevalvacijo v šoli. V: Ustvarimo ogledalo za svojo šolo. Comenius 3 mreža o samoevalvaciji, str. 7–17. Ljubljana: Komisija za ugotavljanje in zagotavljanje kakovosti v vzgoji in izobraževanju. Livingston, K., McCall, J. (2005). Evaluation: judgemental or developmental? European Journal of Teacher Education, 28, 2, str. 165–178. Maes, B. (2005). V: Ustvarimo ogledalo za svojo šolo. Comenius 3 mreža o samoevalvaciji, str. 18–28. Ljubljana: Komisija za ugotavljanje in zagotavljanje kakovosti v vzgoji in izobraževanju. Medveš, Z. (nosilec projekta) (2004). Kakovost v vzgoji in izobraževanju – samoevalvacija. Pridobljeno dne 5. 3. 2009 s spletne strani: http://www.mss.gov. si/fileadmin/mss.gov.si/pageuploads/podrocje/razvoj_solstva/crp/2001/18_ medves1.doc Modro oko: spoznaj, analiziraj, izboljšaj (2001). Ljubljana: Zavod RS za šolstvo. Nacionalno preverjanje znanja: informacije za učence in starše. (2007). Ljubljana: Državni izpitni center. Olson, J. F., Martin, M.O., Mullis, I. V. S. (ur.). (2008). TIMSS 2007 Technical Report. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College. PISA 2006 Technical Report (2009). Pariz, Francija: OECD. Pigozzi, M. J. (2006). What is the 'quality of education'? (A UNESCO perspective). V: Ross, K. N., Genevois, I. J. (ur.).Cross-national studies of the quality of education: planning their design and managing their impact, str. 39–50. Portal Evropske unije. Pridobljeno dne 25. 4. 2006 na svetovnem spletu: http:// europa.eu/index_sl.htm Pravilnik o posodabljanju vzgojno-izobraževalnega dela. Uradni list RS, 13/2003. Protner, E. (2004). Vpliv mednarodnih primerjav znanja na šolski kurikulum. Sodobna pedagogika, 55, 5, str. 6–10. SIQ (2009). Model Kakovost za prihodnost vzgoje in izobraževanja. Pridobljeno dne 1. 3. 2009 s spletne strani http://www.siq.si/Model_Kakovost_za_ prihodnost.1361.0.html Štraus, M. (2004). Mednarodne primerjave kot podlaga za oblikovanje strategije razvoja izobraževalnega sistema. Sodobna pedagogika, 55, 5, str. 12–27. Štraus, M. (2005a). International comparisons of student achievement as indicators for educational policy in Slovenia: evaluating students' achievements. Prospects, 35, 2, str. 187–198. Štraus, M. (2005b). Mejniki znanja v mednarodnih primerjalnih raziskavah. Matematika v šoli, 12, 1–2, str. 2–10. Štraus, M. (2005c). Primerjava med pričakovanimi in izkazanimi dosežki na izbranih nalogah TIMSS 2003 za nižje razrede osnovne šole. Preverjanje in ocenjevanje, 2, 2/3, str. 25–37. Štraus, M. (2006). Pomen in vloga mednarodnih primerjav znanja v vzgoji in izobraževanju. Šolsko polje, 17, 1/2, str. 7–26. 81 KAJ NAM POVEDO MEDNARODNE RAZISKAVE IN NACIONALNO PREVERJANJE ZNANJA? Tratnik, M. (2005). Uvodni nagovor: Kakovost v vzgoji in izobraževanju. Komisija za ugotavljanje in zagotavljanje kakovosti. Pridobljeno dne 15. 5. 2008 s spletne strani http://kakovost.ric.si/main.asp?vseb_id=99&vseb_meni=99. Vanhoof, J., Van Petegem, P. (2007). Matching internal and external evaluation in an era of accountability and school development: lessons from a Flemish perspective. Studies in Educational Evaluation, 33, str. 101–119. Vrabič, A., Mali, D. (2008). Poročilo o kakovosti šol v poklicnem in strokovnem izobraževanju. XV. strokovno srečanje ravnateljic in ravnateljev srednjega šolstva, 10.–12. 11. 2008. Pridobljeno dne 5. 3. 2009 s spletne strani http://www. solazaravnatelje.si/datoteke/File/VRABIC_MALI.pdf Vrabič. A., Štravs, F., Papež. M., Mali, D., Logaj, V., Harb, D., Muha, S. (2005). Delo skupine za kakovost na šoli. Priročnik s primeri. Velenje: Skupina za kakovost. Zakon o organizaciji in financiranju vzgoje in izobraževanja (ZOFVI), Uradni list št. 16/07 – UPB5 in Uradni list št. 36/08.