ŠOLSKO POLJE LETNIK XX (2009) ŠTEVILKA 3/4 str. 105-116 TEHNIČNO POROČILO O POTEKU RAZISKAVE PISA 2006 V SLOVENIJI Maša Repež, Mojca Štraus Pedagoški inštitut, Ljubljana Program mednarodne primerjave dosežkov učencev PISA Na začetku leta 2004 je Slovenija pristopila k izvajanju projekta Program mednarodne primerjave dosežkov učencev PISA (Programme for Interna- tional Student Assessment). Raziskava se izvaja pod okriljem Organizacije za ekonomsko sodelovanje in razvoj (OECD) in poteka v triletnih ciklih. V prvem ciklu, ki je bil izveden leta 2000, so sodelovale države članice OECD in le nekaj držav partnerk (nečlanice OECD), v drugem ciklu pa je poleg držav članic sodelovalo še 11 držav partnerk. V tretjem ciklu raz- iskave PISA, ki se je začel leta 2004 in v katerem je bila glavnina zbiranja podatkov izvedena v letu 2006, je poleg 30 držav članic OECD sodelovalo še 27 držav partnerk, med njimi tudi Slovenija. Države, ki so sodelovale v raziskavi PISA 2006 Argentina Islandija Nizozemska Avstralija Italija Norveška Avstrija Izrael Nova Zelandija Azerbajdžan Japonska Poljska Belgija Jordanija Portugalska Bolgarija Kanada Romunija Brazilija Katar Rusija Češka Kirgizistan Slovaška Čile Kitajski Tajpej Slovenija Črna gora Kolumbija Srbija Danska Koreja Španija Estonija Latvija Švedska Finska Liechtenstein Švica Francija Litva Tajska Grčija Luksemburg Tunizija HongKong Madžarska Turčija Hrvaška Makao – Kitajska Urugvaj Indonezija Mehika Velika Britanija Irska Nemčija ZDA 106 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 3/4 Cikli izvajanja raziskave PISA in vrste pismenosti V vsakem od ciklov izvedbe raziskave PISA je glavnina zbiranja podatkov po- svečena enemu od treh področij pismenosti, medtem ko so podatki za preo- stali dve področji zbrani za namen raziskovanja trendov v dosežkih učencev in spremljajočih spremenljivkah. V prvem ciklu raziskave PISA, leta 2000, je bil poudarek zbiranja podatkov na področju bralne pismenosti, v drugem ci- klu, v letu 2003, na področju matematične pismenosti, v tretjem ciklu, v letu 2006, pa je bila glavnina posvečena področju naravoslovne pismenosti. V raziskavo PISA so zajeti 15-letni učenci/-ke, dijaki/-nje, ne glede na vr- sto šole ali izobraževalni program, ki ga obiskujejo. Namen raziskave PISA je zbirati podatke o kompetencah učencev, ki jih ti potrebujejo za svoje življe- nje, poklicno in zasebno, in ki so pomembne tako za posameznika kot za celotno družbo. Raziskava PISA meri znanje in veščine, ki so potrebne v ži- vljenju posameznika in družbe in ni posebej usmerjena na merjenje kuriku- larnega znanja. To nekako omejuje možnosti raziskovanja povezav med raz- likami v dosežkih učencev in razlikami v načrtovanih in izvedenih kurikulih v posameznih državah ali med državami, hkrati pa z zajemom populacije 15- letnih učencev, ne glede na stopnjo šolanja, omogoča učinkovito merjenje rezultatov šolskih sistemov in primerjavo teh rezultatov med državami. Kot omenjeno, je bilo glavno področje merjenja znanja v raziskavi PISA 2006 naravoslovna pismenost. V raziskavi PISA je naravoslovna pismenost opredeljena v dveh dimenzijah: znanje naravoslovja in znanje o naravo- slovnih znanostih. Znanje naravoslovja pomeni znanje pomembnejših po- dročij, kot so fizika, biologija, kemija in vedenje o Zemlji in vesolju. Znanje o naravoslovnih znanostih pa pomeni poznavanje načinov naravoslovnega raziskovanja, njegovih ciljev pojasnjevanja naravnih pojavov in poznavanje naravoslovnih znanosti in tehnologije ter njihove vloge v družbi. Delovna telesa v raziskavi PISA Za izvajanje raziskave PISA na mednarodni ravni deluje več mednarodnih organizacij in združenj. Mednarodni svet PISA (Pisa Governing Board, PGB) je sestavljen iz predstavnikov vseh sodelujočih držav v raziskavi PISA. PGB ima vodilno vlogo pri sprejemanju odločitev o konceptualni zasnovi raziska- ve PISA, določanju okvira zbiranja podatkov na področju merjenja znanja, smernicah nadaljnjega poteka raziskave, določanju glavnih korakov pri izva- janju raziskave, določanju in sprejemanju standardov izvedbe in poročanja v raziskavi, odločanju o zasnovi mendarodnih poročil in interpretaciji rezul- 107 TEHNIČNO POROČILO O POTEKU RAZISKAVE PISA 2006 V SLOVENIJI tatov raziskave, izvajanju razpisov za pripravo tematskih poročil o posebnih raziskovalnih področjih v raziskavi PISA, kot so na primer vpliv socioeko- nomskih dejavnikov na pridobivanje in izkazovanje znanja, ter odločanje o izboru prijaviteljev na razpise. Za mednarodno koordiniranje izvajanja raziskave PISA v sodelujočih dr- žavah na operativni ravni je v letu 1997 OECD izdal razpis, na katerega se je prijavilo več organizacij in združenj. Izbrano je bilo Mednarodno združenje (Consortium) organizacij, ki imajo že dolgo tradicijo izvajanja nacionalnih in mednarodnih raziskav znanja, Australian Council for Educational Research (ACER, Avstralija), Netherlands National Institute for Educational Measure- ment (CITO, Nizozemska), Westat (ZDA), National Institue for Educational Policy Research (NIER, Japonska) in Educational Testing Service (ETS, ZDA). Mednarodno združenje ima nalogo priprave izvedbe raziskave in sodelova- nja z nacionalnimi centri za izvajanje raziskave PISA v sodelujočih državah. Za vsako sodelujočo državo je določen nacionalni koordinator (National Pro- ject Manager, NPM), ki neposredno sodeluje z Mednarodnim združenjem pri izvajanju raziskave. V okviru Mednarodnega združenja za izvedbo raziskave PISA delujejo delovna telesa za posamezna pomembnejša področja izvedbe raziskave. Za pripravo okvirov merjenja znanja posameznih področij pismenosti in zbira- nje ter pripravo predlogov nalog v mednarodnih preizkusih znanja delujejo Strokovna skupina za bralno pismenost (Reading Expert Group, REG), Stro- kovna skupina za matematiko (Mathematics Expert Group, MEG) in Strokov- na skupina za naravoslovje (Science Expert Group, SEG). Za pripravo pre- dlogov postopkov izvedbe zajema podatkov deluje Skupina svetovalcev za tehnično izvedbo (Technical Advisory Group, TAG). Za pripravo predlogov vprašanj v mednarodnih vprašalnikih za zajemanje podatkov o spremljajočih dejavnikih, prek katerih pojasnjujemo razlike v dosežkih med državami in znotraj držav, deluje Strokovna skupina za pripravo vprašalnikov (Questio- nnaire Expert Group, QEG). QEG je pripravil referenčni okvir spremljajočih spremenljivk in njihovih potencialnih povezav z dosežki učencev v raziskavi PISA 2006, ki bo omogočal nadaljnja podrobnejša raziskovanja povezav med dosežki in pojasnjevalnimi dejavniki v raziskavi PISA glede na interese celo- tne skupine sodelujočih držav, manjših skupin ali posameznih držav. Področja raziskovanja v raziskavi PISA 2006 V posameznem ciklu zbiranja podatkov v raziskavi PISA Mednarodni svet PISA določi posebna raziskovalna področja, ki bodo v tekočem ciklu še 108 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 3/4 posebno podrobno obravnavana in poročana v posebnih poročilih. Do- ločila Mednarodnega sveta za PISO so, da morajo biti ta področja pose- bej relevantna za oblikovanje nadaljnje politike razvoja in sprememb v sodelujočih izobraževalnih sistemih, da je rezultate teh raziskovanj moč pridobiti v realnem času in da morajo biti usmerjeni na pojasnjevanje izkazanih rezultatov šolskih sistemov in iskanje možnosti za izboljšave. Področja raziskovanja morajo ob tem omogočati vzpostavljanje medna- rodnih primerjav med sodelujočimi državami in s tem tudi pričakovano dodano vrednost k izsledkom nacionalnih raziskav znanja, ki potekajo že v več državah. Glede na ta priporočila je Strokovna skupina za vprašalnike pripravila naslednji predlog področij raziskovanja v raziskavi PISA 2006: Področje raziskovanja 1: Dosežki učencev glede na spol Na tem področju je pozornost namenjena vsem trem področjem pisme- nosti. Podatki izhajajo ne le iz zajema podatkov v raziskavi PISA 2006, ampak tudi iz prejšnjih ciklov raziskave PISA in prejšnjih mednarodnih primerjalnih raziskav (IEA TIMSS – Tretja mednarodna raziskava matema- tike in naravoslovja, IEA Reading Literacy – Mednarodna raziskava bralne pismenosti). Pristop k raziskovanju je povezovanje rezultatov analiz razlik v dosežkih med spoloma v raziskavi PISA z rezultati iz drugih mednaro- dnih primerjalnih raziskav. Področje raziskovanja 2: Vloga staršev Pozornost je posvečena vplivom različnih vlog staršev v procesu učenče- vega pridobivanja znanja. Področje raziskovanja 3: Učenčevo udejstvovanje v naravoslovju V tem raziskovalnem področju so zajeti učenčevo vključevanje v šolske, obšolske in zunajšolske naravoslovne aktivnosti ter odnos učencev do na- ravoslovja in njihova mnenja o naravoslovju. Področje raziskovanja 4: Učenje in poučevanje naravoslovja V okviru tega področja so analizirani podatki o tem, kakšne strategije po- učevanja naravoslovja obstajajo v šolah in kako se razlikujejo glede na vrste šol in programov in glede na uspešnost učencev. Področje raziskovanja 5: Naravoslovna pismenost in okolje To področje raziskuje, koliko šole prispevajo k zavesti in mnenju 15-letni- kov o okoljevarstvenih problemih. Področje je neposredno povezano z merjenjem naravoslovne pismenosti. 109 TEHNIČNO POROČILO O POTEKU RAZISKAVE PISA 2006 V SLOVENIJI Področje raziskovanja 6: Organizacija šolskih sistemov Na tem področju so predmet raziskovanja povezave med ravnmi nara- voslovne pismenosti in karakteristikami izobraževalnih sistemov, kot so splošno ali specialistično usmerjeni učni načrti in centralizirano ali necen- tralizirano vodenje šol. Področje raziskovanja 7: Naravoslovni dosežki in trg delovne sile To področje raziskuje vlogo in vrednotenje naravoslovne izobrazbe in na- ravoslovne pismenosti kot pripravo na poklic tako v smislu učenčevih pri- čakovanj kot aktivnosti, ki potekajo v šolah glede informiranja in pomoči učencem pri izbiri nadaljnjega naravoslovnega izobraževanja ali poklicev. Potek zbiranja podatkov v raziskavi PISA Za izvedbo zbiranja podatkov v raziskavi PISA so potrebne priprave dve leti in pol. Konceptualna zasnova zbiranja podatkov v posameznem ciklu je do- ločena že nekaj let prej v okviru delovanja Mednarodnega sveta za PISO, operativne postopke in pripravo na mednarodni ravni in v nacionalnih cen- trih pa je prav tako treba začeti dovolj zgodaj, da je moč standardizirano izvesti zbiranje podatkov v tekočem ciklu in s tem zadostiti zahtevnim stan- dardom izvedbe raziskave, ki jih je določil Mednarodni svet za PISO. V prvem letu priprav zbiranja podatkov v tekočem ciklu potekajo ak- tivnosti seznanjanja s postopki v raziskavi PISA, kot so postopki za vzor- čenje šol in učencev, priprava mednarodnih instrumentov za merjenje znanja in spremljajočih spremenljivk, priprava, izvedba in verifikacija prevodov mednarodnih instrumentov v nacionalne izvode instrumentov, kontaktiranje šol, izbranih v vzorec, ter seznanjanje z zahtevanimi standar- di za izvedbo teh postopkov. Vse leto potekajo priprave mednarodnih in- strumentov za merjenje znanja in spremljajočih podatkov, ki se usklajujejo med Mednarodnim svetom PISA, strokovnimi skupinami, Mednarodnim združenjem za izvedbo raziskave PISA, nacionalnimi koordinatorji in na- cionalnimi skupinami strokovnjakov za posamezna področja merjenja znanja. Proti koncu prvega leta države pripravijo prve osnutke prevodov mednarodnih instrumentov in osnovni okvir vzorčenja šol in učencev. Drugo leto izvajanja priprav na zajem podatkov sodelujoče države izve- dejo poskusni zajem podatkov (predraziskavo ali field trial) s širokim nabo- rom spremenljivk za merjenje in pojasnjevanje znanja. V ta namen na začetku leta države pripravijo dokončne prevode mednarodnih instrumentov. Med- narodno združenje za izvedbo raziskave PISA organizira neodvisno preverja- 110 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 3/4 nje teh prevodov, s čimer zagotavljajo kakovost in primerljivost prevodov na mednarodni ravni. Za namene izvedbe poskusnega zbiranja podatkov države vzorčijo manjše število šol za tako imenovani priložnostni vzorec (približno 40 šol), ki pa mora še vedno zadoščati standardom relativne reprezentativno- sti in mora zajeti zadostno število učencev, kar omogoča smiselno izpeljeva- nje sklepov o ustreznosti nalog v preizkusih znanja, prevodov in postavk v vprašalnikih za zajemanje podatkov o spremljajočih dejavnikih. Po standar- dih Mednarodnega sveta PISA je treba za posamezno postavko v preizkusih znanja in v vprašalnikih o spremljajočih dejavnikih pridobiti 200 odgovorov učencev. Po zajemu podatkov države izvedejo kodiranje odprtih odgovorov z upoštevanjem standardiziranih postopkov in navodil za kodiranje, vnašanje podatkov v elektronsko obliko in čiščenje podatkov. Mednarodno združenje tako zbrane podatke iz vseh držav zbere v mednarodno bazo podatkov in izvede analize, s katerimi je moč preveriti ustreznost predlaganih nalog in po- stopkov. Na podlagi rezultatov analiz podatkov predraziskave so izbrane na- loge za končni mednarodni preizkus znanja, postavke v vprašalnikih za spre- mljajoče podatke in izdana navodila za postopke v glavnem delu raziskave. V tretjem letu izvajanja cikla raziskave PISA države izvedejo glavni del zajema podatkov po mednarodno usklajenih postopkih in s končno sesta- vljenimi in prevedenimi preizkusi znanja in vprašalniki. Na začetku leta je izvedeno vzorčenje učencev na izbranih šolah. V splošnem države v vzo- rec izberejo 150 šol, ki jih obiskujejo 15-letniki, in na vsaki od teh šol po 35 učencev, ki so stari med 15 let in 3 mesece in 16 let in 2 meseca. Število šol in učencev na šolah je odvisno od števila večjih in manjših šol v državi in od števila 15-letnih učencev, ki so izbrani na posamezni šoli. Standardi izvedbe v raziskavi PISA določajo zajem skupnega števila najmanj 5250 15-letnih učencev v državi. V Sloveniji so v glavnem zbiranju podatkov sodelovale vse srednje šole in nekaj osnovnih šol ter več kot 7000 učenk in učencev, dijakov in dijakinj. Po končanem zbiranju podatkov države iz- vedejo kodiranje odprtih odgovorov, vnos podatkov v elektronsko obliko, čiščenje podatkov in pripravijo nacionalno bazo podatkov. Mednarodno združenje zbere nacionalne baze podatkov in jih sestavi v mednarodno bazo podatkov, ki je po objavi prvega mednarodnega poročila organizaci- je OECD o rezultatih raziskave, približno leto in pol po zbiranju podatkov, javno dostopna prek svetovnega spleta. 111 TEHNIČNO POROČILO O POTEKU RAZISKAVE PISA 2006 V SLOVENIJI Mednarodni dodatki v raziskavi PISA Vsak cikel raziskave PISA obsega glavni (in obvezni) del zbiranja podatkov in tudi dodatke, ki niso obvezni. Dodatki so lahko pripravljeni na medna- rodni ravni ali na nacionalni ravni. Za dodatke, ki so pripravljeni na med- narodni ravni prek Mednarodnega združenja za izvedbo raziskave PISA in odobreni s strani Mednarodnega sveta PISA, Mednarodno združenje pripravi tudi postopke in koordinira izvedbo. Za raziskavo PISA 2006 so bili pripravljeni naslednji mednarodni dodatki: 1. Zajem podatkov o znanju naravoslovja prek računalnikov (CBAS, Com- puter Based Assessment) Ta mednarodni dodatek vključuje uporabo prenosnih računalnikov za merjenje naravoslovne pismenosti učencev. Naloge za merjenje znanja in veščin so sestavljene na podlagi Izhodišč merjenja naravoslovne pisme- nosti v raziskavi PISA 2006 (PISA Science Literacy Framework), ki je tudi podlaga za sestavo naravoslovnih nalog v preizkusu znanja z delovnimi zvezki. Dodana vrednost merjenja znanja z uporabo računalnikov je v tem, da lahko vključuje interaktivne naloge, animacijo in druge načine podajanja nalog za merjenje znanja. 2. Vprašalnik o pogostosti uporabe informacijske in komunikacijske teh- nologije (ICT Familiarity Questionnaire) Dodatek zajema kratek vprašalnik o tem, koliko in kako so učenci sezna- njeni z računalniki in drugo informacijsko in komunikacijsko tehnologijo. Za države, ki so se odločile za sodelovanje v CBAS, je bila izvedba tega vprašalnika obvezna. 3. Vprašalnik za starše (Parent Questionnaire) Podatki, zbrani z vprašalniki za starše, lahko dodajo nove možnosti razisko- vanja povezav med dosežki učencev in pojasnjevalnimi dejavniki, še pose- bej vlogo staršev pri učenčevem pridobivanju znanja naravoslovja in oza- veščenosti o okoljevarstvenih problemih. Mednarodni svet PISA je vsem državam priporočil izvedbo zajema podatkov z vprašalniki za starše. 4. Dvojno kodiranje odgovorov o poklicu staršev (ISCO Coding) V tem dodatku lahko države prepoznajo probleme kodiranja in mednaro- dne primerljivosti podatkov o poklicih staršev in tako pripomorejo k razvo- ju instrumentarija, ki bo omogočal pridobivanje zanesljivejših podatkov. 112 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 3/4 5. Dvojni vnos podatkov Ta dodatek vključuje dvojni vnos 10 odstotkov delovnih zvezkov z naloga- mi iz preizkusa znanja. S tem lahko države izboljšajo kontrolo kakovosti postopkov za vnos podatkov. 6. Vzorčenje razredov učencev Osnovni način vzorčenja učencev v raziskavi PISA je glede na njihovo sta- rost. Države pa se lahko odločijo za mednarodni dodatek izbire dodatne- ga vzorca učencev, ki bo omogočal analizo podatkov glede na razredno stopnjo, ki jo učenci obiskujejo. Nacionalni dodatki v raziskavi PISA Sodelujoče države lahko v okviru raziskave PISA izvedejo tudi nacionalne dodatke. To je lahko poseben vprašalnik, razdeljen učencem ali šolam, ki so sicer vzorčene v okviru mednarodnega dela raziskave PISA, ali 5 ali več dodanih vprašanj v vprašalnik za šole ali v vprašalnik za učence. Nacional- ni dodatek pa je tudi zbiranja podatkov z vprašalniki PISA na šolah in učen- cih, ki so vzorčene nacionalno, zunaj okvira mednarodnega dela raziskave PISA v državi. Standardi za raziskavo PISA določajo, da mora biti kakršen koli nacionalni dodatek vnaprej odobren v Mednarodnem združenju za izvedbo raziskave PISA in izveden po končanem zbiranju podatkov s pre- izkusi znanja in z vprašalniki za mednarodni del raziskave PISA. Potek izvajanja raziskave PISA v Sloveniji S pripravami zbiranja podatkov v raziskavi PISA za leto 2006 smo v nacio- nalnem centru PISA na Pedagoškem inštitutu začeli na začetku leta 2004. Pregled in strokovno ocenjevanje predlaganih nalog za raziskavo PISA 2006 v sodelovanju z Zavodom RS za šolstvo V raziskavi PISA 2006 je poudarek na naravoslovni pismenosti (v raziskavi PISA se uporablja pojem naravoslovje, ker imajo države različne učne načrte; pri nekaterih gre za ločene predmete kemijo, fiziko, biologijo in geografijo, pri drugih pa za en oziroma dva predmeta in podobno), kar pomeni, da je dve tretjini nalog v preizkusu znanja naravoslovnih, preostala tretjina pa je namenjena matematični in bralni pismenosti. Ker je bil delež naravoslovnih nalog v prejšnjih dveh ciklih, v raziskavah PISA 2000 in PISA 2003, manjši, 113 TEHNIČNO POROČILO O POTEKU RAZISKAVE PISA 2006 V SLOVENIJI je bilo treba za raziskavo PISA 2006 zbrati oziroma sestaviti nove naloge s področja naravoslovja. V raziskavi PISA 2006 kognitivni del obsega 83 % vseh vprašanj, preostalih 17 % vprašanj pa sprašuje po stališčih učencev. 60 % vseh naravoslovnih nalog meri znanje naravoslovja (35 % nalog s podro- čja fizike, 40 % nalog s področja biologije in 25 % nalog s področja kemije), 40 % pa znanje o naravoslovnih znanostih (znanstveno raziskovanje). Med- narodno združenje za izvedbo raziskave PISA je vse nove predlagane nalo- ge poslalo v pregled nacionalnim strokovnjakom s področja naravoslovja. V Sloveniji so to bili strokovnjaki s področja biologije, kemije, fizike in geografije z Zavoda RS za šolstvo. Pregledati je bilo treba pet svežnjev nalog, ki jih je Mednarodno združenje nacionalnim centrom poslalo v obdobju od februarja do avgusta 2004. Vsaka naloga je sestavljena iz stimulusa oziro- ma uvodnega besedila, ki mu sledi več vprašanj. Strokovnjaki Zavoda RS za šolstvo so morali ovrednotiti tri sklope, in sicer: pomembnost posamezne- ga vprašanja za 15-letnika, občutljivost vprašanja in tehnične karakteristike posameznega vprašanja. Za vsako vprašanje so strokovnjaki Zavoda RS za šolstvo morali na lestvici od 1 do 5 (pri čemer 1 pomeni najmanj in 5 največ) oceniti, ali je vsebina v zastavljenem vprašanju pokrita s kurikulom oziroma ali bodo 15-letni učenci, ki bodo zajeti v raziskavo, do časa njene izvedbe (sredina marca) to vsebino v šoli že obravnavali. Pri tem niso smeli poza- biti, da slovenski 15-letniki lahko obiskujejo tako zadnje razrede osnovno- šolskega izobraževanja kot tudi prve letnike srednješolskega izobraževanja. Oceniti so morali tudi pomembnost vsebine posameznega vprašanja za ži- vljenje, zanimivost vprašanja in njegovo avtentičnost oziroma avtentičnost pojava, ki ga vprašanje obravnava. Oceniti so morali sprejemljivost vsebine posameznega vprašanja za naše kulturno okolje. Strokovnjaki so ovrednotili tudi možne težave s prevodom uvodnega besedila in vprašanj v slovenšči- no. Predvsem je bilo treba upoštevati, da vprašanja s prevodom ne smejo izgubiti ali pridobiti na težavnostni stopnji, ter opozoriti na izraze, ki jih v slovenščino morda ne bi bilo mogoče prevesti oziroma bi se s prevodom spremenil njihov pomen (ohraniti je treba funkcionalno ekvivalentnost za merjenje naravoslovne pismenosti 15-letnikov). Ocenili so tudi morebitne težave, povezane z vsebino vprašanj, in kodirno shemo, ki je bila vprašanjem priključena. Na koncu so podali še mnenje o pomembnosti vključitve posa- meznih vprašanj v raziskavo PISA za merjenje naravoslovne pismenosti. Prevode izbranih nalog za raziskavo PISA smo prav tako oddali tudi v branje strokovnjakom Zavoda RS za šolstvo, ki so popravili morebitne napake pri prevajanju strokovnih izrazov in jih nadomestili z izrazi, ki se uporabljajo v šolah in so učencem znani. Vse napake oziroma težave v 114 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 3/4 zvezi z vsebino vprašanj smo zapisali in jih skupaj z izpolnjenimi obrazci poslali Mednarodnemu združenju, ki je podatke o pregledih nalog iz vseh držav upoštevalo pri izboru nalog za uporabo v predraziskavi. Delovni zvezki v raziskavi PISA 2006 Učenci, ki so sodelovali v raziskavi PISA 2006, so odgovarjali na vpraša- nja v delovnih zvezkih. Delovni zvezki so sestavljeni iz vprašanj izbirnega tipa z omejenim številom odgovorov (ponavadi so ponujeni štirje), med katerimi učenec izbere najboljši oziroma pravilni odgovor. Poleg teh so v delovnih zvezkih tudi kompleksna vprašanja izbirnega tipa, pri katerih morajo učenci izbrati enega izmed več možnih odgovorov (drži/ne drži, pravilno/nepravilno itd.). Vključena so tudi vprašanja s kratkimi odgovo- ri, ki od učencev zahtevajo zelo kratek odgovor (npr. odgovor, ki vsebu- je samo številko, eno samo besedo ipd.). Na vprašanja odprtega tipa pa učenci odgovarjajo širše in morajo svoj odgovor pojasniti. Dveurni delovni zvezki so bili razdeljeni v dva enourna dela, vsak pa je bil sestavljen iz dveh 30-minutnih blokov. Med prvo in drugo uro so imeli učenci kratek odmor in daljši odmor, preden so začeli izpolnjevati vprašalnik. Naravoslovno pismenost v raziskavi PISA 2006 zastopa 37 sklopov s 108 vprašanji in 32 mnenjskih vprašanj, ki sledijo nalogam, matematično pismenost zastopa 31 sklopov z 48 vprašanji, bralno pismenost pa zastopa 8 sklopov z 32 vprašanji. Priprava prevodov mednarodnih instrumentov za poskusni zajem podatkov Mednarodni instrumenti za zajem podatkov v raziskavi PISA so pripravlje- ni v dveh osnovnih izvedbah, v angleščini in francoščini, ki sta tudi sicer oba uradna jezika organizacije OECD. Po standardih za izvedbo raziskave PISA je treba prevode mednarodnih instrumentov za zajem podatkov pre- vesti v dveh neodvisnih izvedbah. Priporočeno je, da je vir prevoda ene izvedbe angleška osnova in druge izvedbe francoska osnova. Vendar pa je kot osnovo dovoljeno vzeti le angleško osnovo in obe izvedbi prevoda iz angleške osnove dodatno preveriti s francosko osnovo. Dokončno pri- pravljeni prevodi instrumentarija za raziskavo PISA so bili pred zajemom podatkov na šolah v poskusnem zajemu še natančno pregledani v nacio- nalnem centru, po potrebi prirejeni in poslani v mednarodno verifikacijo, ki jo izvaja cApStAn, prevajalska agencija v Bruslju. Ker Slovenija v prvih 115 TEHNIČNO POROČILO O POTEKU RAZISKAVE PISA 2006 V SLOVENIJI dveh ciklih raziskave PISA ni sodelovala, je bilo treba prevesti tudi mate- matične in bralne naloge za merjenje trendov v dosežkih. Prevedenih je bilo 17 matematičnih, 8 bralnih in 40 naravoslovnih nalog. Poleg tega so bili prevedeni še priročnika za izvajalce in šolske koordinatorje ter drugi dokumenti, za katere je mednarodni center zahteval, da so prevedeni v jezik izvedbe posamezne države. Priprava vzorčnega okvira šol in učencev Standardi za izvedbo raziskave PISA natančno določajo zahteve glede ka- kovosti vzorca šol in učencev, ki bodo zajeti v glavni del zajema podatkov za raziskavo PISA 2006. Za ustreznost analiz na ravni šol je treba v vzorec zajeti najmanj 150 šol, skupno pa najmanj 5250 učencev. V poskusnem zajemu podatkov oziroma v predraziskavi je zahtevano število zajetih šol manjše, približno 40, te pa predstavljajo tako imenovani priložnostni vzo- rec. Tudi v predraziskavi je treba zagotoviti relativno reprezentativnost iz- branih šol, da so čim bolj pokrite možne razlike pri izvajanju raziskave na šolah. Hkrati je treba zagotoviti zajem najmanj 200 odgovorov učencev na posamezno postavko v preizkusih znanja in v spremljajočih vprašalnikih. Ker je bila Slovenija „nova” država v raziskavi PISA 2006, je morala v pre- draziskavi preizkusiti 13 delovnih zvezkov (države, ki so sodelovale že v prejšnjih zajemih podatkov PISA, so preizkusile 12 delovnih zvezkov), kar po zasnovi raziskave skupaj pomeni 1300 zajetih učencev v predraziskavi. Zahtevnost vzorca PISA v Sloveniji je predvsem v tem, da 1 5-letni učen- ci obiskujejo tako osnovno kot srednjo šolo. V Sloveniji smo vzorčili dija- ke glede na izobraževalni program, ki ga obiskujejo, se pravi osemletni in devetletni program, program nižjega poklicnega izobraževanja, srednjega poklicnega izobraževanja, srednjega strokovnega in tehniškega izobraže- vanja, strokovne gimnazije in splošne gimnazije. Koordinacija raziskave in mednarodni sestanki Sodelovanje velikega števila držav v mednarodni primerjalni raziskavi pred- stavlja zahtevno koordinacijo projekta in natančno določanje postopkov iz- vedbe, ki jim morajo slediti vse države. Zato so delovni sestanki nacionalnih koordinatorjev z vodstvom Mednarodnega združenja za izvedbo raziskave PISA nujen način komunikacije in usklajevanja možnosti za primerljivo iz- vedbo raziskave v tako različnih šolskih sistemih. Praviloma letno potekata dva sestanka nacionalnih koordinatorjev in Mednarodnega združenja, na 116 ŠOLSKO POLJE LETNIK XX ŠTEVILKA 3/4 katerih se nacionalni koordinatorji seznanijo s postopki izvedbe in z mo- žnimi prilagoditvami, zberejo se mnenja in dodatni predlogi za oblikova- nje preizkusov znanja in spremljajočih vprašalnikov, načrtuje se nadaljnji potek dela v raziskavi, izvedejo se intervjuji o predvidenih postopkih dela v posameznih nacionalnih centrih, pripravi se časovni načrt prevajanja in verifikacije samih prevodov, s strokovnjaki za pripravo vzorčnega okvira se pripravi načrt za izvedbo vzorčenja za posamezno državo, potekajo dogo- vori o pripravi nacionalnega poročila in rezultatih raziskave in podobno. Praviloma dvakrat letno se sestane tudi Mednarodni svet PISA, ki spre- jema odločitve o nadaljnjem razvoju raziskave, sprejema predloge za med- narodne dodatke v raziskavi, o nalogah v mednarodnem preizkusu znanja in postavke v mednarodnih vprašalnikih o spremljajočih dejavnikih. Literatura PISA 2003 Technical Report (2005). Pariz: OECD.