ILO POROČ OVALNO RAZISK Poročilo o raziskavi Spretnosti odraslih PIAAC 2016 METODOLOGIJA, IZVEDBA IN KAKOVOST RAZISKAVE Raziskovalno poročilo Poročilo o raziskavi spretnosti odraslih PIAAC 2016 – Metodologija, izvedba in kakovost raziskave Urednica: dr. Petra Javrh Avtorji: dr. Nejc Berzelak, Katja Bider, dr. Petra Javrh, Franci Lajovic, Špela Lenič, mag. Marjan Manoilov, mag. Jasmina Mirčeva, mag. Estera Možina, Urška Pavlič, dr. Vasja Vehovar. Jezikovni pregled: Vlasta Kunej Oblikovanje: Larisa Hercog Prelom: Katja Kragelj Izdal: Andragoški center Slovenije Zanj: Mag. Andrej Sotošek Leto: 2016 CIP - Kataložni zapis o publikaciji ija Narodna in univerzitetna knjižnica, Ljubljana og ol 37.014.22(0.034.2) d 159.92-053.8(0.034.2) to 001.8:374.7(0.034.2) Me POROČILO o raziskavi spretnosti odraslih PIAAC 2016. Metodologija, izvedba in LO kakovost raziskave [Elektronski vir] : raziskovalno poročilo / [avtorji Nejc Berzelak ČI ... [et al.] ; urednica Petra Javrh]. - El. knjiga. - Ljubljana : Andragoški center RO Slovenije, 2016 O P Način dostopa (URL): http://piaac.acs.si/raziskava/studije_in_analize/Porocilo_PIAAC_2016_Metodologija LNOA V ISBN 978-961-6851-62-6 (pdf) 1. Berzelak, Jernej 2. Javrh, Petra ISKO 288540160 RAZ Besedilo je nastalo kot rezultat projekta 'Merjenje učinkovitosti sistema izobraževanja in usposabljanja za izboljšanje usposobljenosti izobraževalcev odraslih 2013-2015'. Besedilo je bilo dopolnjeno v okviru Naloge za razvoj pismenosti in kompetenc 2015-2016 Andragoškega centra Slovenije. 1 Oblikovanje in prelom sta bila omogočena v okviru projekta ESS Strokovna podpora področju pridobivanja temeljnih kompetenc 2016-2022. Metodologija, izvedba in kakovost raziskave Osebna izkaznica projekta 'Merjenje učinkovitosti sistema izobraževanja in usposabljanja za izboljšanje usposobljenosti izobraževalcev odraslih 2013- 2015' ..................................................................... 4 1 PREDSTAVITEV PROJEKTA 1.1 Predstavitev projekta »Merjenje učinkovitosti sistema izobraževanja in usposabljanja za izboljšanje usposobljenosti izobraževalcev odraslih 2013- 2015« mag. Estera Možina ........................................................ 13 2 METODOLOGIJA 2.1 Povzetek mednarodne metodologije raziskave Spretnosti odraslih PIAAC in prikaz slovenskih prilagoditev Katja Bider, Špela Lenič .................................................. 22 ija og 3 oldto IZVEDBA TESTIRANJA Me LO 3.1 Platforma za izvedbo standardiziranega testiranja ČI RO Franci Lajovic ............................................................ 43 O P 4 LNOAV VZOREC ISKO 4.1 Zagotavljanje reprezentativnosti vzorca raziskave PIAAC .............. 66 RAZ dr. Nejc Berzelak , dr. Vasja Vehovar ..................................... 66 5 ZBIRANJE PODATKOV IN KONTROLA KAKOVOSTI 5.1 Zbiranje podatkov na terenu in kontrola kakovosti 2 Katja Bider, Špela Lenič .................................................. 83 6 ANALIZA PODATKOV 6.1 »Skripte« za statistično analizo podatkov PIAAC za program IBM SPSS Statistics po vzoru programa IDB Analyzer mag. Marijan Manoilov .................................................... 105 7 DISEMINACIJA 7.1 Diseminacija in promocija projekta ................................. 120 8 VIRI ....................................................................125 9 PRILOGE .................................................................127 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 3 Osebna izkaznica projekta 'Merjenje učinkovitosti sistema izobraževanja in usposabljanja za izboljšanje usposobljenosti izobraževalcev odraslih 2013-2015' Naročnik: Ministrstvo za izobraževanje, znanost in šport. Financer: Ministrstvo za izobraževanje, znanost in šport in Evropski socialni sklad. Izvajalec: Konzorcij projekta Merjenje učinkovitosti: Andragoški center Slovenije, vodilni partner, Statistični Urad Slovenije, Univerza v Ljubljani s tremi članicami (Ekonomska fakulteta, Fakulteta za družbene vede, Filozofska fakulteta). Vodja projekta: dr. Petra Javrh Nacionalna koordinatorica raziskave PIAAC: mag. Estera Možina Člani raziskovalne skupine: mag. Jasmina Mirčeva, ACS, vodja raziskovale skupine PIAAC; dr. Petra Javrh, ACS, vodja projekta; mag. Estera Možina, ACS, nacionalna koordinatorica raziskave PIAAC; dr. Vasja Vehovar, FDV, vodja vzorčenja PIAAC; dr. Nejc Berzelak, FDV, Tatjana Škrbec, SURS, koordinatorica pri partnerju; Katja Rutar, SURS, vodja priprave vzorca PIAAC; raziskovalec in sodelavec vodje vzorčenja PIAAC; dr. Marko Radovan, FF, koordinator pri partnerju; Dr. Vesna Dolničar, FDV, koordinatorica pri partnerju; dr. Vida Mohorčič Špolar, ACS; dr. Janko Muršak, FF; dr. Sonja Kump, FF; dr. Sabina Jelenc Krašovec, FF; Maja Mrzel, FDV; dr. Samo Pavlin, FDV; Tomaž Pušnik , FDV; dr. Robert Kaše, EF, koordinator pri partnerju; dr. Polona Domadenik, EF; dr. Irena Ograjenšek, EF; dr. Nada Zupan, EF; dr. Katja K. Mihelič, EF; dr. Daša Farčnik, EF; Franci Lajovic, ACS, IKT koordinator in vodja baz podatkov PIAAC Drugi strokovni sodelavci pri pripravi strokovnih podlag in priporočil: dr. Tanja Možina, ACS; mag. Zvonka Pangerc Pahernik, ACS; Olga Drofenik, Erika Brenk, ACS; mag. ija Andrej Sotošek, ACS; mag. Peter Beltram, ACS; mag. Margerita Zagmajster, ACS; Darijan og Novak, ACS; mag. Zdenka Birman Forjanič, ACS; Jasmina Orešnik Cunja, ACS; mag. Tanja old Vilič Klenovšek, ACS; dr. Nevenka Bogataj, ACS; Ema Perme, MIZŠ; Natalija Žalec, ACS to Strokovni sodelavci: Katja Bider, ACS, vodja ocenjevanja in koordinatorica anketiranja Me PIAAC; Špela Lenič, ACS, strokovna sodelavka in namestnica koordinatorice anketiranja; Urša Pavlič, ACS, strokovna sodelavka; Vesna Prislan, koordinatorica administrativno LO ČI finančnih nalog; mag. Marjan Manoilov, statistične analize baz podatkov; Ana Božič, SURS RO O Administrativno tehnična podpora: Marjetka Petelin, ACS; Katarina Šešet, ACS; Nina Fele, P ACS; Klemen Zajec, ACS; Marja Koželj LNOA V ISKO RAZ 4 Kazalo slik Slika 1: Mednarodna in nacionalna vpetost projekta PIAAC................... 18 Slika 2: Notranja organizacija projekta ................................... 19 Slika 3: Elementi raziskave spretnosti odraslih ........................... 23 Slika 4: Načrt poteka merjenja spretnosti ................................. 40 Slika 5: PIAAC strežnik in PIAAC prenosni računalnik… .................... 44 Slika 6: Nalepka računalnikov PIAAC ....................................... 45 Slika 7: Slovenska postavitev tipkovnice QWERTY (dobavljeni računalniki so imeli še numerični del tipkovnice) ........................................ 45 Slika 8: Podloga za miško računalnikov PIAAC .............................. 46 Slika 9: Prijava v sistem ................................................. 46 Slika 10: Grafika namizja računalnika za anketiranje ...................... 47 Slika 11: Dostop do programov na namizju PIAAC prenosnih računalnikov ...... 48 Slika 12: Snemalnik zvokov ................................................ 48 Slika 13: Pravilna vzpostavitev VPN PIAAC ACS povezave .................... 49 Slika 14: Za prenos anket ................................................. 49 Slika 15: Uporabniški vmesnik PIAAC CMS ................................... 50 Slika 16: Vnos oznak stanja in vprašanj o okoliščinah ankete v PIAAC CMS na strežniku ................................................................. 51 Slika 17: Vnos vzpostavitev stikov ........................................ 51 Slika 18: Vnos oznake stanja ankete ....................................... 51 Slika 19: Vprašanja o okoliščinah ankete .................................. 52 Slika 20: CMS in VM na PIAAC računalniku .................................. 53 ija og Slika 21: Vsebina ZIP datoteke ankete 50110018.zip ........................ 55 ol dto Slika 22: Urejanje nacionalnih spremenljivk v DME ......................... 55 Me Slika 23: Urejanje nacionalnih vrednostnih shem v DME ..................... 56 LO ČI Slika 24: Postavitev PIAAC platforme na prenosnih računalnikih ............. 57 ROO Slika 25: Pripravljeno gradivo za usposabljanje anketarjev v seminarski sobi P Andragoškega centra Slovenije ............................................. 58 LNO Slika 26: Pripravljeno gradivo za usposabljanje anketarjev v sejni sobi A Andragoškega centra Slovenije ............................................. 58 V Slika 27: Funkcija za izračun kontrolne številke (jezik PHP) ............... 61 ISKO Slika 28: Primer dodeljenih anket v PIAAC CMS na strežniku (podatki so testni) RAZ .......................................................................... 61 Slika 29: Modra številka .................................................. 64 Slika 30: Drevo razvrščanja glede na stopnje odgovora ..................... 75 Slika 31: Realizacija vzorca .............................................. 94 Slika 32: Osnovni zvezek in 1. zvezek nalog ............................... 97 5 Slika 33: Osnovni zvezek in 2. zvezek nalog ............................... 97 Slika 34: 6 setov zvezkov ................................................. 97 Slika 35: Svežnji zvezkov ................................................. 98 Slika 36: Nalaganje »skript« v IBM SPSS Statistics – zagon................ 107 Slika 37: Nalaganje »skript« v IBM SPSS Statistics - čakanje .............. 107 Slika 38: Nalaganje »skript« v IBM SPSS Statistics – obvestilo, da so »skripte« naložene ................................................................. 107 Slika 39: Zagon »skripte« #01 in njeni vhodni parametri – sintaksa programa IBM SPSS ................................................................. 108 Slika 40: IBM SPSS izpisi po zagonu »skripte« #01 - prvi del .............. 109 Slika 41: IBM SPSS izpisi po zagonu »skripte« #01 - drugi del ............. 109 Slika 42: končni rezultati »skripte« #01 - vsebina Excel datoteke ......... 110 Slika 43: Zagon »skripte« #02 in njeni vhodni parametri – sintaksa programa IBM SPSS ................................................................. 110 Slika 44: Zagon »skripte« #03 in njeni vhodni parametri – sintaksa programa IBM SPSS ................................................................. 111 Slika 45: Zagon »skripte« #04 in njeni vhodni parametri – sintaksa programa IBM SPSS ................................................................. 112 Slika 46: Zagon »skripte« #05 in njeni vhodni parametri – sintaksa programa IBM SPSS ................................................................. 112 Slika 47: Zagon »skripte« #06 in njeni vhodni parametri – sintaksa programa IBM SPSS ................................................................. 113 Slika 48: Zagon »skripte« #07 in njeni vhodni parametri – sintaksa programa IBM SPSS ................................................................. 114 Slika 49: Zagon »skripte« #08 in njeni vhodni parametri – sintaksa programa IBM SPSS ................................................................. 114 Slika 50: Zagon »skripte« #09 in njeni vhodni parametri – sintaksa programa IBM SPSS ................................................................. 115 ija og Slika 51: Zagon »skripte« #10 in njeni vhodni parametri – sintaksa programa old IBM SPSS ................................................................. 116 to Slika 52: Zagon »skripte« vgnezdi_spremenljivke in njeni vhodni parametri – Me sintaksa IBM SPSS ........................................................ 116 LO ČI Slika 53: Primer izpisa »skripte« vgnezdi_spremenljivke .................. 117 RO O P LNO Kazalo tabel AV Tabela 1: Pregled področij merjenja v raziskavi spretnosti odraslih (PIAAC) 24 ISKO Tabela 2: Zbrani podatki o značilnostih anketirancev in njihovem socialno- RAZ demografskem ozadju ....................................................... 26 Tabela 3: Zbrani podatki o značilnostih anketirancev glede na izobrazbo in udeležbo v izobraževanju in usposabljanju ................................. 27 Tabela 4: Primeri ustreznega in neustreznega popisa delovnega mesta ........ 28 Tabela 5: Primeri ustreznega in neustreznega popisa dejavnosti ............. 28 Tabela 6: Primeri ustreznega in neustreznega popisa storitev ............... 28 6 Tabela 7: Zbrane informacije o zaposlitvenem položaju, preteklem delu in značilnostih delovnega mesta .............................................. 29 Tabela 8: Zbrane informacije o vidikih ujemanja/neujemanja usposobljenosti in spretnosti ................................................................ 29 Tabela 9: Zbrane informacije o nalogah in dejavnostih pri delu in v vsakodnevnem življenju ................................................................. 29 Tabela 10: Zbrane informacije o družbeni participaciji in zdravju .......... 30 Tabela 11: Porazdelitev besedilnih nalog glede na medij ................... 32 Tabela 12: Porazdelitev besedilnih nalog glede na kontekst................. 32 Tabela 13: Porazdelitev besedilnih nalog glede na kognitivne strategije .... 32 Tabela 14: Porazdelitev nalog, ki vključujejo reševanje problemov glede na kognitivno razsežnost ..................................................... 34 Tabela 15: Porazdelitev matematičnih nalog glede na kontekst............... 34 Tabela 16: Porazdelitev matematičnih nalog glede na vsebino ................ 35 Tabela 17: Porazdelitev nalog, ki vključujejo reševanje problemov glede na kognitivno razsežnost ..................................................... 36 Tabela 18: Porazdelitev nalog, ki vključujejo reševanje problemov glede na tehnološko razsežnost ..................................................... 36 Tabela 19: Porazdelitev nalog, ki vključujejo reševanje problemov glede na kontekst .................................................................. 36 Tabela 20: Porazdelitev nalog, ki vključujejo reševanje problemov glede na imanentno kompleksnost (število korakov) .................................. 36 Tabela 21: Porazdelitev nalog, ki vključujejo reševanje problemov glede na imanentno kompleksnost (število omejitev) ................................. 36 Tabela 22: Porazdelitev nalog, ki vključujejo reševanje problemov glede na eksplicitnost predstavitve problema ....................................... 37 Tabela 23: Opis ravni zmožnosti: besedilne spretnosti in matematične spretnosti .......................................................................... 37 Tabela 24: Opis ravni zmožnosti: reševanje problemov v tehnološko bogatih okoljih ................................................................... 39 Tabela 25: Seznam slovenskih spremenljivk v DME ........................... 53 ija Tabela 26: Primer ID številke zvezkov in anketirancev ..................... 60 ogold Tabela 27: ID številke anketarjev ......................................... 60 to Tabela 28: Izpis podatkov o anketah glede na oznako stanja na določen dan .. 62 Me LO Tabela 29: Datum zadnjega prenosa anket po posameznih anketarjih ........... 64 ČI Tabela 30: Struktura populacije (Centralni register prebivalstva, CRP) in ROO izbranega glavnega vzorca glede na spol, starost in statistično regijo. .... 69 P Tabela 31: Kategorizacija izidov anketiranja v respondente, nerespondente in LNO izločene enote, ki je bila uporabljena za spremljanje sodelovanja in analizo AV pristranskosti zaradi neodgovora .......................................... 70 Tabela 32: Dosežena stopnja odgovora po državah ........................... 70 ISKO Tabela 33: Stopnje odgovora in realizirane velikosti vzorca glede na osnovne RAZ socio-demografske značilnosti izbranih oseb. .............................. 72 Tabela 34: Primerjava realizirane in populacijske socio-demografske strukture z izračunom absolutnih in relativnih razlik. .............................. 73 Tabela 35: Opis skupin z najvišjimi in najnižjimi stopnjami sodelovanja, identificiranih z uporabo drevesa razvrščanja ............................. 76 7 Tabela 36: Rezultati logistične regresijske analize s prikazom regresijskih koeficientov, razmerij obetov in vrednosti statističnih preizkusov. ........ 77 Tabela 37: stopnje odgovorov pri vprašanjih s stopnjami pod pragom 85 %. ... 78 Tabela 38: Razširjena analiza pristranskosti zaradi neodgovora ............. 80 Tabela 39: Načrt anketarske mreže po regijah .............................. 84 Tabela 40: Vmesne oznake stanja ........................................... 87 Tabela 41: Končne oznake stanja ........................................... 87 Tabela 42: Model ocenjevanja s 3 ocenjevalci .............................. 96 Tabela 43: Model ocenjevanja z 2 ocenjevalcema ............................ 96 Tabela 44: Zanesljivost ocenjevanja med državami in znotraj posamezne države .......................................................................... 99 Tabela 45: Usklajenost ocenjevanja med ocenjevalci ....................... 101 Tabela 46: Usklajenost ocenjevanja med posameznimi nalogami v Osnovnem zvezku ......................................................................... 101 Tabela 47: Usklajenost ocenjevanja med posameznimi nalogami v 1. Zvezku nalog ......................................................................... 101 Tabela 48: Usklajenost ocenjevanja med posameznimi nalogami v 2. Zvezku nalog ......................................................................... 102 Tabela 49: Usklajenost ocenjevanja med posameznimi nalogami v Zvezku nalog bralne pismenosti ........................................................ 102 Tabela 50: Predstavitve projekta PIAAC na strokovnih dogodkih v okviru Parade učenja 2015 .............................................................. 124 Kazalo grafov Graf 1: Število opravljenih anket z dokončanim osnovnim vprašalnikov (BQ=1) 63 Graf 2: Število narejenih anket z vsaj osnovnim vprašalnikom po dnevih ..... 63 ija Graf 3: Dokončane ankete in odstotek narejenih po anketarjih ............... 63 ogol dto Me Kazalo prilog LO ČI Priloga 1: Vprašanja o karieri ........................................... 128 RO O Priloga 2: Vabilo k sodelovanju v raziskavi .............................. 132 P Priloga 3: Letak ......................................................... 133 Priloga 4: Obvestilo o obisku anketarja .................................. 134 LNOA Priloga 5: Pooblastilo o anketiranju ..................................... 134 V Priloga 6: Soglasje staršev .............................................. 135 ISKO Priloga 7: Obrazec za izpeljavo ankete ................................... 136 Priloga 8: PIAAC: Obrazec za izpeljavo ankete - Evidenca stikov ........... 138 RAZ Priloga 9: PIAAC: Obrazec za poročanje o neuspeli anketi ................. 139 Priloga 10: Obrazec Spremljanje anketarjev na terenu ..................... 142 Priloga 11: PIAAC Obvestilo za anketarje ................................. 145 Priloga 12: Kontrolni vprašalnik za raziskavo PIAAC ...................... 146 Priloga 13: Vprašalnik o izvedbi raziskave PIAAC ......................... 148 Priloga 14: Vprašalnik o ugotavljanju veljavnosti ankete s strani nadzornika ............................................................... 149 8 Priloga 15: Kartica z navodili za snemanje intervjuja .................... 154 Priloga 16: Obrazec za poslušanje posnetih intervjujev ................... 155 Priloga 17: ANALIZA - Grafi .............................................. 158 Priloga 18: Dopis intervjuvancem ......................................... 204 Priloga 19: Dopis intervjuvancem ......................................... 205 Priloga 20: Obrazec Zvezek nalog Bralne pismenosti ....................... 206 Priloga 21: Ocenjevalni obrazec – 2. Zvezek nalog ........................ 211 Priloga 22: Ocenjevalni obrazec - Osnovni zvezek ......................... 212 Priloga 23: Ocenjevalni obrazec - 1. Zvezek nalog ........................ 213 Priloga 24: Seznam spremenljivk mednarodne datoteke z anketnimi podatki ... 214 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 9 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ PREDGOVOR 10 Spoštovani bralec Poročila o raziskavi Spretnosti odraslih PIAAC 2016! Pred vami je prvi del Poročila o raziskavi Spretnosti odraslih PIAAC 2016, ki je potekala v okviru projekta »Merjenje učinkovitosti sistema izobraževanja in usposabljanja za izboljšanje usposobljenosti izobraževalcev odraslih 2013 - 2015«. Poročilo obsega tri ločene zvezke: Metodologija, izvedba in kakovost raziskave, Tematske študije ter Strokovne podlage in priporočila. V prvem, uvodnem zvezku Metodologija, izvedba in kakovost raziskave je predstavljena kompleksna metodologija raziskave in opisan celoten projekt, ki so ga v letih 2013-2015 izvajali trije partnerji slovenskega konzorcija. Andragoški center Slovenije je bil vodilni partner, sodelovala sta še Statistični urad RS in Univerza v Ljubljani s članicami Ekonomsko fakulteto, Filozofsko fakulteto in Fakulteto za družbene vede. Prvi zvezek je namenjen podrobni seznanitvi z izvedbo terenskega dela mednarodne raziskave Raziskave spretnosti odraslih PIAAC, ki je potekala v okviru projekta, mednarodno metodologijo raziskave, z inštrumenti in s postopki zbiranja podatkov, ki so bili uporabljeni v slovenskem delu raziskave. Poleg tega je prikazano tudi, kako je bila zagotovljena neoporečnost in kakovost postopkov pri neposrednem zbiranju podatkov na terenu ter njihova priprava za vključitev v mednarodno bazo podatkov. V zadnjem delu zvezka boste našli opis prizadevanj raziskovalne skupine PIAAC v Sloveniji, da se čim bolje seznani z mednarodno bazo podatkov, jo kompetentno ekploatira in korektno interpretira, saj je znano, da je baza PIAAC ena zahtevnejših in hkrati tudi najsodobnejših baz podatkov za statistične obdelave. Zadnje poglavje tega zvezka je namenjeno opisu obsežne promocije o pomenu baze podatkov PIAAC za Slovenijo in za izobraževanje odraslih. S predavanji in usposabljanji, objavami v strokovnih in javnih občilih, z radijskimi in televizijskimi oddajami, ter z objavami na spletni strani ter facebooku, je bila slovenski strokovni, odločevalski in tudi širši javnosti prikazana razsežnost ugotovitev raziskave PIAAC in pomen za nadaljnje razvojno načrtovanje na različnih področjih družbenega življenja. Ne gre pa ob prebiranju Poročila o raziskavi Spretnosti odraslih PIAAC 2016, da bodo ključne ugotovitve tega poročila dobile svojo pravo vrednost, ija ko bodo dopolnjena z globljimi vpogledi v vzroke stanja, kot se je pokazalo ogol skozi raziskovalne podatke. Za take analize je potreben predvsem čas in d podpora odločevalcev. to Me Drugi, osrednji zvezek Tematske študije je zajeten, saj vsebuje deset študij s prilogami. Tematske študije so bile zasnovane tako, da so omogočale LO ČI preliminarne analize na mednarodnih podatkih v letih 2013-2014, ko je raziskava v Sloveniji še tekla. Dokončne analize so potekale v letih 2015- ROO 2016, ko so bili na voljo slovenski podatki. P Strokovne podlage in priporočila je tretji samostojni zvezek Preliminarnega LNO poročila, namenjen predvsem načrtovalcem politik. Da bi bilo to gradivo AV čim prijaznejše in primerno za uporabo, je oblikovano tako, da poleg zaključkov na osnovi baze PIAAC v utemeljitvi posameznih priporočil ISKO izpostavlja tudi druge strokovne vire, ki omogočajo vpogled v širino in obseg izhodišč, na osnovi katerih je bil narejen razmislek o predstavljenih RAZ priporočilih. Dr. Petra Javrh, urednica 11 V Ljubljani, 30. december 2016 ija ogoldto Me LO ČI RO O P 1 LNOAV ISKO PREDSTAVITEV RAZ PROJEKTA 12 1.1 Predstavitev projekta »Merjenje učinkovitosti sistema izobraževanja in usposabljanja za izboljšanje usposobljenosti izobraževalcev odraslih 2013-2015« mag. Estera Možina Slovenija se je leta 2012 odločila za ponovno sodelovanje v mednarodni raziskavi spretnosti na reprezentativnem vzorcu odraslih. Prvič smo v državi izpeljali mednarodno raziskavo spretnosti odraslih na velikem vzorcu leta 1998 pod okriljem OECD v okviru Mednarodne raziskave pismenosti odraslih (International Adult Literacy Survey -IALS)1. Po 14 letih se je Slovenija pridružila skupini osmih držav OECD (Grčija, Turčija, Izrael, Litva, Nova Zelandija, Singapur, Čile, Indonezija), ki so izvajale raziskavo PIAAC v drugem krogu med leti 2012 in 2016. V prvem krogu med leti 2008 in 2013 je v raziskavi sodelovalo 24 držav OECD2. Raziskava PIAAC je tako največja raziskava na področju izobraževanja odraslih v zgodovini, saj je v njej sodelovalo že več kot 200.000 odraslih med 16. in 65. letom iz 33 držav. Slovenija je izvedbo raziskave PIAAC zagotovila s pomočjo sredstev Evropskega socialnega sklada in Ministrstva za izobraževanje, znanost in šport v okviru projekta »Merjenje učinkovitosti sistema izobraževanja in usposabljanja za izboljšanje usposobljenosti izobraževalcev odraslih (kratko Merjenje učinkovitosti)3. Projekt je v Sloveniji potekal od 1. januarja 2013 do 30. junija 2015. Za izvajanje projekta je bil v Sloveniji na Javnem razpisu januarja 2013 izbran konzorcij treh partnerskih ustanov: Andragoški center Slovenije (ACS) kot vodilni partner konzorcija, Statistični urad Slovenije (SURS), ter Univerza v Ljubljani s tremi članicami, Fakulteto za družbene vede (FDV), Ekonomsko fakulteto (EF) in Filozofsko fakulteto (FF), Oddelek za pedagogiko in andragogiko. Projekt je denarno podpirala poleg Evropskega socialnega sklada tudi Evropska ija komisija prek programa Vseživljenjsko učenje (sofinancirala je mednarodne ogol stroške do višine 80%). dto Za Slovenijo je bil projekt nacionalnega pomena, saj smo lahko po 14. letih Me ponovno ocenili stanje in ga v manjšem delu lahko tudi primerjali s tistim leta 1998 ter s tem spremljali trende gibanja kakovostnega dela kapitala izobrazbe. LO Poleg tega je bila raziskava PIAAC izrazito medsektorska. Zaradi tega je bil ČI za spremljanje projekta imenovan Nacionalni konzorcij PIAAC, ki je deloval pod RO okriljem Urada za razvoj izobraževanja MIZŠ. Člane konzorcija je imenoval O P minister za izobraževanje, znanost in šport in sicer iz vrst predstavnikov konzorcijskih partnerjev, predstavnikov MIZŠ in drugih resorjev. LNOA Projektne aktivnosti so sledile metodološkim in tehničnim navodilom in V terminskemu načrtu, ki jih je pod okriljem OECD, pripravil in izvajal mednarodni konzorcij PIAAC (npr. PIAAC Technical Standards and Guideliness - Navodila in ISKO standardi za izvajanje raziskave PIAAC in PIAAC Survey Operations Quality RAZ Control and Management Standards - Priročnik za zagotavljanje kakovosti raziskave). 1 Glej: Pismenost odraslih v Sloveniji - pozabljeni kapital / Ester Možina. V: Pismenost, participacija in družba znanja : 4. andragoški kolokvij z mednarodno udeležbo / zbrala in uredila Mateja Pečar. Ljubljana : 13 Andragoški center Republike Slovenije, 2000. Str. 9-11. 2 V prvem krogu v letih 2008-2013 so izpeljale raziskavo PIAAC naslednje države: Avstralija, Kanada, Irska, Avstrija, Estonija, Švedska, belgija, Španija, Nemčija, ZDA, Norveška, Velika Britanija, Francija, Nizozemska, Italija, Danska, Češka, Finska, Poljska, Japonska, Koreja, Slovaška. 3 Projekt je potekal v obdobju izvajanja Operativnega programa razvoja človeških virov za obdobje 2007-2013 št. CCI 2007SI051PO001 z dne 21. 11. 2007. V projektu “Merjenje učinkovitosti” sta bila zasnovana dva ključna dela: priprava in izvedba raziskave PIAAC (prevod in prilagoditev inštrumentarija, priprava in zbiranje podatkov na terenu, priprava nacionalne baze podatkov) ter analitično aplikativni del (statistična obdelava in analiza ter objava podatkov). Šele sinteza obeh je zagotovila doseganje končnih ciljev projekta. Cilji projekta so vključevali 4 ključne vidike, ki jih preučujejo tematske študije v drugem delu poročila: ugotavljanje kompetenc; uporaba, razvoj ali usihanje kompetenc (vpliv izobraževanja, delovnega mesta in okolja); vpliv kompetenc na ekonomski in socialni položaj posameznika, panoge, regije in države; ter priporočila in strokovna izhodišča za izobraževalno in druge politike. Cilji projekta obsegajo: • ugotavljanje porazdelitve, razvoja in upadanja kompetenc v populaciji (16-65) in mednarodne primerjave teh rezultatov, • kakovost znanj in kompetenc pridobljenih v izobraževalnem sistemu (v sistemu izobraževanja mladine v primerjavi s sistemom izobraževanja odraslih), • ugotavljanje vplivov različnih ravni kompetenc na socialne in ekonomske rezultate na ravni posameznika, podjetja in države, • ugotavljanje vplivov delovnega mesta, družine in stila življenja na uporabo, razvoj ali upadanje kompetenc, • oblikovanje podlag za načrtovanje politik (razvoj izobraževalnih programov, usposabljanje izobraževalcev, umestitev izobraževalne politike v sektorske politike): z vidika vključevanja v vseživljenjsko učenje (spodbude za povečanje vključenosti), z vidika zahtev delovnih mest (npr. ali obstaja razkorak med kompetenco digitalne pismenosti in zahtevami delovnega mesta), z vidika odpravljanja neusklajenosti izobraževalne politike in politike trga dela (npr. razvoj novih programov za odrasle in programov usposabljanja izobraževalcev odraslih), z vidika večje usklajenosti aktivne politike zaposlovanja, skladnosti regionalnega razvoja, razvoja podeželja z izobraževalno politiko (uskladitev kompetence ciljnih skupin, opredeljenih v teh politikah s kompetencami, ki jih zahtevajo delovna mesta, ki so na voljo za brezposelne, starejše in kmečko populacijo), • ugotavljanje vplivov na uvrstitev Slovenije glede razvitosti kompetenc ija populacije v mednarodnem prostoru, ugotavljanje sprememb v dosežkih og pismenosti in socialno kulturnih sprememb v participaciji odraslih v ol izobraževanju. dto Ključna posebnost projekta v Sloveniji je, da cilji projekta ne vključujejo Me zgolj ciljev OECD PIAAC – Program za mednarodno ocenjevanje kompetenc odraslih, LO temveč tudi analitično aplikativne nacionalne cilje. Slovenski projekt tako ČI poleg merjenja kompetenc, ki je jedro raziskave PIAAC, obsega še preučevanje uporabe, razvoja in usihanja kompetenc (vpliv izobraževanja, delovnega mesta RO O in okolja), vpliv kompetenc na ekonomski in socialni položaj posameznika, P panoge, regije in države, ter pripravo priporočil in strokovnih izhodišč za izobraževalno in druge politike. Vse to je bila ključna naloga analitično LNOA aplikativnega dela slovenskega projekta. Posebej pa želimo opozoriti, da je V zbrana baza podatkov PIAAC ena najbogatejših zbranih baz podatkov sploh, ki omogoča številne primerjave, analize in navzkrižne študije. Ta analitični ISKO potencial je veliko širši kot ga zajema projekt Merjenje učinkovitosti. V nacionalnem interesu bi moralo biti, da se ta analitični potencial baz podatkov RAZ še nadalje izčrpa, saj so baze podatkov javno dostopne. Raziskava PIAAC obsega prilagoditev metodologije OECD PIAAC in zbiranje podatkov o kompetencah na naključnem vzorcu odraslih v starosti od 16 do 65 let po gospodinjstvih, in sicer 1500 v pilotni raziskavi in 5000 v glavni raziskavi. Raziskovalni načrt same terenske PIAAC obsega temeljit osnovni vprašalnik za zbiranje socio-demografskih značilnosti in inštrumente za testiranje spretnosti in kompetenc prek računalnika. Tak okvir omogoča pridobivanje podatkov s pomočjo katerih je mogoče identificirati in izmeriti razlike v kompetencah med posamezniki in državami za katere se domneva, da 14 prispevajo k osebni uspešnosti in konkurenčnosti družbe kot celote, s čimer bomo dobili bolj celovito sliko o zalogi človeškega kapitala. Prav to so najpomembnejši nastavki za nadaljevanje projekta v analitično aplikativnem delu. Analitično-aplikativni del je obsegal poglobljene analize baz podatkov, ki so bili zbrani s terensko raziskavo PIAAC tako za slovenski vzorec kot tudi mednarodne podatke. Projekt je bil zasnovan tako, da se je ta naloga izvajala v dveh fazah: v prvi fazi z analizo stanja in drugih primerljivih podatkov ter teoretskih izhodišč (kar je neke vrste podlaga za nadaljnje analize) in v drugi fazi s kompleksnejšimi statističnimi obdelavami baze podatkov ter sintezo teorije in empiričnega raziskovanja. Namen analitično aplikativnega dela projekta pa je bilo predvsem oblikovanje predlogov in sistemskih rešitev. To predstavlja aplikativno uporabo dobljenih ugotovitev za nadgradnjo strokovnih podlag za oblikovanje politik za razvoj spretnosti odraslih, določitev nacionalnih kazalnikov za spremljanje stanja in napredka, razvoj in nadgradnjo priporočil za nadaljnji razvoj programov izobraževanja, ter razvoj, pripravo in izvedbo usposabljanja izobraževalcev v izobraževanju in usposabljanju odraslih za uporabo sodobnih oblik in metod učenja in poučevanja. To so tudi končni kazalniki projekta “Merjenje učinkovitosti”, ki pa so življenjsko odvisni od vključitev širših deležnikov problema, drugih resorjev, saj je potrebno doseči soglasje glede tako ključnih dokumentov kot so priporočila, strategije, kazalniki in strokovne podlage za oblikovalce politik. Opis aktivnosti in nalog v projektu Projekt je obsegal tri aktivnosti, ki so bile nadalje razdeljene v posamezne naloge, to so bile vsebinsko zaokrožene vendar pa povezane celote za doseganje ciljev projekta, in sicer: »Razvoj kazalnikov za merjenje kompetenc odraslih«, »Priprava in izpeljava poskusnega in glavnega merjenja kompetenc« ter »Analiza stanja na področju kompetenc odraslih in mednarodna primerjava«. Aktivnost »Razvoj kazalnikov za merjenje kompetenc odraslih« je obsegala razvoj, prevod in prilagoditev ter spremljanje in analizo najprej (prva faza) pilotnega preizkusa metodologije in inštrumentov za merjenje kompetenc odraslih, v drugi fazi pa je zajemal pripravo na implementacijo v okviru glavne raziskave. To je bila vrsta med seboj povezanih nalog, ki so terjale sodelovanje raziskovalcev in ekspertnih strokovnjakov različnih področij zato, da se je zagotovila primerljivost, veljavnost in zanesljivost uporabljene metodologije za merjenje kompetenc odraslih. Pri tem smo uporabili ekspertno znanje raziskovalcev v konzorciju, ki so se v okviru mednarodnega konzorcija usposabljali za izvajanje projektnih nalog. Že v projektnem načrtu je bilo ija zamišljeno, da je koordinator aktivnosti Andragoški center Slovenije kot ogol vodilni konzorcijski partner, posamezne naloge so se izvajale tudi v delovnih d skupinah. V aktivnosti je bilo predvidenih 5 glavnih področij dela, večina se to jih je izvajala v celotnem obdobju trajanja projekta, zato so bili do njenega Me izteka načrtovani delni kazalniki za spremljanje napredka. Pri nalogah je bilo predvideno sodelovanje vseh ali posameznih partnerjev v konzorciju. Vse naloge LO ČI v okviru aktivnosti so bile izpeljane v pričakovanem obsegu, v predvidenih rokih in v skladu s pričakovanimi standardi kakovosti. V nadaljevanju so kratko ROO opisana posamezna področja dela v okviru te aktivnosti. P - Pregled in dokončanje prevodov vseh instrumentov: ACS je bil v LNO konzorciju odgovoren za pripravo raziskovalnega inštrumentarija in je AV koordiniral dopolnjevanje, testiranje in pripravo vseh raziskovalnih inštrumentov za potrebe glavne raziskave. Pri testiranju so sodelovali EF, FF, FDV in ACS (več o tem v poglavju 2.1). ISKO - Prilagoditev in izvedba aplikacij ter platforme za računalniški zajem RAZ podatkov, tisk instrumentov v okviru pilota ter priprava navodil za izvedbo anketiranja: ACS je bil v konzorciju odgovoren za namestitev, testiranje in vzdrževanje vseh aplikacij in opreme potrebne za izvedbo raziskave (z opremo mislimo na strežnik in 67 računalnikov s pripadajočo opremo). Uporabljene so bile naslednje aplikacije: aplikacija za delo z anketami ''Case Management System'' (CMS), aplikacija z nalogami ''Virtual Machine'' (VM), aplikacija za pripravo baze podatkov ''Data Management Expert'' (DME). Vse aplikacije in oprema so bili nameščeni 15 in preizkušeni že v pilotni raziskavi, za potrebe izvedbe glavne raziskave so bile aplikacije in oprema posodobljeni in ponovno testirani. Med zbiranjem podatkov na terenu so se popravljale ugotovljene napake pri delovanju aplikacije CMS v sodelovanju z nemškim partnerjem. Popravki in dopolnitve so služili pri pripravi analize neodgovora (Non Response Bias Analysis, krajše NRBA) po končanem anketiranju (več o tem v poglavju 3.1). - Priprava in utemeljitev načrta vzorčenja za pilotno testiranje ter izdelava vzorca: Za vzorčni načrt in za izdelavo vzorca sta bili zadolženi FDV kot nosilec postopkov vzorčenja in SURS, sodeloval pa je tudi ACS. FDV je v sodelovanju s SURS dokončala pripravo vzorčnega načrta za glavno raziskavo in ga uskladila z Westat (ameriški urad za statistiko, ki je bil v mednarodnem konzorciju zadolžen za vodenje postopkov vzorčenja). Priprava vzorca je sledila vzorčnemu načrtu, ki je bil uporabljen in testiran v pilotnem raziskovanju. Vzorec je bil pripravljen na podlagi dvostopenjskega slučajnega sistematičnega vzorčenja z izborom 17 oseb na drugi stopnji – v izbranih vzorčnih enotah. Izbrane osebe so bile v glavni raziskavi sistematično razdeljene na osnovni vzorec s petnajstimi osebami in rezervni vzorec s po dvema osebama na vzorčno enoto. Pri določitvi števila vzorčnih enot je bila upoštevana predvidena stopnja odgovorov v glavni raziskavi in to je med 60 in 70 odstotki in zahtevano število odgovorov vsaj pet tisoč oseb. Izbranih je bilo 600 vzorčnih enot, proporcionalno glede na tip naselja in statistično regijo. Končni osnovni vzorec je obsegal 9.000 oseb, rezervni vzorec, ki bi bil uporabljen v zaključni fazi anketiranja in le v primeru nepričakovano velikega deleža neodgovorov, pa obsega dodatnih 1.200 oseb. Westat je dovolil izbor vzorca tik pred začetkom zbiranja podatkov (v začetku marca 2014), zato je bilo za vzorčni okvir uporabljeno najnovejše stanje Centralnega registra prebivalstva. Po izvedbi priprave vzorca, so se pričeli postopki natančnega preverjanja njegove skladnosti z vzorčnim načrtom. Ugotovitve preverjanja postopkov vzorčenja so bile sporočene Westatu, ki je potrdil ustreznost vzorca za nadaljnjo uporabo. Izdelana je bila tudi strategija za pravočasno identifikacijo potrebe po uporabi rezervnega vzorca oseb v primeru nižje stopnje sodelovanja od pričakovane. Analize vzorca so se izvajale tudi med potekom zbiranja podatkov, rezultati so se mesečno poročali Westat. Spremljanje realizacije vzorca je obsegalo različne parametre (regija, popisni okoliš, anketar, starost, spol ter skladnost realiziranega vzorca z merili reprezentativnosti). Pripravljene so bile populacijske vrednosti glede na izobrazbo prebivalcev po kategorijah izobrazbe, ki se jih uporablja v vprašalniku PIAAC. Ti podatki so bili pripravljeni s pomočjo SURS-ove demografske baze socialnih spremenljivk v povezavi z različnimi teritorialnimi razdelitvami Slovenije. S primerjavo ija izobrazbene strukture sodelujočih oseb iz ankete in populacijskih ogol vrednosti se je lahko bolj natančno spremljalo reprezentativnost zbranih d odgovorov in bolj načrtno iskalo odgovore od skupin, ki so bile slabše to zastopane med podatki. Populacijski podatki so bili uporabljeni za Me pripravo uteževanja in za preverjanje veljavnosti datoteke SDIF (Sample Design International File) (več v poglavju 4.1.). LO ČI - Koordinacija konzorcija, vodenje aktivnosti, priprava in organizacija sestankov in delo raziskovalne skupine v konzorciju v teku izvajanja RO O projekta, je izvajal ACS. ACS je kot vodilni partner pripravil načrt P dela konzorcija, ki je bil predstavljen na sestankih nacionalne koordinacije projekta in na sestanku raziskovalne skupine. Glede na LNO načrt se je izvajanje aktivnosti, obveščanje in spremljanje izvajanja AV aktivnosti v konzorciju zagotavljalo prek sestankov raziskovalne skupine in dela ožjih delovnih skupin ter sestankov Nacionalne koordinacije ISKO PIAAC na MIZŠ na nacionalni ravni, ter prek delovnih sestankov, ki jih je organiziral mednarodni konzorcij na mednarodni ravni. Partnerji v RAZ konzorciju so oblikovali delovne in raziskovalne skupine za izvajanje aktivnosti v projektu. - Podpora administrativnemu in finančno tehničnemu izvajanju projekta, pri čemer je bilo mišljeno zagotavljanje ustreznega finančnega in administrativno tehničnega poslovanja v skladu z navodili za izvajanje projektov ESS v celotnem konzorciju. Izpeljevali so se postopki razpisov in zaposlitev, pripravljala se je dokumentacija in pogodbe, izvajali so se postopki javnega naročanja za predvidene aktivnosti (nabava tehnične opreme, tisk, oglaševanje, nabava gradiva), ter priprava vsebinskih in finančnih načrtov in poročil za financerja, in sicer mesečno, trimesečno 16 in letno. ACS je kot vodilni partner koordiniral delo vseh partnerjev pri pripravi in oddaji konzorcijskih poročil in dokumentacije. Osrednja aktivnost v projektu »Priprava in izpeljava poskusnega in glavnega merjenja« je obsegala več področij dela za pripravo in izpeljavo poskusnega merjenja in v drugi fazi (2014) tudi glavnega merjenja spretnosti odraslih. Tudi v okviru te aktivnosti je bilo delo izpeljano v skladu z mednarodnim in nacionalnim terminskim načrtom in standardi kakovosti. - Priprava na implementacijo raziskave na terenu: Pri tem so sodelovali ACS, FDV in SURS. ACS je (po izstopu Centra za raziskovanje javnega mnenja pri FDV februarja 2013) kot vodilni konzorcijski partner prevzel tudi izpeljavo glavne raziskave, delo je obsegalo: promocijo projekta in informiranje javnosti, pripravo navodil za izvedbo anketiranja in pripravo in izvedbo usposabljanja anketarjev, pripravo obrazcev za spremljanje in poročanje o anketah, pripravo gradiva in pripomočkov za anketiranje ter potrebnih seznamov s podatki. Za potrebe informiranja javnosti je bila vzpostavljena spletna stran projekta: http://piaac.acs.si/, ki se je posodabljala ves čas trajanja projekta in po njem (več v poglavju 5.1). - Anketiranje in zbiranje podatkov na terenu: Naloga je obsegala izpeljavo zbiranja podatkov na terenu, izvedbo kodiranja poklicev in dejavnosti, izvedbo ocenjevanja nalog v tiskanih inštrumentih ter pripravo baze podatkov v skladu z mednarodnimi navodili in standardi. Naloga zbiranja podatkov za glavno raziskavo je potekala v celoti v koordinaciji Andragoškega centra Slovenije (kazalnik načrtovanega števila anket je bil 5000), pri posameznih nalogah sta sodelovala SURS in FDV. ACS je zagotovil organizacijsko, kadrovsko, strokovno in tehnično podporo ves čas izvajanja anketiranja na terenu. V skladu s časovnico mednarodnega konzorcija in OECD je potekala glavna raziskava PIAAC za države drugega kroga od aprila do decembra 2014. V Sloveniji smo ujeli projektno časovnico OECD, prvi uradni dan anketiranja je bil 31.3.2014, potekalo pa je do 21.12.2014, ko je bilo doseženo načrtovano število anket (5165).Validacija opravljenih anket se je opravljala v skladu z mednarodnimi navodili in standardi za izvajanje projekta PIAAC, ter z mednarodnimi navodili za zagotavljanje kakovosti izvajanja raziskave. ACS je o izvajanju vseh teh postopkov enkrat mesečno poročal Westat, na podlagi poročila je potekal telefonski pogovor o podrobnostih poročila, Westat je pripravljal poročilo s priporočili za odpravljanje morebitnih napak ugotovljenih med pogovorom in ob poročilu. Druga osrednja aktivnost »Analiza stanja na področju kompetenc odraslih in mednarodna primerjava« je prav tako obsegala več področij dela, ki so zajemala pripravo preliminarnega in končnega nacionalnega poročila o rezultatih projekta, pripravo tematskih študij, zaključne konference, oblikovanje ija priporočil in predlogov za aplikativno uporabo dobljenih ugotovitev ter razvoj, og pripravo in izvedbo usposabljanja izobraževalcev v izobraževanju in old usposabljanju odraslih za uporabo sodobnih oblik in metod učenja in poučevanja. to Aktivnost je omogočila pripravo priporočil za načrtovalce politik z vidika vključevanja v vseživljenjsko učenje, z vidika zahtev delovnih mest, z vidika Me predlogov za odpravljanje neusklajenosti izobraževalne politike in politike LO trga dela, z vidika predlogov za povečanje usklajenosti aktivne politike ČI zaposlovanja, skladnega regionalnega razvoja, razvoja podeželja z izobraževalno RO politiko, vključno z IKT. Delo v aktivnosti se je osredotočalo na naslednje: O P - Priprava tematskih študij oziroma analiz rezultatov projekta, na podlagi mednarodnih in nacionalnih bazah podatkov: Tematske študije in njihove LNOA ugotovitve so služile za sooblikovanje strokovnih in političnih V odločitev na področju izobraževanja, zaposlovanja in trga dela, ter gospodarstva, ki temeljijo na podatkih (t.i. evidence-based policy ISKO making). Pripravljene so bile teoretske podlage za 9 tematskih študij ter analize mednarodnih podatkov, pri čemer je bilo na voljo več orodij. RAZ IDB Analyzer je eden izmed programov, ki vsebuje skripte za statistične obdelave podatkov, za potrebe analize slovenskih podatkov, pa smo omenjene skripte prilagodili. Priprava skripte za potrebe statistične obdelave podatkov je potrebna zato, ker je pri statističnih analizah PIAAC treba upoštevati večstopenjski vzorec in kompleksni merski inštrument. Klasična statistična orodja, kot je npr. SPSS, predvidevajo enostopenjske vzorce. Pri večstopenjskih vzorcih in kompleksnih merskih inštrumentih, kot je PIAAC-ov (npr. angl. Item Response Teory, Matrix 17 Design), je potrebno SPSS nadgraditi oziroma izvajati določene programske vrstice oz. skripte, ki so programirane posebej za te namene. Predvideno urejanje, razvoj in testiranje zahtevnejših skriptov predvideva, da se iz delovnega procesa izloči IDB Analyzer, in sicer tako, da se pripravi zbirka vseh skript omenjenega programa in se jo tako uredi in dokumentira, da je možno omenjene skripte uporabiti brez programa IDB Analyzer. Dokumentacija omenjenih skript bo predvidoma v Excelu in tako pripravljene in urejene skripte bo možno prekopirati direktno v programsko orodje SPSS (v datoteko s sintakso). Pri tem bodo skripte uporabljale enake uteži (angl. weights) in (angl. plausable values), kot jih uporablja oziroma pripravi IDB Analyzer. Tak način bo omogočal delo direktno s programom SPSS (in Excel), brez uporabe programa IDB analyzer. Za uporabo navedene skripte je bil pripravljen tudi poseben priročnik, ki je bil posredovan članom raziskovalne skupine (več v poglavju 6.1). - Priprava in izvedba projektne zaključne konference: Zaključna konferenca je bila zamišljena kot nacionalni dogodek za okvirno 100 udeležencev, predvsem izobraževalcev odraslih, raziskovalcev in načrtovalcev politik (več v točki 7.1). Konferenca je potekala v Ljubljani, 26. maja 2015. Med drugim je bila namenjena predstavitvi mednarodnih podatkov o spretnostih odraslih, prikazu slovenskega projekta ESS, razpravi in poenotenju o terminologiji (npr. kompetence – zmožnosti – spretnosti), identifikaciji novih raziskovalnih področij, ki jih nismo naslovili v projektu, predstavitvi povezav PISA in PIAAC metodologij. Na dogodku so sodelovali vsi partnerji v konzorciju z vsebinskimi prispevki. - Oblikovanje priporočil in predlogov za aplikativno uporabo dobljenih ugotovitev: Priporočila so obsegala nadgradnjo strokovnih podlag za oblikovanje politik za razvoj kompetenc odraslih, določitev nacionalnih kazalnikov za spremljanje stanja in napredka, razvoj in nadgradnjo priporočil za nadaljnji razvoj programov izobraževanja, ter razvoj, pripravo in izvedbo usposabljanja izobraževalcev v izobraževanju in usposabljanju odraslih za uporabo sodobnih oblik in metod učenja in poučevanja. Delovalo je 8 delovnih skupin, ki so pripravljale nabor predlogov in ukrepov na 8 področjih. Posamezni raziskovalci in partnerji so sodelovali med seboj pri pripravi predlogov in ukrepov po področjih, glede na vsebino tematskih študij. - Razvoj, priprava in izvedba usposabljanja izobraževalcev v izobraževanju in usposabljanju odraslih za uporabo sodobnih oblik in metod učenja in poučevanja: V tem okviru so bile pripravljene strokovne podlage za razvoj novih sodobnih oblik učenja in poučevanja, izpeljanih je bilo več usposabljanj in predstavitev vloge in pomena spretnosti za posameznikov položaj v družbi in na trgu dela (več v podglavju 7.1). ija ogol Vodenje projekta in partnerji v projektu dto V Sloveniji smo za izvajanje projekta oblikovali konzorcij, ki ga sestavljajo Me partnerji vodilnih slovenskih inštitucij, ki imajo odlične domače in mednarodne reference na področju raziskovanja in razvoja kompetenc ter učinkovitosti LO izobraževalnega sistema. Njihovo dolgoletno delo na področjih, ki se jih dotika ČI projekt, zagotavlja odličnost predvidenih rezultatov. Aktivnosti projekta so RO bile zasnovane tako, da so se dejavnosti posameznega partnerja smiselno O P dopolnjevale z aktivnostmi drugih partnerjev. LNO SLIKA 1: MEDNARODNA IN NACIONALNA VPETOST PROJEKTA PIAAC AV ISKO RAZ 18 V okviru nacionalnega konzorcija so bili v skladu z menarodnimi navodili in standardi imenovani nosilci naslednjih nalog: • Nacionalni koordinator raziskave (National Project Manager) • Nacionalni vodja vzorčenja (National Sampling Manager) • Nacionalni IKT koordinator (National ICT Co-ordinator) • Nacionalni vodja baz podatkov (National Data Manager) • Nacionalni vodja zbiranja podatkov (National Data collection Manager) • Nacionalni vodja ocenjevanja (National Lead Scorer) Glede na kompleksnejšo strukturo in organizacijo slovenskega projekta pa smo imenovali še vodjo raziskave in vodjo raziskovalne skupine, ki je štela 25 raziskovalcev iz vseh partnerskih ustanov. SLIKA 2: NOTRANJA ORGANIZACIJA PROJEKTA Andragoški center Slovenije je bil vodilni partner konzorcija in je ustanova, ki je specializirana za raziskovanje razvoj in implementacijo novosti v IO. Posebna kakovost vodilnega partnerja je, da od ustanovitve naprej izvaja vse faze od raziskav, preko razvoja novosti, do implementacij ter spremljanja in ija evalviranja izvedenih aktivnosti. Področje pismenosti in kompetenc je eno od og temeljnih vsebinskih področij od ustanovitve dalje, zato je bil ACS tudi nosilec old prve nacionalne raziskave pismenosti odraslih, na osnovi katere so sledile to razvojno implementacijske akcije in ukrepi na nacionalni in regionalnih ravneh. To se je odrazilo v izvirnem slovenskem modelu programov za razvoj kompetenc Me prikrajšanih skupin prebivalstva, kar kaže na posebno kakovost in celovitost LO delovanja te ustanove. Andragoški center je skozi dosedanje delo dokazal, da ČI je sposoben obsežne baze empiričnih podatkov, jih smiselno implementirati v RO prakso ter nenehno bedeti nad kakovostjo teh ukrepov. Poleg tega pa je ACS tudi O institucija, ki nenehno skrbi za vnašanje teh strokovnih ugotovitev za P izboljševanje in prenovo usposabljanj strokovnjakov za izobraževanje. Andragoški center pa pripravlja tudi strokovne podlage za načrtovalce politik LNOA in usmeritve za zakonodajo in sistemske ukrepe. S tem je ACS najbolj kompetentna V ustanova za področje izobraževanja odraslih, ki lahko celostno zasnuje in skrbi za implementacijo tako relevantnih podatkov, ki jih je dala pričujoča ISKO raziskava, ostali partnerji pa so delovali na področju sociologije izobraževanja in sociologije dela, zaloge človeškega kapitala in drugih RAZ ekonomskih vidikov, vpliva dosežene ravni znanja in kompetenc na kohezivnost skupnosti, povezanosti različnih ranljivih skupin z vidika digitalnega razkoraka, vpliva ovir na udeležbo v vseživljenjskem učenju itd. Fakulteta za družbene vede in njeni centri so vodilni slovenski strokovnjaki za področje izvajanja obsežnih nacionalnih raziskav, njihova kakovost se izkazuje skozi opravljene študije in je mednarodno priznana. Konzorcijski partner FDV je v projektu sodeloval z izkušenimi znanstveniki in strokovnjaki, 19 ki pokrivajo področja, ki so vitalnega pomena za izvedbo projekta. Ta področja so: metodologija in družboslovno empirično raziskovanje, merjenje kompetenc in znanja v tehnološko razvitem okolju, analiza kompetenc za trg dela ter analiza širšega aspekta družboslovnih relevantnih podatkov vezanih na tematiko projekta (socialno ozadje, kvaliteta življenja, vrednotne orientacije in stališča posameznika). Več desetletne izkušnje, znanje in mednarodne povezave na področju raziskovanja, ki so rezultirale v velikem številu opravljenih raziskav na nacionalni ravni, tako za potrebe mednarodnih kooperacij kot tudi za potrebe različnih nacionalnih znanstveno-raziskovalnih subjektov, upravičuje vključitev skupine FDV v konzorcijsko partnerstvo. Dolgoletne izkušnje in intenzivno vključevanje v znane akademske mednarodne raziskovalne programe daje oporo in izhodišča za metodološko in operativno izvedbo projekta, ki je eden večjih sicer po svojem obsegu. Bistveno pri tem pa je, da projekt vseskozi skrbi za svojo metodološko odličnost, najmanj v okviru standardov kot jih postavljajo referenčne svetovne in evropske raziskave s katerimi sodelujejo (glej reference in vključenost v mednarodne projekte). Gre za raziskave, ki sodijo v najvišji rang, primerjalnih in longitudinalnih raziskav, ki so populacijsko reprezentativne in metodološko optimalne. Filozofska fakulteta je vodilna ustanova, ki ima najdaljšo tradicijo razvoja teorije andragogike in izobraževanja odraslih na oddelku za pedagogiko in andragogiko. Teoretiki z najvišjimi nacionalnimi in mednarodnimi referencami so skrbeli za uravnoteženost teorije in empiričnih izsledkov, saj je bilo potrebno pripraviti priporočila za nadaljnji razvoj programov izobraževanja, tako na dodiplomski, podiplomski ravni in drugih ravneh. Eden od pomembnih ciljev projekta je bila nadgradnja strokovnih podlag za oblikovanje politik za razvoj kompetenc odraslih, ki jih je bilo mogoče pripraviti le s konceptualizacijo in teoretsko povezanostjo novih empiričnih podatkov. Sodelovanje tima mednarodno priznanih teoretikov je bila pri tem ključnega pomena. Ekonomska fakulteta v Ljubljani ima raziskovalne skupine, ki so v več tematskih študijah zbrane podatke iz pričujočega projekta s pomočjo večnivojskih analiz povezali s podatki zbranimi iz drugih virov, ko so npr. mikropodatki populacije diplomantov Slovenije, študija inovativnosti v slovenskih podjetjih, s podatki iz povezane baze delodajalcev ter delojemalcev, do katere lahko dostopajo preko Statističnega urada RS ter s podatki, zbranimi v različnih nacionalnih in mednarodnih tematskih študijah, v katerih so sodelovali oziroma sodelujejo člani projektne skupine. To je bila posebna dodana vrednost saj je s križanjem podatkov možen bolj poglobljen vpogled v dejansko kompleksnost kompetenc in njihovega konteksta. Statistični urad Slovenije je kompetentna nacionalna ustanova, ki je bil ija pomemben konzulent glede vzorčenja, končne oblike vprašalnika in drugih og metodoloških postopkov, ki jih je bilo potrebno izvesti zato, da so nacionalni ol podatki primerljivi z mednarodnimi. S tem se zagotovi metodološka neoporečnost dto podatkov in postopkov. Me LO ČI RO O P LNOAV ISKO RAZ 20 ija ogoldto Me LO ČI ROO P LNOA 2 V ISKO RAZ METODOLOGIJA 21 2.1 Povzetek mednarodne metodologije raziskave Spretnosti odraslih PIAAC in prikaz slovenskih prilagoditev Katja Bider, Špela Lenič To poglavje opisuje ključne značilnosti Raziskave spretnosti odraslih PIAAC, mednarodno metodologijo raziskave ter kaj se je v raziskavi merilo. V okviru raziskave PIAAC so se merile spretnosti odraslih na treh osnovnih področjih, ki so ključnega pomena za polno delovanje v gospodarstvu in družbi znanja 21. stoletja: • besedilne spretnosti (sposobnost razumevanja in uporabe besedilnih informacij v različnih kontekstih in orodjih, tudi v računalniški obliki), • matematične spretnosti (sposobnost razumevanja, interpretacije in uporabe matematičnih informacij in idej) ter • spretnosti reševanja problemov v tehnološko bogatih okoljih (zmožnost najti, izbrati, ovrednotiti in uporabiti informacije s pomočjo novih informacijskih tehnologij za reševanje problemov in izvrševanje kompleksnih nalog). ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 22 SLIKA 3: ELEMENTI RAZISKAVE SPRETNOSTI ODRASLIH Besedilne spretnosti Matematične spretnosti Reševanje problemov v tehnološko bogatih okoljih Neposredno merjenje Kognitivne spretnosti - branje, pisanje, računanje in uporaba IKT Komunikacija in socialne spretnosti - sodelovanje, načrtovanje, sporazumevanje, pogajanje, delo s strankami Fizične spretnosti - uporaba telesne moči in fine motorike Učne veščine - vodenje, neformalno in formalno izobraževanje, karierni razvoj Raba spretnosti Socialno-demografske značilnosti Izobraževanje in usposabljanja Socialno in jezikovno ozadje Zaposlitveni položaj in dohodek Raba IKT in matematičnih spretnosti Osnovni vprašalnik Vir: OECD, PIAAC ija Spretnosti, ki so bile merjene v tej raziskavi, predstavljajo osnovo za og dostopanje, razumevanje, analiziranje in uporabo besedilnih informacij in, v old nekaterih primerih tudi matematičnih informacij, informacij v obliki to predstavitev (npr. slike, grafi). Ta besedila in predstavitve lahko obstajajo v obliki tiskanega gradiva ali se pojavijo na zaslonu. Besedilne spretnosti, Me matematične spretnosti in reševanje problemov v tehnološko bogatem okolju so LO spretnosti, ki so bistvene za delovanje v sodobnem svetu in za opravljanje ČI različnih nalog, ki se jih morajo odrasli lotiti v različnih življenjskih RO kontekstih. Odrasli berejo, se soočajo s situacijami, ki vključujejo O matematične vsebine in predstavitve, ter skušajo rešiti probleme, z namenom, P da bi opravili delo in dosegli določene cilje na različnih področjih. LNOA Te spretnosti so relevantne v številnih življenjskih kontekstih, od V izobraževanja in dela do življenja doma ter v skupnosti. V družbi, ki je bogata z informacijami in v kateri so informacije v obliki besedila (natisnjene ali ISKO digitalne) splošno prisotne, je sposobnost branja in odzivanja na podlagi besedilnih informacij bistvena. Podobno so matematične spretnosti bistvene na RAZ večini področij življenja. Poleg tega sposobnost upravljanja z informacijami in reševanja problemov v tehnološko bogatih okoljih – dostopanje, vrednotenje, analiziranje in sporočanje informacij – postaja tako pomembna kot razumevanje in interpretacija besedilnih informacij ter sposobnost obvladovanja matematičnih vsebin. Uporaba informacijske in komunikacijske tehnologije (IKT) je potrebna za večino delovnih mest, izobraževanje in vsakodnevno življenje. Za vsako od področij merjenja spretnosti so identificirane tri glavne 23 razsežnosti: • vsebina – izdelki, orodja, znanje, predstavitve in kognitivni izzivi, ki tvorijo korpus, na katerega se morajo odrasli odzvati ali ga uporabiti, • kognitivne strategije – procesi, ki jih morajo odrasli uporabiti, da se odzovejo na dano vsebino ali jo uporabijo na primeren način, • kontekst – različne situacije, v katerih morajo odrasli brati, pokazati matematično znanje in reševati probleme. Tabela 1 prikazuje vsakega od treh področjih, vključuje tudi definicijo in vsebino, kognitivne strategije in kontekste, ki so povezani z vsakim od njih. TABELA 1: PREGLED PODROČIJ MERJENJA V RAZISKAVI SPRETNOSTI ODRASLIH (PIAAC) Besedilne spretnosti Matematične spretnosti Reševanje problemov v tehnološko bogatih okoljih Besedilne spretnosti so definirane Matematične spretnosti so Reševanje problemov v kot zmožnost razumeti, ovrednotiti, definirane kot zmožnost tehnološko bogatih okoljih je uporabiti in se angažirati s dostopati, uporabljati, definirano kot zmožnost pisnimi besedili, da bi sodelovali interpretirati in sporočati uporabe digitalne v družbi, dosegli svoje cilje in matematične informacije ter tehnologije, komunikacijskih razvijali svoje znanje ter zamisli z namenom, da se orodij in omrežja, da potencial. lotimo in obvladamo pridobimo in ovrednotimo Besedilne spretnosti vključujejo matematične zahteve v informacije, a paleto spretnosti; na primer raznovrstnih situacijah v komuniciramo z drugimi in ij dekodiranje ali prepoznavanje življenju odraslih. opravimo praktične naloge. ic zapisanih besed in stavkov, nadalje V ta namen matematične Merjenje se osredotoča na inef razumevanje, interpretacija in spretnosti vključujejo sposobnosti reševanja D ovrednotenje kompleksnih besedil. obvladovanje situacije ali problemov za osebne in Ne vključuje pa tvorjenja besedila reševanje problema v delovne namene ter namen (pisanje1). resničnem kontekstu tako, delovanja v skupnosti, s Informacije o odraslih z nizkimi da se odzovemo na pomočjo postavljanja ravnmi zmožnosti se pridobijo z matematično vsebino, primernih ciljev in načrtov merjenjem bralnih spretnosti, ki informacije, zamisli, ki so ter dostopanja in uporabe obsega besedišče, razumevanje predstavljene na več informacij s pomočjo stavkov ter tekoče branje odlomkov. načinov. računalnikov in računalniških omrežij. Različni tipi besedil. Besedila Matematična vsebina, Tehnologija: zaznamuje njihov medij (tiskan ali informacije in zamisli: • naprave strojne opreme, digitalen) in njihova oblika: • količina in število, •uporabe programske opreme, • zvezna ali prozna besedila, • velikost in oblika, • ukazi in funkcije, • nezvezna ali besedila • vzorec, odnosi in • predstavitve (npr. dokumentov, sprememba, besedilo, • mešana besedila, • podatki in verjetnost. grafike, video). ija na • večdelna besedila. Predstavitve matematičnih Naloge: og bi informacij: • intrinzična kompleksnost, ol se d V • predmeti in slike, •eksplicitnost navedbe to • števila in simboli, problema. Me •vizualni prikazi (npr. diagrami, LO zemljevidi, grafi, tabele), ČI • besedila, RO • prikazi s pomočjo O tehnologije. P • Dostop in identifikacija • Identificiranje, •Postavljanje ciljev in •Integriranje in interpretiranje lociranje ali spremljanje napredka LNO (povezanih dostopanje • Načrtovanje AV delov besedila enega z drugim) • Izvajanje operacij in •Pridobivanje in ovrednotenje e e • Ovrednotenje in refleksija uporaba informacij ISKO vn ij (naročanje,štetje, • Uporaba informacij ti eg ocenjevanje, ni at RAZ og tr računanje,merjenje, K s modeliranje) •Interpretiranje, ovrednotenje in analiziranje • Komuniciranje • Povezan z delom • Povezan z delom • Povezan z delom ti • Oseben • Oseben • Oseben kste • Družba in skupnost • Družba in skupnost • Družba in skupnost on • Izobraževanje in usposabljanje •Izobraževanje in K 24 usposabljanje 1Razsežnost pisanja torej ni del tega, kar meri Raziskava spretnosti odraslih, in sicer zato, ker je težko ocenjevati pisanje na zanesljiv ter veljaven način v okviru mednarodne primerjalne raziskave. Inštrumentarij V tem delu poročila so opisani inštrumenti uporabljeni v raziskavi PIAAC. Inštrumentarij je bil sestavljen iz dveh delov, osnovnega vprašalnika in testnega oziroma kognitivnega dela. Osnovni vprašalnik je bil namenjen zbiranju demografskih podatkov ter informacij o navadah in stališčih povezanih z izobraževanjem, zaposlitvijo, vsakdanjo rabo sodobnih tehnologij in vsakdanjim življenjem izbranih odraslih. Podatke s pomočjo računalnika je izvedel anketar. Drugi del inštrumentarija pa je predstavljal neposredno merjenje izbranih spretnosti odraslih s pomočjo kognitivnih nalog, ki jih je posameznik reševal bodisi na računalniku bodisi na papirju ali oboje. Naloge v raziskavi so merile tri vrste spretnosti in sicer, besedilne spretnosti, matematične spretnosti ter spretnosti reševanja problemov v tehnološko bogatem okolju. Osnovni vprašalnik Z osnovnim vprašalnikom v Raziskavi spretnosti odraslih se je zbiral niz informacij, ki so omogočale doseganje glavnih analitičnih ciljev raziskave PIAAC. Ti cilji so bili: - določiti raven in porazdelitev zmožnosti ključnih spretnosti za procesiranje informacij za določene podskupine odraslega prebivalstva; - boljše razumeti dejavnike, povezane s pridobivanjem, razvijanjem, ohranjanjem in izgubljanjem spretnosti v teku življenja; - boljše razumeti povezavo med zmožnostmi procesiranja informacij in ekonomskimi ter drugimi socialnimi učinki. Razvoj osnovnega vprašalnika je nadzirala posebna skupina mednarodnih ekspertov pri OECD. Načela, po katerih so bila vprašanja v osnovnem vprašalniku izbrana, se nahajajo v konceptualnem okviru za razvoj osnovnega vprašalnika. Za izbiro vprašanj, na katera naj bi odgovorila Raziskava spretnosti odraslih, je bilo poleg relevantnosti za vprašanja v zvezi s politikami pomembno tudi, da so imela močno teoretsko ozadje, da so bila že uporabljena v drugih študijah ter da so omogočala primerljivost med državami in skupinami znotraj držav. Prav tako je bilo pomembno, da se je z uporabo skupnih vprašanj zagotovila največja možna primerljivost s sorodnimi raziskavami, kot sta Mednarodna raziskava pismenosti odraslih (IALS) in Raziskava pismenosti in življenjskih spretnosti (ALL), raziskava o delovni sili (LFS), pa tudi z drugimi večnacionalnimi raziskavami, ki so se osredotočale na sorodne teme, kot so izobraževanje in ija usposabljanje odraslih (AES). Vprašanja, relevantna samo za majhne podskupine, og niso bila vključena. Trajanje reševanja osnovnega vprašalnika (tj. za zaposleno old osebo, ki se je udeležila nekega izobraževanja ali usposabljanja) je bilo to predvideno do največ 45 minut. Osnovni vprašalnik je zbiral informacije na Me petih glavnih področjih: LO - osnovne demografske značilnosti in splošni podatki o anketirancih, ČI - dosežena izobrazba in vključenost v izobraževanje in usposabljanje, RO - zaposlitveni položaj in zaposlitev, O - socialni učinki, P - prakse besedilnih in matematičnih spretnosti ter uporaba spretnosti. LNOA Z osnovnim vprašalnikom se je zbiralo vrsto informacij o dejavnostih, povezanih V z besedilnimi in matematičnimi spretnostmi anketirancev, o uporabi IKT- spretnosti pri delu in v vsakodnevnem življenju ter o generičnih spretnostih, ISKO ki se od posameznikov zahtevajo pri delu. Poleg tega se je anketirance vprašalo, ali njihove spretnosti in dosežena izobrazba ustrezajo zahtevam njihovega dela RAZ in ali se počutijo neodvisni glede ključnih vidikov svojega dela. Ti podatki so zbrani iz več različnih, a povezanih razlogov: - Praktična uporaba besedilnih in matematičnih spretnosti ter uporaba IKT sta definirani kot pomembni komponenti zmožnosti v besedilnih spretnostih, matematičnih spretnostih in reševanju problemov v tehnološko bogatih okoljih. - Vrsta in pogostost branja, dejavnosti, povezane z matematičnimi 25 spretnostmi, in uporaba IKT so v pomembni korelaciji z zmožnostmi na področju besedilnih spretnosti, matematičnih spretnosti in reševanja problemov. - Interes politike v zvezi z informacijami o različnih generičnih spretnostih, poleg besedilnih spretnosti, matematičnih spretnosti in reševanja problemov v tehnološko bogatih okoljih, ki so vse bolj cenjene na trgu delovne sile, narašča. Oblikovalci politik bi radi zvedeli več o ravnovesju ponudbe in povpraševanja po spretnostih in o tem, kako se izogniti neujemanju spretnosti. V nadaljevanju je predstavljen bolj podroben opis osnovnega vprašalnika. Niso vsi anketiranci odgovarjali na vse tematske sklope, izbor vprašanj je bil povezan z več faktorji, na primer ali se trenutno izobražujejo, ali so zaposleni, ali so upokojeni in podobno. Vprašanja so spodaj predstavljena po razdelkih oziroma po tematskih sklopih. a. Značilnosti in splošni podatki o anketiranih Splošne informacije Ta razdelek je spraševal po starosti in spolu, podatke o gospodinjstvu anketiranca, imigraciji in družini. Ta vprašanja pomagajo razumeti, zakaj lahko obstajajo razlike med anketiranci v spretnostih in kompetencah (Tabela 2). TABELA 2: ZBRANI PODATKI O ZNAČILNOSTIH ANKETIRANCEV IN NJIHOVEM SOCIALNO-DEMOGRAFSKEM OZADJU Področje Podrobnejši podatki Demografija Starost, spol, država rojstva Sestava gospodinjstva in Število oseb v gospodinjstvu, ki živijo z zakoncem ali partnerjem, dejavnost družine zakonca/partnerja, število in starost otrok Jezik Prvi in drugi jeziki, ki ga je govoril(a) kot otrok, jezik, ki ga trenutno najbolj pogosto govori doma Status priseljenca Starost, pri kateri je anketiranec imigriral, država rojstva staršev Socialno ozadje Najvišja raven izobrazbe, ki so jo dosegli starši, število knjig doma, ko je bil anketiranec star(a) 16 let Stalno prebivališče Lokacija stalnega prebivališča b. Dosežena izobrazba in udeležba v izobraževanju in usposabljanju Izobraževanje in usposabljanje Ta razdelek je spraševal o izkušnjah s formalnim in neformalnim izobraževanjem ija ter usposabljanjem. Udeležba v dejavnostih izobraževanja in usposabljanja, og bodisi formalnega ali neformalnega, se razume na dva načina: kot dejavnik, ki old pojasnjuje raven obvladanja merjenih spretnosti, ter kot možen rezultat teh to spretnosti. Besedilne spretnosti, matematične spretnosti in reševanje problemov Me se deloma razvijajo prek udeležbe v izobraževanju in usposabljanju, kot so šolanje in nadaljnje izobraževanje in usposabljanje po šoli (npr. poklicno LO izobraževanje in usposabljanje, univerzitetno izobraževanje ali učenje na ČI delovnem mestu). Obenem je raven zmožnosti povezana z verjetnostjo sodelovanja RO v učnih dejavnostih, ki so sledile končanemu obveznemu šolanju. O P Prvih 11 vprašanj se je nanašalo na formalno izobraževanje in je obsegalo vse LNO z izobraževanjem povezane dejavnosti, ki vodijo do javno veljavnih listin, A spričeval in diplom ter so del nacionalnega izobraževalnega sistema, npr. V osnovna šola, srednja šola, univerza, itd. Nadalje se je spraševalo, katera je bila najvišja stopnja izobrazbe, ki jo je pridobil anketiranec in o ISKO anketirančevem trenutnem izobraževanju. Spraševalo se je tudi po morebitnem RAZ nedokončanem izobraževanju, kar pomeni izobraževanje, ki ga je anketiranec opustil, ne da bi ga dokončal, ter po izobraževalnih dejavnostih v zadnjih 12. mesecih. V primeru da je bilo izobraževanje opravljeno v zadnjih 12. mesecih, so se nadaljnja vprašanja osredotočila na to izobraževanje. Ta vprašanja so se nanašala na trenutno izobraževanje, če to pride v poštev, in na najvišje izobraževanje ali nedokončano izobrazbo, če je do njiju prišlo v zadnjih 12 mesecih (če je prišlo do obeh v zadnjih 12. mesecih, so se vprašanja nanašala na najbolj nedavno; če je bilo oboje prekinjeno v istem mesecu, so se vprašanja 26 nanašala na tisto izobraževanje, ki je na višji stopnji), drugače pa na drugo nedavno izobraževanje. Sledila so vprašanja o neformalnem izobraževanju/usposabljanju. To so organizirane učne dejavnosti, ki niso del formalnega nacionalnega izobraževalnega sistema, gre na primer računalniški tečaj, tečaj v zvezi s hobijem ali opravljeno usposabljanje, ki ga je zagotovil delodajalec. Nanašala so se na štiri različne vrste neformalnih učnih dejavnosti: • tečaj v okviru izobraževanja na daljavo, • organizirano usposabljanje ob delu ali usposabljanje, ki ga izvajajo nadrejeni oziroma sodelavci, in • seminarji ali delavnice, • drugi tečaji ali privatne ure. Nekaj vprašanj je spraševalo po zadnji neformalni učni dejavnosti, ki se jo je anketiranec udeležil in na drugem mestu tudi po celotnem času, ki je bil v zadnjih 12. mesecih porabljen za vse neformalne učne dejavnosti. Anketiranec je moral oceniti celotni čas bodisi v celih tednih, celih dnevih ali v urah. Pomembno je, da je anketar prepričal anketiranca, da zadostuje groba ocena. Nadaljnje vprašanje je spraševalo po razlogih, zaradi katerih anketiranec ni sodeloval v kateri od takšnih dejavnosti. Podrobno porazdelitev zbiranja podatkov na tem področju si lahko ogledate v tabeli 3. TABELA 3: ZBRANI PODATKI O ZNAČILNOSTIH ANKETIRANCEV GLEDE NA IZOBRAZBO IN UDELEŽBO V IZOBRAŽEVANJU IN USPOSABLJANJU Področje Podrobnejši podatki Izobraževalne izkušnje Najvišja dosežena izobrazba, v kateri državi je bila izobrazba dosežena, področje študija za najvišjo doseženo izobrazbo, starost ob pridobitvi najvišje dosežene izobrazbe Trenutno izobraževanje Udeležba v formalnem izobraževanju, stopnja in področje izobraževanja Nedokončano izobraževanje Je začel(a), a ni zaključil(a) programa formalnega izobraževanja, stopnja, starost, pri kateri je zapustil(a) program Formalno izobraževanje v Udeležba v formalnem izobraževanju v preteklem letu, v koliko programih, preteklem letu stopnja zadnjega programa, razlog za izobraževanje, delovni položaj med izobraževanjem, ali je izobraževanje potekalo med delovnim časom ali zunaj njega, uporabnost programa za delo, vrsta podpore, prejete od delodajalca Neformalni programi v Udeležba v različnih neformalnih izobraževalnih dejavnostih v zadnjih 12-ih zadnjih 12-ih mesecih mesecih (izobraževanje na daljavo ali dopisni programi, organizirano usposabljanje na delu, seminarji ali delavnice, drugi programi), koliko dejavnosti vsake vrste Zadnja udeležba v Vrsta dejavnosti, povezanost udeležbe z delom, glavni razlog za udeležbo, neformalnem izobraževanju potek znotraj ali zunaj delovnega časa, zagotovljena podpora delodajalca Obseg sodelovanja v Skupni čas udeležbe v izobraževanju in usposabljanju, delež časa za izobraževanju in dejavnosti v zvezi z delom ija usposabljanju v zadnjih 12- ogol ih mesecih d Ovire za sodelovanje v Hotel(a) sodelovati v učnih dejavnosti v zadnjih 12-ih mesecih, vendar ni, to izobraževanju in razlogi, ki so preprečili sodelovanje Me usposabljanju Učni stili Zanimanje za učenje, pristop k novim informacijam LO ČI ROO P c. Zaposlitveni položaj, preteklo delo in značilnosti delovnega mesta Povezanost med profili spretnosti posameznikov, zaposlitvenim položajem, LNOA zaposlitvijo, prihodkom in značilnostmi delovnega mesta je osrednjega pomena V za Raziskavo spretnosti odraslih. Te informacije pomagajo ugotoviti stopnjo povezanosti med ugotovljenimi spretnostmi in zaposlitvenim položajem ter učinki ISKO zaposlitve. Poleg tega imajo posameznikov status aktivnosti (npr. delo, brezposelnost, izobraževanje), pri zaposlenih pa značilnosti delovnega mesta RAZ in dela, ki ga posameznik opravlja, potencialno pomemben učinek na priložnosti za ohranjanje in razvijanje ugotovljenih spretnosti. Trenutni status in dosedanje delo Ta razdelek je spraševal o trenutnem delovnem statusu in dosedanjem delu anketiranca. Prva tri vprašanja v tem razdelku so bila namenjena temu, da se ugotovi, ali je anketiranec trenutno zaposlen, sledilo pa je vprašanje, ki od 27 anketiranca zahteva, da pove katera trditev najbolje opisuje njegov položaj v zvezi z delom. Trenutno delo Ta razdelek je spraševal o anketirančevem trenutnem delu. Prvi dve vprašanji sta od anketiranca zahtevala, da navede poklic, v katerem dela, in v kakšnem sektorju. To sta bili odprti vprašanji. Informacije, pridobljene na tem delu, so se potem kodirala za poklice in sektorje industrije/gospodarske dejavnosti v mednarodni klasifikaciji. Kodiranje poklicev in dejavnosti so od oktobra do decembra 2014 izvajali sodelavci Statističnega urada Slovenije, sodelavci ACS pa so za ta namen pripravili poseben izvoz podatkov iz baze. Kodiranje je bilo opravljeno po specifičnih navodilih mednarodnega konzorcija. Vprašanja v nadaljevanju so se nanašala na naziv delovnega mesta. V spodnji tabeli je le ilustrativno prikazano kako zgleda popis delovnega mesta; v levem stolpcu imamo opise, ki niso ustrezni in v desnem stolpcu take, ki ustrezajo merilom. TABELA 4: PRIMERI USTREZNEGA IN NEUSTREZNEGA POPISA DELOVNEGA MESTA Neustrezno Ustrezno Cenilec Cenilec škod, nastavljavec zavor, nastavljavec strojev, referent za reklamacije, zavarovalniški škodni cenilec Skrbnik; čuvaj Hišnik, varnostnik, upravitelj zgradb, vrtnar, oskrbnik zemljišča, skladiščnik, garderober itd. Obdelava podatkov Računalniški programer, vnašalec podatkov, računalniški operater, šifrant Inženir Gradbeni inženir, voznik lokomotive, strojni inženir, aeronavtični inženir Kmet Lastnik kmetije, pobiralec sadja, voznik kosilnice, kmetijski delavec Delovodja Specificirajte ustrezno obrt ali dejavnost, npr. tesarski delovodja ali delovodja voznikov tovornjakov Mehanik Avtomehanik, zobni tehnik, radiomehanik, letalski mehanik, mehanik za pisalne stroje Pisarniški delavec Strojepisec, tajnica, receptor, arhivar, knjigovodja, pomočnik zdravnika Specialist Če je beseda specialist navedena kot del naziva službe, poskrbite, da pridobite dober opis dejanskih dolžnosti v D_Q01b ali E_Q01b. Na primer: za “transportnega specialista” so dejanske dolžnosti lahko katerekoli od naslednjih: “Zagotavlja ocene cen potovanj”, “določa vozne rede vlakov” ali “opravlja ekonomsko analizo transportne industrije”. Nadrejeni Predstojnik strojepisk, glavni knjigovodja, oskrbnik, nadzornik kuhinje, nabavni referent, nadzornik linije Vprašalnik se je nadaljeval z vprašanji o gospodarskem sektorju, vpisovalo se je specifično vrsto dejavnosti, industrije ali storitve, kjer je anketiranec delal. Podrobno je bilo potrebno opisati gospodarski sektor, navesti tako ija splošno kot specifično dejavnost. Spodaj so primeri ustreznih in neustreznih og opisov. oldto TABELA 5: PRIMERI USTREZNEGA IN NEUSTREZNEGA POPISA DEJAVNOSTI Me Neustrezno Ustrezno LO Rudnik Rudnik premoga, rudnik železa, glinokop ČI RO Drvarsko podjetje, podjetje za proizvodnjo stavbnega lesa, prodajalna stavbnega O Lesno podjetje lesa na debelo, prodajalna stavbnega lesa v maloprodaji P Radijsko podjetje Radijsko podjetje, popravljalnica radijskih aparatov, podjetje za izdelavo radijskih aparatov, dobavitelj radijskih aparatov na debelo, maloprodajna trgovina radijskih aparatov LNO Šola Vrtec, osnovna šola, srednja šola, univerza AV Vodno podjetje Vodno gospodarstvo, tovarna za stekleničenje vode, trgovina za prodajo vode na debelo Pohištveno podjetje Proizvajalec pohištva, trgovina s pohištvom na debelo, maloprodajna trgovina s ISKO pohištvom, podjetje za restavracijo pohištva Naftno podjetje Maloprodaja kurilnega olja, naftna rafinerija, vrtanje nafte, črpanje nafte, RAZ iskanje nahajališč nafte Nadaljnja vprašanja so spraševala po vrsti izdelkov ali storitev, ki jih zagotavlja anketirančevo delovno mesto. Primeri ustreznih odgovorov so: TABELA 6: PRIMERI USTREZNEGA IN NEUSTREZNEGA POPISA STORITEV D/E_Q02a D/E_Q02b Organizacija za družbeno Zagotavlja raziskovalne storitve vladnim agencijam, podjetjem, skladom in raziskovanje državnim ter lokalnim oblastem Podjetje za finančno Ponuja storitve in programsko opremo finančnim ustanovam ter vladnim 28 svetovanje in tehnologijo agencijam, ki delajo za sektor finančnih storitev Izdelovalec obleke Proizvaja žensko obleko Ta razdelek se je zaključil z vprašanji, ki se nanašajo na anketirančev zaslužek. Zadnja služba Ta razdelek je spraševal o anketirančevi zadnji službi, specifično o njegovem poklicu in področju industrije. Spodnja tabela (Tabela 7) prikazuje vsa področja, ki so povezana z zaposlitvijo anketiranca in njegovim delovnim mestom. TABELA 7: ZBRANE INFORMACIJE O ZAPOSLITVENEM POLOŽAJU, PRETEKLEM DELU IN ZNAČILNOSTIH DELOVNEGA MESTA Področje Podrobnejši podatki Trenutna aktivnost Zaposlitveni položaj (definicija Mednarodne organizacije dela), glavna trenutna aktivnost Preteklo delo Je kdaj delal(a), imel(a) plačano delo v zadnjih dvanajstih mesecih, starost ob prenehanju dela (v primeru brezposelnosti), celotni čas zaposlenosti, število delodajalcev v zadnjih petih letih Trenutno delo Panoga, poklic, zaposlen ali samozaposlen, starost, pri kateri je začel(a) delati pri zdajšnjem delodajalcu, velikost podjetja, število zaposlenih narašča ali upada, del večje organizacije, število zaposlenih (v primeru samozaposlenosti), prevzemanje nadzornih odgovornosti, število podrejenih, vrsta pogodbe o zaposlitvi, običajen delovni čas, obseg fleksibilnosti v zvezi z nalogami na delovnem mestu, zadovoljstvo s službo, bruto plačilo ali plača, zaslužki iz poslovne dejavnosti (v primeru samozaposlenosti) Zadnje delo (v primeru Panoga, poklic, zaposlen ali samozaposlen, kdaj je zapustil(a) zadnjega brezposelnosti) delodajalca, velikost podjetja, število zaposlenih (v primeru samozaposlenosti), prevzemanje nadzornih odgovornosti, število podrejenih, vrsta pogodbe o zaposlitvi, običajni delovni čas, glavni razlog, da je zapustil(a) zadnjo službo Socialno ozadje Najvišja raven izobrazbe, ki so jo dosegli starši, število knjig doma, ko je bil anketiranec star(a) 16 let Stalno prebivališče Lokacija stalnega prebivališča Informacije o ujemanju/neujemanju usposobljenosti in spretnosti: V tem razdelku se je spraševalo o izobrazbenih zahtevah glede anketirančeve službe. Katera izobrazba je zahtevana, da se danes dobi takšno službo. Poleg tega se je spraševalo še, ali je ta izobrazba dejansko potrebna za opravljanje dela (Tabela 8). ija TABELA 8: ZBRANE INFORMACIJE O VIDIKIH UJEMANJA/NEUJEMANJA USPOSOBLJENOSTI IN SPRETNOSTI ogol Vključeni vidiki dto Lastna ocena ujemanja Ima spretnosti za opravljanje zahtevnejših zadolžitev; potrebuje več spretnosti z zahtevami usposabljanja, da opravi zadolžitve; raven uporabe računalnika, ki je Me delovnega mesta potrebna za opravljanje dela; poseduje zadostne računalniške spretnosti, da LO dobro opravlja službo; pomanjkanje računalniške spretnosti vpliva na možnost ČI napredovanja ali dviga plače Ujemanje izobrazbe z Stopnja izobrazbe, ki je potrebna za pridobitev trenutnega dela; izobrazba, ROO zahtevami delovnega mesta ki je potrebna za opravljanje dela; sorodne delovne izkušnje, potrebne za P pridobitev dela LNO AV d. Uporaba spretnosti ISKO Spretnosti, ki se uporabljajo v službi RAZ Ta razdelek je spraševal o uporabi spretnosti v službi. Vprašanja se vsa nanašajo na pogostost (nikoli, manj kot enkrat na mesec, itd.) ali čas (ne porabim nič svojega časa, porabim do četrtine svojega časa, itd.). Spraševalo se je o uporabi pismenosti, matematične pismenosti in veščin informacijske in komunikacijske tehnologije v službi ter v vsakdanjem življenju. Vsa vprašanja v tem razdelku se nanašajo na pogostost (kako pogosto). TABELA 9: ZBRANE INFORMACIJE O NALOGAH IN DEJAVNOSTIH PRI DELU IN V VSAKODNEVNEM ŽIVLJENJU 29 Skupina nalog Področje življenja Vključene dejavnosti Kognitivne spretnosti Branje Delo Branje napotkov ali navodil; pisem, zapisnikov ali Vsakodnevno elektronske pošte; člankov v časopisih, revijah ali življenje biltenih; člankov v strokovnih žurnalih ali akademskih publikacijah; knjig; referenčnih priročnikov ali gradiv; računov, faktur, bančnih izpiskov ali finančnih poročil; diagramov, zemljevidov, shematskih diagramov Pisanje Delo Pisanje pisem, zapisnikov ali elektronskih sporočil; Vsakodnevno člankov za časopise, revije ali biltene; poročil; življenje izpolnjevanje obrazcev Matematične Delo Računanje cen, stroškov ali proračunov; uporaba ali spretnosti Vsakodnevno računanje z ulomki, decimalkami ali odstotki; uporaba življenje kalkulatorja (ročnega ali računalniškega); priprava grafikonov ali tabel; uporaba enostavne matematike ali formul; uporaba višje matematike ali statistike Reševanje problemov Delo Reševanje enostavnih problemov; reševanje kompleksnih Vsakodnevno problemov življenje Tehnologija Spretnosti Delo Uporaba računalnika; elektronska pošta; iskanje informacij Informacijsko- Vsakodnevno prek interneta; komunikacijske življenje izvajanje denarnih transakcij prek interneta; preglednice; tehnologije (IKT) urejanje besedila; pisanje ali priprava računalniške kode; spletne razprave v živo s pomočjo interneta; splošna raven uporabe računalnika glede na kompleksnost Interakcija Sodelovanje Delo Čas, porabljen za sodelovanje; izmenjava informacij s sodelavci Vplivanje Delo Prodaja izdelkov ali storitev; sestavljanje govorov ali predstavitev; svetovanje; prepričevanje ali vplivanje na druge; pogajanje; dajanje navodil, usposabljanje ali poučevanje drugih Učenje Učenje Delo Učenje od drugih; učenje z delom; seznanjenost z novimi izdelki ali storitvami Organizacija Organizacija in Delo Načrtovanje lastnih dejavnosti; načrtovanje dejavnosti načrtovanje drugih; organiziranje lastnega časa ija Telesna moč in og spretnosti old Fizične zahteve Delo Fizično delo skozi daljše obdobje; uporaba finomotoričnih to spretnosti Me Opomba: Poševna pisava pomeni, da se informacije o uporabi omenjenih spretnosti LO zbira tako za delo kot za vsakodnevno življenje. ČI RO e. Družbena aktivnost in zdravje O P O vas LNO Ta razdelek je postavljal niz vprašanj o držah in dejavnostih anketiranca. Del AV tega razdelka se je osredotočal na anketirančeve učne strategije. Preostala vprašanja v razdelku so se nanašala na sodelovanje pri prostovoljnem delu, ISKO politične drže, zaupanje in splošno zdravje. RAZ TABELA 10: ZBRANE INFORMACIJE O DRUŽBENI PARTICIPACIJI IN ZDRAVJU Področje Podrobnejši podatki Zaupanje Zaupanje drugim, zaznavanje vedenja drugih do anketiranca Politična učinkovitost Vpliv na politične procese Prostovoljno delo Pogostost prostovoljnega dela v zadnjih 12-ih mesecih Zdravstveno stanje Lastna ocena zdravja 30 Prevodi in prilagoditev inštrumentarija Sodelujoče države so prilagodile vprašanja tako, da so odražala nacionalne značilnosti na področjih, kot so izobraževalni dosežki, vključenost na trg dela in zaposlitev – to so naredile v primerih, ko so bile institucionalne strukture specifične za državo, ali v primerih, kjer so obstajali nacionalni protokoli za zbiranje podatkov. Države so imele priložnost dodati majhno število “nacionalnih” vprašanj k nacionalnim verzijam osnovnega vprašalnika. Ta vprašanja naj ne bi podaljšala povprečnega trajanja reševanja vprašalnika za več kot pet minut. V Sloveniji smo dodali dva sklopa vprašanj: prvo se nanaša na zadovoljstvo s kariernim razvojem posameznika, drugo pa na medgeneracijsko učenje. Dodana vprašanja iz teh dveh sklopov si lahko ogledate v prilogi 1. V času poteka pilotne raziskave smo na Andragoškem centru spremljali in beležili morebitne napake (napake v prevodih, tiskarske napake, ipd.), ki se pokažejo v času poteka pilotnega anketiranja na terenu ob vodenju intervjuja in ob izvajanju nalog. O zabeleženih napakah smo razpravljali v raziskovalni skupini (na sestanku oktobra 2013), o njih smo poročali mednarodnemu konzorciju. V novembru in decembru 2013 je v sodelovanju z mednarodnim konzorcijem potekalo dopolnjevanje instrumentov za potrebe glavne raziskave na podlagi rezultatov pilotne raziskave ter na podlagi psihometrične analize testnih nalog uporabljenih v pilotni raziskavi, ki jo je opravil mednarodni konzorcij. Podrobneje je bilo potrebno analizirati 3 naloge iz kognitivnega dela inštrumentarija, pri katerih so rezultati pilotnega testiranja pokazali določena odstopanja. Opravljene so bile dopolnitve osnovnega vprašalnika, in sicer iz področja zadovoljstva s kariero, participacije in medgeneracijskega učenja. Obenem so bile v končni različici osnovnega vprašalnika popravljene vse napake odkrite v času pilotne raziskave. Upoštevani pa so bili predlogi in dopolnitve osnovnega vprašalnika, ki so jih vsi konzorcijski partnerji prispevali še pred začetkom pilota, niso pa bile upoštevane, zaradi kasnejše vključitve Slovenije v projekt. Splošna ocena je, da so bili prevodi kognitivnega dela inštrumentarija ustrezni in kakovostni, kar je potrdila tudi psihometrična analiza pilotnih rezultatov. Več popravkov in dopolnitev je bilo treba opraviti v osnovnem vprašalniku, ki smo jih lahko v celoti opravili šele po zaključku pilota, vendar še pravi čas pred začetkom glavne raziskave. Pri dopolnjevanju osnovnega vprašalnika smo praktično v celoti upoštevali predloge partnerjev v konzorciju. Kognitivne testne naloge Po opravljenem izpolnjevanju osnovnega vprašalnika so anketiranci prešli na reševanje nalog bodisi s pomočjo računalnika, ki ga je zagotovil anketar, bodisi v papirnatih zvezkih z nalogami – v primerih, ko anketiranec ni imel dovolj računalniških spretnosti ali je bilo ugotovljeno, da ima šibke zmožnosti ija v besedilni in računalniški pismenosti, ali ko se je odločil, da ne bo opravljal ogol nalog na računalniku. Anketirancem je bilo med reševanjem nalog dovoljeno d uporabljati tehnične pripomočke, kot sta kalkulator, ravnilo (za katere so to poskrbeli anketarji), in pisati opombe ali opravljati izračune s svinčnikom in Me beležko. Anketirancem ni bilo dovoljeno, da bi prosili druge člane družine ali anketarja za pomoč pri reševanju nalog. Anketar pa se je sicer lahko vmešal, LO ČI če je imel anketiranec težave z uporabo računalnika ali če je hotel vprašati kaj v zvezi z reševanjem nalog. ROO P a. Merjenje besedilnih spretnosti LNO V Raziskavi spretnosti odraslih so bile besedilne spretnosti definirane kot A “razumevanje, ovrednotenje, uporaba in angažiranje s pisnimi besedili, da bi V sodelovali v družbi, dosegli svoje cilje in razvili svoje znanje ter potencial”. Ključno za to definicijo je dejstvo, da se besedilne spretnosti ISKO definira kot branje pisnih besedil in ne vključuje razumevanja ali tvorjenja RAZ govorjenega jezika ali tvorjenje besedila (pisanje). Besedila, ki so jih morali odrasli prebrati, so bila razvrščena glede na medij in obliko. Glede na medij so besedila razvrščena kot digitalna ali tiskana. Digitalna besedila so besedila na zaslonih, kot so računalniki in pametni telefoni. Tiskana besedila so besedila, natisnjena na papir, kot so knjige, časopisi, razne brošure, tudi prometni znaki. Digitalna besedila imajo poleg tega, da so prikazana na zaslonih, še specifične navigacijske značilnosti (npr. drsniki, uporaba menijev) in interaktivnost. 31 Raziskava spretnosti odraslih je prva mednarodna raziskava spretnosti odraslih, ki je vključevala branje digitalnih besedil kot del besedilnih spretnosti. Glede na obliko so besedila razvrščena na zvezna besedila, to so stavki, organizirani v odstavke, npr. opis, pripoved, navodilo, Nezvezna besedila, to so na primer grafi, diagrami, zemljevidi, obrazci ter Mešana besedila, ki vključujejo kombinacije zveznih in nezveznih elementov, kot je članek v časopisu ali pa spletna stran. Večdelna besedila pa nastanejo s primerjanjem ali povezovanjem, kot so elektronska pošta z vsebovanim zapisom ločenih sporočil, ki tvorijo izmenjavo v določenem časovnem obdobju, ali objava na blogu, ki vsebuje začetno besedilo in niz povezanih besedil, sestavljenih iz komentarjev, ki se odzivajo na začetno besedilo in komentarjev, ki se odzivajo na druge komentarje. Bralci na splošno uporabljajo tri široke kognitivne strategije, ko se odzivajo na pisna besedila: • dostop in identifikacija, • integriranje in interpretiranje, • ovrednotenje in premislek. Dostop in identifikacija vključujeta iskanje informacij v besedilu. To je na eni strani lahko enostavna operacija, ko so informacije, ki jih iščemo takoj razvidne, na drugi strani pa je lahko zapletena operacija, ki zahteva razmišljanje in razumevanje s sklepanjem. Integriranje in interpretiranje vključujeta razumevanje odnosov med različnimi deli besedila, da se dokopljemo do pomena in potegnemo zaključke iz besedila kot celote. Ovrednotenje in premislek od bralca zahtevata, da informacije v besedilu poveže z drugimi informacijami, znanjem in izkušnjami in tako oceni primernost ali verodostojnost besedila. Odrasli berejo gradiva v različnih kontekstih, ti so delo, osebno življenje, družba in skupnost, ter izobraževanje in usposabljanje. Besedila, povezana z delom, obravnavajo iskanje dela, plačilo, zaslužke in druge koristi ter izkušnje z dela. Gradiva na zasebnem področju vključujejo besedila, ki se nanašajo na dom in družino, zdravje in varnost, prosti čas ter rekreacijo. Besedila, povezana z družbo in skupnostjo, vključujejo gradiva, ki obravnavajo javne storitve, vlado, trenutna dogajanja. Gradiva, povezana z izobraževanjem in usposabljanjem, pokrivajo besedila, ki se nanašajo na izobraževalne ija priložnosti za odrasle ali za druge. ogold Tabele 11, 12 in 13 spodaj prikazujejo porazdelitev nalog za merjenje besedilnih to spretnosti v Raziskavi spretnosti odraslih glede na značilnosti nalog. Me TABELA 11: PORAZDELITEV BESEDILNIH NALOG GLEDE NA MEDIJ LO ČI Končno število nalog RO Število % O Tiskana besedila 36 62 P Digitalna besedila 22 38 Skupaj 58 100 LNOA Opomba: Vsaka kategorija vključuje zvezna, nezvezna in kombinirana besedila V TABELA 12: PORAZDELITEV BESEDILNIH NALOG GLEDE NA KONTEKST ISKO Končno število nalog RAZ Število % Delo 10 17 Osebno življenje 29 50 Družba in skupnost 13 23 Izobraževanje in 6 10 usposabljanje Skupaj 58 100 TABELA 13: PORAZDELITEV BESEDILNIH NALOG GLEDE NA KOGNITIVNE STRATEGIJE Končno število nalog 32 Število % Dostop in identifikacija 32 55 Integriranje in 17 29 interpretiranje Ovrednotenje in premislek 9 16 Skupaj 58 100 Bralne spretnosti Da bi pridobili bolj podrobne informacije tudi o tistih odraslih, ki so šibki na področju besedilnih spretnosti, je bilo merjenje besedilnih spretnosti v raziskavi dopolnjeno še s testom bralnih spretnosti. Področje bralnih spretnosti obsega niz spretnosti prepoznavanja besed, ki so bistvene za to, da izluščimo pomen v besedilih: • besedišče (prepoznavanje besed), • razumevanje pomena stavkov in • tekoče branje delov besedila. Vešči bralci so sposobni tovrstne operacije izvajati avtomatizirano. Za ocenitev te spretnosti, je bil merjen čas, ki so ga anketiranci potrebovali za dokončanje nalog. b. Merjenje matematičnih spretnosti Raziskava spretnosti odraslih je definirala matematične spretnosti kot “dostopanje, uporaba, interpretacija in posredovanje matematičnih informacij ter zamisli, da bi se lotili in obvladali matematične zahteve v številnih situacijah v življenju odraslih” (OECD, 2012). Raziskava je pokrivala štiri področja matematičnih vsebin, informacij in zamisli: • količina in število, • velikost in oblika, • vzorec, odnosi in sprememba, • podatki in verjetnost. Količina vključuje število potez ali stvari, cene, velikost (npr. dolžina, površina in prostornina), temperatura, prebivalstvo, stopnje rasti in prihodki. Število je temeljnega pomena za kvantificiranje oziroma prikazovanje pojavov s števili. Števila služijo za preštevanje ali ocenjevanje, za prikazovanje delov ali primerjave. Pozitivna in negativna števila lahko služijo tudi kot pokazatelji smeri. Pri izračunih se operacije (tj. štiri glavne operacije +, – , x, ÷ in druge, kot je kvadriranje) izvaja na količinah in številih. Dimenzija pokriva opis “stvari” v prostoru, kot so projekcije, dolžine, obsegi, ija površine, lokacije itd. Oblika vključuje kategorijo, ki opisuje resnične podobe og in entitete, te pa se lahko vizualizira v dveh ali treh dimenzijah (npr. hiše ol in poslopja, oblikovanje v umetnosti in obrti, varnostna opozorila, embalaža, d snežinke, sence in rastline). Vzorec pokriva ponavljajoče se stvari, na katere to naletimo, to so tiste v glasbenih oblikah, naravi, prometu itd. Odnosi in Me sprememba se nanašajo na matematiko tega, kako so stvari na svetu medsebojno LO povezane ali kako se razvijajo v času. Podatki in verjetnost pokrivajo dve ČI ločeni, vendar povezani temi. Podatki pokrivajo “namere”, povezane z RO variabilnostjo, vzorčenjem, napako, predvidevanjem, in statistične teme, kot O so zbiranje podatkov, prikazi podatkov in grafi. Verjetnost pokriva“namere”, P povezane z verjetnostjo in relevantnimi statističnimi metodami. LNO V Raziskavi spretnosti odraslih so bile matematične informacije predstavljene AV v obliki predmetov in slik, števil in simbolov, vizualnih prikazov, besedil in prikazov s pomočjo tehnologije. ISKO V matematičnih nalogah lahko naletimo na dve različni vrsti besedil. Prva RAZ vključuje predstavljanje matematičnih informacij v besedni obliki, tj. kot besede ali fraze, ki imajo matematični pomen. Druga vključuje izražanje matematičnih informacij v matematičnih zapisih ali simbolih (npr. števila, znak za plus ali minus, simboli za merske enote itd.), ki jih obdaja besedilo, da se zagotovijo dodatne informacije in kontekst. Štirje procesi definirajo dimenzijo kognitivnih strategij: • identificiranje, iskanje ali dostop, 33 • primerno delovanje ali uporaba, • interpretacija, ovrednotenje/analiza, • sporočanje Ljudje morajo praktično v vseh situacijah identificirati, poiskati ali dostopati do nekih matematičnih informacij, ki so pomembne za njihove namene ali cilje. V izoliranih okoliščinah ta tip odgovora pogosto zahteva nizko raven matematičnega razumevanja ali uporabo enostavnih računskih spretnosti. Vendar je ta tip odgovora običajno kombiniran z drugimi odgovori, ki so navedeni spodaj. Izvajanje operacij ali uporaba vključuje uporabo znanih matematičnih postopkov in pravil, kot so štetje in izračuni. Zahteva lahko tudi urejanje ali razvrščanje, ocenjevanje ali uporabo različnih merilnih naprav ali uporabo (ali razvijanje) formule, ki služi kot model za ponazoritev situacije ali procesa. Interpretiranje vključuje evalvacijo pomena in implikacij matematičnih ali statističnih informacij (npr. graf, ki prikazuje spremembe tečajne liste) in oblikovanje mnenja o informacijah. Evalvacija/analiza je deloma razširitev interpretiranja. Vključuje analiziranje problema, evalvacijo kakovosti rešitev po določenih kriterijih ali zahtevah konteksta in, če je potrebno, ponovno presojo interpretacije, analize in posameznih faz evalvacije. Sicer je zmožnost sporočanja številčnih podatkov in matematičnih vsebin definirana kot kognitivni proces, ki je sestavni del teoretskega okvirja matematičnih spretnosti, vendar se v Raziskavi spretnosti odraslih ta dimenzija ni raziskovala. Naloge, ki so bile izbrane za merjenje matematičnih spretnosti, so tako kot pri besedilnih spretnostih povezane s štirimi področji: delo, osebno življenje, družba in skupnost ter izobraževanje in usposabljanje. Naloge, povezane z delom, so vključevale izračun vsote na računu; izračun vsote za vračilo; upravljanje z urniki, proračuni, uporabo preglednic; organiziranje in pakiranje blaga različnih oblik itd. Naloge, povezane z osebnim življenjem so vključevale ravnanje z denarjem in proračuni; nakupovanje in razporejanje svojega časa; načrtovanje potovanj; igranje iger na srečo; branje zemljevidov; uporaba merjenja pri kuhanju ali ukvarjanju s hobiji. Naloge, povezane z družbo in skupnostjo so vključevale dogajanje v družbi, v gospodarstvu in okolju (npr. trendi v kriminaliteti, zdravju, plačah, onesnaževanju). To zahteva sposobnost prebrati in interpretirati informacije, predstavljene v medijih, vključno s statističnimi sporočili in grafi. ija Obvladovanje matematičnih spretnosti lahko omogoča posamezniku, da sodeluje v og izobraževanju in usposabljanju, pa naj gre za akademske namene ali za del old poklicnega usposabljanja. V obeh primerih je pomembno poznati nekatere bolj to formalne vidike matematike, ki vključujejo simbole, pravila in formule. Me Tabele 14, 15 in 16 spodaj prikazujejo porazdelitev nalog za merjenje LO matematičnih spretnosti, ki so bile vključene v Raziskavo spretnosti odraslih ČI glede na značilnosti nalog. RO O TABELA 14: PORAZDELITEV NALOG, KI VKLJUČUJEJO REŠEVANJE PROBLEMOV GLEDE NA KOGNITIVNO RAZSEŽNOST P Končno število nalog LNOA Število % V Identificiranje, lociranje ali 3 5 dostopanje Izvajanje operacij, uporaba 34 61 ISKO Interpretiranje, 19 34 ovrednotenje/analiza RAZ Skupaj 56 100 TABELA 15: PORAZDELITEV MATEMATIČNIH NALOG GLEDE NA KONTEKST Končno število nalog Število % Delo 13 23 Osebno življenje 25 45 34 Družba in skupnost 14 25 Izobraževanje in usposabljanje 4 7 Skupaj 56 100 TABELA 16: PORAZDELITEV MATEMATIČNIH NALOG GLEDE NA VSEBINO Končno število nalog Število % Podatki in verjetnost 12 21 Velikost in oblika 16 29 Vzorec, odnosi in sprememba 15 27 Količina in število 13 23 Skupaj 56 100 c. Merjenje spretnosti reševanja problemov v tehnološko bogatih okoljih V Raziskavi spretnosti odraslih se je reševanje problemov v tehnološko bogatih okoljih definiralo kot “uporaba digitalne tehnologije, komunikacijskega orodja in omrežja za pridobivanje in ovrednotenje informacij, komunikacijo z drugimi in izvrševanje praktičnih nalog. Osredotoča se na “sposobnosti reševanja problemov za osebne in delovne namene ter za delovanje v skupnosti, s postavljanjem primernih ciljev in načrtov ter dostopanjem do informacij in njihovo uporabo s pomočjo računalnikov in računalniških omrežij” (OECD, 2012). Področje reševanja problemov v tehnološko bogatih okoljih pokriva specifične vrste problemov, na katere naletijo posamezniki, ko uporabljajo IKT. Reševanje problemov v tehnološko bogatih okoljih je področje kompetenc, ki predstavlja presek tega, kar so včasih opisovali kot “računalniška pismenost” (tj. sposobnost uporabljati orodje in aplikacije IKT), in kognitivnih spretnosti, ki so potrebne za reševanje problemov. Merjenje je vključevalo dve področji: tehnologijo in naloge. Tehnologija se nanaša na naprave, aplikacije in funkcionalnosti, s katerimi se izvaja reševanje problemov. Vključuje digitalne naprave, kot so računalniki, prenosni telefoni, GPS-naprave, aplikacije programske opreme in ukazi, funkcije in predstavitve informacij, od katerih so te aplikacije odvisne. V raziskavi so bili uporabljeni samo prenosni računalniki z omejenim številom simuliranih aplikacij programske opreme – vključno z elektronsko pošto, urejevalnikom besedila, preglednicami in spletnimi mesti. Naloge so okoliščine, ki pri posamezniku sprožijo zavedanje in razumevanje problema ter določajo dejanja, ki jih je treba opraviti, da bi se rešil problem. ija Običajno širok spekter okoliščin lahko povzroči, da človek začne reševati og probleme. Naloge so definirane glede na imanentno kompleksnost in eksplicitnost ol predstavitve problema. Imanentna kompleksnost problema je določena z minimalnim dto številom korakov, ki so potrebni, da se reši problem, številom možnosti ali alternativ na različnih stopnjah na poti do rešitve, raznolikostjo postopkov, Me ki jih je treba uporabiti, in kompleksnostjo računanja/transformacije, LO verjetnostjo slepih ulic ali nepričakovanih rezultatov, številom zahtev, ki ČI jim je treba zadostiti, da se pride do rešitve in obsegom zahtevanih RO preoblikovanj, potrebnih za posredovanje rešitve. Eksplicitnost predstavitve O problema se nanaša na to, do katere mere je problem slabo definiran (naloga je P implicitna in njene komponente so večinoma nedoločene) ali dobro definiran (naloga je eksplicitna in njene komponente so opisane podrobno). Procesni vidik LNOA merjenja se nanaša na mentalne strukture in procese, do katerih pride, ko oseba V rešuje problem. Te vključujejo postavljanje ciljev in spremljanje napredka, načrtovanje, iskanje, izbiranje in ovrednotenje informacij ter organiziranje ISKO in preoblikovanje informacij. RAZ Postavljanje ciljev in spremljanje napredka vključujeta identifikacijo ciljev v kontekstu omejitev (eksplicitnih in implicitnih) situacije, vzpostavljanje in uporabo kriterijev za upoštevanje omejitev pri doseganju rešitve, spremljanje napredka ter odkrivanje in interpretiranje nepričakovanih dogodkov, slepih ulic in zastojev, ko je človek na poti proti rešitvi. Načrtovanje in samoorganizacija pokrivata procese postavljanja ustreznih ciljev, postopkov in strategij ter izbiranje primernih naprav, orodij ali 35 kategorij informacij. Pridobivanje in ovrednotenje informacij vključujeta orientiranje in usmerjanje pozornosti, izbiranje informacij, ocenjevanje zanesljivosti, relevantnosti, primernosti in razumljivosti informacij ter premislek o virih in vsebini. Uporaba informacij vključuje organiziranje informacij, integriranje informacij, pridobljenih iz različnih in lahko tudi nekonsistentnih besedil ter iz različnih formatov, sprejemanje odločitev, podprtih s podatki, preoblikovanje informacij s pomočjo ponovnega zapisovanja – iz besedila v tabelo, iz tabele v graf itd. ter komuniciranje z relevantnimi strankami. Konteksti se lahko nanašajo na področje osebnega življenja, dela in družbe ter skupnosti. Tabele od 17 do 22 prikazujejo porazdelitev nalog za merjenje reševanja problemov, vključenih v Raziskavo spretnosti odraslih, glede na značilnosti nalog. Pri merjenju reševanja problemov v tehnološko bogatih okoljih se je uporabilo 16 nalog. Naloge so bile sestavljene iz scenarijev, ki so vključevali več podnalog kot so iskanje relevantnih informacij s pomočjo simuliranega spletnega mesta ali prenašanje informacij iz ene aplikacije v drugo. Čas, porabljen za dokončanje nalog, ki so vključevale reševanje problemov, je bil znatno daljši od časa za dokončanje tistih nalog, ki so vključevale besedilno ali matematično spretnost. TABELA 17: PORAZDELITEV NALOG, KI VKLJUČUJEJO REŠEVANJE PROBLEMOV GLEDE NA KOGNITIVNO RAZSEŽNOST Dimenzija Število* Postavljanje ciljev in spremljanje 4 napredka Načrtovanje 7 Pridobivanje in ovrednotenje 8 informacij Uporaba informacij 6 * Ne znaša 16, ker so nekatere naloge kodirane v več kot eno dimenzijo. TABELA 18: PORAZDELITEV NALOG, KI VKLJUČUJEJO REŠEVANJE PROBLEMOV GLEDE NA TEHNOLOŠKO RAZSEŽNOST Dimenzija Število* Splet 7 Preglednica 4 Elektronska pošta 9 ija * Ne znaša 16, ker so nekatere naloge kodirane v več kot eno dimenzijo. ogol dto TABELA 19: PORAZDELITEV NALOG, KI VKLJUČUJEJO REŠEVANJE PROBLEMOV GLEDE NA KONTEKST Me Dimenzija Število* Osebno življenje 8 LO Delo 4 ČI Družba in skupnost 2 RO O * Ne znaša 16, ker so nekatere naloge kodirane v več kot eno dimenzijo. P LNOAV TABELA 20: PORAZDELITEV NALOG, KI VKLJUČUJEJO REŠEVANJE PROBLEMOV GLEDE NA IMANENTNO KOMPLEKSNOST (ŠTEVILO KORAKOV) Dimenzija Število* ISKO En korak 8 RAZ Več korakov 6 * Ne znaša 16, ker so nekatere naloge kodirane v več kot eno dimenzijo. TABELA 21: PORAZDELITEV NALOG, KI VKLJUČUJEJO REŠEVANJE PROBLEMOV GLEDE NA IMANENTNO KOMPLEKSNOST (ŠTEVILO OMEJITEV) Dimenzija Število* Ena sama omejitev 7 Več omejitev 7 36 * Ne znaša 16, ker so nekatere naloge kodirane v več kot eno dimenzijo. TABELA 22: PORAZDELITEV NALOG, KI VKLJUČUJEJO REŠEVANJE PROBLEMOV GLEDE NA EKSPLICITNOST PREDSTAVITVE PROBLEMA Dimenzija Število* Slabo definirana predstavitev problema 7 Dobro definirana predstavitev problema 7 * Ne znaša 16, ker so nekatere naloge kodirane v več kot eno dimenzijo. V vsakem od treh merjenih področij se zmožnost obravnava kot kontinuiteta sposobnosti, ki vsebuje sposobnost reševanja nalog in procesiranja informacij naraščajoče težavnosti in kompleksnosti. Rezultati so predstavljeni na lestvici, ki obsega 500 točk. V vsaki točki na lestvici za posameznika, ki je dosegel to določeno število točk, velja 67-% verjetnost, da bo uspešno rešil testne naloge, ki se nahajajo na tej točki. Ta posameznik bo z manjšo verjetnostjo sposoben uspešno rešiti tudi težje naloge (tiste z višjo vrednostjo na lestvici) in z večjo verjetnostjo rešiti lažje (tiste z nižjo vrednostjo na lestvici). Na primer, oseba z rezultatom zmožnosti 300 točk bo uspešno rešila naloge na tej težavnostni ravni v 67 % primerov, naloge z vrednostjo težavnosti 250 točk v 95 % primerov in naloge z vrednostjo težavnosti 350 točk v 28 % primerov. V vsakem od merjenih področij se lestvico zmožnosti lahko opiše v odnosu do nalog, ki se nahajajo v različnih točkah lestvice glede na njihovo težavnost. Definiranih je šest ravni zmožnosti za besedilne spretnosti in matematične spretnosti (raven 1 do 5 ter pod ravnjo 1) in štiri za reševanje problemov v tehnološko bogatih okoljih (raven 1 do 3 ter pod ravnjo 1). Ti opisniki zagotavljajo povzetke značilnosti vrst nalog, ki jih odrasla oseba lahko uspešno reši z rezultatom zmožnosti v posameznem razponu. Povedano z drugimi besedami, opisniki nudijo povzetke, kaj odrasli z določenim rezultatom zmožnosti lahko storijo na posameznem področju spretnosti. Razen nalog na najnižji ravni (pod ravnjo 1), lahko oseba z rezultatom zmožnosti pri dnu razpona, ki določa raven, uspešno reši naloge, ki se nahajajo na določeni ravni, v približno 50 % primerov. Povedano drugače, oseba z rezultatom pri dnu ravni bo, v blizu 50 % primerov, uspešna pri testu, sestavljenem iz nalog težavnosti na ravni 2. Oseba pri vrhu ravni bo naloge s te ravni pravilno rešila v večini primerov. "Povprečen” posameznik z rezultatom zmožnosti v razponu, ki določa raven, bo naloge s te ravni uspešno rešil v dveh tretjinah primerov. ija og TABELA 23: OPIS RAVNI ZMOŽNOSTI: BESEDILNE SPRETNOSTI IN MATEMATIČNE SPRETNOSTI old Raven Razpon Besedilne spretnosti Matematične spretnosti to točk Pod Manj kot Naloge na tej ravni so od anketiranca zahtevale, Naloge na tej ravni so od Me ravnjo 1 176 točk da prebere kratko besedilo s poznano temo, da anketiranca zahtevale, da izvrši najde specifično informacijo. Redkokdaj se v enostavne postopke, kot so štetje, LO besedilu nahajajo nasprotujoče si informacije razvrščanje, izvaja osnovne ČI in zahtevana informacija je po obliki enaka aritmetične operacije nad celimi RO informaciji iz vprašanja ali navodila. Lahko, števili ali denarnimi vsotami ali O da se od anketiranca zahteva, da najde da prepozna običajne prostorske P informacijo v kratkem zveznem besedilu. Vendar predstavitve v konkretnem, v tem primeru informacijo lahko najde na način, poznanem kontekstu, kjer je kot da bi bilo besedilo v nezvezni obliki. matematična vsebina jasna z malo LNO Potrebno je bilo poznavanje le osnovnega ali nič motečimi informacijami. AV besedišča in od bralca se ni zahtevalo, da bi razumel strukturo stavkov ali odstavkov ali uporabil druge značilnosti besedila. Naloge pod ISKO ravnjo 1 se niso posluževale nobenih značilnosti, ki so lastne digitalnemu besedilu. RAZ 1 176 do Večina nalog na tej ravni je od anketiranca Naloge na tej ravni so od manj kot zahtevalo, da prebere razmeroma kratko anketiranca zahtevale, da izvrši 226 točk digitalno ali tiskano zvezno, nezvezno ali osnovne matematične postopke v mešano besedilo, da najde informacijo, ki je običajnem, konkretnem kontekstu, enaka ali ima isti pomen kot informacija, podana kjer je matematična vsebina jasna, v vprašanju ali nalogi sami. Nekatere naloge, z malo besedila in minimalno kot so tiste, ki vključujejo nezvezno besedilo, količino motečih informacij. so lahko od anketiranca zahtevale, da v dokument Naloge so običajno zahtevale en sam vnese osebne informacije. Prisotno je bilo malo korak ali enostaven postopek, ki je ali nič nasprotujočih si informacij. Nekaj vključeval štetje, razvrščanje, nalog je lahko zahtevalo enostavno krožno izvajanje osnovnih aritmetičnih 37 pregledovanje več informacij. Pričakovalo se je operacij, razumevanje enostavnih znanje in spretnosti iz poznavanja osnovnega odstotkov, kot na primer 50 %, besedišča, da se razbere pomen stavkov, in lociranje in prepoznavanje branje besedila z odstavki. elementov enostavne ali običajne grafične ali prostorske predstavitve. 2 226 do Na tej ravni so v povprečju besedila lahko Naloge na tej ravni so od manj kot digitalna ali tiskana in so lahko sestavljena anketiranca zahtevale, da je 276 točk iz zveznih, nezveznih ali mešanih vrst prepoznal in izvajal operacije nad besedila. Naloge na tej ravni so od anketiranca matematičnimi informacijami in zahtevale, da poišče ujemanje med besedilom in idejami, ki se nahajajo v različnih informacijo, pri čemer je možno, da je moral običajnih kontekstih, kjer je uporabiti parafraziranje ali sklepanje na nižji matematična vsebina precej ravni. Lahko je bilo prisotnih nekaj eksplicitna ali vidna, z relativno nasprotujočih si informacij. Nekaj nalog je od malo motečimi informacijami. anketiranca zahtevalo, da je: Naloge so praviloma zahtevale • krožno pregledoval ali povezal dve ali več uporabo dveh ali več korakov ali informacij na podlagi kriterija, postopkov, ki so vključevale • primerjal in poiskal razlike ali premislil o računanje s celimi števili in informaciji, ki jo je vprašanje zahtevalo, običajnimi decimalnimi števili, • navigiral znotraj digitalnega besedila, da je odstotke in ulomke; enostavne prišel do informacij in jih prepoznal merske in prostorske predstavitve, iz različnih delov dokumenta. ocene in interpretiranje sorazmerno enostavnih podatkov in statistik v besedilu, tabelah in grafih. 3 276 do Besedila so na tej ravni pogosto zgoščena in Naloge na tej ravni so od manj kot daljša ter so lahko zvezna, nezvezna, mešana anketiranca zahtevale razumevanje 326 točk ali večstranska. Razumevanje besedila in matematičnih informacij, ki so bile retorična struktura sta postala bistvenega lahko manj eksplicitne in ki so se pomena za uspešno izvedbo nalog, še posebej pri nahajale v kontekstih, ki niso navigiranju skozi kompleksna digitalna vedno poznani in so predstavljeni besedila. Naloge so zahtevale, da je na kompleksnejši način. Naloge so anketiranec prepoznal, interpretiral ali zahtevale izvedbo v več korakih, ovrednotil eno ali več informacij in da je včasih pa je bilo treba izbrati pogosto uporabil sklepanje na različnih ravneh. ustrezno strategijo za rešitev Pri velikem številu nalog je mora anketiranec problema ali primeren postopek. izluščiti pomen iz večjih kosov besedila ali Naloge so praviloma zahtevale izvesti večstopenjsko operacijo, da bi uporabo občutka za številke in prepoznal in izoblikoval odgovore. Naloge so občutka za prostor; prepoznavanje pogosto tudi zahtevale, da anketiranec ne in delo z matematičnimi relacijami, upošteva nebistvene ali neprimerne tekstovne vzorci in razmerji, ki so izraženi vsebine, da bi lahko pravilno odgovoril. v besedni ali numerični obliki; in Nasprotujoče si informacije so bile pogosto interpretacijo ter osnovno analizo prisotne, vendar niso imele večjega pomena od podatkov in statistik v besedilu, pravilnih. tabelah in grafih. 4 326 do Naloge na tej ravni so pogosto zahtevale, da je Naloge na tej ravni so od manj kot anketiranec izvedel večstopenjske operacije, da anketiranca zahtevale poznavanje 376 točk je povezal, interpretiral ali sintetiziral širokega nabora matematičnih informacije iz kompleksnih ali daljših zveznih, informacij, ki so bile lahko nezveznih, mešanih ali večdelnih besedil. kompleksne, abstraktne ali so se Kompleksno sklepanje in uporaba splošnega nahajale znotraj nepoznanega znanja sta lahko potrebna za uspešno izpolnitev konteksta. Te naloge so naloge. Številne naloge so zahtevale vključevale izvedbo v več korakih prepoznavanje in razumevanje ene ali več in ustrezno izbiro strategije ali specifičnih, nebistvenih zamisli v besedilu, da postopka za rešitev problema. ija je anketiranec lahko interpretiral ali Praviloma so naloge zahtevale og ovrednotil iznajdljiv dokaz-trditev ali analizo in kompleksnejše sklepanje ol prepričljivo pogovorno zvezo. Pogojne o količinah in podatkih; statistiki d informacije so bile v nalogah na tej ravni in naključju; prostorskih to pogosto prisotne in anketiranec jih je moral relacijah in o spremembi, razmerjih upoštevati. Nasprotujoče si informacije so bile in formulah. Naloge na tem nivoju Me prisotne in so bile včasih na videz enako so od anketiranca lahko tudi pomembne kot prave informacije. zahtevale, da doume argumente ali LO da je sposoben podati dobro ČI premišljeno razlago za svoje odgovore in izbiro. RO 5 Enako Naloge na tej ravni so od anketiranca lahko Naloge na tej ravni so od O ali zahtevale, da je iskal in povezal informacije v anketiranca zahtevale razumevanje P več kot več zgoščenih besedilih, naredil sintezo kompleksnih predstavitev in 376 točk podobnih ali nasprotujočih si zamisli ali abstraktnih ter formalnih LNO stališč ali ovrednotil z dokazi podprte matematičnih in statističnih idej, A trditve. Za dokončanje nalog sta bila lahko ki so se po možnosti nahajale še V potrebna uporaba in vrednotenje logičnih in znotraj kompleksnega besedila. konceptualnih idejnih modelov. Ocena Lahko, da je moral anketiranec ISKO zanesljivosti virov dokazov in izbira bistvenih sestaviti različne vrste informacij sta bila pogosto ključnega pomena. matematičnih informacij, kar je Naloge so dostikrat od anketiranca zahtevale, zahtevalo znatno mero zmožnosti RAZ da se je zavedal prefinjenih, retoričnih pretvorbe in interpretacije; namigov in da je uporabil sklepanje na višji sklepanje; razvoj in delo z ravni ali strokovno splošno znanje. matematičnimi trditvami in modeli; utemeljevanje, ovrednotenje in kritičen premislek o rešitvah ali izbirah. 38 TABELA 24: OPIS RAVNI ZMOŽNOSTI: REŠEVANJE PROBLEMOV V TEHNOLOŠKO BOGATIH OKOLJIH Raven Razpon Vrste nalog, ki so bile uspešno rešene na posamezni ravni zmožnosti točk Pod Manj kot Naloge so temeljile na dobro definiranih problemih in so vključevale uporabo samo ene ravnjo 1 241 točk funkcije na generičnem vmesniku, da se zadosti enemu eksplicitnemu kriteriju, brez kategoričnega razmišljanja, sklepanja ali preoblikovanja informacij. Potrebnih je bilo nekaj korakov in ni bilo treba tvoriti podcilja. 1 241 do Naloge na tej ravni so tipično zahtevale uporabo splošno dostopnih in poznanih manj kot tehnoloških aplikacij, kot so programska oprema za elektronsko pošto ali spletni 291 točk brskalnik. Za dostop do informacij ali ukazov, ki so potrebni za rešitev problema, potrebujemo malo ali nič navigacije. Anketiranec je problem lahko rešil, ne da bi se zavedal in uporabil specifična orodja in funkcije (npr. funkcije za razvrščanje). Naloga je vsebovala nekaj korakov in minimalno število operatorjev. Na kognitivni ravni je anketiranec lahko iz navedbe naloge zlahka sklepal, kakšen je cilj; da je rešil problem, je moral uporabiti ekspliciten kriterij in potreb po spremljanju napredka je bilo malo (npr. anketirancu ni bio treba preverjati, če je uporabil(a) ustrezen postopek ali napredoval v smeri rešitve). Vsebino in operatorje je bilo možno prepoznati s preprostim primerjanjem. Zahtevane so bile le enostavne oblike razmišljanja, kot je določanje, kateremu razredu pripada postavka; ni bilo potrebe po iskanju razlik ali združevanju informacij. 2 291 do Na tej ravni so naloge tipično zahtevale uporabo tako generičnih kot bolj specifičnih manj kot tehnoloških aplikacij. Anketiranec je moral na primer uporabiti nov spletni obrazec. 341 točk Za rešitev problema je bila potrebna navigacija po spletnih straneh in aplikacijah. Uporaba orodij (npr. funkcije za razvrščanje) je lahko olajšala reševanje problema. Naloga je lahko vsebovala več korakov in operatorjev. Lahko, da je moral anketiranec sam določiti cilj problema, četudi so bili kriteriji, ki jim je bilo treba zadostiti, eksplicitni. Potrebe po spremljanju napredka so bile višje. Lahko se je pojavilo nekaj nepričakovanih izidov ali slepih ulic. Naloga je lahko zahtevala, da je anketiranec pretehtal, ali so določene postavke bistvenega pomena, da je prepoznal moteče informacije. Potrebno je bilo nekaj združevanja in sklepanja. 3 Enako Na tej ravni so naloge tipično zahtevale uporabo tako generičnih kot specifičnih, ali več tehnoloških aplikacij. Za rešitev problema je bilo potrebne nekaj navigacije po kot 341 spletnih straneh in aplikacijah. Uporaba orodij (npr. funkcije za razvrščanje) je bila potrebna za napredovanje v smeri rešitve. Naloga je lahko vsebovala več korakov in operatorjev. Lahko, da je moral anketiranec sam določiti cilj problema in kriterije, ki jim je bilo treba zadostiti, lahko so ali pa niso bili eksplicitni. Običajno so potrebe po spremljanju napredka visoke. Verjetno je, da se pojavijo nepričakovani izidi ali slepe ulice. Naloga je lahko zahtevala, da jo anketiranec pretehta, ali pa so določene postavke bistvenega pomena, da prepozna moteče informacije. Lahko je bilo potrebno veliko združevanja in sklepanja. ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 39 Načrt merjenja spretnosti Raziskava spretnosti odraslih je vključevala neposredno merjenje besedilnih in matematičnih spretnosti ter spretnosti reševanja problemov v tehnološko bogatih okoljih. Čeprav je bila raziskava prvenstveno zasnovana za izvedbo v računalniškem okolju (Computer Based Assessment - CBA), je zagotovila tudi merjenje besedilnih in matematičnih spretnosti v tiskani obliki (Paper Based Assessment - PBA) za tiste odrasle, ki niso imeli dovolj izkušenj z računalnikom, da bi naloge opravljali na njem. Posredno je raziskava PIAAC preučevala tudi nekatere druge spretnosti, kot je uporaba kognitivnih spretnosti, komunikacijske in socialne spretnosti, fizične spretnosti in učenje učenja. SLIKA 4: NAČRT POTEKA MERJENJA SPRETNOSTI ija ogoldto Me LO ČI RO O Kot je razvidno iz slike, je obstajalo več možnih poti merjenja spretnosti. P Anketiranci, ki glede na odgovore na vprašanja v osnovnem vprašalniku niso LNO imeli izkušenj z uporabo računalnika, so bili usmerjeni k reševanju nalog na A papirju. Anketiranci z nekaj izkušnjami pri uporabi računalnika so bili V napoteni k reševanju nalog na računalniku, kjer so opravili kratek test svojih sposobnosti uporabe osnovnih funkcij računalniške aplikacije (uporaba miške, ISKO tipkanje, uporaba označevanja ter funkcij povleci in spusti, premikanje in RAZ spuščanje besedila…) – to je bila 1. stopnja osnovnega zvezka na računalniku. Tisti, ki so bili “neuspešni” pri tem preizkusu, so bili usmerjeni k reševanju nalog na papirju. Anketiranci, ki so izbrali testiranje s pomočjo računalnika, so potem opravili kratek preizkus – to je bila 2. stopnja osnovnega zvezka na računalniku, kjer so rešili po tri manj zahtevne besedilne in matematične naloge, kjer se je pokazalo, ali bodo lahko nadaljevali z reševanjem preostalih nalog. “Neuspešni” pri teh nalogah so bili usmerjeni k uporabi zvezka bralne 40 pismenosti na papirju. Anketiranci, ki so uspešno rešili naloge v osnovnem zvezku na računalniku, so bili nato usmerjeni na nadaljnje reševanje nalog na ta način. Nadaljevali so z besedilnimi nalogami, nato pa so jim bile naključno dodeljene matematične naloge ali naloge iz reševanja problemov. V kolikor so začeli z matematičnimi nalogami, so jim bile nato naključno dodeljene besedilne naloge in naloge iz reševanja problemov. Tisti anketiranci, ki so zaključili naloge iz reševanja problemov, so nato nadaljevali z naključno izbranimi besedilnimi nalogami, matematičnimi nalogami ali drugim sklopom nalog iz reševanja problemov. Model je predpostavljal, da so tisti, ki niso bili zmožni reševati nalog na računalniku ali pa niso uspešno rešili nalog na 1. in 2. stopnji osnovnega zvezka na računalniku, usmerjeni k reševanju nalog na papirju. Vendar so se anketiranci z določenimi izkušnjami z računalnikom lahko odločili tudi za reševanje nalog na papirju, če so pri tem vztrajali. Anketiranci so se prav tako lahko sami odločili za papirnato verzijo, če nikakor niso želeli reševati nalog na računalniku. Anketiranci, ki so reševali naloge na papirju, so najprej reševali osnovni zvezek nalog s 4 enostavnimi besedilnimi nalogami in 4 matematičnimi nalogami. Če so zvezek uspešno rešili, jim je bil naključno dodeljen 1. zvezek nalog (vseboval je 20 besedilnih nalog) ali pa 2. zvezek nalog (vseboval je 20 matematičnih nalog). Naloge so bile zasnovane na dejavnostih, ki jih odrasli opravljajo v vsakodnevnem življenju, vključno z uporabo tehnologije. Nekaj primerov iz zvezkov nalog: branje elektronske pošte, upoštevanje navodil za jemanje zdravil, branje urnika letov na letališču, odčitavanje merilnika goriva, izračun donosnosti naložbe, merjenje z ravnilom, določanje roka trajanja na prehrambnem izdelku… Ko so zaključili s temi nalogami, so prešli neposredno še na zvezek z bralnimi nalogami. Zvezek nalog bralne pismenosti (BP) je bil namenjen merjenju osnovnih bralnih veščin s pomočjo treh kratkih razdelkov z nalogami, ki vključujejo pomen besed, branje in razumevanje stavkov. Raziskava spretnosti odraslih je bila pripravljena tako, da zagotovi točne ocene spretnosti na treh področjih v celotni populaciji odraslih in njenih glavnih podskupinah in ne na ravni posameznikov. Vsak anketiranec je dobil del nalog, ki so bile vključene v raziskavo. Noben posameznik ni opravljal modulov iz vseh merjenih področij. Anketiranci, ki so testiranje opravili s pomočjo papirnate različice, so se lotili bodisi modula besedilnih nalog ali modula matematičnih nalog. Pri računalniškem načinu je imelo merjenje besedilnih in matematičnih spretnosti prilagodljivo obliko. Anketiranci so bili usmerjeni k različnim skupinam nalog na osnovi ocene njihove sposobnosti. Posamezniki z višjo oceno ravni zmožnosti so bili bolj verjetno usmerjeni k skupinam s težjimi nalogami kot tisti, ki ija jim je bila pripisana nižja raven zmožnosti. Vsak modul besedilnih in og matematičnih nalog sta sestavljali dve stopnji, ki sta vsebovali krajša old besedila (skupine nalog) različnih težavnosti. Prva stopnja je vsebovala tri to manjše preizkuse, druga stopnja pa štiri. Možnost, da se je anketirancem Me dodelilo manjše preizkuse določene težavnosti, je bila odvisna od ravni dosežene izobrazbe, od tega, ali je bil njihov materni jezik isti kot jezik LO raziskave, njihovega rezultata pri nalogah iz osnovnega zvezka ČI besedilne/matematične spretnosti in, če je bilo relevantno, njihovega rezultata RO na 1. stopnji manjšega preizkusa. O P LNOAV ISKO RAZ 41 ija ogoldto Me LO ČI RO O P 3 LNOAV ISKO IZVEDBA RAZ TESTIRANJA 42 3.1 Platforma za izvedbo standardiziranega testiranja Franci Lajovic Uvod V tem poglavju je predstavljena računalniška platforma za izvedbo standardnega testiranja, ki je bila sestavljena tako iz programskih rešitev kot računalniško strojno opremo in potrebnimi postopki, ki so omogočili delovanje platforme v sklopu terenske raziskave PIAAC. Slovenija se je zelo pozno vključila v procese za pripravo pilotnega testiranja in se na teren odpravila kot ena zadnjih držav drugega kroga PIAAC, zato je bilo sprejemanje pravih odločitev ključnega pomena posebej z vidika računalniške platforme. Kljub izredno majhnemu timu smo uspeli zaostanek nadoknaditi in smo podatkovno bazo glavne raziskave PIAAC oddali kot prva država, in sicer 11. marca 2015. Osnovni pojmi Najprej je potrebno navesti nekaj osnovnih pojmov, ki se ves čas ponavljajo kot del platforme:  PIAAC server – strežnik, namenjen zbiranju podatkov in upravljanju z anketami;  PIAAC prenosnik, notesnik, računalnik za anketiranje;  CMS (Case Management System) – sistem za upravljanje z anketami;  VM (Virtual Machine) – navidezni računalnik (linux okolje, v katerem se izvaja anketa);  DME (Data Management Expert) – računalniško orodje za uvoz anket in pripravo baze PIAAC. V naslednjih podpoglavjih je opisan vsak sestavni del platforme PIAAC. ija Strežnik PIAAC ogol Bistvena naloga strežnika je bila urejanje vseh podatkov o raziskavi, d anketarjih, anketirancih, anketah, relacij med njimi in dodeljevanje novih to anket posameznim anketarjem ter zbiranje podatkov z računalnikov na terenu, v Me prvi vrsti gre za prenos anket s terena preko preko Microsoft PPTP ali L2TP LO VPN povezave. ČI ROO P LNOAV ISKO RAZ 43 SLIKA 5: PIAAC STREŽNIK IN PIAAC PRENOSNI RAČUNALNIK… Prenosni računalniki PIAAC za anketiranje na terenu Računalniki, s katerimi je bilo izvedeno anketiranje na terenu, so morali ustrezati pravilom mednarodnega konzorcija. Poudarek je bil na nesvetlečem zaslonu velikosti 15,6'' in ločljivosti 1366x768 slikovnih točk, tipkovnici s slovenskim naborom tipk, vsaj 4GB velikemu pomnilniku in zadovoljivo hitrostjo računalnika kot celote pri izvajanju anketiranega okolja navideznega računalnika (VM). Pred nabavo računalnikov je bil vzorčni računalnik predstavljen tudi mednarodnemu IT koordinatorju za projekt PIAAC, ki je konfiguracijo računalnika preizkusil in odobril njegovo uporabo. Odločili smo se za naslednje računalnike Lenovo B590: ija og Procesor: Intel Celeron Processor 1000m (1.8GHz, L3 2MB) oldto  Osnovna plošča: Intel HM70 Express Chipset Me  Pomnilnik: 4GB DDR3 PC3-12800 (1600MHz) SDRAM, ena prosta reža, do 8GB max. LO  Trdi disk: 500GB Serial ATA 2 (3 Gbit/s),5400 rpm ČI  Optična enota: DVD+/- RW Dual Layer RO  Zaslon: 15,6'' HD (1366x768 slikovnih točk) nesvetleč zaslon LED O backlight Display P  Grafična kartica: Intel HD LNO  Mrežne povezave: Ethernet 100/1000 Mbps A  Brezžična povezava: Wi-Fi 802.11bgn, Bluetooth 4.0 V  Miška Touchpad/sledilna plošča  Kamera: HD720p kamera na vrhu zaslona ISKO  Čitalec kartic: 4 in 1 card reader slot RAZ  Tipkovnica: slovenska + numerični del  Baterija: 6 celična  Operacijski sistem: Microsoft Windows 7 Home Premium  Dimenzije: VxŠxD: 33,4 x 252 x 378mm  Masa: 2,5kg  Barva: črna  Napajalnik: 230 V  Priključki: HDMI, USB 3.0, 2xUSB 2.0, Headphone, Microphone, RJ-45, VGA  Dodatno: torbica, optična miška TRUST, tekstilna podloga za miško 44 SLIKA 6: NALEPKA RAČUNALNIKOV PIAAC SLIKA 7: SLOVENSKA POSTAVITEV TIPKOVNICE QWERTY (DOBAVLJENI RAČUNALNIKI SO IMELI ŠE NUMERIČNI DEL TIPKOVNICE) Pri izboru je bilo izredno pomembno, da so imeli vsi računalniki enako konfiguracijo, saj je bilo le tako možno pripraviti vse računalnike za anketarje v izredno kratkih časovnih rokih med dobavo, usposabljanjem anketarjev in začetkom dela na terenu. Dobavljeni računalniki so bili opremljeni s sistemom Windows 8, kar ni ustrezalo programski opremi CMS, zato je bilo potrebno vse zamenjati s prejšnjo različico Windows 7, kar je bilo pri novejših računalnikih kar zahtevno opravilo. ija og Poleg sistema za upravljanje z anketami (CMS) in VMWare Player ter VMWare VIX ol smo na računalnike namestili tudi slovensko različico Libre Office dto (www.libreoffice.org) in Adobe Acrobat Reader (https://get.adobe.com/si/reader). Me Na podlagi izkušenj pilotnega testiranja smo vzorčnemu računalniku, ki smo ga LO ČI imenovali PIAAC0: RO  namestili zadnje Windows 7 posodobitve in onemogočili nameščanje O P posodobitev;  povečali občutljivost mikrofona za 100% (za potrebe zvočnega snemanja LNO 3. in 10. ankete); AV  namestili protivirusno zaščito;  spletni brskalnik Google Chrome (http://www.google.com/chrome); ISKO  razporedili ikone za dostop do programov CapiClient, CMS in snemalnika zvokov. RAZ Vsak anketar je imel svoj računalnik, v skladu s svojo zaporedno številko, npr. anketar 1 je imel računalnik z imenom PIAAC1, označen je bil še dodatno z nalepko. Vsak anketar je dobil tudi svoje geslo za dostop do sistema. Pri opremi računalnika smo posebej poskrbeli za usklajenost s celostno grafično podobo projekta PIAAC v Sloveniji, tako pozdravno okno pri prijavi v Windows 7, kot grafika namizja, nalepka na računalniku in podloga za miško. Grafika je vsebovala tudi ustrezne logotipe sodelujočih v projektu in financerja. 45 SLIKA 8: PODLOGA ZA MIŠKO RAČUNALNIKOV PIAAC SLIKA 9: PRIJAVA V SISTEM ija Uporabniško ime:PIAAC1 ogol d Geslo: ********* to Me LO ČI RO O P LNOAV ISKO RAZ 46 SLIKA 10: GRAFIKA NAMIZJA RAČUNALNIKA ZA ANKETIRANJE CMS sistem za upravljanje z anketami na prenosnih računalnikih Sistem za upravljanje z anketami CMS (Content Management System) je računalniška programska rešitev, ki omogoča interakcijo z anketnim sistemom VM, ki teče v posebnem virtualnem okolju. Vsaka država posebej je bila odgovorna za razvoj CMS, kar je bilo v prvem krogu povsem razumljivo, saj so imele večje in bogatejše OECD države že same razvite ija svoje sisteme, ki so potrebovali le specifične prilagoditve. V drugem krogu pa og so sodelovale države, ki v veliki večini niso imele lastnega sistema, med njimi old tudi Slovenija. Sodelovanje smo sklenili s podjetjem TBA21 iz Frankfurta, ki to je ponudilo nadgradnjo CMS sistema iz Avstrije, ki se je uspešno izkazal v prvem krogu raziskave PIAAC. Me LO Na namizju računalnika anketarjev sta bila na voljo dve različna programa: ČI - CAPI Client, namenjen povezovanju s strežnikom CMS; ROO - PIAAC CMS, namenjen upravljanju anket in interakciji s PIAAC VM P LNOAV ISKO RAZ 47 SLIKA 11: DOSTOP DO PROGRAMOV NA NAMIZJU PIAAC PRENOSNIH RAČUNALNIKOV Zvočno snemanje 3. in 10. ankete Snemalnik zvokov ni bil sestavni del CMS, ampak del operacijskega sistema Windows 7. Snemanje osnovnega vprašalnika pri 3. in 10. anketi je bil obvezni del preverjanja dela anketarjev po tehničnih standardih in priporočilih projekta PIAAC. Anketarjem je bilo na usposabljanju demonstrirano, kako zelo enostavno je posneti zvok in potem pripraviti podatkovni ali zvočni CD. Pripravljena so bila tudi navodila v tiskani obliki, v skrajni sili pa je bil problem rešen preko tehnične pomoči. ija SLIKA 12: SNEMALNIK ZVOKOV ogoldto Me LO ČI RO O P Vzpostavitev povezave LNOA Naloga anketarja v času terenskega dela raziskave je bila dnevno poročanje o V stanju anket. ISKO Pred povezovanjem CAPI Clienta s strežnikom CMS so se anketarji morali najprej povezati na internetno lastno domačo povezavo, nato pa prek VPN vzpostaviti RAZ stik s strežnikom PIAAC ACS. 48 SLIKA 13: PRAVILNA VZPOSTAVITEV VPN PIAAC ACS POVEZAVE CAPI Client CAPI Client je opravljal naslednje funkcije:  posodobitve sistema CMS (vsi prevodi, oznake stanj, vprašanja o okoliščinah ankete, …);  prenos novih dodeljenih praznih anket;  brisanje odvzetih anket;  pošiljanje podatkov o stikih in oznakah stanja;  pošiljanje izpolnjenih anket in dnevnikov aktivnosti SLIKA 14: ZA PRENOS ANKET ija ogoldto Me LO ČI ROO P LNOA V PIAAC CMS ISKO Računalniški program PIAAC CMS je omogočal interakcijo z anketirnim sistemom, RAZ ki je tekel v navideznem računalniku (VM). Orodje je bilo potrebno prevesti v celoti v slovenski jezik in prilagoditi posamezne možnosti na potrebe naše raziskave. PIAAC CMS je omogočal hkratno delo z več raziskavami. Anketarji so tako imeli dve razpoložljivi raziskavi:  PIAAC Usposabljanje; 49  Raziskava PIAAC 2014. Tako so lahko še vedno imeli možnost poglabljanja znanja in testiranja delovanja tudi potem, ko so že bili na terenu. Vsaka anketa je imela štiri različne statuse: 1. Nove 2. Začete/V urejanju 3. Končane 4. Arhiv Vsaka anketa se je s spreminjanjem statusa pomikala po mapah navzdol: vse novo dodeljene ankete so se najprej pokazale v mapi Nove, ko so se začele, so se premaknile v mapo Začete/V urejanju, ko se je anketo zaključilo in vneslo okoliščine reševanja ankete so se premaknile v Končane in ko so bile oddane na strežnik PIAAC CMS, so se postavile v Arhiv. SLIKA 15: UPORABNIŠKI VMESNIK PIAAC CMS ija og PIAAC CMS je omogoča pregled in iskanje anketirancev, zagon ankete, vnos old kontaktnih podatkov, določitev oznak stanja. Ankete ni bilo mogoče zaključiti, to ne da bi vnesli podatke o okoliščinah ankete, ki jih je bilo potrebno posebej vnesti v orodje. Me LO ČI RO O P LNOAV ISKO RAZ 50 SLIKA 16: VNOS OZNAK STANJA IN VPRAŠANJ O OKOLIŠČINAH ANKETE V PIAAC CMS NA STREŽNIKU SLIKA 17: VNOS VZPOSTAVITEV STIKOV SLIKA 18: VNOS OZNAKE STANJA ANKETE ija og oldto Me LO ČI RO O P LNOAV ISKO RAZ 51 Vprašanja o okoliščinah ankete so prikazana v spodnji sliki. SLIKA 19: VPRAŠANJA O OKOLIŠČINAH ANKETE ZZ1a. Ali je bil poleg anketiranca/ke v raziskavi med anketo navzoč še kdo? *  Da  Ne ZZ1b. Ali je/so ta/te oseba/e anketirancu/ki pomagale pri odgovarjanju na naslednje?  Osnovni vprašalnik  Reševanje nalog ZZ2. Ali se vam je zdelo, da je anketiranec/ka razumel/a vprašanja v anketi? *  Nikoli  Skoraj nikoli  Občasno  Pogosto  Zelo pogosto ZZ3. Ali je anketiranec/ka med anketo prosil/a za pojasnilo pri katerem od vprašanj? *  Da  Ne ZZ4. Ali se je med anketo zgodilo kaj od spodnjega? Označite vse, kar velja za to anketo.  Anketiranec/ka je govoril/a še z nekom drugim v gospodinjstvu, ne le z anketarjem/ko raziskave.  Anketiranec/ka je odgovoril/a na telefonski klic, besedilno sporočilo ali e-sporočilo.  Anketiranec/ka je pazil/a otroke.  Anketiranec/ka je med anketo opravljal/a gospodinjska opravila, kot sta kuhanje ali pomivanje.  V neposredni bližini anketiranca/ke so bili prižgani televizor, radijski sprejemnik, igralna konzola ali predvajalnik glasbe.  Anketiranca/ko je zmotil/a druga dejavnost, naloga ali dogodek. ZZ5. Ali se je anketiranec/ka pritožil/a, da anketa traja predolgo ali da jemlje preveč časa? *  Da  Ne ZZ6. V katerem prostoru je v glavnem potekala anketa? *  Dnevna soba/jedilnica  Kuhinja  Spalnica  Predsoba  Hodnik ali stopnišče  Pisarna  Drug prostor v gospodinjstvu  Drug prostor zunaj gospodinjstva (npr. knjižnica, prostori krajevne skupnosti, itd.) ZZ7. Če imate še kakšne pripombe o anketi, jih vpišite v spodnje polje. ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ VM (Virtual Machine) – navidezni računalnik PIAAC VM je računalniško okolje, v katerem je potekala anketa. Teče v operacijskem sistemu Linux Debian, ki se zažene v programu VMWare Player, ki je nameščen na operacijskem sistemu Windows 7 prenosnih računalnikov PIAAC. Z vsakim zagonom ankete v CMS se je operacijski sistem šele naložil, zato je bila vzpostavitev okolja za anketiranje kar dolgotrajna in je trajala tudi minuto ali več. 52 SLIKA 20: CMS IN VM NA PIAAC RAČUNALNIKU PIAAC VM je vseboval različne sestavine PIAAC sistema, osnovni vprašalnik, navodila za anketarja, mehanizem poteka ankete, kognitivni del. Mednarodni konzorcij je izdal PIAAC VM za vsako državo posebej, le ta pa je vseboval vse specifike, npr. osnovnega vprašalnika, prevode vseh tekstov in kognitivnega dela, prirejen potek ankete, upoštevanje razporeditve tipk na tipkovnici. Naloga vsake države je bila, da preveri scenarije poteka VM, ki jih je pripravil mednarodni konzorcij, doda še svoje scenarije, preveri vse sestavine VM, vprašanja v osnovnem vprašalniku in naloge, navodila za anketarje, pripravi nacionalno strukture podatkovne baze v programu DME in uvozi testne ankete. Delo s testiranjem in popravki VM PIAAC za glavno raziskavo je potekalo izredno intenzivno, saj smo zadnjo različico dobili med usposabljanjem anketarjev in tik pred njihovim odhodom na teren. Modra je bila odločitev, da smo ločili VM usposabljanja in VM glavne raziskave, saj nam je to zelo prav prišlo pri tehničnih težavah, ki so jih anketarji imeli na terenu. DME – Data management expert, postavitev nacionalne podatkovne strukture baze PIAAC Programsko orodje DME (Data Management Expert) je razvil nemški partner pri projektu PIAAC IEA DPC (Data Processing and Research Center). DME je ključno in obvezno orodje, ki omogoča integracijo, urejanje in ija preverjanje nacionalne baze PIAAC. Za instalacijo zadostuje vsaj Windows XP ogol SP3, vendar je priporočljiv operacijski sistem Windows 7 ali višji ter Microsoft d .NET Framework 4. to Me DME je vsebovalo tudi orodje, ki je omogočalo dodajanje novih spremenljivk, ki omogoča da smo iz mednarodne zasnove pripravili nacionalno zasnovo baze PIAAC, LO v skladu s podatki BQAS (Background Questionnaire Adaptation Sheet), ki smo ga ČI uskladili z mednarodnim konzorcijem. ROO P Slovenija je imela v PIAAC bazi 37 nacionalnih spremenljivk, označene so z »SI« (pilotna različica) in »SIX« (glavna raziskava), vse pa so se nanašale na LNO podatkovno tabelo rezultatov osnovnega vprašalnika BQR (Background A Questionnaire Results). V TABELA 25: SEZNAM SLOVENSKIH SPREMENLJIVK V DME ISKO Ime TabelaID Tabela Zap. Vprašanje/navodilo RAZ spremenljivke številka B_Q01aSI 2 BQR 20 Katera je vaša najvišja dosežena izobrazba? B_Q01a2SI 2 BQR 23 V kateri državi ste pridobili to izobrazbo? B_Q01a3SI 2 BQR 26 Ali lahko opredelite, katera stopnja našega izobraževalnega sistema najbolj ustreza tej stopnji pridobljene izobrazbe? B_Q02bSI 2 BQR 34 Za katero stopnjo izobrazbe se trenutno izobražujete? 53 B_Q03bSI 2 BQR 38 Za katero stopnjo izobrazbe ste se začeli izobraževati? Če je bilo stopenj več, navedite najvišjo. B_Q05aSI 2 BQR 46 Katera stopnja izobrazbe je bila to? B_C05b2SIX 2 BQR 49 Ali ste se udeležili izobraževanja za pridobitev te stopnje izobrazbe: B_Q20bSIX 2 BQR 75 Naslednje vprašanje se nanaša na organizacije oziroma ustanove, v katerih ste običajno obiskovali izobraževanje in usposabljanje. Kje je to izobraževanje ali usposabljanje potekalo? C_Q07SI 2 BQR 112 Kaj od naštetega (na kartici) opisuje vašo delovno aktivnost? Izberite ENO trditev. Če za vas velja več trditev, izberite tisto, ki vas po vašem mnenju najbolje opisuje. B_S20bSIX 2 BQR 122 navedite D_Q12aSI 2 BQR 149 Še vedno govoriva o vaši sedanji službi. Če bi se danes prijavljali na to delovno mesto, kakšna izobrazba ali kvalifikacije, bi bile potrebne, da bi DOBILI to zaposlitev? D_Q12cSIX1 2 BQR 152 Še vedno govoriva o vaši sedanji zaposlitvi. Če bi se danes prijavljali na to delovno mesto, katero študijsko področje bi bilo potrebno, da bi DOBILI to vrsto zaposlitve? D_Q12cSIX2 2 BQR 153 Katera od naslednjih trditev najbolj drži, če razmišljamo o tem, ali je vaše študijsko področje (področje izobraževanja) ustrezno za zadovoljivo opravljanje vašega dela? D_Q14SIX1 2 BQR 158 Ponosen sem na svoje delo, ki ga sedaj opravljam. D_Q14SIX2 2 BQR 159 Ponosen sem na svoj poklic. D_Q14SIX3 2 BQR 160 Zadovoljen sem s svojim kariernim uspehom. D_Q14SIX4 2 BQR 161 Zadovoljen sem z napredkom pri doseganju mojih splošnih kariernih ciljev. D_Q14SIX5 2 BQR 162 Zadovoljen sem z napredkom v zvezi z doseganjem mojih ciljev, povezanih z dohodkom. D_Q14SIX6 2 BQR 163 Zadovoljen sem z napredkom v zvezi z doseganjem mojih ciljev o napredovanju. D_Q14SIX7 2 BQR 164 Zadovoljen sem z napredkom v zvezi z izpolnjevanjem mojih ciljev o razvijanju novih znanj in spretnosti. D_Q14SIX8 2 BQR 165 Kako uspešna ocenjujete, da je bila do sedaj vaša kariera? D_Q14SIX9 2 BQR 166 Kako uspešna je bila do sedaj vaša kariera, če se primerjate s svojimi sedanjimi sodelavci? ija D_Q14SIX10 2 BQR 167 Ali menite, da glede na vašo starost vaša og kariera poteka po načrtu, zaostaja ali old prehiteva? to D_Q18c2SIX1 2 BQR 187 Če bi imel možnost za enako plačilo dobiti drugo službo, bi jo najbrž sprejel. Me D_Q18c2SIX2 2 BQR 188 Vsekakor si želim razviti kariero na mojem LO poklicnem področju. ČI D_Q18c2SIX3 2 BQR 189 Če bi imel možnost ponovne izbire, se ne bi več odločil za ta poklic. RO O D_Q18c2SIX4 2 BQR 190 Če bi imel toliko denarja za življenje, da mi ne P bi bilo treba delati, bi verjetno še naprej ostal v tem poklicu. LNO D_Q18c2SIX5 2 BQR 191 To je idealen poklic za moje poklicno življenje. AV J_Q02cSI 2 BQR 296 Prosim, oglejte si kartico in mi povejte, katera od naslednjih trditev najbolje opiše trenutni položaj vašega zakonskega ali zunajzakonskega ISKO partnerja. RAZ J_Q04bSI 2 BQR 304 V kateri državi ste se rodili? J_Q05a1SI 2 BQR 309 Katerega jezika ste se v otroštvu doma najprej naučili in ga ŠE VEDNO RAZUMETE? J_Q05a2SI 2 BQR 313 Kateri je drugi jezik, ki ste se ga v otroštvu doma najprej naučili in ga ŠE VEDNO RAZUMETE? J_Q05bSI 2 BQR 316 Kateri jezik najpogosteje govorite doma? J_Q06bSI 2 BQR 320 Katera je najvišja stopnja izobrazbe, ki jo je dosegla vaša mati oziroma skrbnica? J_Q07bSI 2 BQR 323 Katera je najvišja stopnja izobrazbe, ki jo je dosegel vaš oče oziroma skrbnik? J_Q08SIX1 2 BQR 325 Naslednji dve vprašanji zadevata medgeneracijsko 54 učenje. Ste seznanjeni s tem, da v vašem lokalnem okolju potekajo izobraževalni programi medgeneracijskega učenja? J_Q08SIX2 2 BQR 326 Ste se že kdaj udeležili kakšnega takšnega programa? V programu DME je bil poseben del namenjen urejanju strukture podatkovne baze, imenoval se je Codebook Editor. SLIKA 21: VSEBINA ZIP DATOTEKE ANKETE 50110018.ZIP Mednarodni konzorcij je februarja 2013 v Atenah pred pilotno terensko raziskavo organiziral usposabljanje nacionalnih menedžerjev baz podatkov NDM za uporabo tega orodja. V kratkem roku je bilo potrebno pripraviti nacionalno PIAAC bazo podatkov, testirati nacionalni VM in potem uvoziti ZIP datoteke anket, ki jih je bilo potrebno s posebnimi ukazi pridobiti iz VM, saj takrat vmesnik za urejanje anket CMS še ni deloval. SLIKA 22: UREJANJE NACIONALNIH SPREMENLJIVK V DME ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 55 SLIKA 23: UREJANJE NACIONALNIH VREDNOSTNIH SHEM V DME Priprava računalnikov za izvedbo anketiranja in usposabljanje anketarjev Za potrebe pilotne in glavne raziskave je bilo potrebno preko javnega razpisa kupiti prenosne računalnike. Največji težavi za izbranega dobavitelja sta bili količina računalnikov iste konfiguracije in izredno kratek rok dobave. Zaradi dolgotrajnosti priprave javnega razpisa in tehničnih specifik, podanih v zahtevah, predvsem nesvetlečega zaslona in količine, je bilo potrebno računalnike posebej za ta namen sestaviti skupaj in jih tudi poslati v Slovenijo, kar je zelo podaljšalo dobavo in posledično povzročilo precej preglavic, saj ni bilo pravega časa za urejanje vzorčnega računalnika PIAAC0, kaj šele priprave vseh drugih. ija Vzorčni računalnik PIAAC0 smo pripravili skupaj s partnerji TBA21 (na daljavo og iz Frankfurta in Dunaja), potrebno je bilo postaviti celoten sistem delujoč old CMS, vzpostaviti povezave s strežnikom PIAAC, vzpostaviti povezave CMS in VM, to prevesti CMS v slovenski jezik in preizkušati kar največ scenarijev, med najbolj Me pomembnimi je bil tudi preklop med načinom delovanja za usposabljanje anketarjev in pravo terensko raziskavo, kar se vedno zgodi praktično čez noč. LO ČI RO O P LNOAV ISKO RAZ 56 SLIKA 24: POSTAVITEV PIAAC PLATFORME NA PRENOSNIH RAČUNALNIKIH Na zgornji fotografiji je prikaz priprave vseh ostalih računalnikov PIAAC1, PIAAC2, PIAAC3, … za potrebe usposabljanja anketarjev in nato terenskega dela raziskave. Pomagali smo si z nasveti dobavitelja računalnika in uspeli pospešiti pripravo enega računalnika (postavitev traja skupno zagotovo več kot eno uro) z uporabo hkratnega postavljanja več računalnikov in sicer je bilo potrebno:  narediti sliko image vzorčnega PIAAC0 računalnika (velikost preko 35 GB);  uporabiti mrežno prenosno diskovno polje hitrosti 1 Gbps ter stikala 1 Gbps; ija  povezati po več računalnikov (od 4 do 5 je bilo optimalno) hkrati na og diskovno polje z omrežnimi kabli ethernet; old  z ustrezno programsko opremo kopirati image PIAAC0 na izbrane to računalnike; Me  urediti nastavitve novo postavljenih računalnikov;  namestiti testne ankete in preizkusiti povezave ter delovanje. LO ČI Pri prvi namestitvi sistema računalnikov pa je bilo potrebno tudi popraviti RO njihov BIOS, da so lahko delovali z zahtevanim operacijskim sistemom Windows 7 O in ne Windows 8.1, kakor so bili dobavljeni. P Vse računalnike je bilo potrebno opremiti tudi z nalepkami, podlogo za miško, LNOA torbico in ostalim gradivom, kakor se vidi na spodnjih dveh fotografijah, tik V pred začetkom usposabljanja anketarjev. ISKO RAZ 57 SLIKA 25: PRIPRAVLJENO GRADIVO ZA USPOSABLJANJE ANKETARJEV V SEMINARSKI SOBI ANDRAGOŠKEGA CENTRA SLOVENIJE SLIKA 26: PRIPRAVLJENO GRADIVO ZA USPOSABLJANJE ANKETARJEV V SEJNI SOBI ANDRAGOŠKEGA CENTRA SLOVENIJE ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 58 Tehnična priprava anket za anketiranje Vsaka anketa je vsebovala podatke iz vzorca, ki ga je pripravil Statistični urad RS, dodana pa je bila unikatna PERSID številka, ki je spremljala anketiranca v vseh postopkih in dokumentaciji. Priprava PERSID je bila prepuščena vsaki državi posebej, v Sloveniji smo zasnovali ID številko tako, da je vsebovala tudi številko anketarja. Na Andragoškem centru Slovenije smo se odločili, da bo vsak anketar dobival valove po 60 anketirancev, zato je bilo potrebno pripraviti sezname v Excelu, ki so jih pripravile nadzornice terenskega dela raziskave na podlagi podatkov vzorca. Postopki pri tehnični pripravi anket za anketiranje so bili naslednji:  vsakemu anketirancu je bila dodana še številka PERSID;  pripraviti po tri nalepke za anketiranca;  pripraviti seznam z vsemi anketiranci določenega vala;  izvoziti in pripraviti podatke za vnos v CMS sistem;  uvoziti podatke anketirancev v CMS;  v skladu z navodili nadzornic terenskega dela dodeliti anketirance anketarjem. Vzorec je vseboval 9.000 enot, zato je obseg dela samo za tehnično pripravo temu primerno zelo obsežen. Če smo v povprečju 5 minut porabili za enega anketiranca to pomeni 750 ur dela! ID številke ID številke so bile izredno pomembne sestavine računalniške baze PIAAC in s tem tudi platforme. Pri ustvarjanju, dodeljevanju in uporabi ID številk ni smelo priti do nobenih napak, npr. podvojitev, zamenjav, napačne dodelitve, saj bi prišlo do zmešnjave in posledično neuporabne podatkovne baze PIAAC. Zasnova ID številke anketiranca, npr. PERSID 50110018 5 – začetna številka, ki označuje PERSID glavne raziskave) 01 – zaporedna številka anketarja ija 1 – zaporedna številka izdanega vala ogol 001 – zaporedna številka anketiranca dto 8 – dodana izračunana kontrolna številka Me LO ČI ROO P LNOAV ISKO RAZ 59 TABELA 26: PRIMER ID ŠTEVILKE ZVEZKOV IN ANKETIRANCEV Osnovni zvezek Zvezek nalog 1 Zvezek nalog 2 Bralna pismenost ID anketiranca BOOKID_PPC BOOKID_PP1 BOOKID_PP2 BOOKID_PRC PERSID 100014 200011 300018 400015 50110018 100021 200028 300025 400022 50110025 100038 200035 300032 400039 50110032 100045 200042 300049 400046 50110049 … … … … … TABELA 27: ID ŠTEVILKE ANKETARJEV Anketar Računalnik AnketarID INTVID 1 PIAAC1 7016 2 PIAAC2 7023 3 PIAAC3 7030 4 PIAAC4 7047 … … … 67 PIAAC67 7672 Izračun kontrolne številke Izračun kontrolne številke za ID oznake je bil zelo zanimiv in kaže na kompleksnost zasnove platforme kot celote. Če bi npr. želeli dobiti kontrolno številko PERSID, gre tako: 1. korak: vzemimo lihe cifre števila (začnemo z leve), jih seštejemo in pomnožimo s 3; 2. korak: vzemimo sode cifre števila (začnemo z leve) in jih prištejemo rezultatu; 3. korak: delimo z 10 in poglejmo ostanek; 4. korak: a. ija če je rezultat 0, potem je kontrolna številka 0; b. og če rezultat ni nič, potem od deset odštejemo rezultat, dobljena ol številka pa je kontrolna številka. dto Primer: 5011001 Me 1. korak: 5+1+0+1=7; 7 * 3 = 21 LO 2. korak: 21 + 0 + 1 + 0 = 22 ČI 3. korak: 19 mod 10 = 2 RO 4. korak: 10 - 2 = 8 O P Rešitev: ID 5011001 skupaj s kontrolno številko je 5011008. LNO Tudi v tem primeru je bilo potrebno narediti lastno orodje, uporabili smo kar AV programski jezik PHP in uporabili orodje na spletu. ISKO RAZ 60 SLIKA 27: FUNKCIJA ZA IZRAČUN KONTROLNE ŠTEVILKE (JEZIK PHP) function piaac_check ($num) { for ($i=0;$i 10,000 preb. 54.3 % 593 Maribor 43.2 % 159 RAZ Ljubljana 45.8 % 514 Evalvacija pristranskosti zaradi neodgovora Stopnja odgovora je le eden izmed kazalcev kakovosti podatkov z vidika reprezentativnosti za ciljno populacijo, katerega točnost se v praksi pogosto izkaže za vprašljivo. Pristranskost zaradi neodgovora namreč ne izhaja neposredno iz deleža respondentov oz. nerespondentov, temveč iz razlik v 72 opazovanih značilnostih med njimi. Pomemben del evalvacije kakovosti podatkov je zato ocena pristranskosti zaradi neodgovora. Ocenjevanje pristranskosti zaradi neodgovora je potekalo v dveh fazah. Osnovno analizo pristranskosti, ki je predstavljena v tem delu, je izvedla Fakulteta za družbene vede. Razširjeno analizo pristranskosti pa je izvedel mednarodni konzorcij na osnovi načrta, izdelanega na nacionalnem nivoju. Ker se je ta analiza osredotočala predvsem na ocenjevanje učinkovitosti uteževanja podatkov, jo predstavljamo v naslednjem delu poročila. Namen osnovne analize pristranskosti zaradi neodgovora je bil z uporabo razpoložljivih zunanjih podatkov ugotoviti, katere osnovne socio-demografske spremenljivke vplivajo na sodelovanje anketirancev. To je omogočalo identifikacijo skupin, ki bi lahko bile bolj podvržene pristranskosti zaradi neodgovora in jim je bilo treba pri načrtovanju in izvedbi postopkov uteževanja nameniti posebno pozornost. Izvedena je bila tudi primerjava anketne in populacijske socio-demografske strukture, ki je podala dodaten vpogled v značilnosti realiziranega vzorca. Skladno s standardi raziskave PIAAC so bile v osnovno analizo pristranskosti vključene kontrolne spremenljivke, ki so vsebovane v Centralnem registru prebivalstva in s tem na voljo za respondente in nerespondente: spol, starost, regija in tip naselja. Za primerjavo realizirane in populacijske strukture pa je bila uporabljena tudi izobrazba anketiranca. Realizirana in populacijska socio-demografska struktura Primerjava realizirane in populacijske socio-demografske strukture je podana v Tabeli 34. Absolutne razlike med vzorčno in populacijsko strukturo so izražene v odstotnih točkah. Relativne razlike so izražene v odstotkih, izračunanih kot razlika med vzorčnim in populacijskim deležem, deljena s populacijskim deležem. Izrazito večje relativne razlike kažejo na nadreprezentiranost najmlajše skupine ciljne populacije (16–25 let), prebivalcev Koroške, Spodnjeposavske in Goriške regije, prebivalcev kmečkih naselij ter oseb s srednjo splošno ali višjo izobrazbo. Izraziteje podreprezentirane pa so predvsem osebe iz osrednjeslovenske regije, večjih mest in nižje izobraženi. Ugotovljena odstopanja so posledica tipičnih vzorcev razlik v pripravljenosti za sodelovanje v anketah. Čeprav so relativne razlike v nekaterih primerih razmeroma visoke, predvsem pri manjših skupinah (npr. Koroška regija, prebivalci Maribora ter najvišje in najnižje izobraženi), izkušnje iz podobnih anket kažejo, da je takšna odstopanja mogoče učinkovito odpravljati z uporabo ustreznih postopkov uteževanja. TABELA 34: PRIMERJAVA REALIZIRANE IN POPULACIJSKE SOCIO-DEMOGRAFSKE STRUKTURE Z IZRAČUNOM ABSOLUTNIH IN RELATIVNIH RAZLIK. ija og PIAAC Populacija Absolutna Relativna ol razlika razlika d Spol to Moški 49.0 % 51.4 % -2.4 o.t. -4.6 % Me Ženski 51.0 % 48.6 % +2.4 o.t. +4.9 % LO ČI Starost ROO 16–25 17.9 % 15.4 % +2.5 o.t. +16.2 % P 26–35 18.8 % 21.0 % -2.2 o.t. -10.6 % LNO 36–45 19.9 % 21.4 % -1.5 o.t. -7.0 % AV 46–55 22.8 % 21.9 % +0.9 o.t. +4.0 % ISKO 56–65 20.6 % 20.3 % +0.3 o.t. +1.7 % RAZ Statistična regija Pomurska 6.1 % 5.7 % +0.4 o.t. +6.7 % Podravska 14.6 % 15.9 % -1.3 o.t. -8.1 % Koroška 5.0 % 3.5 % +1.5 o.t. +42.0 % Savinjska 13.1 % 12.6 % +0.5 o.t. +3.9 % Zasavska 2.3 % 2.1 % +0.2 o.t. +11.7 % 73 Spodnjeposavska 3.9 % 3.4 % +0.5 o.t. +14.9 % JV Slovenija 7.9 % 6.9 % +1.0 o.t. +14.5 % Osrednjeslovenska 22.5 % 26.5 % -4.0 o.t. -15.2 % Gorenjska 10.2 % 9.7 % +0.5 o.t. +5.4 % Notranjsko-kraška 2.4 % 2.5 % -0.2 o.t. -6.6 % Goriška 6.6 % 5.6 % +1.0 o.t. +17.8 % Obalno-kraška 5.4 % 5.6 % -0.1 o.t. -2.2 % Tip naselja Kmečka naselja < 2,000 preb. 27.8 % 23.5 % +4.3 o.t. +18.4 % Nekmečka naselja < 2,000 preb. 30.7 % 28.3 % +2.4 o.t. +8.5 % Naselja 2,000–10,000 preb. 17.5 % 16.8 % +0.7 o.t. +4.3 % Naselja > 10,000 preb. 11.2 % 13.1 % -1.9 o.t. -14.2 % Maribor 3.0 % 4.7 % -1.7 o.t. -35.7 % Ljubljana 9.7 % 13.7 % -3.9 o.t. -28.6 % Izobrazba Brez / nepopolna osnovna 1.4 % 1.8 % -0.4 o.t. -21.7 % Osnovna 16.2 % 19.3 % -3.2 o.t. -16.4 % Nižja ali srednja poklicna 23.5 % 22.4 % +1.1 o.t. +4.8 % Srednja strokovna 24.7 % 25.9 % -1.2 o.t. -4.7 % Srednja splošna 9.0 % 7.5 % +1.5 o.t. +19.5 % Višja strokovna / višješolska 6.1 % 5.2 % +0.9 o.t. +17.5 % Visokošolska strokovna 4.6 % 4.0 % +0.6 o.t. +15.2 % Visokošolska univerzitetna 11.6 % 11.4 % +0.2 o.t. +2.2 % Specializacija / mag. / dr. 2.9 % 2.4 % +0.5 o.t. +18.7 % Socio-demografski dejavniki sodelovanja ija Osrednji del osnovne analize pristranskosti zaradi neodgovora je sestavljala ogol identifikacija ključnih socio-demografskih dejavnikov sodelovanja v raziskavi. d Za ta namen so bile primerne spremenljivke spol, starost, regija in tip naselja, to ki so na voljo v Centralnem registru prebivalstva in jih je tako mogoče Me pridobiti za respondente in nerespondente. Uporaba teh spremenljivk je bila smiselna tudi zaradi njihove povezanosti s kompetencami, ki so jo pokazale LO ČI predhodne raziskave. Za identifikacijo dejavnikov sodelovanja so bile uporabljene multivariatne statistične metode dreves razvrščanja RO O (classification trees) in logistične regresije. P Drevesa razvrščanja oz. odločitvena drevesa omogočajo odkrivanje ključnih LNO skupin z vidika opazovanih značilnosti, v tem primeru stopnje sodelovanja, ter AV iskanje povezav med njimi. Za izračun drevesa je bila uporabljena metoda CHAID v statističnem paketu SPSS 20. Dobljeno drevo razvrščanja ponazarja Slika 30, ISKO najizraziteje izstopajoče skupine pa so opisane v Tabeli 35. RAZ Rezultati te metode kažejo, da so skupine z najnižjimi stopnjami sodelovanja večinoma povezane z večjimi naselji, kar je skladno z izkušnjami drugih uradnih in družboslovnih anket splošne populacije. Učinek je bil najbolj izrazit v Mariboru in Ljubljani, zlasti med moškimi, ki so starejši od 45 let. Stopnje odgovora so bile v splošnem najvišje v kmečkih naseljih (skupno 69 %) z izjemo Notranjsko-kraške regije, kjer je bilo doseženo sodelovanje v kmečkih naseljih občutno nižje (45 %). Kot je bilo ugotovljeno že pri pregledu realizacije vzorca, so bile stopnje odgovora izrazito visoke v Koroški in Zasavski regiji ter med najmlajšimi anketiranci (16–25 let). V nasprotju s starejšimi anketiranci je v nekaterih regijah ta starostna skupina izražala visoko 74 pripravljenost za sodelovanje tudi v naseljih z več kot 10,000 prebivalci, vendar to ne velja v obeh največjih slovenskih mestih. SLIKA 30: DREVO RAZVRŠČANJA GLEDE NA STOPNJE ODGOVORA ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 75 TABELA 35: OPIS SKUPIN Z NAJVIŠJIMI IN NAJNIŽJIMI STOPNJAMI SODELOVANJA, IDENTIFICIRANIH Z UPORABO DREVESA RAZVRŠČANJA Vozlišče* Opis skupine Stopnja odgovora 11 Osebe iz kmečkih naselij Koroške in Zasavske regije. 88.6 % 21 Najmlajše osebe (16–25 let) iz naselij z več kot 10,000 prebivalci 80.5 % Goriške, Pomurske, Gorenjske, Osrednjeslovenske in zastavska regije. 19 Ženske iz kmečkih naselij Goriške, Osrednjeslovenske, Spodnjeposavske, 75.6 % Savinjske in Obalno-kraške regije ter JV Slovenije. 5 Najmlajše osebe (16–25 let) iz naselij z manj kot 10,000 prebivalci. 74.0 % … … … 10 Osebe iz kmečkih naselij Notranjsko-kraške regije. 45.3 % 25 Osebe, starejše od 25 let iz naselij z več kot 10,000 prebivalci Koroške, 43.8 % Podravske in Obalno-kraške regije ter JV Slovenije. 15 Osebe, stare 16–25 oz. 36–45 let iz Ljubljane in Maribora. 40.4 % 27 Moški, starejši od 45 let iz Ljubljane in Maribora. 40.3 % * Zaporedna številka vozlišča glede na Sliko 30. Za nadaljnje proučevanje vpliva osnovnih socio-demografskih spremenljivk na izid anketiranja je bila izvedena logistična regresija. Starost je bila v model vključena kot številska spremenljivka, ostali prediktorji pa kot kategorialne. Rezultati analize (Tabela 36) so bili v veliki meri skladni z zgornjimi ugotovitvami. Moški ter osebe iz nekmečkih in večjih naselij so statistično značilno manj verjetno sodelovali v raziskavi. Model kaže sicer statistično značilen, vendar šibek negativen čisti vpliv starosti na sodelovanje. Izkazan šibek vpliv je bil verjetno delno posledica težje dosegljivosti specifičnih starostnih skupin, predvsem oseb med 26. in 45. letom starosti. Kontroliran učinek regije je bil statistično značilno pozitiven pri štirih regijah (Koroška, Zasavska, Gorenjska in JV Slovenija). Edina regija s statistično značilno nižjo stopnjo sodelovanja ob kontroli po ostalih spremenljivkah je bila Notranjsko-kraška. V splošnem to kaže, da ima tip naselja višji in bolj konsistenten čisti učinek na stopnjo odgovora kot regija, kar je ija predvsem očitno v primeru Ljubljane (Osrednjeslovenska regija) in Maribora og (Podravska regija). Medtem ko so osebe iz teh mest izražale statistično značilno ol nižje obete sodelovanja, to ne velja za njuni regiji kot celoti. dto Me LO ČI RO O P LNOAV ISKO RAZ 76 TABELA 36: REZULTATI LOGISTIČNE REGRESIJSKE ANALIZE S PRIKAZOM REGRESIJSKIH KOEFICIENTOV, RAZMERIJ OBETOV IN VREDNOSTI STATISTIČNIH PREIZKUSOV. Spremenljivka Koeficient Razmerje t-vrednost obetov Konstanta 0.722 2.058 5.69 Spol (Ref. kategorija: Ženski) Moški -0.241 0.785 -5.38* Starost -0.004 1.000 -2.49* Statistična regija (Ref. kategorija: Pomurska regija) Podravska Koroška 0.043 1.044 0.38 Savinjska 0.965 2.624 5.77* Zasavska 0.097 1.102 0.87 Spodnjeposavska 0.580 1.785 3.05* JV Slovenija 0.152 1.164 1.01 Osrednjeslovenska 0.324 1.382 2.56* Gorenjska -0.036 0.964 -0.32 Notranjsko-kraška 0.254 1.290 2.11* Goriška -0.333 0.717 -2.04* Obalno-kraška 0.462 1.587 3.39 0.164 1.178 1.22 Tip naselja (Ref. kategorija: Nekmečka naselja < 2,000 preb.) Kmečka naselja < 2,000 preb. 0.233 1.263 3.57* Naselja 2,000–10,000 preb. -0.172 0.842 -2.49* Naselja > 10,000 preb. -0.447 0.640 -5.84* ija Maribor -0.746 0.474 -5.78* og Ljubljana -0.567 0.567 -6.33* oldto * n = 8,753; F = 13.51; * p < 0.05 Me Predstavljeni rezultati logističnega modela sodelovanja v anketi so tako LO potrdili predhodne ugotovitve in so bili skladni s pričakovanji in izkušnjami ČI primerljivih visokokakovostnih anket. Vse spremenljivke, uporabljene za osnovno RO analizo pristranskosti zaradi neodgovora so bile tudi vključene v postopke O P uteževanja. Pri analizi podatkov je bilo z uporabo uteževanja tako mogoče kontrolirati odstopanja teh socio-demografskih značilnosti od populacijske LNO strukture. AV Analiza neodgovora na vprašanja ISKO Pomemben vidik kakovosti anketnih podatkov so bili neodgovori na posamezna vprašanja. Nekateri anketiranci namreč na določeno vprašanje niso podali RAZ odgovora, bodisi zaradi nezmožnosti (odgovor »ne vem«) bodisi zaradi zavrnitve odgovora iz različnih razlogov. Tehnični standardi in smernice za PIAAC so zahtevali posebno pozornost pri vprašanjih, ki so imeli stopnjo odgovora nižjo od 85 % (torej več kot 15 % anketirancev na vprašanje ni podalo ustreznega vsebinskega odgovora). Velika večina vprašanj je v slovenski raziskavi PIAAC dosegla popolno (100 %) ali skoraj popolno (99 %) stopnjo odgovora na vprašanje. Prag 85 % stopnje odgovora 77 na vprašanje zaradi odgovora »ne vem« ali zavrnitve odgovora ni bil dosežen pri le desetih vprašanjih. Polovica teh vprašanj se je nanašala na zelo majhno število oseb (sedem ali manj ustreznih oseb). Preostalih pet vprašanj, ki so se nanašala na večje število anketirancev, je bilo povezanih z osebnim dohodkom (Tabela 37). TABELA 37: STOPNJE ODGOVOROV PRI VPRAŠANJIH S STOPNJAMI POD PRAGOM 85 %. Vprašanje Število Stopnja odgovora Stopnja odgovora ustreznih (»ne vem« kot (»ne vem« kot neodgovor) veljaven odgovor) D_Q16b: Bruto plačilo (zaposleni) 2559 66 % 85 % D_Q17b: Znesek dodatnih izplačil 2058 74 % 93 % (zaposleni) D_Q18a: Zaslužek s sedanjo poslovno 323 41 % 73 % dejavnostjo (samozaposleni) D_Q18b: Pripravljenost odgovoriti na 86 84 % 84 % vprašanje o zaslužku s poslovno dejavnostjo v širših kategorijah (samozaposleni) D_Q18c2: Zaslužek prejšnje leto 115 69 % 90 % (samozaposleni) Opomba: Prikazanih ni pet vprašanj s stopnjo odgovora pod 85 %, ki so se nanašala na manj kot deset anketirancev (število ustreznih < 10). Vprašanja, navedena v Tabeli 37 so bila obravnavana individualno v okviru analize neodgovora na vprašanje. Po izdelavi začetnega poročila je mednarodni konzorcij predlagal podrobnejše analize za vprašanje D_Q18a (Zaslužek s sedanjo poslovno dejavnostjo med samozaposlenimi), pri katerem je bila dosežena najnižja stopnja odgovora na vprašanje. Rezultati so pokazali, da je na to vprašanje odgovorilo manj anketirancev z nižjo izobrazbo, posameznikov iz kmečkih naselij, žensk ter tistih, ki v svojem podjetju zaposlujejo tudi druge osebe. Končna ocena je, da neodgovori na vprašanja ne predstavljajo bistvenih omejitev za raziskavo, saj so omejeni na zelo majhno število spremenljivk. Vprašanja povezana z dohodkom so sicer običajno problematična v anketah in so pogosto podvržena še izrazito nižjim stopnjam odgovorom kot so bile dosežene v anketi PIAAC. Izpostaviti velja tudi, da so nekateri anketiranci, ki na zgoraj navedena vprašanja o točnem dohodku niso želeli odgovoriti, bili pripravljeni podati odgovor na vprašanje o razredu osebnega dohodka. ija Uteževanje podatkov ogol Uteževanje zbranih podatkov omogoča upoštevanje in popravke odstopanj v dto strukturi vzorca med izvajanjem analiz. Uteževanje v raziskavi PIAAC je sledilo natančno določenim smernicam za zagotavljanje visoke kakovosti in učinkovitosti Me postopkov, ki prispevajo k boljši reprezentativnosti vzorca. Ključni cilji LO uteževanja so bili: ČI  odpravljanje razlik v strukturi vzorca, nastalih zaradi postopkov RO O vzorčenja in nepopolne pokritosti ciljne populacije z vzorčnim okvirom; P  zmanjševanje pristranskosti zaradi razlik med respondenti in nerespondenti; LNO  A zmanjševanje napak z upoštevanjem znanih populacijskih značilnosti; V  povečanje natančnosti ocenjevanja variance;  zagotavljanje mednarodne primerljivosti podatkov. ISKO RAZ Postopki uteževanja podatkov Nacionalni partnerji raziskave so bili zadolženi za izbor ustreznih kontrolnih spremenljivk za uteževanje, pridobivanje populacijskih podatkov ter pripravo podatkovnih datotek za izračunavanje uteži. Nadaljnje postopke uteževanja je izvedel mednarodni konzorcij ter izračunane uteži vrnil v potrditev nacionalnim partnerjem. Izbor spremenljivk za uteževanje je bil izveden na osnovi razpoložljivosti populacijskih podatkov in ugotovitev osnovne analize pristranskosti zaradi 78 neodgovora. Izbrane so bile spremenljivke, ki so na voljo za vse respondente in nerespondente: spol in starost, regija ter tip naselja. Za kalibracijo na velikost ciljne populacije je bila dodatno vključena stopnja izobrazbe. Za anketirance, ki na vprašanje o izobrazbi niso odgovorili zaradi težav s pismenostjo, je bil podatek o izobrazbi imputiran na osnovi primerljivih oseb v vzorcu. Za izračun uteži je bila bistvenega pomena točnost populacijskih podatkov. Podatke za vse vključene spremenljivke je posredoval Statistični urad, ki jih je pridobil iz administrativnih virov. Za preverjanje njihove točnosti je bila izvedena tudi primerjava z Anketo o delovni sili, ki sledi primerljivi mednarodno določeni metodologiji in s četrtletnim izvajanjem ponuja ažurne populacijske ocene. V procesu izračunavanja uteži so bile pripravljene prilagoditve za:  razlike v verjetnosti izbora posameznikov iz ciljne populacije, ki v Sloveniji zaradi uporabljenega vzorčnega načrta sicer niso nastale;  odpravljanje odstopanj zaradi neznane ustreznosti nekaterih oseb za anketiranje (npr. zaradi odselitve s prijavljenega naslova);  nesodelovanja v anketi (neodgovora), pri čemer so bile pripravljene tudi ločene prilagoditve za osebe, ki niso sodelovale zaradi težav s pismenostjo;  kalibracijo za ujemanje vzorčnih podatkov s populacijskimi kontrolnimi vsotami. Preverjanje uteži in razširjena analiza pristranskosti zaradi neodgovora Izračunane uteži so bile preverjene z uporabo statističnih analiz, ki so potrdile njihovo visoko kakovost. Nobena utež ni dosegla kritične velikosti, ki bi zahtevala njihovo rezanje, t. j. omejevanje razpona vrednosti za preprečevanje prekomernega povečanja variance. To ponovno kaže na kakovostno strukturo realiziranega vzorca z ustrezno majhnimi odstopanji na ključnih socio-demografskih spremenljivkah. Za nadaljnjo evalvacijo je bila izvedena primerjava uteženih anketnih in populacijskih podatkov na različnih spremenljivkah, za katere je bilo mogoče pridobiti zanesljive populacijske ocene. Posebna pozornost je bila namenjena izobrazbi in zaposlitvenemu statusu, pri čemer so bila ugotovljena le manjša odstopanja na obeh spremenljivkah. Kot del aktivnosti preverjanja uteži je bila izdelana razširjena analiza pristranskosti zaradi neodgovora, katere namen je bil preveriti učinkovitost uteževanja pri zmanjševanju tega problema. Razširjeno analizo je izvedel mednarodni konzorcij na osnovi načrta, ki so ga izdelali partnerji s Fakultete za družbene vede. Z upoštevanjem standardov raziskave, razpoložljivih populacijskih podatkov in povezanosti spremenljivk s kompetencami, so bile v analizo vključene naslednje kontrolne spremenljivke: zaposlitveni status, poklic, uporaba računalnika in uporaba interneta. Populacijske ocene za te ija spremenljivke so bile pridobljene iz letnih raziskovanj Statističnega urada og Republike Slovenije. Pripravljeni so bili tudi dodatni potrebni podatki o old procesu anketiranja, ki omogočajo identifikacijo težje dosegljivih to respondentov, pri katerih je bilo za uspešno izvedbo anketiranja potrebno večje Me število poskusov kontaktiranja. Raziskave namreč kažejo, da so takšni anketiranci pogosto do določene mere podobni nerespondentom, kar omogoča boljše LO razumevanje morebitnih pristranskosti zaradi neodgovora. ČI RO Evalvacijo pristranskosti zaradi neodgovora je sestavljal skupek analiz, ki so O omogočile podroben vpogled v vzorce neodgovora in morebitne vire P pristranskosti: LNOA  primerjava ocen na kontrolnih spremenljivkah pred uteževanjem in po V njem;  primerjava uteženih ocen s populacijskimi podatki; ISKO  korelacije med kontrolnimi spremenljivkami in ocenami kompetenc;  primerjava ocen z alternativnimi kategorizacijami spremenljivk za RAZ uteževanje, ki jih je pripravil nacionalni konzorcij;  analiza spremenljivk, zbranih tekom anketiranja;  primerjava ocen med lažje in težje dosegljivimi respondenti;  izračun intervala potencialne pristranskosti. Primerjava ocen med lažje in težje dosegljivimi respondenti je pokazala statistično značilno razliko v dosežkih med anketiranci, pri čemer so težje dosegljivi anketiranci v povprečju dosegali višje rezultate. Protokol 79 terenskega dela, ki je zahteval večje število poskusov vzpostavitve stika s posameznim anketirancem, se je tako izkazal kot smiseln in je pripomogel k točnosti podatkov. Na osnovi izvedenih analiz je konzorcij v preliminarnem poročilu potencialno pristranskost tako ocenil kot nizko. TABELA 38: RAZŠIRJENA ANALIZA PRISTRANSKOSTI ZARADI NEODGOVORA OECD države Rezultat Avstrija Nizka pristranskost Kanada Minimalna pristranskost Čile Minimalna pristranskost Češka Nizka pristranskost Danska Nizka pristranskost Anglija (ZK) Neznana pristranskost Estonija Nizka pristranskost Finska Minimalna pristranskost Flandrija (Belgija) Nizka pristranskost Nemčija Nizka pristranskost Grčija Nizka pristranskost Izrael Minimalna pristranskost Italija Nizka pristranskost Japonska Nizka pristranskost Nizozemska Nizka pristranskost Nova Zelandija Minimalna pristranskost Severna Irska (ZK) Neznana pristranskost Norveška Nizka pristranskost Poljska Nizka pristranskost Slovaška Nizka pristranskost Slovenija Minimalna pristranskost Španija Nizka pristranskost ija Švedska Nizka pristranskost ogold Partnerji to Litva Nizka pristranskost Me Ruska federacija7 Neznana pristranskost LO ČI Singapur Minimalna pristranskost RO O *Države so razvrščene po abecednem vrstnem redu. P Vir: OECD, The Survey of Adult Skills, 2016 LNOA V Zaključek ISKO Izvedba raziskave PIAAC v Sloveniji je bil obsežen in kompleksen projekt, RAZ katerega izvedbo je mogoče oceniti kot zelo uspešno in skladno s pričakovanji. Zagotovljeno je bilo dosledno upoštevanje predpisanih mednarodnih standardov in smernic za anketiranje, skrbna koordinacija dela anketarjev in drugih aktivnosti ter natančno spremljanje kakovosti in realizacije vzorca skozi ves čas terenskega dela. Vse to je pomembno prispevalo k izvedbi zbiranja podatkov, katerega rezultat je ustrezna reprezentativnost vzorca za ciljno populacijo. Dostopnost in točnost Centralnega registra prebivalstva kot vzorčnega okvira je omogočila izbor kakovostnega verjetnostnega vzorca z nizko stopnjo nepokritja, ki je z manj kot 2 % izključenih oseb iz ciljne populacije izrazito 80 pod dovoljenim pragom 5 %. Dosežena stopnja odgovora (62 %) je v celoti primerljiva s podobnimi anketami splošne populacije v Sloveniji, vključno z 7 Vzorec Ruske federacije ne vključuje populacije Moskovske mestne občine. Evropsko družboslovno raziskavo, ki temelji na visokokakovostni mednarodno določeni metodologiji. Čeprav je načrt raziskave PIAAC predvideval 70 % ciljno stopnjo odgovora, izkušnje v Sloveniji kažejo, da je takšen kriterij zelo težko dosegljiv. To še zlasti velja ob upoštevanju dolžine in kompleksnosti vprašalnika PIAAC, ki od anketirancev zahteva reševanje nalog in s tem zanje predstavlja visoko obremenitev. Sodelovanje je kljub temu za dobrih deset odstotnih točk preseglo najnižjo sprejemljivo stopnjo 50 %, ki jo določajo standardi raziskave PIAAC. Čeprav realizirana struktura vzorca kaže določena odstopanja od populacijske strukture, pri tem ne gre za razlike, ki jih ne bi bilo mogoče uspešno zmanjšati z uteževanjem podatkov. Pomembna prednost Slovenije je razpoložljivost socio- demografskih podatkov iz administrativnih virov, predvsem Centralnega registra prebivalstva. To omogoča pridobitev točnih populacijskih podatkov za analizo potencialnih pristranskosti zaradi neodgovora ter izračunavanje ustreznih uteži, ki odpravljajo strukturna odstopanja na osnovnih socio-demografskih spremenljivkah in zmanjšujejo možnosti za nastanek tovrstnih pristranskosti. Skupaj z dobro kontrolirano izvedbo celotne raziskave zato ni pričakovati, da bi bila zaradi problema neodgovora bistveno zmanjšana visoka kakovost končnih podatkov raziskave PIAAC v Sloveniji. ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 81 ija ogold to Me LO ČI 5 RO O P LNOAV ZBIRANJE PODATKOV ISKO RAZ IN KONTROLA KAKOVOSTI 82 5.1 Zbiranje podatkov na terenu in kontrola kakovosti Katja Bider, Špela Lenič To poglavje podrobno opisuje kako je potekalo zbiranje podatkov za Raziskavo spretnosti odraslih PIAAC. Opisan je postopek zajema podatkov od izbora anketarjev, njihovega usposabljanja ter dela na terenu, pa do spremljanja anketarjev in zagotavljanja kakovosti anket. Zbiranje podatkov Vse države, ki so sodelovale v Raziskavi spretnosti odraslih, so morale izvesti raziskavo v skladu z Tehnični standardi in navodili (Technical Standards and Guidelines), saj je bilo zagotavljanje kakovosti podatkov pomemben element uspešnosti raziskave PIAAC. Vsaka država je pred izvedbo glavne raziskave izvedla pilotno testiranje, ki je na kratko opisano v nadaljevanju. Zbiranje podatkov za Raziskavo spretnosti odraslih se je v Sloveniji začelo v juniju leta 2013 v pilotnem delu raziskave. V sodelovanju s Statističnim uradom Slovenije je bil opravljen izbor 24 ustreznih anketarjev. Anketarji so bili vključeni v 4 dnevno usposabljanje, ki smo ga izpeljali skupaj Andragoški center Slovenije, Statistični urad Slovenije in Fakulteta za družbene vede, in sicer je potekalo od 10.6.2013 do 13.6.2013. En dan usposabljanja je bil namenjen samostojni pripravi na anketiranje po Priročniku za vaje doma, izvedbi poskusnega anketiranja s poznano osebo ter za navezovanje stika z dodeljenimi izobraževalnimi organizacijami. Na skupnem srečanju se je preverilo opravljeno delo, pregledane so bile rešitve nalog v Priročniku ter uspešnost dogovorov za anketiranje na dodeljenih izobraževalnih organizacijah. Načrtovano je bilo, da se od zahtevanih 1500 respondentov v pilotu po mednarodni metodologiji, 1000 respondentov zagotovi v sodelovanju z izobraževalnimi organizacijami (predvsem srednjimi šolami in ljudskimi univerzami). Za ija pridobitev njihovega sodelovanja je bilo pripravljeno posebno povabilo og izobraževalnim organizacijam, ki ga je podpisal minister za izobraževanje, ol znanost in šport in je bilo v začetku maja poslano izobraževalnim organizacijam. dto Takoj po izvedenem usposabljanju, in sicer 14.6.2013 se je začelo anketiranje v izobraževalnih organizacijah. V izobraževalnih organizacijah je anketiranje Me potekalo v sodelovanju s t.i. organizatorji, ki so za anketarje organizirali LO prostor in pridobivali anketirance. Ostalih 500 respondentov pa se je pridobilo ČI iz registra prebivalcev Slovenije in se jih je anketiralo na domovih. Naključni RO vzorec je obsegal najprej 70 vzorčnih enot, ki so bile izbrane v bližini krajev O bivanja anketarjev, v drugem koraku je bilo iz njih izbranih po 17 prebivalcev P Republike Slovenije, starih med 16 in 65 let. LNO Anketiranje se je uradno končalo 19.9.2013, ko smo dosegli želeno število AV anket, 1516. ISKO Glede na izkušnje, ki smo jih pridobili v pilotnem testiranju, smo se v začetku leta 2014 lotili glavnega zbiranja podatkov. RAZ Vzorčenje Za pripravo vzorčnega načrta in za izdelavo vzorca sta bili zadolženi Fakulteta za družbene vede kot nosilec in Statistični urad Republike Slovenije, v vseh fazah pa je sodeloval tudi Andragoški center Slovenije. V začetku leta 2014 je bil pripravljen načrt vzorca za glavno raziskavo PIAAC v Sloveniji in usklajen 83 z Westat. Po potrditvi načrta je Fakulteta za družbene vede dokončala vzorčni načrt za glavno raziskavo PIAAC, izvedla preverjanje skladnosti izbranega vzorca z vzorčnim načrtom ter pripravila dokumentacijo o vzorčenju (več o vzorčenju si lahko preberete v poglavju 'Zagotavljanje reprezentativnosti vzorca raziskave PIAAC'). Na podlagi vzorčnega načrta je bil v začetku marca na SURS pripravljen osnovni in rezervni vzorec za glavno raziskavo. Priprava vzorca je sledila vzorčnemu načrtu, ki je bil uporabljen in testiran v pilotnem raziskovanju. Vzorec je bil pripravljen na podlagi dvostopenjskega slučajnega sistematičnega vzorčenja z izborom 17 oseb na drugi stopnji – v izbranih vzorčnih enotah. Izbrane osebe so bile v glavni raziskavi sistematično razdeljene na osnovni vzorec s petnajstimi osebami in rezervni vzorec s po dvema osebama na vzorčno enoto. Pri določitvi števila vzorčnih enot je bila upoštevana predvidena stopnja odgovorov v glavni raziskavi in to je med 60 in 70 odstotki in zahtevano število odgovorov vsaj pet tisoč oseb. Izbranih je bilo 600 vzorčnih enot, proporcionalno glede na tip naselja in statistično regijo. Končni osnovni vzorec je štel 9.000 oseb, rezervni vzorec, ki pa bi bil uporabljen v zaključni fazi anketiranja le v primeru nepričakovano velikega deleža neodgovorov. Rezervni vzorec bi štel dodatnih 1.200 oseb. Dodatnega vzorca nam ni bilo treba uporabiti. Westat je dovolil izbor vzorca tik pred začetkom zbiranja podatkov, zato je bilo za vzorčni okvir uporabljeno najnovejše stanje Centralnega registra prebivalstva Slovenije. Načrt izbora anketarjev Andragoški center Slovenije je na podlagi vzorčnih enot in velikosti vzorčne populacije pripravil načrt optimalne anketarske mreže. Načrtovano je bilo, da bo v glavni raziskavi sodelovalo med 50 in 60 anketarjev, saj smo imeli na voljo skupaj 67 računalnikov. Glede na ugotovljeno potrebovano število anketarjev, smo začeli z izborom anketarjev. Potrebovano število anketarjev je prikazano v tabeli 39, Načrt anketarske mreže po regijah. TABELA 39: NAČRT ANKETARSKE MREŽE PO REGIJAH Statistična regija Prebivalci Porazdelitev vzorca Št. popisnih Št. anketarjev okolišev v regiji v regiji Gorenjska 134057 1012 60 5,95 Goriška 79181 604 36 3,55 Jugovzhodna 96527 706 42 4,15 Koroška 49388 400 24 2,35 Notranjsko kraška 34978 298 18 1,75 Obalno kraška 73922 502 30 2,95 Osrednjeslovenska 348722 2644 156 15,55 ija Podravska 213498 1624 96 9,55 og Pomurska 81238 604 36 3,55 old Savinjska 177086 1318 78 7,75 to Spodnjeposavska 47340 298 18 1,75 Zasavska 29431 196 12 1,15 Me SKUPAJ 1365368 10200 600 60 LO ČI RO Izbor anketarjev O P Od januarja do marca 2014 je potekal izbor anketarjev na podlagi postavljenih LNO kriterijev. Kandidati za anketarje so bili izbrani iz območja celotne Slovenije A zato, da so se zmanjšali stroški poti. V Sam izbor anketarjev je bil opravljen s strani Andragoškega centra Slovenije, ISKO v sodelovanju z anketnim studiem na Statističnem uradu RS in Fakulteto za družbene vede, ki sta bila partnerja v konzorciju. RAZ Za izbor sodelavcev anketarjev so bila upoštevana naslednja merila: • obseg preteklih izkušenj z anketiranjem, predvsem po gospodinjstvih, • obseg preteklih izkušenj z delom z ljudmi (predvsem z ranljivimi odraslimi - izobraženi/neizobraženi, osebe z duševnimi težavami, osebe s telesnimi nezmožnostmi (invalidi, gluhi, slepi..), • iznajdljivost na terenu v dani situaciji, • obvladovanje veščine komunikacije - jasno izražanje; aktivno poslušanje; obvladovanje konfliktov; potrpežljivost; zmožnost usmeriti pogovor, ko 84 steče izven dane tematike; ustrezno odzivanje na pomisleke anketirancev, • obvladovanje tehnik intervjuvanja - pri vzpostavitvi kontakta za začetek anketiranja zna uporabiti različne pristope, motitviranje anketiranca za sodelovanje in za dokončanje nalog, pri nalogah pa ne sodeluje (ne pomaga, ne razlaga, ne sugerira …), se znajde v nepredvidljivih situacijah. • poznavanje dela z računalnikom, • možnost dela preko s.p., • razpoložljivost za delo od konca marca do začetka decembra. Z vsakim kandidatom za anketarja smo se osebno pogovorili (z nekaterimi tudi preko skypa). Iz baze zunanjih sodelavcev je bilo tako v mesecu marcu izbranih 56 anketarjev, ki so najbolje izpolnjevali postavljena merila ter pokazali visoko stopnjo profesionalnosti pri dosedanjem delu. Naknadno smo potem izbrali še nekaj anketarjev, ki so nam primanjkovali v določenih regijah. Delo anketarjev Usposabljanje anketarjev Izpeljali smo 5 skupin usposabljanj za anketarje, s čimer smo zagotovili omrežje skoraj 60 anketarjev, s katerim smo pokrili celotno Slovenijo. Usposabljanje za prvo skupino anketarjev je potekalo v mesecu marcu in sicer od 24.03. do 28.03.2014, za skupino 38 anketarjev, usposabljanje za drugo skupino 6 anketarjev je potekalo od 22.4. do 25.4.2014, tretja skupina se je usposabljala konec meseca maja in sicer je bil pripravljen in izveden 1 dan osvežitvenega usposabljanja za skupino 10 anketarjev, ki so sodelovali pri izvedbi pilotne raziskave PIAAC v 2013. V maju je bila izvedena tudi inštruktaža za 1 anketarja, ki se zaradi drugih delovnih obveznosti ni mogel udeležiti usposabljanja 2. skupine anketarjev (v aprilu) v obsegu 4 pedagoških ur. Usposabljanje za četrto skupino anketarjev je potekalo meseca junija, potekalo je 4 dni za skupino 4 novih anketarjev od 17. do 20. junija 2014. Junija (23.6.2014) smo izpeljali še inštruktažo v obsegu 4 pedagoških ur za 2 anketarja, ki sta sodelovala tudi v pilotu in se zaradi drugih obveznosti nista mogla udeležiti osvežitvenega usposabljanja. Vsa usposabljanja so potekala na Andragoškem centru Slovenije. Usposabljanje je bilo pripravljeno in načrtovano po Tehničnih standardih in navodilih ter glede na teme zajete v Priročniku za anketarje. Izpeljana je bila celotna organizacija usposabljanja, obveščanje anketarjev, usklajevanje z vodji ija usposabljanja in zunanjimi izvajalci usposabljanja, priprava in razmnoževanje og učnih in drugih gradiv za usposabljanje. Program usposabljanja je obsegal 32 ol ur organiziranega usposabljanja in vaj ter dela doma, kot tudi predhodno d pripravo na usposabljanje ob priročniku za vaje doma. Namen dela doma ob to priročniku za vaje doma je bil, da so se anketarji vnaprej seznanili z vsebino Me dela v raziskavi PIAAC, spoznali oziroma utrdili osnove anketnega dela ter LO prijeme za uspešno vzpostavljanje stika z anketiranci. Prvi dan usposabljanja ČI je bil namenjen seznanjanju z raziskavo PIAAC, računalniškimi aplikacijami in RO opremo ter podpisu pogodb. Drugi dan usposabljanja so se anketarji podrobneje O seznanili z raziskovalnimi inštrumenti in s potekom anketiranja po osnovnem P vprašalniku in pri nalogah. Tretji dan usposabljanja so se anketarji seznanjali s pravilnimi opisi poklicev in dejavnosti, z oznakami stanja, ki so jih LNOA dodeljevali ob posamezni anketi ter z organizacijo terenskega dela. Četrti dan V so imeli anketarji nalogo, da se povežejo s strežnikom ACS od doma in si prenesejo testne ankete, da opravijo 1 anketo in jo pošljejo na strežnik ACS ISKO ter jo posnamejo na CD in izpolnijo vse potrebne obrazce in poročila. Poleg tega so morali narediti načrt anketiranja in odposlati najavna pisma, da so po RAZ usposabljanju lahko začeli z anketiranjem. Zadnji dan usposabljanja je bil namenjen temam kot so vzpostavljanje stika, preprečevanje zavrnitev in ponavljanju vseh postopkov ter prevzemu gradiva in pripomočkov za anketiranje. Gradiva za izvedbo posamezne ankete 85 V nadaljevanju so navedena vsa gradiva in obrazci, ki so jih anketarji potrebovali za izpeljavo ankete. • Najavno pismo za anketirance. V pismu je bila predstavljena raziskava in povabilo anketirancu za sodelovanje. K pismu so anketarji priložili tudi zloženko s podrobnejšim opisom raziskave in informacije, s katerimi se anketiranca spodbudi k sodelovanju. Ne glede na to, ali so bila gradiva anketirancu poslana pred obiskom anketarja, so morali imeti anketarji na terenu zalogo pisem in zloženk, saj jih gospodinjstva ali anketiranci morda niso prejeli ali se jih morda niso spomnili (Prilogi 2 in 3). • Obvestilo v primeru, da anketiranca ni bilo doma. To obvestilo se je uporabilo v primeru, ko anketar po večkratnih poskusih ni mogel stopiti v stik z anketirancem. Na ta način so anketirancu sporočili, da je nekdo skušal stopiti v stik z njim, anketarju pa pomagal, da se je pripravil na prihodnji obisk (Priloga 4). • Pooblastilo za delo anketarja. Vsak anketar je prejel identifikacijsko priponko s fotografijo, ki jo je moral nositi, ko je delal na terenu (Priloga 5). • Soglasje staršev. V primeru mladoletnega otroka, so morali starši podpisati soglasje za sodelovanje v raziskavi (Priloga 6). • Spodbude za anketirance. Vsakemu anketirancu, ki je anketo zaključil, je anketar ob koncu podaril simbolično darilo. ACS je zagotovil trakove s simboli projekta, USB ključke in skodelice. Zagotovljene so bile tudi dodatne spodbude, ki so jih prispevali MIZŠ (USB ključkov), Ministrstvo za kmetijstvo (majice in svinčniki, eko vrečke s promocijskim napisom) in Javna agencija RS za varnost prometa (odsevnikov, brošure in letaki za varnost v prometu). Anketarji so dobili navodila, da anketirancem povedo, da projekt podpirajo tudi omenjeni resorji, kar je pripomoglo k pridobivanju anketirancev za sodelovanje npr. na kmetijskih področjih in pri starejših anketirancih. • Mapa z gradivi za vzpostavitev stika z anketirancem. V teh gradivih so bili vsi podatki in informacije, ki so jih anketarji potrebovali, da so opravili anketo z izbranim anketirancem. V njej so hranili vse papirnate obrazce, ki so bili povezani z anketirancem, kontaktne informacije za anketiranca iz vzorca, obrazce za dokumentiranje posamezne ankete, ki so jih morali skupaj z izpolnjenimi zvezki z nalogami in dokumenti o anketiranju vrniti izvajalcu raziskave, Uvodni nagovor anketiranca in poročilo o izpeljani anketi (priloga 7) ter obrazec za evidenco stikov, ki se je uporabljal za beleženje rezultatov vsakega stika z gospodinjstvom ali anketirancem (priloga 8). Vsaj štirikrat so anketarji morali poskusiti vzpostaviti osebni stik za opravljanje ankete oziroma vsaj sedem poskusov vzpostavljanja stika z namenom, da so se dogovorili ija za opravljanje ankete. Vsi kontakti z anketirancem (osebni ali po ogol telefonu—uspešni ali neuspešni obiski) so morali biti zabeleženi v d Obrazcu za evidenco stikov. Pri vsakem poskusu vzpostavljanja stika je to bilo potrebno napisati Oznako stanja ankete. Posamezne oznake stanja so Me podrobneje opisane v razdelku Oznake stanja ankete. Kadarkoli anketarji niso bili zmožni dokončati začetka ankete (ZI), osnovnega vprašalnika, LO ČI osnovnega zvezka ali nalog, so morali izpolniti Poročilo o neuspeli anketi (priloga 9). Ta obrazec se je uporabil za dokumentiranje razloga, RO O zaradi katerega anketar ni mogel dokončati ankete. S pomočjo tega P obrazca se je izvajalec raziskave tudi lažje odločil ali in kako ponovno dodeliti primer, da se bo anketa izvedla. Za tiste anketirance, ki so LNO zavrnili sodelovanje je moral izvajalec točno vedeti, zakaj niso hoteli AV sodelovati, da je lahko določil najboljši pristop, s katerim bi se anketiranca lahko prepričalo, da sodeluje. Poleg tega je moral anketar, ISKO ki je dobil takšen primer, poznati specifične informacije o primeru, ki bi mu pomagale pri poznejših kontaktih. RAZ Oznake stanja ankete Posamezne oznake stanja ankete so se dodelile za začetek ankete (v računalniku in na obrazcih je ta začetek označen z ZI), za osnovni vprašalnik, dokončanje nalog v osnovnem zvezku na računalniku – 1. stopnja, dokončanje nalog v osnovnem zvezku na računalniku – 2. stopnja, osnovnemu zvezku nalog na papirju in zvezku z nalogami ali nalogami na računalniku. 86 V raziskavi sta se uporabljali dve vrsti oznak stanja ankete: • vmesne oznake stanja so bile dodeljene, ko je anketar z anketirancem poskušal vzpostaviti stik in/ali se je šele dogovarjal za izvedbo ankete. Ta šifra je povzemala stanje ankete, dokler ni bilo končnega rezultata, in se je lahko pred dokončanjem ankete večkrat spremenila. • končne oznake stanja so bile dodeljene, ko je bil dokončan posamezni del ankete ali ko gospodinjstvo ali anketiranec iz kateregakoli razloga ni mogel sodelovati. Ko je bila končna šifra dodeljena, se gospodinjstva ni kontaktiralo več. Natančen opis vmesnih in končnih šifer je naveden v nadaljevanju. Vmesne oznake stanja Vse vmesne oznake stanja so se lahko uporabljale za ZI, osnovni vprašalnik, dokončanje nalog v osnovnem zvezku na računalniku – 1. stopnja, dokončanje nalog v osnovnem zvezku na računalniku – 2. stopnja, osnovnemu zvezku nalog na papirju in zvezku z nalogami ali nalogami na računalniku. TABELA 40: VMESNE OZNAKE STANJA Vmesna oznaka stanja Definicija AN – anketa dogovor Zatrdno je bilo dogovorjeno, da se bo anketar vrnil v gospodinjstvo ob določeni uri. BD – stik brez Vzpostavljen je bil stik in okvirno je bilo dogovorjeno, kdaj se bo anketar dogovora vrnil v gospodinjstvo, ni pa bil dokončno dogovorjen za zmenek. ND – ni doma Nikogar ni doma v času kontaktiranja. ZZ – začetna zavrnitev Anketiranec ni hotel sodelovati ali pa je prekinil anketo, preden je bila dokončana. BOL – bolezen Anketiranec ni bil sposoben dokončati začetka ankete, osnovnega vprašalnika, osnovnega zvezka in/ali nalog zaradi bolezni ali nezmožnosti. DR – drugo Kakšna druga situacija, ki je zahtevala nadaljnje delo, na primer težave z jezikom, gospodinjstva ni možno locirati ali je zaklenjen vhod. Končne oznake stanja Končna oznaka stanja ankete je bila dodeljena vsakemu instrumentu v raziskavi, ki ga je anketiranec vsaj poskusil rešiti ali delno opravil. TABELA 41: KONČNE OZNAKE STANJA Končna Definicija oznaka stanja ija 1 Dokončano: oznaka se je uporabila, ko je bil dokončan začetek ankete/osnovni vprašalnik ali og naloge. ol 3 Delno dokončano/Prekinitev: anketiranec je prekinil kontakt preden je bil dokončan začetek d ankete/osnovni vprašalnik. To pomeni, da je anketiranec lahko začel odgovarjati na vprašanja to v začetku ankete/osnovnem vprašalniku in ni hotel nadaljevati (npr. prekinjena anketa, ki se je ne da dokončati). Me 4 Zavrnitev – Izbrana oseba: anketiranec ni hotel sodelovati v anketi (npr. zavrnil je sodelovanje zaradi časovnih omejitev ali pomanjkanja zanimanja). LO 5 Zavrnitev – Druga oseba: druga oseba v gospodinjstvu ni dovolila anketirancu sodelovati v ČI anketi. 7 Težave z jezikom: ni bilo možno dokončati ankete z anketirancem, kerje govoril drug jezik RO kot slovenščino, in: O P ■ na področju ni bilo dvojezičnega anketarja, ki bi govoril jezik anketiranca; ■ ni bilo družinskega člana ali soseda, ki bi pomagal izvesti začetek ankete/osnovni vprašalnik v anketirančevem prvem jeziku; ali LNO ■ A prizadevanja, da bi izpolnili osnovni vprašalnik s pomočnikom so bila neuspešna V zaradi jezikovne ovire. 8 Težave z branjem in pisanjem: anketiranec ni bil sposoben brati ali pisati in zato ni bil sposoben dokončati ankete. ISKO 9 Učna/duševna nezmožnost: anketiranec ni bil sposoben dokončati ankete zaradi učne nezmožnosti, kot je primanjkljaj pozornosti, hiperaktivnost itd., zaradi duševnega ali RAZ čustvenega stanja, kot je depresija itd., ali zaradi duševne zaostalosti, kot je Downov sindrom itd. 12 Okvara sluha: anketiranec ni bil sposoben dokončati ankete, ker je bil slušno prizadet. 13 Slepota/okvara vida: anketiranec ni bil sposoben dokončati ankete zaradi prizadetosti vida. 14 Motnje govora: anketiranec ni bil sposoben dokončati ankete, ker ni bil sposoben ustno komunicirati. 15 Gibalna oviranost: anketiranec ni bil sposoben dokončati ankete zaradi telesne nezmožnosti. 16 Druge motnje: anketiranec ni bil sposoben dokončati ankete zaradi kakšne druge nezmožnosti, ki ne spada v naštete kategorije, na primer Alzheimerjeva bolezen. 17 Drugo (neopredeljeno), kot je bolezen ali neobičajne okoliščine: anketiranec ni bil sposoben dokončati ankete zaradi začasne, vendar težje bolezni, smrti v gospodinjstvu ali 87 neobičajnega položaja, kot je požar ali poplava, kjer prebiva (npr. bolezen, poneverba ali neobičajne okoliščine). 18 Smrt: anketiranec je umrl. 21 Največje število klicev: ni bilo možno dokončati ankete po štirih poskusih ob različnih dnevih in ob različnih urah (npr. anketiranec ni bil uspešno kontaktiran). 24 Začasno odsoten/nedosegljiv v času izvajanja raziskave: anketiranec je bil nedosegljiv v času izvajanja raziskave. Ponavadi se je te informacije dobilo od soseda ali iz drugega vira, drugače bi se to šifriralo z “21”, ko se doseže maksimalno število klicev (npr. je na potovanju in ga ne bo nazaj v obdobju na terenu ali pa se je preselil znotraj iste skupnosti, vendar ga anketar ni našel). 25 Neustreznost glede na kriterije raziskave: anketiranec je bil odločen, da bo institucionaliziran ali da bo stalno živel izven države. Razlog je bilo potrebno specificirati v razdelku za komentarje (npr. odselil se je iz države). 27 Podvojitev – že sodeloval: se je uporabilo, če je bil anketiranec v vzorec vključen dvakrat. 90 Tehnična težava: težava z računalnikom je anketarju preprečila, da bi dokončal anketo. 91 Zmanjkalo papirnatih zvezkov Izvedba ankete na terenu V Sloveniji je potekala glavna raziskava PIAAC na terenu, na domovih izbranih anketirancev. Z anketiranjem smo pričeli 31. marca in zaključili 21. decembra 2014, končno število anketiranih posameznikov je bilo 5.165. Vse aktivnosti povezane z izvajanjem terenskega dela raziskave PIAAC na območju celotne Slovenije, smo vodili in koordinirali sodelavci ACS, v sodelovanju s sodelavci SURS in FDV. Organizacija izvedbe raziskave je potekala na treh ravneh, na nacionalni, regionalni in na ravni anketarjev, neposrednih izvajalcev anketiranja. • Vodenje izvedbe zbiranja podatkov na nacionalni ravni: Sodelavci pri projektu PIAAC, odgovorni za izvedbo glavne raziskave na Andragoškem centru Slovenije, v sodelovanju s Statističnim uradom R. Slovenije in Fakulteto za družbene vede. • Spremljanje izvajanja zbiranja podatkov v posameznih regijah: Sodelavci ACS pri projektu PIAAC, v sodelovanju s sodelavci na FDV so spremljali in nadzorovali potek in uspešnost zbiranja podatkov v izbranih območjih. • Anketiranje v gospodinjstvih: Zunanji sodelavci – pooblaščeni anketarji Andragoškega centra Slovenije v raziskavi PIAAC, ki so izvajali ankete v gospodinjstvih. Anketarji so bili odgovorni za iskanje vzorčenih anketirancev in opravljanje anket po postopkih določenih v raziskavi. Neposredno so bili odgovorni za svoje delo dodeljeni nadzornici na ACS, s katero so bili v stiku vsakodnevno, o podrobnejšem poteku dela so po telefonu poročali enkrat tedensko, enkrat mesečno pa so se z njo tudi sestali. Več o sodelovanju anketarjev z nadzornicami si lahko preberete ija v razdelku Spremljanje dela anketarjev. ogol dto Raziskava spretnosti odraslih je bila izvedena pod nadzorom usposobljenih Me anketarjev bodisi doma pri anketirancih bodisi na lokaciji, za katero sta se dogovorila anketiranec in anketar. Ko je bila vzorčena oseba identificirana, LO se je raziskava izvedla v dveh korakih: izpolnjevanje osnovnega vprašalnika in ČI reševanje nalog v kognitivnem delu instrumenta. RO O P Osnovni vprašalnik je izpolnil anketar v obliki računalniško podprtega osebnega razgovora. Pri izpolnjevanju vprašalnika so anketirancem lahko pomagali drugi LNO člani gospodinjstva, na primer pri prevajanju vprašanj in odgovorov. Druge A osebe na vprašanja anketirancem niso smele odgovarjati. V Po opravljenem izpolnjevanju osnovnega vprašalnika je anketiranec prešel na ISKO reševanje nalog bodisi s pomočjo računalnika, ki ga je zagotovil anketar, bodisi v papirnatih zvezkih z nalogami – v primerih, ko anketiranec ni imel RAZ dovolj računalniških spretnosti ali je bilo ugotovljeno, da ima šibke besedilne in računalniške spretnosti, ali ko se je odločil, da ne bo opravljal nalog na računalniku. Anketirancem je bilo med reševanjem nalog dovoljeno uporabljati tehnične pripomočke, kot sta kalkulator, ravnilo (za katere so poskrbeli anketarji), in pisati opombe ali opravljati izračune s svinčnikom in beležko. Anketirancem ni bilo dovoljeno, da bi prosili druge člane družine ali anketarja za pomoč pri reševanju nalog. Anketar pa je lahko posegel v kolikor je imel anketiranec težave z uporabo računalnika ali če je hotel vprašati kaj v zvezi z reševanjem nalog. 88 Neposredno merjenje ni bilo zasnovano kot časovno omejen test; anketiranci so si lahko vzeli toliko časa, kot so ga potrebovali. Anketarji so sicer imeli navodilo, da spodbudijo anketirance k prehodu na drug razdelek, če so imeli težave z reševanjem. Anketiranci, ki so začeli z reševanjem nalog, so jih običajno tudi dokončali. V povprečju je trajalo reševanje nalog od 41 do 50 minut. Raziskava (osnovni vprašalnik in naloge) je bila običajno opravljena v enem srečanju. V izjemnih okoliščinah je anketiranec lahko najprej zaključil osnovni vprašalnik, reševanje nalog pa so lahko po dogovoru pustili za drugo srečanje. Reševanje nalog v kognitivnem delu se je moralo končati v enem srečanju. Anketirancem, ki niso zaključili reševanja nalog v enem srečanju iz kateregakoli razloga, ni bilo dovoljeno, da bi ga zaključili kdaj drugič. Ko je bila anketa dokončana, je moral anketar vse zbrane podatke prenesti preko strežnika izvajalcu raziskave in sicer na koncu vsakega delovnega dneva. Proces prenosa je bil enostaven, z njim so se anketarji seznanili na usposabljanju. Poleg tega so po vsaki zaključeni anketi izpolnili vso potrebno papirnato dokumentacijo in jo 1x tedensko poslali na Andragoški center Slovenije. Kontrola kakovosti Splošna ocena kakovosti podatkov Podatki iz sodelujočih držav so bili podvrženi procesu razsojanja, z namenom, da se pokaže, ali so bili dovolj kakovostni za poročanje in javno objavo. Proces razsojanja je uporabljal široko definicijo kakovosti – tako imenovano “primernost za uporabo”. Čeprav je bilo preverjanje, ali so države upoštevale zahteve Tehničnih standardov in navodil PIAAC, pomembna komponenta razsojanja kakovosti, je bil cilj širši in se je preverjalo ali so bili pridobljeni podatki dovolj kakovostni glede na namen njihove uporabe ali aplikativnost. Pri ocenjevanju splošne kakovosti je bil poudarek na štirih ključnih področjih: • vzorčenje, • pokritost in pristranskost zaradi neodgovora, • zbiranje podatkov, • inštrumentarij. Na vsakem od zgoraj identificiranih področij se je države ocenjevalo s pomočjo vrste kazalnikov kakovosti. Ti kazalniki so odsevali glavne zahteve Tehničnih standardov in navodil PIAAC raziskave na pripadajočih področjih. Odločilo se je, ali so podatki posamezne države dosegali standarde kakovosti, ki so bili potrebni za poročanje in javno objavo. Ocene kakovosti podatkov iz sodelujočih ija držav je pregledala Skupina za tehnično svetovanje v projektu, preden jih je ogol predložila Odboru sodelujočih držav PIAAC. dto Me Spremljanje dela anketarjev in kontrola kakovosti anket LO ČI Zagotavljanje kakovosti podatkov je bil pomemben element uspešnosti raziskave RO PIAAC, ki se je opravljal v skladu z navodili in standardi za izvajanje O raziskave PIAAC, ter z navodili za zagotavljanje kakovosti izvajanja raziskave P (Survey Operations Quality Control and Management Manual). LNOA V ta namen so tekom raziskave potekale številne metode zagotavljanja kakovosti, V ki jih opisujemo v nadaljevanju. ISKO RAZ A) Sprotno spremljanje anketarjevega dela Kontrola kakovosti je bila stalen proces, ki se je začela že pri usposabljanju anketarjev in nadaljuje preko celotne raziskave. Z vidika anketarjev je bilo točno zbiranje in beleženje podatkov odločilno. Njihova odgovornost je bila, da zastavljajo vprašanja, kot so zapisana, razjasnijo nejasne ali nepopolne odgovore, pozorno poslušajo anketiranca, točno zabeležijo informacije in nadzorujejo vse vidike svojega dela. 89 V skladu s standardi in smernicami za izpeljavo raziskave PIAAC (glej poglavje 8. Field management standards in poglavje 10. Data collection standards v PIAAC Technical Standards and Guidelines) je bilo priporočljivo med izvajanjem terenskega dela raziskave čim bolj tesno sodelovati med anketarji ter izvajalsko organizacijo, ki je bila odgovorna za izvajanje terena. V Sloveniji je bila izvajalska organizacija Andragoški center Slovenije. Ekipa na ACS je spremljala anketarje na več nivojih, ki so spodaj podrobneje opisani. Delo anketarjev je potekalo v neposrednem sodelovanju s tremi nadzornicami Andragoškega centra Slovenije. Vsaka nadzornica je imela svojo skupino od 15 do 20 anketarjev, velikost skupine je nekoliko variirala, saj vsi anketarji niso delali celotno obdobje. Nekateri anketarji so prenehali z delom in je bilo potrebno poiskati nove, drugi so se kasneje priključili raziskavi. Vsaka nadzornica je imela anketarje v določenem področju Slovenije, in sicer deljeno glede na statistične regije Slovenije. Po takšni delitvi je imela prva nadzornica anketarje iz področja gorenjske, goriške, notranjskokraške, obalnokraške regije ter jugovzhodne Slovenije, druga nadzornica anketarjev, ki so delovali v osrednjeslovenski, spodnjeposavski in zasavski regiji, tretja nadzornica pa anketarje iz koroške, podravske, pomurske in savinjske regije. Delo z anketarji je potekalo na več nivojih: • Brezplačna telefonska številka: Na tej številki je bilo pet linij, pri čemer so bile prve tri namenjene anketarjem in nadzornicam (vsaka nadzornica je imela za svoje anketarje svojo linijo), četrta linija je bila prav tako namenjena anketarjem in sicer za namene tehnične podpore, peta številka pa so bile splošne informacije za katere je lahko poklical kdorkoli. Na brezplačno telefonsko številko so anketarji klicali, če so imeli kakršne koli težave v povezavi svojim delom. Tako je bila zagotovljena stalna komunikacija in sprotno razreševanje morebitnih težav in dilem. Brezplačna telefonska številka je delovala od 31. marca 2014 do 31. januarja 2015, v tem času je bilo na to telefonsko številko opravljenih 1104 klicev. • Dnevno spremljanje obsega in kakovosti opravljenega dela prek vpisov v CMS oziroma na strežnik ACS: Nadzornice in nacionalni skrbnik baz podatkov so dnevno spremljali število anket po posameznih vmesnih in končnih stanjih anket (o dodeljevanju oznak stanj anket pišemo več v poglavju 'Zajem podatkov') ter kakovost anketarjevega dela preko vpisov v sistem CMS (več o sistemu CSM si lahko preberete v poglavju Platforma za izvedbo standardiziranega testiranja). Vsak vpis oznake stanja in pripadajoči komentarji anketarjev so bili sproti pregledani in o teh stanjih se je vsaka nadzornica pogovorila s posameznim anketarjem na tedenskem telefonskem klicu. • Tedenski telefonski klic: Enkrat na teden so nadzornice opravile ija telefonski klic z vsakim anketarjem posebej. Pogovor po telefonu je og potekal po vnaprej pripravljenem vprašalniku, ki je služil za oporo pri old pogovoru (priloga 10). Pred vsakim telefonskim klicem je nadzornica za to svoje anketarje podrobno pogledala stanje anket glede na oznake, ki so Me jih anketarji dodeljevali zaključenim anketam (v računalniškem sistemu CMS in na papirnati dokumentaciji) ter anketam, ki še niso imele LO dokončnega stanja. V telefonskem pogovoru so se tako nadzornice ČI pogovorile z anketarji o vsaki posamezni anketi ter ostalih sprotnih RO dilemah, ki so jih anketarji imeli, na primer: potek osnovnega O vprašalnika, reševanje nalog, vzpostavljanje stikov z anketiranci, P odsotnost anketarjev zaradi letnega dopusta in podobno. Eden ključnih LNO namenov tedenskega klica je bilo tudi motiviranje anketarjev, saj so A le-ti občasno zelo izgubili voljo za delo. V • Obvestila za anketarje: Nadzornice so skupaj z ostalo ekipo odgovorno za zajem podatkov pripravljale tudi skupna obvestila za anketarje. Na ISKO teh obvestilih so bile zapisane aktualne dileme in vsebine, ki so bile RAZ povezane z vsemi anketarji. Anketarji so obvestila dobivali po elektronski pošti, vsega skupaj je bilo teh obvestil 14 (primer enega obvestila si lahko ogledate v prilogi 11). • Mesečni sestanki: Cilj mesečnih sestankov je bil v glavnem razreševanje aktualnih težav, ki so se pojavljale pri večini anketarjev. Še posebej v prvih mesecih anketiranja so se anketarji večinoma soočali s podobnimi težavami, na primer: kako pridobiti anketirance, ki so jih zavrnili, kako vzpostaviti stik s tistimi, ki jih ni nikoli doma, kako natančno popisovati poklice in dejavnosti, sprotni prenos anket in oznak stanja, sprotno pošiljanjem obrazcev za izpeljavo ankete, kakovostno 90 izpolnjevanje obveznosti v dogovorjenih rokih in podobno. Poleg tega so bili na mesečnih srečanjih seznanjeni z nekaterimi podatki o poteku anketiranja, na primer: koliko anket je bilo do sedaj narejenih, kakšen je povprečni čas trajanja ankete, katere regije so bile bolj odzivne in podobno. B) Validacija anket Validacija je bil izjemno pomemben element zagotavljanja kakovosti podatkov. V raziskavi PIAAC so morale vse sodelujoče države validirati vsaj 10% zaključenih anket pri posameznem anketarju. Z zaključenimi anketami mislimo tako tiste, uspešno dokončane, kot tudi tiste z drugimi zaključenimi stanji (na primer: nedosegljive, zavrnitve ter drugo). Validacijo so običajno izvajali (terenski) nadzorniki, za način validiranja pa se je odločila vsaka država samostojno. Ankete zajete v validacijo so morale biti izbrane naključno. Validacija se je morala pričeti dva tedna po začetku anketiranja. Za raziskavo PIAAC je bilo predlaganih več vrst validacije, ki jih v nadaljevanju opisujemo. Hkrati je pri posameznem tipu validacije tudi opisano kako se je tega lotila Slovenija. Validacija s kontrolnimi pismi Validacijo s pomočjo kontrolnega pisma so izvajali nadzorniki anketarjev. V Sloveniji smo se odločili za takšno obliko validiranja v primeru uspelih anket (obrazec priloga 12) in prav tako neuspelih (obrazec priloga 13). Na takšen način smo validirali vsaj 10% anket pri vsakem anketarju, v validacijo je bilo zajetih 61 anketarjev. Skupno število anket, ki so bile validirane s kontrolnim pismom je bilo 1.499. Tekom tovrstne validacije ni bilo zaslediti nobenega ponarejanja. Validacija s telefonskimi klici Validacijo s telefonskimi klici je izvajal nadzornik. Kot oporo je uporabljal obrazec s katerim je ugotavljal ali je bila anketa dejansko izvedena (obrazec je v prilogi 14). V Sloveniji smo tovrstno validacijo opravljali izjemoma, in sicer le v primeru, ko smo sumili, da anketar ankete ponareja. To vrsto validacije smo izvedli le pri 2 anketarjih, in sicer za 35 anket. Iz telefonskih pogovorov z anketiranci ni bilo razbrati, da bi prišlo do ponarejanja. Osebni obisk izkušenega anketarja V primerih, ko se anketiranca ni dalo dobiti s kontrolnim pismom ali po telefonu, so ga lahko obiskali osebno. V takšnem primeru je validiranega anketiranca obiskal izkušen anketar, ki pa seveda ni smel biti isti, kot tisti, ki je tega anketiranca obiskal prvi. Za tovrstno validacijo se v Sloveniji nismo odločili. ija Snemanje anket ogold Za namene ugotavljanja kvalitete anketarjevega dela med izvajanjem osnovnega to vprašalnika se je uporabljala validacija s pomočjo posnetka ankete. Anketar je moral kmalu po začetku dela posneti dve anketi (samo osnovni vprašalnik) in Me jih poslati izvajalski organizaciji v pregled. V Sloveniji smo anketarjem LO naročili, da posnamejo 3. in 10. anketo. Pred začetkom snemanja je moral anketar ČI prebrati izjavo o strinjanju s snemanjem in uporabo posnetka, anketiranec pa RO se je odločil ali se s tovrstnim snemanjem strinja ali ne (obrazec priloga 15). O Posnetek ankete je anketar poslal nadzornici, ki je posnetek poslušala in P validirala na podlagi posebnega protokola (obrazec priloga 16). Ključen cilj LNO tovrstne validacije je bil ugotoviti ali je bil anketar ustrezno usposobljen A za delo ali ne. V primeru, da bi se izkazalo, da anketar svojega dela ne V opravlja dovolj kakovostno, ga je bilo potrebno ponovno usposobiti oziroma dousposobiti. Po vsakem poslušanju posnetka se je nadzornica pogovorila z ISKO anketarjem o poteku ankete in predlagala morebitne izboljšave za njegovo delo. RAZ Neposredno opazovanje anketarja na terenu Ena od oblik validiranja je bila tudi validacija z neposrednim opazovanjem anketarja pri delu na terenu. Ta se velikokrat uporablja kot nadomestek snemanja anket. O kvaliteti dela smo dobili zelo poglobljene podatke, je pa bila časovno nekoliko bolj zamudna. Opazovalec je anketarja spremljal na obisku pri posameznem anketirancu, ko je z njim vzpostavlil prvi stik ali ko je prišel izvajat anketo že po vnaprej dogovorjenem srečanju. Za tovrstno validacijo se 91 v Sloveniji nismo odločili. Je pa v enem primeru manj izkušeno anketarko na terenu spremljala bolj izkušena. Namen tega spremljanja, ki smo ga poimenovali neposredna inštruktaža, je bilo izboljšanje uspeha manj izkušene anketarke pri pridobivanju respondentov. Pregled papirnate dokumentacije in ujemanje s stanjem anket na računalniku Pri tovrstni validaciji se je preverjalo ujemanje oznak stanj posamezne ankete med tistim zabeleženim v računalniškem sistemu CMS in DME (več o sistemu CSM in DME si lahko preberete v poglavju Platforma za izvedbo standardiziranega testiranja) in tistimi zabeleženimi na papirnati dokumentaciji. Anketarji so morali namreč za vsako anketo, uspešno izvedeno ali neuspešno, izpolniti papirnato dokumentacijo na kateri je bilo potrebno kratko opisati okoliščine ankete (glej priloga 17). Bolj natančen opis oznak stanja in anketarjeve papirnate dokumentacije silahko preberete v poglavju 'Zajem podatkov'. Za vsako anketo posebej se je preverila skladnost med računalniško in papirnato dokumentacijo, v primeru neskladnosti pa se je kontaktiralo anketarja, ki je moral situacijo pojasniti. Primerov neujemanja ni bilo veliko in so bili v večini posledica nenatančnega vodenja dokumentacije anketarjev. Vsebinska analiza anket Vsebinska analiza posameznih anket se je izvaja po določenih elementih. Preučevalo se je manjkajoče odgovore, odprte odgovore, nekonsistentnosti v odgovorih, trajanje ankete ter njeni vmesni časi, avtomatska sporočila o neskladnostih znotraj ankete za posameznega anketarja (na primer: tereni, kjer ni opravljenih nobenih anket, končni čas ene ankete in začetek druge se ne smeta prekrivati ali biti preblizu, trajanje izvajanja osnovnega vprašalnika, ankete začete ali končane pred 6.00 uro zjutraj in ankete začete ali končane po 22.00 uri zvečer). V Sloveniji so bili pripravljeni različni izpisi iz baze podatkov DME, ki so omogočili kontrolo kakovosti podatkov, in sicer: ustreznost zapisa odprtih odgovorov, obseg manjkajočih podatkov, logični potek ankete, analiza sumljivih anket glede na čas trajanja ankete, čas za posamezni odgovor, čas opravljanja ankete, čas med dvema zaporednima anketama, primerjava podatkov iz registra in dejanskega vpisa anketarja in podobno. Pripravljali so se dnevni, tedenski in mesečni izpisi stanja anket po posameznih anketarjih, okoliših in območjih. C) Poročanje mednarodnemu konzorciju ija V skladu s standardi PIAAC za zagotavljanje kakovosti raziskave, je bilo og potrebno poročati mednarodnemu konzorciju o poteku dela na terenu. Poročanje ol je potekalo v dveh oblikah; prvo je bilo poročilo o zbiranju podatkov, ki ga d je bilo potrebno oddati enkrat mesečno (t. i. Survey Operations Quality Control to Form), temu poročilu pa je sledil telefonski pogovor z mednarodnim konzorcijem Me (t.i. Quality call), na katerem je potekal pogovor o temah predvidenih v LO poročilu. ČI Obrazec za pisanje poročila o zbiranju podatkov je vseboval poročanje na RO O naslednjih področjih raziskave: P • zaposlovanje osebja za izvedbo terenskega dela raziskave in koordinacija LNO terenskega dela raziskave; AV • uspešnost dela anketarjev; • vzpostavljanje stika z anketiranci in gradiva za dosego anketirancev; ISKO • stopnja odzivnosti, razlogi za zavrnitve ter načini za zviševanje stopnje odzivnosti; RAZ • zagotavljanje kakovosti izvedbe terenskega dela raziskave; • načrt usposabljanja osebja za etično delo in zaupnost podatkov ter sprotno razreševanje dilem na tem področju. Kot je že bilo rečeno, po oddaji poročila je sledil telefonski klic katerega glavni nameni so bili: • pregled poročila in po potrebi pojasnjevanje posameznih elementov le- tega, • možnost, da posamezna država razjasni kakšne nejasnosti v zvezi z 92 izvedbo raziskave, • možnost za razpravo o posameznih delih raziskave. Telefonski klici so se se začeli dva meseca pred začetkom izvedbe terenskega dela raziskave in trajali do zaključka le-tega. Urnik klicev je mednarodni konzorcij zagotovil vnaprej. Na tem klicu so bili običajno prisotni nacionalni koordinator raziskave ter projektni tim. Po zaključku telefonskega klica je mednarodni konzorcij pripravil zapisnik in ga poslal nacionalnemu koordinatorju raziskave v posamezni državi. V Sloveniji smo sodelovali v sedmih telefonskih klicih od meseca februarja do decembra 2014. Telefonski pogovori z mednarodnim konzorcijem so pripomogli tako na ravni sprotnega razreševanja dilem, na katere smo naleteli tekom izvajanja raziskave, kot tudi na pri spodbujanju oziroma motivaciji za delo. D) Vprašalnik za anketarje Po zaključku anketiranja, so morali anketarji izpolniti vprašalnik, ki je bil ravno tako sestavni del zagotavljanja kakovosti raziskave in je zbiral mnenja anketarjev o terenskem delu raziskave. Njihova mnenja in predlogi so pomembno prispevali pri spremembah in izboljšavah raziskave PIAAC v naslednjem krogu. Vprašalnik pokriva naslednje teme: • zadovoljstvo z usposabljanjem anketarjev, • težave anketirancev pri opravljanju ankete, • težave anketarjev pri opravljanju ankete, • podpora izvajalske organizacije pri opravljanju dela anketarjev. Izpolnjene vprašalnike se je zbralo in analiziralo, izsledki pa so bili predstavljeni na zaključnem srečanju anketarjev. V Sloveniji so anketarji reševali spletni vprašalnik na portalu enka.si. Rezultate smo predstavili na zaključnem srečanju anketarjev, ki je potekalo decembra 2015 na Andragoškem centru Slovenije. Na zaključnem srečanju smo se o rezultatih tudi nekoliko bolj poglobljeno pogovorili. Prav tako smo rezultate povzeli in jih v posebnem poročilu (t.i. Interviewer Debriefing Form) poslali mednarodnemu konzorciju. Zbirnik odgovorov si lahko ogledate v prilogi 17. E) Stopnja odzivnosti in preprečevanje zavrnitev Eden od pomembnih elementov zagotavljanja kakovosti podatkov je tudi stopnja odzivnosti. Države so imele različne stopnje odziva, pri čemer je mednarodni konzorcij priporočil 70% stopnjo uspešno opravljenih anket. V primeru, da je bila dosežena stopnja odzivnosti med 50% in 70%, so morale države pripraviti posebno analizo pristranskosti zaradi neodgovora (več o tej analizi si lahko ija preberete v poglavju 'Zagotavljanje reprezentativnosti vzorca raziskave og PIAAC'). Tekom izvajanja raziskave je bila zato zelo pomembna promocija old projekta ter druge metode za spodbujanje sodelovanja ter preprečevanja to zavrnitev. V Sloveniji smo se dvigovanja stopnje odziva in preprečevanja zavrnitev lotili na več načinov. Me LO • Skozi celotno obdobje projekta smo skrbeli za promocijo in diseminacijo ČI projekta. Te aktivnosti so potekale preko spletne strani PIAAC RO http://piaac.acs.si/ in Facebook profila PIAAC https://sl- O si.facebook.com/PIAAC.Slovenia. Prav tako sta bili raziskava PIAAC in P njene implikacije v Sloveniji predstavljeni v številnih lokalnih in nacionalnih medijih. Več o tem si lahko ogledate na naslednji povezavi: LNOA http://piaac.acs.si/mediji/piaac/. V • Spodbujanje sodelovanja anketirancev in preprečevanje zavrnitev je bilo ključno tudi na ravni anketarjev. Anketarji so pred obiskom anketiranca, ISKO le-temu poslali najavno pismo ter zloženko z osnovnimi informacijami o raziskavi (glej priloga 2 in 3 ali podpoglavje 'Zajem podatkov'). Prav RAZ tako so bile za spodbujanje sodelovanja uporabljene spodbude za anketirance. Vsak anketiranec, ki je zaključil anketo, je dobil eno spodbudo (več o tem si lahko preberete v podpoglavju 'Zajem podatkov'). • Kot zelo uspešna metoda za višanje stopnje odziva se nam je izkazalo postopno dodeljevanje seznamov anketirancev. Dodeljevanje seznamov anketirancev je potekalo v skladu z načrtom izvedbe anketiranja na terenu. Ključna odločitev je bila ta, da se seznami razdeljujejo postopoma, osnovni seznam je štel 4 popisne okoliše in 60 anketirancev. 93 Na osnovni seznam je bilo vezano tudi izplačilo bonusa anketarjem, ki so dosegli 50% stopnjo odgovorov. Ta način obdelovanja terena je imel dve poglavitni prednosti. Omogočal je boljši nadzor nad delom anketarjev in odvzem anket v primeru, če anketar ni bil uspešen oziroma dodelitev novih anket, kadar je bil anketar uspešen. Druga prednost je bila ta, da je anketar lahko prej dosegel bonus, če je imel na seznamu 60 anketirancev, kar je bilo z vidika njihove motivacije za delo pomembna okoliščina. Za izvajalca raziskave je to pomenilo seveda bistveno več dela pri pregledovanju in dodeljevanju novih seznamov anket, na katerega se je bilo potrebno posebej pripraviti. Izkušnje iz anketiranja so pokazale, da je bil načrt izvedljiv in da je dodeljevanje anket potekalo nemoteno. Za nadzor nad anketami je bil seveda bistvenega pomena sistem CMS, ki smo ga prevzeli od nemškega partnerja, ta je omogočil dnevno spremljanje dela in uspešnosti posameznega anketarja, ter dodeljevanje novih seznamov anket prek strežnika ACS. Novi seznami anketirancev so se dodelili anketarjem, ki so naredili določeno število anket in so obiskali vse anketirance iz dodeljenega seznama. V načrtu izvedbe anketiranja je bilo tudi predvideno, da se seznami anketirancev razdelijo postopoma do konca avgusta 2014. Tako so bili do konca avgusta okvirno razdeljeni seznami s približno 8000 anketirancev od osnovnega vzorca 9000 anket, v celoti pa so bili seznani razdeljeni do novembra. • Poleg tega je Andragoški center Slovenije posebno skrb namenil organizaciji in izvedbi anketiranja na območjih, ki niso bila v celoti obdelana in obiskana ali pa je bilo ocenjeno, da je bilo to delo opravljeno manj uspešno. V zadnjem obdobju anketiranja so bila posamezna območja in anketiranci prerazporejeni anketarjem z najboljšo stopnjo odzivnosti in kakovostjo dela. • Nenazadnje pa smo vse, ki so anketo zavrnili poskušali ponovno spodbuditi k sodelovanju s posebnim pismom za anketirance. Takšno obliko spodbujanja sodelovanja je predlagal tudi mednarodni konzorcij, zato smo se za to tudi odločili. Oblikovali smo dve različici pisma, ki si jih lahko ogledate v prilogi 18 in 19. Tovrstna pisma v Sloveniji niso imela prav velikega učinka na pridobitev teh anketirancev. V Sloveniji smo si za nacionalni cilj zadali stopnjo odziva 60%. Končno število v celoti izpolnjenih anket (torej osnovni vprašalnik in naloge) je bilo v Sloveniji 5.165, stopnja odziva pa brez uteževanja 61,30%. Nekoliko več kot petina jih je zavrnilo sodelovanje v raziskavi in nekoliko manj kot petino jih ni bilo mogoče dobiti doma oziroma z njimi vzpostaviti kakršenkoli stik. Spodaj je grafični prikaz osnovnih podatkov glede stopnje odziva, več o realizaciji vzorca pa si lahko preberete v poglavju 'Zagotavljanje reprezentativnosti vzorca raziskave PIAAC'. ija og SLIKA 31: REALIZACIJA VZORCA oldto Me LO ČI RO O P LNOAV ISKO RAZ 94 Vir: Vasja Vehovar (2015) Ocenjevanje papirnatih knjižic Računalniški program je po rešenem osnovnem vprašalniku usmeril anketiranca, glede na znanje in uporabo računalnika, na reševanje nalog na računalniku ali na papirju. V primeru, da je šel anketiranec na reševanje nalog na papirju, je najprej rešil Osnovni zvezek, ki je vseboval najlažja vprašanja, tukaj se je merila osnovna raven besedilnih spretnosti in osnovna raven matematičnih spretnosti. Osnovni zvezek je vseboval 8 nalog, 4 iz besedilnih in 4 iz matematičnih spretnosti. Če je anketiranec opravil naloge iz Osnovnega zvezka (vsaj 4 naloge so morale biti pravilne), je nadaljeval z nalogami ali iz 1. Zvezka nalog ali pa iz 2. Zvezka nalog (anketiranec je imel 50% možnosti, da dobi enega ali drugega). S 1. Zvezkom se je merila pismenost na višji ravni, z 2. Zvezkom pa so se merile matematične spretnosti. Ko je zaključil in opravil te naloge, pa je nadaljeval še z nalogami iz Zvezka nalog bralne pismenosti, tukaj se je merila najnižja raven pismenosti. V primeru, da anketirana oseba ni uspela rešiti nalog iz Osnovnega zvezka, je bila usmerjena direktno na naloge iz Zvezka bralne pismenosti. Postopek ocenjevanja Iz celotnega vzorca anketiranih oseb v glavni raziskavi, jih je približno petina reševala naloge v papirnati verziji, v nasprotju s pilotno raziskavo, kjer je računalnik naključno izbral še 30% odstotkov anketirancev, ki so reševali naloge v papirnati verziji. Zmožnosti anketirancev so se ocenjevale glede na rešene kognitivne naloge. Odgovori so se razvrščali v tri kategorije: pravilni odgovori (ocena 1), delno pravilen odgovor (ocena 2, samo pri enem vprašanju v 1. zvezku nalog), nepravilen odgovor (ocena 7) ter brez odgovora (ocena 0). Naloge odprtega tipa, uporabljene v raziskavi PIAAC, so omogočale številne možne odgovore. Zato so morale biti naloge v vseh državah ocenjene po določenih navodilih in postopkih, da so se podatki lahko primerjalno interpretirali. Vsaka država je sestavila svojo nacionalno ekipo ocenjevalcev. Izbrala je vodjo ocenjevalcev in glede na število rešenih zvezkov določila število ocenjevalcev (glej Tabeli 39 in 40 Model ocenjevanja). Vsaj dva ocenjevalca sta morala biti dvojezična (angleški in materni jezik). Vodja je bil prav tako eden izmed ocenjevalcev, ki pa je bil poleg ocenjevanja ija odgovoren za izbor in usposabljanje ocenjevalne ekipe, nadzoroval je postopke og ocenjevanja, to pomeni dnevni nadzor vnosa ocen v DME bazo (Data Management old Expert), pregled napredovanja ocenjevanja in rezultatov ter ukrepanje, kadar to je bilo to potrebno. Če bi se sistematično pojavljale napake pri ocenjevanju, bi moral glavni ocenjevalec preveriti vse ocenjevalce, ki so ocenjevali zvezke, Me to pomeni pregledati, kateri zvezki so imeli ocene, ki so prispevale k LO neskladnosti, pregledati sporne ocene v vsakem zvezku in poiskati ponavljajoče ČI vzorce, ki bi lahko kazali na vir neskladij. V takšnem primeru je bilo potrebno RO vse nepravilne ocene popraviti. O P Nadziral je medsebojno ocenjevalno usklajenost in ukrepal, če so bili rezultati ocenjevanja nesprejemljivi in je bil potreben dodaten pregled. V primeru, da LNOA bi bilo to potrebno, bi moral ponovno usposobiti oziroma nadomestiti V ocenjevalca. V Sloveniji to ni bilo potrebno niti v pilotni niti v glavni raziskavi. ISKO V nadaljevanju se je glavni ocenjevalec moral posvetovati z mednarodnimi RAZ strokovnjaki, če se je pojavilo kakšno vprašanje ali dilema. V ta namen je Mednarodni konzorcij ustvaril Seznam najbolj pogostih primerov in napak za ocenjevalce, neke vrste odprt forum za oddajo vprašanj, ki jih ocenjevalna ekipa ni mogla razrešiti, prejetje odgovorov na ta vprašanja, pregled vprašanj, ki so jih oddale druge države, skupaj z odgovori, ki jih je dal Konzorcij. V pilotnem delu raziskave smo na tak način razrešili kar nekaj dilem, ki so nam olajšale ocenjevanje v glavni raziskavi. Glavni ocenjevalec je poleg tega tudi poročal o rezultatih in zagotavljal poročila Nacionalnemu koordinatorju 95 projekta in Konzorciju. Ocenjevalna ekipa je bile sestavljena iz 3 ocenjevalcev, ki so imeli dokončano univerzitetno izobrazbo, vsi trije ocenjevalci so bili dvojezični (materni in angleški jezik). Ocenjevalci so ocenjevali timsko, po določenem urniku in vedno na isti lokaciji. S tem so pospešili dogovore in diskusije. Pretekle izkušnje so pokazale, da se večina vprašanj in dilem razreši, če ocenjevalci prediskutirajo o vprašanjih med sabo in z vodjo. Na ta način smo lahko sproti reševali dileme, ki so se pojavljale. Model ocenjevanja V tem delu sta predstavljena 2 predlagana postopka za ocenjevanje Osnovnega zvezka, 1. Zvezka nalog in 2. Zvezka nalog. Ti postopki so zagotavljali enakomerno razporejanje svežnjev glede na število ocenjevalcev kot tudi vrstni red, po katerem so se svežnji ocenjevali. Vsaka država je morala glede na število zvezkov in posledično glede na število ocenjevalcev izbrati model ocenjevanja. Postopek 3 ocenjevalcev je priporočen model, kateri ustreza večini držav in je predstavljen v tabeli 39. Po tem postopku države vse zvezke ocenijo po dvakrat. Čeprav se je priporočal postopek s 3 ocenjevalci in je ustrezal večini držav, se je lahko alternativno uporabil tudi postopek z 2 ocenjevalcema, ki je predstavljen v tabeli 43. Ta postopek so morale uporabljati države, ki so imele manj kot 250 setov Zvezkov. Se pravi, če je imela država 250 (ali manj) vprašanih, ki so reševali papirnate vprašalnike, je morala uporabiti postopek 2 ocenjevalcev. TABELA 42: MODEL OCENJEVANJA S 3 OCENJEVALCI Sveženj Ocenjevalec TABELA 43: MODEL OCENJEVANJA Z 2 OCENJEVALCEMA A B C C01 1 2 C02 2 1 Sveženj Ocenjevalec C03 1 2 A B C00 1 2 C01 1 2 C04 2 1 C02 2 1 C05 1 2 ija C00 1 2 C06 2 1 C03 2 1 og ol C04 1 2 d L01 1 2 C05 1 2 to L02 2 1 C06 2 1 L03 1 2 Me L00 1 2 L01 1 2 LO L04 2 1 L02 2 1 ČI L05 1 2 L00 1 2 L06 2 1 L03 2 1 RO O L04 1 2 P N01 1 2 L05 1 2 N02 2 1 L06 2 1 N03 1 2 LNO A N00 1 2 N01 1 2 V N04 2 1 N02 2 1 N05 1 2 N00 1 2 ISKO N06 2 1 N03 2 1 N04 1 2 RAZ N05 1 2 N06 2 1 Zvezke smo razvrstili po postopku, ki je predstavljen spodaj. Pomembno je bilo, da sta bila vsaj 2 ocenjevalca dvojezična, saj so se ocenjevali tudi angleški zvezki (oznake C00, L00 in N00). Številki 1 in 2 v tabeli predstavljata glavno (1) in kontrolno (2) ocenjevanje in ne predstavljata vrstnega reda ocenjevanja. V Sloveniji smo uporabili postopek 3 ocenjevalcev. Vse zvezke je bilo potrebno 96 zložiti po točno določenih postopkih, ki jih je določil Mednarodni konzorcij. Najprej je bilo potrebno natisniti 180 zvezkov, ki so predstavljali dodatne zvezke (v angleškem jeziku) in jih speti, tako da smo dobili 180 Zvezkov (to je bil sveženj 00). V tem svežnju je moralo biti 60 Osnovnih zvezkov, 60 1. Zvezkov nalog in 60 2. Zvezkov nalog. Potem smo zbrali vse vrnjene Zvezke, ki so jih reševali anketiranci. Vsak anketiranec je prejel Osnovni zvezek in 1. Zvezek nalog ali Osnovni zvezek in 2. Zvezek nalog. SLIKA 32: OSNOVNI ZVEZEK IN 1. ZVEZEK NALOG SLIKA 33: OSNOVNI ZVEZEK IN 2. ZVEZEK NALOG Za vsakega anketiranca se je moral Osnovni zvezek ujemati s 1. Zvezkom nalog ali 2. Zvezkom nalog. Vse anketirane osebe, ki so bile usmerjene na naloge v tiskanih instrumentih in so rešile Osnovni zvezek so morale prav tako rešiti tudi 1. Zvezek nalog ali 2. Zvezek nalog. Oba Zvezka je bilo potrebno zložiti skupaj, tako da je bil sestavljen Set. Vsak izmed zvezkov je imel svojo ID številko. ija Glede na to, kateri postopek smo uporabili, smo naredili svežnje: ogold Celotno število setov zvezkov smo najprej razdelili v 6 kupov. Vsak kup je bil to sestavljen iz Osnovnega zvezka/1. Zvezka nalog in Osnovnega zvezka/2. Zvezka nalog in je vseboval približno enako število zvezkov. Me LO SLIKA 34: 6 SETOV ZVEZKOV ČI ROO P LNOAV ISKO Vsakega izmed teh 6 kupov smo nato razdelili po setih zvezkov, tako da smo RAZ oblikovali 3 manjše kupčke, v vsakem so bili samo ali Osnovni zvezki, ali 1. Zvezki nalog ali 2. Zvezki nalog. Ti kupčki so bili naši svežnji. 97 SLIKA 35: SVEŽNJI ZVEZKOV Po točno takšnem postopku smo razdelili tudi angleške dodatne zvezke (sestavljeni so iz 60 zvezkov vsake vrste). Kupček dodatnih Osnovnih zvezkov je bil sveženj C00, kupček s 1. Zvezkom nalog sveženj N00, kupček z 2. Zvezkom nalog, pa je bil sveženj L00. Vsak izmed zvezkov je imel svoj oznako: Šest Osnovnih zvezkov je bilo označenih z C01, C02, C03, C04, C05 in C06, šest 1. Zvezkov nalog z L01, L02, L03, L04, L05 in L06, šest 2. Zvezkov nalog z N01, N02, N03, N04, N05 in N06, dodatni angleški svežnji, pa so bili označeni z C00, L00 in N00. Zvezkov nalog Bralne pismenosti ni bilo potrebno zlagati po posebnem postopku in za njih tudi ni bilo posebnih pravil ocenjevanja, saj tu ni šlo za ocenjevanje, temveč za zbiranje/kodiranje podatkov. Ocenjevanje Bralne pismenosti je vsebovalo tri dele: (1) Pomen besed (besedišče); (2) Razumevanje stavkov; in (3) Razumevanje besedil. V vsakem delu so anketiranci obkrožili en možni odgovor. Za vsak del ocenjevanja, so se odgovori, ki jih je izbral anketiranec vnašali/beležili v za to določene pole. V poli za beleženje odgovorov je bilo potrebno samo označiti okvirček zraven odgovora, ki ga je izbral anketirani za vsako od nalog. Za vsakega izmed zvezkov nalog so bile pripravljene posebne ocenjevalne ija pole, v katere so se vpisovale ocene. Te pole je pripravil Mednarodni Konzorcij (priloge 20, 21, 22 in 23). ogold to Me Vnos ocen LO Po zaključenem ocenjevanju je bilo potrebno vse ocene vseh zvezkov dnevno ČI vnašati v za to pripravljen vnašalnik – Data Management Expert (DME), tako da RO je vodja ocenjevalcev lahko sproti nadziral proces ocenjevanja. Za to sta bila O usposobljena dva vnašalca, ki sta eden za drugim vnašala ocene v vnašalnik. P Najprej je ocene vnesel prvi vnašalec, za njim pa je te iste ocene vnesel še drugi vnašalec. Med njima je ob koncu preverjanja moralo biti 100% ujemanje LNOA vnosov. V ISKO Reševanje razlik v ocenah in dokumentiranje rešitev RAZ Kot rečeno so morale države vse zvezke oceniti dvakrat, vsaka posamezna razlika v oceni se je morala razrešiti s pravo oceno v kontrolnem postopku. Vse razlike je moral glavni ocenjevalec razrešiti. Postopek usklajevanja se ni izvajal na svežnju "00.", se pravi na angleških zvezkih. Rezultati ocenjevanja svežnja 00 so se morali poslati Konzorciju nedotaknjeni. Glavni ocenjevalec je razreševal neskladja glede na naslednja pravila: 1. Če je bila ocena 1 pravilna in ocena 2 nepravilna, popravljanja ocen 98 niso bila potrebna. 2. Če je bila ocena 1 nepravilna in ocena 2 pravilna, je bilo potrebno oceno 1 popraviti v DME bazi. 3. Ocena 2 se v bazi nikoli ni popravljala ali spreminjala. Popravke v postopku usklajevanja je bilo potrebno dokumentirati v poročilu o postopku usklajevanja. Države smo morale dokumentirati vsak primer, ko se je ocena 1 spremenila in elektronsko kopijo oddati Konzorciju. Tako je Konzorcij dobil pomembno informacijo o zanesljivosti ocenjevanja med ocenjevalci. Zanesljivost in primerljivost ocenjevanja Zanesljivost ocenjevanja znotraj države Namen kontrole zanesljivosti ocenjevanja znotraj države, je bilo zagotoviti zanesljivo ocenjevanje in zgodnje identificiranje in reševanje nedoslednosti in problemov v procesu ocenjevanja. V splošnem se težave pojavijo zaradi nerazumevanja pravil ali nerazumevanja določenega pravila ocenjevanja. Ti postopki prispevajo k bolj zanesljivemu ocenjevanju znotraj države. Kot je bilo že omenjeno, so se morali vsi zvezki oceniti dvakrat (oziroma »ponovno« oceniti). To je bilo potrebno, da se je beležilo stopnjo, do katere so se odgovori razvrstili v enake kategorije (pravilni odgovori, drugi odgovori in prazni odgovori), ne glede na ocenjevalca in, da se je identificiralo naloge in ocenjevalce, ki so imeli nizko stopnjo usklajenosti. Stopnja usklajenosti med dvema ocenjevalcema se je merila z indeksom medsebojne zanesljivosti. Pri PIAAC-u je medsebojna zanesljivost predstavljala mejo, do katere sta bila ocenjevalca usklajena pri ocenjevanju odgovorov in tako tudi primerljivost, kako so bila navodila razumljena in upoštevana. Usklajenost med ocenjevalci se je gibala od 0 (ni zanesljivosti in 0% usklajenost) do 1 (maksimalna zanesljivost in 100% usklajenost). Cilj je bil doseči 95% usklajenost pri vseh ocenjevalnih odgovorih, oziroma najmanj 85% usklajenost za vsak ocenjeni odgovor. S tem postopkom se je zagotavljala natančnost in objektivnost ocenjevanja, doslednost upoštevanja navodil ter reševanje nedoslednosti in problemov v procesu ocenjevanja. Zanesljivost ocenjevanja med državami Poleg preverjanja zanesljivosti znotraj ene države, je bilo prav tako potrebno preverjati zanesljivost ocenjevalcev med državami; s tem se je preverjalo ali ija vse države uporabljajo enake kriterije za ocenjevanje. Dosledno ocenjevanje og znotraj države pa ne zagotavlja primerljivih ocen med državami. Za ta namen je old Konzorcij razvil set dodatnih zvezkov. Dodatni zvezki so bili sestavljeni iz to 180 izpolnjenih angleških zvezkov, ki jih je vsaka država ocenila dvakrat. Ta Me komplet je vseboval 60 Osnovnih zvezkov, 60 1. zvezkov nalog in 60 2. zvezkov nalog. LO ČI Medanrodni konzorcij je po končani raziskavi objavil rezultate zanesljivosti RO ocenjevanja med državami in znotraj posamezne države. Podrobnosti so prikazane O v spodnji tabeli. P TABELA 44: ZANESLJIVOST OCENJEVANJA MED DRŽAVAMI IN ZNOTRAJ POSAMEZNE DRŽAVE LNOAV OECD države Znotraj posamezne države Med državami Osnovni 1. zvezek 2. zvezek Osnovni 1. zvezek 2. zvezek ISKO zvezek nalog nalog (%) nalog (%) zvezek nalog nalog (%) nalog (%) RAZ (%) (%) Avstralija 99.7 98.1 99.2 98.3 98.8 96.3 Avstrija 99.1 98.2 98.4 96.0 97.9 95.8 Kanada 99.4 96.9 98.3 98.3 98.3 96.4 Čile 99.4 98.6 99.4 98.5 97.8 95.7 Češka 100.0 99.6 100.0 98.3 97.2 96.5 99 Danska 100.0 99.9 100.0 97.1 97.3 95.9 Anglija/Severna 99.6 99.2 99.3 98.4 98.8 96.6 Irska (ZK) Estonija 99.8 96.4 98.9 95.5 95.5 95.5 Finska 99.3 98.4 98.8 97.5 98.4 96.1 Flandrija 99.7 99.4 99.4 99.0 97.8 95.8 (Belgija) Francija 100.0 100.0 100.0 96.5 87.5 92.2 Nemčija 99.7 98.9 99.3 96.0 97.9 95.8 Grčija 99.9 99.6 99.9 98.8 97.8 96.7 Irska 99.4 96.2 96.7 97.1 96.7 95.0 Izrael 99.4 98.7 98.9 98.8 98.2 96.8 Italija 99.9 99.8 99.7 97.9 97.0 96.2 Japonska 100.0 100.0 100.0 99.2 97.9 97.0 Koreja 99.5 99.9 99.9 98.8 99.1 96.7 Nizozemska 99.0 97.5 98.5 95.6 92.1 95.5 Nova Zelandija 99.7 98.9 99.4 98.6 97.8 96.6 Norveška 99.6 98.2 98.7 96.6 96.5 95.9 Poljska 100.0 100.0 100.0 99.0 97.3 96.0 Slovaška 99.9 99.8 99.9 99.6 95.0 96.1 Slovenija 99.5 97.4 99.1 98.3 97.8 96.6 Španija 99.5 97.9 98.7 97.7 96.3 95.7 Švedska 99.1 97.2 98.9 96.5 98.7 96.8 Turčija 98.9 96.8 98.4 98.3 95.6 96.1 Združene države 99.4 98.9 99.0 99.1 99.5 97.3 Partnerji Ciper8 99.5 99.2 98.2 98.3 98.8 96.9 Džakarta 99.3 96.3 98.3 97.1 92.9 94.9 (Indonezija) Lithuania 99.7 98.7 99.6 97.9 97.3 96.1 Ruska 100.0 100.0 100.0 94.0 86.7 91.5 ija federacija9 ogol Singapur 99.4 97.9 98.7 96.6 97.1 94.6 dto * Države so razvrščene po abecednem vrstnem redu. Me Vir: OECD, The Survey of Adult Skills, 2016 LO ČI RO Rezultati ocenjevanja O P V Sloveniji smo uporabili postopek ocenjevanja 3 ocenjevalcev, to pomeni, da LNO smo vse zvezke ocenili dvojno. Usposabljanje ocenjevalcev in samo ocenjevanje A je bilo uspešno, ni bila potrebna nobena zamenjava ali ponovno usposabljanje V ocenjevalcev. Ocenjevali smo v team-u, na isti lokaciji in po enakem urniku. Na ta način smo se izognili naknadnemu popravljanju ocen, saj smo vse dileme ISKO in razhajanja lahko razreševali sproti. Skupno smo ocenili 1211 Osnovnih RAZ zvezkov, 600 1. Zvezkov nalog, 493 2. Zvezkov nalog in 1266 Zvezkov nalog bralne pismenosti. Ocenjevanje in vnašanje ocen je potekalo od sredine januarja do konca februarja 2015. 8 Opomba Turčije: Informacije v tem dokumentu, ki omenjajo Ciper, se nanašajo na južni del otoka. Na otoku ni enotne oblasti, ki bi zastopala tako turške kot tudi grške Ciprčane. Turčija priznava Turško republiko Severni Ciper (TRSC). Dokler se pod okriljem Združenih narodov ne najde trajne in nepristranske 100 rešitve, bo Turčija vztrajala pri svojem stališču v zvezi s ciperskim vprašanjem. Opomba držav članic Evropske unije, ki so članice OECD in Evropske unije: Republiko Ciper priznavajo vse članice Združenih narodov z izjemo Turčije. Informacije v tem dokumentu se nanašajo na področje, ki je pod dejanskim nadzorom vlade Republike Ciper. 9 Vzorec Ruske federacije ne vključuje populacije Moskovske mestne občine. Dosegli smo cilj ocenjevanja, kot ga narekujejo pravila, to je 95% ujemanje med ocenjevalci in vsaj 85% ujemanje med ocenami nalog. Bolj podrobni rezultati so prikazani v tabelah 45 do 49. TABELA 45: USKLAJENOST OCENJEVANJA MED OCENJEVALCI Zvezek Usklajenost ocenjevanja med ocenjevalci Osnovni zvezek 99,50% 1. Zvezek nalog 97,40% 2. Zvezek nalog 99,10% Zvezek nalog bralne pismenosti 97,60% TABELA 46: USKLAJENOST OCENJEVANJA MED POSAMEZNIMI NALOGAMI V OSNOVNEM ZVEZKU Številka naloge Ime naloge Usklajenost M301C05S PSVB 99,8% P330001S Guadeloupe 99,2% N302C02S Volilni rezultati – kandidat 99,5% M600C04S Volilni rezultati – glasovi 99,5% M300C02S Zaposlitveni oglas 99,4% P601C06S Plastenke 99,8% P614601S Ura 99,9% P645001S Letališki vozni red 99,3% Skupaj 99,5% TABELA 47: USKLAJENOST OCENJEVANJA MED POSAMEZNIMI NALOGAMI V 1. ZVEZKU NALOG Številka naloge Ime naloge Usklajenost N306110S CANCO - Podatki 98,7% N306111S CANCO – Dva načina 98,8% M313410S Mednarodni klici - 098 96,3% ija M313411S Mednarodni klici – Celotna številka 99,0% M313412S Mednarodni klici – Koda države 99,0% ogol M313413S Mednarodni klici – Informacija 99,3% d M313414S Mednarodni klici – Klic v Kanado 98,8% to P324002S Mleko – Varno pitje 94,3% P324003S Mleko - Kalcij 98,8% Me M305215S Zaščita pred krajo TMN - Dokumenti 94,0% LO M305218S Zaščita pred krajo TMN – Blokada/preklic blokade 96,5% ČI P317001S Jabolka - Dokazi 98,0% P317002S Jabolka – Sestava prsti 97,2% ROO P317003S Jabolka - poklic 95,0% P M310406S Trening spomina – Predel možganov 98,7% M310407S Trening spomina - Odkritje 95,8% LNO M309319S Generična zdravila – Omejena uporaba 95,2% A M309320S Generična zdravila – Tržni delež 97,5% V M309321S Generična zdravila – 10% ali več 99,3% M309322S Generična zdravila – Razlogi 98,3% ISKO Skupaj 97,4% RAZ 101 TABELA 48: USKLAJENOST OCENJEVANJA MED POSAMEZNIMI NALOGAMI V 2. ZVEZKU NALOG Številka naloge Ime naloge Usklajenost M615602S Čajne svečke – Plasti 99,6% M615603S Čajne svečke – Skupna teža 99,6% P640001S Odometer – Kilometri 99,4% M620610S Inflacija – Napoved 99,0% M620612S Inflacija – Povprečna stopnja 99,0% P666001S Vrv – Dolžina 98,8% M623616S Vino – Steklenice 99,0% M623617S Vino – Galone 98,0% M623618S Vino – Španija/ZDA 99,4% M624619S ITM - Razred 98,4% M624620S ITM – Kolikšen je ITM 99,0% M618607S Šest plastenk - Cena 97,6% M618608S Šest plastenk - Popust 99,6% M604505S Merilnik nivoja goriva – Ostanek goriva 99,6% M610515S Obrestna mera - Vložek 99,2% P664001S Vstopnica za koncert – Študentski abonma 99,0% M602501S Nalepke s cenami – Prvi pakiran 98,8% M602502S Nalepke s cenami – Drobiž 99,4% M602503S Nalepke s cenami – Četrt kilograma 99,6% P655001S Steza – Dolžina 99,4% Skupaj 99,1% TABELA 49: USKLAJENOST OCENJEVANJA MED POSAMEZNIMI NALOGAMI V ZVEZKU NALOG BRALNE PISMENOSTI Številka naloge Ime naloge Usklajenost P901002R Kvadrat 98,2% P904012R Metulj 99,0% P901003R Roka 99,1% P901005R Dojenček 99,5% P904009R Ravnilo 99,8% P901006R Ptič 99,6% P901004R Mesec 98,6% P901013R Kruh 99,2% P903007R Lopata 99,5% P903012R Šah 99,8% P904010R Hlače 99,1% P902024R Krona 98,7% ija P901011R Klavir 97,7% og P901020R Računalnik 98,0% old P901017R Slon 99,8% to P901018R Žaga 99,9% P901019R Avtobus 100,0% Me P904022R Stol 99,8% P902021R Dežnik 99,1% LO ČI P903017R Lev 99,5% P904014R Steklenica 99,4% RO P901021R Zadrga 98,3% O P904015R Vrat 99,0% P P904020R Televizor 99,4% P902022R Vrata 99,9% LNOA P901024R Sveča 98,1% V P901025R Vodnjak 98,3% P902014R Mikroskop 98,7% ISKO P903024R Ovojnica 97,7% P904024R Zvonec 99,3% RAZ P904025R Sekira 99,1% P903021R Sedlo 99,1% P901015R Zapestje 98,4% P904021R Puščica 98,6% P911001R Stavek 1 98,9% P912002R Stavek 2 98,5% P911003R Stavek 3 97,6% P911004R Stavek 4 99,1% P911005R Stavek 4 97,1% P911006R Stavek 5 96,1% P911007R Stavek 6 96,5% 102 P911008R Stavek 7 98,5% P911009R Stavek 8 97,6% P911010R Stavek 9 97,4% P913013R Stavek 10 90,4% P912011R Stavek 11 84,8% P914012R Stavek 12 93,4% P912013R Stavek 13 94,7% P911014R Stavek 14 96,4% P914015R Stavek 15 92,1% P914019R Stavek 16 92,9% P914016R Stavek 17 98,9% P911017R Stavek 18 97,7% P914018R Stavek 19 98,9% P912019R Stavek 20 95,3% P911020R Stavek 21 92,0% P921002R Rojstnodnevna zabava Stavek 2 98,2% P921003R Rojstnodnevna zabava Stavek 3 97,8% P921004R Rojstnodnevna zabava Stavek 4 95,3% P921005R Rojstnodnevna zabava Stavek 5 97,6% P921007R Rojstnodnevna zabava Stavek 7 82,9% P921008R Rojstnodnevna zabava Stavek 8 98,9% P921009R Rojstnodnevna zabava Stavek 9 99,1% P921010R Rojstnodnevna zabava Stavek 10 98,0% P921011R Rojstnodnevna zabava Stavek 11 98,3% P921013R Rojstnodnevna zabava Stavek 13 98,6% P921014R Rojstnodnevna zabava Stavek 14 98,7% P921015R Rojstnodnevna zabava Stavek 15 98,7% Rojstnodnevna zabava Stavek 16 P921016R 99,4% P921017R Rojstnodnevna zabava Stavek 17 99,0% P921018R Rojstnodnevna zabava Stavek 18 98,5% P921019R Rojstnodnevna zabava Stavek 19 98,7% P921020R Rojstnodnevna zabava Stavek 20 98,3% P921021R Rojstnodnevna zabava Stavek 21 97,1% P922023R Pismo uredniku Stavek 2 97,8% P922024R Pismo uredniku Stavek 3 98,5% P922025R Pismo uredniku Stavek 4 98,9% P922026R Pismo uredniku Stavek 5 99,0% P922027R Pismo uredniku Stavek 6 96,7% P922028R Pismo uredniku Stavek 7 98,4% P922030R Pismo uredniku Stavek 9 98,7% P922031R Pismo uredniku Stavek 10 98,2% P922032R Pismo uredniku Stavek 11 98,3% P922033R Pismo uredniku Stavek 12 98,3% P921035R Svetovni športi Stavek 2 99,0% P921036R Svetovni športi Stavek 3 98,5% P921037R Svetovni športi Stavek 4 98,7% Svetovni športi Stavek 5 98,8% P921038R P921040R Svetovni športi Stavek 7 90,8% P921041R Svetovni športi Stavek 8 98,2% P921042R Svetovni športi Stavek 9 91,9% ija P921043R Svetovni športi Stavek 10 98,5% og P924035R Gremo v kino Stavek 2 94,9% ol P924036R Gremo v kino Stavek 3 97,4% d P924037R Gremo v kino Stavek 4 99,3% to P924038R Gremo v kino Stavek 5 98,3% P924040R Gremo v kino Stavek 7 94,5% Me P924041R Gremo v kino Stavek 8 95,7% LO P924042R Gremo v kino Stavek 9 98,7% ČI Gremo v kino Stavek 10 95,1% P924043R RO Skupaj 97,6% O P LNOAV ISKO RAZ 103 ija ogoldto Me LO ČI RO O 6 P LNOAV ISKO ANALIZA RAZ PODATKOV 104 6.1 »Skripte« za statistično analizo podatkov PIAAC za program IBM SPSS Statistics po vzoru programa IDB Analyzer mag. Marijan Manoilov Uvod IDB Anylzer (International Database Analyzer) je računalniški program za analizo anketnih podatkov projekta PIAAC – Programa za mednarodno ocenjevanje kompetenc odraslih (angl. Programme for the International Assessment of Adult Competencies). Pri tem ne gre za samostojni program, temveč za uporabniški vmesnik oziroma nadgradnjo analitičnega orodja IBM SPSS Statistics10, ki je bila pripravljena s strani IEA DPC (International Association for the Evaluation of Educational Achievement - Data Processing and Research Center). IDB Analyzer omogoča analizo kompleksnega večstopenjskega vzorca in izračun deskriptivnih statistik pismenosti, ki so merjene z več spremenljivkami (Item Response Theory), pri čemer izračunava tudi standardne napake, na podlagi katerih je možno izračunati intervale zaupanja oziroma opravljati tudi sklepanja iz vzorca na populacijo. Za potrebe slovenskega dela projekta PIAAC so bile pripravljene »skripte11«, in sicer gre za makro in druge programske vrstice programa IBM SPSS Statistics z (deskriptivnimi) statističnimi izračuni, ki so vključeni v IDB Anaylzer. Pri tem so bili upoštevani popolnoma enaki algoritmi in metode, ki so sicer vključeni v IDB Analyzer in omenjene »skripte« producirajo popolnoma enake tabelarične izpise, kot jih producira IDB Anaylzer oziroma njegov modul za deskriptivne (univariatne in bivariatne) analize. Pri tem pa je pomembno omeniti, da so bili vhodni parametri »skript« in izpisi - zaradi večje preglednosti in enostavnosti uporabe - strnjeni in poenostavljeni (npr. rezultate shranjujejo samo v Excel datoteko in ne tudi v .sav datoteko). Namen »skript« je bila predvsem možnost avtomatizacije PIAAC analiz, saj je s ija pomočjo »skript« možno shranjene ukaze oziroma analize večkrat ponoviti - kot og je to značilno za ukaze v sintaksi IBM SPSS Statistics - in sicer brez potrebe old po klikanju na ukaze iz menijev. to Kot nadgradnja omenjenih »skript« je bilo izdelano Excel orodje (PIAAC Me Tablomat), ki je omenjene rezultate iz Excel datotek združil in oblikoval ter LO izdelal Excel grafe. Omenjeno Excel orodje je predstavljeno v drugi publikaciji ČI in v nadaljevanju te publikacije sledi predstavitev omenjenih »skript« in RO navodila za njihovo uporabo. O P LNO AV ISKO RAZ 10 IBM© SPSS© Statistics je programska oprema podjetja IBM Corporation. Vsi logotipi in (registrirane) blagovne znamke uporabljene v tej publikaciji so last njihovih zakonitih lastnikov. 11 Pripravo oziroma prilagajanje »skript« je financiral Andragoški center Republike Slovenije za potrebe lastnih analiz projekta PIAAC. V kolikor bi bilo potrebno za uporabo »skript« organizirati izobraževanja ali jih dopolniti/prilagoditi za druge potrebe, je to možno storiti po dogovoru s podizvajalcem Profesionalne storitve, Marijan Manoilov s.p., Hladilniška pot 32, 1000 Ljubljana (manoilov.mobi@gmail.com). Uporaba »skript« je na lastno odgovornost: Andragoški center Republike Slovenije in podizvajalec nista v nobenem primeru odgovorna za kakršno koli neposredno, posredno, dodatno, naključno ali posledično škodo, ki nastane zaradi uporabe »skript«, ne glede na to, kako je bila povzročena 105 (naj izhaja iz odškodninske odgovornosti - vključno z malomarnostjo - ali iz drugih pravnih in vsebinskih podlag). Slednja omejitev odgovornosti velja brez omejitev in se nanaša tudi na morebitne odškodnine za izgubljeni dobiček, prekinitev poslovanja, izgubo podatkov ali poslovnih podatkov ter na vse morebitne ostale stroške, ki izhajajo iz uporabe ali nezmožnosti uporabe »skript«. »Skripte« je potrebno vedno distribuirati s to publikacijo in z uporabo »skript« se strinjate z omejitvijo odgovornosti iz te opombe. Programske zahteve in princip delovanja »skript« Za uporabo »skript« je bilo potrebno imeti naložen program IBM SPSS Statistics. Delovanje »skript« je bilo preizkušeno na verziji IBM SPSS Statistics 21. Za uporabo »skript« je bilo priproročljivo imeti programsko in strojno opremo najmanj z naslednjo konfiguracijo (ali boljšo):  PC z vsaj 1 GHz procesorjem,  vsaj 512 megabytov (MB) spomina (RAM),  vsaj 50 megabytov (MB) razpoložljivega prostora na hard disku,  vsaj Super VGA (1024x768) or video-adapter in monitor,  operacijski sistem Microsoft Windows XP, Vista, ali Windows 7,  programsko opremo Microsoft Excel 2003 (ali kako novejšo verzijo),  IBM SPSS za Windows, verzija 20 (ali kako novejšo verzijo) ter  miško in tipkovnico kompatibilno z zgoraj navedeno programsko in strojno opremo. Tej publikaciji so priložene naslednje datoteke:  datoteka z jedrom »skript« (skripte.ieasps),  vzorčna datoteka z anketnimi podaki za izbrane države (PIAAC_DATA_cycle1.sav),  IBM SPSS sintaksa z vzorčnimi primeri uporabe »skript« (primeri sintaks.sps). Vse zgoraj omenjene priložene datoteke je priporočljivo shraniti v eno mapo, npr. C:\PIAAC. Vsi primeri v nadaljevanju temeljijo na predpostavki, da so vse zgoraj omenjene datoteke v zgoraj omenjeni mapi. »Skripte« je bilo možno uporabiti tudi v drugih mapah, pri čemer je bilo v slednjem primeru potrebno prilagoditi vhodne parametre »skript« (kar je razloženo v nadaljevanju). Sledi podrobnejša razlaga vsake izmed »skript«, in sicer je naprej predstavljena sintaksa uporabe (ukaz, s katerim se »skripta« izvede), ija obrazložitev vhodnih parametrov »skripte« in kratka obrazložitev rezultatov, og ki jih skripa producira. Vsaka izmed »skript« je prikazana v svojem poglavju. old Uporaba »skript« predpostavlja, da ima uporabnik osnovno poznavanje programa to IBM SPSS Statistics, in sicer vsaj: osnovno poznavanje okolja oziroma okna s Me podatki, okna z izpisi in okna z ukazi v sintaksi programa IBM SPSS Statistics, agregiranje .sav datotek, filtriranje podatkov z ukazom »filter by« in »select LO ČI if«, združevanje odgovorov z ukazom »recode«, spreminjanje label spremenljivk (npr. z namenom prevoda v Slovenščino) in s tem povezane osnovne operacije in RO O ukaze programa IBM SPSS Statistics. Predpostavlja se tudi vsaj osnovno P (teoretično) razumevanje deskriptivne statistike (mere srednje vrednosti, mere razpršenosti, standardna napaka, interval zaupanja) ter poznavanje specifik in LNO vsebine anketnih podatkov PIAAC (kako so v .sav bazi spremenljivke poimenovane AV ter kaj je njihova vsebina). ISKO RAZ 106 Nalaganje »skript« v IBM SPSS Statistics Pred uporabo »skript« je bilo potrebno le-te naložiti v IBM SPSS statistics. Ukaz, s katerim se je to naredilo, je v datoteki primeri sintaks.sps, ki jo je potrebno odpreti s programom IBM SPSS Statistics. Kot je prikazano v spodnji sliki, je bilo potrebno označiti vrstico z ukazom include file ter klikniti na ikono za zagon (zeleni trikotnik v opravilni vrstici okna s sintakso). SLIKA 36: NALAGANJE »SKRIPT« V IBM SPSS STATISTICS – ZAGON Takoj po tem se je odprlo okno z izpisi rezultatov, kjer se je izpisalo obvestilo iz slike 37. Kot je iz obvestila razvidno, je bilo potrebno počakati nekaj časa (dokler je na dnu okna z izpisi oznaka »Running define...«). SLIKA 37: NALAGANJE »SKRIPT« V IBM SPSS STATISTICS - ČAKANJE ija ogold to Ko so bile »skripte« naložene, se je izpisalo obvestilo iz slike 38 in na dnu Me okna z rezultati je obvestilo: IBM SPSS Statistics Processor is ready. LO ČI SLIKA 38: NALAGANJE »SKRIPT« V IBM SPSS STATISTICS – OBVESTILO, DA SO »SKRIPTE« NALOŽENE ROO P LNOAV ISKO RAZ 107 Tako je bil IBM SPSS Statistics pripravljen, da lahko s pomočjo okna s sintakso poženete »skripte«. Omenjeni ukaz je bilo potrebno izvesti, le ko se je program IBM SPSS prvič odprl in je veljalo, dokler se program IBM SPSS ni zaprl (v celoti). Vse »skripte« je bilo možno pognati na podoben način, kot je bil izveden ukaz include file iz slike 36, in sicer je bilo sintakso s »skripto« (in pripadajočimi parametri) potrebno najprej označiti, nato pa klikniti na zelen trikotnik (Run Selection). V nadaljevanju sledi podrobnejši opis sintakse »skript« s pripadajočimi parametri ter razlaga parametrov in opis celotnega postopka, vključno s prikazom vzorčnih rezultatov in informacij, kje in kako so se rezultati shranjevali. Kot je bilo omenjeno, izračuni vseh »skript« iz nadaljevanja temeljijo na popolnoma enakih algoritmih in metodah, ki so sicer vključeni v IDB Analyzer in omenjene »skripte« producirajo enake tabelarične izpise, kot jih producira IDB Anylzer oziroma njegov modul za deskriptivne (univariatne in bivariatne) analize. Zaradi večje preglednosti so bile »skripte« oštevilčene z oznakami #01, #02 itd. Predstavitev »skripte«: skripta_povprecje (#01) Kot je iz poimenovanja »skripte« razvidno, je bilo bistvo te »skripte« izračun povprečij oziroma aritmetičnih sredin. Pri tem je bilo kot vhodni parameter »skripte« potrebno navesti eno numerično (razmernostno ali dobro intervalno) spremenljivko ter eno kategorično (nominalno ali ordinalno) spremenljivko. »Skripta« je za vsako izmed vrednosti kategorične spremenljivke izračunala aritmetično sredino in standardno napako numerične spremenljivke. V tem primeru in pri vseh primerih iz nadaljevanja, je kot nominalna (neodvisna) spremenljivka prikazana CNTRYID (država), tako da so vsi rezultati prikazani po državah. Zaradi večje preglednosti so (v datoteki PIAAC_DATA_cycle1_A_D_USA.sav) izbrane le 3 države, in sicer: Avstrija, Nemčija in Združene države Amerike. V primeru iz slike 39 je kot numerična spremenljivka izbrana LEARNATWORK. Gre za izpeljan in numerični indikator, ki meri stopnjo izobraževanja na delovnem mestu. Izpeljan je iz več spremenljivk (D_Q13a, D_Q13b, D_Q13c). Višje vrednosti ija indikatorja pomenijo večjo stopnjo izobraževanja na delovnem mestu in obratno: og nižje vrednosti indikatorja pomenijo nižjo stopnjo izobraževanja na delovnem old mestu. to Me S LIKA 39: ZAGON »SKRIPTE« #01 IN NJENI VHODNI PARAMETRI – SINTAKSA PROGRAMA IBM SPSS LO ČI RO O P LNOAV ISKO RAZ Kot je iz zgornje slike razvidno, je bilo potrebno najprej (v prvi vrstici) vpisati poimenovanje »skripte« in temu so sledili parametri spr, split, podatki in rezultati. Na koncu vsakega parametra je moral biti znak / (poševnica), razen pri zadnjem parametru, kjer je namesto znaka »/ navedena pika (.). 108 V nadaljevanju sledi opis parametrov »skripte«:  rezultati= »«  s tem parametrom se določi mapo, kjer se bo shranila Excel datoteka z rezultati,  podatki= »«  s tem parametrom se določi .sav datoteka, kjer so anketni podatki,  split=  s tem parametrom se določi kategorična (neodvisna) spremenljivka,  spr=  s tem parametrom se določi numerična (odvisna) spremenljivka, za katero »skripta« izračuna aritmetično sredino in standardno napako (za vsako izmed vrednosti neodvisne spremenljivke). Po zagonu »skripte« je bilo potrebno počakati. Čas čakanja je bil odvisen od hitrosti oz. zmogljivosti računalniške opreme in je lahko od nekaj sekund do nekaj minut. Med izvajanjem »skripte« so se v statusni vrstici okna z rezultati (spodaj desno) izpisovala različna obvestila in rezultati »skripte« so shranjeni, šele ko se je izpisalo obvestilo »IBM SPSS Processor is ready«. Med samim izvajanjem »skript« so se med drugim izpisovala razna obvestila: katera »skripta« se izvaja, katere spremenljivke so bile vključene ter kam se shranijo rezultati. V oknu z rezultati so se izpisovali tudi rezultati izračunov in rezultati izračunov so se shranili tudi v Excel datoteko. V oknu z rezultati se je izpisalo tudi, kako je ta datoteka poimenovana in kje je shranjena. V nadaljevanju sledi primer izpisov v oknu z rezultati IBM SPSS Statistics za primer »skripte« #01 s parametri iz slike 39. SLIKA 40: IBM SPSS IZPISI PO ZAGONU »SKRIPTE« #01 - PRVI DEL ija SLIKA 41: IBM SPSS IZPISI PO ZAGONU »SKRIPTE« #01 - DRUGI DEL ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 109 Rezultati »skripte« #01 so se shranili v Excel datoteko, ki je navedena v izpisu na dnu slike 41 in v nadaljevanju (slika 42) sledi predogled teh rezultatov. SLIKA 42: KONČNI REZULTATI »SKRIPTE« #01 - VSEBINA EXCEL DATOTEKE Kot je iz Slike 42 razvidno, so bili prikazani rezultati za vsako izmed vrednosti spremenljivke CNTRYID v svoji vrstici (vsaka država je v svoji vrstici). Povprečja indikatorja LEARNATWORK so bila prikazana v stolpcu H (mnx) in standardna napaka od povprečja je prikazana v stolpcu I (mnx_se). Podrobnejšo razlago rezultatov te »skripte« in »skript« v nadaljevanju je možno dobiti v priročniku oziroma publikacijah programa IDB Analyzer, zato v nadaljevanju sledi le opis ostalih »skript« in vhodnih parametrov, pri čemer ni opisa tabel z rezultati, ki jih posamezna »skripta« producira (kot je to izjemoma prikazano v tem poglavju oz. pri »skripti« #01). Opis uporabljenih spremenljivk in ostalih spremenljivk iz mednarodne baze z anketnimi podatki, je v prilogi te publikacije. ija og Predstavitev »skripte«: skripta_povprecje_pism (#02) oldto Gre za podobno »skripto« kot je »skripta« #01, le da »skripta« #02 izračuna aritmetično sredino in standardno napako za spremenljivke oziroma dimenzije Me pismenosti. LO ČI SLIKA 43: ZAGON »SKRIPTE« #02 IN NJENI VHODNI PARAMETRI – SINTAKSA PROGRAMA IBM SPSS RO O P LNOAV ISKO RAZ 110 V nadaljevanju sledi opis parametrov »skripte«:  rezultati= »«  s tem parametrom se določi mapo, kjer se bo shranila Excel datoteka z rezultati,  podatki= »«  s tem parametrom se določi .sav datoteka, kjer so anketni podatki,  split=  s tem parametrom se določi kategorična (neodvisna) spremenljivka,  spr=  s tem parametrom je potrebno določiti, za katero dimenzijo pismenosti želimo izračune aritmetične sredine in standardne napake (potrebno je izbrati eno izmed naslednjih možnih vrednosti tega parametra, in sicer: PVLIT, PVNUM ali PVPSL. Pri tem je pomembno, da se kot vhodni parameter navede le eno izmed omenjenih oznak, tako kot so zgoraj navedene (z velikimi tiskanimi črkami). Predstavitev »skripte«: skripta_delezi (#03) Gre za podobno »skripto« kot je »skripta« #01, le da je »skripta« #03 izračunala delež in standardno napako deleža nominalne/ordinalne spremenljike, ki je navedena pri parametru spr=. SLIKA 44: ZAGON »SKRIPTE« #03 IN NJENI VHODNI PARAMETRI – SINTAKSA PROGRAMA IBM SPSS V nadaljevanju sledi opis parametrov »skripte«: ija  rezultati= »«  s tem parametrom se določi mapo, kjer se bo shranila og Excel datoteka z rezultati, old  podatki= »«  s tem parametrom se določi .sav datoteka, kjer so anketni to podatki,  split=  s tem parametrom se določi kategorična (neodvisna) Me spremenljivka, LO  spr=  s tem parametrom se določi kategorična oziroma ČI nominalna/ordinalna (odvisna) spremenljivka, za katero »skripta« RO izračuna delež in standardno napako (za vsako izmed vrednosti neodvisne O spremenljivke). P LNO AV ISKO RAZ 111 Predstavitev »skripte«: skripta_korelacije (#04) Ta »skripta« je izjemoma kreirala dve datoteki z rezultati, in sicer so bili v eni datoteki z rezultati deskriptivne statistike vseh vključenih spremenljivk v parameter spr= (aritmetična sredina in standardni odklon) in v drugi datoteki pa korelacijski koeficienti med vsemi vključenimi spremenljivkami v parameter spr=. Zaradi zgoraj omenjenega izračuna aritmetične sredine in standardnega odklona, je lahko ta skripta tudi nadomestek »skripte« #01. Ker gre med drugim tudi za izračune korelacijskih koeficientov, so morale biti vse vključene spremenljivke numerične (dobre intervalne ali razmernostne). SLIKA 45: ZAGON »SKRIPTE« #04 IN NJENI VHODNI PARAMETRI – SINTAKSA PROGRAMA IBM SPSS V nadaljevanju sledi opis parametrov »skripte«:  rezultati= »«  s tem parametrom se določi mapo, kjer se bo shranila Excel datoteka z rezultati,  podatki= »«  s tem parametrom se določi .sav datoteka, kjer so anketni podatki,  split=  s tem parametrom se določi kategorična (neodvisna) ija spremenljivka, ogol  spr=  numerične spremenljivke, za katere »skripta« izračuna zgoraj dto omenjene statistike. Me LO ČI Predstavitev »skripte«: skripta_korelacije_pism (#05) RO Parametri te »skripte« so bili enaki kot pri »skripti« #04, le da ta »skripta« O P poleg numeričnih spremenljivk iz parametra spr= med rezultate doda tudi vse tri dimenzije pismenosti. LNOAV SLIKA 46: ZAGON »SKRIPTE« #05 IN NJENI VHODNI PARAMETRI – SINTAKSA PROGRAMA IBM SPSS ISKO RAZ 112 V nadaljevanju sledi opis parametrov »skripte«:  rezultati= »«  s tem parametrom se določi mapo, kjer se bo shranila Excel datoteka z rezultati,  podatki= »«  s tem parametrom se določi .sav datoteka, kjer so anketni podatki,  split=  s tem parametrom se določi kategorična (neodvisna) spremenljivka,  spr=  numerične spremenljivke, za katere »skripta« izračuna zgoraj omenjene statistike. Spremenljivk pismenosti (PVLIT, PVNUM ali PVPSL) ni potrebno dodati kot parameter, ker jih »skripta« kar sama doda. Predstavitev »skripte«: skripta_percentili (#06) Glavni vhodni parameter (spr=) je moral biti numeričen oziroma razmernostni ali intervalen. »Skripta« za ta parameter je izračunala naslednje percentile: 1, 5, 10, 15, 33, 50, 66, 85, 90, 95, 99. Po dogovoru je bilo možno »skripto« tako prilagoditi, da je izračunala tudi morebitne druge percentile. SLIKA 47: ZAGON »SKRIPTE« #06 IN NJENI VHODNI PARAMETRI – SINTAKSA PROGRAMA IBM SPSS V nadaljevanju sledi opis parametrov »skripte«:  rezultati= »«  s tem parametrom se določi mapo, kjer se bo shranila Excel datoteka z rezultati, ija  podatki= »«  s tem parametrom se določi .sav datoteka, kjer so anketni ogol podatki, d  split=  s tem parametrom se določi kategorična (neodvisna) to spremenljivka, Me  spr=  intervalna ali razmernostna spremenljivka, za katero se želi izračunati percentile. LO ČI ROO P LNOAV ISKO RAZ 113 Predstavitev »skripte«: skripta_percentili_pism (#07) Glavni vhodni parameter (spr=) je morala biti ena izmed dimenzij pismenosti, in sicer: PVLIT, PVNUM ali PVPSL. »Skripta« za izbrano dimenzijo pismenosti je izračunala naslednje percentile: 1, 5, 10, 15, 33, 50, 66, 85, 90, 95, 99. Po dogovoru je blo možno »skripto« tako prilagoditi, da je izračunala tudi morebitne druge percentile. SLIKA 48: ZAGON »SKRIPTE« #07 IN NJENI VHODNI PARAMETRI – SINTAKSA PROGRAMA IBM SPSS V nadaljevanju sledi opis parametrov »skripte«:  rezultati= »«  s tem parametrom se določi mapo, kjer se bo shranila Excel datoteka z rezultati,  podatki= »«  s tem parametrom se določi .sav datoteka, kjer so anketni podatki,  split=  s tem parametrom se določi kategorična (neodvisna) spremenljivka,  spr=  ena izmed dimenzij pismenosti, in sicer: PVLIT, PVNUM ali PVPSL. Predstavitev »skripte«: skripta_ravni_pism (#08) ija og Glavni vhodni parameter (spr=) je morala biti ena izmed dimenzij pismenosti, ol in sicer: PVLIT, PVNUM ali PVPSL. »Skripta« za izbrano dimenzijo pismenosti dto izračuna ravni pismenosti, in sicer upošteva naslednje meje razredov: 176, 226, 276, 326, 376 (angl. Benchmark). Po dogovoru je bilo možno »skripto« tako Me prilagoditi, da se je izračunalo tudi ravni pismenosti z morebitnimi drugimi LO mejami razredov. ČI RO SLIKA 49:ZAGON »SKRIPTE« #08 IN NJENI VHODNI PARAMETRI – SINTAKSA PROGRAMA IBM SPSS O P LNOAV ISKO RAZ 114 V nadaljevanju sledi opis parametrov »skripte«:  rezultati= »«  s tem parametrom se določi mapo, kjer se bo shranila Excel datoteka z rezultati,  podatki= »«  s tem parametrom se določi .sav datoteka, kjer so anketni podatki,  split=  s tem parametrom se določi kategorična (neodvisna) spremenljivka,  spr=  ena izmed dimenzij pismenosti, in sicer: PVLIT, PVNUM ali PVPSL. Predstavitev »skripte«: skripta_ravni_pismx (#09) Gre za podobno »skripto«, kot je »skripta« #08. Poleg ravni pismenosti, ki se jo je določilo s parametrom spr=, je bilo možno dodati tudi eno numerično (razmernostno ali dobro intervalno) spremenljivko (s parametrom sprx=), za katero je »skripta« izračunala aritmetično sredino in standardno napako, in sicer posebej za respondente iz posamezne skupine, ki spadajo v isto raven pismenosti. SLIKA 50: ZAGON »SKRIPTE« #09 IN NJENI VHODNI PARAMETRI – SINTAKSA PROGRAMA IBM SPSS V nadaljevanju sledi opis parametrov »skripte«: ija  rezultati= »«  s tem parametrom se določi mapo, kjer se bo shranila og Excel datoteka z rezultati, ol  podatki= »«  s tem parametrom se določi .sav datoteka, kjer so anketni d podatki, to  split=  s tem parametrom se določi kategorična (neodvisna) Me spremenljivka, LO  sprx=  numerična (razmernostna ali dobra intervalna) spremenljivka. ČI  spr=  ena izmed dimenzij pismenosti, in sicer: PVLIT, PVNUM ali PVPSL ROO P LNOAV ISKO RAZ 115 Predstavitev »skripte«: skripta_ravni_pism_kumul (#10) Gre za podobno »skripto« kot je »skripta« #08, le da ta »skripta« ni izračunala navadnih deležev glede na ravni pismenosti, temveč kumulativo glede na ravni pismenosti. SLIKA 51: ZAGON »SKRIPTE« #10 IN NJENI VHODNI PARAMETRI – SINTAKSA PROGRAMA IBM SPSS V nadaljevanju sledi opis parametrov »skripte«:  rezultati= »«  s tem parametrom se določi mapo, kjer se bo shranila Excel datoteka z rezultati,  podatki= »«  s tem parametrom se določi .sav datoteka, kjer so anketni podatki,  split=  s tem parametrom se določi kategorična (neodvisna) spremenljivka,  spr=  ena izmed dimenzij pismenosti, in sicer: PVLIT, PVNUM ali PVPSL. Predstavitev »skripte«: vgnezdi_spremenljivk Gre za zelo specifično »skripto«, katere namen niso bile statistične analize, ija temveč je bil namen te »skripte« kreacija nove spremenljivke, in sicer na ogol podlagi kombinacije dveh ali treh že obstoječih spremenljivk. Omenjena nova d spremenljivka je imela tako vse možne kombinacije vrednosti, ki jih imajo to spremenljivke vključene v parameter spr=. Me SLIKA 52: ZAGON »SKRIPTE« VGNEZDI_SPREMENLJIVKE IN NJENI VHODNI PARAMETRI – SINTAKSA IBM SPSS LO ČI RO O P LNOAV ISKO RAZ 116 SLIKA 53: PRIMER IZPISA »SKRIPTE« VGNEZDI_SPREMENLJIVKE Parametri te »skripte« so:  rezultati= »«  s tem parametrom se določi mapo, kjer se bo shranila Excel datoteka z rezultati,  spr=  s tem parametrom se izbere spremenljivke iz podatkov (definiranih z zgornjo alinejo), ki so osnova za kreacijo nove ija (vgnezdene) spremenljivke. Možno je izbrati do 4 spremenljivke, vendar og je priporočljivo izbrati največ 3 spremenljivke. Pri tem je old priporočljivo preveriti, če ima katera vrednost vgnezdene spremenljivke to relativno nizek numerus (število enot) in v slednjem primeru je Me priporočljivo take odgovore vgnezdene spremenljivke združiti s pomočjo LO IBM SPSS ukaza »recode«. ČI RO Na slikah 52 in 53 so prikazane vse možne kombinacje spremenljivk CNTRYID in O P GENDER_R (ki so shranjene v novo spremenljivko: CNTRYIDGENDER_R). Tako vgnezdeno spremenljivko je bilo možno uporabiti pri »skriptah« od #01 do LNOA #10. Npr. namesto spremenljivke CNTRYID je bilo kot vhodni parameter (split=) V možno navesti CNTRIDGENDER_R in v slednjem primeru vse »skripte« znotraj posamezne države izračunajo rezultate posebej za moške in posebej za ženske. ISKO RAZ 117 Opombe:  Pred zagonom te »skripte« je bilo potrebno preveriti, da slučajno v datoteki s podatki ni obstajala spremenljivka, ki bi imela enako ime kot vgnezdena spremenljivka (v zgornjem primeru je to CNTRYIDGENER_R, ki je kombinacija spremenljivk CNTRYID in GENDER_R). V kolikor je taka spremenljivka obstaja, se bi pri izvedbi »skripte« izpisale napake oziroma opozorila programa IBM SPSS Statistics (Error # 5223). Poleg tega je v slednjem primeru ostala v datoteki s podatki spremenljivka vgnezdene_spremenljivke, ki jo je bilo potrebno ročno izbrisati in shraniti datoteko s podatki. V kolikor pa spremenljivka CNTRYIDGENDER_R ne bi obstajala, potem »skripta« ne bi delovala pravilno in omenjeno spremenljivko kreira.  Po zagonu »skripte« je ostala datoteka s podatki odprta. Na ta način je bilo možno preveriti, ali je vgnezdena spremenljivka res kreirana. Datoteko s podatki je bilo potrebno (ponovno) shraniti, saj je le na ta način možna uporaba vgnezdene spremenljvke pri nadaljnjih analizah.  V prilogi 24 prikazujemo Seznam spremenljivk mednarodne datoteke z anketnimi podatki. ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 118 ija ogoldto Me LO ČI ROO P LNOAV 7 ISKO RAZ DISEMINACIJA 119 7.1 Diseminacija in promocija projekta Skozi celotno obdobje projekta smo skrbeli za promocijo in diseminacijo projekta. Le ta je potekala na različnih nivojih, ki jih v nadaljevanju predstavljamo. Spletna stan in Facebook profil projekta Sprva smo oblikovali spletno stran PIAAC http://piaac.acs.si/ in Facebook profil PIAAC https://sl-si.facebook.com/PIAAC.Slovenia. Oba medija komunikacije, spletna stran in profil Facebook, sta bila namenjena tako strokovni kot širši javnosti. Vsebujeta informacije o raziskavi PIAAC ter aktualne informacije o projektu »Merjenje učinkovitosti sistema izobraževanja in usposabljanja za izboljšanje usposobljenosti izobraževalcev odraslih od 2013 do 2015«, znotraj katerega je potekala raziskava PIAAC v Sloveniji. PIAAC v različnih lokalnih in nacionalnih medijih Prav tako sta bili raziskava PIAAC in njene implikacije v Sloveniji predstavljeni v številnih lokalnih in nacionalnih medijih. Spodaj na kratko predstavljamo prispevke, ki so bili objavljeni v različnih medijih: • Radio Ptuj (prispevek) V oddaji Vroča linija na Radiu Ptuj je dr. Petra Javrh spregovorila o pismenosti. Še posebej je bila izpostavljena raziskava PIAAC ter njene razsežnosti v Sloveniji. • Delo (prispevek) Članek Sonje Merljak v dnevniku Delo govori o zaključni konferenci projekta »Merjenje učinkovitosti sistema izobraževanja in usposabljanja ija za izboljšanje usposobljenosti izobraževalcev odraslih 2013-2015«, ki og se je odvijala 26. maja 2015 v prostorih Ministrstva za izobraževanje, old znanost in šport. to • Večer (prispevek) Me Franja Žist v dnevniku Večer piše o pomenu spretnosti za posameznika in državo. O tej tematiki je tekla beseda na konferenci 'Analitični LO potencial raziskave PIAAC - prispevek k izobraževanju in razvoju ČI Slovenije'. RO • O Večer (prispevek) P V dnevniku Večer je bil objavljen pogovor z Andreasom Schleicherjem, direktorjem direktorata za izobraževanje in spretnosti pri OECD, o LNO izobraževanju v Sloveniji ter o tem kaj odlikuje kakovostne AV izobraževalne sisteme. • Radio Trst A (prispevek) ISKO O pismenosti sta na Radiu Trst A imeli pogovor nacionalna koordinatorica raziskave PIAAC, Mag Estera Možina in novinarka dr. Maja Mezgec. RAZ • Radio Ptuj (prispevek) Z novinarko Radia Ptuj, Estero Korošec, se je vodja projekta, dr. Petra Javrh, pogovarjala o pomenu svetovnega dneva pismenosti in vplivu rezultatov raziskave PIAAC na načrtovanje sprememb v izobraževanju v državi. Dotaknili smo se tudi vprašanja, kako se pismenost spreminja glede na hiter tehnološki razvoj, množično uporabo računalnikov, tablic in pametnih telefonov. • Kamniški občan (prispevek) V občinskem časopisu Kamniški občan je bil objavljen članek o pismenosti in raziskavi PIAAC, kjer je svojo izkušnjo z delom na terenu predstavila 120 naša sodelavka Metka Svetina, ki je delovala na območju kamniške občine. • TV Oron (prispevek) Na lokalni notranjski televiziji TV Oron je bila posneta enourna oddaja, kjer so raziskavo PIAAC poglobljeno predstavili zunanja sodelavca Tomaž Hožič in Danijela Zajc ter vodja projekta, dr. Petra Javrh. Oddaja je izčrpno informirala o poteku terenskega dela raziskave, ki je vključevala 5000 odraslih v starosti od 16 do 65 let in je poteka od aprila do konca leta 2014, predstavljen pa je bil tudi širši okvir in pomen podatkov, ki bodo na voljo po zaključenem zbiranju. • Svet na Kanalu A (prispevek) V informativni oddaji Svet na Kanalu A so objavili prispevek Pismenost med Slovenci, v katerem so sodelavci ACS predstavili zbiranja podatkov v raziskavi, o svojih izkušnjah pa je spregovorila Suzana Auguštin, ki je izvajala anketo v osrednji Sloveniji. • Radio 1 (prispevek) Avgusta je bil na Radiu 1 večkrat objavljen kratek prispevek, ki je prebivalce Slovenije spodbujal k sodelovanju v raziskavi. • Večer (prispevek) Članek Urške Kerezi, Kako usklajeni so starejši s trgom delovne sile (Kakšne so kompetence odraslih v Sloveniji, bo preverjala raziskava PIAAC) je bil konec meseca julija 2014 objavljen v časopisu Večer. • Radio Sora - Aktualno (prispevek) Dr. Petra Javrh, mag. Estera Možina in Ernesta Koprivc so na Radiu SORA, v oddaji Aktualno, predstavili raziskavo PIAAC, z novinarko Damijano Peternel. V prispevku sta mag. Estera Možina in dr. Petra Javrh pojasnili za kašno raziskavo gre ter kako raziskava poteka v Sloveniji. V nadaljevanju pa je Ernesta Koprivc, ena od 55 pooblaščenih sodelavcev Andragoškega centra Slovenije, ki izvajajo anketiranje, predstavila svojo izkušnjo z izpeljavo raziskave. • Radio Val 202 - Finančna pismenost (prispevek ) Dr. Petra Javrh, se je v prispevku na Radiu Val 202 pogovarjala s Tatjano Pirc o finančni pismenosti odraslih in o rezultatih raziskave PIAAC v Sloveniji. V oddaji o finančni pismenosti oziroma o finančnem opismenjevanju odraslih je vodja projekta PIAAC, dr. Petra Javrh, predstavila povezavo med raziskavo in finančno pismenostjo odraslih. • DELO (prispevek) Članek Mojce Zabukovec, Orodje za načrtovanje primernejšega izobraževanja (Raziskava o kompetencah odraslih) je bil objavljen v časopisu Delo. • RTV - Odmevi (prispevek ) V oddaji Odmevi na RTV Slovenija je bil objavljen prispevek in izjave ministrov o raziskavi PIAAC na novinarski konferenci, 18.3.2014. O dogotku si lahko več preberete na speltni strani Ministrstva za izobraževanje, znanost in šport. • Evropska zveza za izobraževanje odraslih EAEA (prispevek) ija Evropska zveza za izobraževanje odraslih EAEA je ob objavi poročila OECD ogol s podatki za prvih 24 držav, objavila sporočilo za javnost in priporočila d za izobraževanje odraslih. to • Revija LLiNE (prispevek) Me Revija LLiNE je objavila članke o rezultatih raziskave PIAAC in njenih učinkih v izbranih državah Evropske unije »PIAAC is a Weapon for LO Lobbyist«. ČI RO O P Strokovni seminar "Analitični potencial raziskovalnih podatkov LNO PIAAC – podatki in podlage za načrtovaje politik" AV 3. decembra 2014 smo na Ministrstvu za izobraževanje, znanost in šport organizirali strokovni seminar v kontekstu izvajanja raziskave OECD PIAAC – ISKO merjenje kompetenc odraslih, da bi spodbudili načrtovalce, analitike in RAZ izvajalce različnih politik k razumevanju potenciala baze podatkov za Slovenijo, ki jo bomo pridobili z raziskavo. Udeležence smo vabili po vnaprej posredovanih seznamih posameznih ministrstev, nekateri predstavniki so že sodelovali v razširjeni Nacionalni koordinaciji PIAAC, katerega nosilec je bilo Ministrstvo za izobraževanje, znanost in šport. Na znane e-naslove smo posredovali preliminarni program dogodka, nekaj dni pred dogodkom pa smo posredovali končni program, z nekaterimi povezavami na gradiva in vire, ki bi bili v pomoč pri strateškem razmišljanju, ne nujno le za seminar, 121 ampak v širšem kontekstu analize in načrtovanja posameznih politik v državi. Namen seminarja je bil: • seznanitev razvojnih in analitičnih služb različnih politik (ministrstev) v državi za nadaljnje analize in čim boljšo izrabo raziskovalnih podatkov PIAAC, ki lahko pomembno pripomorejo k načrtovanju strategij, razvojnih smernic in ukrepov; • Identifikacija področij nadaljnjih analiz za potrebe različnih politik (ministrstev). Ker je šlo za prvo razširjeno obliko sodelovanja, predstavnikov različnih politik v povezavi z raziskavo PIAAC, v tej obliki, je bil naš namen predvsem spoznavanje in seznanjanje z različnimi zornimi koti, v katere je vpeto področje. Plenarni prispevki 1. in 2. dela seminarja so dosegljivi na spletni strani PIAAC Slovenija (http://piaac.acs.si/strokovni_seminar/). 3. del seminarja je bil namenjen aktivnemu delu vseh udeležencev, z uporabo elementov metode 'Svetovne kavarne' smo oblikovali način sodelovanja v manjših skupinah in omizjih ter z usmerjevalnimi vprašanji v treh krogih pospešili razpravo. Iz razprave v manjših skupinah, praviloma po razdeljenih politikah, so udeleženci oblikovali krajše povzetke in jih v zaključnem plenarnem delu tudi predstavili. Pomembno je zavedanje, da rezultati raziskave PIAAC v nacionalnem kontekstu lahko pomagajo vsem politikam pri nadaljnjem načrtovanju strategij in ukrepov, pomembno je le načrtovanje ustreznih analiz, lahko tudi sekundarnih, z ustreznim povezovanjem obstoječih raziskovalcev (usposobljenih za uporabo baze PIAAC) in strokovnjakov s posameznih politik. Zato je pomembno razširjanje poznavanja možnosti koriščenja baze PIAAC. Dogodka se je v prvem delu udeležila takratna ministrica za izobraževanje, znanost in šport, dr. Stanka Setnikar Cankar, z vsebinskim uvodom o pomenu raziskave PIAAC za področje izobraževanja, izobraževanja odraslih in državno raven, njenim pomenom ter povezanostjo s prioritetami Ministrstva za naslednje obdobje. K uvodu v seminar je o splošnih razvojnih usmeritvah za obdobje 2014- 2020, kjer je opredeljeno tudi področje raziskovalnega in razvojnega dela, ministrica za razvoj, strateške projekte in kohezijo, Alenka Smerkolj, poudarila pomen izobraževanja odraslih ter vlaganj v razvoj tega področja. Dogodka se je udeležilo 53 predstavnikov vabljenih ministrstev in inštitucij, s katerimi posamezni načrtovalci politik sodelujejo pri analizah in strateškem načrtovanju. Vabili smo predstavnike, ki so jih na posameznih ministrstvih ija pristojne strokovne službe prepoznale, da bi bilo njihovo aktivno sodelovanje og na seminarju koristno za nadaljnje načrtovanje politike znotraj dotičnega ol ministrstva in v povezavi z ostalimi v prihodnje. Sodelovali so tudi d predstavniki raziskovalne skupine, ki so vključeni v posamezne dele projekta to in raziskave PIAAC. Udeleženci so bili z Ministrstva za izobraževanje, znanost Me in šport (12), Službe Vlade za Republike Slovenije za razvoj in evropsko LO kohezijsko politiko (3), Urada RS za makroekonomske analize in razvoj (2), ČI Ministrstva za delo, družino, socialne zadeve in enake možnosti (3), Ministrstva za kulturo (3), predstavniki Ministrstva za kmetijstvo, gozdarstvo RO O in prehrano (4), Ministrstva za javno upravo oziroma Upravne akademije (6), P Ministrstva za zdravje (3), Agencije za varnost v prometu (3), Ministrstva za okolje in prostor (1), Ministrstva za notranje zadeve (1), Andragoškega centra LNOA Slovenije (10), Ekonomske fakultete v Ljubljani (2), druga predstavnika V raziskovalne skupine PIAAC (2). Predstavniki posameznih ministrstev so tudi udeleženci drugih inštitucij, ki so jih posamezna ministrstva povabila k ISKO sodelovanju. RAZ Zaključna konferenca "Analitični potencial raziskave PIAAC - prispevek k izobraževanju in razvoju Slovenije" Ob zaključku dvoinpolletnega ESS projekta »Merjenje učinkovitosti sistema izobraževanja in usposabljanja za izboljšanje usposobljenosti izobraževalcev odraslih 2013-2015« smo organizirali zaključno konferenco, »Analitični potencial raziskave PIAAC - prispevek k izobraževanju in razvoju Slovenije«, ki je potekala 26. maja 2015 v Ljubljani, na Ministrstvu za izobraževanje, 122 znanost in šport. V okviru projekta smo med drugim v Sloveniji uspešno izpeljali največjo svetovno raziskavo o kompetencah odraslih 'Program za mednarodno ocenjevanje kompetenc odraslih', ki je potekala pod okriljem OECD v 33 državah po svetu. Raziskavo je v Sloveniji izvajal konzorcij 5 ustanov; Andragoški center Slovenije kot vodilni partner, Statistični urad Slovenije in Univerza v Ljubljani s tremi članicami, Ekonomsko fakulteto, Fakulteto za družbene vede in Filozofsko fakulteto. Z dogodkom smo označili zaključek projekta, katerega cilji so bili: izpeljati obsežno raziskavo na vzorcu 5.000 odraslih v starosti od 16 do 65 let, omogočiti analize in študije zbranih podatkov ter pripraviti podlage za načrtovanje politik. Baza podatkov PIAAC je najbogatejša baza podatkov s področja izobraževanja odraslih, saj je PIAAC največja raziskava s področja merjenja kompetenc odraslih. Kot javna baza podatkov bo zagotovo še v prihodnjih letih omogočala številne mednarodne primerjave, analize in navzkrižne študije. Na zaključni konferenci projekta smo želeli predvsem predstaviti uvide in spoznanja o kompetencah odraslih ter spregovoriti o njihovem pomenu za izobraževanje, trg dela in socialno vključenost. Spodbuditi smo želeli tudi temeljit razmislek o načrtovanju ukrepov za skladnejši razvoj v Sloveniji. S tem namenom smo k plenarnemu predavanju povabili Andreasa Schleicherja, direktorja Direktorata za izobraževanje in spretnosti pri OECD, in ga prosili, da v uvodnem delu konference predstavi, kako so se druge države odzvale na rezultate raziskave PIAAC in zakaj so ti tako pomembni z vidika izobraževanja. Potencial raziskave PIAAC z vidika trga dela, pa je v nadaljevanju predstavil Mark Keese predstavnik Direktorata za zaposlovanje, delo in socialne zadeva pri OECD. Udeležence konference so nagovorili tudi dr. Maja Makovec Brenčič, ministrica za izobraževanje, znanost in šport, Peter Pogačar, državni sekretar Ministrstva za delo, družino, socialne zadeve in enake možnosti, direktorji partnerskih ustanov oziroma rektor Univerze v Ljubljani ter raziskovalci v projektu. V času zaključne konference projekta, je vzporedno potekala novinarska konferenca, na kateri so spregovorili o pomenu sodelovanja v mednarodnih raziskavah s področja izobraževanja. Gradiva in videoposnetke zaključne konference si lahko ogledate na spletni povezavi: http://piaac.acs.si/konferenca/2015/#gradiva. Strokovni dogodki EPUO ija og Namen strokovnih dogodkov EPUO je bilo na lokalni ravni prikazati raznolike ol obstoječe dejavnosti na področju spodbujanja razvoja temeljnih zmožnosti dto odraslih, predstaviti dosežke ter opredeliti priložnosti in izzive. Na ta način smo identificirali primere dobre prakse izboljševanja temeljnih zmožnosti Me odraslih. Na lokalni in nacionalni ravni smo širili informacije o teh LO priložnostih ter pridobivali mnenja vseh deležnikov o tem, kako bi bilo mogoče ČI to prakso še naprej razvijati, implementirati in jo vključevati v procese, ki RO bodo sledili objavi rezultatov o pismenosti odraslih (PIAAC) v Sloveniji. O Nosilci teh dogodkov so bili koordinatorji Parade učenja 2013, 2014 in 2015. P ACS je prvo Parado - tedaj smo jo poimenovali Parada znanja - izpeljal oktobra 2005 ob 10. obletnici TVU. Odlikovale so jo predstavitve izvajalcev TVU na LNOA stojnicah in odru v Parku Zvezda v Ljubljani. Celodnevni pestri prikaz primerov V vseživljenjskega učenja je užival podporo Mestne občine Ljubljana. Tedaj smo zaključili, da želimo Parado ponoviti in doseči še večje število ljudi, še ISKO zlasti izobraževalno prikrajšanih, a trajalo je osem let, da smo dobili novo priložnost. Pokazala se je v okviru projekta Uresničevanje prenovljenega RAZ Evropskega programa za učenje odraslih 2012-2014. Ta nam je omogočilo, da v TVU 2013 in 2014 izpeljemo po sedem Parad učenja (PU) - dnevov učečih se skupnosti, vsakokrat v drugih sedmih krajih po Sloveniji. Festivalski del PU je 'sejem' priložnosti za učenje in ustvarjalnost na javnem mestu (na mestnem trgu, v parku, trgovinskem centru ipd.), udeležencem so namenjene informativne in svetovalne stojnice, predavanja, delavnice, projekcije, nastopi zglednih učečih se, predstavnikov vseh generacij, kulturni nastopi in drugi, za široko javnost privlačni dogodki. 123 Strokovni del PU je potekal v obliki forumov politikov (lokalnih in nacionalnih), izvajalcev izobraževanja odraslih, drugih deležnikov in partnerjev ter učečih se z namenom, da oblikujejo stališča o izzivih in rešitvah v izobraževanju odraslih v lokalnem okolju. Izvedba PU je temeljila na tesnem sodelovanju nacionalnega koordinatorja, ACS, z izbranimi koordinatorji TVU oziroma PU, partnerstvih med izvajalci formalnega in neformalnega izobraževanja in učenja, sodelovanju med različnimi resorji (izobraževanje, kultura, delo, kmetijstvo, ekologija, zdravje...), proaktivnem pristopu k spodbujanju potencialnih učečih se, še posebej izobraževalno prikrajšanih, sinergiji prakse, stroke, politike, medijev in najširše javnosti ter učinkovitih motivacijsko-promocijskih pristopih. TABELA 50: PREDSTAVITVE PROJEKTA PIAAC NA STROKOVNIH DOGODKIH V OKVIRU PARADE UČENJA 2015 Število Datum Organizator Nosilna tema udeležencev 20.4.2015 ŠC Celje Funkcionalna pismenost mlajših odraslih 11 21.4.2015 LU Slovenska Bistrica Beseda ni konj, lahko pa nas daleč ponese – za 30 spodbujanje temeljnih zmožnosti odraslih 6.5.2015 LU Kranj Ključne kompetence pri odraslih 17 7.5.2015 RIC Novo Mesto Mladi med šolo in zaposlitvijo 24 7.5.2015 LU Zasavje Razvitost kompetence branja, pisanja in računanja 25 pri odraslih 12.5.2015 LU Ajdovščina Kompetence in znanja mladih 31 12.5.2015 AZM Maribor »Pritegnem, ko napišem« - odrasli z nižjo stopnjo izobrazbe oziroma slabše usposobljeni, ki so 27 pretežno brezposelni 22.5.2015 Mocis Slovenj Gradec Skupaj za izboljšanje temeljnih zmožnosti odraslih 18 v Koroški regiji 28.5.2015 MK Ljubljana Razvoj zmožnosti, potrebnih za delo 30 29.5.2015 ZIK Črnomelj Na poti do samozaposlitve 77 29.5.2015 LU Murska Sobota Ključne kompetence 21. stoletja v pokrajini ob Muri 22 15.6.2015 LU Nova Gorica Izkoristimo brezposelnost za rast 40 19.6.2015 LU Velenje Izzivi povečanega števila priseljencev v Šaleški 51 in Zgornje Savinjski dolini Več o strokovnih dogodkih EPUO si lahko ogledate na tej povezavi: http://tvu.acs.si/paradaucenja/dogodki_epuo/. ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 124 ija ogoldto Me LO ČI ROO P LNOAV 8 ISKO RAZ VIRI 125 IDB Analyzer. (1.11.2014). Pridobljeno s http://www.iea.nl/data.html. Možina, E., Bider, K., Lenič Š. (ur.). (2015). Raziskava spretnosti odraslih: Vodnik za bralca. Ljubljana: Andragoški center Slovenije. OECD. (2013). Technical Report of the Survey of Adult Skills (PIAAC). Pridobljeno 30. 6. 2015, s http://www.oecd.org/site/piaac/_Technical%20Report_17OCT13.pdf OECD. (2013). The Survey of Adult Skills: Reader's Companion. Pridobljeno 30. 6. 2015, s http://dx.doi.org/10.1787/9789264204027-en. OECD. (2012). Survey Operations Quality Control and Management Manual: PIAAC Round 2 Field Test. OECD Publishing. OECD. (2016).The Survey of Adult Skills: Reader's Companion, second edition (PIAAC). Pridobljeno 30. 12. 2016, s http://www.oecd.org/skills/piaac/The_Survey%20_of_Adult_Skills_Reader's_compa nion_Second_Edition.pdf. Priročnik za anketarje. (2013). Ljubljana: Andragoški center Slovenije (ACS). Interno gradivo ACS. PIAAC. (2014). PIAAC Technical Standards and Guidelines, OECD Programme for the International Assessment of Adult Competencies. Pridobljeno s www.oecd.org/site/piaac/PIAACNPM(2014_06)PIAAC_Technical_Standards_and_Guidel ines.pdf. PIAAC podatki. (2014). Pridobljeno 1. 11. 2014, s http://www.oecd.org/site/piaac/publicdataandanalysis.htm ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 126 ija ogold to Me LO ČI ROO P LNOA 9 V ISKO RAZ PRILOGE 127 PRILOGA 1: VPRAŠANJA O KARIERI ija ogoldto Me LO ČI RO O P LNO AV ISKO RAZ 128 ija ogoldto Me LO ČI ROO P LNOA V ISKO RAZ 129 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 130 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 131 PRILOGA 2: VABILO K SODELOVANJU V RAZISKAVI ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 132 PRILOGA 3: ZLOŽENKA PIAAC ija og oldto Me LO ČI ROO P LNOAV ISKO RAZ 133 PRILOGA 4: OBVESTILO O OBISKU ANKETARJA PRILOGA 5: POOBLASTILO O ANKETIRANJU ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 134 PRILOGA 6: SOGLASJE STARŠEV ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 135 PRILOGA 7: OBRAZEC ZA IZPELJAVO ANKETE ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 136 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 137 PRILOGA 8: PIAAC: OBRAZEC ZA IZPELJAVO ANKETE - EVIDENCA STIKOV ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 138 PRILOGA 9: PIAAC: OBRAZEC ZA POROČANJE O NEUSPELI ANKETI ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 139 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 140 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 141 PRILOGA 10: OBRAZEC SPREMLJANJE ANKETARJEV NA TERENU ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 142 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 143 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 144 PRILOGA 11: PIAAC OBVESTILO ZA ANKETARJE ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 145 PRILOGA 12: KONTROLNI VPRAŠALNIK ZA RAZISKAVO PIAAC ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 146 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 147 PRILOGA 13: VPRAŠALNIK O IZVEDBI RAZISKAVE PIAAC ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 148 PRILOGA 14: VPRAŠALNIK O UGOTAVLJANJU VELJAVNOSTI ANKETE S STRANI NADZORNIKA ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 149 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 150 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 151 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 152 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 153 PRILOGA 15: KARTICA Z NAVODILI ZA SNEMANJE INTERVJUJA ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 154 PRILOGA 16: OBRAZEC ZA POSLUŠANJE POSNETIH INTERVJUJEV ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 155 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 156 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 157 PRILOGA 17: ANALIZA - GRAFI ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 158 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 159 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 160 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 161 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 162 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 163 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 164 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 165 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 166 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 167 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 168 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 169 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 170 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 171 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 172 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 173 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 174 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 175 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 176 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 177 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 178 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 179 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 180 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 181 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 182 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 183 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 184 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 185 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 186 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 187 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 188 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 189 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 190 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 191 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 192 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 193 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 194 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 195 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 196 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 197 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 198 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 199 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 200 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 201 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 202 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 203 PRILOGA 18: DOPIS INTERVJUVANCEM ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 204 PRILOGA 19: DOPIS INTERVJUVANCEM ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 205 PRILOGA 20: OBRAZEC ZVEZEK NALOG BRALNE PISMENOSTI ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 206 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 207 ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 208 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 209 ija ogoldto Me LO ČI RO O P LNOA V ISKO RAZ 210 PRILOGA 21: OCENJEVALNI OBRAZEC – 2. ZVEZEK NALOG ija ogoldto Me LO ČI ROO P LNOA V ISKO RAZ 211 PRILOGA 22: OCENJEVALNI OBRAZEC - OSNOVNI ZVEZEK ija ogoldto Me LO ČI RO O P LNOAV ISKO RAZ 212 PRILOGA 23: OCENJEVALNI OBRAZEC - 1. ZVEZEK NALOG ija ogoldto Me LO ČI ROO P LNO AV ISKO RAZ 213 PRILOGA 24: SEZNAM SPREMENLJIVK MEDNARODNE DATOTEKE Z ANKETNIMI PODATKI B_Q01a Education - Highest qualification - Level B_Q01a3 Education - Highest qualification - Level of foreign qualification B_Q01b Education - Highest qualification - Area of study B_Q02a Education - Current qualification B_Q02b Education - Current qualification - Level B_Q02c Education - Current qualification - Area of study B_Q03a Education - Uncompleted qualification B_Q03b Education - Uncompleted qualification - Level B_Q04a Education - Formal qualification B_Q05a Education - Formal qualification - Level B_Q05b Education - Formal qualification - Area of study B_Q05c Education - Formal qualification - Reason job related B_Q10a Education - Formal qualification - Employed B_Q10b Education - Formal qualification - Employed - Working hours B_Q10c Education - Formal qualification - Employed - Useful for job B_Q11 Education - Formal qualification - Grant from employer B_Q12a Activities - Last year - Open or distance education B_Q12c Activities - Last year - On the job training B_Q12e Activities - Last year - Seminars or workshops B_Q12g Activities - Last year - Private lessons B_D12h Activities - Last year - Number of learning activities (DERIVED BY CAPI) B_Q13 Activities - Last year - Activity specified B_Q14a Activities - Last year - Job related B_Q14b Activities - Last year - Reason for participating B_Q15a Activities - Last year - Employed ija og B_Q15b Activities - Last year - During working hours old B_Q15c Activities - Last year - Useful for job to B_Q16 Activities - Last year - Grant from employer Me B_Q17 Activities - Last year - Time spend - Unit LO B_Q20b Activities - Last year - Time spend for activities - Proportion of job-related hours ČI B_Q26a Activities - Last year - Wanted but didn't start RO O B_Q26b Activities - Last year - Wanted but didn't start - Reason P C_Q01a Current status/work history - Last week - Paid work LNOA C_Q01b Current status/work history - Last week - Away from job but will return V C_Q01c Current status/work history - Last week - Unpaid work for own business ISKO C_Q02a Current status/work history - Last month - Looking for paid work C_Q02b Current status/work history - Last month - Waiting to start job RAZ C_Q02c Current status/work history - Last month - Waiting to start job - Next 3 months C_Q03_01 Current status/work history - Last month - Reason not looking for work - Waiting for result of application C_Q03_02 Current status/work history - Last month - Reason not looking for work - Being a student C_Q03_03 Current status/work history - Last month - Reason not looking for work - Looking after the family C_Q03_04 Current status/work history - Last month - Reason not looking for work - Temp sick C_Q03_05 Current status/work history - Last month - Reason not looking for work - Long-term illness 214 C_Q03_06 Current status/work history - Last month - Reason not looking for work - Nothing available C_Q03_07 Current status/work history - Last month - Reason not looking for work - Did not get around C_Q03_08 Current status/work history - Last month - Reason not looking for work - No need C_Q03_09 Current status/work history - Last month - Reason not looking for work - Retired C_Q03_10 Current status/work history - Last month - Reason not looking for work - Other C_Q04a Current status/work history - Last month - Ways of looking for work - Contact public employment C_Q04b Current status/work history - Last month - Ways of looking for work - Contact private agency C_Q04c Current status/work history - Last month - Ways of looking for work - Apply to employers C_Q04d Current status/work history - Last month - Ways of looking for work - Ask family/friends C_Q04e Current status/work history - Last month - Ways of looking for work - Place/answer advertisements C_Q04f Current status/work history - Last month - Ways of looking for work - Study advertisements C_Q04g Current status/work history - Last month - Ways of looking for work - Recruitment test C_Q04h Current status/work history - Last month - Ways of looking for work - Premises C_Q04i Current status/work history - Last month - Ways of looking for work - Licenses/financial resources C_Q04j Current status/work history - Last month - Ways of looking for work - Other C_D04 Current status/work history - Last month - Active steps to find job (DERIVED BY CAPI) C_Q05 Current status/work history - Ability to start job within 2 weeks C_D05 Current status/work history - Employment status (DERIVED BY CAPI) C_Q06 Current status/work history - Last week - Number of jobs C_D06 Current status/work history - Current - Paid job or family business (DERIVED BY CAPI) C_Q07 Current status/work history - Subjective status C_Q08a Current status/work history - Ever paid work C_Q08b Current status/work history - Last year - Paid work C_D08c Current status/work history - Left work in past 5 years (DERIVED BY CAPI) C_D09 Current status/work history - Work experience (DERIVED BY CAPI) D_Q03 Current work - Economic sector D_Q04 Current work - Employee or self-employed D_Q05a3 Current work - Start of work for employer - Month D_Q05b3 Current work - Start of work for business - Month D_Q06a Current work - Amount of people working for employer D_Q06b Current work - Amount of people working for employer increased D_Q06c Current work - Part of a larger organisation D_Q07a Current work - Employees working for you ija D_Q07b Current work - Employees working for you - Count ogol D_Q08a Current work - Managing other employees dto D_Q08b Current work - Managing other employees - Count Me D_Q09 Current work - Type of contract LO D_Q11a Current work - Work flexibility - Sequence of tasks ČI D_Q11b Current work - Work flexibility - How to do the work ROO D_Q11c Current work - Work flexibility - Speed of work P D_Q11d Current work - Work flexibility - Working hours LNO D_Q12a Current work - Requirements - Education level AV D_Q12b Current work - Requirements - To do the job satisfactorily D_Q12c Current work - Requirements - Related work experience ISKO D_Q13a Current work - Learning - Learning from co-workers/supervisors RAZ D_Q13b Current work - Learning - Learning-by-doing D_Q13c Current work - Learning - Keeping up to date D_Q14 Current work - Job satisfaction D_Q16a Current work - Earnings - Salary interval D_Q16c Current work - Earnings - Gross pay in broad categories D_Q16d1 Current work - Earnings - Broad categories - Gross pay per hour 215 D_Q16d2 Current work - Earnings - Broad categories - Gross pay per day D_Q16d3 Current work - Earnings - Broad categories - Gross pay per week D_Q16d4 Current work - Earnings - Broad categories - Gross pay per 2 weeks D_Q16d5 Current work - Earnings - Broad categories - Gross pay per month D_Q16d6 Current work - Earnings - Broad categories - Gross pay per year D_Q17a Current work - Earnings - Additional payments D_Q17c Current work - Earnings - Additional payments in broad categories D_Q17d Current work - Earnings - Additional payments - Broad - Last year D_Q18b Current work - Earnings - Total earnings broad categories D_Q18c1 Current work - Earnings - Broad categories - Total earnings last month D_Q18c2 Current work - Earnings - Broad categories - Total earnings last year E_Q03 Last job - Economic sector E_Q04 Last job - Employee or self-employed E_Q06 Last job - Amount of people working for employer E_Q07a Last job - Employees working for you E_Q07b Last job - Employees working for you - Count E_Q08 Last job - Type of contract E_Q10 Last job - Reason for end of job F_Q01b Skill use work - Time cooperating with co-workers F_Q02a Skill use work - How often - Sharing work-related info F_Q02b Skill use work - How often - Teaching people F_Q02c Skill use work - How often - Presentations F_Q02d Skill use work - How often - Selling F_Q02e Skill use work - How often - Advising people F_Q03a Skill use work - How often - Planning own activities F_Q03b Skill use work - How often - Planning others activities F_Q03c Skill use work - How often - Organising own time F_Q04a Skill use work - How often - Influencing people F_Q04b Skill use work - How often - Negotiating with people F_Q05a Skill use work - Problem solving - Simple problems ija F_Q05b Skill use work - Problem solving - Complex problems og F_Q06b Skill use work - How often - Working physically for long old F_Q06c Skill use work - How often - Using hands or fingers to F_Q07a Skill use work - Not challenged enough Me F_Q07b Skill use work - Need more training LO ČI G_Q01a Skill use work - Literacy - Read directions or instructions RO G_Q01b Skill use work - Literacy - Read letters memos or mails O P G_Q01c Skill use work - Literacy - Read newspapers or magazines G_Q01d Skill use work - Literacy - Read professional journals or publications LNOA G_Q01e Skill use work - Literacy - Read books V G_Q01f Skill use work - Literacy - Read manuals or reference materials ISKO G_Q01g Skill use work - Literacy - Read financial statements RAZ G_Q01h Skill use work - Literacy - Read diagrams maps or schematics G_Q02a Skill use work - Literacy - Write letters memos or mails G_Q02b Skill use work - Literacy - Write articles G_Q02c Skill use work - Literacy - Write reports G_Q02d Skill use work - Literacy - Fill in forms G_Q03b Skill use work - Numeracy - How often - Calculating costs or budgets G_Q03c Skill use work - Numeracy - How often - Use or calculate fractions or percentages 216 G_Q03d Skill use work - Numeracy - How often - Use a calculator G_Q03f Skill use work - Numeracy - How often - Prepare charts graphs or tables G_Q03g Skill use work - Numeracy - How often - Use simple algebra or formulas G_Q03h Skill use work - Numeracy - How often - Use advanced math or statistics G_Q04 Skill use work - ICT - Experience with computer in job G_Q05a Skill use work - ICT - Internet - How often - For mail G_Q05c Skill use work - ICT - Internet - How often - Work related info G_Q05d Skill use work - ICT - Internet - How often - Conduct transactions G_Q05e Skill use work - ICT - Computer - How often - Spreadsheets G_Q05f Skill use work - ICT - Computer - How often - Word G_Q05g Skill use work - ICT - Computer - How often - Programming language G_Q05h Skill use work - ICT - Computer - How often - Real-time discussions G_Q06 Skill use work - ICT - Computer - Level of computer use G_Q07 Skill use work - ICT - Computer - Got the skills needed G_Q08 Skill use work - ICT - Computer - Lack of skills affect career H_Q01a Skill use everyday life - Literacy - Read directions or instructions H_Q01b Skill use everyday life - Literacy - Read letters memos or mails H_Q01c Skill use everyday life - Literacy - Read newspapers or magazines H_Q01d Skill use everyday life - Literacy - Read professional journals or publications H_Q01e Skill use everyday life - Literacy - Read books H_Q01f Skill use everyday life - Literacy - Read manuals or reference materials H_Q01g Skill use everyday life - Literacy - Read financial statements H_Q01h Skill use everyday life - Literacy - Read diagrams maps or schematics H_Q02a Skill use everyday life - Literacy - Write letters memos or mails H_Q02b Skill use everyday life - Literacy - Write articles H_Q02c Skill use everyday life - Literacy - Write reports H_Q02d Skill use everyday life - Literacy - Fill in forms H_Q03b Skill use everyday life - Numeracy - How often - Calculating costs or budgets H_Q03c Skill use everyday life - Numeracy - How often - Use or calculate fractions or percentages H_Q03d Skill use everyday life - Numeracy - How often - Use a calculator H_Q03f Skill use everyday life - Numeracy - How often - Prepare charts graphs or tables H_Q03g Skill use everyday life - Numeracy - How often - Use simple algebra or formulas H_Q03h Skill use everyday life - Numeracy - How often - Use advanced math or statistics ija H_Q04a Skill use everyday life - ICT - Ever used computer ogol H_Q04b Skill use everyday life - ICT - Experience with computer everyday life dto H_Q05a Skill use everyday life - ICT - Internet - How often - For mail Me H_Q05c Skill use everyday life - ICT - Internet - How often - In order to better understand various issues LO H_Q05d Skill use everyday life - ICT - Internet - How often - Conduct transactions ČI H_Q05e Skill use everyday life - ICT - Computer - How often - Spreadsheets ROO H_Q05f Skill use everyday life - ICT - Computer - How often - Word P H_Q05g Skill use everyday life - ICT - Computer - How often - Programming language LNOA H_Q05h Skill use everyday life - ICT - Computer - How often - Real-time discussions V I_Q04b About yourself - Learning strategies - Relate new ideas into real life ISKO I_Q04d About yourself - Learning strategies - Like learning new things I_Q04h About yourself - Learning strategies - Attribute something new RAZ I_Q04j About yourself - Learning strategies - Get to the bottom of difficult things I_Q04l About yourself - Learning strategies - Figure out how different ideas fit together I_Q04m About yourself - Learning strategies - Looking for additional info I_Q05f About yourself - Cultural engagement - Voluntary work for non-profit organisations I_Q06a About yourself - Political efficacy - No influence on the government 217 I_Q07a About yourself - Social trust - Trust only few people I_Q07b About yourself - Social trust - Other people take advantage of you I_Q08 About yourself - Health - State J_Q02a Background - Living with spouse or partner J_Q02c Background - Work situation of spouse or partner J_Q03a Background - Children J_Q04a Background - Born in country J_N05a2 Background - More than one language mentioned J_Q06a Background - Mother/female guardian - Whether born in country J_Q06b Background - Mother/female guardian - Highest level of education J_Q07a Background - Father/male guardian - Whether born in #counrtyname J_Q07b Background - Father/male guardian - Highest level of education J_Q08 Background - Number of books at home COMPUTEREXPERIENC Respondent experience with computer (DERIVED BY CAPI) E NATIVESPEAKER Respondent is a native speaker (DERIVED BY CAPI) EDLEVEL3 Educational level of the respondent (DERIVED BY CAPI) MONTHLYINCPR Monthly income percentile rank category (derived) YEARLYINCPR Yearly income percentile rank category (derived) PBROUTE Paper-based routing code (derived) VET Respondent's highest level of education obtained is vocationally oriented (derived, ISCED3 and 4 only) CTRYQUAL Country where highest qualification obtained (9 regions - derived) BIRTHRGN Country of birth (9 regions - derived) FIRLGRGN Source region of first language learned at home in childhood and still understand (9 regions - derived) SECLGRGN Source region of second language learned at home in childhood and still understand (9 regions - derived) HOMLGRGN Source region of language spoken most often at home (9 regions - derived) AGEG10LFS Age in 10 year bands (derived) AGEG5LFS Age groups in 5-year intervals based on LFS groupings (derived) GENDER_R Person resolved gender from BQ and QC check (derived) ISIC1C_N Industry classification of respondent's job at 1-digit level(ISIC rev 4), last job (derived) ISCO1C_N Occupational classification of respondent's job at 1-digit level (ISCO 2008), current job ija (derived) og LITSTATUS Literacy - PV Status old NUMSTATUS Numeracy - PV Status to PSLSTATUS Problem Solving - PV Status Me PARED Highest of mother or father's level of education (derived) LO NATIVELANG Test language same as native language (derived) ČI RO BORNLANG Interactions between place of birth and language status (derived) O NATBILANG Has learned as a child and still understands at least two languages including test language P (derived) FORBILANG Has learned as a child and still understands at least two languages not including test language LNOA (derived) V HOMLANG Test language same as language spoken most often at home (derived) CTRYRGN Country region (9 regions) ISKO IMPAR Parents' immigration status (derived) RAZ IMGEN First and second generation immigrants (derived) IMYRCAT Years in country (2-category - derived) FORBORNLANG Interactions between foreign-born and language status (2 categories - derived) EDCAT8 Highest level of formal education obtained (8 categories - derived) EDCAT7 Highest level of formal education obtained (7 categories - derived) EDCAT6 Highest level of formal education obtained (6 categories - derived) LEAVER1624 Youth aged 16 to 24 who have left education without completing ISCED 3 or higher (derived) 218 FE12 Participated in formal education in 12 months preceding survey (derived) AETPOP Adult education/training population (AET) - excludes youths 16-24 in initial cycle of studies (derived) FAET12 Participated in formal AET in 12 months preceding survey (see AETPOP - derived) FAET12JR Participated in formal AET for job-related reasons in 12 months preceding survey (see AETPOP - derived) FAET12NJR Participated in formal AET for non job-related reasons in 12 months preceding survey (see AETPOP - derived) NFE12 Participated in non-formal education in 12 months preceding survey (derived) NFE12JR Participated in non-formal education for job-related reasons in 12 months preceding survey (derived) NFE12NJR Participated in non-formal education for non job-related reasons in 12 months preceding survey (derived) FNFAET12 Participated in formal or non-formal AET in 12 months preceding survey (see AETPOP - derived) FNFE12JR Participated in formal or non-formal education for job-related reasons in 12 months preceding the survey (derived) FNFAET12JR Participated in formal or non-formal AET for job-related reasons in 12 months preceding survey (see AETPOP - derived) FNFAET12NJR Participated in formal or non-formal AET for non job-related reasons in 12 mon. preceding survey (see AETPOP - derived) EDWORK Interaction between adults' work and education status (derived) NEET Adults not employed at time of survey and not in education or training in 12 months preceding the survey (derived) NOPAIDWORKEVER Adults who never had paid work including self-employment in past (derived) PAIDWORK12 Adults who have had paid work during the 12 months preceding the survey (derived) PAIDWORK5 Adults who have had paid work in last 5 years (derived) ISCOSKIL4 Occupational classification of respondent's job (4 skill based categories), last or current (derived) EARNHRDCL Hourly earnings excluding bonuses for wage and salary earners, in deciles (derived) EARNHRBONUSDCL Hourly earnings including bonuses for wage and salary earners, in deciles (derived) EARNMTHALLDCL Monthly earnings including bonuses for wage and salary earners and self-employed, in deciles (derived) LEARNATWORK_WLE_C Index of learning at work, categorised WLE (derived) A READYTOLEARN_WLE_ Index of readiness to learn, categorised WLE (derived) CA ICTHOME_WLE_CA Index of use of ICT skills at home, categorised WLE (derived) ICTWORK_WLE_CA Index of use of ICT skills at work, categorised WLE (derived) INFLUENCE_WLE_CA Index of use of influencing skills at work, categorised WLE (derived) NUMHOME_WLE_CA Index of use of numeracy skills at home (basic and advanced), categorised WLE (derived) NUMWORK_WLE_CA Index of use of numeracy skills at work (basic and advanced), categorised WLE (derived) ija og PLANNING_WLE_CA Index of use of planning skills at work, categorised WLE (derived) old READHOME_WLE_CA Index of use of reading skills at home (prose and document texts), categorised WLE (derived) to READWORK_WLE_CA Index of use of reading skills at work (prose and document texts), categorised WLE (derived) Me TASKDISC_WLE_CA Index of use of task discretion at work, categorised WLE (derived) LO WRITHOME_WLE_CA Index of use of writing skills at home, categorised WLE (derived) ČI WRITWORK_WLE_CA Index of use of writing skills at work, categorised WLE (derived) ROO B_Q01a3_C Education - Highest Qualification - Level of foreign qualification (collapsed, 14 categories) P B_Q01c1_C Education - Highest qualification - Age of finish (categorised, 6 categories) LNOA B_D01d_C Education - Time elapsed since finished highest qualification (categorised, 5 categories) V B_Q02b_C Education - Current Qualification (collapsed, 10 categories) ISKO B_Q03b_C Education - Uncompleted qualification - Level (collapsed, 10 categories) B_Q03c1_C Education - Uncompleted qualification - Age of dropout (categorised, 6 categories) RAZ B_D03d_C Education - Derived Months elapsed since leaving education without completing program (categorized, 3 categories) C_Q08c1_C Current status/work history - Age when stopped working in last job (categorised, 10 categories) D_Q05a1_C Current work - Start of work for employer - Age (categorised, 9 categories) D_Q05b1_C Current work - Start of work for business - Age (categorised, 9 categories) D_Q07b_C Current work - Employees working for you - Count (collapsed, 2 categories) 219 E_Q05a1_C Last job - Start of work for employer - Age (categorised, 9 categories) E_Q05b1_C Last job - Start of work for business - Age (categorised, 9 categories) J_Q03c_C Background - Age of the child (categorised, 4 categories) J_Q03d1_C Background - Age of the youngest child (categorised, 4 categories) J_Q03d2_C Background - Age of the oldest child (categorised, 4 categories) J_Q04c1_C Background - Age of immigration (categorised, 9 categories) ISCED_HF_C Level of Highest Qualification (collapsed, 14 categories) IMYRS_C Years in country (categorised, 4 categories) AGEG10LFS_T Age in 10 year bands (Trend-IALS/ALL) A_N01_T Gender (Trend-IALS/ALL) B_Q01a_T Highest level of schooling (Trend-IALS/ALL) B_Q02a_T1 Education or training in last 12 months (Trend-IALS/ALL) B_Q02a_T2 Courses toward certificate, diploma, or degree in program of studies in last 12 months (Trend- IALS/ALL) B_Q05c_T Main reason for program of studies (Trend-IALS/ALL) B_Q12a_T Courses outside of program of studies in last 12 months (Trend-IALS/ALL) B_Q26a_T Training or education for career or job wanted but not taken in last 12 months (Trend-IALS/ALL) C_D09_T Worked at job or business in last 12 months (any number of hours) (Trend-IALS/ALL) C_Q07_T Current work situation (Trend-IALS/ALL) D_Q04_T Status at this job or business - six levels (Trend-IALS/ALL) D_Q04_T1 Status at this job or business - four levels (Trend-IALS/ALL) D_Q10_T1 Hours per week at this job or business - range of hours (Trend-IALS/ALL) D_Q16b_T Wage or salary [weekly/hourly] before taxes and deductions (Trend-IALS/ALL) D_Q18a_T Annual net income before taxes and deductions (Trend-IALS/ALL) G_Q01a_T As part of job, read or use directions or instructions (Trend-IALS/ALL) G_Q01a_T1 As part of job, read or use directions or instructions - levels collapsed (Trend-IALS/ALL) G_Q01b_T As part of job, read or use letters, memos, e-mails (Trend-IALS/ALL) G_Q01b_T1 As part of job, read or use letters, memos, e-mails - levels collapsed (Trend-IALS/ALL) G_Q01c_T As part of job, read or use reports, articles, magazines, journals (Trend-IALS/ALL) G_Q01c_T1 As part of job, read or use reports, articles, magazines, journals - levels collapsed (Trend- IALS/ALL) G_Q01f_T As part of job, read or use manuals, reference books, catalogues (Trend-IALS/ALL) ija og G_Q01f_T1 As part of job, read or use manuals, reference books, catalogues - levels collapsed (Trend-ol IALS/ALL) d G_Q01g_T As part of job, read or use bills, invoices, spreadsheets, budget tables (Trend-IALS/ALL) to G_Q01g_T1 As part of job, read or use bills, invoices, spreadsheets, budget tables - levels collapsed Me (Trend-IALS/ALL) LO G_Q01h_T As part of job, read or use diagrams or schematics (Trend-IALS/ALL) ČI G_Q01h_T1 As part of job, read or use diagrams or schematics - levels collapsed (Trend-IALS/ALL) RO O G_Q04_T Ever used computer (Trend-IALS/ALL) P H_Q01b_T In daily life, read or use letters, notes, e-mails (Trend-IALS/ALL) LNO H_Q01c_T In daily life, read or use newspapers, magazines, articles (Trend-IALS/ALL) AV H_Q01e_T In daily life, read or use books (fiction or nonfiction; not for job or school) (Trend-IALS/ALL) I_Q08_T General health (Trend-IALS/ALL) ISKO J_Q01_T1 Number living in household (from 1 to 7) (Trend-IALS/ALL) RAZ J_Q04a_T Born in country (Trend-IALS/ALL) J_Q04c2_T1 Year of immigration to country - range of years (Trend-IALS/ALL) J_Q06a_T Mother or female guardian born in country (Trend-IALS/ALL) J_Q06b_T Highest level of education - mother or female guardian (Trend-IALS/ALL) J_Q07a_T Father or male guardian born in country (Trend-IALS/ALL) J_Q07b_T Highest level of education - father or male guardian (Trend-IALS/ALL) 220 ija ogoldto Me LO ČI ROO P LNOAV ISKO RAZ 221