4 UMAR IB revija 1/2007 Članki UDK: 37.014 dr. Milena Bevc* Ključne mednarodne zbirke/sistemi kazalnikov izobraževanja s poudarkom na formalnem izobraževanju Povzetek Z merjenjem razvoja formalnega izobraževanja, drugih vrst prenosa znanja (neformalno izobraževanje, aformalno učenje in podobno) ter drugih procesov v ciklusu znanja (poleg prenosa sta to še ustvarjanje in uporaba znanja) se v zadnjem obdobju pospešeno ukvarjajo številne institucije in posamezniki po vsem svetu. Za verodostojno meddržavno primerjavo neke države z drugimi na kateri od navedenih razsežnosti ciklusa znanja je treba oblikovati ustrezno nacionalno zbirko ali sistem kazalnikov. Eden izmed številnih korakov pri izdelavi take zbirke/sistema je pregled in kritična analiza ključnih mednarodnih publikacij s seznami kazalnikov. V prispevku, ki temelji na večletnem raziskovalnem projektu, je najprej navedena metodologija, nato razvoj mednarodnih zbirk kazalnikov in prikaz ključnih med njimi. Zaključujemo z glavnimi sklepnimi ugotovitvami. Ključne besede: kazalniki, nacionalni sistemi kazalnikov, formalno izobraževanje, prenos znanja, Slovenija ........................................................................................................................................................................................................................................................................................ Summary The measurement of development of formal education, other types of transfer of knowledge (non-formal education, informal learning) and other processes in knowledge cycle (besides transfer of knowledge also creation and use of knowledge) has recently been the research topic of many institutions and experts world- wide. For the comparison of particular dimensions of the knowledge cycle in one country with others a relevant national system of indicators has to be developed. One of the many steps in developing such a list/system of indicators is an overview and critical analysis of the main international publications with such lists/systems of indicators. In the paper, which is based on a research project, we first explain the methodological approach, continue by discussing the development of international sets of indicators and present the most relevant ones among them. Finally the conclusions of the analysis are presented. Key words: indicators, national systems of indicators, formal education, transfer of knowledge, Slovenia ........................................................................................................................................................................................................................................................................................ JEL: I21, I28, I29 1. Uvod Nagel razvoj v družbo znanja je cilj večine držav in je v Evropi tesno povezan z lizbonsko strategijo. Z merjenjem tega razvoja, in sicer posameznih »procesov znanja« v celotnem »ciklusu« znanja (ustvarjanje, prenos, uporaba znanja; Svetlik, Pavlin, 2004) in posameznih vrst prenosa znanja (formalno izobraževanje, neformalno izobraževanje, aformalno učenje, druge vrste prenosa; Bevc in dr., 2005), se v zadnjem obdobju pospešeno ukvarjajo številne institucije in posamezniki. Za verodostojno meddržavno primerjavo razvoja neke države z drugimi na kateri od navedenih * Inštitut za ekonomska raziskovanja, Ljubljana Članki IB revija 1/2007 UMAR 5 razsežnosti ciklusa znanja (treh procesov znanja, posameznih vrst prenosa znanja) je treba oblikovati ustrezno nacionalno zbirko ali sistem kazalnikov. Namen prispevka je prikazati ključne mednarodne zbirke ali sisteme kazalnikov za formalno izobraževanje, ki smo jih proučili pred oblikovanjem take zbirke za Slovenijo. Zajemamo torej (le) del zelo obsežne problematike, s katero se srečujemo pri izdelavi nacionalne zbirke kazalnikov. Prispevek temelji na rezultatih treh študij o kazalnikih na znanju temelječe družbe (Bevc in dr., 2004, 2005, 2006), izdelanih v okviru projekta Dejavniki in indikatorji na znanju temelječe slovenske družbe (CRP Konkurenčnost Slovenije 2001–2006), zaradi majhnega časovnega odmika izdelave teh študij pa tudi na nekaterih dodatnih virih. Navedeni projekt sta izvajali skupaj dve ustanovi – Inštitut za ekonomska raziskovanja v Ljubljani in Inštitut za družbene vede pri Fakulteti za družbene vede (natančneje Center za proučevanje organizacij in človeških virov), financirala pa sta ga Ministrstvo za šolstvo in šport ter Javna agencija za raziskovalno dejavnost. Prispevek je namenjen predvsem tistim, ki jim je problematika kazalnikov v izobraževanju manj znana, lahko pa je koristen pripomoček tudi strokovnjakom na tem področju, saj podobnega celovitega pregleda mednarodnih sistemov kazalnikov izobraževanja v literaturi (tuji, domači) nismo zasledili. Zainteresirani bralec se lahko o drugih sicer zelo pomembnih stopnjah razvoja nacionalne zbirke ali sistema kazalnikov izobraževanja podrobneje seznani v treh študijah, izdelanih v okviru navedenega projekta (prav tam). Hkrati moramo poudariti, da je prikaz v prispevku obravnavanega razvoja le skrčena enačica celovitega prikaza, zajetega v navedenih študijah v okviru projekta. Najprej na kratko predstavimo metodologijo, sledi širši pregled (razvoj) mednarodnih zbirk/sistemov kazalnikov in podatkovnih podlag zanje ter prikaz posameznih proučenih zbirk/sistemov oziroma natančneje publikacij, v katerih se pojavljajo. Prispevek končujemo z glavnimi sklepnimi ugotovitvami. 2. Metodologija Razvijati nacionalno zbirko kazalnikov za katero koli vrsto prenosa znanja ali za celoten posamični proces v ciklusu znanja (ustvarjanje, prenos, uporaba) je zahtevna naloga. To velja tudi, če se osredotočimo (le) na formalno izobraževanje, ki ima z vidika merjenja dolgo tradicijo – veliko daljšo kakor merjenje drugih vrst prenosa znanja. Srečujemo se namreč na eni strani s poplavo kazalnikov, ki jih je treba temeljito proučiti in kritično ovrednotiti, ter na drugi strani z vrsto premalo znanih metodoloških in drugih vprašanj o njih, ki jih je treba pri izboru kazalnikov upoštevati (o tem je v okviru navedenega projekta obsežno pisala Bole - Kosmač; glej Bole - Kosmač, 2005), obenem pa nimamo soglasja o najboljšem teoretičnem okviru za zbirko kazalnikov, glede najboljšega modela za razvrščanje kazalnikov v skupine in najboljšega modela za opis kazalnikov. Sam proces razvoja nacionalnega sistema kazalnikov smo celostno prikazali drugje (Bevc, 2005, 2006). Analize mednarodnih zbirk ali sistemov kazalnikov smo se lotili tako, da smo pogledali najprej osnovne značilnosti vsakega od njih, jih med sabo primerjali, iz nekaterih pa smo na nadaljnjih razvojnih stopnjah nacionalnega sistema (ki jih ta prispevek ne zajema) tudi izbrali ustrezne kazalnike, jih razvrstili v skupine na podlagi lastne enačice proizvodnega modela, jih opisali po posebnem modelu ter uporabili za meddržavno analizo stanja in trendov v Sloveniji. O prvem izboru/zbirki kazalnikov smo razpravljali tudi s strokovnjaki in drugimi zainteresiranimi na posebni delavnici maja leta 2005. Poudariti moramo razliko med listo ali zbirko kazalnikov in sistemom kazalnikov. Slednji predstavlja po Bole-Kosmačevi (Bole - Kosmač, 2005, str. 5) skupino kazalnikov, temelječo na nekem teoretičnem modelu področja, ki ga z njimi merimo; gre za najrazvitejšo obliko zbirke kazalnikov. Nasprotno pa se kazalniki pri zbirki ali listi selekcionirajo po manj sistematični poti. 3. Celostni pregled razvoja mednarodnih zbirk/sistemov kazalnikov in podatkovnih virov zanje Do 90. let je bila ključna publikacija s standardnimi mednarodnimi kazalniki in podatki s področja izobraževanja letopis Unesca (Unesco Statistical Yearbook, izhajal je več desetletij in zajemal podatke za več kakor 200 držav). V začetku 90. let je začel serijo kazalnikov s tega področja razvijati OECD (Education at a Glance – OECD Indicators; v nadaljevanju tudi krajše EAG). Večina drugih mednarodnih statističnih virov o izobraževanju je povzemala kazalnike ali podatke po omenjenih dveh virih. Med njimi je treba opozoriti zlasti na publikacijo Združenih narodov Poročilo o človekovem razvoju (Human Development Report). Naslednji pomembni vir podatkov od leta 1993 je specializirana publikacija Unesca o UMAR IB revija 1/2007 Članki izobraževanju Svetovno poročilo o izobraževanju (World Education Report), ki prinaša izpopolnjene kazalnike o izobraževanju za precej več držav kakor publikacija OECD; izhaja od leta 1990. V tekočem desetletju je bila preimenovana v Svetovni kazalniki izobraževanja (World Education Indicators – WEI); pri njej oziroma pri projektu sodelujejo Unesco, OECD in Eurostat, financira pa jo/ga tudi Svetovna banka. Poleg prej navedenih je treba omeniti še: – publikacijo OECD OECD Education Statistics, ki je prvič izšla v letu 1995 in zajema časovne serije podatkov za omenjeno skupino kazalnikov OECD o izobraževanju (doslej je izšla nekajkrat), – publikacijo Statističnega urada Evropske unije (Eurostat) Education across Europe, – publikacijo Evropske unije (skupni izdelek več institucij, med njimi Eurostata in nacionalnih enot Eurydice) Key Data on Education in Europe (prva izdaja leta 1995), – publikacijo Unesca Global Education Digest, ki jo je v letu 2003 začel izdajati Statistični urad Unesca. Zbirko kazalnikov v publikaciji OECD o kazalnikih izobraževanja (EAG) razvijajo strokovnjaki od konca 80. let v okviru posebnega mednarodnega projekta Mednarodni kazalniki izobraževalnih sistemov (International Indicators of Education Systems – INES) v sodelovanju s Centrom za raziskave in inovacije v izobraževanju (Centre for Educational Research and Innovation) pri OECD. Ta skupina kazalnikov (podrobneje jo predstavljamo v poglavju 4) je jedro prihodnjega razvoja merjenja raznih razsežnosti izobraževanja. Glavni namen razvijanja te skupine kazalnikov je zagotoviti boljšo primerljivost informacij o izobraževanju med državami in odpraviti vrsto pomanjkljivosti Unescove serije kazalnikov. Kazalniki OECD naj bi postali tudi standardni kazalniki Unesca, torej naj bi omogočali boljšo primerjavo med več državami. Nekateri med njimi so to ob koncu 90. let že postali ter so za veliko držav objavljeni v omenjeni specializirani publikaciji Unesca in OECD Svetovni kazalniki izobraževanja. Ključni vir podatkov v večini omenjenih publikacij je neposredno ali posredno vprašalnik Unesco-OECD-Eurostat (UOE), ki so ga te institucije oziroma organizacije razvile skupaj. Ta vprašalnik predstavlja sekundarno zbiranje obstoječih podatkov pri nacionalnih statističnih uradih in ministrstvih za izobraževanje ali sorodnih institucijah v državi. Izpolnjujejo ga v državah članicah EU (EU-25), drugih državah OECD, državah kandidatkah in jugovzhodnih evropskih državah. Za navedene in druge mednarodne publikacije z zbirkami kazalnikov formalnega izobraževanja pa so pomembni še nekateri drugi viri. Mednarodne statistične raziskave, pomembne za formalno izobraževanje in druge vrste prenosa znanja, navajamo v tabeli 1. Slovenija je vključena v večino med njimi. Kakor vidimo, je teh virov veliko in njihovo število obenem narašča. Pomembno je tudi, da čedalje bolj zajema tudi druge vrste prenosa znanja (mimo formalnega izobraževanja), ki so vse pomembnejše, a s podatki in s tem merjenjem še premalo pokrite. 4. Prikaz in primerjava ključne publikacije OECD in EU (OECD – Education at a Glance, EU – Key Data on Education in Europe) 4.1 Predstavitev publikacij V nadaljevanju prikazujemo glavne značilnosti obeh dokumentov oziroma serij/zbirk kazalnikov v njih. Splošna predstavitev. Publikacija Education at a Glance – OECD Indicators, ki izhaja letno od leta 1992, je namenjena oblikovalcem politike, strokovnjakom in raziskovalcem izobraževanja, pa tudi delodajalcem. Zadnje izdaje vključujejo kakih 50 držav (članic OECD in drugih). Razvoj publikacije, torej zbirke kazalnikov v njej, usmerjajo nacionalni koordinatorji v projektu INES v državah članicah OECD, finančno in materialno pa jo omogočajo tri države, ki koordinirajo mrežo INES – Nizozemska, Švedska in ZDA. Delo pri publikaciji finančno podpira tudi ameriški državni center za izobraževalno statistiko (US National Center for Education Statistics – NCES). Key Data on Education in Europe (KDE) je uradna publikacija Evropske unije, namenjena predvsem oblikovalcem politike in civilni družbi, izhaja pa praviloma vsaki dve leti od leta 1995. Zadnja izdaja zajema 30 evropskih držav (vključenih v dejavnosti mreže Eurydice in v Eurostatovo zbiranje podatkov). Gre za kombinacijo količinskih oziroma številčnih kazalnikov ter kvalitativnih informacij (opisa) o organizaciji in delovanju izobraževalnih sistemov v evropskih državah. Podrobna predstavitev. Pogledali bomo, kako je v teh publikacijah s cilji, obravnavo pomena izobraževanja, dometom publikacije, metodologijo, številom kazalnikov in številom zajetih držav. 1. Cilji: pri publikaciji EAG je cilj informirati vlado o delovanju izobraževalnih sistemov in dajanje Članki IB revija 1/2007 UMAR 7 Tabela 1: Pregled mednarodnih statističnih raziskav, pomembnih za formalno izobraževanje in druge vrste prenosa znanja Organizacija Raziskava - anketa Periodičnost Eurostat Vprašalnik UOE (UNESCO/OECD/Eurostat) Letna Eurostat Vprašalnik o izobraževanju Letna Eurostat A nketa o nadaljnjem poklicnem usposabljanju (Continuing Vocational Training Survey - CVTS) 5-letna Eurostat Anketa o delovni sili (Labour Force Survey - LFS) - splošna anketa Četrtletna Eurostat Anketa o delovni sili - posebni moduli Letna Eurostat Evropsko posvetovanje o gospodinjstvih (European Community Household Panel - ECHP) Letna Eurostat Statistika o dohodkih in življenjskih razmerah (Statistics on Income and Living Conditions - EU-SILC) Letna Eurostat Anketa o izobraževanju odraslih (Adult Education Survey -AES) 5-letna Eurostat Anketa o porabi časa (Time Use Survey - TUS) 5-10- letna Eurostat Anketa o porabi gospodinjstev (Household Budget Survey -HBS) 5(6)-letna Eurostat Anketa o uporabi IKT v gospodinjstvih (ICT Household Survey) Letna DG PRESS Anketa Eurobarometra Pogosto OECD PISA 3-letna OECD Vprašalnik za učence s posebnimi potrebami (SENDDD-enquiry: students with disabilities, learning difficulties, and disadvantages) 2-letna OECD/Stat. Canada Mednarodna anketa o pismenosti odraslih (International Adult Literacy Survey - IALS) Izvedena ena OECD/ETS Anketa o pismenosti in življenjskih spretnostih odraslih (Adult Literacy and Lifeskills Survey, prej znana kot ILSS; zdaj ALL) Ni jasno OECD Program za mednarodno oceno kompetenc odraslih (Programme for International Assessment of Adult Competencies - PIAAC) IE A Študija o državljanski vzgoji (Civic Education Study - CIVED, TCCES) Ni redna IE A Mednarodna študija o trendih v matematični i n na r a vo s l o vni pismenosti (Trends in International Mathematics and Science Study - TIMSS) 4-letna IE A Mednarodna študija o napredku v bralni pismenosti (Progress in International Reading Study - PIRLS) 5-letna IE A Druga študija o informacijski tehnologiji v izobraževanju (Second Information Technology in Education Study - SITES) Ni redna IE A Š tud i ja o i zob ra ževanju i n razvoju učiteljev (Teacher Education and Development Study - TEDS) INSS Svetovna anketa o vrednotah (World Values Survey) National Geographic Anketa o geografski pismenosti (National Geographic - Global Geographic Literacy Survey) Vir: EC, 2005. pomoči za izvajanje učinkovite izobraževalne politike glede na globalizacijo, pri publikaciji KDE pa meriti prizadevanje držav članic EU na izobraževalnem področju. 2. Pogled na pomen izobraževanja: v publikaciji EAG se človeški kapital šteje kot dejavnik gospodarske rasti, zato naj bi država in podjetja vlagali v izobraževanje, v publikaciji KDE pa se izobrazba razume kot izhodišče za zaposlitev. 3. Domet: v publikaciji EAG je »zajet celoten izobraževalni sistem (znotraj posamezne države) ne glede na lastništvo ali financiranje ustanov in ne glede na mehanizem izvajanja izobraževanja« (OECD, 2004: 35). Vse vrste in starostne skupine šolajočih se (razen ene izjeme, pojasnjene v nadaljevanju) so ne glede na državljanstvo in način šolanja vključene v raznovrstne izobraževalne programe. Ni pa UMAR IB revija 1/2007 Članki vključeno poklicno usposabljanje na delovnem mestu, pri čemer so izjema kombinirani programi (šola-delo), ki eksplicitno sodijo v izobraževalni sistem. Zajet je torej velik del izobraževanja odraslih, in sicer vse razen tistega, ki ima primarno splošno naravo ali je namenjeno osebnostni rasti, prostemu času oziroma rekreaciji. V publikaciji KDE (Eurostat, 2002, str. VII) pa je »zajet izključno tradicionalni izobraževalni sistem« (torej formalno izobraževanje). Tako ni nobenih posebnih kazalnikov o začetnem ali nadaljnjem poklicnem izobraževanju in usposabljanju. Slednje je obravnavano v drugi publikaciji Evropske komisije in CEDEFOP (Key Data on Vocational Training in the EU). 4. Metodologija in viri podatkov: • izraz kazalnik – v publikaciji KDE ga neposredno sploh ni, v publikaciji EAG pa je večinoma uporabljen za »področje oziroma sklop kazalnikov«; • viri podatkov – publikaciji EAG in KDE imata nekatere skupne vire podatkov; vsaka vključena država jih namreč zbira prek nacionalnih statističnih uradov, nato jih obdelujejo OECD, EU in Unesco po že navedenem usklajenem Unescovem/OECD/Eurostatovem (UOE) vprašalniku. Publikacija OECD v zadnjih letih vse bolj posredno uporablja tudi vrsto drugih virov, in sicer mednarodni raziskavi o znanju otrok (TIMSS in PISA), mednarodno raziskavo o funkcionalni pismenosti odraslih, pa tudi druge posebne raziskave (statistične in podobno). Pri publikaciji KDE zagotavlja za kvantitativne oziroma številčne kazalnike podatke Statistični urad EU Eurostat, za kvalitativne oziroma opisne kazalnike pa nacionalne enote mreže Eurydice; • obe publikaciji uporabljata mednarodno standardno klasifikacijo ISCED 97, ki razlikuje tri ravni in šest stopenj izobraževanja; • z vidika uporabljenega načina organizacije kazalnikov v sistemu je pri obravnavanih publikacijah naslednja razlika: EAG temelji ves čas na modelu vložki-proces-rezultati, torej na razširjenem proizvodnem načinu. Publikacija KDE pa je bila do izdaje iz leta 2002 osredotočena predvsem na opis izobraževalnega sistema (procesa, vsebine) oziroma posameznih ravni izobraževanja, v zadnji izdaji (2005) pa prav tako sledi navedenemu načinu OECD. To je razvidno iz tabel 2 in 3, ki prikazujeta teme oziroma naslove vsebinskih poglavij (ter števila kazalnikov za vsako izmed njih) v več zaporednih izdajah teh publikacij ter število kazalnikov (oziroma v »sklopih« kazalnikov EAG) pri posamezni temi. Pod »vložke« lahko v zadnji izdaji publikacije EAG štejemo »dostop do izobraževanja in vključenost« in »naložbe finančnih in človeških virov«, v publikaciji KDE (zadnja izdaja) pa »vključenost v izobraževanje« in »viri (kadri, infrastruktura, sredstva)«. Pod »rezultate« pa lahko štejemo v publikaciji EAG »rezultati izobraževalnih ustanov in učinki učenja«, v publikaciji KDE pa »diplomanti in izobraženost«. O kazalnikih procesa in konteksta pa ni možen tako preprost sklep; o tem govorimo v poglavju 4.3. 5. Število kazalnikov: v publikaciji EAG je iz razloga, navedenega pri točki 3, dejansko število kazalnikov bistveno večje od prikazanega oziroma neposredno predstavljenega z naslovi. Za vpogled v dejansko število je treba preveriti vse tabele, ki se pojavijo pri posameznem kazalniku. Na primer v okviru teme »naložbe finančnih in človeških virov« je v zadnji izdaji publikacije pod »kazalnikom« »izdatki za izobraževanje na šolajočega se« (enem od šestih »kazalnikov«) dejansko zajetih osem kazalnikov. Skupno število kazalnikov pod navedeno širšo temo (naložbe) je 23 in ne šest; šest je sklopov kazalnikov pod navedeno temo (glej tabelo 3). V publikaciji KDE pa je do izdaje iz leta 2000 naraščalo število opisnih, torej kvalitativnih kazalnikov, v zadnjih dveh izdajah (2002 in 2005) pa je spet več kvantitativnih kazalnikov (glej tabelo 2). 6. Države: v publikaciji EAG število držav narašča zaradi držav nečlanic OECD, za katere se zbirajo podatki v projektu World Education Indicators. V publikaciji KDE pa število držav narašča zaradi vključitve treh držav Efte in drugih evropskih držav nečlanic EU (nekatere so medtem že postale članice). 4.2 Referenčnost publikacij Obe publikaciji predstavljata posebne referenčne priročnike za meddržavne analize izobraževanja, vendar v različne namene. Publikacija OECD (Education at a Glance) je referenčni priročnik mednarodnih kazalnikov za oceno stanja na izobraževalnem področju. Kazalniki so v tej publikaciji predstavljeni kot rezultat znanstvenega proučevanja. Delno temeljijo tudi na ekonometričnih modelih. Vsaka izdaja praviloma vključuje nove države, nove kazalnike in nove metodologije. V publikaciji je zajet izračun raznih povprečij. Pri njihovi uporabi in razlagi kazalnikov je potrebna pazljivost iz metodoloških razlogov oziroma posebnosti. Neupoštevanje slednjih namreč lahko vodi v zelo napačne zaključke o relativnem položaju neke države. Članki IB revija 1/2007 UMAR 9 Tabela 2: Porazdelitev kazalnikov po temah v publikaciji Evropske unije Key Data on Education in Europe* (izdaje: 1995, 1997, 1999/2000, 2002 in 2005) TEME - naslovi poglavij ŠTEVILO KAZALNIKOV v posamezni izdaji publikacije Kvantitativni kazalniki Kvalitativni kazalniki 1995 1997 99/00 2002 2005 1995 1997 99/00 2002 2005 1995 1997 99/00 2002 2005 Skupaj Kontekst 14 19 18 17 12 - - - - - 14 19 18 - 12 Organizacija in institucije Vključenost v izobr. (2005) 2 3 2 2 12 4 5 9 8 17 6 8 11 - 29 - - - - -2-- 20 Predšolsko i zobraževanje 5 11 7 10 17 Prva raven izobraževanja (pri marno iz.) 12 10 12 15 10 Druga raven izobra ževanja (sekundarno iz. ) 17 10 10 8 11 8 - 27 18 18 - - Terciarno izobraževanje 16 16 15 17 Viri (kadri, infrastruktura, sredstva) (2005) 0 3 3 2 - 1619 -____- - - 39 14 53 Financiranje izobra-ževanja (´95, 2002) 6- - 10 - 1- - 8-7 - - Učitelji (´97, ´99/00, 2002) 13 14 28 10 33 18 14 Posebno izobraževanje (´97, ´99/00) -1- --55 ---65 -- Tuji jeziki (1999-2000; 2002) 11 12 5- - -1 12 -- Inform.-komunik.tehn. (1999-2000) -------------------------------------------------- 2 23 - - - -2 23 Izobraževalni proces (2005) - - 10 28 Diplomanti in izobraženost (2005) - - - - 10 10 SKUPAJ - število kazalnikov 70 70 68 81 109 52 43 78 57 43 122 113 146 138 152 Viri: Scheerens, Hendriks, 2002; Eurostat 2002, 2005 (Key Data on Education in Europe). * Ne kaj uteme lji te v: - Razmejitev med kvantitativnimi in kvalitativnimi kazalniki temelji na njihovem viru: Eurostat (kvantitativni), Eurydice v European Agency for Development in Special Needs Education (kvalitativni). - Nekateri od kazalnikov, ki temeljijo istoča s no na s t a t i s t i čni h i n kva li tati vni h vi ri h, so š te ti e nk rat . - Kazalniki niso šteti enako v vseh izdajah: v izdaji iz leta 1997 predstavlja vsak grafikon in tabela en kazalnik, medtem ko so v drugih izda ja h nekate ri kazalni ki vključevali več grafikonov in tabel. V prikazani tabeli je uporabljen naslednji sistem - en grafikon ali tabela pomeni en kazalnik. Tabela 3: Porazdelitev kazalnikov po temah v publikaciji OECD Education at a Glance – OECD Indicators (izdaje: 1998, 2000, 2003 in 2006) TEME - poglavja (naslov in število strani) ŠTEVILO KAZALNIKOV v posamezni izdaji publikacije 1998 2000 2003 2006 Kontekst Število kazalnikov oziroma njihovih sklopov 5 2 0 0 Rezultat izobraževalnih ustanov in učinki učenja Število kazalnikov oziroma njihovih sklopov 0 0 15 11 Naložbe finančnih in človeških virov v izobraževanje Število kazalnikov oziroma njihovih sklopov 7 7 6 6 Dostop do izobraževanja, vključenost in napredovanje Število kazalnikov oziroma njihovih sklopov 6 7 5 5 Učno okolje in organizacija šol Število kazalnikov oziroma njihovih sklopov 6 7 8 5 Rezultati izobraževanja na ravni posameznika, družbe, trga dela Število kazalnikov oziroma njihovih sklopov 4 5 0 0 Učni dosežki v izobraževanju Število kazalnikov oziroma njihovih sklopov 8 3 0 0 Skupno število kazalnikov oziroma njihovih sklopov 36 31 34 27 Vir: Scheerens, Hendriks, 2002; OECD, 2003, 2006 (Education at a Glance - OECD Indicators 2003, 2006). 6 5 6 3 - 1 8 - - - 4 3 0 0 - 8 8 - - - 7 6 - 5 9 - 5 5 - - - 10 UMAR IB revija 1/2007 Članki Predvsem za države OECD se povprečja lahko štejejo kot referenčne vrednosti. Publikacija EU (Key Data on Education) pa je referenčni dokument za države članice EU. 4.3 Spremembe v času Publikacija OECD Education at a Glance – OECD Indicators. Spreminja se predstavitev oziroma opis (opredelitev in metodologija izračuna) kazalnikov; izhajajoč iz naslovov poglavij oziroma skupin kazalnikov, se delno navidezno in delno dejansko spreminjajo prioritete med zajetimi temami, pa tudi teme same. Take navidezne oziroma zunanje spremembe so opazne v tabeli 3. Dejansko pa so se v nekaterih primerih spremenili le naslovi. Tako so kazalniki rezultatov v zadnjih letih obravnavani pod temo »rezultati izobraževalnih ustanov in učinki učenja«, v 90. letih pa so bili obravnavani pod drugima temama (1. rezultati izobraževanja na ravni posameznika, družbe in na trgu dela, 2. učni dosežki v izobraževanju). Drugače je pri kazalnikih konteksta; ta tema se z naslovom ne pojavlja več, kazalniki pa, in sicer v tematiki »učno okolje in organizacija šol«. Pod to temo je uvrščenih nekaj kazalnikov procesa, ki se sicer pojavljajo tudi pod skupno temo »dostop do izobraževanja, vključenost in napredovanje«. Največji napredek v metodologiji kazalnikov je bil narejen pri kazalnikih finančnih naložb v izobraževanje. Na tem področju so jih do pred kratkim iz leta v leto spreminjali in dopolnjevali. Iz navedenih razlogov opazovanje trendov v posameznih pojavih za celotno obdobje izdajanja publikacije ni mogoče. Analiza trendov je mogoča le, če oblikovalci publikacije v neki izdaji pri posameznem kazalniku naredijo tudi izračun za ustrezno predhodno leto ali več let; takšnih primerov je čedalje več. Menimo, da so največje napake pri razlagi vrednosti kazalnikov mogoče ravno pri naložbah v izobraževanje. Ti so pogosto zapleteni in za pravilno razlago je potrebna temeljita opredelitev kazalnika. Publikacija EU-Eurostat Key Data on Education in Europe. Značilen je razmeroma različen pogled na kontekst izobraževanja v njenih dosedanjih petih izdajah – nekatere teme se pojavljajo v vseh, druge pa le v nekaterih med njimi. Ker je kontekst izobraževanja pri meddržavnih primerjavah vrednosti nekega kazalnika zelo pomemben, prikazujemo v tabeli 4 za ilustracijo kazalnike, ki so v tej publikaciji uvrščeni pod to temo. Skupno število kazalnikov konteksta se zmanjšuje, razvrstiti pa jih je mogoče v naslednje tri skupine: • kazalniki, ki kažejo nekatere splošne značilnosti države (gospodarska razvitost, gostota prebivalstva, sektorska sestava zaposlenih) – lahko bi jim rekli širši kontekst izobraževanja, • kazalniki, neposredno povezani z izobraževanjem (značilnosti šolske populacije, Tabela 4: Primerjava obravnave »konteksta« izobraževanja v petih izdajah publikacije EU Key Data on Education in Europe (izdaje: 1995, 1997, 1999/2000, 2002 in 2005) ŠTEVILO KAZALNIKOV v posameznih izdajah publikacije Kazalnik oziroma področje kazalnikov 1995 1997 1999/2000 2002 2005 Število mladih v celotnem prebivalstvu 23 3 3 2 Gostota prebivalstva 2- - - - Delež tujcev v celotnem prebivalstvu - - - 1 BDP na prebivalca 1- - - - Sestava zaposlenih glede na sektor dejavnosti 1- - - - Značilnosti šolske populacije 35 5 3 - Diplomanti s terciarno izobrazbo - - - 1 Izobraženost prebivalcev - - 1 - Raven izobrazbe in poklic -1 1 1 - Raven izobrazbe in zaslužki - 1 - - Brezposelnost 56 6 6 5 Negotovost zaposlenosti - 2 2 2 Vseživljenjsko učenje -4 - 1 SKUPAJ 14 19 18 17 11 Viri: Scheerens, Hendriks, 2002; Eurostat, 2002, 2005 (Key Data on Education in Europe 2002, 2005). Članki IB revija 1/2007 UMAR 11 Tabela 5: Značilnosti dveh ključnih mednarodnih zbirk kazalnikov o izobraževanju (v publikacijah OECD in EU) Značilnosti Education at a Glance - OECD Indicators Key Data on Education in Europe Izda ja te lj OECD EU (Eurostat-Eurydice) Število zajetih držav okoli 50 okoli 30 Obdobje izdajanja od leta 1992 - vsako leto (razen na za četku) od leta 1995 - praviloma na 2-3 leta C iljna populaci ja oblikovalci izobr. politike, strokovnjaki in raziskovalci izobraževanja, tudi delodajalci oblikovalci izobr. politike in civilna družba Namen za informiranje o delovanju izobraževalnih sistemov in v pomoč za i zvajanje učinkovite izobraževalne politike za merjenje prizadevanj držav članic EU na izobraževalnem področju Pogled na izobraževanje dejavnik gospodarske rasti, zato morajo država in podjetja vlagati v izobraževanje izobrazba je temeljnega pomena za zaposlitev Proučevane teme spreminjanje prioritet med njimi, pa tudi samih tem, nekatere so standardne (i zd atki ) ne k a t e r e ve s čas, nekatere le občasno K onte kst i zob ra ževanja -njegovo upoštevanje do leta 2000 je bil upoštevan neposredno (kot ena od tem z več kazalniki) in posredno, od takrat pa le posredno (kazalniki so zajeti v drugih temah) neposredno upoštevan (kot tema s kazalniki) K onte kst i zob ra ževanja -vs e bi na do leta 2000: neposredno (velikost šolske populacije, izobraženost odraslih) in posredno (učno okolje in organizacija šol) po letu 2000: prejšnji kazalniki so zajeti v rezultatih izobraževalnih ustanov, stari na čin posrednega zajetja pa ostaja demografske značilnosti prebivalstva, vključenost v izobraževanje, trg dela (brezposelnost, zaposlenost), poklici proizvodni (vložki-proces-rezultati) + širši Uporabljeni model za kazalnike kontekst izobraževanja opis izobraževalnega sistema (proces, vsebina) Metodologija kazalnikov se spreminja - dograjuje (največji razvoj pri manjše spremembe, nastanek novih kazalnikih o izdatkih za izobraževanje) kazalnikov Uporaba benchmarkinga posredno posredno Kvantitativni in kvalitativni kazalniki ali podatki le kvantitativni oboje (narašča delež kvantit.) Skupno število kazalnikov (KDE) oziroma njihovih skupin(OECD) krčenje skupin kazalnikov (2006 - 28), število kazalnikov pa znaša v zadnjih izdajah blizu 100 se spreminja, trend k povečanju (1995 - 122; 2005 - 152) K ljučni viri podatkov vprašalnik UOE vprašalnik UOE, Eurydice Uporaba v nacionalnih sistemih kazalnikov ve li ko ma nj Referenčni p r i r o čnik za mednarodne primerjave za države EU Trend poenotenje kazalnikov in zajetih tematik Viri: OECD (Education at a Glance - OECD Indicators), različni letniki, zadnja izdaja, zajeta v analizo, je iz leta 2006. Eurostat-Eurydice (Key Data on Education in Europe), različni letniki, zadnji 2005. Scheerens, Hendriks, 2003. Desjardins, Garrouste-Norelius, Mendes, 2003. število mladih v celotnem prebivalstvu, izobraženost prebivalcev), ki bi jim lahko rekli ožji kontekst izobraževanja, • kazalniki, ki dejansko kažejo rezultate izobraževanja (plače, brezposelnost – oboje glede na izobrazbo – tja jih uvršča tudi publikacija OECD EAG) ali celo kaj drugega (vseživljenjsko učenje). Za zadnjo izdajo publikacije, z omenjeno precej drugačno organizacijo kazalnikov v skupine od prehodnih, velja omeniti, da vsebuje kar nekaj kazalnikov o infrastrukturi formalnega izobraževanja, kar je pomembna novost in prednost glede na prejšnje izdaje, pa tudi glede na druge mednarodne vire za kazalnike tega izobraževanja. 4.4 Sklepne ugotovitve Sintezno prikazujemo glavne (predstavljene in druge) značilnosti obeh navedenih sistemov kazalnikov v tabeli 5. Vsak od njiju ima svoje prednosti in pomanjkljivosti. Sklenemo pa lahko, da je kljub sedanji očitni strategiji različnega dometa obeh publikacij zaznati trend k poenotenju kazalnikov in zajetih tematik. Ključna značilnost UMAR IB revija 1/2007 Članki prikazanih publikacij, pomembna za Slovenijo, pa je, da naša država v publikacijo EAG ni vključena (ker ni članica OECD in ne sodeluje v projektu World Education Indicators, v katerem so številne države nečlanice OECD), v publikacijo KDE pa je vključena (a v njej zaradi nacionalnih razlogov doslej ni bilo podatkov o naložbah v izobraževanje). Torej je uporaba številnih dobrih kazalnikov iz publikacije EAG za Slovenijo dosti bolj zahtevna kakor za države, vključene v publikacijo. 5. Druge mednarodne serije kazalnikov izobraževanja Navajamo še nekaj drugih mednarodnih publikacij s serijami oziroma zbirkami kazalnikov formalnega izobraževanja. 5.1 OECD – Human Capital Investment Poleg kazalnikov izobraževanja v publikaciji Education at a Glance – OECD Indicators so strokovnjaki OECD doslej razvili še druge serije kazalnikov, ki se z navedenim delno prekrivajo. To so kazalniki s konca 90. let, povezani s temo naložb v izobraževanje in zbrani v publikaciji Human Capital Investment (OECD, 1998). V njej strokovnjaki OECD poudarjajo potrebo po takem merjenju človeškega kapitala (njegove kvantitativne in kvalitativne razsežnosti), ki upošteva različne poti pridobivanja oziroma prenosa znanja (formalno izobraževanje, neformalno izobraževanje, učenje z delom ipd.), in sicer: vlogo teh poti v »proizvodnji« človeškega kapitala, učinkovitost vsake izmed njih, njihovo dostopnost in pravičnost pri tem (enakost možnosti dostopa itd.), naložbe vanje (in viri le-teh) ter notranjo in zunanjo učinkovitost (donosnost). V publikaciji je zajet prikaz kazalnikov za merjenje zaloge človeškega kapitala, naložb v ta kapital in učinkov teh naložb v obliki donosov. 5.2 OECD – Education Policy Analysis OECD od leta 1996 vzporedno s publikacijo o kazalnikih izobraževanja vsako leto izdaja še eno bolj vsebinsko in tematsko usmerjeno publikacijo Education Policy Analysis, ki praviloma ne zajema kazalnikov, ampak na njih temelji, in to na že objavljenih v prikazani publikaciji Education at a Glance – OECD Indicators, pa tudi na drugih. Osredotoča se na zajetje elementov za spremljanje in razvoj izobraževalne politike. Iz te perspektive razširja informacijsko področje in število uporabljenih virov. Ta publikacija je doslej obravnavala že vrsto tem, pri čemer je prevladujoča »izdatki za izobraževanje«. Velike pozornosti so bila deležna tudi vprašanja: položaj in plače učiteljev, povezava med izobraževanjem in trgom dela, terciarno izobraževanje in vseživljenjsko učenje (ponudba tega učenja in viri zanj). Druga področja, ki so po mnenju strokovnjakov prav tako potrebna posebne pozornosti, so: predšolsko varstvo in izobraževanje ter rezultati izobraževalnih sistemov v dosežkih učencev. Vsebina navedene publikacije izraža ključna prednostna področja izobraževalne politike držav OECD. 5.3 UNESCO (statistični urad) – Global Education Digest Publikacija Globalni pregled izobraževanja – primerjava statistike o izobraževanju po svetu (Global Education Digest – Comparing Education Statistics Across the World) je očitno naslednica nekdanjega Unescovega letopisa, čeprav to ni ravno napisano. Poleg publikacij OECD in EU, predstavljenih v 4. poglavju, jo imamo za tretjo ključno mednarodno publikacijo s kazalniki formalnega izobraževanja. Doslej je izšla štirikrat (Unesco, 2003, 2004 2005, 2006), izhajala pa naj bi vsako leto. Cilj izdajateljev je, da vsakič poleg serije kazalnikov zajame tudi vsebinsko analizo neke aktualne teme. V zadnji izdaji je to terciarno izobraževanje. Publikacija pokriva predvsem formalno izobraževanje. V njej je zelo veliko kazalnikov, prikazani pa so praviloma tudi podatki zanje. V zadnji izdaji je kar nekaj sprememb v sami organizaciji kazalnikov, po drugi strani pa je zajetih nekaj popolnoma novih ali delno drugačnih kazalnikov kakor doslej. Ključni vir podatkov je vprašalnik UOE in poseben samostojni vprašalnik Unescovega statističnega urada. Število zajetih držav je večje kakor v kateri koli drugi mednarodni publikaciji kazalnikov z izobraževalnega področja – več kakor 200 držav z vsega sveta je razporejenih po celinah. Slovenija je tako seveda vključena. Pri nekaterih kazalnikih so izračunane tudi povprečne vrednosti za posamezne celine. 5.4 Eurostat in Evropska komisija – Education across Europe Evropska komisija in Eurostat izdajata publikacijo Izobraževanje v Evropi (Education Across Europe, v nadaljevanju tudi EAE). V njej so kazalniki uvrščeni v 12 skupin: kontekst, f inanciranje izobraževanja, učitelji, vključenost v izobraževanje, dokončanje druge stopnje sekundarnega izobraževanja, terciarno izobraževanje, matematika - naravoslovje - tehnologija, šolajoči iz tujine, tuji jeziki, regije, izobraževanje in delo ter nadaljnje poklicno usposabljanje. V izdaji iz leta 2003 je skupaj kar 139 kazalnikov. Posebnost te publikacije glede na druge je, da vključuje regionalno raven opazovanja (raven NUTS3). Zajeta je tudi Slovenija in upoštevana kot ena regija. V publikaciji iz leta 2003 je zajetih 32 evropskih Članki IB revija 1/2007 UMAR 13 držav. Podatkovni viri za kazalnike so: vprašalnik UOE, druge raziskave/ankete Eurostata (anketa o delovni sili – ad hoc modul iz leta 2000 o prehodu iz šole v delovno življenje, anketa o porabi gospodinjstev, statistika o razvojno-raziskovalni dejavnosti, statistika o zdravju in ekonomska statistika) ter (druga) anketa o nadaljnjem poklicnem usposabljanju zaposlenih (CVTS2). Večina izobraževanja odraslih ni zajeta v kazalnike te publikacije. Prikazane pa so vse relevantne klasifikacije za kazalnike (o izobraževanju, poklicih itd.). 5.5 UNDP – Human Development Report Publikacija Združenih narodov (United Nation Development Programme – UNDP) Poročilo o človekovem razvoju (Human Development Report) zajema kazalnike iz mednarodnih publikacij, do nedavnega predvsem iz Unescovega letopisa, od konca 90. let pa tudi vse več tistih iz publikacije OECD o kazalnikih izobraževanja (EAG); vključuje tudi nadgradnjo nekaterih med njimi. Gre za kazalnike o raznih vidikih razvoja človeškega dejavnika za več kakor 170 držav (leta 1990, ko je publikacija prvič izšla, jih je bilo na primer 130), od leta 1997 tudi za Slovenijo. Poleg te splošne izdajajo Združeni narodi v sodelovanju s posameznimi državami tudi tovrstne nacionalne publikacije. V letu 1998 je bila tako prvič izdelana za Slovenijo z naslovom National Human Development Report – Slovenia 1998, do leta 2003 je izšla še večkrat, v letu 2006 pa jo je nasledila publikacija Socialni razgledi (Javornik in dr., 2006). Izdaja jo Urad za makroekonomske analize in razvoj. Posebnost kazalnikov v obravnavani publikaciji je »indeks človekovega razvoja« (human development index – HDI). Ta indeks je sestavljeni kazalnik in ga UNDP objavlja od leta 1990, metodologija za njegov izračun pa se je od takrat večkrat spremenila (glej: Bevc, 1999). V sedanji enačici predstavlja netehtano povprečje izmerjenega relativnega razpona v neki državi od najvišje in najnižje vrednosti (med vsemi državami, vključenimi v analizo) v naslednjih razsežnostih: pričakovani dolžini življenja ob rojstvu, indeksu izobrazbe (izraženem s stopnjo pismenosti odraslih in bruto stopnjo vključenosti v izobraževanje) in gospodarski razvitosti (izraženi z BDP na prebivalca). Več o publikaciji in navedenem indeksu lahko zainteresirani bralec najde drugje (Bevc, 1999; Javornik, Korošec in dr., 2003; UNDP, 2004, 2005). 5.6 »Lizbonski« kazalniki formalnega izobraževanja Pozorni smo bili tudi na kazalnike za uresničevanje lizbonskih ciljev glede izobraževanja in usposabljanja (imenovali jih bomo kar »lizbonski« kazalniki). Med 29 takimi kazalniki smo pregledali vse, ki zadevajo formalno izobraževanje; bilo jih je 21. Večina med njimi se v enaki obliki pojavlja v kateri od že prikazanih publikacij, na podlagi katerih smo izbrali kazalnike za Slovenijo (Eurostat – Key Data on Education in Europe, Education across Europe; OECD – Education at a Glance; Unesco – Global Education Digest). Nekateri pa se v njih pojavljajo v malo drugačni obliki. Za njihov podrobnejši in celoviti oziroma dodatni pregled (pa tudi za tiste redke kazalnike, ki jih v navedenih publikacijah ni) smo pogledali še dve poročili Evropske komisije o uresničevanju lizbonskih ciljev v izobraževanju: • Report on the Performance and Progress of Education and Training Systems in Europe, Indicators and Bencmarks – 2003 (EC, 2003), • Progress towards the Lisbon Objectives in Education and Training – Report 2005 (CEC, 2005). Proučili smo tudi nekatere kritične odzive na sistem 29 »lizbonskih« kazalnikov (Kaiser, 2004; Desjardins, Garrouste-Norelius, Mendes, 2003; Scheerens, Hendriks, 2002). Njihov prikaz presega domet tega prispevka (o tem glej več v Bevc in dr., 2005). 5.7 Publikacija o kazalnikih formalnega izobraževanja za osem razvitih držav Poleg navedenih mednarodnih publikacij smo pregledali še publikacijo o kazalnikih formalnega izobraževanja za osem razvitih držav (Comparative Indicators of Education in the United States and Other G8 Countries – 2004), ki jo je izdal ameriški državni center za izobraževalno statistiko (US National Center for Education Statistics, 2004). Države, ki jih v tej publikaciji primerjajo, so: ZDA, Francija, Italija, Japonska, Kanada, Nemčija, Rusija in Velika Britanija. Kazalniki so v tej publikaciji razvrščeni v štiri kategorije: kontekst, predšolsko in primarno izobraževanje, sekundarno izobraževanje in terciarno izobraževanje. To je soroden pristop, kakor ga je nekoč uporabljal Eurostat v publikaciji KDE. Večina kazalnikov je takih, kakršne smo zasledili v treh že prikazanih publikacijah: OECD Education at a Glance ter Eurostata Key Data in Education in Europe in Education across Europe, nekaj pa je delno drugačnih ali popolnoma novih. Slednji kazalniki se nanašajo predvsem na primarno in sekundarno izobraževanje, zajemajo pa pismenost otrok, njihov odnos do branja, stališča do politike, odgovornost državljanov, uporabljani jezik doma in obiskovanje dopolnilnega pouka ali inštrukcij. 6. Sklepne ugotovitve Eden od pomembnih korakov pri oblikovanju nacionalne zbirke kazalnikov za formalno UMAR IB revija 1/2007 Članki izobraževanje, ki naj bi omogočil verodostojne primerjave stanja in trendov v neki državi z drugimi državami, je poznavanje mednarodnih in nacionalnih zbirk takih kazalnikov. Na mednarodni ravni smo proučevali več njihovih sistemov oziroma zbirk. V prispevku smo predstavili osem publikacij z zbirkami/sistemi kazalnikov šestih mednarodnih organizacij ali institucij: OECD, Eurostata v sodelovanju z Eurydice, Unesca, Združenih narodov oziroma UNDP, Evropske komisije in ameriškega državnega centra za izobraževalno statistiko. Med njimi ocenjujemo kot ključne naslednje tri, od katerih smo v prispevku zelo podrobno prikazali prva dva: • sistem kazalnikov OECD, predstavljen v publikaciji o kazalnikih v izobraževanju (Education at a Glance – OECD indicators), • sistem kazalnikov EU, predstavljen v publikaciji o ključnih podatkih/infomacijah o izobraževanju v Evropi (Key Data on Education in Europe) in • sistem kazalnikov Unesca, zajet v publikaciji o pregledu izobraževanja po svetu (Global Education Digest). Za prva dva od teh treh lahko ugotovimo, da je značilna tendenca k poenotenju proučevanih tem in kazalnikov, kar je gotovo posledica vse večjega sodelovanja med ustreznimi institucijami EU, OECD in Unesca. V zvezi z zbirko kazalnikov OECD, ki je za mnoga področja (na primer obseg in sistem financiranja izobraževanja) najbolj razviti sistem kazalnikov, pa je treba poudariti možnost vključitve držav nečlanic OECD, saj lahko sodelujejo v programu World Education Indicators, ki ga izvajata skupaj OECD in Unesco. Tako OECD tudi zanje izračuna kazalnike po enotni metodologiji. Slovenija je bila k temu projektu povabljena že pred mnogimi leti, a te možnosti ni izkoristila. Od preostalih prikazanih zbirk kazalnikov je gotovo potrebna posebnega komentarja zbirka Evropske komisije za uresničevanje lizbonske strategije. Ti kazalniki imajo po naši presoji vrsto pomanjkljivosti. Kljub temu se nam zdi opravljeno delo pri tej zbirki izredno koristno predvsem zato, ker je spodbudilo množice posameznikov in institucij v Evropi, da razmišljajo o kazalnikih za prenos znanja in podatkovnih podlagah zanje. Podrobna analiza prikazanih mednarodnih publikacij s kazalniki je bila precej zamudna, saj je za formalno izobraževanje v nasprotju z drugimi vrstami prenosa znanja značilna prava poplava kazalnikov – ogromno jih je. Taka analiza nam je bila podlaga za izdelavo poznejše zbirke kazalnikov za Slovenijo, ki smo jo pred izdelavo končne enačice preverili z uporabniki na posebni delavnici. Pred tem smo temeljito proučili tudi vrsto metodoloških in drugih vprašanj v zvezi s kazalniki, med njimi zlasti teoretične okvire zanje, način njihovega uskupinjanja (v prispevku smo omenili enega med njimi – proizvodni model) in modele za opis kazalnikov. Po kritičnem pregledu literature smo izdelali lastno enačico proizvodnega modela in modela opisa kazalnikov, ki smo ju uporabili pri skoraj 100 izbranih kazalnikih. O konkretni zbirki oziroma sistemu kazalnikov za Slovenijo pa več v kateri od naslednjih številk revije IB. Literatura Bevc, Milena (2005). Indikatorji na znanju temelječe (slovenske) družbe s poudarkom na indikatorjih formalnega izobraževanja (za Slovenijo) ter vlogi lizbonske strategije. V: Tkačik, B. (ur.), Urbas, M. (ur.). Komuniciranje z dajalci in uporabniki statističnih podatkov ter podpora EMU in Lizbonski strategiji: zbornik 15. statističnih dnevov, Radenci, 7.–9. november 2005. Ljubljana: Statistični urad Republike Slovenije: Statistično društvo Slovenije, str. 45–57. Bevc, Milena (2006). Development of the national system of internationally comparable indicators of formal education: prispevek k European Conference on Educational Research, Ženeva, 13.–16. september 2006. Bevc, Milena (ur.), Svetlik, Ivan, Kavaš, Damjan, Kovačič, Art, Pavlin, Samo, Stanovnik, Peter (2004). Opredelitev, dejavniki in mehanizmi družbe znanja. Raziskava v projektu »Dejavniki in indikatorji razvoja na znanju temelječe (slovenske) družbe«. Ljubljana: Inštitut za ekonomska raziskovanja – Fakulteta za družbene vede, Inštitut za družbene vede. Bevc, Milena (ur.), Svetlik, Ivan, Bole - Kosmač, Daša, Kovačič, Art, Pavlin, Samo (2005). Indikatorji za merjenje prenosa znanja – nabori, opis in uporaba. Raziskava v projektu Dejavniki in indikatorji razvoja na znanju temelječe (slovenske) družbe. Ljubljana: Inštitut za ekonomska raziskovanja – Fakulteta za družbene vede, Inštitut za družbene vede. Bevc, Milena (ur.), Svetlik, Ivan, Bole - Kosmač, Daša, Čelebič, Tanja, Pavlin, Samo (2006). Indikatorji za merjenje prenosa znanja – pregled, opis, uporaba. Raziskava v projektu Dejavniki in indikatorji razvoja na znanju temelječe (slovenske) družbe. Ljubljana: Inštitut za ekonomska raziskovanja – Fakulteta za družbene vede, Inštitut za družbene vede. Bole - Kosmač, Daša (2005). Metodološki in izvedbeni okviri indikatorjev za spremljanje razvoja Slovenije v družbo znanja. V: Bevc in dr. (2005), Indikatorji na znanju temelječe družbe – metodologija, pregled, nabori. Ljubljana: Inštitut za Članki IB revija 1/2007 UMAR ekonomska raziskovanja – Fakulteta za družbene vede, Inštitut za družbene vede, str. 3–28. CEC (2005). Progress Towards the Lisbon Objectives in Education and Training – 2005 Report. Commission Staff Working Paper. Brussels: Commission of the European Communities, 22. 3. 2005, SEC(2005) 419. Desjardins, Richard, Garrouste - Norelius, Christelle, Shawn, Mendes (2003). Benchmarking education and training systems in Europe: An international comparative study – prepared for the European Commisssion. Stockholm: Institute of International Education in Stockholm University. EC (2003). A review of the 29 indicators for measuring progress towards the Lisbon objectives. Document n. 10, Brussels: European Commission, 9. 12. 2003 (LBJ/AV D – 2003). EC (2005). Overview on international statistical surveys relevant for education and training – Version: 12/4/05. Brussels: European Commission. EC (2005a). Overview on key international statistical publications on education. Version: 10/4/05. Brussels: European Commission. Eurostat (2005). Key Data on Education in Europe 2005. Brussels: Eurostat-Eurydice-European Commission (in vse predhodne izdaje publikacije). Javornik, Jana, Korošec, Valerija (urednici), in drugi (2003). Poročilo o človekovem razvoju – Slovenija 2002/2003. Ljubljana: Urad za makroekonomske analize in razvoj. Javornik, Jana (ur.), in drugi (2006). Socialni razgledi 2006. Ljubljana: Urad za makroekonomske analize in razvoj. Kaiser, Frans (2004). Towards a coherent framework of indicators for measuring progress towards the Lisbon objectives, Work in progrees. Enschede: Centre for Higher Education Policy Studies (CHEPS). OECD (1998). Human Capital Investment. Paris. OECD (2006). Education at a Glance – OECD Indicators 2004. Pariz (in druge predhodne izdaje publikacije od leta 1992). OECD (2006a). Education Policy Analysis 2005– 2006. Pariz (in druge izdaje publikacije od leta 1996). Scheerens, Jaap, Hendriks, Maria (eds.) (2002). Benchmarking the quality of education, Final Version. UNDP (2004). Human Develeopment Report 2004. New York: United Nations Development Programme. http://hdr.undp.org/reports/global/2004/pdf/ hdr04_complete.pdf (4. 5. 2005). UNDP (2005). Human Development Report 2005. New York – Oxford: United Nations Development Programme – Oxford University Press. Unesco (2006). Global Education Digest 2006 – Comparing Education Across the World. Montreal: Unesco Institute for Statistics (in predhodne izdaje: 2003, 2004, 2005).