K Metodologija evalvacije izobraževalnega programa1
Tanja Vilič-Klenovšek
V zvezi z izobraževanjem odraslih se tudi pri nas v zadnjih letih vse več govori o vlogi in pomenu evalvacije, o evalvaciji učinkovitosti posameznih izobraževalnih programov in tudi o evalvaciji učinkovitosti dela izvajalcev izobraževanja ter o evalvaciji učinkovitosti izobraževalne organizacije kot celote.
Preproste evalvacijske analize izvedbe posamezne izobraževalne akcije so že dalj časa spremljevalna dejavnost izobraževanja odraslih, ki jih najpogosteje opravljajo v obliki anketnih vprašalnikov, namenjenih udeležencem ali izvajalcem izobraževanja ob koncu izobraževanja, manj pogosto pa tudi na začetku in med potekom izobraževanja. Poudarjam, da gre za enostavne evalvacijske analize, saj so navadno v anketni vprašalnik vključena le nekatera splošna vprašanja, ki resda pokažejo določeno sliko o učinkovitosti in kvaliteti izvedenega izobraževanja, vsekakor pa premalo razčlenjeno in sistematično obdelano, da bi s tem dobili dovolj zanesljive in objektivne podatke za temeljitejše analize in potrebne spremembe izvedenega izobraževalnega programa, načina izvedenega izobraževalnega procesa, uporabljenih avdiovizualnih pripomočkov idr.
Glede na vse večje poudarjanje zagotavljanja ustrezne kvalitete izobraževalnih programov, namenjenih odraslim, ter še večje učinkovitosti tega izobraževanja je dosedanje izvajanje izobraževanja, namenjenega odraslim, treba nujno dopolniti s spremljevalnimi, vnaprej sistematično in ciljno pripravljenimi, evalvacij-skimi analizami.
Na Andragoškem centru Slovenije je v obdobju 1994—1995 potekal raziskovalni projekt Evalvacija politike izobraževanja delovne sile, s poudarkom na izobraževanju brezposelnih, v okviru katerega je bila razvita metodologija evalvacije izobraževalnega programa, namenjenega (tudi) brezposelnim. Po tej metodologiji pa je bila izvedena konkretna evalvacija dveh izobraževalnih programov, v katera so se vključevali (tudi) brezposelni v obdobju 1993-1994.2 Temeljno izhodišče priprave metodologije evalvacije izobraževalnega programa, namenjenega brezposelnim, je bilo, da se v zadnjih letih v izobraževanje brezposelnih vlaga določena sredstva, ni pa zbranih podatkov o učinkih tega izobraževanja, ni odgovora na vprašanje, kako učinkovito je vlaganje sredstev v izobraževanje brezposelnih. Na to temeljno vprašanje, kako učinkovito je vlaganje sredstev v določenem obdobju v izobraževanje brezposelnih, bi lahko odgovorili z eval-vacijsko analizo, opravljeno na makro ravni, to pomeni, da bi v evalvacijo zajeli vse ukrepe in programe izobraževanja brezposelnih v določenem obdobju (za vso Slovenijo) ter ugotovili njihovo učinkovitost po vnaprej opredeljenih merilih (koliko se je z izobraževanjem brezposelnih zmanjšal delež brezposelnih, koli-
1	Prispevek je nastal na osnovi končnega poročila raziskovalnega projekta Evalvacija politike izobraževanja delovne sile, s poudarkom na izobraževanju brezposelnih, Andragoški center Slovenije, marec 1995 (voditeljica projekta: mag. Tanja Vilič-Klenovšek).
2	Raziskovalni projekt so sofinancirali Ministrstvo za delo, družino in socialne zadeve, Ministrstvo za šolstvo in šport ter Republiški zavod za zaposlovanje.
ko so se zmanjšala sredstva, potrebna za kritje denarnih nadomestil in denarne pomoči idr.). Za takšne makro analize bi morali imeti izdelane enotne baze podatkov o vključenih brezposelnih v izobraževanje za vso Slovenijo, še posebej bi morali imeti enotne podatke o nekaterih drugih kazalcih, ki kažejo na učinkovitost izobraževanja brezposelnih, idr., česar pa žal še ni na voljo. Zato smo se v raziskovalnem projektu Evalvacija politike izobraževanja delovne sile, s poudarkom na izobraževanju brezposelnih, omejili na pripravo metodologije evalvacije konkretnega programa izobraževanja, namenjenega brezposelnim. V sedanji fazi uvajanja evalvacijskih analiz v izobraževanje brezposelnih pri nas smo videli večji prispevek k temu področju v opredelitvi metodoloških izhodišč spremljanja učinkovitosti posameznega izobraževalnega programa, namenjenega brezposelnim, ter s tem celotnega procesa izobraževanja, ki poteka v zvezi s posameznim programom izobraževanja. S tem želimo pomagati vsem subjektom, ki so vključeni v ta proces, in tako zagotovili ustrezno kvaliteto in učinkovitost izobraževanja brezposelnih.
Posebej želim poudariti, da gre za opredelitev metodoloških izhodišč evalvacije procesa izobraževanja brezposelnih, ki ne vključuje le evalvacije same izvedbe in učinkovitosti izobraževalnega programa, temveč vse faze, elemente in subjekte procesa izobraževanja brezposelnih, te pa bom opredelila v nadaljevanju.
Opredelitev pojma evalvacija ter evalvacije v izobraževanju
V	zvezi z raziskovalnim projektom Evalvacija politike izobraževanja delovne sile, s poudarkom na izobraževanju brezposelnih smo v izhodiščih predstavili nekatera temeljna vprašanja in odgovore o evalvacijskih analizah na splošno, o evalvaciji v izobraževanju in pri zaposlovanju. Ker se nam zdijo nekatera strokovna izhodišča temeljna za konkretno uporabo evalvacijskih analiz v praksi, jih bom v nadaljevanju tudi predstavila. Upam, da bom s tem pripomogla k boljšemu razumevanju v raziskovalnem projektu razvite in uporabljene metodologije evalvacije konkretnega izobraževalnega programa.
V	literaturi najdemo različne opredelitve pojma evalvacija. Te izhajajo iz različnih ciljev izvajanja evalvacijskih analiz na različnih področjih. Razlike nastajajo tudi zaradi različnih strokovnih opredelitev posameznih avtorjev in osnovnih paradigem, ki so podlaga posameznih evalvacijskih analiz.
Evalvacija se najpogosteje enači s procesom vrednotenja in se kot taka opredeljuje kot proces presojanja koristi ali vrednosti nečesa (A. Janko, 1993: 19). Vrednotenje pomeni označiti vrednost
26
4/ 1996
pri presojanju različnih značilnosti in elementov tega, kar je predmet vrednotenja (H. S. Bhola, 1990: 9). V strokovnih razpravah se za ta proces pogosteje uporablja beseda evalvacija. Bistveni cilj evalvacije je uporaba informacij, ki jih pri evalvaciji pridobimo, za izboljšanje dejavnosti, ki je bila predmet evalvacije. Zato nekateri avtorji opredeljujejo evalvacijo kot proces zbiranja informacij in ta naj bi potrdil, ali so doseženi zastavljeni cilji (Saviče-vič, 1987: 10). Tudi H. S. Bhola navaja več avtorjev, ki evalvacijo opredeljujejo predvsem kot pridobivanje informacij in sprejemanje določenih odločitev na osnovi teh informacij (H. S. Bhola, 1990: 10). Bhola povzema, da so v definicijah evalvacije nekatere skupne značilnosti. Evalvacija mora »proizvajati« informacije. Te morajo biti opravičljive. Za zbiranje informacij moramo imeti metode. Torej, evalvacija mora biti organizirana. Kolikor je mogoče, morajo biti informacije natančne. Se bolj pomembno pa je, da so informacije uporabne za izboljšanje določenega razvojnega ali izobraževalnega programa (H. S. Bhola, 1990:10-11).
Tudi v predstavljenem raziskovalnem projektu razumemo evalvacijo kot proces vrednotenja tega, kar je predmet analize, in kot proces zbiranja informacij za odločanje o spreminjanju ali potrditvi predmeta analize, na osnovi vnaprej opredeljenih ciljev in meril vrednotenja.
Še posebej pa bi rada opozorila na to, da se pri evalvacijskih raziskavah v zadnjih letih (na kateremkoli področju) vse bolj poudarja to, da evalvacija nima le strokovne funkcije - ovrednotenje rezultatov, učinkov z vidika stroke in predlaganje ustreznih sprememb, dopolnitev, izboljšav, temveč ima tudi pomembno »politično« funkcijo, saj naj bi njeni rezultati vplivali na odločanje v politiki in pri načrtovanju procesov, ki so predmet evalvacije.
Različne evalvacijske analize poskušajo v literaturi razvrščati po določenih merilih v različne vrste evalvacije. Obstajajo številne klasifikacije, ki jih na tem mestu ne bom podrobneje predstavljala, navedla bom le na kratko nekatere vrste evalvacij:
a)	formativna in sumativna evalvacija
Na splošno kot formativno evalvacijo opredeljujejo tisto evalvacijo, ki poteka že med samim potekom določene dejavnosti, ki je predmet evalvacije. Sumativna evalvacija pa je tista evalvacija, ki poteka po končani dejavnosti, kije predmet evalvacije (glej tudi J. Sagadin, 1991:95-96).
b)	notranja, zunanja in participatoma evalvacija
Delitev evalvacije na notranjo in zunanjo izhaja iz izvajanja evalvacije, odvisno od tega, kdo izvaja evalvacijo. Notranjo evalvacijo izvajajo udeleženci evalviranega procesa, dejavnosti, zunanjo evalvacijo pa zunanji strokovnjaki, posamezniki, ki so zunaj evalviranega sistema, pogosto iz druge organizacije. Pri parti-cipatorni evalvaciji pa sodelujejo vsi, ki imajo kakršnokoli vlogo pri programu, procesu, dejavnosti, ki so predmet evalvacije (S. Bhola, 1990: 15-16).
c)	makro in mikro evalvacija
Izhodišče delitve evalvacije na makro in mikro evalvacijo je v tem, ali z evalvacijo zajamemo celoten sistem, ki je predmet preučevanja, ali le posamezen del tega sistema. Pri makro evalvaci-jah gre za preučevanje celotnega sistema (splošna, širša vprašanja). Mikro evalvacije pa vključujejo preučevanje posameznih delov v večjem sistemu (Savičevič, 1987: 20).
č) vrste evalvacij, ki so povezane s cilji, ter vrste evalvacij, ki so povezane z nalogami
Nekateri avtorji opredeljujejo evalvacijo glede na opredeljene cilje, ki so izhodišče evalvacije. V izobraževanju je zelo razčlenjeno delitev evalvacije z vidika dveh meril, z vidika opredeljenih ciljev in nalog, ki so predmet evalvacije, ponudil H. S. Bhola.
Po teh dveh merilih Bhola opredeli 11 vrst evalvacij (H. S. Bhola, 1990: 17):
1.	ocenjevanje potreb,
2.	pregled ekonomskih, socialnih in kulturnih izhodišč,
3.	evalvacija učenca,
4.	testiranje dosežkov in stališč,
5.	evalvacija osebja,
6.	kurikularna evalvacija,
7.	institucionalna in organizacijska evalvacija,
8.	vrednotenje izdelkov,
9.	vrednotenje učinkov (vplivov),
10.	vrednotenje stroškov,
11.	samoevalvacija (samovrednotenje).
Iz predstavljene klasifikacije lahko vidimo, da se posamezne vrste evalvacije ne opredeljujejo le glede na cilj oziroma nalogo dejavnosti, procesa, ki ga evalviramo, temveč tudi glede na subjekt, ki je predmet evalvacije (učenec, udeleženec, osebje, organizacija), ali glede na posamezen element procesa, ki ga evalviramo (kurikulum, izdelek, učinki, stroški idr.).
Poleg naštetih vrst evalvacij moram še omeniti, da na splošno v zadnjih letih vse bolj poudarjajo tudi pomen samoevalvacije. Bhola meni, da v najbolj preprosti obliki pomeni samoevalvacija (samovrednotenje) introspekcijo posameznika (H. S. Bhola, 1990: 22). Drugi avtorji pa samoevalvacijo ne navezujejo le na posameznika, temveč gre lahko tudi za samoevalvacijo izobraževalne organizacije kot celote, posameznega izvajalca v izobraževalnem procesu idr. Dejansko gre pri tem za notranjo evalvacijo.
Nekatere razvrstitve izhajajo iz teoretskih razmejitev in razprav, druge pa bolj iz praktičnih izkušenj in potreb v praksi. Številne vrste evalvacij, ki jih ločujejo teoretiki, so z vidika prakse prezahtevne in preveč kompleksne. Evalvatorji praktiki morajo pogosto uporabljati bolj enostavne in razmeram prilagojene evalvacijske pristope. Predstavitev različnih vrst evalvacij, različnih klasifikacij evalvacij pa kaže, da je evalvacija v izobraževanju kompleksen proces, ki v praktični izvedbi težko naenkrat zaobse-že vse potrebne elemente, subjekte, faze idr. procesa, dejavnosti, ki so predmet evalvacije. Zato so posamezne evalvacije navadno le en segment kompleksnega procesa izobraževanja, ki kot take omogočajo odgovore na povsem določena vprašanja. V vsakem položaju posebej pa je nujno in smiselno presoditi, kaj vse je treba vključiti v evalvacijo z vidika ciljev in nalog, ki si jih v evalvaciji določimo.
Z razvojem in uvajanjem evalvacije so se v preteklosti razvili različni t. i. modeli evalvacij. Ti vključujejo različne pristope in vrste evalvacij, odvisno od njihovih ciljev in teoretskih paradigem, ki so izhodišče evalvacije (v izobraževanju izhajajo predvsem iz dveh paradigem, iz racionalistične in naturalistične).
V pedagoški praksi se je evalvacija usmerila večinoma na evalvacijo kurikuluma. J. Sagadin piše, da se v svetu v zadnjih dvajsetih letih intenzivno razvija metodologija t. i. kurikularne evalvacije ali evalvacije kurikulumov (curriculum evalvation) (J. Sagadin, 1991: 93). Razvoj kurikularne evalvacije pa spremlja večpomenskost pojma kurikulum. Tako različni avtorji, ki govorijo o kurikularni evalvaciji in jo opredeljujejo, različno pojmujejo sam pojem kurikuluma. Od tod so tudi razlike pri opredeljevanju posameznih modelov kurikularne evalvacije. J. Sagadin je v svoji razpravi o evalvaciji poskušal opredeliti pojmovanje kurikuluma, ki se pojavlja pri razpravljanju o kurikularni evalvaciji. J. Sagadin meni: »Poleg učnega načrta posameznega učnega predmeta (z učnimi, t. j. z vzgojnimi in izobraževalnimi cilji ter učno
4 / 1996
97
vsebino) zajemajo različni razpravljalci s kurikularno evalvacijo zlasti še proces uresničevanja učnega načrta (in pri tem učbenike in druga učila in učne pripomočke ter aktivnosti učiteljev in učencev). Lahko bi tudi rekli, da gre pri različnih razpravljalcih o kuri-kularni evalvaciji za rabo izraza kurikulum v pomenu neke vrste programskega paketa, ki vsebuje učni načrt in učna sredstva ter smernice (navodila in napotke) za izvedbo pouka.« (J. Sagadin, 1990:93)
Doslej je nastalo že več modelov kurikularne evalvacije, ki pa jih tu ne bom predstavljala. Za andragoško prakso so lahko ti mo deli le delno podlaga za izvajanje evalvacij v izobraževanju odraslih. Specifičnost andragoške prakse narekuje razvoj specifičnih modelov, ki se ne omejujejo le na »kurikularno evalvacijo«, temveč širše zajemajo proces izobraževanja. Poleg evalvacije izobraževalnega programa so za andragoško prakso zanimive tudi evalvacije strategij razvoja, sprejete v izobraževanju odraslih, evalvacije posameznih subjektov v andragoš.kem procesu idr. Za andragoško prakso so uporabne strategije in modeli evalvacije, ki se razvijajo in uporabljajo na širšem področju družboslovnega raziskovanja (npr. preučevanja učinkovitosti ukrepov socialne politike, posebnih programov in ukrepov na različnih področjih javnega dela in političnega odločanja, ukrepov aktivne politike zaposlovanja idr.).
Praksa kaže, da je skoraj vsaka evalvacija svojevrsten »model«, ki kombinira različne pristope in vrste evalvacij. V vseh modelih pa najdemo enake bistvene faze evalvacijske analize in metode zbiranja podatkov (čeprav gre za eksperiment ali kvazi-eksperiment, raziskavo primera, medinstitucionalni postopek, longitudinalno raziskavo, pluralistično evalvacijo idr.).
Bistvene postavke evalvacijskih analiz so:
1.	Opredelitev namena in ciljev evalvacije.
2.	Izbor udeležencev evalvacije.
3.	Izdelava načrta evalvacije ter posebej izdelava časovnega načrta evalvacije.
4.	Izdelava in izbira merskih instrumentov, metod, zbiranje in analiza podatkov.
5.	Priprava poročila (sprejemanje evalvacijskih odločitev).
6.	Poročanje o rezultatih.
Pomen poročanja poudarjajo še posebej v zadnjih letih, saj se je pokazalo, daje ta končna faza odločilna, če želimo, da rezultati evalvacijskih analiz dosežejo tiste, ki odločajo.
Najpogosteje uporabljene metode in tehnike zbiranja podatkov v evalvacijskih analizah pa so: intervju, vprašalniki (odprtega in zaprtega tipa), testi, vrednotenje izdelkov, opazovanje, analiza dokumentacije, gradiva, preučevanje primera, statistični postopki, potrebni za posploševanje podatkov idr.
V nadaljevanju bom predstavila metodologijo evalvacije programa izobraževanja, ki smo jo razvili in uporabili pri raziskovalnem projektu Evalvacija politike izobraževanja delovne sile, s poudarkom na izobraževanju brezposelnih.
Metodologija evalvacije izobraževalnega programa, ki vključuje (tudi) brezposelne3
Evalvacija izobraževanja brezposelnih posega na dve področji:
1.	v izobraževanje (izobraževalni proces) in
2.	v zaposlovanje (politiko zaposlovanja).
3 V evalvacijo smo zajeli dva izobraževalna programa, od katerih eden ni namenjen le brezposelnim, temveč so brezposelni vključeni v izobraževanje skupaj z drugimi udeleženci, ter izobraževalni program, ki je namenjen le mlajšim brezposelnim osebam.
Temeljni cilj izobraževanja brezposelnih, kot ukrepa aktivne politike zaposlovanja, je povečanje možnosti zaposlitve za brezposelne osebe. Če izhajamo iz tega globalnega cilja, lahko učinkovitost izobraževanja brezposelnih presojamo po tem, koliko to dejansko prispeva k višji zaposljivosti brezposelnih, ki so bili vključeni v določen program izobraževanja, v primerjavi s tistimi, ki niso bili vključeni v program izobraževanja. Menim, da je to lahko le eden od vidikov evalvacije izobraževanja brezposelnih.
Ker izobraževanje brezposelnih ne posega le v politiko zaposlovanja, temveč tudi v izobraževalni proces (izobraževanje), že po sami naravi izobraževanja in njegovih učinkov funkcije izobraževanja brezposelnih ne moremo zožiti le na zagotavljanje zaposljivosti, temveč se prav tako, kot se na splošno cilji izobraževanja vedno nanašajo na človekove ekonomske, socialne in psihološke potrebe, tudi cilji izobraževanja brezposelnih nanašajo na ekonomsko, socialno in psihološko razsežnost človeka.
Zato pri evalvaciji izobraževanja brezposelnih ne moremo izhajati le iz njegovega globalnega cilja, to je zaposljivosti brezposelnih, temveč tudi iz drugih ciljev, ki so del izobraževanja brezposelnih. To, kar dejansko v konkretni evalvaciji vključimo v preučevanje, pa je odvisno od postavljenih ciljev evalvacije in njenega namena (glede na to, ali gre za makro oziroma mikro evalvacijo, evalvacijo vključenih subjektov v izobraževanju brezposelnih, evalvacijo izobraževalnega programa v ožjem smislu idr.).
Na splošno lahko evalvacijo v izobraževanju brezposelnih delimo na evalvacijo na makro in na mikro ravni. Pri evalvaciji na makro ravni izhajamo iz globalnih in temeljnih ciljev izobraževanja brezposelnih in iščemo odgovore na naslednja vprašanja:
•	Ali so se brezposelnim, vključenim v programe izobraževanja, povečale možnosti za zaposlitev v primerjavi z brezposelnimi, ki niso bili vključeni?
•	Kateri programi in izvajalci so bolj uspešni?
•	Ali imajo posamezniki, ki so vključeni v program, večje finančne in socialne koristi in manjše finančne in socialne stroške?
•	Ali so programi izobraževanja ekonomsko in socialno uspešnejši od drugih programov za blažitev brezposelnosti in pospeševanje delovanja trga delovne sile?
•	Ali je izobraževanje pripomoglo k zmanjševanju negativnih posledic daljše brezposelnosti?
•	Ali rezultati izobraževanja opravičujejo vložena sredstva in prizadevanja kadrov?
Pri evalvaciji na mikro ravni, posameznega izobraževalnega programa, ugotavljamo njegovo učinkovitost z vidika njegovih specifičnih ciljev ter izvajanja samega procesa izobraževanja. Kot sem že zapisala, smo v našem raziskovalnem projektu izvedli evalvacijo na mikro ravni, evalvirali smo dva izobraževalna programa. Tako smo v evalvaciji dveh izbranih izobraževalnih programov v našem raziskovalnem projektu določili naslednje cilje:
1.	Ugotoviti stopnjo zaposljivosti vključenih brezposelnih v izbrani izobraževalni program.
2.	Ugotoviti vrsto dejavnosti posameznih subjektov v posamezni fazi izobraževanja brezposelnih (v širšem smislu, od svetovanja, vključitve in izvedbe izobraževanja do dejavnosti po končanem izobraževanju) ter kvaliteto in učinkovitost teh dejavnosti.
3.	Ugotoviti oblike, vsebino, pogostost in kvaliteto medsebojnega sodelovanja vseh vključenih subjektov v izobraževanju brezposelnih v izbranem izobraževalnem programu (v širšem smislu).

4 / 1996	21
4. Ugotoviti druge učinke, ki jih ima izobraževanje na brezposelne.
Pri oblikovanju metodologije evalvacije izobraževalnega programa, namenjenega (tudi) brezposelnim, smo izhajali iz spoznanja, da se izobraževanje brezposelnih ne začne šele z vključitvijo v program izobraževanja, temveč se začne na zavodu za zaposlovanje, s predstavitvijo možnosti izobraževanja, ki jo imajo brezposelni v zvezi z ukrepom aktivne politike zaposlovanja. Proces se nadaljuje z odločitvijo brezposelnega, da bo izkoristil ta ukrep, ko se bo začelo svetovanje za izbiro in vključitev v primeren program izobraževanja. V tej fazi sodelujejo trije subjekti, to so svetovalec zavoda za zaposlovanje (svetovalec za zaposlitev ali svetovalec za izobraževanje), brezposelna oseba in tudi že izobraževalna organizacija (vodja posameznega izobraževalnega programa), ki dajejo ustrezne informacije svetovalcu zavoda za zaposlovanje in tudi neposredno brezposelni osebi.
Z izbiro in vključitvijo v izobraževanje se v izobraževanju brezposelnih na eni strani še vedno ohrani stik brezposelnega s svetovalcem zavoda za zaposlovanje, na drugi strani se stik brezposelnega z izobraževalno organizacijo še okrepi, hkrati pa v stiku ostaneta tudi svetovalec zavoda za zaposlovanje in vodja izobraževalnega programa v izobraževalni organizaciji.
jejo kakšno informacijo ali pa se želijo vključiti v drugo vrsto izobraževanja idr.
Na koncu izobraževanja pa se izobraževanju brezposelnih priključi še en subjekt, to je delodajalec, ki zaposli brezposelnega, vključenega v določen program izobraževanja. Delodajalec, kot končni zunanji »uporabnik« rezultata procesa izobraževanja, je predvsem v stiku z brezposelnim, ki gaje zaposlil, posredno pa tudi z zavodom za zaposlovanje, ki daje delodajalcu vse potrebne podatke o brezposelnem, ki ga delodajalec zaposli, in z izobraževalno organizacijo, ki ji delodajalec lahko sporoča povratne informacije o učinkovitosti izobraževanja z vidika potreb delovnega procesa.
Iz predstavljenega procesa izobraževanja brezposelnih je razvidno, da so z vidika brezposelnega, kot osrednjega subjekta procesa izobraževanja, v tem procesu tri bistvene faze:
1.	Usmerjanje in svetovanje brezposelnim za izobraževanje, ki sta povezana z izbiro primernega programa izobraževanja in izvajalca izobraževanja.
2.	Potek izobraževanja in spremljanje brezposelnega med izobraževanjem.
3.	Konec izobraževanja, ugotavljanje učinkovitosti izobraževanja ter svetovanje po končanem izobraževanju.
V teh treh fazah procesa svetovanja in izobraževanja pa se pojavljajo štirje subjekti:
1.	svetovalec zavoda za zaposlovanje,
2.	brezposelna oseba,
3.	vodja izobraževalnega programa v izobraževalni organizaciji,
4.	delodajalec, ki zaposli brezposelnega, ki je končal določen program izobraževanja.
Pri neposredni izvedbi izobraževalnega programa so pomemben subjekt tudi neposredni izvajalci tega programa (predavatelji), vendar so poglavitni in odgovorni strokovni nosilci izvedbe programa vodje izobraževalnega programa, ki lahko pri evalvaci-ji izobraževalnega programa dajejo tudi vse ustrezne podatke o izvajalcih izobraževalnega programa.
Pri evalvaciji posameznega izobraževalnega programa moramo v evalvacijo vključiti vse tri faze izobraževalnega procesa ter vse štiri subjekte, nosilce svetovanja in izobraževanja. Vsaka od navedenih faz izobraževalnega procesa ima svoje specifičnosti in bistvene elemente, ki opredeljujejo vlogo posameznih subjektov v posameznih fazah tega procesa.
Shematično ponazarjamo povezanost in prepletenost vseh štirih subjektov:
/------s,
izobraževalna organizacija (strokovni vodja izobraževalnega programa)

Po končanem izobraževanju se medsebojni stiki med vključenimi subjekti še vedno ne pretrgajo v celoti. Brezposelna oseba je do zaposlitve še zmeraj povezana s svojim svetovalcem na zavodu za zaposlovanje, o določenih vprašanjih se po končanem izobraževanju še vedno pogovarjata tudi svetovalec zavoda za zaposlovanje in vodja izobraževalnega programa, pogosto pa vodja izobraževalnega programa da vključenim brezposelnim možnost, da z njim ohranijo stik tudi po izobraževanju, bodisi da potrebu-
svetovalec zavoda za zaposlovanje
ZAPOSLENI
delovna organizacija (delodajalec)
Poglavitne dejavnosti posameznih subjektov v izobraževanju brezposelnih, ki jih moramo upoštevati, kadar opredeljujemo metodološke podlage evalvacijskih analiz, so:4
4 Vsaka od navedenih dejavnosti je v vprašalniku za posamezen su-
bjekt natančneje razčlenjena. Vprašanja, ki so zajela dejavnosti in vse njihove elemente, so sestavni del objavljenega končnega poročila o raziskovalnem projektu. Vprašalniki so v prilogah (str. 171-198).
4 / 1996
29
1.	Brezposelni:
•	odločitev za izobraževanje;
•	posredovanje ustreznih podatkov;
•	sodelovanje s svetovalcem zavoda za zaposlovanje in vodjo izobraževalnega programa pred izobraževanjem, med njim in po njem;
•	vključitev v izobraževanje;
•	ocenjevanje uspešnosti in učinkovitosti izobraževanja.
2.	Svetovalec zavoda za zaposlovanje:
•	svetovanje brezposelnemu za izobraževanje (pred izobraževanjem, med njim in po njem);
•	opredelitev meril za izbor programa izobraževanja, izvajalca izobraževanja in brezposelnega, ki se bo vključil v izobraževanje;
•	spremljanje brezposelnega med izobraževanjem;
•	stik z izobraževalno organizacijo pred izobraževanjem, med njim in po njem;
•	vrednotenje učinkovitosti izobraževanja;
•	stik z delodajalci (predvsem po izobraževanju, zaželen pa je tudi pred in med njim).
3.	Vodja izobraževalnega programa v izobraževalni organizaciji:
•	svetovanje brezposelnemu pred izobraževanjem, med njim in po njem;
•	stik z zavodom za zaposlovanje pred izobraževanjem, med njim in po njem;
•	organizacija in spremljanje izvedbe izobraževanja;
•	vrednotenje kvalitete izvedbe izobraževanja (med izobraževanjem in na koncu izobraževanja);
•	stik z delodajalci (predvsem po izobraževanju, po potrebi pa tudi pred njim in med njim).
4.	Delodajalci:
•	vrednotenje učinkovitosti izobraževanja;
•	sodelovanje z zavodom za zaposlovanje in izobraževalno organizacijo (pri zaposlovanju brezposelnega in pri spodbujanju k spremembam sedanjih programov izobraževanja ali k pripravi novih programov izobraževanja ter tudi k sodelovanju pri razvoju strategije izobraževanja brezposelnih v lokalni skupnosti).
Vse naštete dejavnosti posameznih subjektov se med seboj prepletajo in dopolnjujejo. Čim več je medsebojnega sodelovanja, večja je uspešnost, učinkovitost in kvaliteta izvedenega izobraževanja brezposelnih.
Za pridobitev podatkov o navedenih dejavnostih posameznih subjektov smo za evalvacijo izobraževalnega programa v širšem smislu pripravili štiri vprašalnike:5
1.	vprašalnik za svetovalce zavodov za zaposlovanje;
2.	vprašalnik za vodjo izobraževalnega programa;
3.	vprašalnik za brezposelne, vključene v izbrani izobraževalni program;
4.	vprašalnik za delodajalce, ki so zaposlili brezposelne, vključene v izbrani izobraževalni program.
S svetovalci zavodov za zaposlovanje in z vodji izbranega izobraževalnega programa smo opravili intervju, brezposelnim, vključenim v izobraževanje, in delodajalcem pa smo anketni vprašalnik poslali po pošti.
5 Vprašalniki so objavljeni v navedenem končnem poročilu.
Predstavila bom še navedene dejavnosti oziroma elemente posameznih subjektov po fazah procesa izobraževanja (v širšem smislu) ter pri vsaki dejavnosti oziroma elementu navedla v oklepaju, katere subjekte smo o tem povprašali za mnenje:6
1.	Usmerjanje in svetovanje za vključitev v izobraževalni program
a)	populacija, ki jo usmerjamo v program (zavod za zaposlovanje, izobraževalna organizacija, brezposelni);
b)	usmerjevalci in svetovalci brezposelnim za izobraževanje (zavod za zaposlovanje, izobraževalna organizacija);
c)	svetovalci in usmerjevalci ter njihovo poznavanje izobraževalnega programa (zavod za zaposlovanje, izobraževalna organizacija);
d)	kvaliteta usmerjanja in svetovanja (zavod za zaposlovanje, izobraževalna organizacija, brezposelni).
2.	Potek izobraževanja in spremljanje brezposelnega med izobraževanjem
e)	kvalitativna merila za izvedbo programa (zavod za zaposlovanje, izobraževalna organizacija, brezposelni, delodajalci);
f)	drugi, zlasti finančni, pogoji za izvedbo programa (zavod za zaposlovanje, izobraževalna organizacija);
g)	spremljanje poteka izobraževanja (zavod za zaposlovanje, izobraževalna organizacija, brezposelni).
3.	Konec izobraževanja in svetovanje ter usmerjanje po končanem izobraževanju
h)	vloga svetovanja po končanem izobraževanju (zavod za zaposlovanje, izobraževalna organizacija, brezposelni, delodajalci);
i)	preverjanje kvalitete programa po končanem izobraževanju (izobraževalna organizacija, brezposelni);
j) ocena sodelovanja med subjekti v izobraževanju (zavod za zaposlovanje, izobraževalna organizacija, brezposelni, delodajalci).
Iz vprašalnikov, s katerimi smo zbirali podatke, smo pri evalva-ciji dveh izbranih izobraževalnih programov dobili veliko podatkov, ki smo jih obdelali kvantitativno in kvalitativno. Pri kvantitativni obdelavi smo uporabili izračun absolutnih in kumulativnih frekvenc ter Cramerjev koeficient (mera stopnje povezanosti).
Pridobljene podatke o brezposelnih, ki so bili vključeni v dva izbrana izobraževalna programa, pa smo primerjali tudi s podatki o brezposelnih, ki niso bili v opazovanem obdobju vključeni v noben ukrep aktivne politike zaposlovanja, torej niso bili vključeni tudi v noben program izobraževanja. V evalvaciji smo tako uporabili t. i. »kvazieksperiment«. To pomeni, da smo skupino brezposelnih, ki so bili vključeni v izobraževanje, poimenovali »naravno« eksperimentalno skupino. Primerjali smo jo z drugo, t. i. »kontrolno« skupino, ki je bila z eksperimentalno izenačena po določenih poglavitnih značilnostih. Te lahko vplivajo na končni rezultat, ki je predmet preučevanja (merjenja), skupini pa nista bili izpostavljeni zunanjemu »vložku«, v našem primeru izobraževanju. Zal nam čas in podatki, ki smo jih imeli na voljo, niso omogočili, da bi tudi za kontrolno skupino pridobili več podatkov, na primer s posebnim vprašalnikom, ki bi bili osnova za bolj natančno primerjavo razlik in vzrokov za razlike med eno in drugo skupino. Tako smo izenačeni skupini, eksperimentalno in kontrolno, primerjali le z vidika merila zaposljivosti, to pomeni, da smo ugotavljali, kolikšen delež enih in drugih se je v opazovanem obdobju zaposlil.7
6	Podrobneje so te dejavnosti in elementi razčlenjeni po fazah v navedenem raziskovalnem poročilu, str. 143-150.
7	Rezultati so podrobneje predstavljeni v navedenem končnem poročilu.
4 / 1996	23
Evalvacija izbranih dveh izobraževalnih programov je potekala šest mesecev. Posebno pozornost smo namenili pripravi poročila o rezultatih evalvacije z oblikovanimi predlogi za spremembo tistih dejavnosti in posameznih elementov dejavnosti, ki so se v evalvaciji pokazale kot manj kvalitetne in učinkovite. Za svetovalce zavodov za zaposlovanje smo posebej organizirali predstavitev rezultatov in predlogov ter metodologije evalvacije izobraževalnega programa, s ciljem, da bi del pripravljenih instrumen-tarijev lahko uporabljali tudi pri svojem delu.
Sklepne misli
Na koncu bi rada še enkrat poudarila, da pri ugotavljanju učinkovitosti izobraževanja brezposelnih na mikro ravni, na ravni posameznega izobraževalnega programa, ni dovolj, da ugotavljamo učinkovitost le z vidika globalnega cilja usmerjanja brezposelnih v izobraževanje, to je zagotavljanje boljših možnosti za zaposlitev, in z vidika specifičnih ciljev, ki so opredeljeni v posameznem programu, temveč moramo učinkovitost izobraževanja vrednotiti na osnovi analize uspešnosti in učinkovitosti posameznih faz in njihovih elementov ter vseh subjektov izobraževalnega procesa v širšem smislu. Tako zajamemo v ta proces izobraževanja brezposelnih že samo svetovanje za izobraževanje, od vključitve v izobraževanje in poteka izobraževanja do njegovega konca in izvajanja nekaterih dejavnosti, povezanih s konkretnim programom izobraževanja, ki potekajo po končanem izobraževanju.
Če razmišljam, koliko so v prispevku predstavljena metodološka izhodišča evalvacije izobraževalnega programa, namenjenega (tudi) brezposelnim, uporabna tudi za evalvacijo izobraževalnega programa, namenjenega katerikoli ciljni skupini odraslih, menim, da so opredeljene faze, dejavnosti in elementi teh dejavnosti lahko podlaga za evalvacijo kateregakoli izobraževalnega programa, namenjenega odraslim, tako da posamezne kategorije in elemente smiselno prilagodimo ciljni skupini, kije vključena v izobraževanje, in drugim vključenim subjektom v izobraževalni proces (v širšem smislu). Osnovni pristop k evalvaciji, potek in izvedba pa so uporabni za vse izobraževalne programe, namenjene odrasli populaciji.
Ker se zavedam, da so evalvacijske analize posameznega izobraževalnega programa z vidika obsega dela, potrebnega časa ter navsezadnje tudi z vidika finančnih sredstev obsežno delo, predlagam, da tako celovito zastavljeno evalvacijo izobraževalnega programa vnaprej dobro pretehtamo, da ne bi zapravljali časa in denarja ter strokovnih moči za programe, ki bi jih lahko evalvira-li z enostavnejšimi pristopi. Vemo namreč, da je izobraževalni program učinkovit, a želimo spremeniti le posamezne segmente. Take celovite evalvacijske analize je smiselno delati za izobraževalne programe, na primer za tiste s širšim nacionalnim pomenom, za izobraževalne programe za specifične ciljne skupine v izobraževanju odraslih, ki naj bi imeli dolgoročne učinke, pomembne tudi z vidika družbeno-gospodarskega razvoja, za izobraževalne programe, ki jih načrtujemo za daljše obdobje, vendar želimo preveriti njihovo učinkovitost ter ugotoviti potrebne spremembe ipd.
V izobraževalni praksi pa je smiselno, da vsak od vključenih subjektov posebej spremlja potek izobraževalnega procesa, in sicer z vidika svoje vloge v tem procesu in potrebnih povezav z drugimi subjekti ter na osnovi takšnih samoevalvacijskih analiz, ki pa jih občasno dopolni tudi z evalvacijskimi analizami tistih subjektov, ki lahko sporočijo pomembne podatke o izobraževalnem programu (zavodu za zaposlovanje ali izobraževalni organizaciji lahko na primer takšne podatke sporočijo bodisi brezposelni, izobraževalna organizacija bodisi delodajalci). Pomembna je
priprava ustreznih instrumentarijev za sprotno evalviranje izobraževalnega procesa (bodisi v ožjem bodisi v širšem pomenu). Smiselna je, poleg v praksi uveljavljenih kratkih vprašalnikov, uporaba vprašalnikov z bolj natančno opredeljenimi dejavnostmi in njihovimi elementi, priprava ustreznih protokolov (vnaprej pripravljeni obrazci) za zapisovanje podatkov, seznami za zapisovanje pojavnosti vnaprej predvidenih elementov ipd. (analiza dokumentacije, analiza primera idr.). Za evalvacijo morajo biti jasno opredeljeni cilji in merila, da bodo v skladu z njimi dobljene podatke tudi ovrednotili.
Resda bodo prve priprave evalvacijskih analiz (predvsem ustreznih vprašalnikov in protokolov ali seznamov za zapisovanje podatkov) vzele nekoliko več časa, a menim, da bodo dolgoročno rezultati takšnih analiz pokazali pozitivne učinke v zvezi z zagotavljanjem višje kvalitete in učinkovitosti izobraževanja, poleg tega pa bodo vse nadaljnje evalvacijske analize mnogo lažje, ker se veliko vprašanj, opredeljenih elementov in dejavnosti ter izdelanih protokolov ali seznamov za zapisovanje podatkov lahko uporabi v različnih okoliščinah, z minimalnimi spremembami.
mag. Tanja Vilič-Klenovšek
raziskovalka na Andragoškem centru Slovenije
Literatura
H. S. Bhola, Evaluating »Literacy for Development« Projects, Programs and Campaigns. Unesco Institute for Education, German Foundation for International Development (DSE), 1990.
Sonja Drobnič, Evalvacijske študije zaposlitvenih programov. V: Zaposlovanje, perspektive, priložnosti, tveganja. Zbomik. Znanstveno in publicistično središče, Ljubljana, 1990, str. 227-254.
Arden D. Grotelueschen, Programe Evaluation, V: Alan B. Knox and Associates, Developing, Administering, and Evaluating Adult Education. Jossey-Bass Publishers, San Francisco, London, 1989.
Alenka Janko, Evalvacija v programih funkcionalnega opismenjevanja, diplomsko delo. Filozofska fakulteta, Univerza v Ljubljani, Ljubljana, 1993.
dr. Nikola Pastuovič, Teoretična in metodična izhodišča razvoja programov, V: Programi, oblike in metode izobraževanja odraslih. Andragoški center R Slovenije, Ljubljana, 1994 (RP Izobraževanje odraslih kot dejavnik razvoja Slovenije, raziskovalno poročilo, 2).
Janez Sagadin, Razprave iz pedagoške metodologije. Filozofska fakulteta, Znanstveni inštitut Filozofske fakultete, Ljubljana, 1991.
Vrednotenje v izobraževanju odraslih. Andragoško društvo Slovenije, Ljubljana, 1987.
4 / 1996
31