Pogledi na vodenje Sistematiˇ cenpristopkmerjenju uˇ cinkovitostiizobraževanja zaposlenih:prenosKirkpatrickovega modelavprakso MonikaŠpital Filozofska fakulteta Univerze vLjubljani EvaBoštjanˇ ciˇ c Filozofska fakulteta Univerze vLjubljani Namen raziskave je bil ugotoviti, kako vodje vzgojno-izobraževalnih zavodov merijo uˇ cinkovitost izobraževanj, ki se jih udeležijo zaposleni. Izhajali smo iz praktiˇ cnih spoznanj, da delodajalci spodbujajo, financirajo in izvajajo izobraževanja zaposlenih, redkeje pa preverjajo njihovo uˇ cinkovitost. V raziskavi je sodelovalo 61 vodij razliˇ cnih vzgojno-izobraževalnih zavodov in organizacij, povezanih z vzgojo in izobraževanjem. Udeleženci so rešili vprašalnik, s katerim smo posredno merili, kakopogostopreverjajo dosežene izobraževalne cilje zaposlenih po Kirkpatrickovem modelu. Rezultati so pokazali, da vodje najpogosteje preverjajo uˇ cinkovitost izobraževanj neposredno po izvedenem izobraževanju, in sicer na ravni odzivov udeležencev. V povpreˇ cju nekoliko manj pogosto merijo uˇ cinkovitost izobraževanj zaposlenih na ravni uˇ cenja, sledi raven rezultatov za vzgojno-izobraževalni zavod, najredkeje pa jo preverjajo na ravni vedenja zaposlenih po doloˇ cenem ˇ casu. Glede na to, da k zanesljivemu in veljavnemu merjenju uˇ cinkovitosti sodi vrednotenje na vseh ravneh, rezultati kažejo, da vodje v praksi tega ne upoštevajo dovolj. Ugotavljamo, da lahko predstavljeni model ponudi ustrezno podporona vseh ravneh usposabljanja in izobraževanja zaposlenih. Kljuˇ cne besede: izobraževanje zaposlenih, Kirkpatrickov model, merjenje uˇ cinkovitosti izobraževanj Uvod Številorazliˇ cnihizobraževanjinusposabljanjzazaposlenenapod- roˇ cjuvzgojeinizobraževanjavseboljnarašˇ ca.Tolahkopripišemo uvajanju t.i. uˇ ceˇ cih se organizacij (Garvin 1993), ki so sposobne ustvarjati, pridobivati in prenašati znanje ter spreminjati vedenje tako, da to odseva novo znanje in razumevanje stvari ter pojavov. Uˇ ceˇ ceseorganizacije sonastalezaradinarašˇ cajoˇ cih potreb pora- vodenje 2|2019: 25–37 Monika Špital in Eva Boštjanˇ ciˇ c zvoju družbe znanja, ki sistematiˇ cno in naˇ crtno spodbuja vseživ- ljenjsko uˇ cenje, vseživljenjsko izobraževanje, kontinuirano uˇ ce- nje in permanentno izobraževanje kot procese, ki se ne konˇ cajo z zakljuˇ ckom formalnega izobraževanja, temveˇ c se nadaljujejo v vseh življenjskih obdobjih, tudi med aktivno zaposlitvijo. Tako za- radi potreb trga narašˇ ca tudi število ponudnikov, ki ponujajo šte- vilna formalna izobraževanja; opredelimo jih lahko kot nameren in naˇ crtovan proces, ki ga posameznik uspešno zakljuˇ ci z javno priznano listino in ki priˇ ca o doloˇ ceni stopnji formalne izobraz- be. V praksi se zaposleni najpogosteje udeležujejo usposabljanj, organiziranih v obliki predavanj, delavnic, treningov, konferenc, ki so bolj povezana z vsebinami delovnega okolja ter so namenje- na uˇ cenju konkretnih spretnosti in postopkov. Ob formalnih obli- kahizobraževanjvzporednopotekajoneformalne,kijihJelencidr. (1991) definirajo kot vsako organizirano dejavnost zunaj formal- nega sistema, ki je namenjena doloˇ ceni skupini in ima doloˇ cene uˇ cne cilje. Ob tem pa se pojavlja vprašanje, kako izmeriti, kate- ra izobraževanja so uˇ cinkovita in katera ne, katera usposabljanja vplivajo na veˇ cjo uˇ cinkovitost in zavzetost zaposlenih ter katera na razvoj kompetenc, potrebnih za vzgojno-izobraževalni proces. Vprašamo se lahko tudi, ali se ˇ casovni, organizacijski ter finanˇ c- ni vložek, tako zaposlenega kot delodajalca, povrne. Zato smo se lotili raziskovanja, katere so v slovenskih vzgojno-izobraževalnih ustanovah najpogostejše prakse privrednotenju uˇ cinkovitosti izo- braževanja. V raziskavi smo preverjali, kako pogosta je uporaba razliˇ cnih naˇ cinov vrednotenja izobraževanj, in sicer na ravni od- zivov (zadovoljstvo udeležencev z izobraževanjem neposredno po izvedenem izobraževanju), uˇ cenja (pridobljeno znanje in vešˇ ci- ne),vedenja(spremembevvedenjuudeležencapodoloˇ cenem ˇ ca- su)inrezultatov (posledice izobraževanja zavzgojno-izobraževal- no ustanovo). Teoretiˇ cnaizhodišˇ cazaugotavljanjeuˇ cinkovitostiizobraževanj Uˇ cinkovitostizobraževanjmerimosstopnjopridobljenihvešˇ cinin znanja, ki so jih udeleženci pridobili med treningom ter jih znajo uporabiti.Dabiugotovili,kateraizobraževanjasouˇ cinkovitejša,je treba narediti naˇ crt za evalvacijo ter ovrednotiti izvedeno izobra- ževanje. Morrison (2003) meni, da je idealna evalvacijska meto- da zanesljiva, veljavna, sprejemljiva in ni draga. Poleg tega mora vsebovati tako subjektivna kot objektivna merila ter kvalitativne in kvantitativne pristope. Abdulghani idr. (2014) ugotavljajo, da 26 Sistematiˇ cen pristop k merjenju uˇ cinkovitosti izobraževanja zaposlenih takšne evalvacije pospešijo razvoj ter izboljšajo uˇ cinkovitost izo- braževanj. V Sloveniji je bilo izvedenih že nekaj raziskav, ki so preuˇ cevale izobraževanje in usposabljanje zaposlenih v vzgojno-izobraževal- nih zavodih. Ena izmed njih je mednarodna raziskava pouˇ ceva- nja in uˇ cenjatalis. Prvi izsledki kažejo, da je Slovenija na veˇ cini podroˇ cij po številu izobraževanj ter usposabljanj uˇ citeljev in rav- nateljev nad povpreˇ cjem oecd(glej http://talispei.splet.arnes.si). Glede na to, da so uˇ citelji in ravnatelji deležni precejšnjega števi- la izobraževanj, je pomembno, da so ta kakovostna. Uˇ citelji sicer menijo, da so dejavnosti, ki gradijo predmetno znanje, zagotavlja- joaktivenpoukinomogoˇ cajo nadaljevalne dejavnosti, uˇ cinkovite. Da bi dobili bolj celostno sliko o uˇ cinkovitosti usposabljanj, pa jo moramo meriti na razliˇ cnih ravneh. Ena izmed najbolj uveljavljenih in najpogostejših metod za merjenje uˇ cinkovitosti izobraževanj je merjenje s pomoˇ cjo Kirk- patrickovega modela. Gre za metodo, ki se pojavlja v marsikateri raziskavi o uˇ cinkovitosti izobraževanj (Arthur idr. 2003). Ker je priljubljena, jo veˇ ckrat zasledimo tudi v metaanalizah, v katerih raziskovalci preverjajo, kako uˇ cinkovita so specifiˇ cna izobraževa- njanarazliˇ cnihravnehmodela. Kirkpatrickov model seuporablja kot metoda za vrednotenje uˇ cinkovitosti na razliˇ cnih podroˇ cjih, kot je npr.zdravstvo (Yardley inDornan2012), izobraževanje (Lo- ve idr. 2016), vodenje (Lacerenza idr. 2017) in še na številnih dru- gih. Donald Kirkpatrick navaja štiri ravni merjenja uˇ cinkovitosti izobraževanj: raven odzivov, raven uˇ cenja, raven vedenja in ra- ven rezultatov (Petrone 2017). Kirkpatrick in Kirkpatrick (2007) menita, da je treba pri evalvaciji zaˇ ceti na ravni odzivov, nato pa nadaljevati do ravni rezultatov. Nekateri avtorji ugotavljajo, da vr- stnirednitako pomembenkakorto,daizobraževanje vrednotimo na razliˇ cnih ravneh. ˇ Ce želimo doseˇ ci kar najveˇ cjo veljavnost in zanesljivost merjenja, moramo izobraževanje ovrednotiti na vseh ravneh. Metode, ki jih uporabljamo na posamezni ravni, morajo biti ra- znolike. Zagotoviti morajo tako kvalitativne kot kvantitativne po- datke. V proces vrednotenja je dobro vkljuˇ citi izvajalca, udele- žence izobraževanja, druge zaposlene in vodje, da je ocenjevanje uˇ cinkovitosti ˇ cim bolj veljavno in objektivno. O merjenju uˇ cinko- vitostijetrebarazmišljatižepredizobraževanjem, koanaliziramo potrebevzgojno-izobraževalnega zavodaindoloˇ camociljeizobra- ževanja. S pomoˇ cjo ustrezne metode dobimo vpogled v to, kakšno 27 Monika Špital in Eva Boštjanˇ ciˇ c se je udeležencem zdelo izobraževanje (odzivi), kaj vse so se na- uˇ cili (uˇ cenje/znanje), kako se to znanje kaže v njihovem vedenju na delovnem mestu (vedenje) ter kakšno vrednost ima to izobra- ževanje za vzgojno-izobraževalni zavod (rezultati). Glede narazširjenostinpogostouporabolahkosklepamo,daje Kirkpatrickov model koristen in uporaben, kljub temu pa je mo- goˇ ce zaslediti tudi nekatere kritike. Alliger in Janak (1989 v Mi- gliˇ c 2005) nista potrdila vzroˇ cne povezanosti med ravnmi modela, ki jo predpostavlja Kirkpatrick. Avtorja raziskave ugotavljata, da tako dober kakor slab odziv enako dobro napovedujeta uˇ cenje in vedenjskespremembe,karjevnasprotjuspredpostavkamimode- la. Njuni rezultati namreˇ c kažejo, da v vedenju ali rezultatih ude- ležencev ni bilo pozitivnih sprememb, ˇ cetudi so ti izobraževanje pozitivno ovrednotili in so pokazali doloˇ ceno stopnjo na novo pri- dobljenega znanja. Poleg tega nista našla povezav med uˇ cenjem in vedenjem ter med vedenjem in rezultati na ravni organizacije. JimKirkpatrickinWendyKirkpatrickstarazvilanovmodelvre- dnotenja uˇ cinkovitosti izobraževanj, ki temelji na prvotnem Kirk- patrickovem modelu, a za zdaj kljub temu pogosteje uporablja- jo prvotni model (glej www.kirkpatrickpartners.com). V novejših raziskavah lahko poleg omenjenega modela zasledimo še upora- bo drugih metod za merjenje uˇ cinkovitosti izobraževanj. Novejše raziskave opozarjajo, da sta razumevanje in vrednotenje uˇ cinko- vitosti izobraževanj na ravni vedenja in rezultatov pomembni, ˇ ce- pravtovpraksinitakopogostokakorvrednotenjenaprviindrugi ravni (Kennedy idr. 2014). Kirkpatrickovmodelmerjenjauˇ cinkovitostiizobraževanj Spomoˇ cjoKirkpatrickovega modelajemogoˇ cenarazliˇ cnenaˇ cine meriti uˇ cinkovitost izobraževanj. Uporabimo ga, kadar izobraže- vanje izvedemo sami ali kadar bi radi preverili uˇ cinkovitost izo- braževanja, ki ga nekdo drug pripravi za nas. S pomoˇ cjo te me- tode lahko sistematiˇ cno ugotavljamo, ali smo dosegli cilje izobra- ževanja na razliˇ cnih ravneh. Preverimo lahko zadovoljstvo, zna- nje,spremembevvedenjuudeležencevizobraževanjainvplive,ki jihima izobraževanje napodjetje ali vzgojno-izobraževalni zavod. Kirkpatrick(1998)poudarja,dajeizobraževanjasmiselnovredno- titi, saj tako upraviˇ cimo, zakaj so pomembna za doseganje ciljav vzgojno-izobraževalnega zavoda. S pomoˇ cjo vrednotenja se laže odloˇ cimo, ali bomo takšna izobraževanje izvajali tudi v prihod- nje, in jih po potrebi prilagodimo. Evalvacija omogoˇ ca tudi laž- 28 Sistematiˇ cen pristop k merjenju uˇ cinkovitosti izobraževanja zaposlenih je spremljanje izobraževanj. Model lahko uporabimo za evalvaci- jo kakršnih koli izobraževanj, saj je zelo fleksibilen. Uporabljajo galahko takovodje vvzgojno-izobraževalnih zavodih kotizvajalci izobraževanj,kadarhoˇ cejopreveritinjihovouˇ cinkovitost.Uporab- ljajo ga tudi raziskovalci, ko ugotavljajo, katera izobraževanja so za posamezno populacijo in doseganje ciljev najprimernejša. Za merjenje uˇ cinkovitosti izobraževanja je kljuˇ cno, da najprej analiziramopotrebevvzgojno-izobraževalnemzavodu.Takoizve- mo, katera znanja in vešˇ cine bodo zaposlenim pomagala do veˇ cje uˇ cinkovitosti in produktivnosti. Za tem, ko analiziramo potrebe, doloˇ cimo cilje izobraževanja. Ko doloˇ cimo potek in organizacijo izobraževanja, doloˇ cimo tudi metode in pripravimo naˇ crt, kako bomo izobraževanje ovrednotili. Vrednotenje s pomoˇ cjo Kirkpat- rickovegamodelasezaˇ cnetakojpokonˇ canemizobraževanju,pri- praveinmeritvepredhodnegastanjapapotekajo žeprej(Kirkpat- rick in Kirkpatrick 2007). Z modelom vrednotimo izobraževanje na štirih ravneh: Naprviravni(ravenodzivov)seosredotoˇ camonato,kakoso izobraževanje sprejeli udeleženci. Neposredno po izobraže- vanju s pomoˇ cjo vprašalnikov merimo njihovo zadovoljstvo in preverimo, kakšno se jim je zdelo izobraževanje. Na drugi ravni (raven uˇ cenja/znanja) merimo znanje in veš- ˇ cine,kisojihudeležencipridobilimedizobraževanjem.Oce- njevalci lahko to preverijo s pomoˇ cjo testov na papirju ali spletnih testov, s katerimi merijo znanje ali pridobljene kog- nitivnevešˇ cine.Znanjeinvešˇ cineudeležencevlahkoizmeri- mopredizobraževanjeminponjemterprimerjamorezultate udeležencev in kontrolne skupine. Znanje lahko preverimo tudi s pomoˇ cjo opazovanja. Nekaj mesecev po izobraževanju na tretji ravni (raven vede- nja) preverjamo, koliko lahko udeleženci pridobljeno znanje in vešˇ cine uporabljajo na delovnem mestu. Gre za pozitiv- ne spremembe v njihovem vedenju in uˇ cinkovitosti pri de- lu. Preverjamo jih z opazovanjem, intervjuji, metodo 360° in vprašalniki (Kirkpatrick in Kirkpatrick 2007). ˇ Cetrta raven (raven rezultatov) je za vzgojno-izobraževal- ni zavod najpomembnejša, saj meri izid izvedenih izobraže- vanj. Na tej ravni upoštevamo rezultate veˇ cje produktivnosti zaposlenih, ki so se udeležili izobraževanja (Abdulghani idr. 2014). To lahko preverjamo s pomoˇ cjo meril, ki jih vzgojno- izobraževalni zavod uporablja za merjenje uˇ cinkovitosti za- 29 Monika Špital in Eva Boštjanˇ ciˇ c poslenih, ˇ ce ta merila vkljuˇ cujejo vešˇ cine ali znanja, prido- bljene na izobraževanju (Kirkpatrick in Kirkpatrick 2007). Kirkpatrick predpostavlja, da si ravni sledijo zaporedoma – od ravni odzivov do ravni rezultatov. Meni, da je evalvacija izobra- ževanj bolj veljavna, ˇ ce izobraževanje presojamo na vseh ravneh, predvsem pa na ravni rezultatov (Newstrom 1978). UporabaKirkpatrickovegamodelavpraksi Kljub razširjenosti Kirkpatrickovega modela v tujini pa ga v Slo- veniji niso velikokrat uporabili. Med raziskavo smo opravili tudi pilotnepolstrukturiraneintervjujezizvajalciizobraževanjvSlove- niji. V njih so poroˇ cali, da v praksi zelo redko uporabljajo modele zamerjenjeuˇ cinkovitosti. Veˇ cinomasvojaizobraževanja evalvira- jo zgolj na ravni odzivov, ˇ ceprav bi si želeli, da bi jih lahko ovre- dnotili bolj poglobljeno. Vzroka za to sta bodisi nezainteresiranost naroˇ cnikov bodisi pomanjkanje sredstev ali ˇ casa. Eden od razlogov za ne ravno pogosto rabo te metode je torej prepriˇ canje o njeni neekonomiˇ cnosti, ˇ cetudi nam ponuja vpogled v pomembne informacije o uˇ cinkovitosti izobraževanja. Glede na to, da vzgojno-izobraževalni zavodi v izobraževanja vlagajo vedno veˇ cdenarja,jemerjenjeuˇ cinkovitostizelosmiselno.Pokonˇ canem izobraževanju lahko tako preverijo, kako je to vplivalo na vedenje zaposlenihnadelovnemmestu,terkakšnesokoristi,kijihizobra- ževanje prinaša vzgojno-izobraževalnemu zavodu. Menimo, da je ena od omejitev tudi splošnost modela, saj mo- rajo uporabniki samostojno izbrati metode, s katerimi bodo oce- njevali izobraževanja na posameznih ravneh. Izvajalec merjenja uˇ cinkovitostimorapoznatinaˇ cine,kiuˇ cinkovitostmerijozaneslji- vo in veljavno, zato metoda ni primerna za vse. ˇ Ce priprava ni ustrezna,lahkopride donapak primerjenjuinpristranskihrezul- tatov. Vˇ casih je uˇ cinke izobraževanj težko oddvojiti od drugih de- javnikov, ki vplivajo na spreminjanje vedenja zaposlenih, ter re- zultatov vzgojno-izobraževalnega zavoda. Merjenje uˇ cinkovitosti zahteva veliko priprav, ˇ casa in sredstev, kar je prav tako omejitev, ki vpliva na uporabo Kirkpatrickovega modela. Raziskovalnametodainmerskipripomoˇ cki V spletni raziskavi je sodelovalo 61 vodij vzgojno-izobraževalnih zavodov ali organizacij, ki so povezane z vzgojo in izobraževa- njem. Uporabili smo anketni vprašalnik, ki je zajemal podatke 30 Sistematiˇ cen pristop k merjenju uˇ cinkovitosti izobraževanja zaposlenih o vzgojno-izobraževalnem zavodu in številu izobraževanj, ki so se jih v zadnjem letu udeležili zaposleni. Vprašanja so upošteva- la razliˇ cne ravni merjenja uˇ cinkovitosti izobraževanj po Kirkpat- rickovem modelu. Sodelujoˇ ci v raziskavi so odgovarjali, kako pogosto po izvede- nem izobraževanju preverjajo naslednje: 1. Kako so bili udeleženci zadovoljni z vsebino izobraževanja? (raven odzivov) 2. Kakosobili udeleženci zadovoljni zorganizacijo izobraževa- nja? (raven odzivov) 3. Katera znanja so udeleženci pridobili na izobraževanju? (ra- ven uˇ cenja) 4. Katere spretnosti so udeleženci zaradi izobraževanja izbolj- šali? (raven uˇ cenja) 5. Ali zaposlene in sodelavce povprašajo, katere spremembe v vedenju udeležencev izobraževanj zaznajo veˇ c mesecev po izobraževanju? (raven vedenja) 6. Ali nekaj mesecev po izobraževanju preverjajo, kako se je spremenilo vedenje udeležencev izobraževanj? (raven vede- nja) 7. Kakšne spremembe v kakovosti dela vzgojno-izobraževal- nega zavoda je prineslo izobraževanje zaposlenih? (raven rezultatov) 8. Kakojeizobraževanjevplivalonaproduktivnostvzgojno-izo- braževalnega zavoda? (raven rezultatov) Odgovoresosodelujoˇ civraziskavipodalinaLikertovi5-stopenj- ski lestvici, na kateri so pogostost posameznega vedenja oznaˇ cili zmožnostminikoli (vrednost 1), redko (vrednost 2),vˇ casih (vred- nost 3), pogosto (vrednost 4) in vedno (vrednost 5). Zadnje vpra- šanje odprtega tipa jim je omogoˇ calo, da navedejo prakse vredno- tenja uˇ cinkovitosti izobraževanj, ki jih uporabljajo v vzgojno-izo- braževalnem zavodu. Rezultate smo obdelali in analizirali s programom Excel, v ka- terem smo izraˇ cunali aritmetiˇ cne sredine in standardne odklo- ne posameznih postavk ter skupne rezultate postavk, ki pripadajo posamezni ravni merjenja uˇ cinkovitosti izobraževanj po Kirkpat- rickovem modelu. Odgovore na odprto vprašanje smo pregledali in preverili, na katero raven vrednotenja uˇ cinkovitosti se navezu- je posamezni odgovor. 31 Monika Špital in Eva Boštjanˇ ciˇ c Rezultatiininterpretacija Priˇ cakovali smo, da bodo vodje uˇ cinkovitost izobraževanj najpo- gosteje merili na ravni odzivov, redkeje pa se bodo odloˇ cali za merjenje uˇ cinkovitosti na drugih ravneh. To kažejo tudi rezulta- ti raziskave, predstavljeni na sliki 1. V nadaljevanju smo kratico m uporabljali za oznaˇ cevanje arit- metiˇ cne sredine, sd pa za okrajšavo standardnega odklona. Po izobraževanju vodje najveˇ ckrat preverjajo, kako zadovoljni so bili udeleženci z njegovo vsebino (m=4,2,sd= 0,92) in organizacijo (m=3,9,sd= 1,1). Omenjeni kategoriji sodita na raven odzivov po Kirkpatrickovem modelu. Na tej ravni uˇ cinkovitost ovrednoti- mo takoj po koncu izobraževanja. Raziskave kažejo (Migliˇ c 2005), da je raven odzivov najmanj povezana z dejansko uˇ cinkovitostjo izobraževanj. To je lahko problematiˇ cno, saj vodje v praksi naj- veˇ ckrat preverjajo zgolj raven odzivov, kar je razvidno tudi iz od- govorov na vprašanje odprtega tipa. Sodelujoˇ ci v raziskavi je tako zapisal: »Najveˇ ckrat sodelavci sami povedo ob poroˇ canju, kaj je bilo uporabno in kaj lahko uporabijo pri svojem delu. Lahko tudi na letnem pogovoru oz. preko spremljanja uˇ cne prakse posamez- nika.« Iz tega je razvidno, da merjenje uˇ cinkovitosti navadno ni strukturirano, kot priporoˇ cata Kirkpatrick in Kirkpatrick (2007). Vodje so omenili tudi uporabo anket, s katerimi preverjajo zado- voljstvo z izobraževanjem, in diskusije, ki pa veˇ cinoma prav tako preverjajo raven odzivov. Rezultatikažejo,davodjepolegravniodzivovnajpogosteje pre- verjajo uˇ cinkovitost izobraževanj na ravni znanja. Nekoliko pogo- stejekotpridobljenespretnosti(m=3,2,sd=1,1)preverjajoprido- bljena znanja (m=3,5,sd= 1,0). Kot je povedal sodelujoˇ ci v razis- kavi, raven znanja v praksi preverjajo predvsem s pomoˇ cjo pred- stavitevizobraževanja sodelavcem: »Glede navsebinoizobraževa- nja povabim zaposlenega, da izobraževanje predstavi sodelavcem znotraj strokovnega aktiva ali pa na pedagoški konferenci celot- nemu uˇ citeljskemu zboru.« Drugi je podal zanimivo idejo, kako lahko zaposleni, ki so bili deležni izobraževanja, pridobljeno zna- nje delijo z drugimi: »Organizirali bomo tržnico znanja, na kateri bodo udeleženci posameznih izobraževanj delili nova spoznanja z drugimi zaposlenimi. Še vedno pa nam manjka preverjanje uˇ cin- kovitosti v samem procesu in prispevka izobraževanja v celoti.« Nihˇ ce od sodelujoˇ cih ni poroˇ cal o uporabi vprašalnikov, spletnih ali pisnih testov, s katerimi bi preverjali znanje zaposlenih po izo- braževanju. Vprašalniki, s katerimi neposredno po izobraževanju 32 Sistematiˇ cen pristop k merjenju uˇ cinkovitosti izobraževanja zaposlenih (1) Reakcije 4,1 (2) Uˇ cenje 3,3 (3) Rezultati 2,9 (4) Vedenje 2,4 slika1 Aritmetiˇ cne sredineodgovorov vodij o tem, kakopogosto vrednotijo uˇ cinkovitost izobraževanja na posameznih ravneh po Kirkpatrickovem modelu (1) Zadovoljstvo z vsebino 4,2 (1) Zadovoljstvo z organizacijo izob. 3,9 (2) Znanja 3,5 (2) Spretnosti 3,2 (4) Kakovost dela organizacije 3,1 (4) Produktivnostorganizacije 2,7 (3) Vedenje – sodelavci 2,3 (3) Vedenje – samoocena 2,2 slika2 Aritmetiˇ cne sredineodgovorov pri posameznih postavkah (številka v oklepaju kaže raven merjenja uˇ cinkovitosti po Kirkpatrickovemmodelu) preverjamo vsebine in znanja, ki so jih udeleženci pridobili, so lahko namenjeni tudi ozavešˇ canju o tem, kakšna znanja so ude- leženci usvojili. ˇ Ce bi zaposleni pred izobraževanjem rešili test, s katerim bi preverjali doloˇ cena znanja, ki jih bodo obravnavali na izobraževanju, in bi podoben test rešili po njem, bi lahko na do- kaj preprost kvantitativni naˇ cin preverili, ali so pridobili koristna znanja (Kirkpatrick in Kirkpatrick 2007). Nekoliko manj pogosto vodje preverjajo uˇ cinkovitost izobraže- vanjana ˇ cetrtiravni,torejnaravnirezultatov.Analizekažejo,dav povpreˇ cju vˇ casih preverjajo, kakšne spremembe v kakovosti dela vzgojno-izobraževalnega zavoda je prineslo izobraževanje zapo- slenih (m=3,1,sd= 0,9). Še redkeje preverjajo, kako je izobraže- vanje vplivalo na produktivnost vzgojno-izobraževalnega zavoda (m=2,7,sd= 1,2). Produktivnost vzgojno-izobraževalnih zavodov jevˇ casihtežkomeriti,kljubtemupaobstajajomerila,skaterimijo lahkopreverjamo.Vodjevzgojno-izobraževalnih zavodovselahko oprejo na letni delovni naˇ crt, uspeh uˇ cencev in druge kriterije, ki nakazujejo, da vzgojno-izobraževalni zavod sledi zadanim ciljem. ˇ Ce se zaposleni udeleži izobraževanja, to še ne pomeni, da je bilo touˇ cinkovitoinkoristnotakozanjkotzavzgojno-izobraževalniza- vod.Enaodsodelujoˇ cihvraziskavijeporoˇ cala:»zaposleni[se]naj- veˇ ckrat lahko udeležijo izobraževanj s tematiko, ki je neposredno 33 Monika Špital in Eva Boštjanˇ ciˇ c vezana na izvajanje naših prednostnih nalog, zato me tudi zani- ma, kako in koliko bodo lahko vsebino oz. nova znanja/spretnosti uporabili v praksi«. Glede na to, da so prednostne naloge in cilji v vzgoji in izobraževanju navadno dobro definirani, menimo, da bi vodje s sistematiˇ cnim naˇ cinom vrednotenja izobraževanj lažje ugotovili, kako so uresniˇ cili cilje, ki so si jih zadali. Sodelujoˇ ci v raziskavi najredkeje vrednotijo uˇ cinkovitost izo- braževanja glede na spremembe v vedenju zaposlenega po do- loˇ cenem ˇ casu, npr. po nekaj mesecih. Rezultati kažejo, da vodje vpovpreˇ cju redko preverjajo spremembe v vedenju udeležencev nekaj mesecev po izobraževanju (m=2,3,sd= 1,1) in to, kakšne spremembe v vedenju udeležencev izobraževanj zaznavajo njiho- visodelavci(m=2,2,sd=1,2).Poroˇ cajo,dajevmerjenjeuˇ cinkovi- tostiizobraževanja ponavadivkljuˇ cenzgoljzaposleni,kisejeizo- braževanja udeležil. Da bi bilo merjenje bolj objektivno, moramo v proces vrednotenja uˇ cinkovitosti izobraževanj vkljuˇ citi še dru- ge, npr. sodelavce, ki lahko povedo, kakšne spremembe so opazili v vedenju zaposlenega po izobraževanju (Abdulghani idr. 2014). Predlagamo, da vodje o mnenju glede sprememb v vedenju pov- prašajo tudi uˇ cence, ki so pogosto v stiku z uˇ citeljem. Pomemb- no je še, da je v proces merjenja uˇ cinkovitosti, ˇ ce je to mogoˇ ce, vkljuˇ cen tudi izvajalec izobraževanja. Vodje bodo tako laže opre- delili cilje, ki jih želijo doseˇ ci z izobraževanjem, izvajalci pa bodo vedeli, katera znanja so za udeležence kljuˇ cna, in bodo izobraže- vanje prilagodili ciljem vzgojno-izobraževalnega zavoda. Na pod- lagi ocene uˇ cinkovitosti izobraževanja lahko vodja pove izvajalcu, kakšne spremembe in prilagoditve izobraževanja bi si želel v pri- hodnje (Kirkpatrick in Kirkpatrick 2007). S preverjanjem uˇ cinkovitosti izobraževanja po doloˇ cenem ˇ casu zaposlenega spomnimo na izobraževanje, kar lahko pripomore k njegovemu trajnejšemu uˇ cinku (Kirkpatrick in Kirkpatrick 2007). Poleg tega preverimo, kakšne spremembe je v vedenje zaposle- nega prineslo izobraževanje po doloˇ cenem ˇ casu. V praksi pri za- poslenem najveˇ ckrat opazimo spremembe nekaj dni ali tednov po izobraževanju,redkejepasmopozorninadolgoroˇ cnespremembe vedenja. ˇ Ce vodja z merjenjem uˇ cinkovitosti ugotovi, da izobra- ževanjanimajodolgoroˇ cnega uˇ cinka,lahkorazmisliodrugaˇ cnem izobraževanjualipazaposlenepodoloˇ cenem ˇ casusamspomnina znanja,kisojihpridobili medizobraževanjem.Kotporoˇ cajosode- lujoˇ civraziskavi,sokratkepredstavitvesodelavcemprecejpogost naˇ cin preverjanja uˇ cinkovitosti izobraževanj. Po drugi strani for- malne ali neformalne predstavitve organizirajo kmalu po izobra- 34 Sistematiˇ cen pristop k merjenju uˇ cinkovitosti izobraževanja zaposlenih ževanjih, pozneje pa zaposleni na vsebine izobraževanj velikokrat pozabijo. Mordabibilosmiselnonareditiplakate alimiselnevzor- ce, jih izobesiti na vidno mesto in zaposlene veˇ ckrat spomniti na vsebine izobraževanja. Tako bi upoˇ casnili proces pozabljanja in- formacij, ki so jih zaposleni pridobili na izobraževanjih. Vˇ casih je težko loˇ citi uˇ cinke izobraževanja od drugih dejavni- kov, ki vplivajo na spremembe v vedenju zaposlenih, in jih posle- diˇ cno izmeriti (Newstrom 1978). Tudi pri merjenju uˇ cinkovitosti izobraževanja na drugih ravneh Kirkpatrickovega modela mora- mo biti pozorni, da so testi in metode, ki jih uporabimo, ˇ cim bolj zanesljivi, veljavni inobjektivni. ˇ Ceuporabljamo kombinacijo veˇ c metod in naˇ cinov merjenja (opazovanje, pisni testi, intervju, an- kete itd.), bomo dobili bolj celostno sliko o uˇ cinkovitosti posame- znega izobraževanja. Zakljuˇ ckiinprenosspoznanjvprakso Delvsakegaizobraževalnegaprocesajepreverjanjenjegoveuˇ cin- kovitosti, za kar v vzgojno-izobraževalnih zavodih uporabljamo opisnealištevilˇ cne ocene.Glede nato,dajeuˇ cinkeizobraževanja težko izmeriti in jih loˇ citi od drugih dejavnikov, priporoˇ camo, da vodje uporabljajo raznolike metode ocenjevanja uˇ cinkovitosti. Pri izobraževanjih, delavnicah, teˇ cajih, ki so bolj usmerjeni v spret- nosti in vedenje, povezano z nalogami delovnega mesta, pa lah- ko za vrednotenje njihove uˇ cinkovitosti uporabimo Kirkpatrickov model. ˇ Ce ga prenesemo v prasko, lahko z njim merimo štiri rav- ni, in sicer raven odzivov, raven uˇ cenja, raven vedenja in raven rezultatov. Naša raziskava je pokazala, da vodje v praksi redke- je vrednotijo uˇ cinkovitost na ravni spremenjenega vedenja ude- ležencev izobraževanj ter rezultate na ravni vzgojno-izobraževal- nega zavoda. Interpretacijorezultatovomejujemanjšivzorec,kinireprezen- tativnozajelvsehvzgojno-izobraževalnih ustanovvSloveniji. Gle- de na to, da so sodelujoˇ ci v raziskavi o praksah merjenja uˇ cin- kovitosti izobraževanj poroˇ cali sami, so njihovi odgovori morda nekoliko pristranski zaradi težnje po podajanju socialno zažele- nih odgovorov. V prihodnjih raziskavah bo smiselno preveriti, ali so naˇ cini za merjenje posamezne ravni po Kirkpatrickovem mo- delu ustrezni. V praksi pa priporoˇ camo predstavitev obravnavane metodeoziromasistemavrednotenjausposabljanjinizobraževanj vsem zaposlenim v vzgojno-izobraževalni ustanovi. Gre za meta- kognitivnoinkognitivnoraven,kiprizaposlenihvzpostavizaveda- 35 Monika Špital in Eva Boštjanˇ ciˇ c nje o pomembnosti, vlogi ter uporabnosti znanj, ki jih pridobivajo zrazliˇ cnimi oblikami usposabljanj in izobraževanj. Naˇ crtovanje izobraževanja se pravzaprav zaˇ cne na organizacij- ski ravni, na ravni rezultatov, ko vodstvo opredeli, kakšne cilje, dosežke naj bi zaposleni kot skupina v doloˇ cenem obdobju dose- gali. Glede na to potem oblikujejo programe za razvoj zaposlenih, ki med drugim vkljuˇ cujejo številna izobraževanja in usposablja- nja. Na individualni ravni pa je naˇ crtovanje izobraževalnih vsebin seveda odvisno tako od ciljev organizacije (kot del poslovne vizi- je in strategije) kakor tudi od nalog, ki jih posameznik opravlja, od znanj, ki jih je pred tem že usvojil, in izkušenj ter ne nazadnje tudi od pripravljenosti oziroma motivacije za uˇ cenje, ki se kaže kot želja po sprejemanju novih vsebin. Zdi se nampomembno, da vodstvo vzgojno-izobraževalnega zavoda pri pripravi izobraževal- nega naˇ crta že vnaprej opredeli cilje doloˇ cenega izobraževanja in takoj ob koncu, nato pa še po doloˇ cenem ˇ casu preveri, ali so iz- polnjeni. TakolahkodanesvsakadelovnaorganizacijavSlovenijiprejme naziv uˇ ceˇ ca se organizacija. Vodenje v takšnih organizacijah zah- teva popolno podporo vodstva. Poleg tega je vodja tisti, ki skrbi za ustvarjanjeugodneorganizacijske klimezauˇ cenje,prenosznanja v konkretno delo, spodbuja zaposlene k aktivaciji delovnih zmož- nosti ter si prizadeva za odliˇ cnost celotnega kolektiva. Spoznanja naše raziskave pa lahko ta proces, predvsem z evalvacijskega vi- dika, le še obogatijo. Literatura Abdulghani, H. M., S. A. Shaik, N. Khamis, A. A. Al-Drees, M. Irshad, M. S. Khalil ... in A. Isnani. 2014. »Research Methodology Workshops Evaluation Using the Kirkpatrick’s Model: Translating Theory into Practice.«Medical Teacher 36 (1): 24–29. Alliger, G. M., in E. A. Janak, 1989. »Kirkpatrick’s Levels of Training Criteria: Thirty Years Later.«Personnel Psychology 42 (2): 331–342. Arthur, W., Jr., W. Bennett, Jr., P. S. Edens in S. T. Bell. 2003. »Effectiveness of Training in Organizations: A Meta-Analysis of Design and Evaluation Features.«Journal ofAppliedPsychology 88 (2): 234–245. Garvin, D. A. 1993. »Building a Learning Organization.«Harvard BusinessReview 71 (4): 78–91. Jelenc, Z., ur. 1991.Terminologijaizobraževanjaodraslih. Ljubljana: Pedagoškiinštitut pri Univerzi v Ljubljani. Kennedy, P. E., S. Y. Chyung, D. J., Winiecki in R. O. Brinkerhoff. 2014. »Training Professionals’ Usage and Understanding of Kirkpatrick’s 36 Sistematiˇ cen pristop k merjenju uˇ cinkovitosti izobraževanja zaposlenih Level 3 and Level 4 Evaluations.«International Journal ofTraining andDevelopment 18 (1): 1–21. Kirkpatrick, D. L. 1998.Evaluating Training Programs:TheFourLevels. 2nd Edition. San Francisco,ca: Berret-Koehler. Kirkpatrick, D., in J. Kirkpatrick. 2007.ImplementingtheFourLevels. San Francisco: Berret-Koehler. Lacerenza,C. N., D. L. Reyes,S. L. Marlow, D. L.Joseph in E. Salas. 2017. »Leadership Training Design, Delivery, and Implementation: A Meta-Analysis.«Journal ofAppliedPsychology 102 (12): 1686–1718. Love, J. N., L. M. Yarris, S. A. Santen, G. J. Kuhn, L. D. Gruppen, W. C. Coates ... in S. E. Farrell. 2016. »A Novel Specialty-Specific, Collaborative Faculty Development Opportunity in Education Research: Program Evaluation at Five Years.«Academic Medicine 91 (4): 548–555. Migliˇ c, G. 2005. Naˇ crtovanje izobraževanjavdržavni upravi:analiza potrebpoizobraževanjuinevalvaciji uˇ cinkovizobraževanja. Ljubljana: Ministrstvo za notranje zadeve. Morrison, J. 2003. »abcof Learning and Teaching in Medicine: Evalutation.«BritishMedicineJournal 326: 301–317. Newstrom, J.W.1978. »Catch-22:TheProblemsofIncompleteEvaluation of Training.«Training &Development Journal 32 (11): 22–24. Petrone, P. 2017. »The Best Way to Use the Kirkpatrick Model.«Linkedin, 26. maj. https://learning.linkedin.com/blog/learning-thought -leadership/the-best-way-to-use-the-kirkpatrick-model–the-most -common-way-t Yardley, S., in T. Dornan. 2012. »Kirkpatrick’s Levels and Education ‘Evidence.’«Medical Education 46 (1): 97–106. MonikaŠpital je študentka magistrskega študija psihologije na Filozofski fakulteti Univerze v Ljubljani. monikaspital1@gmail.com Dr.EvaBoštjanˇ ciˇ c je izredna profesorica na Filozofski fakulteti Univerze v Ljubljani. eva.bostjancic@ff.uni-lj.si 37