Gozdana MIGLIČ* Fi^Bl'. ZNANSTVEN! ČLANEK VREDNOTENJE UČINKOV USPOSABLJANJA V UPRAVI Povzetek. Namen tega prispevka je spodbuditi javne uslužbence k inzmisleku o /mmenu in vrednosti evalviranja različnih programov usposabljanja v upravi. Kakovost in uspešnost trenutnih in prihodnjih progmmov usposabljanj jc odvisna od obsega sposobnosti evalviranja in od uporabe evalvacijskih rezultatov. Prav tako je bil namen tega prispevka razjasniti fx)men in prednosti notnega sistema evalvacije, ki ga je uvedla Upravna akademija. Z delitvijo evalvacije na merjenje reakcije, učenja, vedenja in rezultatov lahko izvajalci usposabljanj kadimski specialisti in vodstveni delavci postopno napredujejo od enostavnega subjektivnega evalvacijskega vprašalnika, ki meri le reakcijo, do zahtevnejših oblik merjenja konkretnih ivzultatov, ki so osnova za načrtovanje usposabljanja v upravi. Ključni f>ojmi: proces usposabljanja, programi usposabljanja. ravni evalvacije, reakcija, učenje, vedenje, »vzultati, slovenska javna uprava. Upravna akademija. Opredelitev evalvacije usposabljanja Pojem evalvacija razlagamo na različne načine. Splošna definicija evalvacije usposabljanja pravi, da je to "ocena celotne vrednosti sistema usiwsabljanja, tečajev ali progratiiov usposabljanja v strokovnem, kakor tudi v finančnem smislu" (Glossary of Training Term.s, 1981: 59). Druga definicija je nekoliko širša in opredeljuje evalvacijo usposabljanja kot "... vsak poizkus pridobivanja informacij (povratnih) o učinkih programa usposabljanja in ocenjevanje vrednosti usposabljanja v luči teh informaciji" (Hamblin v Stanley, 1987: 18). Opredelitev poudarja nujnost preučevanja situacije pred in po usposabljanju, pri čemer je treba upoštevati posameznike, njihovo znanje, veščine in odnos ter njihove sposobnosti uporabe le-tega pri doseganju organizacijskih ciljev. V okviru usposabljanja in razvoja morajo zato biti ocenjene vse okoliščine, ki vplivajo na posameznikovo s|X)sobnost združe\'anja njegovega znanja in veščin. Omeniti velja tudi tretjo opredelitev, ki poudarja |X)speše\'alno dimenzijo evalvacije. Evalvacijo pojmuje kot orodje vodilnih delavcev za pos|5cševanje učenja in olajševanje aktivnosti, povezanih z učenjem. Derinicija pravi: "Evalvacija je učenje • Miig. Coztiiiiui .Miglič, Mliiisirsliit za iitilniii/e zatleiv. Upniriui abiitleniijii. Ijtibljiiiui. TEORIJA IN PRAKSA let 37. 2/20C0. str 364-375 in k dejanjem usmerjeno orosabljanja in .se izvaja za vsako fazo |>osebej in za celoto. Vrednotenje oziroma evalviranje uspešnosti usposabljanja je nepogrešljiv element vsakega sistematičnega pristopa k usposabljanju. Vrednotenje usposabljanja je kontinuiran proces, ki mora biti prisoten v vseh stopnjah cikla usposabljanja in zajema primerjanje želenih rezultatov usposabljanja z dejanskimi dosežki. Faza evalvacije poteka skozi celoten proces usposabljanja. To v praksi pomeni, da poteka vzporedno s fazami analize, oblikovanja, razvijanja in implementacije usposabljanja (slika 1.1). Evalvacija je v tem primeru proces določanja vrednosti in učinkovitosti programov usposabljanja. Njen namen je zbrati in dokumentirati delovno učinkovitost udeležencev usposabljanja med usposabljanjem in kasneje na delovnem mestu, ugotovili morebitne probleme in jih odpraviti (Goldstein, 1993: 575). ld«ntirikacij.v uinih potreb Evalvacija usposabljanja Opredelitev učnih ciljcv Izvajanje usposabljanja Določitev uCnc strategije Oblikovanje in načrtovanje usposabljanja Ne glede na razlike med posameznimi opredelit\'ami, je evalvacija proces zbiranja informacij, katerega cilj je kakovostno odločanje. Pojem je sam po sebi širši kot ocenjevanje in vključuje tako subjektivni/kvalitativni vidik (mnenje), kakor tudi objektivni/kvantitativni vidik (dejstva). Razlogi /a cvalvacijo usposabljanja Evalvacija kot proces določanja vrednosti in učinkovitosti usposabljanja praviloma nudi odgovore na vpraSanja o vplivu us|x)sabljanja na jxisameznike in organizacijo. o povračilu v usposabljanje vloženih sredst\'ih, o uporabi novili znanj in ve.ščin v delovnem okolju, o vplivu programov na spreminjanje nagnjenj, vedenja ali ve.ščin ter prek tega na delovne rezultate udeležencev (Clark, 1997: IV). Učinkovita evalvacija je torej ključna tako za usposabljanje neposredno, kakor tudi za fimkcijo us)x>sabljanja v šir.šem smislu. Pogosto je evalvacija razumljena kot nekaj, kar se izvaja, če je čas. V marsikateri organizaciji nadome.ščajo evalvacijo z občutkom: "izgleda, da je v redu, kar nadaljujmo s tem". Tudi tam, kjer .se evalvacija izvaja, ima večinoma le vlogo orodja, ki je uporabljeno po končanem usposabljanju, nikakor |>a nc tudi vloge pomoči pri načrtovanju in spremljanju organizacijskega usposabljanja skozi različne stopnje razvoja in implementacije (Reay, 1991:7). Razlogi za e\'alvacijo .se razlikujejo glede na vloge in odgovornosti, ki jih imajo v procesu usposabljanja posamezniki ali skupine. Ne glede na to |>a za evalvacijo obstaja vsaj pet temeljnih razlogov: - poiTama informacija - [wvezovanje učtiih rezultatom* z učnimi cilji in zagotavljanje kako\'osti; - nadzor - povezov;mje med usposabljanjem in organizacijskimi akti\'nostmi, upo.števajoč stro.škovno učinkovitost; - raziskava - tloločanje razmerja meti učenjem, usposabljanjem in prenosom znanja n;i tlelovno mesto; - intervencija - vpliv rczult:itov evalvacije na okoliščine, v katerih jc vrednotenje izvedeno; - vplivnost - uporaba evalvacijskih ptxiaikov v okviru organizacijske politike otlltv č;inja (Bramley, Newbay (1990) v Goldstein, 1993:67). Zagotavljanje povratnih informacij o oblikovanju in izvajanju programov usposabljanja Evalvacija jc .še po.sebej |x>membn;i v smislu zagotavljanja negativnih pt)vrainih inforiiKicij n;i objektiven način. Veliko organizatorjev in izvajalcev usposabljanja vidi v evalvaciji sredstvo potrjev;inja uspešnosti svojega dela. To je sicer prav in je tudi eden izmed ključnih namenov evalvacije. Kljub temu pa so negativne povratne informacije pomembnejše, saj pomagajo ugotoviti spremembe, ki so nujne, da postane prograni/aktivnost bolj učinkovit, in tipe modifikacij, ki morajo biti vpeljane v vsebino, strategijo, metode/tehnike, učne pripomočke itd. (Stanley, 1987: 20). Evalvacija v tem smislu je dragoceno orodje za spreminjanje in izboljš<^'anje aktivnosti usposabljanja. To je .še posebej pomembno, kadar se doltJČene aktivnf>-sti pon:ivljajo skozi daljše obdobje in izkušnje prvih skupin bogatijo koristi nadaljnjih. Z vidika oblikovanja, načrtovanja in izvajanja usposabljanja ter učenja se ghivni razlog za evairacijo n:inaša na: - zagotjvljanje povratnih informacij izvajalski instituciji o uspeSnosti in kakovosti ugotavljanja potreb po usposabljanju posameznih ciljnih skupin, o oblikovanju programov, o organizaciji njihove izvetibe ittl.; - ugotavljanje primernosti programa uspo.sabljanja za pt>sameznc ciljne skupine utieležencev; - zagt)t;ivljanje povr;itnih informacij izv:ijalcu usposabljanja o uspešnosti potlaj;i-nja in u|X)rabljenih metodah (je tlel njegove učne izku.šnje); - možnosti sprotnih izboljšav že med ptJtekom izvajanja progntma usposabljanja :ili ob naslednji ponovitvi; - spremljanje in evalviranje učnega napredka udeleženca (je del njegtne notranje motivacije in tlel njegovega učnega procesa); - ugotavljanje, tlo katere mere .st) bili doseženi po.sameznikovi učni cilji oziroma, ali bo potrebno .še nadaljnje usposabljanje (Stanley, 1987: 21; Reid, Barrington, 1996: 292). Zagotavljanje povratnih informacij o porabi virov Pomemben nizlog za evalvacijo je vpliv njenih rezultatov na fxlločitve o razpore-j:uiju virov, namenjenih usjx>sabljanju (npr. načrtovanje finančnih sretlsiev). Koristnost usposabljanja ni .samo pt) sebi umevna in avtomatična, amp:ik monijo organizatorji in oblikovalci usposabljanj pogosto opravičev;iti porabo sredstev, namenjenih us|X)sabljanju, in dokazovati, d;i usposabljanje prispeva k celoviti us|>ešnosii organiz;icije. Organizatorji in izvajalci us|X)sabljanj monijo biti pripravljeni tlokazov;iti, tl;i so čas, na|>ori in tlenar, porabljeni z;i načrtovanje in izv;ijanje uspo.sabljanja, prinesli rezultate, ki opnivičujejo investicijo (St;mley, 1987: 21). Z vidika organizacije, ki |X5Šilja svoje z;iposlene na uspos;ibljanje, je tako naj|X)membnejši razlog za evalvacijo zagotavljanje informacij potrebnih za: - presojo učinkovitosti uporabe virov, namenjenih usposabljanju in razvoju; - izboljšanje prihodnjega dela in |X}večanja učinkovitosti prognimov usposabljanja; - ugf)tavljanje obsega, tlo k;iterega je usposabljanje prispev ak) k reševanju organi-z;icijskih problemov; - pridobiv-anje stalnih povratnih informacij o velj;ivnen> si.stemu usposabljanja, ;iktualnosii prt>gramskih v.sebin, kakovosti izvedbe itd.; - zagotavljanje sredstev za ocenjev;mje organiz;icije, ki izv~aja usposabljanje, in ugotavljanje, katera izv;ijalska org;inizacija zmore in zn:i bolje zatlovoljiti |5otrebc naročniške organiz;icije; - utemeljevanje upravičenosti funkcije usposabljanja v organiz;iciji (Re;iy, 1994: 16-21). Da sta opravičljiva, morata uspo.sabljanje in razvoj pris|x;vati k do.seganju org:i-nizacijskili ciljev. Čeprav usposabljanje ni vetino pravo "zdravilo" za vse organizacijske bolezni, pa lahko kakovostni programi usposabljanja do,sežejo |X)zitivne rezultate. Na tržišču obstaja široka ponudba vsakovrstnih prognimov usposabljanja, za katere pa bi bilo nestvarno misliti, da temeljijo na ustreznih ocenah potreb ali pa da je preizku.šena njihova sposobnost tloseganja učnih ciljev. Njihovi uporabniki ne pridobivajo inform;icij, s k:iterimi bi ugotavljali in tloločali koristnost taksnih programov. Pogosto so edine ocene programov, ki so na \oljo na trgu, ocene, ki jiii o programih izdelajo njihovi izvajalci, te pa nc v ključujejo prenosa znanja. Merjenje tako ne seže prek merjenja reakcije in le redke so primerjave vedenja in delovnih rezultatov udeležencev usposabljanja pred in po usposabljanju (Ralphs, Stephan, 1986). Ravni in vidiki vrednotenja usposabljanja Kategorizacija evalvacijskih aktivnosti v določeno hierarhijo je predmet .Številnih teoretičnih razprav. Tradicionalni koncept oziroma model evalvacije usposabljanja datira v pozna šestde.seta leta in je |x)vezan z delom Donalda Kirkpatricka.' Ta, t.i. Kirkpatrickov tradicionalni .štiri stopenjski model, ki je tudi najpogosteje u|K)rabljen v praksi, predstavlja Strukturiran pristop k evalvaciji programov usposabljanja. Temelji na ciljih in zagotavlja osnovo za strogo povezavo s pristopom analize potreb po usposabljanju.' .Model priporoča več vzporednih merjenj in vključuje merjenje neposredne reakcije udeležencev po končanem usposabljanju, merjenje učenja v okviru programov usposabljanja, veaclr./;rt katerem evalvator ne meri ii.c/K-ha na /hmI-lagi /Mistimeznili. vnaprej dohiCvnih ciljev, am/iak identificira ko.tabtjanja na organizacijske cilje (npr prodaja, produktivnost. otkolnosi z dela itd.) in ftoselmlm ugotavljanjem celotnih ekonomskih niinkov s /ximoCjo razUCnih melod analizintnja stnJbov in koristi (npr cost-benefit analiza) Kot drugo možnost raz-vričanja ravni [ta Itamblln (v Reid. littrringlon. 1996:293-294) predlaga mriianje nove ntvni, in .sicer med 3. (ivdenjeoz. ftosamcznikova delovna ii.sfieSnosI) in 4. raven (konCni rezultati v {»iivzavi z organizacijo) vrine dodatno, namenjeno evalvimnjii nCinkov iispasabljanja na iis/ieinosi ndeteienCeivga oildelka. povečuje.' Eden izmed razlogov so težave merjenja in problem ločevanja vzrokov in posledic na višjih ravneh. Ker so organizacijske spremembe povezane s številnimi vzroki, je pogosto težko natančno določiti, koliko je npr zmanjšanje pritožb strank samo rezultat določenega usposabljanja. K težavnosti evalvacij na višjih ravneh prispeva tudi časovni zamik med zaključkom usposabljanja in njegovimi učinki na organizacijo. Ne glede na to pa je dejstvo, da bolj ko je evalvacija dosledna, kakovostna in uspešna na začetnih ravneh, večja je verjetnost, da usposabljanje vpliva na učinkovitost posameznega oddelka in organizacije kot celote (Reid, Barrington, 1996-. 29.3-294). Nameni in cilji novega pristopa Upravne akademije k evalvaciji programov usposabljanja in izpopolnjevanja S ciljem, da bi bilo delo Upravne akademije čimbolj uspešno in kakovostno in da bi se s svojimi aktivnostmi čimbolj približala potrebam us|X)sabljanja in izpopolnjevanja za|x>slenih v upravi, se je Upravna akailemija odločila razširiti obstoječi sistem ocenjevanja uspešnosti svojih programov usposabljanja in izpopolnjevanja. Upravna akademija je pripravila nov, bolj poglobljen sistem evalvacije, katerega glavni namen je Ziigotoviti dodatne možnosti ugotavljanja kakovosti izvajanja usposabljanja in izpopolnje\'anja v upravi. Nov sistem evalvacije bo ob podpori in sodelovanju vseh zaposlenih v upravi, predvsem pa udeležencev usposabljanj in njihovih neposrednih predstojnikov, omogočal Upravni akademiji boljši vjx)gled v njeno delo in njegove rezultate.' Hkrati bo nov sistem zagotavljal tudi pomeml> ne dodatne povratne informacije o us(>ešnosti in koristnosti usposabljanja po vrnitvi udeležencev us|x>sabljanj v njihora delovna okolja. S sistemskim pristopom k evalvaciji bo torej Upravna akademija: - zagotavljala nenehno dvigovanje učinkovitosti usposabljanja in izpopolnjevanja v celotni upravi; - podpirala |X)sameznc dele upravneg;i sistema oziroma omogočala doseganje strateških ciljev, nujnih za prihodnji razvoj uprave; - spodbujala javne uslužbence in njihove pred|X>siavljene, d:i uporabljajo usposabljanje in izpopolnjevanje kot orodje sprememb in da hkrati usmerjajo, spodbujajo in |X)dpirajo Upravno akademijo pri izboljševanju njenih storitev; •/'regleil evdlnictjsblli melod izdelan leta IOHHv /JM fKall>lis. Sle/ilian. Iosabljanja na delovnem mestu. I.e evalvacija. /tri kateri tako udeleženec kot tudi njegova organizacija sku/Mj ugotavljata. ali je dolitčen /irogram iz/tolnil želena /iričakovanja. lahko zagotovi smernice za morebitne s/trv-membe stnuegije us/Ktsubljanja In razvoja, (llarrison. 1995:271) ' Sov sistem evalvacije Je bil oblikovan v okviru /irojekta fKARl: 'tfs/xkVibljanje In iz/io/minjevanje v javni u/inivi'(/irojekt St.: .SI. osameznih programov, predvsem tistih, ki se v delo Upravne :ik:idemije vkljitčujejo prvič oziroma izv;ij;ijo vsebine, ki so novost v njeni programski shemi. S takšnim pristopom bo Upravn;! ak;!demija utrjevala t.i. s/s/e>n triangulacije, ki omogoča evalracijo vsebin programov usposabljanja in izpopolnjevanja, njihove organizacije in izvedbe z vseh zornih kotov, to je z vidik;! udeležencev, organizatorjev in izvajalcev. Kot tlel ustaljene prakse bodo Se naprej možne različne oblike preverjanja znanja (npr. pisni preizkusi, delo v skupini, igre vlog itd.) takoj iili določen č;!s po z;!klji!čku seminarji! oziroma tečaja.' Pr\'a novost pristopa k evalvaciji je dopolnjena prijavnica, ki bo tudi v naprej sest;!vni del samostojne publikacije s programsko |X)nudbo. Do|X)lnilev pred- ' A» Kirkimiricbii U. /trm raivn eratvacije - iiieiyeiije reakcije. ' l'o Kirk/Kilrickii l.i. druga nuni eralraclje - uCeiiJe. siavljata dve vprašanji, ki se nanašata na učue dlje" posameznega udeleženca in na pričakovanja v zvezi s prihodnjo uporabo j^ridobljenega znanja. Tako dopolnjena prijavnica bo izjenuio pomembna za delov ne usmeritve Upravne akademije, še posebej pa za izvajalce usposabljanj, saj bodo le-ti na ta način dobili informacije neposredno od udeležencev njihovih seminarjev oziroma tečajev. Dodatna novost na prijavnici sta tudi |xxlpisa udeleženca in njegovega nadrejenega. Namen podpi.sov presega formalni vidik, saj v resnici vsebuje dogovor in .sogla.sje obeh, udeleženca in njegovega predpostavljenega, o namenih in ciljih usposabljanja ter o uporabi novega znanja in veščin (udeleženec) in zagotavljanju potrebne pod|3ore (nadrejeni). Iz tega je razvidno, da je že v fazi prijave potrebno tesno sodelovanje udeleženca in njegovega predpostavljenega, saj bosta morala na podlagi konkretne situacije v njunem delovnem okolju presoditi o glavnih učnih ciljih in temeljnih pričakovanjih, povezanih s prihodnjo uporabo novega znanja in veščin. Druga novost je izdelava t.i. akcijskega načrta.* Udeleženci bodo takoj po koncu usposabljanja sami ali s pomočjo izvajalca usposabljanja izdelali osebni načrt uporabe pridobljenega znanja in veščin za čas po vrnitvi v njihovo delovno okolje. Ta načrt bo o.sebni o|X)nuiik udeležencem za implementacijo naučenega, hkrati pa bo podlaga razgovoru o pretekli učni izkušnji z njihovim predpostavljenim po vrnitvi v delovno okolje. Nov sistem evalvacije namreč predvideva tudi razgovor med udeležencem in njegovim [predpostavljenim po končanem usposabljanju in ne le razgovor pred odhodom na usposabljanje. Tak pristop poudarja vključevanje vodilnih in vodstvenih delavcev v usposabljanje in razvoj njihovih podrejenih, s čimer je še dodatno podprto izvajanje ene izmed temeljnih nalog in odgovornosti funkcije vodenja. • IjiCiimi irl vrsle clljei': .iplo.^ni iiCni tilji. kf ofirnieljiijejo a/itoitie luiniviie iislH«:al>ljtmja In lzlx)pot-njevanja (opredeljeni medpriimn-o imsameznih modiiloi-J. oZji cilji, ki .m konkreineJSi in bolj nsmerJeni ter se nanaUiJo na nef>osredne reziiliaie seminarJti/ieCaJa (opredeli Jih izi djalec in morajo Im ito.wglJM uiko z vidika učnega procesa, kakor Indi z vidika JmzneJiega izbolJHanJa bakovnsli dela udeleženca tečaja). in/Kisameznikovi osebni uCni cilji (opredeli Jih udeleženec pred začetkom u.tpo.s Kako lahko udeleženec nl>orabi novo znanje in izkuSnJe na delovnem mestu.' Kdo hi se v orfianizaci-Jl/organizaciJski enoli Se zanimal za Informacije o pridobljenem znanjii udeleženca* Kaj Je udeleženec predvidel, da bo storil v .svojem akcijskem načrtu /m vrnitvi na delovno mesto.' KakSno /Hidlmro pri tem fKilrebiiJe/prlčakiiJe od svojega nadrejenega.-' " n» Kirkliatrickn ti. tretja raven evalvacije - ugotavljanje rezultatov oziivma .spivmemb v delovni iis/teinnsti. odgovorni za iis|x)sabljanje in izpopolnjevanje zaposlenili, saj bodo potrdile ali zanikale pravilnost njihovih predhodnih odločitev. Prav tako bodo informacije do določene mere izpostavile dejavnike, ki podpirajo (ali zavirajo) usposabljanje in razvoj v posamezni organizacijski enoti. Zavedanje oziroma prepoznavanje slednjih pa bo omogočilo izključevanje oziroma zmanjševanje vpliva negativnih dejavnikov ter nadaljnjo krepitev pozitivnih. Sodelovanje in podpora udeležencev procesa usposabljanja in izpopolnjevanja Kot je bilo že poudarjeno, je temeljni cilj uvajanja novega sistema e\'alvacije uspešnosti usposabljanja in izpopolnjevanja v upravi nenehno prilagajanje programske ponudbe Upravne akademije dejanskim ]>otrebam javnih uslužbencev. Za doseganje tega cilja pa je nujen in osnoven pogoj tesno in neprekinjeno sodelovanje vseh udeležencev procesa usposabljanja - Upravne akademije, izvajalcev, neposrednih udeležencev tečajev in seminarjev, njihovih predpostavljenih, delavcev kadrovskih služb in drugih. Sodelovanje in povezovanje vključujeta v prvi vrsti vzpostavitev sistema in opredelitev postopkov za oblikovanje strateških ciljev usposabljanja in izpopolnjevanja v vseh organizacijah javne uprave ter sistema spremljanja doseganja postavljenih ciljev. Postopek oblikovanja strateških ciljev usposabljanja in izpopolnjevanja bo vključeval določanje in usklajevanje ciljev med posameznimi upravnimi organizacijskimi enotami in Upravno akademijo. Predvidoma bo to enkrat letno, po potrebi pa se bodo cilji prilagajali tudi pogosteje. Dogovorjeni splošni cilji bodo osnova, na podlagi katere bodo Upravna akademija in uporabniki njenih storitev presojali vplive usposabljanja in izpopolnjevanja na usjješnost izvajanja nalog javnih uslužbencev. Upravna akademija bo poročala o ugotovitvah na podlagi analize evalvacijskih rezultatov posameznim državnim upravnim organom in organom javne uprave o udeležbi njihovih zaposlenih na posameznih oblikah usposabljanja in izpopolnjevanju, s čimer bo zagotavljala |X)trebne povratne informacije za lastno delo in za načrtovanje novih potreb po usposabljanju v posameznih delih uprave. Prvi korak v okrepljenem sodelovanju je dosledno izpolnjevanje prijavnih obrazcev, .še posebej rubrik, povezanih z učnimi cilji in pričakovanji udeležencev. Ta korak je neposredno povezjtn z vključevanjem vodilnih in vodstvenih delavcev v razgovore pred in po usposabljanju. Upravna akademija bo še naprej vzpodbujala iskreno in odprto sodelovanje z udeleženci svojih programov usposabljanja in izpopolnjeviinja, ki bodo ijjieli možnost izražati svoja opažanja, predloge in pobude ne le z opisanima vprašalnikoma," ampak tudi, kakor je že sedaj v navadi, v neposrednih razgovorih z izvajalci in organizatorji usposabljanj. " Ker se Zdivi/timo fmgosie neiiakloiijeiinsli lz/xilnjeiaiijii ipmSaliiikov in nenehnemu immtinjktinjii Casil, mi oba t/>ntSdo vključene tudi v izvajanje analize potreb po usposabljanju in izpopolnjevanju za .svojo organizacijo oz. organizacijsko enoto. Na ta način bo Upravna akademija zagotovila neprestane in neposredne stike s .svojimi u|X)rabniki ter možnost oboje.stran.ske izmenjave informacij, nana.šajočib .se na usposabljanje in izpopolnjevanje. Upravna akademija lx) pripravljala letne evalvacij.ske preglede .svojega dela v zvezi z do.seganjem splošnih učnih ciljev |X)sameznih organizacijskih enot. S tem bo neposredno podprla vse dele javne uprave pri doseganju njihovih poslovnih ciljev. V zvezi s tem so predvideni razgovori (enkrat letno na popolnjevanje kot enega najbolj dosegljivih in učinkovitih načinov stopanja v korak s spremembami. Prav tako jc jasno prisotno tudi zavedanje vodilnih in vodstvenih upravnih delavcev o pomenu in nujnosti nenehnega usposabljanja in razvoja, ki ga izražajo v okvirih danih možnosti. To pa so dovolj trdni temelji, na katerih bo slonel opisani sistem evalvacije uspešnosti usposabljanja in izpopolnjevanja v upravi. LITERATLIRA Ucc. l-r;«Kcs in KolancI (IWi): Training Ncccls Analysis and B'atua(iri Run Press, lixtcr Clark, Donald (1997): Instriiciional .Sysictn IX'wIopnicnl. I-valuation Phase. HarperCollins, l.ondt)n. Goldstein, Irwin, I.. (1993): Training in organizations: Needs a.s.sc.ssenient. development and evaluation. Pacific Grovx-, CA: IJrooks/Cole. Harrison, Rosemary (1995): l-mployee Development. Institute of Per.st)nnel Management, l.ontlon. Kikpatrick, D Kvaluation of Training. Internaii()n;il Center for Public Fnterpri.scs in IX-veloping Countries. Ljubljana. '17C Zineau. Nick (1999): .Si.stem cvalvacije Upravne akademije. Projekt PHARF Ljubljana, neobjavljeno gradiw).