Sonja Borštnar EVALVACIJSKA RAZISKOVANJA V SVETU IN EVALVIRANJE PROGRAMOV RAZVOJ EVALVACIJSKIII RAZISKOVANJ V SVETU Število evalvacijskih raziskovanj v zahodno- evropskih državah in Severni Ameriki je priče- lo v šestdesetih in sedemdesetih letih blisko- vito naraščati. Čeprav so obstajali številni do- kazi o omejenemu pomenu in uporabnosti ter majhnemu vplivu na odločitve, je pomen eval- vacije kot sredstva za ocenjevanje vrednosti in učinkov programov neprestano naraščal. Z razvojem evalvacijskih raziskovanj je bilo nekaj dilem odpravljenih, še vedno pa so rele- vantna naslednja vprašanja: - Odnos do znanosti, politike in etike. Kakšna je vloga evalvacije v političnem proce- su? Ali naj bi z evalvacijo samo informirali ali tudi poskušali vplivati na politične odločitve? - Odnos do metod in tehnik. Zakaj so eval- vacije tako neučinkovite pri ocenjevanju vlad- nih programov? Ali je eksperimentalni pristop primeren za preučevanje celotne družbe? Katera so osnovna izhodišča pri oblikovanju modelov in kako naj bodo oblikovani rezul- tati? - Odnos do konflikta racionalnosti. Številni znanstveniki so pričeli postavljati vprašanja o tem, koliko je politični in administrativni sistem sposoben uporabljati informacije eval- vacijskih raziskovanj. Razlike v načelih in pravilih, ki vladajo na področju znanosti in politike, onemogočajo aktivno uporabo evalva- cijskih rezultatov. - Odnos do razširjanja evalvacijskih rezul- tatov. Majhna uporabnost evalvacije je usmeri- la pozornost na razširjanje evalvacijskih razul- tatov. Uveljavilo se je prepričanje, da je treba evalvacijska raziskovanja prilagoditi različnim političnim ravnem in uporabnikom. ZAK;U SO EVALVACIJSKA RAZISKOVANJA POSTALA TAKO USPEŠNA, ČEPRAV SO BILA DELEŽNA ŠTEVILNIH KRITIK? V zgodnih 60-tih letih je bila pozornost za- hodnoevropskih držav in ZDA usmerjena k institucionalizaciji političnega načrtovanja, programskemu financiranju, optimalizaciji operacionalnega raziskovanja in racionalnemu izboru modelov za koordinacijo aktivnosti. Evalvacija naj bi temeljila na tehničnem zna- nju, informirala naj bi o doseganju ciljev, zago- tavljala naj bi podatke o uspešnosti uvajanja inovacij, prispevala naj bi k racionalnejši po- razdelitvi sredstev. Medtem ko so se zgodnji modeli načrto- vanja izkazali za zgrešene, deloma zaradi svoje nepraktičnosti in tehnične zapletenosti, je evalvacija prešla od ozkega eksperimentalnega testiranja rezultatov h kreativnim, široko pre- skušenim pristopom in je postopoma postajala vse pomembnejša in nepogrešljivejša. Za tiste, ki so odgovorni za določene pro- grame, imajo evalvacijska raziskovanja nekaj pomembnih značilnosti: - lahko so pomembno sredstvo pri sprem- ljanju izvajanja programa in njegovih učinkov; spoznanja je mogoče uporabiti pri sprejemanju odločitev, porazdelitvi sredstev itn.; - uporabiti jih je mogoče za nadzorovanje delovanja organizacij; - prav tako pa lahko pomenijo instrument prepričevanja pri pridobivanju podpore za do- ločen program v javnosti in parlamentu. EVALVACIJSKI MODELI Velikansko število potencialnih namenov, tehnik, konceptov, akterjev in instituciona- liziranih oblik je pripeljalo k heterogenosti evalvacijskega raziskovanja. 17 SONJA BORŠTNAR Osnovna predpostavka večine evalvacijskih modelov je, da je za kreiranje, izvedbo in eval- vacijo programov potrebna baza podatkov. Proces načrtovanja mora izhajati iz določenega teoretičnega znanja, na podlagi katerega se odločimo za model intervencije. Model mora biti seveda v odnosu do pred tem ugotovljenih potreb. V preteklosti so se pojavili številni pristopi, vendar bomo v nadaljevanju prikazali le neka- tere, ki jih uporabljajo evalvatorji. Te različne strategije lahko strnemo v tri skupine, ki so si razvojno sledile tako, kot so navedene spodaj: - ciljno usmerjeni modeli, - uporaba eksperimentalnega raziskovanja za evalvacijske namene kot poskus ugotavljan- ja kavzalnosti problemov, - alternativni raziskovalni modeli. CILJNO USMEKJEM MODELI Kljub razlikam v definicijah je skupna značilnost teh modelov prizadevanje, da bi iz- merili, v kakšnem obsegu program uresničuje določene cilje. Evalvator mora torej ugotoviti, kakšni so cilji, in izločiti specifične učinke, ki jih je povzročila določena aktivnost. S konceptualizacijo ciljev so povezani ne- kateri relevantni problemi: identifikacija in ocenjevanje ciljev, dejstvo, da obstajajo številni cilji, vprašanje, čigave cilje naj bi predstavili, spremenljivost ciljev itn. Eden od osnovnih problemov je tudi čas. Program, ki naj bi ga evalvirali, poteka v do- ločenem časovnem obdobju; če je to časovno obdobje daljše, lahko pride do določenih spre- memb idej, teorij in predpostavk, na katerih program temelji. Niz vnaprej postavljenih ci- ljev pomeni omalovaževanje potencialnih spre- memb. Poleg tega pa nekatere družbcno-ekonom- ske situacije ne dopuščajo jasne specifikacije ciljev. Pogosto je zato bolje, da delujemo na osnovi nekoliko manj jasno definiranih ali celo protislovnih ciljev, pozneje, ko postanejo pro- blemi jasnejši, pa cilje prilagodimo situaciji. Eksplicitno postavljeni cilji v veliko situacijah pripeljejo do nepotrebnih konfliktov in po- vzročajo rigidno vedenje. Da bi se b.ognili nekaterim problemom ciljno usmerjenih mo- delov, je Wholey, strokovnjak nekdanjega Department of Health, Education and Wel- fare, predlagal uporabo preevalvacije, s katero ocenimo, ali in na kakšen način je mogoče evalvirati program. Čeprav je preevalvacija pomenila določen napredek, so nekateri pro- blemi še vedno ostali nerazrešeni. UPORABA EKSPERIMENTALNEGA RAZISKOVANJA ZA EVALVACIJSKE NAMENE Eksperimentalno raziskovanje kot poglavit- na evalvacijska strategija je doseglo vrhunec v začetku sedemdesetih let. Tako kot pri ciljno usmerjenih modelih tudi v tem primeru evalva- torji zahtevajo jasno definirane cilje, uspešnost programa pa se določa z merjenjem doseganja ciljev. Osnovne zahteve teh modelov so: namen in cilji programa morajo biti jasno in natančno definirani, nadzorovati je treba oko- lje oziroma situacijo, v kateri izvajamo določen program, prav tako so potrebne uniformna obravnava in nespremenjene komponente. Poglavitni pomanjkljivosti eksperimental- nega raziskovanja za evalvacijske namene pa sta, da je program običajno kompleksna, dina- mična celota in da povzroča definiranje njego- vih elementov velike probleme. Program lahko vsebuje številne cilje, ki se jih pogosto ne da kvantificirati. ALTERNATIVNI RAZISKOVALNI MODELI Problemi in omejitve klasičnih pristopov so bili osnova za pojavljanje alternativnih evalva- cijskih modelov. Alternativni pristopi želijo združiti različne izkušnje in potrebe ter upo- števati strukturalne značilnosti problemov. Združiti želijo različne cilje, uporabiti različne vire informacij, izkušnje praktikov itn. NEKATERI VIDIKI IZVAJANJA EVALVACIJE V javni administraciji zahodnoevropskih držav in ZDA obstajajo v zvezi z evalviranjem tri zelo razširjena stališča: - evalviranje je nujno, - evalviranje je težavno, - evalviranje se zelo redko uporablja. Redno spremljanje programov zahtevajo zlasti davkoplačevalci, analitiki, eksperti za proračun. Politiki in managerji navadno niso bili zainteresirani za evalviranje preteklih in 18 EVALVACIJSKA RAZISKOVANJA V SVETU IN EVALVIRANJE PROGRAMOV tekočih aktivnosti, saj bi raziskovanje lahko razkrilo pomanjkljivosti njihovih odločitev. V zadnjih letih, ko se je poudarek v javnem financiranju premaknil od pridobivanja dodat- nih sredstev k razporeditvi in celo prerazpore- ditvi sredstev, varčevanju, krčenju programov, povečanju produktivnosti in privatizaciji, po- trebo po evalviranju programov vse bolj obču- tijo tudi politiki in managerji. Evalviranje je zares zahtevno. Izdelanih je bilo veliko modelov in številni so se izkazali za neuspešne, prav tako pa je bilo jalovo tudi is- kanje splošnega modela. Mnoge tehnike in metode so pretežke in zahtevajo preveč časa, da bi jih uporabljali praktiki. Poleg tega, da se evalviranje le redko upo- rablja, pa politiki pogosto trdijo, da rezultati evalvacij niso uporabni. m\ KAJ JE EVALVACIJA? Ker želimo identificirati samo nekatere poglavitne vidike, bomo izvajanje evalvacije razumeli kot ugotavljanje in ocenjevanje, kako aktivnost, program ali institucija realizira, ozi- roma, kako je realizirala svoje cilje. Ta defi- nicija razlikuje tri vidike izvajanja evalvacije: - cilj, predmet, - časovne perspektive, - kriteriji. Obstajajo še številni drugi vidiki izvajanja evalvacije, ki jih je treba upoštevati. Zelo se razlikujejo med seboj pričakovanja o izvajanju evalvacije: vodstva institucij priča- kujejo, da bo evalvacija integralni del nadzor- nega sistema. Njihov primarni inleres je njena uporabnost za notranje načrtovanje, nadzor in odločanje. S širšega družbenega stališča naj bi evalvacija nudila odgovore na vprašanje o tem, ali deluje odgovorno in v skladu s pravili in regulacijami. Z znanstvene perspektive pa je izvajanje evalvacije način, kako priti do novih spoznanj o posameznih aktivnostih, njihovih učinkih, postopkih itn. Naslednji pomemben vidik je položaj eval- vatorja. Zunanja in notranja evalvacija imata navadno povsem različne cilje. Osnovni motiv za izvedbo evalvacije je pri- čakovanje, da bodo rezultati prispevali k us- pešnosti in učinkovitosti nekaterih aktivnosti. Brez evalviranja programsko financiranje in načrtovanje nimata pomena. Obstajajo številni razlogi za izvajanje evalvacij, toda v praksi so pogosto nejasni. Najprej moramo ugotoviti, kdo so uporabniki evalvacij in kaj pričakujejo od določene analize. Notranji uporabniki po- trebujejo podatke za nadzorovanje sistema. Zunanji uporabniki želijo informacije, da bi se lahko odločili, ali je treba intervenirati v do- ločen sistem ali ne. Politiki in finančniki po- trebujejo podatke o stopnji zadovoljenosti socialnih potreb in potrebnih finančnih sredst- vih za določene aktivnosti. Davkoplačevalci želijo zvedeti, kako je potrošen njihov denar, itn. Seveda so interesi notranjih in zunanjih uporabnikov pogosto konfliktni. Ko se odločamo o evalvacijskem modelu, mora biti vloga uporabnikov povsem jasna. Če evalvacijski rezultati ne vplivajo na bo- doče ravnanje, nimajo nebene vrednosti. NAMEN EVALVIRANJA Glede na namen evalviranja lahko razli- kujemo dve vrsti evalvacijskih podatkov, in sicer: - podatke za spremljanje aktivnosti ali pro- grama, in - evalvacijske rezultate, ki jih potrebujemo za strateške namene. Odločitev o izbiri me- tode mora voditi potreba po informacijah. Naslednja uporabna kategorizacija name- nov evalviranja je: - supervizija, - validnost, - inovativnost. Če je namen supervizija institucije ali pro- grama, potem želimo ugotoviti skladnost delo- vanja institucije s pravili, postavljenimi cilji itn. Kadar je namen validnost, ugotavljamo racio- nalnost programa in proučujemo hipoteze vzročno-posledičnih odnosov. Kadar je motiv inovacija, pa pričakujemo nove ideje, ki te- meljijo na evalvacij i. Ker lahko evalvacije strežejo različnim namenom, je izredno pomembno, da je eval- vator natančno informiran o namenu evalvacij- skega raziskovanja. 19 SONJA BORŠTNAR KDO EVALVIRA V literaturi o evalvaciji obstajajo številni odgovori na to vprašanje. Avtorji se v glavnem strinjajo, da bi deskripcije in analize morali opravljati eksperti, ne strinjajo pa se vedno o vrsti ekspertov. V tem kontekstu se nam zdi zelo primerno Arvidsonovo (1986) razliko- vanje med tremi vrstami ekspertov: - V prvo vrsto uvršča eksperte za statis- tične metode, sociologe, ekonomiste itn. Ti so nepogrešljivi pri ustvarjanju sistemov zbiranja podatkov, poročil, finančnih izračunov itn. - Drugi tip predstavljajo tisti, ki se ukvarja- jo z določeno aktivnostjo. Če je zunanja eval- vacija morda nujna, da bi izvedli relevantne spremembe v posameznih programih, in če so eksperti za metodologijo morda nujni tudi v nekaterih primerih notranje evalvacije, pa je Arvidsonovo staUšče, da morajo glavni del analiz in opisov izvesti ljudje, ki se ukvarjajo z določeno aktivnostjo. Ti imajo namreč naj- boljši vpogled v aktivnost, z njo pa se bodo uk- varjali tudi potem, ko bodo študije končane. - V tretjo kategorijo pa uvršča uporabnike. V nekaterih primerih jih predstavljajo politiki. Ker pa interesi uporabnikov pogosto niso za- dovoljivo predstavljeni, bi morali upoštevati neposredna mnenja uporabnikov, ki bi jih ugo- tovili z intervjuji, vprašalniki ali pa njihovo aktivno udeležbo v evalvacijskih projektih. PERSPEKTIVE EVALVACIJSKEGA RAZISKOVANJA Naraščajoči ekonomski in finančni proble- mi so povzročili, da poudarek evalvacijskega raziskovanja ni več na rezultatih, temveč na ocenjevanju potreb in izvedbe določenega pro- grama in na izdelavi kvalitetnih nadzornih postopkov. Danes je evalvacija vse bolj integrirana v administrativne postopke na številnih ravneh in v številnih institucijah. V prihodnosti lahko pričakujemo naraščanje števila institucij, ki bodo potrebovale evalvacijska raziskovanja. Splošno je sprejeto stališče o nujnosti raz- ličnih evalvacijskih pristopov, vse bolj poznane pa so tudi meje evalvacijskega raziskovanja. Evalvacije vključujejo: - opis programa (procesna evalvacija), - analiziranje predpostavk programa in njihov odnos do aktivnosti programa, - identificiranje učinkov programa (sumar- na evalvacija), - primerjava alternativnih programov ali sintetiziranje ugotovitev različnih evalvacij (metaevalvacija). Kontroverze glede uporabe metod, vloge evalvacij, osnovnih principov, ki naj bi vodili evalvacije, se bodo gotovo še nadaljevale. Tudi v prihodnje bo treba dosegati kom- promise med političnimi zahtevami po takoj- šnjih in relevantnih evalvacijah ter potrebe po neodvisnih, dolgoročnejših raziskovanjih. EVALVACIJA SOCIALNIH PROGRAMOV Pri evalvaciji novih programov je treba upoštevati razliko med učinkovitostjo in uspešnostjo. Z učinkovitostjo razumemo dose- ganje visoke stopnje produktivnosti ali iz- boljšanje razmerja med inputom in outputom. Z merjenjem učinkovitosti ugotavljamo, koliko posamezne storitve, ukrepi itn. po obsegu in kvaliteti ustrezajo rabljenim sredstvom. S ter- minom uspešnost pa poudarjamo nujnost, da storitve, ukrepi itn. po svoji kvaliteti in dimen- zijah zadovoljujejo obstoječe potrebe. Z merjenjem uspešnosti ugotavljamo, ah imajo storitve in ukrepi pričakovan vpliv na določene kategorije prebivalstva, geografska področja itn. Uspešnost tako ni odvisna samo od učin- kovitosti in stroškov storitev in ukrepov, tem- več tudi od distribucije in doseganja ciljev na določenem področju. Evalvacijo bi morali upoštevati v vseh fazah načrtovanja določenega programa in ne le po tem, ko smo program že izvedli. Vloga evalva- torja v načrtovanju in organizacijskem procesu je odvisna od modela načrtovanja. Na področju socialnega varstva obstajajo trije poglavitni modeli za načrtovanje progra- mov: - Prvi zahteva vnaprej določene in fiksira- ne cilje, temelji pa na predpostavki, da je treba imeti že na začetku procesa načrtovanja vse potrebne informacije. Evalvator ima pomem- bno vlogo na začetku procesa načrtovanja, ko je treba določiti cilje, in po izvedbi programa, ko je treba oceniti realizacijo ciljev. Zbiranje 20 EVALVACIJSKA RAZISKOVANJA V SVETU IN EVALVIRANJE PROGRAMOV in vrednotenje podatkov med izvajanjem pro- grama je drugotnega pomena. Evalvacija se opravi na koncu načrtovanega procesa na pod- lagi natančnih tehničnih kriterijev. - Drugi model predpostavlja, da ni mogoče poznati vseh potrebnih informacij o kakšnem problemu. Kriteriji za akcijo temeljijo na krat- koročnih intervencijah in hitrih odločitvah. Evalvacija je takojšnja. V tem modelu zbiranje informacij ni tako pomembno kot percepcija najpomembnejših problemov, ki jih je treba čim prej rešiti. Vloga evalvacije je v tem mode- lu marginalna, kriteriji zanjo pa so pretežno politični. - Tretji model ob poudarjenih dolgoročnih ciljih dopušča tudi možnost prilagajanja pro- blemom, ki se pojavijo v poznejših fazah. Po tem modelu mora biti redno zbiranje informa- cij zagotovljeno v vsaki fazi izvajanja progra- ma, in sicer zato, da lahko sproti ugotavljamo, ali je mogoče realizirati postavljene cilje, in da lahko modificiramo cilje, če je to pomembno. Evalvacija bi morala biti sestavni del pro- grama ali vsebovana v vsaki fazi načrtovanja in izgrajevanja programa ali projekta. SAMOVREDNOTENJE PROJEKTA OZIROMA PROGRAMA Samovrednotenje je poskus, pojasniti glav- ne cilje projekta ter identificirati in oceniti poglavitne probleme pri njihovi realizaciji (Room, Whitting 1987). Razlogi za samovrednotenje so številni: redna poročila o delu financerjcm, poročila projektnega osebja vodstvu projekta, informi- ranje uporabnikov, potencialnih uporabnikov in javnosti. Toda njegova najpomembnejša funkcija je, da prispeva k vodenju in razvoju projekta. Z rednim vrednotenjem lahko iz- boljšamo kratkoročno in dolgoročno načrto- vanje, ocenjujemo organizacijo itn. Prispeva lahko k učinkovitejši porazdelitvi sredstev in inovativnosti. Pri evalvaciji projekta (programa) lahko razlikujemo več faz: - Kontekstualna evalvacija: treba je identi- ficirati probleme, h katerim je program usmer- jen. Pojasniti je treba, v kakšnem odnosu do problemov so kratkoročni in dolgoročni cilji. - Evalvacija rezultatov: ta faza obsega nad- zorovanje načrtovanih in nenačrtovanih rezul- tatov aktivnosti projekta in oceno doseženih ciljev. - Evalvacija procesa: v tej fazi nadzorujemo potek aktivnosti projekta in identificiramo po- glavitne probleme pri doseganju boljših rezul- tatov. Ugotoviti želimo, kako poteka notranje vodenje projekta, koliko ljudi se ukvarja s pro- jektom in kakšna je njihova strokovna izobraz- ba, kakšen je sistem odločanja, odnos med financerji itn. - Evalvacija strategije: samoevalvacija obse- ga tudi celotno strategijo projekta. Ponovno je treba oceniti razumevanje problemov, ki jih želimo razrešiti s projektom, ter oceniti krat- koročne in dolgoročne cilje. Evalvacija strate- gije je izredno pomembna, kadar izvajamo projekt v hitro spreminjajočem se okolju. Učinkovitost projekta je morda odvisna ravno od rednega ponovnega ocenjevanja. Pri samovrednotenju projekta lahko upo- rabimo kvalitativne in kvantitativne podatke. Osnovne statistične podatke lahko zbere- mo s pomočjo obstoječih statističnih virov. Projektno osebje pri raziskavi lahko uporablja vprašalnike, intervjuje, metode opazovanja. Pri kontekstualni evalvaciji potrebujemo informacije o socialnih in ekonomskih razme- rah ciljne populacije, ki jih zbiramo s pomočjo preverjenih metod. Pri evalvaciji rezultatov potrebujemo informacije o uporabi možnosti, ki jih projekt nudi ciljni populaciji (število uporabnikov, trajanje njihovega kontakta s projektom, spol, starost, poklic itn.). Pri eval- vaciji procesa lahko uporabljamo podatke o načinu odločanja v projektu, in sicer zato, da pojasnimo pomanjkljivosti pri vodenju projek- ta, ki zmanjšujejo njegovo uspešnost. NEKATERA KIJUČNA VPRAŠANJA PRI GRADITVI SISTEMA SAMOVREDNOTENJA Samovrednotenje je usmerjeno k nekaj tesno povezanim sklopom, to pa so: - definicija problema, - prioritete, vrednote in cilji, - aktivnosti projekta, - organizacija in sredstva, - izvedba. 21 SONJA BORŠTNAR - rezultati, - sintetiziranje izkušenj, - povratna sporočila. DEFIMCIJA PROBLEMA Projekt mora identificirati problem, s ka- terim se spoprijema, in analizirati vzroke za njegov nastanek. V tej fazi nastajajo vprašanja o ustreznosti konceptualizacije problema, o vzrokih za nastanek problema, vprašanje, ali smo imeli pri definiranju problema ustrezne podatke, in vprašanje o osnovnih razlogih za projektni pristop. PRIORITETE, VREDNOTE, CIIJI Projekt mora pojasniti in specificirati svoje cilje in vrednote. Odgovoriti je treba na nas- lednja vprašanja: - Ali so cilji projekta dovolj jasni in speci- ficirani, da dopuščajo ustvarjanje programa in njegovo izvajanje? - Ali ima projekt jasen koncept ciljev? - Ali so cilji merljivi? - Ali obstaja prioriteta pri uresničevanju ciljev? - Katera je ciljna populacija? - Kakšna je časovna skala pri realizaciji posameznih ciljev? - Ali je povezava med definicijo problema, namenom in cilji jasna in logična? AKTIVNOST PROJEKTA Projekt mora redno zbirati podatke o svo- jih aktivnostih in razvoju: - Ali smo uporabili take metode dela, da nam omogočajo doseganje postavljenih ciljev? - Ali uporabljene metode ustrezajo proble- mu, potrebam in ciljem projekta? - Kakšne so aktivnosti projekta? - Koliko uporabnikov je v stiku s projek- tom? - Katere informacije o uporabnikih je treba še zbirati in analizirati? ORGANIZACIJA IN SREDSTVA - Ali je projekt izvedljiv v danih ekonom- skih in političnih razmerah? - Ali je mogoče pravočasno doseči postav- ljene cilje? - Ali so načrtovane naloge organizacijsko izvedljive? - Ali je odgovornost za izvedbo projekta jasno definirana? - Ali razpoložljiva sredstva omogočajo iz- vedbo začrtanega delovnega programa in reali- zacijo postavljenih ciljev? REZULTATI Postaviti je treba kriterije, ki omogočajo merjenje rezultatov projekta. S tem v zvezi se postavljata naslednji vprašanji: - Kako meriti rezultate projekta? - Ali so indikatorji za merjenje rezultatov logično b.peljani iz posameznih ciljev? SINTETIZIRANJE IZKUŠENJ IN POVRATNA SPOROČIU V projektu je treba določiti postopek za učenje iz izkušenj, pomanjkljivosti in težav, s katerimi se je soočil. - Ali so se v času, ko je projekt potekal, potrebe spremenile? - Ali je projekt preskusil cilje s stališča novih potreb? - Ali je projekt dovolj fleksibilen, da odgo- varja na spremembe s stališča novih izkušenj? - Kateri procesi v projektu zagotavljajo, da bodo rezultati evalvacije upoštevani pri na- daljnjem načrtovanju projekta? - Na kakšen način posredovati rezultate financcrjem in drugim projektom, kijih ta pro- blematika morda zanima? - Kakšna poročila, članki itn. so načrtovani za predstavitev problemov, ki izhajajo iz eval- vacije? 22 EVALVACIJSKA RAZISKOVANJA V SVETU IN EVALVIRANJE PROGRAMOV 23 Literatura: A. LlKIERMAN (1982), Management informations for Ministers: The Minis System in the Department of the Environ- ment. Public Administration, vol. 60; 127-142. D. Katz, R. L. Kahn (1987), The Social Psychology of Organizations. New York. G. Arvidson (1986), Performance Evaluation. V: Guidance, Control, and Evaluation in the Public Sector. Berlin in New York; 625-642. G. H. Heli^ERN (1986), Assessing Evaluation Research. V: Guidance, Control and Evaluation in the Public Sector. New York; 279-308. G. J. Room, G. M. Whittinc (1987), The Evaluation of the European Programme to Combat Poverty. Gerona.