Smernice vrednotenja evropske kohezijske politike Stanko Trček Smernice vrednotenja evropske kohezijske politike Znanstveni prispevek UDK 332.122:061.1EU KLJUČNE BESEDE: evropska kohezijska politika, vrednotenje, teoretsko naravnano vrednotenje, reali- stično vrednotenje POVZETEK – Evropska komisija v pravnih podlagah predpisuje spremljanje in izvajanje kohezijske politi- ke. Vrednotenje je proces, ki poteka skozi vse faze iz- vajanja te politike. Komisija je izdala navodila in pri- poročila EVALSED, ki podrobneje opisujejo načine, koncepte in metodologije spremljanja in vrednotenja. Ta predvidevajo teoretsko naravnano vrednotenje ter vrednotenje z metodami, ki temeljijo na oceni vzroč- nega učinka. Teoretično naravnano vrednotenje sledi intervencijski logiki, identificira vzročne povezave in mehanizme sprememb. Odgovarja na vprašanja, zakaj in kako intervencija deluje. Pristop, ki temelji na oceni vzročnega učinka, odgovarja na vprašanja, ali intervencija deluje, ali obstaja vzročna poveza- va in kako velik je učinek intervencije. V članku je predstavljen pristop realističnega vrednotenja (angl. realistic evaluation), ki se uvršča v skupino teoret- sko naravnanih vrednotenj. Realistično vrednotenje poudarja štiri povezane koncepte, ki pomagajo pri razlagi in razumevanju programov. Ti koncepti so: mehanizem, kontekst, rezultat in vzorec rezultata. Scientific article UDC 332.122:061.1EU KEY WORDS: European cohesion policy, evaluation of policy effects, theory-based evaluation, realist evaluation ABSTRACT - The European Commission provides legal bases that impose monitoring and implementation of co- hesion policy. Evaluation is a process that runs through all the phases of cohesion policy implementation. The Commission has issued the EVALSED instructions and recommendations detailing the methods, concepts and methodology of monitoring and evaluation. These instructions assume the theory-based evaluation and evaluation by methods based on the assessment of the causal effect. The theory-based evaluation follows the intervention logic, identifies the causal links and the mechanisms of the change. It answers the questions why and how the intervention works. The approach based on the assessment of the causal effect answers the follow- ing questions: if the intervention works, whether there is a causal link, and how big the impact of the intervention is. This article presents the realist evaluation approach which falls within the group of theory-based evalua- tions. The realist evaluation highlights four related con- cepts that are helpful in interpretation and understand- ing of the programmes. These concepts are: mechanism, context, outcome and outcome pattern. 1 Uvod Evropska kohezijska politika je namenjena zmanjševanju razlik v razvitosti med članicami skupnosti. Kohezijska politika je del regionalne politike Evropske unije, ki je glavna naložbena politika EU, saj zajema skoraj tretjino celotnega proračuna EU. Kohezijska sredstva so namenjena manj razvitim evropskim državam ali regijam znot- raj posameznih držav za odpravljanje gospodarskih, socialnih in teritorialnih neskladij. Pridobivanje finančnih sredstev iz kohezijskih skladov je za države prejemnice zelo pomembno, ker ta sredstva predstavljajo velik in neposredni finančni priliv. Države prejemnice evropskih kohezijskih sredstev imajo zato interes v celoti izkoristiti razpo- ložljiva sredstva, ki so jim na voljo v različnih skladih. Črpanje kohezijskih sredstev je pod nadzorom pristojnih državnih organov, organov EU, politike in tudi javnosti. 4 Revija za ekonomske in poslovne vede (2, 2016) Kohezijska politika je ciljno usmerjena in preko različnih skladov konkretizira cilje, ki naj bi pripomogli k zmanjševanju razlik med članicami EU. Na podlagi zastavljenih ciljev se financirajo različni projekti. Le rezultati projektov lahko prinašajo želene spremembe, ki so potrebne za zmanjševanje razlik med regijami in državami. Uspeš- nost črpanja kohezijskih sredstev sama po sebi še ne zagotavlja izpolnjevanja ciljev, ki jih kohezijska politika zasleduje. Cilje kohezijske politike uresničujemo z uspešno izvedenimi projekti v okviru zastavljenih programov in politik. Vprašamo se lahko, ali imajo izvedeni projekti dejanski učinek in dosežejo želene spremembe, ki so cilj kohezijske politike. Komisija (European Comission, 2015) v pravnih podlagah pred- pisuje spremljanje in izvajanje evropske kohezijske politike. Pravne podlage Komisije so dopolnjene s podrobnimi navodili in metodološkimi napotki za izvajanje spremlja- nja in vrednotenja programov. Navodila za spremljanje in vrednotenje predvidevajo dva dopolnilna pristopa. Gre za teoretsko naravnano vrednotenje in za vrednotenje z metodami, ki temeljijo na oceni vzročnega učinka. Evropska kohezijska politika daje v programskem obdobju 2014–2020 prednost merljivim programskim ciljem in inter- vencijski logiki za doseganje pričakovanih ciljev. Spremljanje in vrednotenje zagota- vlja učinkovito in uspešno izvajanje kohezijskih programov. Vrednotenje je prisotno v vseh fazah izvajanja kohezijske politike, najprej pri oblikovanju programov, nato sledi toku izvajanja in še vrednotenju programov po njihovem zaključku. Teoretske podlage Komisije podrobneje opisujejo načine, koncepte in metodologije za izvajanje spremljanja in vrednotenja. V prejšnjih programskih obdobjih je bilo v ospredju spre- mljanje črpanja. V obdobju 2014-2020 se je fokus premaknil k doseganju zastavlje- nih jasnih in merljivih ciljev. Vrednotenje se mora izvajati na metodološko dosleden način, k čemur prispevajo objavljena navodila in priporočila EVALSED (Evaluation of Socio-Economic Development). Komisija spodbuja uporabo mešanih metod vred- notenja. Pomemben del vrednotenja je primerjanje rezultatov različnih metod, t. i. »triangulacija« (Evropska unija, 2010, str. 206). V nadaljevanju članka bom prikazal ureditev spremljanja in vrednotenja kohezijske politike, okvir vrednotenja in teoret- sko naravnan pristop realističnega vrednotenja (angl. Realist Evaluation), ki ima po- membno vlogo na področju vrednotenja kohezijske politike. 2 Spremljanje in vrednotenje izvajanja kohezijske politike Spremljanje in vrednotenje izvajanja kohezijskih programov zagotavlja uspešno rabo virov in nemoten potek izvajanja programov. Sredstva kohezijske politike pred- stavljajo 32,5 % proračuna EU v obdobju 2014–2020, kar predstavlja 351,8 milijarde EUR. To so javna sredstva, zato javnost želi vedeti, kaj se dogaja sredstvi, ki so po- rabljena v programih evropske kohezijske politike, kaj je bilo doseženo s temi sred- stvi, in ali so ta sredstva porabljena na najboljši možni način. S spremljanjem (angl. monitoring) ugotavljamo učinkovitost in uspešnost izvajanja ukrepov in porabljenih sredstev ter zaznavamo odstopanja od zastavljenih ciljev. Vrednotenje je del življenj- skega cikla kohezijske politike. Njegov namen pa je učinkovita raba javnih sredstev, 5Stanko Trček: Smernice vrednotenja evropske kohezijske politike izboljševanje politik, akumuliranje znanja, osvetlitev uspešnih zgodb in preprečevanje napačnih odločitev v prihodnje. Evropska komisija v pravnih podlagah predpisuje spremljanje in vrednotenje izva- janja evropske kohezijske politike. Pravne podlage Komisije (European Commission, 2015) so dopolnjene s podrobnimi navodili in metodološkimi napotki o spremljanju in vrednotenju programov. V programskem obdobju 2014–2020 je v ospredju dose- ganje jasno zastavljenih in merljivih ciljev. Cilje uresničujemo z aktivnostmi, ki so vsebinsko in finančno določene v razvojnih programih. Novo programsko obdobje za- znamuje tudi jasna delitev med spremljanjem in vrednotenjem programov ter zahteva dosleden metodološki pristop pri ocenjevanju učinkov izvajanja programov. Podporo kvalitetnemu vrednotenju programov v novem programskem obdobju kaže tudi oblikovanje skupnih kazalnikov. Uredba o skupnih določbah skladov ESI (Evropski parlament, 2013) v členu 54 določa, da so za vrednotenje programov na nivoju celotne EU določeni skupni kazalniki. Ti se smiselno uporabljajo v vseh pro- gramih. Poleg skupnih kazalnikov na nivoju EU oblikovalci posameznih programov določijo še dodatne kazalnike, ki jih zasledujejo pri posameznem programu. Metodološka navodila in izdani vodnik EVALSED nudijo podporo spremljanju in vrednotenju kohezijske politike. Skrbnik vodnika in navodil je Direktorat za regional- no politiko Evropske komisije. Vodnik EVALSED (European Commission, 2013a) je namenjen predvsem odločevalcem in oblikovalcem programov. Zbornik EVALSED (European Commision, 2013b) vsebuje različne metodologije, ki so osredotočene na področje kohezijske politike. Veljaven je za Sklad za regionalni razvoj (ERDF) ter Kohezijski sklad (CF). Strukturni skladi uporabljajo enaka navodila, lahko pa v im- plementaciji odstopajo od navodil. Evropski socialni sklad je za področje spremlja- nja in vrednotenja izdal svoja navodila (European Commision, 2012) za vrednotenje učinka s pristopom protidejstvenika. Področje spremljanja in vrednotenja se oblikuje v sodelovanju med Komisijo, državami članicami, akademskim področjem in zainte- resirano javnostjo. Spremljanje in razvoj kohezijskih programov je odprto za predloge in nadgradnje. V nadaljevanju bodo predstavljeni osnovni koncepti in metodologija spremljanja in vrednotenja kohezijskih programov. 3 Okvir vrednotenja Vrednotenje evropske kohezijske politike poteka skozi vse faze izvajanja kohezij- ske politike. Svoj delež prispeva že pri oblikovanju programov, sledi izvajanju pro- gramov in končnemu učinku. Kohezijski programi zajemajo več različnih intervencij in projektov, zato vrednotenje poteka na različnih nivojih, in sicer od posamezne- ga projekta do nivoja programov in posameznih prednostnih osi kohezijske politike. Osnovno vodilo pri spremljanju in vrednotenju programov je iskanje pravih rešitev, ki so pomembne za oblikovalce politik in za upravičence intervencij. Vrednotenje prispeva k učinkovitejšemu načrtovanju, k odgovornosti pri izvedbi in prenosu znanja ter krepitvi institucij (European Commision, 2014, str. 16). V zadnjih navodilih za 6 Revija za ekonomske in poslovne vede (2, 2016) spremljanje in vrednotenje kohezijske politike v obdobju 2014–2020 je Komisija obli- kovala okvir za programiranje, spremljanje in vrednotenje kohezijske politike. Shema le-tega je prikazana na sliki slika 1. Slika 1: Okvir spremljanja in vrednotenja Vir: European Commission (2014). Guidance document on monitoring and evaluati- on, the programming period 2014–2020, str. 5. Prikazani okvir programiranja, spremljanja in vrednotenja je razdeljen na strate- ški del programiranja kohezijske politike ter spremljanje in vrednotenje. V fazi pro- gramiranja na podlagi potreb oblikujemo specifične cilje in načrtujemo rezultate, ki izpolnjujejo zastavljene cilje. Strateški vidik specifičnih ciljev in rezultatov dosegamo preko izvajanja operacij kohezijske politike. Operacijam dodelimo vire za izvajanje in določimo ciljne učinke operacij. Med izvajanjem programi porabljajo dodeljene vire in dosegajo določene učinke. Z vrednotenjem le-teh merimo prispevek programov k doseženim rezultatom, ki so kombinacija učinka delovanja programov in drugih vplivov. Vrednotenje omogoča oceno učinka politik oz. odgovarja na vprašanje, koliko do- ločena politika prispeva k spremembi. Problem tega prispevka (angl. Attribution pro- blem) je eno pomembnejših vprašanj vrednotenja (Leeuw, 2011, str. 7). Učinek mora biti vzročno povezan z intervencijo. Vrednotenje mora ločiti učinek, ki je posledica intervencije, od učinka, ki ga povzročajo drugi dejavniki. Da je vrednotenje uporabno in uporabljeno, mora biti sestavni del odločevalskega procesa in vodenja. Izvajalci vrednotenja morajo postaviti prava vprašanja in ponuditi prave odgovore za vse vple- tene deležnike. Odgovore na vprašanja zagotavljamo s kvantitativnimi in kvalitativni- mi metodami. Z oblikovanjem kohezijskih programov želimo rešiti nekatere probleme v družbi. Ker pa ne moremo rešiti vseh, je izbor predvsem politična odločitev. Po odločitvi o naboru problemov, ki se bodo reševali, se oblikujejo posamezni programi. Za vsak program določimo želene rezultate, ki so lahko »smer želene spremembe«, 7Stanko Trček: Smernice vrednotenja evropske kohezijske politike lahko pa tudi »želeno stanje« po izvedbi programa. Rezultate izrazimo z enim ali več kazalniki. Kazalnik je predstavljen s spremenljivko, ki nam posreduje informacijo o dosežkih in jo lahko na nek način merimo. Za kazalnik rezultata vnaprej postavimo ciljno vrednost. Na uspešnost izvedbe programa vplivajo različni dejavniki. Obliko- valci politik s pomočjo intervencijske logike ugotovijo, na katere dejavnike vplivajo in s katerimi aktivnostmi. Izvedene aktivnosti nato vodijo do rezultatov programa. V fazi oblikovanja programov je dodana vrednost vrednotenja v pravih odgovorih na vprašanji: kaj želimo spremeniti, zakaj verjamemo, da bo izbrana politika prinesla spremembe. Postavljeni cilji morajo biti čim bolj eksplicitni in koncepti oblikovani tako, da so splošno razumljivi. Cilji morajo biti povezani z aktivnostmi in imeti merlji- ve rezultate. Trditve, za katere oblikovalci progama menijo, da so potrebne za rešitev problema, primerjamo z rešitvami, ki so podprte z dokazi iz že izvedenih raziskav. Pred uvedbo programa identificiramo mehanizme, za katere verjamemo, da so ‚motor‘ želenih sprememb. Te mehanizme primerjamo z enakimi ali podobnimi mehanizmi, ki so že raziskani in ponujajo dokaze o svoji uspešnosti ali neuspešnosti. Oblikovalci programov lahko preverijo predvidene mehanizme načrtovanih programov v bazah znanja o že izvedenih projektih. Primer arhiva izvedenih študij ukrepov je organiza- cija Campbell Collaboration (2016). Organizacija na svojem spletnem portalu obja- vlja sistematične preglede izsledkov raziskav o učinkih socialnih intervencij na več različnih področjih. Bolj se mehanizmi, na katerih sloni rešitev, ujemajo z dokazi iz obstoječih raziskav, bolj je verjetna uspešnost intervencije. O učinkih intervencij na področju šolstva so zbrani izsledki študij na spletni strani Inštituta za izobraževalne znanosti (Institute of Education sciences, 2016). Glede na fazo izvajanja kohezijske politike je vrednotenje predhodno (ex-ante), v programskem obdobju (mid-term) in naknadno (ex-post). Predhodno vrednotenje izvajamo v fazi načrtovanja programa. Cilj predhodnega vrednotenja je izboljšanje kakovosti načrtovanja in optimizacija razdeljevanja sredstev. S predhodnim vrednote- njem ugotavljamo, ali se načrtovani cilji in ciljne vrednosti lahko dosežejo. Predhod- no vrednotenje (ex-ante) lahko izvajamo s teoretsko naravnanimi pristopi. Temeljna vprašanja predhodnega vrednotenja so: ali ima program zmožnost reševanja proble- ma, ali je mogoče cilje doseči z razpoložljivimi sredstvi, ali je strategija skladna s po- litikami na državni in evropski ravni. Predhodno vrednotenje mora potrditi povezavo med učinki in rezultati programov. Vrednotenje v programskem obdobju, ki ga imenujemo tudi sprotno ali vmesno vrednotenje, se izvaja v celotnem programskem obdobju. Namen sprotnega vredno- tenja je spremljanje in izboljšanje upravljanja programa. Vsebuje vse aktivnosti vred- notenja, ki se izvajajo skozi celotno programsko obdobje. Analizira se relevantnost izbranih ukrepov, koherentnost, uspešnost, učinkovitost in vpliv izbranih ukrepov. Po- membna naloga vmesnega vrednotenja je zaznavanje nepredvidenih ali nepričakova- nih učinkov izvajanja programa, ki so lahko pozitivni ali negativni. Vrednotenje v pro- gramskem obdobju zagotovi organ upravljanja vsaj enkrat v programskem obdobju. Vrednoti se uspešnost, učinkovitost in vpliv podpore skladov ESI ciljem posamezne prednostne osi (SVRK, 2015, str. 6). 8 Revija za ekonomske in poslovne vede (2, 2016) Po zaključku izvajanja programa z naknadnim vrednotenjem ocenimo uspešnost in učinkovitost izvedenih programov ter njihov prispevek k strateškim usmeritvam. Naknadno vrednotenje izvaja Komisija ali država članica v sodelovanju s Komisijo in se opravi do konca leta 2024 (SVRK, 2015, str. 6). Pri vrednotenju rezultatov upo- števamo, da so spremembe posledica intervencij, ki so bile povzročene z izvajanjem programov in z drugimi vplivi. Sprememba vrednosti kazalnikov je torej prispevek intervencije in prispevek drugih vplivov. Učinek, ki ga iščemo, je torej tista spremem- ba kazalnika, ki jo lahko z zadostno verjetnostjo pripišemo intervenciji. Pri iskanju odgovora o učinku intervencije metodologija za vrednotenje kohezijskih programov predvideva dva različna sklopa vprašanj in pristopov k iskanju odgovorov na ta vpra- šanja. Prvi sklop vprašanj se nanaša na kvantifikacijo učinkov, drugi sklop pa na raz- lago učinkov. Zato se razlikujejo tudi metode vrednotenja. Michalek (2012) ugotavlja, da je bilo do konca leta 2010 na področju kohezijske politike kar 75 % evalvacij, ki so bile posredovane Komisiji, izvedenih s teoretsko naravnanim pristopom (angl. theory- based evaluation) k vrednotenju programov. Ta pristop sledi intervencijski logiki in identificira vzročne povezave in mehanizme sprememb. Metoda odgovarja na vpraša- nja, zakaj in kako intervencija deluje. Drugi pristop je sklop ekonometričnih metod za izračun učinka z uporabo pro- tidejstvenika (angl. counterfactual). Metoda odgovarja na vprašanja, ali intervencija deluje, ali obstaja vzročna povezava in kako velik je učinek intervencije. Komisija v obdobju 2014–2020 spodbuja večjo uporabo kvantitativnih pristopov, čeprav je v vsakem primeru potrebna izvedba teoretsko naravnanega vrednotenja. Če metoda protidejstvenika dokaže, da določena intervencija deluje, in to nume- rično podkrepi, je to še vedno ugotovitev o posamezni intervenciji pod določenimi pogoji (Stryczynski, 2009). Še vedno potrebujemo kvalitativno oceno, da razumemo učinke, ki jih lahko uporabimo v prihodnje, in ugotovimo tudi možno stopnjo prenosa na druge programe. Komisija v navodilih za vrednotenje (European Commision, 2014) priporoča kombinirano uporabo dveh pristopov: teoretično naravnano vrednotenje (angl. theo- ry-based evaluation) in vrednotenje na podlagi protidejstvenika (angl. counterfactual impact evaluation). Izbira ustreznih metod in tehnik evalvacije je odvisna od tipa socialno-ekonom- ske intervencije, namena evalvacije in stopnje izvedbe programa (ex-ante, mid-term, ex-post). Teoretično naravnano vrednotenje in vrednotenje s protidejstvenikom se pri uporabi dopolnjujeta. Vrednotenje z uporabo združevanja kvalitativnih in kvantita- tivnih metod ali triangulacije nam da močnejše zagotovilo o veljavnosti rezultatov (Lobe, 2006). Navodilo o spremljanju in vrednotenju (European Commision, 2013b, str. 48) priporoča, naj oblikovalci politik pri vrednotenju uporabljajo oba pristopa in svari pred t. i. paradigmatsko vojno (angl. paradigm wars). 9Stanko Trček: Smernice vrednotenja evropske kohezijske politike 4 Teoretsko naravnano vrednotenje Pomembnost teoretsko naravnanega vrednotenja izhaja iz dejstva, da poleg kvan- titativnega učinka intervencije obstaja še veliko drugih informacij, ki so uporabne za oblikovalce politik in prejemnike intervencij ter pomembne za javnost. Vprašanje je, zakaj skupek intervencij generira učinek, tako namenski kot nenamenski, za koga in v kakšnem kontekstu je relevanten in pomemben. Teoretsko naravnano vrednotenje ne daje numeričnega odgovora, daje pa zgodbo (angl. narrative) o ukrepih in učinkih ukrepov. Čeprav je pristop manj objektiven, omogoča vpogled, zakaj zadeve delujejo ali ne delujejo. Zasnovan je na ideji, da osnovna problematika ni v protidejstveniku in vprašanju, kakšen bi bil učinek brez intervencije, temveč na teoriji sprememb (angl. theory of change) in vprašanju, kako naj bodo aktivnosti logično povezane, da pride do želene spremembe. Mehanizem teoretsko naravnanega vrednotenja ne sledi samo logiki črne skrinjice in povezavi vložek/učinek (angl. input/output). Upošteva tudi prepričanja, želje, spoznanja in odločevalske procese, ki vplivajo na oblikovanje pro- gramov in njihovo izvajanje. Intervencijska logika (angl. intervention logic) je orodje, ki povezuje vložke, uk- repe, aktivnosti, rezultate, učinke in vplive. Teoretsko naravnano vrednotenje išče me- hanizme, zaradi katerih so politike učinkovite in jih primerja z dokazi (angl. research based evidence). Teoretsko naravnano vrednotenje sloni na dveh komponentah. Kon- ceptualna komponenta izrazi določeno politiko teoretično. Empirična komponenta preverja postavljeno teorijo in raziskuje, zakaj je politika vzročno povezana z želenimi ali opazovanimi rezultati. Preverjanje teorije sloni na obstoječih ali novih podatkih. Metode preverjanja niso predpisane, zahteva pa se, da so uporabljene dosledno. Teorija, ki je podlaga posamezni politiki ali programu, ni vedno neposredno vi- dna ali izražena v dokumentih oblikovalcev politik in jo mora izvajalec vrednotenja šele odkriti. Izvajalec vrednotenja predstavi teorijo tako, da jo je mogoče preveriti. Preverjanje teorije je mogoče na več načinov. Po metodi realističnega ocenjevanja (angl. realist evaluation) je poudarek na povezavi kontekst-mehanizem-rezultat. Ker programi delujejo različno v različnih kontekstih, jih ne moremo enostavno prenesti iz enega okolja v drugega in pričakovati enakih rezultatov. Znanje o tem, kaj deluje, za koga deluje ter v kakšnem kontekstu pa je uporabno pri uspešnem prenosu politik v prihodnje. Teorija, s katero želimo izvesti spremembo, mora biti eksplicitno izra- žena z jasno hipotezo, kako in za koga bo program deloval. Po izvedbi programa z vrednotenjem preverimo to hipotezo. Pawson in Tilley (1997) poudarita razliko med pristopom s protidejstvenikom in teoretsko naravnanim vrednotenjem. Namesto pri- merjave sprememb med skupino prejemnikov intervencije in skupino, ki intervencije ni prejela, metoda primerja mehanizme in rezultate med programi. Teoretsko naravnano vrednotenje je pomembno pri predhodnem vrednotenju pro- gramov v fazi priprave. Z njim dobimo ex-ante oceno o veljavnosti uporabljene teorije že pred uvedbo programa. 10 Revija za ekonomske in poslovne vede (2, 2016) 4.1 Prednosti kvalitativnih metod Eno od pomembnih vprašanj, ki si ga oblikovalci politik zastavljajo, je: »Kako ali zakaj nekaj deluje?«. Odgovor na to vprašanje omogoča ponovljivost dobrih izkušenj v prihodnje in akumuliranje znanja. Odgovore na to vprašanje nam dajejo kvantita- tivne metode. Pri tem načinu raziskujemo, kaj je v t. i. »črni skrinjici«, odpremo njen pokrov in poskušamo ugotoviti mehanizme, ki delujejo ali pa tudi ne. Ne zadovoljimo se zgolj z vložki in učinki sistema. Posebno pomemben je kontekst, v katerem se inter- vencija izvaja. Na kontekst izvajanja vplivajo številni dejavniki, ki jih v kvalitativnih metodah težko zajamemo, jih pa moramo upoštevati pri razlagi vrednotenja. Prav tako s kvalitativnimi metodami lahko zajamemo stališča in razumevanje upravičencev, ko uporabimo pristop od spodaj navzgor (angl. bottom up understanding). Pogoste me- tode, ki se uporabljajo v teoretičnem pristopu, so: pregled literature, analiza javno dostopnih podatkov, študije primerov, intervjuji, vprašalniki. Pogost pristop teoretsko naravnanega vrednotenja je uporaba realističnega vrednotenja, ki ga bomo predstavili v nadaljevanju. Termin realistično vrednotenje izhaja iz dela »Realistic Evaluation« (Pawson in Tilley, 1997). Pogosti pristopi teoretsko naravnanega vrednotenja so tudi »teorija spremembe« in »analiza prispevka«. 4.2 Pristop realističnega vrednotenja Pristop se uvršča v skupino teoretsko naravnanih vrednotenj, ki so primerni za vrednotenje programov kohezijske politike s socialno-ekonomskimi cilji. Cilji progra- mov so želene spremembe: npr. zmanjšanje revščine, večja socialna vključenost, po- večanje konkurenčnosti podjetij in podobno. Vrednotenje ima v tem kontekstu nalogo preverjanja predpostavk uporabljene teorije. Preverjamo, kako bo program deloval, ali je načrt transparenten, prepričljiv, trajen in veljaven. Osnovna vprašanja metodologije realističnega vrednotenja so: kaj deluje, za koga deluje, pod kakšnimi pogoji, v katerih pogledih in kako deluje. Pri oblikovanju programov gre za vprašanje, kako intervencija doseže spremem- bo. Programe obravnava kot »teorije«, v katere so »vključena pričakovanja«. Narava programov je, da so aktivni in so del odprtih socialno-ekonomskih sistemov. Programi se začnejo kot ideja oblikovalcev politik, nato jih prevzamejo izvajalci politik in v končni fazi vplivajo na prejemnike. Oblikujejo se teorije, kako doseči želeno spre- membo, nato pa s pomočjo aktivnosti vplivati na sistem v želeni smeri. Programi delujejo v okviru obstoječih socialno-ekonomskih sistemov, zato so vanje vgrajeni in so del širšega sistema. Pristop poudarja sociološki pomen sprememb. Vrednotenje programov zahteva razumevanje osebnih zmožnosti prejemnikov, medosebnih odno- sov, institucionalne podpore in podporne infrastrukture. Sprožilci sprememb so v razumevanju prejemnikov intervencije in dodeljenih vi- rih programa. Da bo program učinkovit, večinoma zahteva aktivno vlogo prejemnikov programa. Pawson in Tilley (2004, str. 5) navajata primer dveh programov za izboljša- nje zdravja zob. Prvi primer je program fluoriranja vode, drugi je program ozavešča- nja o potrebi ščetkanja zob. Prvi primer (fluoriranje vode) je redek primer pasivnega programa, ki ne zahteva aktivnega sodelovanja prejemnikov. Program deluje vedno, 11Stanko Trček: Smernice vrednotenja evropske kohezijske politike ko popijemo vodo in tako deluje na vso populacijo. V primeru ozaveščanja o potrebi ščetkanja zob je aktivnost programa sporočilo, ki pa ga lahko ciljna skupina iz različ- nih razlogov prezre. Programi delujejo v okolju in okolje vpliva na programe. Metoda upošteva spre- menljivo naravo programov in jih obravnava kot samo-spremenljive (angl. Self-trans- formational), zato dopušča možnost sprememb zaradi zunanjih ali novih okoliščin, v katerih se programi nahajajo. Realistično vrednotenje poudarja štiri povezane kon- cepte, ki nam pomagajo pri razlagi in razumevanju programov. To so: mehanizem, kontekst, vzorec rezultata in konfiguracija mehanizem-kontekst-vzorec rezultata. S konceptom mehanizma opišemo, kaj povzroči spremembo. Mehanizmi delo- vanja so pogosto skriti. Ne poskušamo samo odkriti, ali program deluje, temveč in predvsem, kateri so procesi in viri, zaradi katerih deluje. Te procese in vire je treba preveriti. Programi delujejo v različnih kontekstih. Ti opišejo tiste značilnosti in pogo- je, ki so relevantni za izvajanje procesov operacije. Kontekst odgovarja na vprašanje, za koga in v kakšnih okoliščinah se izvaja program. Ugotavljamo, ali kontekst izva- janja progama le-tega podpira ali otežuje. Poznavanje konteksta je zato bistveno za delovanje programov. Programi delujejo v različnih kontekstih, zato aktivirani mehanizmi delujejo pod drugačnimi pogoji, kar prinaša tudi različne rezultate. Realistično vrednotenje zato ne definira posameznega programa kot uspešnega/neuspešnega. Rezultati programa so različni in uspešnost programa moramo vrednotiti s širšega stališča. Namesto na en rezultat se usmerimo na vzorec rezultata, ki nam omogoča bolj občutljivo vrednotenje kompleksnih programov. Mehanizem delovanja je prikazan na sliki 2. Slika 2: Mehanizem pristopa realističnega vrednotenja Vir: Pawson, R. and Tilley, N. (1997). Realistic evaluation. London: SAGE, str. 58. Pristop presega enostaven recept, kjer uporabimo intervencijo X, ki reši problem Y. Za uspešno delovanje programov je potrebno, da so prisotni pravi ukrepi ob pravem času in v pravi kombinaciji. 12 Revija za ekonomske in poslovne vede (2, 2016) Ta pristop uporablja kvantitativne in kvalitativne metode ter kombinacijo obeh. Izbor metod je odvisen od razpoložljivih podatkov in postavljenih hipotez, ki jih testi- ramo. Raziskovalni cikel realističnega vrednotenja je predstavljen v sliki 3. Slika 3: Izvajanje pristopa Realist Evaluation Vir: Pawson, R. and Tilley, N. (1997). Realistic evaluation. London: SAGE, str. 85 Weiss (1987) ugotavlja, da vrednotenje programov s postavljanjem relativno kompleksnih vprašanj težko daje enostavne odgovore. Pristop srednje poti, kjer se ne opredeljujemo črno-belo (ali je program uspel/neuspel, ali je koristen/nekoristen) pri odločevalcih in oblikovalcih politik običajno ni dobro sprejet. Za omilitev tega problema priporoča preoblikovanje vprašanj. Vprašanje tipa, »ali ta program deluje«, preoblikujemo v vprašanja, ali bo to delovalo tukaj, ali moramo program prilagoditi lokalnim potrebam. Glavni prispevek realističnega vrednotenja je v prispevku k iz- boljšanju teorij, na katerih programi delujejo. Prednosti in slabosti teoretsko naravnanega vrednotenja lahko po Treasury Board of Canada (2012) strnemo v naslednjih točkah: Prednosti: □ teoretsko naravnano vrednotenje lahko uporabimo, ko drugi (eksperimentalni) pristopi niso možni, □ z vrednotenjem dobimo zgodbo o prispevku intervencije, ki je pomemben za vple- tene deležnike, □ z odprtjem »črne skrinjice« dobimo vpogled v mehanizme delovanja intervencije, □ iz vzročno-posledičnih povezav izpeljemo zaključke o delovanju sistema, □ pristop omogoča dobro uporabo obstoječih podatkov in usmerja na pridobivanje novih podatkov, kjer se pokažejo vrzeli v analizi. 13Stanko Trček: Smernice vrednotenja evropske kohezijske politike Slabosti: □ če ne dobimo kvantitativnega ovrednotenja prispevka intervencije, moramo v vsa- kem primeru, če je to možno, izvesti še kvalitativno analizo, □ razvijanje teorije sprememb je zahtevno, saj vključuje cel spekter pogledov in tudi pristanek deležnikov, □ razvoj teorije sprememb je lahko dolgotrajen in potrebuje veliko podatkov, □ lahko se izkaže, da je ustreznih več teorij za testiranje dokazov; treba je ugotoviti, katera teorija najbolj odraža realnost. Izvajalci se pri izvajanju vrednotenja v praksi srečujejo z okoliščinami, ki so da- leč od idealnih predpostavk vrednotenja. Prihaja do odmikov pri prioritetah, med iz- vajanjem projektov se spremenijo predpostavke programa, podatki so pomanjkljivi, prihaja do nasprotij interesov med deležniki. Izvajalci vrednotenja morajo biti v tej nepopolni realnosti pripravljeni, da iz situacije izluščijo, kar je mogoče. Zavedati se morajo omejitev in vedeti, katere zaključke lahko izvedejo z gotovostjo (European Commission, 2013a, str. 25). 4.3 Vrednotenje kohezijske politike v obdobju 2014–2020 v Sloveniji Pravna podlaga za sistematično vrednotenje kohezijske politike je Uredba o sku- pnih določbah (Evropski parlament, 2013). Tretji del uredbe v členu 114 določa, da organ upravljanja ali država članica pripravi načrt vrednotenja za enega ali več ope- rativnih programov in ga predloži odboru za spremljanje eno leto po sprejetju opera- tivnega programa. V Sloveniji je organ upravljanja sprejel strateški dokument »Načrt vrednotenja izvajanja operativnega programa evropske kohezijske politike v Sloveniji v obdobju 2014-2020« (SVRK, 2015). Osnova dokumenta so uredbe in priporočena metodolo- gija vrednotenja, ki jo v obliki priporočil izdaja EU. V načrtu vrednotenja sta predvi- dena dva tipa vrednotenj. Prvi je vrednotenje vpliva izvajanja programov, drugi tip je vrednotenje izvajanja. Časovno so vrednotenja razdeljena v predhodno vrednotenje, vrednotenje v pro- gramskem obdobju in naknadno vrednotenje. V dokumentu so časovno in vsebinsko predvidena različna poročila z določili o tem, kdo poroča, kaj poroča in kdaj poroča. Za izvajanje vrednotenja so v okviru tehnične pomoči zagotovljena finančna sredstva. Načrt navaja naslednja načela, ki jih je treba upoštevati pri izvajanju vrednotenja: par- tnerstvo, sistematičnost, transparentnost, neodvisnost in kakovost (SVRK, 2015). Ne- odvisnost vrednotenja programov se zagotovi z izbiro zunanjih izvajalcev na podlagi javnih naročil ali drugih postopkov. Presojevalci morajo biti funkcionalno neodvisni od organov, ki so odgovorni za izvajanje programov kohezijske politike. Leeuw (2011, str. 11–12) priporoča, naj se vrednotenje razvija v smeri analize na podlagi dejstev (angl. evidence based audit) in skupaj s teoretsko naravnanim pris- topom, ki razkriva mehanizme delovanja. Priporoča uporabo arhivov, ki vsebujejo rezultate že izvedenih raziskav. Energijo je treba vložiti v inovativne tehnike zbiranja podatkov. Ne smemo se omejiti zgolj na intervjuje, vprašalnike in analizo dokumen- tov. Pri tem se odpirajo nove možnosti z analizo digitalnih omrežij. 14 Revija za ekonomske in poslovne vede (2, 2016) 5 Sklep Vrednotenje Evropske kohezijske politike je urejeno v pravnih podlagah Komisi- je. Navodila za vrednotenje predvidevajo dva dopolnjujoča pristopa. Gre za teoretsko naravnano vrednotenje in za vrednotenje z metodami protidejstvenika. Vrednotenje se mora izvajati na metodološko dosleden način, k čemur prispevajo objavljena navodila EVALSED. Navodila in priporočila podrobneje opisujejo načine, koncepte in meto- dologije za izvajanje spremljanja in vrednotenja. V programskem obdobju 2014–2020 se je fokus premaknil k doseganju zastavljenih rezultatov z jasnimi in merljivimi cilji. Osnovno vodilo pri spremljanju in vrednotenju programov je iskanje pravih odgovo- rov na vprašanja, ki so pomembna za oblikovalce politik in upravičence intervencij. Odgovore na vprašanja zagotavljamo s kvantitativnimi in kvalitativnimi metodami. Glede na fazo izvajanja kohezijske politike lahko vrednotenje razdelimo na predhod- no, vrednotenje v programskem obdobju in naknadno vrednotenje. Izbira ustreznih metod in tehnik evalvacije je odvisna od tipa socialno-ekonomske intervencije, name- na evalvacije in stopnje izvedbe programa (ex-ante, mid-term, ex-post). Pomembnost teoretsko naravnanega vrednotenja izhaja iz dejstva, da poleg kvantitativnega učinka intervencije obstaja še veliko drugih informacij, ki so uporabne za oblikovalce politik, prejemnike intervencij in pomembne za javnost. Vprašanje je, zakaj skupek inter- vencij generira namenski ali nenamenski učinek, za koga in v kakšnem kontekstu je relevanten in pomemben. Realistično vrednotenje se uvršča v skupino teoretsko naravnanih vrednotenj, ki so primerna za vrednotenje programov kohezijske politi- ke. Osnovna vprašanja realističnega vrednotenja so: kaj deluje, za koga deluje, pod kakšnimi pogoji, v katerih pogledih in kako deluje. Mehanizmi delovanja so pogosto skriti. Ne poskušamo samo odkriti, ali program deluje, temveč in predvsem, kateri so procesi in viri, skozi katere deluje. Realistično vrednotenje poudarja štiri povezane koncepte, ki nam pomagajo pri razlagi in razumevanju programov. Ti koncepti so: mehanizem, kontekst, vzorec rezultata in konfiguracija mehanizem-kontekst-vzorec rezultata. Realistično vrednotenje uporablja kvantitativne in kvalitativne metode ter kombinacijo obeh. Izbor metod je odvisen od postavljenih hipotez, ki jih testiramo, in od razpoložljivih podatkov. Glavni prispevek realističnega vrednotenja je v izbolj- šanju teorij, na katerih programi delujejo, akumulaciji znanja, predstavitvi uspešnih zgodb in preprečevanju napačnih odločitev v prihodnje. Stanko Trček Guidelines on Evaluation of the European Cohesion Policy The cohesion policy is a part of the regional policy of the European Union, which is the main investment policy of the EU. Policy objectives are realised through su- ccessful projects. One may ask whether the performed projects have an actual impact and result in the desired changes. In the previous programme periods, the focus was 15Stanko Trček: Smernice vrednotenja evropske kohezijske politike on monitoring the drawing of cohesion funds. In the 2014–2020 programme period, the focus has shifted to the achievement of results with clear and measurable objecti- ves. This article demonstrates a system for monitoring and evaluation of the cohesion policy, the scope of the evaluation and a theory-based approach to realist evaluation, which plays an important role in the field of cohesion policy. Monitoring and evaluation of the implementation of cohesion programmes ensures an effective use of resources and a smooth running of the programme im- plementation. Cohesion policy funds are public funds, therefore the public wants to know what has been achieved by these funds and whether they were spent in the best possible way. Monitoring is used to establish the efficiency and the effectiveness of the implementation of measures, and to detect deviations from the set objectives. Evalua- tion is a process that runs through all the phases of cohesion policy implementation. It contributes to more efficient planning, responsibility, implementation, transfer of knowledge, and strengthening of institutions (European Commission, 2014, p. 16). The legal bases of the Commission (European Commission, 2015) are supplemented with the instructions and methodological guidelines EVALSED (Evaluation of Soci- o-Economic Development). The Commission has issued the EVALSED Guide (Euro- pean Commission, 2013a) aimed at decision-makers and programme designers. It also issued the EVALSED Sourcebook (European Commission, 2013b), containing different valuation methodologies focused on the field of cohesion policy. The guide to monitoring and evaluation assumes two complementary approaches, namely the theory-based evaluation and the evaluation by methods based on the assessment of the causal effect. The Commission encourages the use of mixed evaluation methods (Evropska unija, 2010, p. 206). The evaluation enables the assessment of the policies effect, and answers the qu- estion on how much change can be attributed to a certain policy. The attribution pro- blem is one of the most important evaluation questions (Leeuw, 2011, p. 7). The effect must be causally linked to the intervention. The evaluation must separate the effect resulting from the intervention from the effect caused by other factors. According to the stage of the implementation of cohesion policy, the evaluation can take place in advance (ex-ante), during the programme period (mid-term) and subsequently (ex-post). The ex-ante evaluation is implemented in the design stage of the programme. The ex-ante evaluation objective is to improve the quality of design and optimise the allocation of funding. With the ex-ante evaluation, we determine whether the planned objectives and target values can be achieved. The ex-ante evalua- tion can be carried out with theory-based approaches to evaluation. The fundamental issues of the ex-ante evaluation are: whether the programme has the ability to solve the problem, if the objectives can be achieved with the available means, and whether the strategy is consistent with the policies at the national and the European level. Before launching the programme, we identify the mechanisms that we believe are the ‘engine’ of the desired changes. These mechanisms are compared with the same or similar mechanisms which have already been studied and provide evidence of success or failure. Programme designers can verify the anticipated mechanisms of the planned 16 Revija za ekonomske in poslovne vede (2, 2016) programmes in knowledge bases of the projects that were already performed. The mid- -term evaluation is carried out throughout the programme period. The purpose of the ongoing evaluation is to monitor and improve the management of the programme. The relevance of the selected measures, coherence, effectiveness, efficiency, and impact of the selected measures are being analysed. An important task is to detect the unforese- en or unexpected effects of the implementation of the programme, which may be posi- tive or negative. After the implementation of the programme has been completed, the ex-post evaluation is used to assess the effectiveness and efficiency of the implemented programmes and their contribution to the strategic guidelines. The ex-post evaluation is performed by the Commission or a Member State in cooperation with the Commissi- on. The ex-post evaluation of the programme will be carried out by the end of 2024. Selection of the appropriate methods and evaluation techniques depends on the type of socio-economic intervention, the purpose of the evaluation, and the implemen- tation stage of the programme. The theory-based evaluation and the counterfactual impact evaluation complement each other when used at the same time. The guide to monitoring and evaluation (European Commission, 2013b, p. 48) also recommends that policy-makers use both approaches in the evaluation. Michalek (2012) notes that by the end of 2010, as much as 75% of evaluations from the field of cohesion policy submitted to the Commission were carried out with the theory-based approach to the evaluation of programmes. The theory-based evaluation is an approach that follows the intervention logic, identifies the causal links and the mechanisms of change. We are looking for answers to the questions why and how the intervention works. The second approach is a set of econometric methods for calculation of the impact using counterfactuals. Here we seek for answers to the following questions: if the interventi- on works, whether there is a causal link, and how big the impact of the intervention is. The importance of the theory-based evaluation stems from the fact that in addition to the quantitative impact of the intervention, there is also a lot of other information that is useful for policy-makers and recipients of interventions and important to the public. The question is why a set of interventions generates an intended or an uninten- ded effect, and for whom and in what context it is relevant and important. The theory- based evaluation does not give a numerical response, but a narrative on the measures as well as the effects of the measures. The approach is based on the idea that the basic issue is not in the counterfactual and the impact without interventions, but in the theory of change and in the question how to logically connect the activities in order to cause the desired changes. The mechanism of theory-based evaluation also takes into account considers the beliefs, wishes, knowledge and decision-making processes affecting the design of programmes and their implementation. Intervention logic is a tool that connects the inserts, measures, actions, results, effects and impacts. The theory-based evaluation seeks mechanisms that make the po- licies effective and compares them with research-based evidence. Theory-based evalu- ation is based on two components. The conceptual component theoretically expresses a certain policy. The empirical component verifies the suggested theory and explores why the policy is causally linked with the desired or the observed results. The theory 17Stanko Trček: Smernice vrednotenja evropske kohezijske politike that serves as a basis of individual policy or programme is not always directly visible or expressed in the documents of the policy makers, and the evaluator might someti- mes need to discover it first. The evaluator must express the theory in such a way that it can be verified. The theory can be verified in several ways. According to the method of realist evaluation, the emphasis is given to the links between context-mechanism- -outcome. Since the programmes operate differently in different contexts, we cannot simply transfer them from one environment to another and expect the same results. The theory that we use in order to apply the change must be explicitly expressed with a clear hypothesis on how and for whom the programme will operate. One of the important issues that the policy-makers are asking is: “How or why does something work?”. The answer to this question allows for repetition of success- ful practices in the future and accumulation of knowledge. With the realist evaluation approach, we try to establish the mechanisms that either work or not. The context in which the intervention is carried out is particularly important. The context of im- plementation is influenced by the numerous factors, which are difficult to cover by qualitative methods, but must still be taken into account when interpreting the evalu- ation. Common methods used in the theory-based approach are: review of literature, analysis of publicly available information, case studies, interviews, questionnaires. The theory-based evaluation approach means the application of realist evaluation presented hereinafter. The term realist evaluation was introduced by Pawson and Til- ley (Realistic Evaluation, 1997). “Theory of change” and “contribution analysis” are also common approaches of the theory-based evaluation. The realist evaluation approach is classified in the group of theory-based evaluations, which are suitable for the evaluation of cohesion policy programmes with socio-economic objectives. The programme objectives are the desired changes: e.g. poverty reduction, greater social inclusion, enhancing the competitiveness of companies and similar. In this context, the evaluation is used to verify the assumptions of the applied theory. The basic questions of realist evaluation methodology are: what works, for whom, under what conditions, in what respect, and how. When designing the programmes, the question is how the intervention will achi- eve the change. It treats programmes as “theories” with “included expectations”. The programmes are active and are a part of the open socio-economic systems. The programmes begin as an idea of the policy-makers and are then taken over by the po- licy practitioners. In the final phase, they have an impact on the recipients. Theories are formed on how to acquire the desired change and how to influence the system in the desired direction with the use of activities. The programmes operate within the framework of the existing socio-economic systems; therefore they are integrated as a part of a wider system. The programmes operate in the environment and this en- vironment has an impact on the programmes. The method of realist evaluation takes into account the dynamic nature of the programmes and considers them as self-trans- formational, and therefore allows for the possibility of changes in the programme due to external or new circumstances in which the programmes are located. The realist evaluation highlights four related concepts that are helpful with interpretation and 18 Revija za ekonomske in poslovne vede (2, 2016) understanding of the programmes: mechanism, context, outcome pattern and the con- text-mechanism-outcome pattern configuration. The concept of mechanism is used to describe what causes a change. The mechanisms of operation are often hidden. We are not only trying to establish whether the programme is working or not, but also which processes and resources the programme uses in order to operate. These processes and resources must be verified. These programmes are operating in different contexts. The context describes the characteristics and requirements relevant for the implementati- on of the processes of the operation and gives an answer to the question: “For whom and in what circumstances a programme will work?”. We try to establish if the context supports the implementation of the programme or makes it more difficult. The realist evaluation approach does not define an individual programme as successful/unsu- ccessful. The results of the programme are different, therefore the effectiveness of the programme should be evaluated from a broader perspective. We use quantitative and qualitative methods and a combination of both. Weiss (1987) notes that the evaluation of programmes by asking relatively complex questions can hardly give simple answers. The middle-range approach that does not give black-and-white answers (the programme worked/didn’t work or the programme is useful/useless) is not usually well accepted by the decision-makers and the policy- -makers. To alleviate this problem, he recommends the questions to be redrafted. The question of type: “Does this programme work?” is converted into the question on whether it will work here or should it be adapted to local needs. The main contributi- on of the realist evaluation approach is the improvement of the theories on which the programmes are based. LITERATURA 1. European Commission (2013a). EVALSED GUIDE, the resource for the evaluation of socio- economic development. 2. European Commission (2013b). EVALSED SOURCEBOOK, method and techniques. 3. European Commission (2014). Guidance document on monitoring and evaluation, the programming period 2014–2020. 4. European Commission (2015). Monitoring and evaluation of European cohesion policy, guidance document on evaluation plans, terms of reference for impact evaluations guidance on quality management of external evaluations. 5. European Commission (2012). Design and commissioning of counterfactual impact evaluations, a practical guidance for ESF managing authority. 6. Evropska unija (2010). Peto poročilo o ekonomski, socialni in teritorialni koheziji. Luxembourg: Urad za publikacije. 7. Evropski parlament (2013). UREDBA (EU) št. 1303/2013. Uredba o skupnih določbah skladov ESIF. 8. Gertier, E. (2011). Impact evaluation in practice. Washington D. C.: The World Bank. 9. Institute of Education sciences. (26. 5. 2016). What works Clearinghouse. Retieved on 6/5/2016 from the Internet: http://www.w-w-c.org. 10. Leeuw, L. F. (2011). On the effects, lack of effects and pervese effects of performance audit, performance auditing: contributing to accountability in democratic government. Cheltenham (UK): E. Elgar. 19Stanko Trček: Smernice vrednotenja evropske kohezijske politike 11. Lobe, B. (2006). Združevanje kvalitativnih in kvantitativnih metod – stara praksa v novi preobleki? Družboslovne razprave, str. 55–73. 12. Michalek, J. (2012). Counterfactual impact evaluation of EU rural development pragrammes - Propensity Score Matching methodology applied to selected EU Member States. Institute for Prospective Technological Studies. European Commission - Joint Research Centre. 13. Pawson, R. and Tilley, N. (1997). Realistic evaluation. London: SAGE. 14. Pawson, R. and Tilley, N. (2004). Realist evaluation. Paper for British Cabinet Office. 15. Stryczynski, K. (2009). Rigorous impact evaluation: the magic bullet for evaluation of cohesion policy? European Commission. 16. SVRK (2015). Načrt vrednotenja izvajanja operativnega programa evropske kohezijske politike v Sloveniji v obdobju 2014–2020. 17. The Campbell Collaboration. Pridobljeno dne 10. 6. 2016 s svetovnega spleta: http://www. campbellcollaboration.org. 18. Treasury Board of Canada (2012). Theory-based approaches to evaluation concepts and practice. Retieved on 6/5/2016 from the Internet: http://www.tbs-sct.gc.ca. 19. Weiss, C. (1987). The circuitry of enlightement. Knowledge: Creation, Diffusion, Utilisation, pp. 274–281. Stanko Trček, zaposlen v Službi Vlade Republike Slovenije za razvoj in evropsko kohezijsko politiko. E-naslov: stanko.trcek@gmail.com