Georitem 10 NSL.qxd 26.3.2009 14:26 Page 1 10 JANEZ NARED DAMJAN KAVA[ SPREMLJANJE IN VREDNOTENJE VENIJIO REGIONALNE V SL POLITIKE V SLOVENIJI ALNE POLITIKE TENJE REGION VREDNO http://zalozba.zrc-sazu.si ISBN 978-961-254-117-0 ANJE IN € SPREMLJ 9 2 1 6 9 8 7 0 7 1 1 4 5 18,00 GEORITEM 10 GEORITEM 10 1 2 GEORITEM 10 SPREMLJANJE IN VREDNOTENJE REGIONALNE POLITIKE V SLOVENIJI Janez Nared Damjan Kava{ 4 GEORITEM 10 SPREMLJANJE IN VREDNOTENJE REGIONALNE POLITIKE V SLOVENIJI Janez Nared Damjan Kava{ LJUBLJANA 2009 GEORITEM 10 SPREMLJANJE IN VREDNOTENJE REGIONALNE POLITIKE V SLOVENIJI Janez Nared, Damjan Kava{ © 2009, Geografski in{titut Antona Melika ZRC SAZU Urednika: Drago Kladnik, Drago Perko Recenzent: Marjan Ravbar Prevajalec: Wayne J. D. Tuttle Oblikovalec: Drago Perko Izdajatelj: Geografski in{titut Antona Melika ZRC SAZU Za izdajatelja: Drago Perko Zalònik: Zalòba ZRC Za zalònika: Oto Luthar Glavni urednik: Vojislav Likar Ra~unalni{ki prelom: SYNCOMP d. o. o. Tisk: Littera picta d. o. o., Ljubljana Naklada: 250 izvodov CIP – Katalòni zapis o publikaciji Narodna in univerzitetna knjìnica, Ljubljana 332.1(497.4) NARED, Janez Spremljanje in vrednotenje regionalne politike v Sloveniji / Janez Nared, Damjan Kava{ ; [prevajalec Wayne J. D. Tuttle]. – Ljubljana : Zalòba ZRC, 2009. – (Georitem, ISSN 1855-1963 ; 10) ISBN 978-961-254-117-0 1. Kava{, Damjan 244599296 6 GEORITEM 10 GEORITEM 10 SPREMLJANJE IN VREDNOTENJE REGIONALNE POLITIKE V SLOVENIJI Janez Nared Damjan Kava{ © 2009, Geografski in{titut Antona Melika ZRC SAZU AVTOR Janez Nared janez.nared@zrc-sazu.si http://giam.zrc-sazu.si/gi/nared Janez Nared se je rodil v Ljubljani, mladost je preìvel v Dobcu. Po opravljeni osnovni {oli v Cerknici je obiskoval gimnazijo v Postojni, nato pa {tudiral geografijo in sociologijo na Filozofski fakulteti Univerze v Ljubljani. Takoj po sklenjenem {tudiju je na isti fakulteti vpisal podiplomski {tudij geografije. Aprila 2003 mu je senat Filozofske fakultete odobril neposredni prehod na doktorski {tudij, ki ga je kon~a januar-ja 2007. Decembra 2002 se je kot mladi raziskovalec zaposlil na Geografskem in{titutu Antona Melika ZRC SAZU, kjer sodeluje pri raziskovalnih projektih s podro~ja regionalnega planiranja. Je sourednik znanstvene knjìne zbirke Regionalni razvoj. Dejavno je sodeloval pri organizaciji ve~ simpozijev, aktiven pa je tudi na mednarodnem podro~ju, saj je nacionalni predstavnik Regional Studies Association za Slovenijo. AVTOR Damjan Kava{ kavasd@ier.si Damjan Kava{ se je rodil v Kranju, kjer je obiskoval tudi osnovno {olo in gimnazijo. Na Ekonomski fakulteti Univerze v Ljubljani v Ljubljani je leta 1995 diplo-miral in leta 1998 magistriral. Po kratki zaposlitvi v podjetju Sava Kranj se je leta 1995 zaposlil na In{titutu za ekonomska raziskovanja v Ljubljani. Doslej je sodeloval è pri ve~ kot 100 doma~ih in mednarodnih projektih, pripravi {tevilnih strate{kih dokumentov kot sta Strategija gospodarskega razvoja Slovenije in Strategija regionalnega razvoja Slovenije 2001–2006, pri pripravi zakonodaje s podro~ja spodbujanja regionalnega razvoja in pri vrednotenjih, tako predhodnih (Dràvni razvojni program 2001–2006, Enotni programski dokument RS 2004–2006, Program EQUAL), vmesnih (3. PN Enotnega programskega dokumenta RS 2004–2006), kot naknadnih (Ex Post Evaluation of Cohesion Policy Programmes 2000–2006 financed by the European Regional Development Fund in Objective 1 and 2 Regions WP1 in WP11, Ex Post Evaluation of the INTERREG 2000–2006). 7 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ GEORITEM 10 SPREMLJANJE IN VREDNOTENJE REGIONALNE POLITIKE V SLOVENIJI Janez Nared Damjan Kava{ © 2009, Geografski in{titut Antona Melika ZRC SAZU IZDAJATELJ Geografski in{titut Antona Melika ZRC SAZU gi@zrc-sazu.si http://giam.zrc-sazu.si In{titut je leta 1946 ustanovila Slovenska akademija znanosti in umetnosti in ga leta 1976 poimenovala po akademiku dr. Antonu Meliku (1890–1966). Od leta 1981 je sestavni del Znanstvenoraziskovalnega centra Slovenske akademije znanosti in umetnosti. Leta 2002 sta se in{titutu priklju~ila In{titut za geografijo, ki je bil ustanovljen leta 1962, in Zemljepisni muzej Slovenije, ustanovljen leta 1946. Ima oddelke za fizi~no geografijo, socialno geografijo, regionalno geografijo, naravne nesre~e, varstvo okolja, geografski informacijski sistem in tematsko kartografijo, zemljepisno knjìnico in zemljepisni muzej ter sedè Komisije za standardizacijo zemljepisnih imen Vlade Republike Slovenije. Ukvarja se predvsem z geografskimi raziskavami Slovenije in njenih pokrajin ter pripravljanjem temeljnih geografskih knjig o Sloveniji. Sodeluje pri {tevilnih doma~ih in mednarodnih projektih, organizira znanstvena sre~anja, izobraùje mlade raziskovalce, izmenjuje znanstvenike. Izdaja znan-stveno revijo Acta geographica Slovenica/Geografski zbornik ter znanstveni knjìni zbirki Geografija Slovenije in Georitem. V sodih letih izdaja monografije Geografski informacijski sistemi v Sloveniji, v lihih letih pa monografije Regionalni razvoj. 8 GEORITEM 10 GEORITEM 10 SPREMLJANJE IN VREDNOTENJE REGIONALNE POLITIKE V SLOVENIJI Janez Nared Damjan Kava{ UDK: 911.3:332.144(497.4) 711:332.64(497.4) COBISS: 2.01 IZVLE^EK Spremljanje in vrednotenje regionalne politike v Sloveniji Knjiga sloni na projektu Presoja instrumentov in mehanizmov regionalne politike, namenjenega oblikovanju sistemov vmesnega in kon~nega vrednotenja slovenske regionalne politike. Pripravili smo izhodi{~a spremljanja in vrednotenja regionalne politike; spremljanje smo obravnavali kot pomemben element v celotnem razvojnem procesu, saj omogo~a nenehen nadzor izvajanja, vrednotenje pa kot stalen interaktiven proces, ki omogo~a premi{ljeno na~rtovanje aktivnosti in njihovo prilagajanje spreminjajo~im se razmeram. Osredoto~ili smo se na zna~ilnosti spremljanja in vrednotenja v slovenski regionalni politiki ter pripravili modele vrednotenja, ki naj bi jih slovenska regionalna politika upo{tevala v bodo~e. Pri oblikovanju modelov smo izhajali iz obstoje~ih slovenskih in evropskih formalno-pravnih okvirjev za vzpostavitev sistemov spremljanja in vrednotenja v finan~ni perspektivi 2007–2013. Podan je pregled metodolo{kih napotil Evropske komisije za spremljanje in vrednotenje ter pravnih podlag za spremljanje programskih dokumentov. Bogat vir znanja in informacij za podro~ji spremljanja in vrednotenja so metodolo{ka napotila Evropske komisije, saj temeljijo na izku{njah iz prej{njih programskih obdobij in pomenijo nadgradnjo priporo~il iz finan~ne perspektive 2000–2006. Slovenske izku{nje niso tako bogate, vendar imamo razmeroma dober zakonodajni okvir, ki pa ga bo treba udejanjiti tudi v praksi. Pregledu metodolo{kih in pravnih okvirjev sledi predstavitev spremljanja in vrednotenja v slovenski regionalni politiki, v osnovi »razdeljeni« na del, ki se izvaja v okviru kohezijske politike, in del, ki se financira izklju~no iz lastnih dràvnih sredstev. V sklepnem delu so opisani predlog pristopa k spremljanju in vrednotenju ter predlogi elementov in faz predhodnega, vmesnega ter kon~nega vrednotenja slovenske regionalne politike. Kot dodaten napotek h kakovostnemu spremljanju in vrednotenju so predstavljeni tudi standardi vrednotenja, vzpostavljeni pri posameznih mednarodnih organizacijah. KLJU^NE BESEDE ekonomska geografija, regionalno planiranje, regionalni razvoj, regionalna politika, Slovenija, vrednotenje, spremljanje, predhodno vrednotenje, vmesno vrednotenje, sprotno vrednotenje, kon~no vrednotenje, standardi vrednotenja 9 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ GEORITEM 10 SPREMLJANJE IN VREDNOTENJE REGIONALNE POLITIKE V SLOVENIJI Janez Nared Damjan Kava{ UDC: 911.3:332.144(497.4) 711:332.64(497.4) COBISS: 2.01 ABSTRACT Monitoring and Evaluation of the Regional Policy in Slovenia The publication was prepared on the basis of the Assessment of Instruments and Mechanisms of Regional Policy project intended for designing the systems for the mid-term and final evaluation of Slovenia's regional policy. The project has prepared the basis for monitoring and evaluating the regional policy: we treated the monitoring of the regional policy as an important element in the overall development process because it enables constant supervision of the implementation of the policy and the evaluation of the regional policy as a constant interactive process that enables deliberate planning of activities and their adaptation to changing conditions. We focused on the characteristics of monitoring and evaluation in Slovenia's regional policy and prepared evaluation models that Slovenia's regional policy should follow in the future. Designing the models we drew from the existing Slovenian and European formal-legal frameworks for establishing monitoring and evaluation system in the 2007–2013 financial perspective. We provide a survey of methodological recommendations by the European Commission for monitoring and evaluation and legal frameworks for monitoring the programming documents. The methodological recommendations of the European Commission are a rich source of knowledge and information for monitoring and evaluation since they are based on experience from the previous programming period and are an upgrading of recommendations from the 2000–2006 financial perspective. Slovenia does not boast such rich experience, but it does have a relatively good legislative framework that needs to be realized in practice. The survey of methodological and legislative frameworks is followed by a presentation of monitoring and evaluation in the Slovenia's regional policy that is basically »divided« into the part implemented in the framework of the cohesion policy and the part financed exclusively from government funds. The conclusion includes the proposal of an approach to monitoring and evaluation and a proposal of elements and phases of the previous, mid-term, and final evaluations of Slovenia's regional policy. An evaluation of standards established in individual international organizations is presented as an additional recommendation for quality monitoring and evaluation. KEY WORDS economic geography, regional planning, regional development, regional policy, Slovenia, evaluation, monitoring, ex-ante evaluation, mid-term evaluation, on-going evaluation, ex-post evaluation, evaluation standards 10 GEORITEM 10 Vsebina 1 Uvod ........................................................................................................................................................................................ 12 2 Izhodi{~a spremljanja in vrednotenja regionalne politike .................................................. 16 3 Spremljanje regionalne politike .................................................................................................................... 18 4 Vrednotenje regionalne politike .................................................................................................................... 24 4.1 Vrste vrednotenj in njihovi sistemi .................................................................................................. 28 4.2 Teàve pri vzpostavljanju sistema vrednotenja .................................................................... 33 5 Evropski pravno-normativni okvirji spremljanja in vrednotenja regionalne politike v Sloveniji ........................................................................................................................ 35 5.1 Working Document No 1: Indicative Guidelines on Evaluation Methods: Ex-Ante Evaluation .............................................................................................................. 38 5.2 Working Document No 2: Indicative Guidelines on Evaluation Methods: Monitoring and Evaluation Indicators .............................................................. 41 5.3 Working Document No 5: Indicative Guidelines on Evaluation Methods: Evaluation during the Programming Period .............................................. 48 6 Slovenska zakonodaja in podzakonski akti ........................................................................................ 55 7 Spremljanje slovenske regionalne politike .......................................................................................... 63 7.1 Priporo~ila za bolj{i sistem spremljanja regionalne politike .................................. 67 8 Vrednotenje slovenske regionalne politike .......................................................................................... 69 8.1 Sistemi vrednotenja programov regionalne politike ...................................................... 72 8.2 Dodatna priporo~ila za izvajanje vrednotenja .................................................................... 79 8.3 Standardi vrednotenja .................................................................................................................................. 79 9 Sklep ........................................................................................................................................................................................ 86 10 Seznam virov in literature ................................................................................................................................ 87 11 Seznam slik .................................................................................................................................................................... 92 12 Seznam preglednic .................................................................................................................................................. 92 11 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ 1 Uvod Spremljanje in vrednotenje regionalne politike sta v sklopu programskega cikla glavni vodili za usmerjanje in doseganje kakovosti izvedenih aktivnosti, saj nadzo-rujeta njihov predvideni potek in omogo~ata sprotno prilagajanje danim razmeram. [e ve~, izku{nje ob izvajanju projektov in spoznanja, pridobljena ob podrobni preu~itvi izvajanja, nudijo veliko zalogo znanj, s katerimi lahko pri novih projektih na~rtovane aktivnosti {e bolje opravimo. Ob za~etku nove programske perspektive v letu 2007 àl {e nismo imeli dovolj izku{enj, pridobljenih s poprej{njimi vrednotenji, zato so se marsikje ponavljale napake izpred let, ko se je sistem spodbujanja regionalnega razvoja {e vzpostavljal. Vendar pa so bila opravljena predhodna vrednotenja (nekaterih) programskih dokumentov, ki so kljub dolo~enim pomanjkljivostim za~etni korak k bolj celovitemu in sistemati~nemu vrednotenju regionalne politike. Upamo lahko, da je bilo programiranje dovolj dobro, da bo tudi vnaprej omogo~ilo spremljanje in vrednotenje med izvajanjem aktivnosti in po njihovem zaklju~ku. Da bi to omogo~ili, je treba vzpostaviti u~inkovita sistema vmesnega in kon~nega vrednotenja, ki bi v danih razmerah ob sprejetih zakonskih okvirjih in finan~nih zmònostih omogo~ala stvaren vpogled v obstoje~e stanje ter v doseène rezultate izvedenih aktivnosti. Temeljni namen publikacije je izoblikovati predloge za vzpostavitev sistemov predhodnega, vmesnega in kon~nega vrednotenja regionalne politike v Sloveniji. ^eprav je v evropskih programih vmesno vrednotenje nadomestilo sprotno vrednotenje, ki naj bi se izvajalo tekom celotnega programa, namenoma ohranjamo izraz vmesno vrednotenje kot vrednotenje v dolo~enem trenutku, praviloma na sredini programskega cikla. Za to smo se odlo~ili, ker menimo, da mora biti mejnik, ob katerem izvajamo vmesno vrednotenje, è v naprej jasno dolo~en, saj tako làje opredelimo cilje, ki jih bomo v vmesnem vrednotenju zasledovali. Zanimivo je, da je bila è v zadnjih dveh programskih ciklih namenjena dolo~e-na mera pozornosti spremljanju in vrednotenju, saj sta bila oba opredeljena v zakonodaji. @al pa uveljavitev pravnih norm ni pomenila tudi dejanskega izvajanja, prav tako niso bili izdelani sistemi, po katerih bi vrednotili, informacijski sistem, ki naj bi omogo~al spremljanje, pa je bil zelo pomanjkljiv in nedodelan. Nobenih napo-rov ni bilo namenjenih izobraèvanju evalvatorjev, ki bi podro~je regionalne politike in temeljna na~ela spremljanja dobro poznali tako s teoretskega kot prakti~nega vidika in bi bili v razmeroma kratkem ~asu sposobni opraviti kakovostna vrednotenja. Med letoma 2002 in 2004 so sodelavci Geografskega in{tituta Antona Melika ZRC SAZU, In{tituta za ekonomska raziskovanja in Urbanisti~nega in{tituta RS izvedli {tu-dijo o spremljanju regionalne politike, v kateri so bili pripravljeni razli~ni nabori kazalnikov za Enotni programski dokument (EPD), program medsosedskega sodelovanja in regionalne razvojne programe, vendar v praksi niso bili uporabljeni, saj 12 GEORITEM 10 se je ob pripravljanju slehernega novega programa sistem kazalnikov na novo vzpostavljal. Ocenjujemo, da v Sloveniji kultura spremljanja in vrednotenja regionalne politike {e ni dosegla ravni, kjer bi bili ti aktivnosti sprejeti kot hvalèna pomo~ pri izvajanju projektov, marve~ se jih prepogosto jemlje kot nebodigatreba, instrument kontrole ali celo kot sredstvo za razli~na ideolo{ka obra~unavanja. Prepri~ani smo, da se tak- {no stanje lahko preseè le s sistemati~nimi vrednotenji, ki se bodo, ~e jih bodo izvajali profesionalni evalvatorji, slej ko prej izkazala v pravi lu~i, kot orodja, ki zagotavljajo kakovost programov in projektov ter njihovo nenehno izbolj{evanje. Uvodoma moramo pojasniti tudi na{e pojmovanje regionalne politike. V litera-turi zanjo ni enotne opredelitve. Definicije se razlikujejo glede na teoretske poglede posameznega avtorja na problematiko regionalnega razvoja in tudi od prakse regionalne politike v posameznih dràvah. Enciklopedija Slovenije (1996, 149) definira regionalno politiko kot: • del splo{ne gospodarske, razvojne ali strukturne politike, ki se izrecno nana{a na prostorsko (teritorialno) porazdelitev dejavnosti, • ukrepe za zmanj{anje razlik v ìvljenjskih in delovnih mònostih med posameznimi regijami v dràvi, • dràvno pomo~ regijam s posebnimi razvojnimi problemi, • regionalna politika je vgrajena tudi v druge gospodarske politike (industrijsko, kme-tijsko, zaposlitveno, prometno …) kot »regionalni« vidik razvoja ali regionalizacija ciljev, ki si jih zastavlja gospodarska politika. Maier in Tödtling (1997, 169) opredeljujeta regionalno politiko kot dejavnost vplivanja dràve, javnih oblasti na gospodarske procese na posameznih obmo~jih znotraj neke dràve ali {ir{ega gospodarskega prostora. Pri tem regijo opredeljujeta kot obmo~je znotraj neke celote (dràve, skupnosti), razmejeno od drugih obmo~ij bodisi po merilu podobnosti (homogene regije) bodisi po merilu funkcionalne povezanosti (funkcionalne regije). Za Vanhoveja je regionalna ekonomska politika splet javnih aktivnosti, s katerimi èlimo vplivati na teritorialno porazdelitev gospodarske dejavnosti. V praksi se èli z regionalno politiko korigirati nekatere posledice prostega trga s ciljem doseganja dveh povezanih ciljev, to je gospodarske rasti in izbolj{ane dohodkovne distribucije. Regionalna politika ima pet faz (Vanhove 1999, 57): • dolo~itev regionalnih problemov in vzrokov za te probleme, • dolo~itev ciljev, po mònosti kvantitativnih, • dolo~itev strategije, • opredelitev instrumentov, • vrednotenje politike. Zanimivo je, da pri nas v nobenem od veljavnih razvojnih dokumentov in tudi v nobenem veljavnem zakonu ni podana definicija regionalne politike. Definicijo 13 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ je vseboval Zakon o spodbujanju skladnega regionalnega razvoja iz leta 1999 (UL RS 60/1999), ki je opredelil regionalno strukturno politiko. To so razvojne aktivnosti, programi in ukrepi dràve, lokalnih skupnosti in drugih nosilcev organiziranih interesov na regionalni ravni za doseganje razvojnih ciljev ob upo{tevanju skladnega regionalnega razvoja. Definicija je zelo splo{na, ~eprav v veliki meri vsebuje elemente regionalne politike: • razvojne aktivnosti nosilcev regionalne politike (dràve, lokalnih skupnosti in ostalih delènikov), • cilje, • na~elo skladnega regionalnega razvoja. Pri tem se postavlja vpra{anje ciljev regionalne politike. V okviru pri~ujo~e publikacije regionalno politiko opredeljujemo kot aktivnosti dràve, lokalnih skupnosti in ostalih delènikov s ciljem spodbujanja razvoja vseh obmo~ij (praviloma regij) dràve, s poudarkom na obmo~jih (praviloma regijah), ki imajo relativno slab{i socialnoekonomski poloàj. Republika Slovenija je v Strategiji razvoja Slovenije (2005) izpostavila hitrej{i razvoj vseh regij in zmanj{evanje zaostanka najmanj razvitih kot klju~na nacionalna Faza 2 predlogi projektov Faza 1 Faza 3 programiranje izbor projektov Faza 4 financiranje Faza 6 vrednotenje Faza 5 izvajanje in spremljanje Slika 1: Faze programskega/projektnega cikla (prirejeno po Project Cycle Management Handbook 2002, 3–4). 14 GEORITEM 10 razvojna cilja v obdobju med letoma 2006 in 2013. Leta 2005 je Dràvni zbor sprejel nov Zakon o spodbujanju skladnega regionalnega razvoja (UL RS 93/2005), pripravljeni so Dràvni razvojni program (DRP, 2008), operativni programi (OP) in tudi regionalni razvojni programi (RRP). Vsi ti strate{ki dokumenti omogo~ajo uvedbo zelo {irokega nabora ukrepov in instrumentov regionalne politike. Z njimi je mò- no re{iti bistvene probleme slovenske regionalne politike, ki so po na{em mnenju naslednji: • pomanjkanje dobrih projektov, • premajhna osredoto~enost projektov (preve~ podobnih projektov na majhnem teri-toriju), • kljub napredku v zadnjih letih nesistemsko urejeno financiranje, • velike teàve v medsektorskem usklajevanju, • pomanjkljivo znanje razvojne ekonomike, • pomanjkanje izku{enj projektnega upravljanja, • ne dovolj razvito spremljanje projektov in programov, • neustrezno vrednotenje projektov, programov in politike (pomanjkanje znanj (metodologije) in izku{enj). Opravljena je bila torej faza programiranja za naslednje obdobje, kar pa seveda ne pomeni, da niso mòne tudi ustrezne spremembe (spremenjene okoli{~ine zaradi finan~ne krize, problemi pri izvedbi zaradi neuspe{nih razpisov, nedoseganje zastavljenih ciljev, nezadovoljstvo ciljnih skupin). Da bi zagotovili ~im ve~jo mòno mero u~inkovitosti in uspe{nosti izvedenih ukrepov, je treba razvojne aktivnosti neprestano spremljati in vrednotiti. Oba procesa temeljita na sistemu kazalnikov, ki so v dolo~enem smislu koordinatni sistem pri ugotavljanju uspe{nosti in u~inkovitosti izvajanih ukrepov; primerno zastavljen sistem namre~ omogo~a sledljivost u~inkov izvedenih aktivnosti in s tem zagotavlja sprotno preverjanje ravni izpolnitve zastavljenih ciljev. Zato je treba vzpostaviti tak{en sistem spremljanja, ki bo dajal dovolj informacij tako o posameznih projektih, ukrepih in programih kot tudi o posameznih instrumentih in mehanizmih, s ~imer naj bi omogo~al vrednotenje ter morebitne korekcije izvajanih aktivnosti. Regionalnorazvojni zakoni, ki so se izvajali v Sloveniji do leta 1999, spremljanja in vrednotenja posameznih instrumentov, kakor tudi celotne regionalne politike, niso predvideli. To se odraà v pomanjkanju informacij o izvajanju omenjenih zakonov, onemogo~eno pa je tudi vrednotenje za nazaj, saj mnogi potrebni podatki niso zagotovljeni, manjkajo pa tudi izhodi{~a za vrednotenje. Novo kakovost na podro~ju spremljanja in vrednotenja je prinesel Zakon o spodbujanju skladnega regionalnega razvoja (UL RS 60/1999), saj je obe obravnavani aktivnosti uvrstil med nujne sestavine vsakr{nih razvojnih prizadevanj. Spremljanje in vrednotenje sta namre~ pomembna sestavna dela ìvljenjskega cikla politike in pomembni strate{ki orodji za njeno implementacijo (Nared 2007, 11). 15 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ Evropska praksa spremljanja in vrednotenja sega v osemdeseta leta preteklega stoletja. V zadnjem ~asu ~edalje ve~jo pozornost namenja tako imenovanim fizi~nim kazalnikom regionalnega razvoja. Ti èlijo prikazati dejanske u~inke izvajanih aktivnosti v prostoru in ne le, kot je bila praksa vrednotenja na za~etku, zagotavljati namenske porabe sredstev. S tega vidika je zelo pomembno slediti tistim politikam, ki imajo glede na finan~ne mònosti in vzvode, s katerimi lahko posegajo v prostor, najpomembnej{i vpliv na razvoj prostorskih, ekonomskih in socialnih struktur. Poleg tega imajo nove investicije ve~jega obsega pomemben vpliv na regionalni dohodek in zaposlenost, zato morajo tisti, ki odlo~ajo, razpolagati z ustreznimi napovedmi, da lahko u~inke upo- {tevajo v regionalnih prostorskih in gospodarskih planih (Armstrong in Taylor 2000, 5). Posebna skupina Evropske komisije je izdelala teoretske podlage, s katerimi se je izoblikovalo nabor metod vrednotenja ter uvedlo nekak{ne strokovne standarde, ki jih je pri vrednotenju treba upo{tevati. Spoznanja skupine sku{ajo dodatno nadgraditi z rednimi sre~anji (v Sevilli leta 1998, Edinburgu leta 2000, Budimpe{ti leta 2003), kjer raziskovalci predstavljajo tako najnovej{e pristope pri vrednotenju kot rezultate, do katerih pridejo z vrednotenjem regionalnih politik posameznih dràv ali strukturne politike Evropske unije (EU). Kljub vsemu je ve~ina tovrstnih {tudij namenjena ugotavljanju uspe{nosti in u~inkovitosti programov, manj pozornosti pa je namenjene posameznim instrumentom in mehanizmom. Evropska unija spremljanje in vrednotenje dosledno uvaja v okvir zahtev novih strukturnih skladov. Naloga ~lanic je vzpostavitev dovolj u~inkovitega sistema spremljanja, ki bo omogo~al vrednotenje rezultatov regionalne politike, nudil pomo~ pri implementaciji in omogo~al nadzor izvajanja. Slovenija teh aktivnosti {e ne izvaja v celoti, saj se sistem spremljanja in vrednotenja regionalne politike {ele postavlja na noge. Zagotoviti mu je treba ~vrste teoretske podlage, obenem pa mu omogo~ati pròno odzivanje na novonastale probleme, s katerimi se bo soo~al. Preu~evanje razvojnih aktivnosti in njihovih u~inkov je torej nujnost, saj bolj{e poznavanje u~inkov pomaga pri odlo~anju o tem, ali je posamezni instrument regionalne politike ustrezen odgovor na porajajo~i se problem in kako obsèna mora biti operacija, da bi dosegli zastavljene cilje. Zato je treba vzpostaviti u~inkovite sisteme spremljanja in vrednotenja, na podlagi katerih bo mòno dobiti vpogled v uporabnost posameznih instrumentov pri razre{evanju dolo~ene problematike. 2 Izhodi{~a spremljanja in vrednotenja regionalne politike Spremljanje in vrednotenje sta pomembni sestavini izvajanja programov, saj je te treba nenehno nadzorovati in preverjati ter tako zagotavljati uspe{no rabo virov in nemoten potek izvajanja posameznega programa. Vrednotenje je nujno tudi ob koncu 16 GEORITEM 10 programov, ko lahko ugotovimo, kak{na je bila njihova vloga pri doseganju ciljev, razre{evanju problemov ter spremembah gospodarskih, socialnih in prostorskih struktur. Razvojni programi morajo izhajati iz podrobne analize regije in njenih problemov. Ti so izto~nica za dolo~itev ciljev in strategije za njihovo udejanjenje. Programiranje je mogo~e izvesti od zgoraj navzdol in od spodaj navzgor. V prvem pristopu zastavljenim globalnim ciljem podredimo ve~je {tevilo specifi~nih ciljev, ki jih sku- {amo dose~i z razli~nimi ukrepi. V drugem se s pomo~jo raznovrstnih ustanov izvajajo ukrepi, ki pripomorejo k bolj{emu poloàju prejemnika pomo~i. U~inki pomo~i praviloma presegajo koristi prejemnika in se odrazijo v vplivih na globalne cilje projekta. Ti vplivi so lahko specifi~ni – na posameznem podro~ju – ali splo{ni (Indicators … 1999). Namen programiranja je dose~i ve~jo usklajenost in sinergijo med projekti ter optimizirati razporeditev virov. Obenem spodbuja sodelovanje razli~nih ustanov in jih povezuje pri doseganju skupnih ciljev (Technical Solutions … 1999). Programiranje ni vedno enako in se razlikuje glede na potrebe in cilje, ki jih èlimo dose~i. Kot primer si poglejmo dràvno (sektorsko) in regionalno planiranje (preglednica 1). Preglednica 1: Zna~ilnosti dràvnega (sektorskega) in regionalnega planiranja (prirejeno po Leonardiju 2003). merilo zna~ilnosti planiranja dràvno (sektorsko) regionalno vsebina in cilji sektorski prostorski prostorski obseg dràva regija/ob~ina planerski pristop sektorski integrativni ~asovni okvir kratkoro~no srednjero~no akterji nacionalni regionalni/lokalni tip vplivov kompenzacijski sinergijski odlo~anje enonivojsko (dràva) trinivojsko (dràva–regija–ob~ina) finan~na merila posebne investicije/kvote vrednotenje potreb finan~ne alokacije letne ve~letne preverjanje instrumentov avtomatsko vrednotenje vplivov ve~krat letno, pregledi prora~unski ukrepi financiranje v celoti sofinanciranje drùbeni partnerji brez drùbenih partnerjev razli~ni drùbeni partnerji Razli~nim vrstam planiranja in razli~nim aktivnostim je treba prilagoditi tudi spremljanje in vrednotenje regionalne politike, kar edino lahko prispeva k celoviti preu~itvi vplivov, ki jih posamezna aktivnost vzpodbudi. 17 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ 3 Spremljanje regionalne politike Usmerjanje razvoja zahteva tudi njegovo stalno spremljanje (monitoring), katerega poglavitni namen je ugotovitev u~inkovitosti in uspe{nosti izvajanja ukrepov in pri tem porabljenih finan~nih sredstev. Pri izvajanju razli~nih ukrepov in aktivnosti (zlasti pri izvajanju programov in tudi posameznih projektov) lahko zaradi razli~nih razlogov prihaja do odstopanj od zami{ljenih u~inkov. Odstopanja lahko ogrozijo uspe{nost programa in v nadaljevanju onemogo~ijo dosego ciljev, postavljenih v fazi programiranja. Zato je treba stalno spremljati izvajanje programa, kar omogo~a pravo~asno zaznavanje morebitnih teàv in hitro prilagajanje spremenjenim razmeram. Spremljanje regionalne politike je tako eden od bistvenih elementov v celotnem razvojnem procesu. Opredelimo ga lahko kot stalni proces rednega zbiranja podatkov (fizi~nih in finan~nih) o sredstvih, u~inkih, rezultatih in vplivih izvajanja programa ali projekta oziroma ukrepov in aktivnosti skladno z vnaprej postavljenimi cilji. Poglavitni namen spremljanja je zaznavanje vseh odstopanj od zastavljenih ciljev. Z njim pridobivamo potrebne podatke, ki nas usmerjajo pri nadaljnjem izvajanju aktivnosti, spremljanje pa je nujno tudi za izvedbo vrednotenja. Sistem spremljanja je sestavljen iz: • zbiranja in analiziranja finan~nih, statisti~nih in projektnih podatkov, pri ~emer se uporabljajo ustrezni kazalniki, ki so sredstvo za merjenje uspe{nosti izvajanja aktivnosti oziroma ukrepov; • vzpostavitve in delovanja ustreznih nadzornih organov; • vseh oblik poro~anja (letna, kon~na in vmesna poro~ila). Spremljanje posamezne aktivnosti je treba izvajati od njenega za~etka do njenega konca, v èlji po preu~itvi vseh u~inkov in vplivov, pa tudi dolo~eno obdobje po koncu aktivnosti. [e pred izvajanjem spremljanja je treba izoblikovati sistem spremljanja in dolo- ~iti njegovo globino (podrobnost) glede na potrebe udeleènih partnerjev. Nadalje je smiselno dolo~iti splo{na na~ela spremljanja, ki zajemajo (Indicators … 1999): • opredelitev kazalnikov, njihovih lastnosti, na~in izra~una, njihov izvor, pa tudi, kdo jih zbira; • opredelitev podatkov in pogostosti njihovega obnavljanja/preverjanja (metapodatki); • opredelitev povezav dolo~enega podatka do razli~nih stopenj vrednotenja (predhodno, vmesno, kon~no). Sistem spremljanja temelji na naboru kazalnikov, ki so sredstvo za merjenje sprememb. Te so odraz splo{nih razvojnih teènj in zavestnega vplivanja na razvoj prek razli~nih razvojnih ukrepov in instrumentov. ^e torej pride do spremembe v dolo- ~eni strukturi, je to lahko posledica samogibnih procesov ali pa na~rtovanih razvojnih aktivnosti, ki naj bi privedle do èlenega stanja v dolo~eni skupnosti (podjetju, regiji), 18 GEORITEM 10 kar naj bi se na podro~ju regionalnega razvoja odraàlo v zmanj{anju regionalnih razlik. Dober kazalnik naj bi tako zaznal uspeh vsake aktivnosti in omogo~al analizo, ki bi pokazala, do kak{ne meje so bili zastavljeni cilji uresni~eni. Da bi to omogo~ili, se je treba pred izvajanjem kakr{nekoli aktivnosti dodobra seznaniti s posameznim problemskim obmo~jem, ugotoviti njegove {ibkosti in na njih usmeriti vsa razvojna prizadevanja. Oblikovati je treba program in strategijo za izbolj{anje stanja. Program mora imeti jasne, in ~e je le mogo~e, {tevil~no izraène cilje, ki jih èlimo s posameznimi projekti dose~i. Vsakemu posameznemu cilju priredimo enega ali ve~ kazalnikov, ki naj bi zaznali spremembe, ki jih povzro~ijo izvedeni ukrepi. Merjenje je mòno, ~e se vsakemu kazalniku dolo~i izhodi{~no stanje (vrednost) ob za~etku izvajanja, pozneje pa se spremlja vsako spreminjanje njegove vrednosti. Preglednica 2: Prednosti in slabosti sistema spremljanja v primerjavi z ostalimi viri informacij (Transversal Evaluation … 1999, 21). vir informacij prednosti slabosti sistem spremljanja • rednost in pogostnost intervalov, • ob~asna nezanesljivost • relativna aùrnost (informacije zaklju~kov, so razmeroma nove), • redka primernost za raven • praviloma takoj{nja uporabnost, ukrepa, • nujnost, • pogosta nezmònost • relativna cenenost; se{tevanja kazalnikov (fizi~nih, finan~nih), • omejena primerljivost; statisti~ne • cenenost, • pogosta slaba povezanost informacije • zanesljivost, z vrednotenjem, • mnoì~nost informacij, • pogosta nedostopnost na • primerljivost, razli~nih teritorialnih • enostavna pridobitev informacij; ravneh dolo~enega ozemlja, • pogosta zastarelost podatkov; raziskave • cenenost, • pogosta zastarelost podatkov, in vrednotenje • è analizirane informacije. • pogosto vnaprej{nje predpostavljanje zaklju~kov analiz. Kot je pokazala praksa, je sistem kazalnikov kljub {tevilnim pomanjkljivostim najprimernej{e sredstvo pri spremljanju in vrednotenju regionalne politike. Omogo~a ugotavljanje temeljnih strukturnih pomanjkljivosti dolo~enega obmo~ja in na tej podlagi 19 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ nadaljnjo opredelitev aktivnosti, ki bodo vodile k odpravi zaznanih {ibkosti. Zagotavlja tudi vzvode za sprotno zaznavanje morebitnih odstopanj od zastavljenih ciljev pri izvajanju projektov in programov, kot tudi podlago za vrednotenje njihove izvedbe. Kazalnik lahko opredelimo kot mero za uresni~enost na~rtovanih ciljev, mero za mobilizirane vire in mero za u~inke, ki jih èlimo dose~i, pri ~emer daje koli~insko izraène informacije z namenom pomo~i akterjem pri na~rtovanju aktivnosti in odlo- ~anju ter pri usmerjanju odgovornih ob izvedbi (Selection … 1999). Predstavlja skupek meritev dolo~ene spremenljivke v prostoru in ~asu. Razlikujemo ve~ vrst kazalnikov. Glavna je delitev na kontekstne (angle{ko context indicators) in programske kazalnike. Kazalniki konteksta ve~inoma temeljijo na statisti~nih virih, zato lahko opisujejo le celokupne razvojne smernice, manj primerni pa so za spremljanje programov, saj podatki (Indicators … 1999, 11–12): • pogosto niso dostopni na èleni teritorialni ravni, • so objavljeni z zamikom, • niso dovolj podrobni, da bi omogo~ali spremljanje posamezne aktivnosti, • niso raz~lenjeni po sektorjih. V nasprotju s temi so programski kazalniki popolnoma prilagojeni potrebam programa, a jih je treba zbirati lo~eno ob izvajanju. Zaradi posebnosti aktivnosti so si medsebojno zelo razli~ni, to pa oteùje njihovo medsebojno primerljivost in zdru- èvanje. Kazalniki morajo biti metodolo{ko dobro zasnovani in temeljiti na naslednjih èlenih zna~ilnostih: • specifi~nost: izbrani kazalniki morajo biti prilagojeni aktivnosti in obenem ustre-zati namenu, za katerega so bili izbrani; • merljivost: omogo~ati morajo merjenje, kar je najlàje dose~i, ~e so koli~insko izraè- ni; za zadostno mero merljivosti je treba poskrbeti tudi pri kvalitativnih kazalnikih; • dosegljivost: dosegljivi morajo biti bodisi ob dolo~enem ~asu, bodisi za dolo~eno teritorialno enoto; • realnost: temeljiti morajo na realnih predpostavkah tako z vidika ustreznosti zastavljenega cilja kot z vidika ustreznosti kazalnika; • jasnost: razumljivi morajo biti vsem uporabnikom, pri ~emer je nujno, da so ne-dvoumno opredeljeni, jasno morata biti opredeljena tudi na~ina izra~una in pridobivanja podatkov; • zanesljivost: njihovo merjenje mora biti zanesljivo; • ~asovna opredeljenost: odraàti morajo dogajanje v to~no dolo~enem obdobju; • cenovna ugodnost: biti morajo lahko dostopni in, ~e je le mogo~e, del rednih statistik. Poleg na{tetega morajo kazalniki izpolnjevati {e naslednje specifi~ne zahteve: • ustreznost glede na politiko oziroma strategijo javnega sektorja (resorja): – jasnost povezave med kazalnikom ter cilji in/ali smernicami politike oziroma strategije, 20 GEORITEM 10 – reprezentativnost kazalnika glede na enega ali ve~ elementov politike oziroma strategije, – primernost sistema kazalnikov za izpostavitev prioritet aktivnosti izvajanja strategije; • analiti~na trdnost: – dobra teoretska utemeljenost kazalnika v tehni~nem in znanstvenem pogledu, – utemeljenost kazalnika v metodologiji izdelave politike oziroma strategije, predvsem pa njenem konceptu, – mònost preveritve uporabe druge ustrezne metodologije, v kolikor je metodologija izdelave politike oziroma njene strategije ali njenega koncepta pomanjkljiva; • dostopnost podatkov: – podpora kazalnika z èlenimi podatki na ustrezni prostorski ravni, – izpostavitev ~asovnega okvirja pridobitve ustreznega podatka, v kolikor ta tre-nutno ni na voljo (Nared in Ravbar 2003). Spremljanje in vrednotenje sta u~inkovita le, ~e temeljita na izboru primernih kazalnikov. Kazalniki konteksta omogo~ajo kvantificiran opis obstoje~ih razlik in potencialov v regiji ter zagotavljajo podlago za: • socialnoekonomsko in strate{ko analizo v podporo strategiji programa, • spremljanje splo{nega konteksta, • implementacijo in postavitev kvantificiranih tar~ ter • vrednotenje socialnoekonomskih u~inkov programa (Indicators … 1999, 11). Ob izboru moramo kazalnike nujno navezati na izhodi{~no vrednost posameznega kazalnika ob za~etku izvajanja programa, saj so brez izhodi{~nega stanja za vrednotenje popolnoma neuporabni. Poleg omenjenih kazalnikov je treba vzpostaviti tudi sistem programskih kazalnikov za spremljanje operativne ravni ukrepov, ki temelji na zastavljenih ciljih in je namenjen letnemu poro~anju o izvajanju programa oziroma projekta ter vmesnemu in kon~nemu vrednotenju. Pri tem imamo v mislih naslednje kazalnike: • kazalnike virov in vnosov ( input indicators), ki se nana{ajo na spremljanje razpo-reditve sredstev in njihovega tro{enja; • kazalnike u~inkov ( output indicators), ki se nana{ajo neposredno na izvedene aktivnosti; • kazalnike rezultatov ( result indicators), ki predstavljajo neposredne in takoj{nje u~in-ke izvedenih aktivnosti na prejemnika sredstev – dajejo nam informacije o spremembah (vedenja, sposobnosti, pripravljenosti) neposrednih uporabnikov (upravi~encev); • kazalnike vplivov ( impact indicators), ki se nana{ajo na posledice, ki presegajo takoj{nje u~inke na neposredne uporabnike. Obstajata dve vrsti tovrstnih vplivov: specifi~ni, ki se pojavijo po preteku dolo~enega ~asa in so neposredno vezani na izvedene aktivnosti ter splo{ni, ki v dalj{em ~asovnem obdobju zadevajo {ir{o 21 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ populacijo. Merjenje tovrstnih vplivov je kompleksno in ob tem le stèka najdemo neposredne povezave (Ridder 2000, 74). Glede na raznovrstnost programov in ukrepov znotraj njih se lahko razvije zelo obseèn nabor kazalnikov, ki zaradi njihove {tevil~nosti postane ovira, {e zlasti na vi{jih ravneh. Zato se zaradi prakti~nih razlogov teì k izbiri manj{ega {tevila kazalnikov, neposredno vezanih na potrebe, pa tudi k ozkemu izboru klju~nih kazalnikov ( core indicators), ki se jih lahko uporabi za primerjavo med razli~nimi programi, prioritetami in ukrepi. Nabor teh kazalnikov mora biti majhen, da so primerni in obvladljivi, odraàjo pa lahko tako u~inke oziroma rezultate kot tudi vplive (Indicators … 1999). Poleg {tevil~nosti kazalnikov je na njihovo uporabo vezana {e vrsta drugih problemov, kot so: • tèko je narediti neposredno vzro~no povezavo med kazalniki in realnimi razme-rami ter izvedenimi aktivnostmi; • problemati~na je lahko kompleksnost metod merjenja – problemi so zlasti veliki pri kazalnikih vpliva, kjer so u~inki odraz ve~ razli~nih ukrepov, tako da je zaslu-ge skoraj nemogo~e pripisati posameznemu ukrepu; • podatki ob posameznem vrednotenju (predhodnem, vmesnem, kon~nem) niso dosegljivi; • teàve nastopajo pri kombinacijah nekaterih kazalnikov – to je {e zlasti o~itno pri agregiranju fizi~nih kazalnikov na raven prednostnih nalog in programov; • treba se je zavedati, da prihaja tudi do nepri~akovanih posledic, ki jih s kazalniki ne moremo zajeti (Indicators … 1999, 22). Velik pomen ima tudi zagotavljanje kakovostnih podatkov, kar je zlasti pomembno v primerih, ko podatke zagotavljajo kon~ni prejemniki pomo~i. Ti lahko namre~ v èlji po nadaljnjem pridobivanju sredstev dolo~ene podatke prikrivajo, jih zameg-ljujejo ali celo potvarjajo. V ta namen je treba zmanj{ati vpliv subjektivnih dejavnikov na vrednost podatkov, zagotoviti metodolo{ko ustreznost njihovega zajemanja in poskrbeti za pravilnost morebitnih nadaljnjih prera~unavanj. Pri kazalnikih moramo biti pazljivi. ^eprav so lahko dobro utemeljeni in se v praksi pogosto uporabljajo, pogosto odpirajo pere~a metodolo{ka vpra{anja. Kot primer naj navedemo kazalnika {tevilo delovnih mest na 1000 prebivalcev in gostota poselitve. Prvi je lahko, ~e nismo pozorni, zelo dvorezen. Pri spodbujanju regionalnega razvoja si namre~ èlimo, da je delovnih mest ~im ve~, torej mora biti vrednost kazalnika ~im vi{ja. Vendar lahko to doseèmo na dva na~ina. Na eni strani se lahko vrednost pove~a zaradi na novo ustvarjenih delovnih mest, na drugi pa lahko do istega u~in-ka pride zaradi zmanj{anja {tevila prebivalcev, kar je za slovenske razmere nedvomno negativna razvojna tènja. Podobno je tudi z gostoto poselitve. Za uspe{en regionalni razvoj je zaèlena ~im ve~ja gostota (seveda le do dolo~ene mere), saj se na ta na~in pove~a interakcija med prebivalci in se posledi~no zve~ata tudi inovativnost in obve{- 22 GEORITEM 10 programski kazalnik, povezan kazalnik konteksta se navezuje z aktivnostjo in njenimi u~inki na celotno obmo~je {tevilo podjetij, ki so pridobila {tevilo podjetij na obmo~ju izvozno podporo {tevilo novih poslovnih stikov deleìzvoznih podjetij dodatni izvoz celotni izvoz {tevilo novih delovnih mest vsa delovna mesta zaradi dodatnega izvoza povpre~ni prihodek na zaposlenega Slika 2: Povezava med programskimi kazalniki in kazalniki konteksta (Selection … 1999, 28). ~enost. Na drugi strani je velika gostota z okoljskega vidika sporna, saj lahko na~ne naravno ravnovesje in povzro~i pretirane pritiske na okolje, kar je seveda v nasprotju z èljami po zagotavljanju trajnostnega in okolju prijaznega razvoja. Opisane dileme so le vzorec tistih, ki se porajajo ob vzpostavljanju nabora kazalnikov za spremljanje in vrednotenje. Zaradi pomanjkanja lastnih izku{enj moramo nabor graditi na izku{njah dràv Evropske unije, upo{tevati pa moramo tudi dejstvo, da je oblikovanje nabora kazalnikov proces in ne enkratno dejanje. Veliko pozornost je treba nameniti tudi sprotnemu obnavljanju podatkovnih baz, saj lahko te le na ta na~in sluìjo svojemu namenu. Pasti, ki jih lahko prina{ajo kazalniki, zahtevajo skrbno izbiro fizi~nih kazalnikov, ki bodo omogo~ili merjenje nefinan~nih rezultatov in njihovih u~inkov. To je {e posebej teàvno na agregirani ravni, saj so fizi~ni kazalniki veliko tesneje povezani z aktivnostmi. Poleg neposrednih rezultatov in u~inkov je treba meriti tudi posredne in nepri~akovane vplive razvojne dejavnosti (substitucija …). Zato mora biti sistem kazalnikov enostaven, saj je praksa pokazala (zbirka MEANS, irske izku{nje), da je treba upo{tevati tako sposobnost sistema, da uporabi dobljene informacije kot tudi omejitve sistema spremljanja. Zato je zaèleno imeti ve~je {tevilo kazalnikov u~inkov in zelo skrben izbor kazalnikov rezultatov in vplivov. To je pomembno zaradi prakti~nih in strate{kih razlogov. Kazalniki naj bodo navezani na cilje posamezne 23 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ aktivnosti in tudi na vire financiranja (na primer na posebnosti Evropskega socialnega sklada). Da bi sistem spremljanja sluìl svojemu namenu, mora biti sistem kazalnikov jasen ( clear), konsistenten ( consistent) in uporaben ( useful). Pri tem se moramo zavedati njegovih omejitev. Gre zlasti za vpra{anje vzrokov in posledic, kar je v praksi zelo tèko lo~iti, predvsem pri kazalnikih vplivov in rezultatov. V dolo~enih primerih je namre~ tèko postaviti »~iste kazalnike«. Kazalnik u~inka je lahko nekak{en »me{a-ni« kazalnik, ki kaè u~inek in rezultat. Podobno lahko kazalnik vpliva kaè rezultat in vpliv izpeljane aktivnosti. V obeh primerih je tèko dolo~iti, kaj je kazalnik rezultata. 4 Vrednotenje regionalne politike Evropska strukturna politika temelji na {estih na~elih: koncentraciji pomo~i, koordinaciji razli~nih razvojnih aktivnosti, partnerstvu, subsidiarnosti, programiranju in dodatnosti pomo~i. Za kar najbolj{e uveljavljanje na~el v praksi in zagotovitev preu-darne porabe sredstev namenja Evropska komisija vse ve~jo pozornost spremljanju in vrednotenju regionalnorazvojnih aktivnosti. Pri tem se ne omejuje zgolj na finan~no spremljanje, temve~ daje vse ve~ji poudarek fizi~nim ciljem, to je vplivom izvajanih aktivnosti na prostorsko in drùbenoekonomsko strukturo. Komisija teì k oblikovanju skupnih smernic, ki bodo podlaga za sisteme vrednotenja regionalnih pomo~i v vseh dràvah, prejemnicah pomo~i iz strukturnih skladov. Zato je treba v vseh regijah, ki prejemajo pomo~, ustanoviti organe za spremljanje ter izvajati predhodno, vmesno in kon~no vrednotenje. Z namenom oblikovanja skupne, poenotene metodologije vrednotenja in izbolj{anja kakovosti uporabljanih tehnik je bil ustanovljen raziskovalni program MEANS (Armstrong in Taylor 2000). Vrednotenje regionalne politike je stalen interaktiven proces, ki omogo~a premi{ljeno na~rtovanje aktivnosti ter njihovo prilagajanje novonastalim razmeram in spreminjajo~im se potrebam. Je del ìvljenjskega cikla politike in se ga lahko uporablja kot instrument za izbolj{anje politik na podlagi prepleta preteklih izku{enj in novih razvojnih prilònosti (Ridder 2000). Koncept vrednotenja mora sloneti na strukturi (regionalnega) razvojnega programa, ki v opredeljevanju nujno potrebnih razvojnih nalog izhaja iz zaznanih problemov posamezne regije. Na podlagi teh problemov je treba zasnovati natan~- ne, po mònosti kvantificirane cilje in strategijo za njihovo uresni~itev. Razlikujemo lahko tri ravni ciljev: • operativne cilje, izraène s kazalniki u~inkov, • specifi~ne cilje, izraène s kazalniki rezultatov, in • globalne cilje, izraène s kazalniki vplivov (Indicators … 1999). 24 GEORITEM 10 Vplivi in rezultati so lahko opredeljeni na vseh ravneh programiranja, u~inki pa le na ravni ukrepa. Posamezne kazalnike u~inkov lahko se{tevamo na ravneh prioritete in programa. Zaèleno je, da so cilji in nanje vezani kazalniki, ki se nana{ajo na programe, prioritete in ukrepe, kvantificirani, saj druga~e ne moremo meriti, do kak{ne stopnje so bili uresni~eni. Njihova postavitev je mogo~a na podlagi izhodi{~nega stanja, ki predstavlja nujno izhodi{~e za kakr{nokoli vrednotenje programa. Uresni~evanje ciljev doseèmo s {tevilnimi aktivnostmi, ki so v razvojnem programu natan~no opredeljene in tudi finan~no ovrednotene. Vedeti je treba, ali je zastavljena pot edina oziroma naju~inkovitej{a za dosego postavljenega cilja in kak- {ni so stro{ki te poti v primerjavi z alternativnimi. Zato je smiselno preu~iti, kak{ne u~inke imajo posamezni ukrepi in izbrati najprimernej{e (Armstrong in Taylor 2000). Namen vrednotenja je zagotoviti u~inkovito porabo javnih sredstev, preveriti razloge za javne intervencije, osvetliti uspe{ne zgodbe in prepre~iti napa~ne odlo~itve v prihodnje (Evaluation Design … 1999). Z vrednotenjem prav tako ugotavljamo razloge za uspeh ali neuspeh dolo~enega programa ali politike, s ~imer poskrbimo za okoli{~inam prilagojeno izbiro ukrepov in instrumentov. Javna intervencija je upravi~ena le, ~e vodi v zmanj{anje drùbenoekonomskih problemov ali v zadovoljevanje potreb prebivalcev oziroma gospodarstva, hkrati pa istih ciljev ni mogo~e dose~i s pomo~jo zasebne pobude ali druge stopnje javne ini-ciative. Zasebni sektor v nasprotju z javnimi politikami vrednotenja praviloma ne potrebuje, saj se njegova kakovost odraà na trgu (Evaluation Design … 1999). Pri vrednotenju je ve~ja pozornost namenjena zlasti: • relevantnosti programa, ki pove, ali so postavljeni cilji dejanski odraz potreb in prioritet na lokalni, regionalni, dràvni in evropski ravni, • u~inkovitosti programa, ki odraà njegovo finan~no uspe{nost v smislu razmerja med stro{ki in dobi~kom oziroma razkrije, kako se vnosi spremenijo v u~inke, • uspe{nosti programa pri doseganju zastavljenih ciljev, • koristnosti programa, ki razkriva, kako je program vplival na ciljno skupino oziroma populacijo glede na njene potrebe, in • trajnosti programa, pri ~emer analiziramo, kako dolgo lahko pri~akujemo, da bodo trajali u~inki izvedenih aktivnosti (Indicators … 1999). Glavni poudarek mora biti namenjen uspe{nosti in u~inkovitosti, saj sta obe primerni za presek stanja na katerikoli stopnji izvajanih aktivnosti. Dajeta tudi koristne informacije upravljavcem programa in njihovim ocenjevalcem pri oblikovanju ~im bolj{ih programskih odlo~itev (Indicators … 1999). Preu~evanje u~inkovitosti odpira vpra{anja, kot sta na primer: ali bi lahko isti rezultat dosegli z manj sredstvi in ali bi z enako koli~ino sredstev lahko dosegli ve~ ciljev. Na drugi strani je preu~evanje uspe{nosti usmerjeno zlasti v spremljanje pri~akovanih 25 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ u~inkov, manj{i poudarek pa je namenjen morebitnim nepri~akovanim pozitivnim ali negativnim u~inkom (Indicators … 1999). Vrednotenje mora odgovoriti tudi na {tevilna druga vpra{anja, povezana z izvajanjem regionalne politike: • Kaj naj bi dosegla? • Kak{ne u~inke naj bi imela in katere so metode, s katerimi bi te u~inke merili? • Kateri instrumenti so najbolj u~inkoviti za doseganje njenih ciljev? • Ali pretekle izku{nje zagotavljajo kakr{nekoli smernice o tem, kateri instrumenti politike so bodisi u~inkoviti bodisi uspe{ni (Armstrong in Taylor 2000, 363)? Poleg tega mora odgovoriti tudi na bolj specifi~na vpra{anja: • So kapitalske subvencije primeren instrument za odpiranje novih delovnih mest na obmo~jih z visoko nezaposlenostjo? • Ali naj bodo regionalne finan~ne spodbude usmerjene bolj v korist malih in srednje velikih podjetij ali velikih podjetij? • Koliko se da s pomo~jo finan~nih instrumentov vplivati na alokacijo tujih investicij? • Kako naj bodo finan~na sredstva razporejena po posameznih podro~jih (Armstrong in Taylor 2000, 363)? Izvajanje vrednotenja je mòno po dveh temeljnih na~elih. Na~elo od zgoraj navzdol temelji na {ir{ih analizah in raziskavah celotnega obmo~ja, na katerem se dolo~ena pomo~ izvaja. Pri tem se opravijo razli~ne » input-output« analize ter analize prostorskih in drùbenoekonomskih struktur. Druga oblika – vrednotenje od spodaj navzgor temelji na preu~itvi u~inkov dodeljene pomo~i pri posameznemu prejemniku. Ker ima vsako od omenjenih na~el prednosti in pomanjkljivosti (preglednica 3), je za objektivno in kompleksno vrednotenje najbolj{a dopolnjujo~a se kombinacija obeh na~el. Zaradi pomembne vloge, ki jo ima vrednotenje v izvajanju projektov in politik, je treba zagotoviti njegovo objektivnost, zanesljivost in sistemati~nost. Podatki in sklepi, do katerih vrednotenje privede, morajo biti preverljivi (Kustec-Lipicer 2002; Jaszczol / t, Potkánski in Alwasiak 2003). Pomemben je tudi izbor metod, ki morajo biti celovite, saj bo vrednotenje le tako dalo rezultate, ki se jih bo lahko koristno upora-bilo (Evaluation Design … 1999). Za vrednotenje ima izreden pomen vrednostni sistem, ki postavlja merila za ugotavljanje uspe{nosti posamezne intervencije. U~inke namre~ vrednotimo glede na na{e predstave o stvarnosti, pri ~emer se je treba ve~krat odlo~ati, kateri cilj je za nas prednostni in katere dejavnike lahko pustimo ob strani. Tovrstni konflikt interesov se najve~krat kaè v iskanju ravnovesja med gospodarsko rastjo in ohranjanjem neo-krnjenega okolja. Zato Kotar (2002) vrednotenja ne pojmuje kot asepti~ne analize objektivnih podatkov o (ne)pri~akovanih u~inkih javnopoliti~nih ukrepov, temve~ se v analizi objektivni podatki vrednotijo v razmerju do èlenih, predhodno definiranih ciljev. 26 GEORITEM 10 Preglednica 3: Na~ini vrednotenja (Nared in Ravbar 2003, 78). vrednotenje po na~elu vrednotenje po na~elu od zgoraj navzdol od spodaj navzgor prednosti • kaè {ir{e u~inke projektov, • analiza neposrednih u~inkov vklju~no s » spill-over« efekti, posameznega projekta, • làje je pridobivanje podatkov • podrobni podatki o u~inkih, ki jih je (ve~inoma iz javnih statisti~nih mòno agregirati na razli~ne na~ine, virov), • mònost agregiranja na posamezne • mòno je posplo{evanje, panoge; • mònost nadzora z razdalje, • jasno opredeljeni kazalniki, • razmeroma lahka obdelava podatkov, ki je univerzalna za vsa obmo~ja, • medsebojna primerljivost; pomanjkljivosti • premajhna sledljivost • ne kaè » spill-over« efektov, posameznim projektom • ni mòno spremljanje rezultatov (ukrepom), in vplivov, • nemogo~e je izlo~iti u~inke • ve~ina podatkov je tèko dosegljiva, posameznih programov, • obstajajo mònosti prikrojevanja ukrepov ali projektov, podatkov (s strani porabnikov • drag sistem, ~e èlimo dobiti sredstev), adekvatne in natan~ne • olep{evanje u~inkov v èlji podatke. po nadaljnjem pridobivanju sredstev s strani porabnikov, • zahtevna obdelava podatkov. Spoznanja, do katerih nas privedejo vrednotenja, velikokrat presegajo potrebe politike in prispevajo k u~nemu procesu v regiji. Nuditi morajo uporabna znanja in ne le sodb o uspehu, kar pripomore h kakovostni rasti vseh vpletenih akterjev (Diez in Esteban 2000). Zato je vrednotenje primerna podlaga za regionalno u~enje, saj so v okviru vrednotenja obravnavani procesi tesno vpeti v regionalni kontekst, s ~imer tudi vrednotenje prispeva regionalna specifi~na znanja. To dejstvo na drugi strani vzpostavlja potrebo po prilagojeni metodologiji vrednotenja na vsakem specifi~nem obmo~ju (Diez 2002; Valovirta in Karinen 2003). 27 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ 4.1 Vrste vrednotenj in njihovi sistemi Vrednotenja so lahko zelo razli~na. Njihovo vsebino in cilje dolo~imo glede na potrebe oziroma èlje, kaj ho~emo raziskati in pojasniti ter na katera vpra{anja i{~e-mo odgovore. Vrednotenje se lahko razlikuje glede na stopnjo programskega cikla (predhodno, vmesno/sprotno in kon~no vrednotenje), raven (politika, program, prioriteta, ukrep, projekt), obseg (splo{no, tematsko in globinsko), obmo~je (povr{insko, to~kovno), obseg upravi~encev (vsi upravi~enci, posamezne skupine upravi~encev), upo{tevanje konteksta (kontekst oziroma regionalna analiza, ~isti u~inki projekta/programa/politike), razpolòljive informacije (kvantitativno, kvalitativne ocene) … V ve~ini primerov zdruùjemo ve~ razli~nih na~inov vrednotenj, saj je treba pogosto opraviti {tevilne tematske raziskave, da lahko pridemo do splo{nih ugotovitev, prav tako pa si lahko dolo~en problem v okviru globinske raziskave razloìmo le z dobrim poznavanjem splo{nih razmer. Tako moramo za vsak specifi~en primer izdelati na~rt vrednotenja, ki zajema razli~no {tevilo faz in predstavlja nabor razli~nih na~inov vrednotenja. Ti morajo biti v najbolj{i mòni meri prilagojeni predmetu vrednotenja in razmeram, v katerih vrednotenje izvajamo. Vrednotenje glede na stopnjo programskega cikla: Glede na stopnjo programskega cikla razlikujemo predhodno, vmesno oziroma sprotno in kon~no vrednotenje. Predhodno vrednotenje je interaktivni proces, ki daje strokovno oceno o na~rtovanih programih ali politiki in priporo~ila za njihovo (njeno) izbolj{anje. Njegov temeljni cilj je izbolj{ati kakovost pripravljanega plana ali programa (The Ex-Ante Evaluation … 2000). Zato je treba zagotoviti tesno sodelovanje med pripravljavci programa in strokovnjaki za vrednotenje, kar posledi~no vodi v vklju~itev vrednotenja v program. Sestavljeno je iz SWOT analize, predhodne ocene usklajenosti med strategijo in izbranimi cilji, ki predstavljajo odgovor na pere~e razvojne ovire, ter analize pri~akovanih vplivov na~rtovanih aktivnosti. V okviru predhodnega vrednotenja je veliko pozornost treba nameniti pri~akovanemu vplivu na horizontalne cilje, denimo stanju na podro~- ju konkuren~nosti, majhnih in srednje velikih podjetij, zaposlenosti in trgu dela ter vplivom na razvoj informacijske drùbe, okolje in enake mònosti med spoloma. Znotraj predhodnega vrednotenja je pozornost ocenjevalcev usmerjena v preu- ~evanje {tevilnih dejavnikov, ki kaèjo, koliko program ali plan ustreza stvarnim razmeram. Izhodi{~e so pretekle izku{nje, ki omogo~ajo ocenjevanje posameznih aktivnosti in ciljev. Preu~iti je treba socialnoekonomske razmere danega obmo~ja, da zaznamo potrebe in prilònosti obravnavane regije ter s tem omogo~imo oceno na~rtovanih strategij in izbranih akcijskih prioritet ter njihovo notranjo in zunanjo konsistentnost. Velik poudarek je treba nameniti kvantifikaciji ciljev in, v povezavi z njimi, pri~akovanim socialnoekonomskim vplivom. Posebno pozornost je treba nameniti tudi implementacijskemu sistemu. 28 GEORITEM 10 Na podlagi povedanega lahko natan~neje opredelimo cilje predhodnega vrednotenja: • ugotoviti, ali je zastavljeni plan oziroma program primerno sredstvo za razre{evanje problemov, ki tarejo regijo ali sektor, • oceniti, ali ima plan/program dobro dolo~ene prioritete in cilje, njihovo relevantnost in, ali so ti cilji dosegljivi, • pomagati pri kvantifikaciji ciljev ter vzpostavitvi temeljev za spremljanje in nadaljnje vrednotenje, • preu~iti primernost zastavljene implementacije in spremljanja ter sodelovati pri sno-vanju meril za selekcijo projektov, • ugotoviti, kak{ne so mònosti za uspeh na~rtovanih aktivnosti, • oceniti, ali so predvideni rezultati tolik{ni, da opravi~ujejo porabo javnih sredstev in, ali je iste cilje mogo~e dose~i z manj{imi sredstvi (The Ex-Ante Evaluation … 2000; Armstong in Taylor 2000). Predhodno vrednotenje je z napotki pomemben prispevek h kakovosti zastavljenega programa, pri ~emer oblikuje potrebna izhodi{~a za vsa nadaljnja vrednotenja. Zaradi tega mu je treba nameniti veliko pozornost in mu dati u~inkom primerno teò. Vmesno vrednotenje je namenjeno preverjanju poteka izvajanja aktivnosti in ustreznosti zastavljenega sistema spremljanja. Je sredstvo za izbolj{anje kakovosti in primernosti (ustreznosti) programiranja. Zagotavlja mònost potrebnih korekcij in izbolj{av, ~e so te za dosego zastavljenih ciljev potrebne. Vmesno vrednotenje ima poudarek na operativni ravni, kjer ocenjuje: • koliko {e velja SWOT analiza iz predhodnega vrednotenja, • ali so zastavljene oblike pomo~i {e vedno primerno sredstvo za doseganje na~rtovanih ciljev oziroma za odpravljanje teàv v regiji oziroma v sektorju, • ali so strategije, prioritete in cilji {e vedno skladni in, za koliko se je v obdobju izvajanja programa pribliàlo zastavljenim ciljem oziroma, v kolik{ni meri bodo ti cilji lahko dejansko uresni~eni, • ustreznost kvantificiranih ciljev z vidika spremljanja in vrednotenja, • koliko so horizontalne prioritete (enake mònosti med spoloma, okolje …) vklju- ~ene v oblike pomo~i in • primernost izvajanja aktivnosti in zastavljenega spremljanja (The Mid Term Evaluation … 1999). Z vsemi temi nalogami se preverja ustreznost razvojne strategije in ocenjuje kakovost uresni~evanja programa glede na relevantnost, uspe{nost in u~inkovitost izvajanih aktivnosti. Vrednotenje izvede neodvisen ocenjevalec, pri ~emer je mi{ljena neodvisnost v odnosu do odgovornih za vodenje in izvajanje programa. Pozornost ocenjevalca je usmerjena predvsem v analizo rezultatov predhodnih vrednotenj, preverjanje veljavnosti SWOT analize iz predhodnega vrednotenja, oceno nadaljnje relevantnosti in 29 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ skladnosti strategije, kvantifikacijo ciljev, vrednotenje uspe{nosti in u~inkovitosti ter v kakovost izvajanja in vzpostavljenega sistema spremljanja. Poleg vmesnega vrednotenja se v programskem ciklu lahko izvaja tudi posamezna sprotna vrednotenja. Zanje se odlo~imo, ko so pojavi dolo~en problem ali ko èlimo preveriti neko manj{e, specifi~no podro~je. Sprotno vrednotenje je zlasti pomembno v zadnji finan~ni perspektivi, ko marsikje popolnoma nadomesti vmesno vrednotenje. Zato v nadaljevanju govorimo zlasti o sprotnem vrednotenju. Kon~no vrednotenje zaokroì izvajanje programa in presoja celoten program v lu- ~i njegovih prispevkov k prostorski in drùbenoekonomski strukturi. Njegov namen je utemeljiti porabo sredstev ter poro~ati o uspe{nosti in u~inkovitosti intervencij ter o obsegu izpolnitve zastavljenih ciljev. Obravnava dejavnike uspe{nosti oziroma neuspe{nosti ter ugotavlja trajnost rezultatov in vplivov. Orisati sku{a tudi temeljne ugotovitve, ki se jih da posplo{iti in prenesti na druge programe in regije. Pri izvajanju kon~nega vrednotenja je treba poleg u~inkov, ki so predvideni vnaprej, preu~iti tudi nena~rtovane, bodisi pozitivne bodisi negativne u~inke (Evaluation Design … 1999; Malan 2003). Osrednje mesto pri kon~nem vrednotenju ima ugotavljanje razmerja med porabljenimi sredstvi in pridobljenimi koristmi, kar nam omogo~a podati oceno smo-PREDHODNO VMESNO KON^NO U^INKOVITOST IMPLEMENTACIJE POGAJANJA (RACIONALNO TRO[ENJE in RESURSOV ZA IMPLEMENTACIJO ODLO^ITVE PROGRAMA) PRIPRAVA PROGRAMSKEGA USPE[NOST GLEDE NA VPLIV FINANCIRANJA ZAKLJU^EVANJE (USPE[NOST PROGRAMA PROGRAMIRANJA V PRIMERJAVI NEFINACIRANJA PROGRAMA) CILJI CILJI CILJI • izbolj{ati opredelitve strategij • preizkusiti ustreznost strategije • dolo~iti u~inke programa • opravi~iti razloge za financiranje • dolo~iti stanje implementacije • osvetlitev dobre prakse • optimizirati alokacijo resursov • predlagati ukrepe za korekcijo »best practice« • evidenca izku{enj za bodo~e programe KRITERIJI KRITERIJI KRITERIJI • razlogi za financiranje • relevantnost (potrebe – cilji) • uspe{nost programskega • interno / eksterna povezanost • u~inkovitost implementacije financiranja (vpliv) • ocena pri~akovanih vplivov • uspe{nost (vmesno vrednotenje) • dodana vrednost EU • specifikacija ciljev in indikatorjev • kvaliteta sistema upravljanja • prenos rezultatov in znanj »learning effect« Slika 3: Temeljne stopnje vrednotenja – poglavitni nameni, cilji in merila (Vodi~ … 2006). 30 GEORITEM 10 trnosti porabe javnih sredstev, ~e pa se osredoto~imo na posamezne instrumente, tudi za oceno njihove u~inkovitosti in ustreznosti. Biti moramo pazljivi, saj se lahko s posameznimi instrumenti v razli~nih okoljih zaradi lokalnih posebnosti doseè razli~ne rezultate, prav tako pa so ti lahko razli~ni tudi po posameznih panogah. Idealno bi bilo, ~e bi bilo kon~no vrednotenje opravljeno pred planiranjem novih programov, vendar to zaradi narave intervencij ni mòno, saj se posamezni u~inki izvajanih aktivnosti za~nejo kazati {ele po dalj{em ~asu. Prav tako je dolgotrajno tudi vrednotenje samo, saj mora biti, ~e se ho~e zaobjeti vse mòne u~inke, zastavljeno zelo na {iroko. Vrednotenje glede na raven: Vrednotenje se razlikuje tudi glede na raven, ki jo èlimo vrednotiti. Razlikujemo vrednotenje politike, programa, ukrepa in projekta. Politika je zbir programov oziroma ukrepov, ki imajo skupne poglavitne cilje, ne pa nujno tudi specifi~nih ciljev. Program je koordiniran nabor razli~nih tipov aktivnosti z jasno oblikovanimi cilji, to~no dolo~enim trajanjem in omejenimi finan~nimi viri. Projekt je nedeljiva aktivnost z jasno opredeljenimi na~inom upravljanja, ~asovnico in prora~unom (Evaluation Design … 1999, 30–31). Ukrep je del programa, ki zdruùje vse istovrstne projekte dolo~enega obmo~ja. Izbor ravni vrednotenja je tesno povezan s kompleksnostjo, saj je vrednotenje celotne politike veliko zahtevnej{a naloga kot vrednotenje posameznega projekta. Razli~na kompleksnost je povezana z razli~nim {tevilom dejavnikov, ki vplivajo na izvajanje posamezne ravni. Tako je politika, ki se praviloma izvaja na nacionalni ravni, izpo-stavljena {tevilnim vplivom, ki so posledica delovanja mednarodnega trga, drugih politik, medregionalnih gospodarskih razlik, delitve dela, razli~ne gospodarske in demografske strukture … Nasprotno je projekt kot najmanj{a celovita sestavna eno-ta praviloma odvisen od lokalnih razmer in dejavnikov, ki so v primerjavi z dejavniki, relevantnimi za delovanje celotne politike, nepomembni in zanemarljivi. Za katero raven se pri vrednotenju odlo~imo, je odvisno tudi od ciljev, ki jih èli-mo dose~i. ^e je na{ namen preu~iti pravilnost poslovodenja in u~inkovitost aktivnosti v to~no dolo~enem primeru, bomo izbrali raven projekta ali ukrepa. Za raven programa in politike se odlo~imo takrat, ko èlimo preu~iti {ir{i kontekst razvojnih prizadevanj ali ustreznost programa oziroma politike v celoti. Vrednotenje glede na obseg: V tem pogledu razlikujemo splo{no, tematsko in globinsko vrednotenje. Skladno s tipom vrednotenja je pomemben izbor metod in orodij. Splo{no vrednotenje zajema praviloma {ir{a obmo~ja in vi{je ravni politike (program ali politiko v celoti) ter zajema vse aktivnosti, ki jih je javna intervencija financirala. Namenjeno je pridobivanju temeljnih spoznanj o vseh vidikih izvajanja razvojnih aktivnosti: finan~nega, izvajalskega (uspe{nost izvedbe), razvojnega (o doseganju ciljev) … Je zahtevno, saj zajema velik krog akterjev in {tevilne vrste aktivnosti, {e posebej, ~e je obmo~je vrednotenja obsèno. 31 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ Pri tematskem vrednotenju je pozornost osredoto~ena na posamezno vrsto aktivnosti ali na izbrano panogo. V primerjavi s splo{nim vrednotenjem je podrobnej{e, cilji so bolj natan~no zastavljeni, ve~ja pa je tudi koli~ina pri~akovanih informacij, ki jih je mogo~e neposredno uporabiti pri oblikovanju novih razvojnih aktivnosti. Za vrednotenje ni pomembno, da obravnavane aktivnosti spadajo v isti program, ampak, da so medsebojno primerljive oziroma da zajemajo isto temo. Globinsko vrednotenje je lahko poglobljena analiza ukrepa, dolo~ene publike ali u~inka. Primerljivo je s tematskim vrednotenjem, vendar je njegov obseg veliko òji, kar omogo~a izbor zahtevnej{ih, bolj prefinjenih metod in tehnik. Z njimi opazujemo vedénje prejemnikov pomo~i, jih primerjamo s kontrolno skupino ali pa vrednotimo neto u~inke. Ker preu~uje dejanske u~inke aktivnosti, je primerno za vmesno in kon~no vrednotenje, manj pa za predhodno vrednotenje (Evaluation Design … 1999; Glossary of 300 Concepts … 1999). Vrednotenje glede na obmo~je in {tevilo upravi~encev: Za preu~evanje u~inkov aktivnosti lahko izberemo razli~no velika obmo~ja. Lahko je dràvna, regionalna ali ob~inska raven (vrednotenje aktivnosti na obmo~jih), v primerih posamezne aktivnosti oziroma projekta pa je lahko vrednotenje to~kovno. Prostorski obseg vrednotenja je odvisen od obsega izvajane aktivnosti ali pa administrativne oziroma statisti~ne enote, na kateri je izbrane kazalnike mòno spremljati. To~kovno vrednotenje se opravlja v primeru, ko gre za enega prejemnika pomo~i, pa {e to le v primeru u~inkov (outputov) in rezultatov, saj so vplivi lahko obsènej{i in è zajemajo {ir{e obmo~je. Razli~no je tudi {tevilo upravi~encev, ki jih vrednotenje zajema. Lahko izberemo celotno populacijo, vse prejemnike pomo~i ali pa le posamezne prejemnike. V prvem primeru je namen preu~iti {ir{e drùbene vplive, v zadnjem pa uspe{nost izvajanja posamezne aktivnosti in neposredne u~inke, ki jih bo aktivnost imela, o {ir{ih vplivih pa je mogo~e le sklepati. Vrednotenje glede na upo{tevanje konteksta in kakovosti informacij: Vzgibi za vrednotenje so lahko znanstveni, kjer so cilji praviloma {ir{i, ali pa politi~ni (operativni), kjer je namen vrednotenja preverjanje pravilnosti in uspe{nosti izvedbe. Oba tipa se medsebojno mo~no razlikujeta. Znanstveni pristop zajame {irok spekter dejavnikov, ki vplivajo na razvoj, in je namenjen ustvarjanju novega znanja. ^e zajame ve~ja obmo~ja, ga lahko ena~imo z regionalno analizo. Drugi tip vrednotenja je ozko omejen na u~inke programa in i{~e zgolj informacije, ki bi koristile nadaljnjemu izvajanju obravnavanega ali podobnih projektov. Na~in vrednotenja je odvisen tudi od kakovosti razpolòljivih informacij. Zaèle-no je, da imamo zbir ~im ve~ statisti~nih podatkov, ki neposredno odraàjo izvajanje aktivnosti. V tem primeru lahko izvedemo vrsto kvantitativnih analiz, ki so metodolo{ko konsistentnej{e in làje dokazljive. Vendar pa je v praksi povsem druga~e in le stèka pridobivamo primerne podatke. Zato moramo uporabiti {tevilne kvalitativne ocene, do katerih pridemo z intervjuji, vpra{alniki in analizo razli~nih dokumentov. 32 GEORITEM 10 4.2 Teàve pri vzpostavljanju sistema vrednotenja Pri vzpostavljanju sistema vrednotenja in vrednotenju samem naletimo na {tevilne teàve. Te pove~ini izhajajo iz medlo zastavljenih ciljev in teàv pri pridobivanju kakovostnih podatkov. Velik problem je tudi to, da snovalci razvojnega na~rta pri programiranju nimajo pred o~mi temeljnih na~el spremljanja in vrednotenja, kar se lahko odrazi v {tevilnih pomanjkljivostih pri opredeljevanju ciljev in izbiri kazalnikov za sledenje posameznemu cilju. Veliko teàv izhaja tudi iz strukture programov. Ti imajo {tevilne cilje, razli~ne po vsebini, prav tako je v izvajanje programa vklju~enih veliko organizacij. To mo~- no zaplete spremljanje in vrednotenje, saj tèko spremljamo veliko {tevilo kazalnikov, ki so na ravni projekta lahko zelo specifi~ni. Po drugi strani se za dosego ciljev posameznega programa uporablja {tevilne instrumente, kar zmanj{uje njihovo preglednost in posledi~no tudi poznavanje u~inkovitosti posameznega instrumenta. Tèko je razbrati, koliko so zaznane spremembe na ciljnem podro~ju dejansko posledica izvajanja programa, koliko pa posledica vplivanja drugih dejavnikov. Prihaja namre~ do {tevilnih sou~inkovanj med podjetji in regionalno drùbeno infrastrukturo, med proizvajalci in potro{niki, na podjetni{ki ravni in {ir{e. V tak{nih zapletenih sistemih vzro~na povezanost vzrok–posledica ni umevna sama po sebi, saj lahko velik poseg postreè z majhnimi spremembami in droben z obsènimi in izrazitimi u~inki (Lukesch 2003). Stanje dodatno oteùje dejstvo, da se posamezni vplivi razvijejo {ele z dalj{im ~asovnim zamikom. Veliko teàv povzro~a zbiranje oziroma pridobivanje zanesljivih podatkov, kar je {e posebej o~itno pri podatkih, katerih vir ni javen. Te je tèko pridobiti, so pa tudi zelo nezanesljivi in dovzetni za morebitne manipulacije, saj jih zbirajo in posredujejo ve~inoma kon~ni uporabniki sredstev, ki lahko v èlji po ohranitvi pomo~i zavajajo z odgovori o uspe{nosti instrumentov regionalne politike. Specifi~ni problemi se pojavljajo tudi pri podatkih iz javnih baz. Ti so pogosto objavljeni s ~asovnim zamikom, kar onemogo~a, da bi pri vrednotenju uporabili najnovej{e podatke, ki ustrezajo dejanskim razmeram na terenu. Analize prepogosto temeljijo na podatkih o u~inkih in takoj{njih rezultatih, ki jih posredujejo izvajalci aktivnosti, premajhna pozornost pa je namenjena vzrokom za nastale rezultate in {ir{im vplivom izvajanih aktivnosti (Toulemonde in Bjornkilde 2003). Pomembno je tudi, na kak{en na~in interpretiramo razpolòljive podatke. Velikokrat se namre~ zadovoljimo z doseènim kvantitativnim ciljem, manj pa nas zanima kakovost doseènega. To je razvidno na primeru zaposlovanja, kjer je treba spremljati tako bruto kot neto nova delovna mesta: tista, ki so neposredna posledica ukrepov, na primer v financiranih malih in srednjevelikih podjetjih, in posredna, na primer nova delovna mesta, ki so posledica vlaganj v infrastrukturo. Neto delovna mesta 33 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ upo{tevajo, koliko delovnih mest bi nastalo brez intervencije in koliko jih je nastalo le s premestitvijo iz enega podjetja v drugo (na primer: zaradi manj{e konkuren~nosti se zapre delovno mesto v sorodnem lokalnem podjetju) (Indicators … 1999). Upo- {tevati je treba tudi kakovost ustvarjenih delovnih mest, kdo jih zasede, kako dolgo Preglednica 4: Regionalna politika in njeno vrednotenje (Diez 2002). zna~ilnosti izzivi predlogi za vrednotenje Cilji politike so ustvarjanje Ni jasno definiranih ciljev, Za individualno in znanja in u~enja ter nastajajo teàve pri institucionalno u~enje krepitev sposobnosti. merjenju in kvantifikaciji so najprimernej{e u~inkov ter pri izboru in najpogosteje uporabljeno ustreznih kazalnikov. orodje kvalitativne informacije. Inovacija je zapleten Ni linearne vzro~ne Potrebna sta celovit pristop interaktivni proces, povezanosti med viri, in uporaba ustreznih ki ustvarja nenehne aktivnostmi, rezultati kvantitativnih in povratne informacije. in regionalnimi vplivi. kvalitativnih tehnik. Sistemska narava: Ustvarjajo se zapletene Uporaba {tudije primera. na navpi~ni in vodoravni interakcije med razli~nimi ravni. regionalnimi podsistemi in u~inki na razli~nih ravneh: podjetja, institucije, regionalna skupnost. Politike so ~vrsto povezane Poznati in razumeti je treba Drùbeni, kulturni in politi~ni s svojim okoljem kulturne in politi~ne elementi so sestavni del in drùbenoekonomskim okoli{~ine, v katerih se vrednotenja; vrednotenje okvirjem. vrednotenje izvaja. je drùbenopoliti~en proces. Inovacijske politike Vrednotenje se mora Zasnova vrednotenja mora so dinami~ni procesi, neprestano prilagajati biti pròna. kjer se neprestano spremenjenim razmeram ustvarjajo interakcije. in potrebam. Politike se ustvarjajo Vrednotenje mora biti Udelèba razli~nih akterjev po na~elu »od spodaj odprto za vse vklju~ene mora usmerjati oblikovanje navzgor« in z dejavnim akterje in upo{tevati vrednotenja, saj je to sodelovanjem vseh obstoj pluralisti~ne skupinski u~ni proces. regionalnih akterjev. drùbe. 34 GEORITEM 10 bodo ostala in, ali so to delovna mesta za poln ali polovi~en ~as (Armstrong in Taylor 2000, 397). Posameznih ciljev pogosto ne moremo kvantificirati, zato jih dolo~imo v razponu, ali pa jih opredelimo kvalitativno. V obeh primerih jih natan~neje dolo~imo pozneje, ko, in ~e, je to mòno. Pri vrednotenju je treba upo{tevati posebnosti posameznih lokalnih obmo~ij, saj se ta glede na strukturo razli~no odzivajo na ponujeno in izkori{~eno pomo~. Enako je treba upo{tevati sou~inkovanje razli~nih politik, ki zadevajo podro~je in/ali obmo~je obravnave (Armstrong in Taylor 2000, 398; Diez 2001). Nekaterih u~inkov zaradi njihove specifi~nosti ni mòno meriti. V to skupino lahko uvrstimo {tevilne cilje sodobne regionalne politike, kot so u~e~e se regije, drù- benokulturni dejavniki (spremembe vrednot), mreènje, kakovost ìvljenja, socialna klima … (Diez 2001). Zaradi {tevilnih problemov, ki lahko nastanejo pri vrednotenju, obstaja nevarnost, da se vrednotenje izrodi v opisovanje aktivnosti. Namen vrednotenja ni le ugotavljanje porabljenih finan~nih sredstev, dostopnosti do teh virov, {tevila ljudi in podjetij, ki imajo od programa koristi, mònosti vklju~evanja v program in merljivosti njegovih rezultatov. Vrednotenje mora programe oceniti, podati mnenja in ustvariti znanje ter priporo~ila, ki lahko prispevajo k izbolj{anju sedanje prakse na podro~ju regionalne politike (Diez 2001). Osredoto~iti se je treba na jasno zastavljene komponente programov in na zna~ilnosti predmeta vrednotenja. Teàve so povezane tudi z izborom na~ina vrednotenja. Prednost pristopa »od zgoraj navzdol« je, da zajame splo{ne vplive in neto u~inke intervencije, vendar je omejen s kakovostjo in razpolòljivostjo podatkov. Dodatno ga oteùje splet vplivov, ki jih imajo na obravnavan primer druge politike in trendi, saj ti onemogo~ajo izlo~itev vplivov ene same politike ali aktivnosti. Na drugi strani pristop »od spodaj navzgor« omogo~a identifikacijo u~inkov, rezultatov in vplivov izvedenih aktivnosti, a je agregacija na vi{je ravni zahtevna, zato ni mòno zajeti {ir{ih u~inkov intervencije (Malan 2003). [tevilne teàve in ovire, ki se pri izvajanju vrednotenja pojavljajo, narekujejo uporabo metod, ki so preproste za izvedbo in postreèjo z dokaj zanesljivimi rezultati, ne glede na to, ali so kvantitativne ali kvalitativne. 5 Evropski pravno-normativni okvirji spremljanja in vrednotenja regionalne politike v Sloveniji Z vstopom Slovenije v Evropsko unijo je poleg slovenske zakonodaje treba slediti tudi evropskim predpisom, ki so na podro~ju regionalne in kohezijske politike razmeroma pomembni, skupaj z metodolo{kim okvirjem, izoblikovanim na podro~ju spremljanja in vrednotenja pa celo klju~ni za razumevanje sistemov spremljanja in vrednotenja. 35 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ Evropski pravni sistem temelji na sistemu uredb, zavezujo~ih za dràve ~lanice, ter delovnih dokumentov, ki posku{ajo zagotoviti strokovno pomo~ pri implementaciji posameznih aktivnosti in predstavljajo temeljni referen~ni okvir tudi v primeru spremljanja in vrednotenja. Uredba SVETA (ES) {t. 1083/2006 z dne 11. julija 2006 o splo{nih dolo~bah o Evropskem skladu za regionalni razvoj, Evropskem socialnem skladu in Kohezijskem skladu in razveljavitvi Uredbe (ES) {t. 1260/1999 glede vrednotenja vsebuje naslednje dolo~be: » ^len 47 Splo{ne dolo~be 1. Namen vrednotenja je izbolj{ati kakovost, u~inkovitost in doslednost pomo~i iz skladov ter strategijo in izvajanje operativnih programov v zvezi s posebnimi strukturnimi teàvami, ki vplivajo na zadevne dràve ~lanice in regije, obenem pa upo{tevati cilj trajnostnega razvoja in ustrezne zakonodaje Skupnosti glede vpliva na okolje in strate{ke okoljske presoje. 2. Vrednotenje je lahko strate{ke narave, z namenom preverjanja razvoja programa ali skupine programov glede na prednostne naloge Skupnosti in dràv ~lanic ali operativne narave, z namenom, da se podpre spremljanje operativnega programa. Vrednotenja se izvajajo pred, med in po programskem obdobju. 3. Vrednotenje se odvisno od primera izvaja v pristojnosti dràv ~lanic ali Komisije skladno z na~elom sorazmernosti iz ~lena 13. Vrednotenje izvajajo notranji ali zunanji strokovnjaki ali telesa, ki so funkcionalno neodvisni od organov iz ~lena 59 (b) in (c). Rezultati se objavijo skladno s pravili, ki veljajo za dostop do dokumentov. 4. Vrednotenje se financira iz prora~una za strokovno pomo~. 5. Komisija dolo~i okvirne smernice za metode vrednotenja, vklju~no s standardi kakovosti, skladno s postopkom iz ~lena 103 (2). ^len 48 Odgovornost dràv ~lanic 1. Dràve ~lanice zagotovijo potrebne vire za izvajanje vrednotenj, organizirajo pripravo in zbiranje potrebnih podatkov ter uporabijo razli~ne vrste podatkov, ki jih nudi sistem spremljanja. ^e je to primerno, lahko v okviru cilja »konvergenca« in skladno z na~elom sorazmernosti iz ~lena 13 izdelajo tudi na~rt vrednotenja, ki predstavlja okvirne dejavnosti vrednotenja, ki jih namerava izvajati dràva ~lanica v razli~nih fazah izvajanja. 2. Dràve ~lanice v okviru cilja »konvergenca« izvedejo predhodno vrednotenje za vsak operativni program posebej. V utemeljenih primerih in ob upo{tevanju na~ela sorazmernosti iz ~lena 13 ter po dogovoru med Komisijo in dràvami ~lanicami lahko slednje izvedejo enkratno predhodno vrednotenje za ve~ kot en operativni program. Dràve ~lanice za cilj »regionalna konkuren~nost in zaposlovanje« izvedejo bodisi predhodno vrednotenje za vse operativne programe skupaj bodisi vrednotenje za vsak sklad posebej bodisi vrednotenje za vsako prednostno nalogo bodisi vrednotenje za vsak ope-36 GEORITEM 10 rativni program. Dràve ~lanice za cilj »evropsko teritorialno sodelovanje« skupaj izvajajo predhodno vrednotenje bodisi za vsak operativni program posebej bodisi za ve~ operativnih programov. Predhodna vrednotenja se izvajajo v pristojnosti organa, odgo-vornega za pripravo dokumentov za programiranje. Namen predhodnih vrednotenj je optimizacija dodeljevanja prora~unskih sredstev v okviru operativnih programov in izbolj{anje kakovosti programiranja. Vrednotenje opredeljuje in presoja neskladja, vrzeli in razvojne mònosti, cilje, ki jih je treba dose~i, pri~akovane rezultate, merljive cilje, po potrebi skladnost predlagane strategije za regijo, dodano vrednost za Skupnost, obseg upo{tevanja prednostnih nalog Skupnosti, pridobljena nova spoznanja iz prej{njega programiranja ter kakovost postopkov izvajanja, spremljanja, vrednotenja in finan~nega upravljanja. 3. V programskem obdobju dràve ~lanice izvajajo vrednotenje, povezano s spremljanjem operativnih programov, zlasti ~e spremljanje programov odkrije znatno odstopanje od prvotno zastavljenih ciljev ali ~e so pripravljeni predlogi za popravljanje operativnih programov iz ~lena 33. Rezultati se po{ljejo nadzornemu odboru operativnega programa in Komisiji. ^len 49 Odgovornost Komisije 1. Komisija lahko izvaja strate{ka vrednotenja. 2. Komisija lahko na lastno pobudo in v partnerstvu z zadevno dràvo ~lanico izvaja vrednotenja, povezana s spremljanjem operativnih programov, ~e spremljanje programov odkrije znatno odstopanje od prvotno zastavljenih ciljev. Rezultate se po{lje nadzornemu odboru za operativni program. 3. Komisija izvaja kon~na vrednotenja za vsak cilj v tesnem sodelovanju z dràvo ~lanico in organi za upravljanje. Kon~no vrednotenje zajema vse operativne programe v okviru vsakega cilja in pregleda obseg uporabe sredstev, uspe{nost in u~inkovitost na~rtovanja programov skladov in socialno-gospodarski u~inek. Izvede se za vsakega od ciljev z namenom oblikovanja zaklju~kov za politike gospodarske in socialne kohezije. Vrednotenje opredeli dejavnike, ki so pripomogli k uspehu ali neuspehu izvajanja operativnih programov, in opredeli dobro prakso. Kon~no vrednotenje se zaklju~i do 31. decembra 2015.« Evropska komisija je tudi za finan~no perspektivo 2007–2013 izdala vrsto delovnih dokumentov ( working documents), ki predstavljajo metodolo{ka napotila. Z vidika spremljanja in vrednotenja kohezijske politike so pomembni {tirje delovni dokumenti: • Working Document No 1: Indicative Guidelines on Evaluation Methods: Ex-Ante Evaluation. • Working Document No 2: Indicative Guidelines on Evaluation Methods: Monitoring and Evaluation Indicators. • Working Document No 5: Indicative Guidelines on Evaluation Methods: Evaluation during the Programming Period. 37 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ • Working Document No 6: Measuring Structural Funds Employment Effects (ker je ta delovni dokument v celoti metodolo{ki, ga ne povzemamo). Delovni dokumenti predstavljajo nadaljevanje è razpolòljivih dokumentov iz finan~ne perspektive 2000–2006. Nadgradnja delovnih dokumentov temelji zlasti na izku{njah, pridobljenih z uporabo delovnih dokumentov. 5.1 Working Document No 1: Indicative Guidelines on Evaluation Methods: Ex-Ante Evaluation Delovni dokument {tevilka 1 opisuje indikativno vsebino in izvedbo predhodnega vrednotenja. Temelji na izku{njah, pridobljenih v programskem obdobju 2000–2006 in upo{teva tudi nove pravne podlage za obdobje 2007–2013, zlasti dolo~be, povezane z na~rtovanjem in vrednotenjem programov. Dokument naj bi dràvam ~lanicam sluìl kot podlaga za predhodno vrednotenje, vendar je treba vsebino in izvedbo prò- no prilagoditi potrebam posamezne dràve ~lanice. Namena predhodnih vrednotenj sta optimizacija razdeljevanja prora~unskih sredstev po operativnih programih in izbolj{anje kakovosti na~rtovanja. Predhodno vrednotenje je interaktivni postopek, v katerem strokovnjaki neodvisno od pripravljavcev programskih dokumentov podajo presojo in predloge v zvezi z vsebino in drugimi vpra{anji, povezanimi s programom. Cilj vrednotenja je izbolj{ati in utrditi kakovost kon~nega dokumenta. V tem pogledu je namen vrednotenja olaj{ati konstruktivni dialog med pripravljavci dokumentov na eni strani in strokovnjaki na drugi, a so pripravljavci dokumenta na koncu v celoti odgovorni za njegovo vsebino. Tudi predhodno vrednotenje sledi temeljnim merilom vrednotenja, to je ustreznosti, u~inkovitosti, uspe{nosti, uporabnosti in trajnosti. Predhodno vrednotenje mora odgovoriti zlasti na naslednja vpra{anja: • Ali je program (strategija) primeren za razre{evanje problemov, s katerimi se soo~a-ta dolo~ena regija ali sektor? • Ali ima strategija jasne cilje in prioritete in, ali je mòno z razpolòljivimi finan~- nimi sredstvi dose~i zastavljene cilje? • Ali je strategija skladna s politikami na regionalni, dràvni (vklju~no z nacionalnim strate{kim referen~nim okvirjem) in evropski ravni? Kako bo strategija prispevala k izpolnjevanju Lizbonske strategije? • Ali ima program ustrezne kazalnike ter vrednosti, ki omogo~ajo njegovo spremljanje in vrednotenje? • Kak{ni bodo kvantificirani vplivi predlaganega programa? • Ali je sistem izvajanja ustrezen in omogo~a uresni~itev zastavljenih ciljev? Predhodno vrednotenje mora odgovoriti na temeljna vpra{anja, pri tem pa je treba dodati vpra{anja, ki so odvisna od predmeta vrednotenja (na primer vrsta ukrepa, odvisno od ciljne skupine) in potreb naro~nika. Pri programih, sofinanciranih iz sred-38 GEORITEM 10 stev Evropske unije, je pomemben {e dodaten vidik, ki ga morajo upo{tevati evalvatorji, to je zagotavljanje koristi na evropski ravni, ki jih ni mogo~e dose~i z nacionalno ali lokalno porabo. Pri tem se uporabljajo razli~na merila: • ekonomska in socialna kohezija, • prispevek k EU politikam, • u~inek dodatnosti in u~inek vzvoda ( leverage effect). • partnerstvo, ve~letno na~rtovanje, vrednotenje, dobro finan~no poslovodenje ( sound financial management). • izmenjava izku{enj in mreènje na meddràvni, dràvni in regionalni ravni. Pri izvedbi predhodnega vrednotenja je treba uporabiti razli~ne metode, ki jih morajo evalvatorji predstaviti v svojih poro~ilih, indikativni nabor pa je smiselno vklju- ~iti è v razpisno dokumentacijo. Faze predhodnega vrednotenja so: • 1. Ocena socialnoekonomske analize in ustreznosti strategije, glede na izraène potrebe: Preu~iti je treba socialnoekonomsko analizo obmo~ja ali sektorja, SWOT analizo in preveriti izraène disparitete in potenciale za nadaljnji razvoj. Evalvatorji analizo po potrebi dopolnijo in predlagajo druga~ne prioritete oziroma potrdijo predlagane. Izbrane prioritete morajo temeljiti na ustrezni analizi. Z vidika ustreznosti in opredeljenih vrednosti je treba preveriti tudi zastavljene cilje. • 2. Ocena strategije in njene konsistentnosti: Ta faza je najpomembnej{i del predhodnega vrednotenja, saj je treba oceniti ustreznost predlagane strategije, ki vklju~uje: – Oceno racionalnosti izbrane strategije, kar zahteva temeljito analizo ciljev in prioritet programa. Izhajati je treba iz teoretskih izhodi{~ in oceniti, ~e je izbra-na teoretska podlaga ustrezna za zadovoljitev potreb obmo~ja ali sektorja. – Oceno konsistentnosti izbrane strategije, pri ~emer je treba analizirati razmerje in komplementarnost med izbranimi prioritetami, kjer je treba oceniti tudi prispevek posamezne prioritete k uresni~evanju zastavljenih ciljev, kakor tudi njihov skupen u~inek. Treba je tudi oceniti, ~e je z razpolòljivimi finan~ni-mi sredstvi mòno dose~i zastavljene cilje. V primeru neustreznosti predlaganih prioritet se mora predlagati alternativno re{itev. – Oceno mònosti izvedbe ( policy risk assessment). Zaradi strahu pred neko-ri{~enjem sredstev (pravilo n + 2), so predlagane aktivnosti pogosto zelo neinovativne. Ker je cilj kohezijske politike ekonomska in socialna kohezija, je treba posodobiti tudi obstoje~e politike, kar povzro~a tveganja pri njihovem udejanjanju. Zato je treba slediti kombinaciji »preverjenih« in novih ukrepov. Evalvatorji morajo oceniti razmerje med obi~ajnimi, làje izvedlji-vimi aktivnostmi, ter tistimi, ki prina{ajo ve~ja tveganja in tudi morebitne ve~je u~inke. 39 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ • 3. Ocena skladnosti strategije z regionalnimi, nacionalnimi politikami in s Strate{kimi smernicami Skupnosti: Kohezijska politika postaja vse bolj strate{ka in je pomemben element pri uresni~evanju Lizbonske strategije. Zato je nujen del predhodnega vrednotenja tudi ocena skladnosti predlaganih programov z regionalnimi in dràvnimi politikami ter s Strate{kimi smernicami Skupnosti. Pregledati je treba skladnost posameznih operativnih programov in nacionalnega strate{kega referen~nega okvira. V primeru programov, ki jih sofinancira Evropski socialni sklad (ESS) mora predhodno vrednotenje ovrednotiti skladnost programa z Nacionalnim na~rtom reform, pripravljenim na podlagi ustreznih podlag EU, ter nacionalno specifi~nimi priporo~ili za zaposlovanje s strani EU. Smernica 2001/42/ES Evropskega parlamenta in Sveta z dne 27. junija 2001 o presoji vplivov nekaterih na~rtov in programov na okolje nalaga dràvam ~lanicam, da izvedejo strate{ko presojo vplivov na okolje. Zato morajo evalvatorji oceniti, ali je bila tovrstna presoja pri pripravi programov upo{te-vana. Strate{ka presoja vplivov na okolje je lahko tudi sestavni del vrednotenja. Za programe je nujno treba zagotoviti oceno stopnje ustreznosti zakonskih podlag na podro~ju zagotavljanja enakih mònosti in nediskriminacije. Za Operativni program ESS oziroma za prednostne naloge, povezane z razvojem ~love{kih virov, je treba dodatno oceniti ustreznost predlaganih aktivnosti ter ustreznost obsega na~rtovanih finan~nih sredstev. • 4. Ocena pri~akovanih rezultatov in vplivov: Vsi programi morajo imeti omejen nabor kazalnikov s kvantificiranimi vrednostmi, ki naj bi jih program dosegel do konca obdobja. Evropska komisija je zato pripravila Working Document No 2: Indicative Guidelines on Evaluation Methods: Monitoring and Evaluation Indicators (2006). Pripravljavci programov morajo pripraviti ustrezne kazalnike u~inkov, rezultatov in vplivov, temelje~e na predloènih aktivnostih in predvidenih finan~nih sredstvih. Sistem kazalnikov mora biti uporaben in obvladljiv. Na podlagi pridobljenih informacij se ocenijo predvideni rezultati in vplivi, kot je na primer {tevilo novih delovnih mest. Ocena predvidenih rezultatov in vplivov je kompleksna naloga, pri kateri se uporabi rezultate in izku{nje predhodnih vrednotenj. Predhodno vrednotenje operativnih programov mora na podlagi predhodnih izku{enj in na podlagi primerjav ( benchmarking) potrditi ustreznost strukture ter hierarhije ciljev in kazalnikov, pa tudi predlagano kvantifikacijo. Predhodno vrednotenje mora prav tako potrditi vzro~nost med u~inki, rezultati in vplivi ter oblikovati predloge za izbolj{ave. Pomembno je oceniti tudi u~inke programov pri zagotavljanju lizbonskih ciljev, kot je to dolo~eno v integriranih smernicah in ciljih EU na podro~ju izobraèvanja in usposabljanja, pove~anja vklju~enosti na trgu dela ter boja proti drùbeni izklju~enosti. Programi bodo imeli neposreden vpliv na vrednosti strukturnih kazalnikov le v primeru velikih programov. 40 GEORITEM 10 Metode in tehnike bodo v marsi~em odvisne od ravni aktivnosti. V nekaterih primerih so za ocenjevanje u~inkov na podlagi razli~nih uradnih baz podatkov primerni statisti~ni modeli. Pri tem gre za uporabo makroekonomskega mode-liranja oziroma dinami~nih izra~unljivih modelov splo{nega ravnotèja. Ostale metode presoje se lahko uporabljajo za okoljsko ocenjevanje u~inkov. Za primerjavo so lahko uporabni tudi rezultati do sedaj opravljenih vrednotenj. Za manj{e intervencije, u~inke ter kazalnike rezultatov se lahko uporabljajo usmer-niki, pridobljeni v è opravljenih vrednotenjih. Lahko se zgodi, da bo treba zaradi omejevanja {tevila kazalnikov vzpostaviti generi~ne kazalnike ( generic indicators). V finan~ni perspektivi 2000–2006 se je zanje uporabljal angle{ki izraz core indicators. K izvedbi dela predhodnega vrednotenja lahko pripomorejo tudi metode sodelovanja s klju~nimi delèniki ter oris u~inkov. • 5. Ocenjevanje predlaganega izvajalskega sistema: Ta del predhodnega vrednotenja mora zagotoviti oceno predlagane izvajalske strukture za izvajanje, spremljanje in vrednotenje operativnih programov. Ta del mora tako vklju~evati oceno predhodnih praks in oceno tveganj ter predloge za preventivne aktivnosti. Sestavni del tega sklopa predhodnega vrednotenja mora biti tudi kakovost in obseg part-nerskih povezav ( partnership arrangements). • 6. Izvedba predhodnega vrednotenja: Pri izvedbi vrednotenja je zelo pomembno na~elo sorazmernosti, kar pomeni, da sta {tevilo predhodnih vrednotenj, kakor tudi na~in merjenja u~inkov sorazmerna finan~nemu obsegu programov. Evalvatorji morajo biti neodvisni od organa upravljanja, organa potrjevanja in revizijskega organa. Izvedba predhodnega vrednotenja ni poceni aktivnost, zato mora biti prora~un sorazmeren obsegu programa, njegovi kompleksnosti in zahtevam naro~nika. 5.2 Working Document No 2: Indicative Guidelines on Evaluation Methods: Monitoring and Evaluation Indicators Delovni dokument ima dva namena: • opis sistema kazalnikov kot orodja za upravljanje programov, ki jih financira kohe-zijska politika, • zagotavljanje prakti~nih nasvetov pri vzpostavljanju sistema kazalnikov. S tem je v dokumentu predlagana metodologija indikativne narave, ki jo je treba prilagoditi zna~ilnostim posameznega programa. Uporaba kazalnikov kot orodij za spremljanje in vrednotenje programov se je za~e-la sredi devetdesetih let prej{njega stoletja. V letih 2000–2006 je bil pri vzpostavljanju sistemov kazalnikov narejen precej{en korak naprej, k ~emur je veliko pripomogel delovni dokument Evropske komisije, objavljen leta 1999. Izku{nje kaèjo, da so glavni elementi metodologije iz leta 1999 {e vedno relevantni tudi za obdobje 2007–2013, 41 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ saj je treba obstoje~e sisteme zgolj nadgraditi in poenostaviti, ne pa vzpostavljati na novo. Obstoje~i sistemi so namre~ pogosto prezapleteni in do uporabnikov neprijaz-ni, zato jih je treba poenostaviti, izbolj{ati preostale kazalnike in jih prilagoditi potrebam uporabnikov na razli~nih ravneh in razli~nim namenom, na primer za vrednotenje. Ker je v obdobju med letoma 2007 in 2013 ve~ji poudarek na prispevku programov pri doseganju osrednjih strate{kih ciljev, je treba temu prilagoditi tudi sistem kazalnikov. Tako je ve~ji poudarek na dolgoro~nih kazalnikih, med katerimi izstopajo kazalniki rezultatov. Zanje je treba izbolj{ati kvantifikacijo in kakovost merjenja. Teì se tudi k okrepitvi povezave med programi in politikami Skupnosti. V zvezi s tem izstopajo zlasti Lizbonska strategija, Evropska strategija trajnostnega razvoja, Strate{ke smernice komisije in Evropska strategija zaposlovanja. Ker je kazalnike tèko primerjati med posameznimi regijami in dràvami, je v obdobju 2007–2013 ve~ji poudarek na klju~nih kazalnikih ( core indicators). Pri dolo~anju kazalnikov je treba upo{tevati, da so u~inki lahko na~rtovani ali nepri~akovani, pa tudi, da na stanje vplivajo {tevilni dejavniki, pri ~emer so aktivnosti programa zgolj eden od dejavnikov. Delovni zvezek za definiranje kazalnikov predlaga ve~ ravni kazalnikov. @e prej znanim kazalnikom sredstev ali vlòkov ( resources or input indicators), u~inkov ( output indicators), rezultatov ( result indicators) in vplivov ( impact indicators) doda {e okvirne kazalnike, splo{ne kazalnike vplivov, s katerimi merimo vpliv na {ir{o populacijo oziroma okolje in so torej kontekstni kazalniki ( context indicators). Za razli~ne ravni so potrebni razli~ni podatki. Tako nekatere ravni (na primer posredni{ko telo) potrebujejo informacije o izvedbi posameznih projektov (na primer kazalniki u~inka), medtem ko se na vi{ji ravni (na primer organ upravljanja, Evropska komisija) uporabljajo zlasti kazalniki rezultatov in kazalniki vplivov. Zato je treba sistem kazalnikov prilagoditi potrebam razli~nih upravnih ravni. Uporaba kazalnikov za spremljanje in vrednotenje: ^eprav sta spremljanje in vrednotenje medsebojno odvisna, je njuna vloga zelo razli~na. Spremljanje je namenjeno preverjanju skladnosti med aktivnostmi ter pri~akovanimi u~inki in rezultati. Vrednotenje èli oceniti posledice financiranih aktivnosti. Ocena temelji na informacijah spremljanja in na ostalih pridobljenih informacijah. Najpomembnej{i so kazalniki vplivov. Ti imajo odlo~ujo~o vlogo v posameznih fazah programskega cikla, tako v fazi predhodnega ( ex-ante) vrednotenja, ko se dolo~a strate{ka usmeritev programov, kot v fazi kon~nega ( ex-post) vrednotenja, namenjenega ocenjevanju uspe{nosti programov. Zaradi dolgoro~nosti vplivov je v~asih potrebnih ve~ let, da je mòno podati oceno o (ne)uspe{nosti posameznega programa. Zato kazalnikov vplivov pogosto ni mòno pridobiti iz sistema spremljanja, ampak je treba naro~iti evalvacijo. Kazalnike vplivov je smiselno dolo~iti le za tiste prioritete (osi), ki so finan~no najbolj pomembne. Komisija predlaga tako imenovani step by step pristop in priporo~a 42 GEORITEM 10 nadgradnjo obstoje~ega sistema spremljanja. Omejena sredstva je zato smiselno usmeriti v vzpostavitev nabora kakovostnih, zanesljivih in merljivih kazalnikov rezultatov, ne pa v sistem dvomljivih kazalnikov vplivov. Ustrezni kazalniki rezultatov so podlaga za vzpostavitev (razvoj) ustreznih kazalnikov vplivov. Tako kazalniki rezultatov kot kazalniki vplivov potrebujejo logi~no (vzro~no-posledi~no) razlago. V vsakem primeru morajo uporabljene metode ({tudije primera, kontrolne skupine, vpra{alniki, modeli) merjenja kazalnikov vklju~evati primarne podatke kon~nih prejemnikov sredstev. Zato je treba sistem kazalnikov pripraviti pred za~etkom izvajanja programov. ^eprav so kazalniki vplivov najpomembnej{i pri odlo~anju o strategiji programov, so pogosto razpolòljivi {ele nekaj let po dokon~anju programov. Zato daje Komisija prednost kazalnikom rezultatov in dràve ~lanice poziva, da z njihovo pomo~- jo opredelijo cilje posamezne prioritete. Kazalniki u~inkov so sicer pomembni, vendar nudijo le informacije o fizi~ni izvedbi programov, ne pa o vplivih na drùbenoekonomski poloàj. Kazalniki morajo torej vsebovati naslednje informacije: • ustrezno analizo stanja, • jasno vzro~no-posledi~no povezavo, • jasno opredelitev, • izhodi{~no vrednost, • metodologijo izra~una vrednosti, • kvantifikacijo kazalnika. Vzpostavitev sistema spremljanja: [tevilo kazalnikov je odvisno od {tevila izbranih prioritet. Koncentracija spodbud se odraà v mo~i vplivov in {tevilu potrebnih kazalnikov. Kakovost kazalnikov je odvisna tudi od razumevanja programa, zlasti povezav med aktivnostmi, prioritetami in celotnim programom. Obstajati mora jasna vzro~no-posledi~na povezava med potrebami, aktivnostmi in posledicami, zato je treba o kazalnikih razmi{ljati è ob samem programiranju in ne {ele potem, ko je program è pripravljen. V programih je treba navesti tudi kontekstne kazalnike, ki morajo biti pomemben del programiranja. Njihov nabor naj bo skladen s socialnoekonomsko analizo, {e posebej s SWOT analizo, in z obstoje~imi nabori kazalnikov, ki jih vsebujejo nacionalni programi reform za izvajanje Lizbonske strategije ter nacionalni akcijski na~rti o socialnem vklju~evanju. Kontekstni kazalniki so pomembni tudi zaradi spremljanja konteksta izvajanja programov, zato morajo biti vklju~eni v letna poro~ila in evalvacije. Temelj kontekstnih kazalnikov so statisti~ni viri, ~e pa teh ni, se mora informacije zagotoviti z druga~nimi pristopi, na primer s {tudijami. Ker vrednosti kontekstnih kazalnikov niso neposredno odvisne od programov, ki se sofinancirajo iz Strukturnih skladov in Kohezijskega sklada, naj programski dokumenti ne vklju~ujejo kvantifikacije ciljnih vrednosti kontekstnih kazalnikov. 43 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ Pri vzpostavljanju sistema kazalnikov je zelo pomembna izhodi{~na vrednost ( ba-seline data). To je temelj, na ~igar podlagi merimo vplive financiranih aktivnosti. Pri dolo~anju izhodi{~ne vrednosti sta mòna dva pristopa: • stati~no dolo~anje vrednosti, ki se najve~ uporablja; pri njem se opi{e vrednost posameznega kazalnika v dolo~enem ~asu, • dinami~no dolo~anje vrednosti, ki upo{teva projekcijo vrednosti posameznega kazalnika. Pri stati~nem pristopu je mòno uporabiti uradne statisti~ne vire. Kljub temu se lahko soo~imo s {tevilnimi teàvami, kot so nerazpolòljivost podatkov za dolo- ~eno geografsko enoto, dejstvo, da podatki niso dovolj raz~lenjeni (nezadovoljiva disagregacija), zamude pri objavi, splo{na nerazpolòljivost nekaterih podatkov. V~asih je treba stati~ne podatke pridobiti z drugimi pristopi ali uporabiti indirektne kazalnike. Dinami~ni pristop zahteva uporabo razli~nih tehnik. Pogosto se upo{tevajo na~rtovane investicije iz drugih virov. Izbira pristopa je odvisna od regije in programa. Za najpomembnej{e dele programa (finan~no, vsebinsko) in regije, kjer se zelo veliko investira, je smiselno izbrati dinami~en pristop, ~eprav za ve~ino programov zado{~a stati~en. Reforma strukturnih skladov v zadnjih letih spodbuja uporabo na cilje usmer-jenih intervencij, zato so kazalniki pomembno orodje pri uvajanju izbranega sistema. Pri tem ima izjemno pomembno vlogo predhodna kvantifikacija programskih ciljev, kjer se pokaèjo vse pomanjkljivosti vzpostavljenega sistema spremljanja (izbor definicij, razpolòljivost podatkov, slabosti uporabljenih modelov za napovedovanje). V tem primeru je predhodna kvantifikacija preizkus kakovosti sistema spremljanja. Pri predhodni kvantifikaciji si pomagamo: • s ~asovnimi serijami podatkov ( historic time series), kjer je treba razumeti tudi, zakaj so v ~asovnih serijah prisotni dolo~eni trendi, • z referen~nimi vrednostmi, pridobljenimi iz evalvacij in preteklega spremljanja podobnih aktivnosti, vendar je potrebna previdnost, saj so obi~ajno med programi in regijami znatne razlike. V nobenem primeru se pri predhodni kvantifikaciji ne moremo izogniti ocenam. Izku{nje kaèjo, da je mòno u~inke in rezultate razmeroma natan~no napovedati, teàve pa se pojavijo pri vplivih, saj je treba upo{tevati kontekst. K temu moramo dodati kumulativen vpliv razli~nih aktivnosti, zato se pogosto naro~ajo evalvacije, ki posku{ajo teàve re{iti s kvantifikacijo vplivov. Pri predhodni kvantifikaciji ne smemo pozabiti, da se spremlja od spodaj navzgor, kar zahteva ustrezne kazalnike na nìjih ravneh (na primer ukrep). Sledi kvantifikacija rezultatov in {ele zatem je mòno oceniti vplive. Ocena vplivov velikokrat temelji na ocenah modelov ( top-down). Zato je treba na koncu zagotoviti konsistentnost med obema pristopoma. Kazalniki rezultatov in kazalniki vplivov so klju~ni, saj je kazalnike u~inkov làje spreminjati oziroma jih prilagajati. 44 GEORITEM 10 Pri vzpostavljanju sistema kazalnikov je pomembna teàva agregacija kazalnikov. Medtem ko lahko finan~ne kazalnike agregiramo na èleno raven, je to zelo teàv-no s fizi~nimi kazalniki, v~asih pa je zaradi metodolo{kih razlogov tudi nedopustno. Posledi~no se na vi{jih ravneh pogosto uporabljajo bolj splo{ni kazalniki, katerih vrednosti so rezultat vplivov razli~nih aktivnosti. Programi pogosto vsebujejo ob{iren nabor kazalnikov, ki odraàjo {tevilne aktivnosti in razli~ne potrebe posameznih uporabnikov. Zato je treba pripraviti tudi nabor klju~nih kazalnikov ( core indicators). Pri tem sta mòna dva tipa nabora: • Temeljni programski kazalniki; opisujejo temeljne kazalnike, ki jih posamezne prioritete èlijo dose~i. • Minimalni temeljni kazalniki kot posledica dejstva, da {tevilnih kazalnikov med posameznimi programi in prioritetami ni mòno primerjati. Zato moramo izbrati finan~ne in fizi~ne kazalnike, ki jih je mogo~e uporabiti za primerjavo med podobnimi programi in prioritetami. Njihovo {tevilo mora biti majhno in izbrati jih je treba iz nabora programskih kazalnikov. Tipi~en primer je kazalnik ustvarjena (bruto) delovna mesta. Kot pomo~ pri opredelitvi tovrstnih kazalnikov je svoj predlog pripravila tudi Evropska komisija. Sistem kazalnikov in horizontalne prioritete: Dràve ~lanice s svojimi programi zasledujejo tudi dolo~ene horizontalne cilje, kot so trajnostni razvoj, enakost mònosti med spoloma, ~ezmejno sodelovanje in druge. To seveda vpliva na sistem spremljanja, kjer se vklju~ujejo kazalniki, ki merijo vpliv programov na horizontalne cilje. Pri vklju~evanju horizontalnih ciljev v sistem kazalnikov je smiselno upo{tevati naslednja spoznanja: • spremljanje in vrednotenje horizontalnih prioritet mora biti del celovitega sistema spremljanja in ne lo~en sistem, • sistem kazalnikov mora nuditi podporo odlo~itvam, zato kopi~enje informacij brez vpliva na izvajanje programov ni smiselno, • sistem spremljanja zahteva finan~ne in kadrovske vire, zato je smiselno dolo~iti kazalnike horizontalnih prioritet le pri aktivnostih, ki imajo vpliv na dolo~eno hori-zontalno prioriteto, • potreben je postopen pristop, pa tudi nenehno u~enje, saj na horizontalne prioritete razli~ne aktivnosti razli~no vplivajo, velik vpliv pa ima tudi kontekst. Uporaba sistema kazalnikov v razli~nih fazah programskega cikla: Vloga kazalnikov se spreminja tudi med programskim ciklom. Tega lahko v grobem razdelimo na tri faze: • programiranje, • izvajanje in • vrednotenje. Sistem kazalnikov je treba za~eti vzpostavljati è v fazi programiranja, saj izbor ustreznih kazalnikov in njihova kvantifikacija pozitivno vplivata na kakovost 45 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ programov. Pri vzpostavljanju sistema kazalnikov se mora vklju~iti vse delènike (na primer delovna skupina), ki bodo koristili sistem kazalnikov, in delènike, odgovorne za merjenje kazalnikov. Sodelovanje mora biti stalno; na podlagi delovne skupine delènikov je mòno ustanoviti platformo za spremljanje programov. Smiselna je tudi vklju~itev zunanjih strokovnjakov. Pri vzpostavitvi sistema kazalnikov moramo upo{tevati na~elo proporcionalnosti in merjenje vplivov prilagoditi finan~ni teì programa. Kazalniki rezultatov in kazalniki vplivov naj merijo le posledice najpomembnej{ih aktivnosti oziroma naj odgovarjajo potrebam uporabnikov sistema. Kakovost sistema temelji na naslednjih merilih: • pokritosti ( coverage), • ravnotèju ( balance) in • upravljanju ( manageability). Za posamezen kazalnik so poglavitna naslednja merila: • ustreznost ( relevance), • ob~utljivost ( sensitivity), • razpolòljivost ( availability) in • stro{ki ( costs). Pri vzpostavljanju sistema kazalnikov ima pomembno vlogo tudi predhodno vrednotenje. Pripravljavci programov pogosto niso sposobni postaviti ustreznega sistema kazalnikov, teàve imajo {e zlasti pri kvantifikaciji kazalnikov vplivov, predvsem z vidika ocene novih delovnih mest. Evalvatorji ocenijo predlagan sistem kazalnikov in njihove vrednosti, kakor tudi vzro~no-posledi~no povezavo med u~inki, rezultati in vplivi. Pomembno je, da je sistem kazalnikov uporaben in obvladljiv. V fazi izvajanja so pomembni naslednji vidiki: • Zanesljivost podatkov, odvisna od na~ina njihovega zajemanja. Zagotavljanje zanesljivosti podatkov je odgovornost organa upravljanja in tudi posredni{kih organizacij. Med zajemanjem podatkov se izbolj{ujeta nabor in kvantifikacija podatkov, pomembno pa je tudi tesno sodelovanje z uporabniki zbranih podatkov. • Na~in predstavitve podatkov, zlasti predstavitev nadzornemu odboru. Nadzorni odbor mora potrditi sistem kazalnikov in podati lastne zahteve po informacijah, pomembnih zlasti za strate{ke usmeritve programov. S pomo~jo kazalnikov spremlja izvajanje prioritet in programov. Organ upravljanja naj pri predstavitvi uresni~evanja programov predstavi le najpomembnej{e kazalnike (tudi kvalitativne). Predstavi naj jih v standardizirani obliki, skupaj s predhodnimi analizami. • Uporaba podatkov v letnih poro~ilih. Letna poro~ila morajo vsebovati naslednje informacije: podatke za kontekstne kazalnike, podatke o finan~ni implementaciji programa in oceno napredka pri doseganju zastavljenih ciljev prioritet in programa, skupaj s klju~nimi kazalniki. Sistem kazalnikov je za vrednotenja zelo pomemben, saj predstavlja glavni informacijski vir. Ker je poudarek vrednotenj razli~en, so razli~ne tudi potrebe po kazalnikih. 46 GEORITEM 10 Preglednica 5: Kazalniki v fazah programskega cikla (Working Document No. 2 … 2006, 22–23). faza programskega cikla sistem kazalnikov izdelava programa • analiti~ni del: kazalniki konteksta; dolo~itev strategije • dolo~itev ciljev programa in prioritet: dolo~itev kazalnikov in prioritet programa u~inkov, rezultatov, vplivov in klju~nih kazalnikov; na~rtovanje izvedbe • priprava sistema spremljanja: elektronska izmenjava (upravljanja) podatkov, preverjanje kakovosti sistema kazalnikov; • priprava sistema vrednotenja: na~rtovanje vrednotenj, dolo~itev potrebnih kazalnikov za vrednotenje; • dolo~itev pravil in postopkov koordinacije med obema sistemoma; vklju~itev predhodnega • predhodno vrednotenje kot vzporedna aktivnost k pripravi vrednotenja programa; • tesno sodelovanje evalvatorjev in pripravljavcev programa pri vzpostavljanju sistema kazalnikov, spremljanja in vrednotenja; • pregled priporo~il evalvatorjev in premi{ljeno upo{tevanje priporo~il pri pripravi programa; izvedba • zbiranje in posodabljanje ( updating) informacij o kazalnikih in njihovo posredovanje uporabnikom; • stalni proces izbolj{evanja sistema spremljanja; • izvajanje vmesnih vrednotenj; letno poro~anje • priprava izbranega nabora kazalnikov in analiza le-teh za o izvajanju letna poro~ila – povezava sprotnih vrednotenj in letnega poro~anja lahko izbolj{a kakovost odlo~anja; priprava informacij • priprava informacij o kazalnikih in doseènih rezultatih nadzornemu odboru glede na zastavljene cilje – redno posredovanje informacij nadzornemu odboru; sprotno ( ongoing) • vrednotenje prioritet programa ali izbranih tem z uporabo vrednotenje kazalnikov; • pregled ( review) kazalnikov s ciljem preverjanja strategije programa; • pregled delovanja sistema spremljanja (kakovost kazalnikov, zbiranje podatkov in njihovo posredovanje uporabnikom); kon~no vrednotenje • sistemi spremljanja nudijo podatke o vrednostih kazalnikov (Komisija) za vrednotenja (kazalniki u~inkov in rezultatov); • pomen vrednotenj v ocenjevanju vplivov in rezultatov programa, tudi z uporabo makroekonomskih modelov. 47 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ 5.3 Working Document No 5: Indicative Guidelines on Evaluation Methods: Evaluation during the Programming Period Uredba Sveta {t. 1083/2006 dolo~a tri vrste vrednotenja, to je predhodno, vmesno in kon~no. Glede na funkcijo vrednotenja razlikuje strate{ko in operativno vrednotenje. Strate{ko vrednotenje je namenjeno analizi izvajanja posameznega programa ali skupine programov glede na dràvne prioritete in prioritete Evropske unije, medtem ko je operativno vrednotenje namenjeno izvajanju posameznega operativnega programa. Obe vrednotenji lahko sestavljata enotno evalvacijsko poro~ilo. Delovni dokument analizira vrednotenja, ki se izvajajo med izvedbo programov; vklju~uje tako strate{ka kot operativna vrednotenja. Dokument uporablja angle{ki izraz on-going evaluation, ki ga lahko prevedemo kot sprotno vrednotenje, ~eprav ga Uredba Sveta {t. 1083/2006 ne pozna. Izraz sprotno vrednotenje je del Uredbe Sveta (ES) {t. 1698/2005 o podpori za razvoj podeèlja iz Evropskega kmetijskega sklada za razvoj podeèlja (EKSRP), kjer izraz sprotno vrednotenje obsega tako vmesno ( mid-term) kot kon~no vrednotenje ( ex-post). Preskok iz vmesnega na sprotno vrednotenje je pomemben zaradi poudarjanja potrebnosti vrednotenj, ki ne smejo biti zgolj posledica zakonskih zahtev, temve~ posledica potreb uporabnikov. Dokument je sestavljen iz {tirih delov: • Prvi del opisuje pridobljene izku{nje z izvajanjem vmesnih vrednotenj in njihovih osve- ìtev ( up-date) ter njihovih vplivov na sprotna vrednotenja med letoma 2007 in 2013. • Drugi del povzema dolo~be uredb Sveta, ki dolo~ajo vlogo dràv ~lanic in Komisije. • Tretji del se osredoto~a na sprotno vrednotenje in opisuje, kako bi ga bilo treba na~rtovati in kak{na naj bo njegova vsebina, da bo primerna podlaga za strate{ke in operativne potrebe uporabnikov. • V ~etrtem delu so podani smernice za vodenje sprotnega vrednotenja, klju~na na~e-la in standardi kakovosti. Sprotno vrednotenje: Vmesno vrednotenje je postalo del kohezijske politike è v obdobju med letoma 1994 in 1999, s prakso vmesnega vrednotenja pa se je nadalje-valo tudi v obdobju med letoma 2000 in 2006. Izku{nje Komisije kaèjo, da se je kakovost vmesnih vrednotenj mo~no izbolj{ala, ~eprav so bili zaradi tradicije posameznih dràv ~lanic uporabljeni zelo razli~ni pristopi. Na podlagi izku{enj je mogo~e trditi, da se je pristop k vrednotenju izbolj{al zlasti zaradi bolj{ega sodelovanja izvajalskih struktur. Kljub vsemu so vmesna vrednotenja imela tudi nekatere pomanjkljivosti: • Zaradi rigidnih rokov so bila mnoga vrednotenja izvedena prezgodaj, ko so se nekateri programi {ele za~eli izvajati. • Zahteve so bile pre{iroke, saj so vrednotenja pokrivala vse aktivnosti in so odgo-varjala na {tevilna zapletena vpra{anja. To je povzro~ilo, da so {tevilna vrednotenja pomanjkljivo odgovorila na pomembna vpra{anja vrednotenja (doseèni rezultati) in so bila premalo prilagojena potrebam posameznih dràv ~lanic. 48 GEORITEM 10 Zaradi teh pomanjkljivosti je Komisija predlagala bolj prilagodljiv pristop, temelje~ na potrebah odlo~evalcev. Nov pristop je bil deloma uporabljen pri osveìtvi vmesnih vrednotenj leta 2005, kjer je bil poudarek na potrebah organov upravljanja in na tistih vidikih vmesnega vrednotenja, ki so bili leta 2003 slab{e preu~eni. Tako je Komisija izpostavila vidika subsidiarnosti in sorazmernosti. Nekatere dràve ~lanice so naro~ile tudi lastna vrednotenja, ve~inoma tematske narave (okolje, inovacije …). ^eprav nove ~lanice EU niso bile obvezane, da naredijo vmesno vrednotenje, se je ve~ina med njimi zanj vseeno odlo~ila, zlasti zaradi èlje po ve~ji dodani vrednosti sredstev kohezijske politike, bodo~ega programiranja in krepitve kulture vrednotenja. Njihove izku{nje kaèjo, da so vmesna vrednotenja pomembno prispevala h kakovosti programiranja v med letoma 2007 in 2013. Sprotno vrednotenje je proces, ki je sestavljen iz nabora ve~jega {tevila vrednotenj. Z njim se sledi izvajanju operativnih programov in spremembam v zunanjem okolju, obenem pa omogo~a bolj{e razumevanje doseènih u~inkov in rezultatov in pomeni napredek v doseganju dolgoro~nih ciljev. Po potrebi se predlagajo tudi popravljalni ukrepi. Nujna je tudi tesnej{a povezanost med spremljanjem in vrednotenjem, kot tudi med spremljanjem, vrednotenjem in odlo~itvami ustreznih organov. Redno spremljanje mora zagotoviti ustrezne operativne informacije o doseènih u~inkih, rezultatih, absorpciji ter kakovosti izvajanja, v primeru teàv pa je na podlagi ustreznih informacij mòno naro~iti vrednotenje. Vendar pa sistem spremljanja ne more zagotoviti vseh potrebnih informacij, kot so informacije o socialnoekonomskih vplivih, spremembah v zunanjem okolju, spremembah v EU, nacionalnih in regionalnih prioritetah. Tudi v tem primeru je mòna uporaba rednih vrednotenj, pri ~emer je sistem spremljanja uporaben kot vir informacij, ki jih je treba uporabiti v vrednotenjih. Posamezno vrednotenje naro~i dràva ~lanica in dolo~i njegovo vsebino, saj Uredba Sveta {t. 1083/2006 dolo~a obvezno vrednotenje le v dveh primerih. Pri vrednotenju je potrebna proaktivnost dràv ~lanic, saj sta redno spremljanje in vrednotenje pomembna podlaga za sprejemanje odlo~itev. Zato Komisija dràvam ~lanicam svetuje, da pripravijo na~rte vrednotenj ( evaluation plans). Vrednotenja naj ne bi bila osredoto~ena le na operativne programe, ampak tudi na prioritete, prednostne teme, velike projekte, skupine projektov, posameznih skladov (na primer ESS) prek ve~jega {tevila operativnih programov ali znotraj posameznega operativnega programa ali celo na ravni nacionalnega strate{kega referen~nega okvirja (NSRO). Tak pristop izklju- ~uje podvajanje opravljenih vrednotenj in omogo~a analizo povezanosti posameznih operativnih programov. Pomembno je, da vrednotenja organom upravljanja prina{a-jo dodano vrednost in krepijo relevanco (ustreznost) in koherenco (skladnost) izbrane strategije. Odgovornost za izvedbo sprotnih vrednotenj: Skladno z na~eli subsidiarnosti in sorazmernosti je dràva ~lanica odgovorna za spremljanje operativnih programov, 49 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ izvedbo sprotnih vrednotenj in izvedbo popravljalnih ukrepov, ~e je to potrebno. Komisija lahko na lastno pobudo in v partnerstvu z zadevno dràvo ~lanico izvaja sprotna vrednotenja, vendar le, ~e je to nujno potrebno ali ~e je izvedba vrednotenja s strani Komisije bolj u~inkovita, kot bi bila s strani dràve ~lanice (na primer strate{ka vrednotenja z EU dimenzijo). ^eprav Uredba Sveta {t. 1083/2006 omogo~a veliko fleksibilnost pri vsebini, obliki in ~asu sprotnega vrednotenja, je to, kot smo è omenili, obvezno v dveh primerih: • ~e spremljanje programov odkrije znatno odstopanje od prvotno zastavljenih ciljev ali/in • ~e so pripravljeni predlogi za popravljanje operativnih programov iz 33. ~lena. Rezultati se posredujejo nadzornemu odboru operativnega programa in Komisiji. Organi upravljanja in nadzorni odbori so v okviru nadzora izvajanja odgovorni tudi za spremljanje finan~nih in fizi~nih kazalnikov (kazalniki u~inkov in rezultatov na ravni razvojnih prioritet) ter ostalih relevantnih kazalnikov na ravni programov in NSRO, ~e je tako dogovorjeno. Proces spremljanja je treba podkrepiti z ustreznimi kvalitativnimi analizami ter z diskusijami o doseènih rezultatih in ostalih dejavni-kih, ki vplivajo na izvedbo programov (nadzorni odbor). Kvalitativne analize je treba uporabiti tudi v primeru, ko ni mòno uporabiti kvantitativnih analiz. Opravljene analize omogo~ajo sprejetje odlo~itve o odstopanju doseènega od na za~etku izvajanja zastavljenih ciljev. ^e so odstopanja velika, je treba narediti vrednotenje, ki bo analiziralo probleme, razloge zanje in predlagalo popravljalne ukrepe. Zato je izred-no pomembno, da je sistem spremljanja ustrezno na~rtovan in tudi uporabljen, saj je le tako mogo~e pravo~asno ukrepati. Analize in informacije iz sistema spremljanja je treba povezati tudi s pripravo letnih poro~il. Dràvam ~lanicam sicer ni treba dolo~iti letnih ciljev, vendar ti olaj{ajo spremljanje teko~ih dosèkov operativnih programov. Ponovni pregled operativnih programov in spremembe v preostanku programov so posledica razli~nih razlogov. Vzrok so lahko spremembe v socialnoekonomskih razmerah, korenite spremembe v prioritetah EU ter v dràvnih in regionalnih prioritetah, teàve pri izvedbi in odstopanja dejansko doseènega od na~rtovanega (vrednotenja iz to~ke (3) 48. ~lena). ^e pride do znatnih sprememb, je sprememba programa mòna na podlagi predlo- ènega vrednotenja ter predhodnih kvalitativnih analiz in diskusij v okviru nadzornega odbora. Komisija priporo~a, da dràve ~lanice predlagajo spremembe operativnih programov le v primeru velikih sprememb, ki so lahko: • finan~ne, to je realokacija znatnih finan~nih sredstev med razvojnimi prioritetami, • kontekstne oziroma revizija ciljev na ravni programa ali razvojnih prioritet in • izvedbene, kar pomeni predlog novega procesa izvajanja ali znatno spremembo obstoje~ega. 50 GEORITEM 10 Komisija lahko izvaja strate{ka vrednotenja dolo~enih operativnih programov, nacionalnih programov in strate{kih tem, ~e so le-ti pomembni za izvajanje Lizbonske strategije in Strategije trajnostnega razvoja. ^e spremljanje programov odkrije znatno odstopanje od prvotno zastavljenih ciljev lahko Komisija tudi na lastno pobudo in v partnerstvu z zadevno dràvo ~lanico izvaja vrednotenja, povezana s spremljanjem operativnih programov ali njihovih delov (razvojna prioriteta, veliki projekti). Vrednotenja morajo biti izvedena pravo- ~asno, tako da lahko {e vedno vplivajo na izvedbo. Rezultate se posreduje nadzornemu odboru za operativni program. Komisija izvaja kon~na vrednotenja za vsak cilj v tesnem sodelovanju z dràvo ~lanico in organi upravljanja. Kon~no vrednotenje zajema vse operativne programe v okviru vsakega cilja. Z njim se pregledajo obseg uporabe sredstev, uspe{nost in u~inkovitost na~rtovanja programov skladov ter socialnoekonomski u~inek. Z namenom oblikovanja zaklju~kov za politike gospodarske in socialne kohezije se izvede za vsak cilj posebej. Vrednotenje opredeli dejavnike, ki so pripomogli k uspehu ali neuspehu izvajanja operativnih programov, in opredeli dobre prakse. Komisija je odgovorna tudi za svetovanje na podro~ju metod vrednotenja, tehnik vrednotenja in za izmenjavo izku{enj med dràvami ~lanicami pri vzpostavitvi ter delovanju njihovih sistemov spremljanja in vrednotenja. Na~rtovanje procesa sprotnega vrednotenja: Razlogi in poudarki sprotnega vrednotenja so odvisni od specifi~nih potreb posamezne dràve ~lanice. Tako je lahko vrednotenje osredoto~eno na: • Strate{ke vidike, pri ~emer se priporo~ajo ocena vpliva kohezijske politike na cilje Lizbonske strategije (makroekonomski vpliv), ocena relevantnosti operativnih programov glede na spremembe prioritet na ravni EU oziroma na nacionalni in regionalni ravni. Vrednotenje se lahko osredoto~i tudi na izbrano temo, ki ima strate{ki pomen za izbrani operativni program (na primer inovacije, srednja in mala podjetja, informa-cijska drùba), ali pa na horizontalne prioritete (enakost mònosti, okolje). Izbor dobrih praks lahko pripomore k bolj strate{ki usmerjenosti kohezijske politike. • Operativne vidike, pri ~emer so vrednotenja osredoto~ena na merjenje, ocenjevanje in napredek v izvajanju operativnih programov. Tak{no vrednotenje vsebuje oceno relevantnosti in kakovosti kvantificiranih ciljev ter analizo dosèkov na podlagi finan~nih in fizi~nih kazalnikov, skupaj s predlogi za izbolj{anje uspe{nosti ter u~inkovitosti operativnih programov. Vse to zahteva tudi obstoj ustreznega sistema spremljanja, zato je treba sistema spremljanja in vrednotenja na~rtovati skupaj in pravo~asno. Vrednotenja analizirajo tudi kakovost izvajanja (administrativne strukture, kakovost procesov …). Vrednotenje je lahko tudi kombinacija obeh vidikov. Vrednotenja morajo odlo~evalcem zagotoviti ustrezne informacije, zato morajo biti skrbno na~rtovana. Komisija predlaga pripravo na~rtov vrednotenj ne glede 51 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ na cilj. Njihov glavni namen je pripraviti vseobseèn okvir za sprotno vrednotenje in zagotoviti u~inkovito vklju~itev vrednotenj v sistem izvajanja. V na~rtu se dolo- ~i na~in koordinacije med spremljanjem in vrednotenjem, kakor tudi rednost obeh faz. Vklju~ene so lahko tudi ostale teme, kot so izgradnja kapacitet za vrednotenje, finan~na sredstva in potrebni kadrovski viri za upravljanje z vrednotenji. Na~rti vrednotenj naj bi bili pripravljeni za celotno programsko obdobje, vendar na letni podlagi (dolo~itev aktivnosti in poro~il), po potrebi pa naj bi jih bilo mòno tudi spremeni-ti. Komisija predlaga, da se na~rt vrednotenj pripravi: • na ravni dràve, pri ~emer se dolo~i na~in koordinacije sprotnih vrednotenj, vrednotenja, ki pokrivajo NSRO in sprotna vrednotenja, izvedena prek ve~jega {tevila operativnih programov, • na ravni programa. Komisija predlaga tudi vzpostavitev nacionalnega nadzornega sveta za na~rte vrednotenj oziroma nadzorni svet za najve~je operativne programe. Nadzorni svet naj bi sestavljali razli~ni delèniki (predstavniki civilne drùbe, ministrstev in ostalih akterjev) in naj bi imel svetovalno vlogo pri pripravi in koordinaciji na~rtov vrednotenj. To vlogo lahko prevzame tudi medministrsko telo (obstoje~e, novo). Na~rt vrednotenj naj bi pripravili vzporedno z operativnimi programi. Upravljanje s procesom sprotnih vrednotenj: Klju~no vlogo v koordiniranju procesa vrednotenja v vsaki dràvi ~lanici naj bi imel organ upravljanja, ki bi moral: • odlo~ati v sodelovanju z nadzornim odborom na~rtov vrednotenja o strukturi in vsebini na~rta vrednotenja in zagotoviti ustrezno administrativno podporo njegovi izvedbi, • zagotoviti zbiranje informacij o finan~nih in fizi~nih kazalnikih, njihovo dostopnost in analizirati pridobljene informacije, • naro~ati (spodbuditi) v sodelovanju z nadzornim odborom na~rtov vrednotenja ustrezna vrednotenja in zanje zagotoviti finan~ne vire iz tehni~ne pomo~i, • zagotoviti, da se cilji vrednotenj spo{tujejo in so zagotovljeni ustrezni standardi kakovosti vrednotenj, • posredovati rezultate vrednotenj nadzornemu odboru in Komisiji. Pri izvedbi vrednotenj naj bi organ upravljanja vklju~il zunanje izvajalce in uporabil tudi lastne zmogljivosti, vendar naj bi bili oddelki za vrednotenje od organa upravljanja neodvisni. Zunanje svetovalce je mòno vklju~iti s krovno pogodbo ( framework contract), s katero jih izberemo za celotno programsko obdobje in izvajajo sprotna vrednotenja posameznega operativnega programa oziroma ve~ji del sprotnih vrednotenj. Krovna pogodba ne sme biti nadomestilo za naloge in odgovornosti organa upravljanja pri izvajanju operativnega programa. Zunanje svetovalce se lahko vklju~i tudi s posameznimi pogodbami ( single contracts). Izku{nje kaèjo, da je zelo pomembno razviti ustrezne zmogljivosti za vrednotenje znotraj organov upravljanja. To prispeva h kakovosti izvedenih vrednotenj 52 GEORITEM 10 (ustrezno na~rtovanje in nadzor) in k njihovi uporabi pri izvedbi obstoje~ih operativnih programov ter pri pripravi novih. Za vsako vrednotenje je priporo~ljivo ustanoviti nadzorni odbor, ki ima tehni~ne naloge in usmerja njegovo izvedbo (predlog vrednotenja, priprava razpisne dokumen-tacije ter spremljanje poteka, svetovanje pri izvedbi, analiza rezultatov in uporaba rezultatov vrednotenja). V nadzornem odboru posameznega vrednotenja naj bi sode-lovali vsi, ki so vklju~eni v izvedbo posameznega programa (organ upravljanja, ministrstva, posredni{ka telesa, regionalne in lokalne oblasti, civilna drùba). Pri procesu sprotnega vrednotenja naj bi se upo{tevala naslednja na~ela: • Proporcionalnost: {tevilo in vsebina vrednotenj naj bi bila premosorazmerna vsebini posameznega operativnega programa in razpolòljivim sredstvom ter odvisna od potencialnih tveganj, povezanih z njegovo izvedbo. • Neodvisnost: za zagotovitev kredibilnih rezultatov vrednotenj morajo biti ta opravljena s strani zunanjih strokovnjakov ali organov (zunanjih, notranjih), ki so funkcionalno neodvisni od certifikacijskega in revizijskega organa ter so skladni z mednarodnimi standardi vrednotenja. Komisija svetuje tudi funkcionalno neodvisnost od organa upravljanja. Med izvedbo vrednotenja je pomembno, da evalvatorji sodelujejo z upravljavci, vendar morajo ob tem zadràti neodvisnost. Odgovorne oblasti se morajo zavedati, da je naloga evalvatorjev konstruktivna kritika s ciljem izbolj{anja programa. • Partnerstvo, ki je klju~no pri na~rtovanju, oblikovanju in izvedbi vrednotenj. Temelji na sodelovanju delènikov (prek nadzornega odbora, vpra{alnikov, intervjujev) in zagotavlja transparentnost procesa vrednotenja, omogo~a pa tudi u~enje. • Transparentnost: Dobra praksa vrednotenja zahteva javno objavo vrednotenja z namenom spodbuditi javno diskusijo o njegovih rezultatih. Zato je vrednotenja smiselno objaviti na spletnih straneh (NSRO, operativni programi). Komisija poziva dràve ~lanice, da zagotovijo ustrezno kakovost sprotnih vrednotenj. Veliko koristnih informacij o standardih kakovosti poro~il in standardih kakovosti procesa je na voljo na medmrèju (na primer medmrèje 1). Komisija predlaga, da bi bil na~rt vrednotenja sestavljen iz: • koordinacije ter • aktivnosti in poro~il. Na~rt vrednotenja predlaga in razlaga na~in koordinacije procesa sprotnih vrednotenj, kot je navezava na sistem spremljanja, glavne teme in merila njihovega dolo~anja, nadzorni odbor, alokacija sredstev, nadzor kakovosti, javnost poro~il in postopek revizije poro~il. Mòno je vklju~iti tudi druge z vrednotenjem povezane vsebine, kot je na primer usposabljanje evalvatorjev. Aktivnosti in poro~ila naj bi bila na~rtovana na letni ravni in naj bi vsebovala: • seznam vrednotenj (naslovi), • vsebino posameznega vrednotenja, 53 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ • glavna vpra{anja vrednotenja, • potencialno uporabo posameznega vrednotenja (predstavitev in diseminacija rezultatov, spremljanje in upo{tevanje priporo~il), • ~asovnico, • seznam zunanjih strokovnjakov in/ali morebitno notranje vrednotenje, • finan~na sredstva, namenjena posameznemu vrednotenju, • sistem izvajanja, vklju~no z nadzornim odborom. Preglednica 6: Standardi kakovosti (Working Document No. 5 … 2006, 15). kakovost poro~ila o vrednotenju kakovost procesa vrednotenja skladnost s potrebami: poro~ilo skladni cilji: cilji NSRO ali operativnega o vrednotenju ustrezno zadosti programa so skladni in jasni, zato je potrebam in je skladno vrednotenje mòno izvesti; z razpisnimi pogoji; ustrezna vsebina: ustreznost, u~inki, ustrezna razpisna dokumentacija: razpisna rezultati, vplivi, povezave z ostalimi dokumentacija je ustrezno pripravljena; politikami in nepri~akovane posledice so ustrezno analizirani glede na vsebino vrednotenja in dogovorjena vpra{anja; odprtost procesa: v konstrukcijo primeren izbor izvajalcev: izbor izvajalcev je vrednotenja in diskusijo o njegovih pravilno izveden in izvajalci lahko naredijo rezultatih so vklju~eni zainteresirani dobro vrednotenje; delèniki; ustrezna oblika: oblika vrednotenja u~inkovit dialog in povratne informacije: je ustrezna za pridobitev (zagotovitev) vzpostavljen je dialog z odlo~evalci potrebnih vlòkov za odgovor in upravljavci, kar omogo~a povratne na zastavljena vpra{anja vrednotenja; informacije, ki izbolj{ujejo kakovost vrednotenja; zanesljivi podatki: izbrani ter zbrani ustrezne informacije: na voljo so ustrezne primarni in sekundarni podatki informacije iz sistema spremljanja, kot tudi so z vidika njihove pri~akovane druge informacije; uporabe ustrezni in zanesljivi; premi{ljena analiza: kvantitativni dobro upravljanje: projektna ekipa za izvedbo in kvalitativni podatki so analizirani vrednotenja je dobro vodena; skladno z veljavnimi dogovori in omogo~ajo odgovore na zastavljena vpra{anja; 54 GEORITEM 10 kakovost poro~ila o vrednotenju kakovost procesa vrednotenja verodostojni rezultati: rezultati u~inkovita diseminacija rezultatov vrednotenja so logi~ni in temeljijo na analizi odlo~evalcem: poro~ilo o vrednotenju podatkov, njihovi interpretaciji oziroma glavni rezultati so ~lanom in hipotezah; nadzornega odbora, upravljavcem programov in ostalim odlo~evalcem posredovani na na~in, da se lahko pravo~asno odzivajo na prejete informacije; nepristranski zaklju~ki: zaklju~ki u~inkovita diseminacija rezultatov vrednotenja so nepristranski in ustrezno utemeljeni; delènikom: poro~ilo o vrednotenju oziro- ma glavni rezultati so vsem delènikom posredovani na na~in, da prispevajo tudi k njihovemu u~enju. jasnost poro~ila: poro~ilo na razumljiv na~in opisuje kontekst, cilj, organizacijo in rezultate NSRO ali operativnega programa; koristna priporo~ila: poro~ilo ponuja priporo~ila za odlo~evalce in ostale delènike, ki so tako podrobna, da jih je mòno uporabiti. V preglednici 6 so prikazani standardi kakovosti, ki so bili pripravljeni na podlagi Communication for the Commission from the President and Mrs Schreyer, C (2002) 5267/1 of 23 December 2002, Evaluation Standards and Good Practice and the Communication to the Commission from Ms Grybauskaite· in Agreement with the President, SEC (2007) 213 of 21 February 2007, Responding to Strategic Needs: Reinforcing the use of evaluation. 6 Slovenska zakonodaja in podzakonski akti Temeljni sistemski okvir za izvajanje regionalne politike predstavljajo: 1. zakoni: • Zakon o spodbujanju skladnega regionalnega razvoja (ULRS 93/05, ULRS 127/06 – ZJZP), • Zakon o popotresni obnovi objektov in spodbujanju razvoja v Poso~ju (ULRS 26/05), • Zakon o financiranju ob~in (UL RS 123/06, UL RS 101/07; ZFO-1) in 55 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ • Zakon o uporabi sredstev, pridobljenih iz naslova kupnine na podlagi zakona o lastninskem preoblikovanju podjetij (UL RS 45/95). 2. podzakonski akti: • Uredba o dodeljevanju regionalnih dràvnih pomo~i (UL RS 72/06, UL RS 70/07), • Uredba o dokumentih razvojnega na~rtovanja in postopkih za pripravo predloga dràvnega prora~una in prora~unov samoupravnih lokalnih skupnosti (ULRS 44/07), • Uredba o pogojih in merilih za dodeljevanje spodbud, pomembnih za skladni regionalni razvoj (UL RS 110/04), • Uredba o regionalnih razvojnih programih (UL RS 31/06), • Odlok o ustanovitvi in delovnih podro~jih Slùbe Vlade Republike Slovenije za lokalno samoupravo in regionalno politiko (UL RS 7/05, UL RS 122/05), • Pravilnik o merilih za ugotavljanje delovne uspe{nosti direktorjev regionalnih razvojnih agencij (UL RS 28/06), • Pravilnik o namenih porabe, merilih in pogojih za dodelitev sredstev za sofinanciranje investicij ob~in (UL RS 19/07, UL RS 16/08), • Pravilnik o subjektih spodbujanja razvoja na regionalni ravni (UL RS 103/06, UL RS 14/07), • Sklep o razvrstitvi razvojnih regij po stopnji razvitosti za programsko obdobje 2007–2013 (UL RS 23/06), • Sklep o ustanovitvi, sestavi, organizaciji in nalogah Razvojno poslovnega sveta za Slovence iz sveta (UL RS 84/06), • Sklep o ustanovitvi, sestavi, organizaciji in nalogah sveta za strukturno politiko (UL RS 59/00, UL RS 17/01, UL RS 13/03, UL RS 43/06), • Splo{ni pogoji poslovanja Javnega sklada Republike Slovenije za regionalni razvoj in ohranjanje poseljenosti slovenskega podeèlja (UL RS 45/02, UL RS 58/03, UL RS 85/03, UL RS 44/04 in UL RS 117/04) ter • Ustanovitveni akt Javnega sklada Republike Slovenije za regionalni razvoj in razvoj podeèlja. Zakon o spodbujanju skladnega regionalnega razvoja (ZSRR-1) dolo~a cilje, na~ela in organiziranost za spodbujanje skladnega regionalnega razvoja kot temeljne sestavine razvojne politike v Republiki Sloveniji in Evropski uniji, na dràvni, regionalni in lokalni ravni, dodeljevanje razvojnih spodbud ter postopek izvedbe projektnega financiranja, pri katerem se javna in zasebna sredstva povezujejo za spodbujanje razvoja. Po njem so za skladen regionalni razvoj odgovorne dràva in lokalne skupnosti. Zakon spremljanje in vrednotenje u~inkov razvojnih spodbud opredeljuje med na~eli spodbujanja skladnega regionalnega razvoja, pri ~emer poudari, naj bi ti aktivnosti temeljili na primerljivi evropski metodologiji. V 10. ~lenu zakona je opredeljeno, da Vlada o uresni~evanju tega zakona in strategije regionalnega razvoja Slovenije poro~a Dràvnemu zboru na sredini in ob koncu programskega obdobja. 56 GEORITEM 10 Z vidika spremljanja in vrednotenja je pomembna opredelitev sestavin programskega dela regionalnega razvojnega programa, ki med pomembne sestavine {teje tudi sisteme spremljanja in vrednotenja ter ocene vplivov na zdravje, okolje in enake mò- nosti. Naslednje pomembno dolo~ilo, ki se nana{a na organ, pristojen za regionalni razvoj, je, da mora ta na podro~ju spodbujanja regionalnega razvoja vzpostaviti enoten informacijski sistem. Za spremljanje in vrednotenje regionalnih razvojnih programov je klju~en regionalni razvojni svet, ki ga ustanovi zveza ob~in. Med drugim je njegova naloga tudi spremljanje in vrednotenje regionalnega razvojnega programa. Skladno z zakonom je naloga spodbujanja regionalnega razvoja, ki se opravlja v javnem interesu, spremljanje, poro~anje in nadzor izvajanja regionalnih razvojnih programov ter obmo~nih razvojnih programov, vklju~no z izdelavo ocen vplivov na zdravje, okolje in enake mònosti. Spremljanju regionalne politike je deloma namenjen tudi nadzor pri izvr{evanju pogodb (65. ~len), saj zakon dolo~a, da ima uporabnik pravico in dol`nost nadzorovati izvajanje pogodbe. Uporabnik lahko zahteva poro~ila o poslovanju izbranega interesenta, ki se nana{ajo na izpolnjevanje obveznosti po pogodbi, v pisni obliki, razen ~e ni s pogodbo dolo~eno druga~e. Tovrstna poro~ila morajo vsebovati zlasti podatke o: • izpolnjevanju obveznosti, ki jih ima izbrani interesent po pogodbi, • {kodnih dogodkih, spremenjenih razmerah izvajanja pogodbe, kori{~enju zavaro-vanj in • vseh drugih okoli{~inah, ki lahko na izvajanje pogodbe vplivajo neposredno ali posredno. ^e pogodba ne dolo~a druga~e, se poro~ila iz drugega odstavka tega ~lena pri-pravljajo letno. S sistemskega vidika je izrednega pomena tudi Odlok o ustanovitvi in delovnih podro~jih Slùbe Vlade Republike Slovenije za lokalno samoupravo in regionalno politiko (SVLR). Ta SVLR opredeljuje kot vladno slùbo in za njena delovna podro~- ja dolo~a lokalno samoupravo, regionalni razvoj in evropsko kohezijsko politiko. Z vidika spremljanja in vrednotenja je SVLR odgovorna institucija za vzpostavitev sistema spremljanja in vrednotenja, kar je podrobneje opredeljeno v natan~nej{i opredelitvi nalog. Odlok med drugim dolo~a, da SVLR usklajuje, dolo~a, spremlja in vrednoti delovanje ministrstev, vladnih slùb ter drugih organov in slùb, vklju~enih v izvajanje evropske kohezijske politike, o ~emer poro~a Vladi. Prav tako je zadol- èna za pripravo analize in poro~ila o izvajanju strategije regionalnega razvoja ter za zagotavljanje raziskovalnih podlag na podro~ju regionalnega razvoja. Sistemati~no skrbi za razvoj analiti~nih orodij in metodologij s podro~ja dela vladne slùbe. Klju~- no je tudi dolo~ilo, da vladna slùba razvija, vzdrùje in zagotavlja delovanje enotne 57 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ informacijske infrastrukture ter krovnega informacijskega sistema za izvajanje in spremljanje dràvnega razvojnega programa, regionalnih razvojnih programov ter dolo~enih programov, ki jih sofinancira Evropska unija. Z vidika sistemskih okvirov spremljanja in vrednotenja na dràvni ravni je treba omeniti tudi Sklep o ustanovitvi, sestavi, organizaciji in nalogah Sveta za strukturno politiko ter Uredbo o dokumentih razvojnega na~rtovanja in postopkih za pripravo predloga dràvnega prora~una in prora~unov samoupravnih lokalnih skupnosti. Svet za strukturno politiko je usklajevalni organ Vlade Republike Slovenije za podro~je strukturne politike in regionalnega razvoja. Med drugim je zadolèn za spremljanje izvajanja Dràvnega razvojnega programa in Na~rta razvojnih programov prora~una v delu, ki se nana{a na izvajanje Dràvnega razvojnega programa Republike Slovenije. Uredba o dokumentih razvojnega na~rtovanja in postopkih za pripravo predloga dràvnega prora~una in prora~unov samoupravnih lokalnih skupnosti ureja: • na~in priprave razvojnih dokumentov in spremljanja izvajanja razvojnih politik, ki jih predlaga, sprejema ali izvaja Vlada Republike Slovenije (v nadaljnjem besedilu Vlada), • pripravo prora~unskega memoranduma in dolo~itev dràvnih razvojnih prioritet, • postopke in dokumente za pripravo predloga, predloga sprememb, predloga reba-lansa dràvnega prora~una in prora~unov samoupravnih lokalnih skupnosti ter drugih, s temi akti povezanih dokumentov. Uredba se med drugim smiselno uporablja za pripravo dokumentov razvojnega na~rtovanja na regionalni ravni, pripravo stali{~ Vlade do dokumentov razvojnega na~rtovanja na ravni Evropske unije in mednarodnih organizacij ter do prevzema-nja obveznosti na mednarodni ravni. V uredbi je v ~lenu o razvojnih politikah dràve to~ka, ki opredeljuje aktivnosti, povezane z razvojnimi politikami Vlade: • razvojno na~rtovanje, • medsebojno usklajevanje in skupno delovanje razvojnih politik Vlade, • izvajanje sprejetih razvojnih politik Vlade, • spremljanje in vrednotenje razvojnih politik Vlade kot podlage za odlo~itve o spremembah izvajanja razvojnih politik Vlade ter poro~anje o ugotovitvah, • spreminjanje razvojnih politik ob odstopanju dejanskih gibanj od predvidenih ali v primeru, ~e obstoje~i ukrepi ne prina{ajo predvidenih rezultatov, • oblikovanje podpore in evidenc za spremljanje izvajanja in merjenje u~inkovitosti razvojnih politik. Kot dokumente razvojnega na~rtovanja navaja Strategijo razvoja Slovenije, Dràvni razvojni program in druge dokumente, kot so resolucija o nacionalnih razvojnih projektih, nacionalni strate{ki referen~ni okvir, podro~ne in sektorske strategije, resolucije in nacionalni programi razvoja, ki jih pripravlja Vlada RS skladno z na-58 GEORITEM 10 cionalno zakonodajo in sprejetim programom dela. Sem sodijo tudi razvojni dokumenti, ki jih Vlada pripravlja ali sodeluje pri njihovi pripravi skladno s pravnim redom Evropske unije ali s pravili mednarodnih organizacij. Poleg è na{tetih dokumentov so predmet sodelovanja in usklajevanja tudi drugi dokumenti, ki vsebujejo sektorske in regijske politike, pa tudi druga vladna gradiva, kadar po svojih u~inkih presegajo resorne in regijske razvojne cilje in tako pomembno vplivajo na doseganje skupnih razvojnih ciljev Vlade. Z vidika spremljanja in vrednotenja je pomemben 9. ~len, ki opredeljuje sestavine dokumentov razvojnega na~rtovanja. Obvezne sestavine izvedbenih in drugih dokumentov razvojnega na~rtovanja ter drugih vladnih gradiv, ki pomembno vplivajo na doseganje razvojnih ciljev, so: • izvedbeni cilji in prikazi njihove usklajenosti s strate{kimi razvojnimi cilji, usme-ritvami in prioritetami, • pri~akovani razvojni u~inki, • fizi~ni in finan~ni kazalniki, primerni za spremljanje uresni~evanja ter merjenje doseganja ciljev in razvojnih u~inkov, • finan~ni na~rt s prikazom skupnih stro{kov in virov financiranja (nacionalnih in mednarodnih, javnih in zasebnih), • opredeljene potrebe po prostoru, • celovita presoja vplivov na okolje, • institucionalni okvir in organizacija izvajanja, vrednotenja in nadzora, • prikaz aktivnosti za uveljavitev na~ela partnerstva s socialnimi in regionalnimi partnerji ter s civilno drùbo in vklju~evanja strokovne javnosti v postopkih priprave in izvajanja. Skladno z uredbo se kot vir pri oblikovanju finan~nih in fizi~nih kazalnikov uporabljajo uradni statisti~ni podatki. Kot dopolnitev se lahko uporabljajo tudi drugi uradni viri, izjemoma pa tudi rezultati drugih metodolo{ko ustreznih raziskav. V poglavju o izvajanju sprejetih razvojnih politik je navedeno, da Slùba Vlade Republike Slovenije za razvoj (SVR) spremlja izvajanje razvojnih politik Vlade in usklajenost njihovega izvajanja. ^e ugotovi neskladnosti, o tem pred prvo prora~unsko sejo obvesti Vlado in ji predlaga ustrezne ukrepe. Natan~neje je spremljanje izvajanja razvojnih politik Vlade in poro~anje opredeljeno v ~lenih 20, 21, 22 in 23. Spremljanje uresni~evanja usmeritev, ciljev in prioritet razvoja, dolo~enih s strategijo razvoja Slovenije, se izvaja s poro~ilom o razvoju. Pripravlja se letno in spremlja uresni~evanje usmeritev, ciljev in prioritet na podlagi posebnega sistema kazalnikov razvoja, strukturnih kazalnikov Evropske unije ter drugih kvalitativnih in kvantitativnih meril. Poro~ilo pripravi Urad za makroekonomske analize in razvoj (UMAR) vsako leto do 15. aprila. U~inkovitost programov in projektov dràvnega razvojnega programa se preverja letno s posebnim poro~ilom o u~inkovitosti ukrepov razvojne politike, ki ga pripravi nosilec priprave dràvnega 59 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ razvojnega programa do 15. aprila, pri ~emer se ocenjuje tako u~inkovitost ukrepov s fizi~nega in finan~nega vidika kot tudi uspe{nost ter u~inkovitost zagotavljanja in porabe razli~nih virov financiranja. Pri spremljanju strate{kega in izvedbenega dokumenta razvojnega na~rtovanja se poleg dolo~b tega ~lena smiselno uporabljajo tudi dolo~be 22. ~lena te uredbe. Pred objavo poro~ila nosilec priprave z njim seznani Vlado. Pri drugih dokumentih razvojnega na~rtovanja in drugih gradivih Vlade, ki pomembno vplivajo na razvoj, je nosilec spremljanja uresni~evanja in poro~anja praviloma nosilec dokumenta razvojnega na~rtovanja. Vlada lahko ob sprejemu dokumenta razvojnega na~rtovanja in drugih vladnih gradiv, ki pomenijo ukrepe razvojnih politik Vlade, skladno s 4. ~lenom te uredbe dolo~i tudi drugega nosilca spremljanja. Nosilec spremljanja mora o izvajanju poro~ati enkrat letno, in sicer do 28. februarja teko~ega leta za preteklo leto. Za posamezen dokument razvojnega na~rtovanja lahko Vlada dolo~i druga~no dinamiko poro~anja. Nosilec spremljanja poro~a skladno s cilji in kazalniki, dolo~enimi v dokumentu razvojnega na~rtovanja (9. in 22. ~len te uredbe). Nosilec spremljanja lahko po potrebi oblikuje tudi podrobnej{a merila in metodologijo za spremljanje izvajanja posameznega dokumenta razvojnega na~rtovanja. Pred objavo poro~ila nosilec priprave z njim seznani Vlado. Podlaga za spremljanje uresni~evanja dokumentov ter v njih zapisanih ciljev in politik so metodolo{ka navodila, ki jih kot strokovni pripomo~ek pripravi UMAR. Metodolo{ka navodila upo{tevajo na~ela preglednosti (transparentnosti), objektiv-nosti, mednarodne primerljivosti in podatkovne dostopnosti. Poro~ila in vsi podatki, na katerih poro~ila temeljijo, so dostopna javnosti. Dostopnost poro~il in podatkov se zagotavlja z objavo na spletnih straneh SVR ali s povezavami do njihovih primar-nih oziroma izvornih lokacij. Za razvojne programe, projekte in ukrepe se vodi enotna evidenca na ravni Vlade, ki je zasnovana tako, da prikazuje: • a.) finan~ne podatke po programih in projektih (smiselno razdeljenih tudi na nìje ravni), ki obsegajo podatke o financerjih (virih financiranja), prejemnikih, namenu, javnofinan~nih instrumentih, vi{ini porabljenih finan~nih in javnofinan~nih sredstev ter druge atribute, ki omogo~ajo, da je osrednja evidenca namenjena potrebam razli~nih oblik poro~anja (investicije, dràvne pomo~i, strukturne pomo~i …) ter za statisti~ne in analiti~ne potrebe; • b.) podatke o poteku izvajanja programov, projektov in ukrepov glede na cilje, opredeljene v razvojni politiki Vlade, z mònostjo analiti~nega prikaza stanja po organizacijah na vseh ravneh organizacijske strukture. Za metodolo{ko oblikovanje evidence in njene vsebine je odgovoren predstojnik SVR. Skrbnik enotne evidence razvojnih politik Vlade je SVR. Vsi podatki iz evidence, z izjemo zaupnih, so dostopni Vladi in institucijam, ki so odgovorne za spremljanje uresni~evanja in poro~anje iz 20. in 21. ~lena te uredbe, ter na zahtevo tudi subjektu, ki izkaè pravni interes. Dokument razvojnega na~rtovanja ali drugo gradivo Vlade, ki pomembno vpliva na razvoj, se skladno s 24. ~lenom uredbe dopolni, spremeni ali nadomesti z novim, 60 GEORITEM 10 ~e se ugotovi, da obstoje~i dokument ni uresni~ljiv, ker je pri{lo do velikega odstopanja dejanskih gibanj od predvidenih, ali ker obstoje~i ukrepi ne dajejo predvidenih rezultatov, ali ker je pri{lo do bistvenih sprememb v izhodi{~ih, na katerih dokument temelji. Postopek spreminjanja dokumenta razvojnega na~rtovanja ali drugega gradiva Vlade, ki pomembno vpliva na razvoj, sproì nosilec priprave dokumenta, nosilec spremljanja ali predstojnik SVR. Pobudo za za~etek postopka lahko da tudi ministrstvo ali slùba, ki ni nosilec priprave ali spremljanja, ~e se dokument oziroma drugo gradivo Vlade nana{a tudi na zadeve iz njegove delovne pristojnosti. Za spremembo dokumentov razvojnega na~rtovanja na regionalni ravni da pobudo predstojnik SVLR. Glede na navedeno je uredba izrednega pomena za spremljanje in vrednotenje dokumentov na dràvni ravni, nekoliko manj pa za vrednotenje na regionalni ravni. Poleg è navedenih zakonskih in podzakonskih aktov so za spremljanje in vrednotenje regionalne politike pomembni {e: • Uredba o dodeljevanju regionalnih dràvnih pomo~i, ki dolo~a, da morajo dajal-ci regionalnih dràvnih pomo~i vsako leto do 28. februarja skladno z Zakonom o spremljanju dràvnih pomo~i (UL RS 37/04) in Uredbo o posredovanju podatkov in poro~anju o dodeljenih dràvnih pomo~eh in pomo~eh po pravilu de minimis (UL RS 61/04) poro~ati o prejemnikih teh pomo~i za prej{nje leto organu, pristojnemu za regionalni razvoj ali upravljavcu regionalne sheme. Dolo~a tudi, da mora minister, pristojen za regionalni razvoj, skladno z uredbo dolo~iti cilje, u~inke, kazalnike ter na~in merjenja u~inkovitosti in uspe{nosti regionalnih dràvnih pomo~i. • Uredba o regionalnih razvojnih programih, ki dolo~a minimalno obvezno strukturo in metodologijo priprave in izvedbe ter na~in spremljanja in vrednotenja u~inkov regionalnega razvojnega programa. Vsak RRP mora vsebovati analizo stanja in razvojnih prilònosti regije, dolo~itev ciljev RRP in kazalnikov merjenja ciljev po prioritetah, programih, ukrepih in projektih, dolo~itev razvojnih prioritet, programov in ukrepov RRP z njihovim finan~nim ovrednotenjem, predstavitev in finan~no ovrednotenje pomembnej{ih razvojnih projektov v regiji ter prikaz aktivnosti za seznanjanje javnosti in izvajanje na~ela partnerstva sodelujo~ih institucij v postop-ku priprave RRP. Pri pripravi RRP ima klju~no vlogo regionalni razvojni svet, ki sprejme sklep o pripravi RRP ter program priprave tudi finan~no ovrednoti. Isti organ je zadolèn tudi za spremljanje uresni~evanja ciljev RRP, po potrebi pa predlaga tudi spremembe, ki morajo biti sprejete na enak na~in kot sam RRP. ^eprav so z uredbo dolo~ene nekatere obvezne vsebine projektnih predlogov, vzvodi za spremljanje in vrednotenje posameznega projekta niso podrobneje dolo~eni. To bi bilo po na{em mnenju smiselno, saj bi poenostavilo postopke v primeru revizij. Posebno poglavje uredbe je namenjeno spremljanju in vrednotenju u~inkov celotnega RRP. Programi in ukrepi morajo vsebovati fizi~ne in finan~ne kazalnike, potrebne za kvantitativno spremljanje uresni~evanja RRP. Opredeljuje tudi odgovorno institucijo za spremljanje in vrednotenje u~inkov RRP, to je regionalni 61 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ razvojni svet, ki izvede vrednotenje v sodelovanju z neodvisno strokovno institucijo. Nadzoru nad izvajanjem RRP-jev so namenjena tudi letna in kon~na poro~ila o izvajanju, ki jih pripravi slùba spodbujanja razvoja na regionalni ravni. Vsebujejo kratek prikaz sprememb, pomembnih za izvajanje RRP, opis napredka v doseganju kvantificiranih ciljev s pomo~jo fizi~nih in finan~nih kazalnikov, opis doseènih u~inkov po izvedbi posameznih ukrepov in projektov ter povzetek pomembnej- {ih teàv pri izvajanju RRP skupaj s predlogi njihove re{itve. • Uredba o pogojih in merilih za dodeljevanje spodbud, pomembnih za skladni regionalni razvoj, ki dolo~a pogoje in merila ter postopek za dodeljevanje spodbud, pomembnih za skladen regionalni razvoj. Glede spremljanja in vrednotenja je pomembno, da se v pogodbi podrobneje opredelita na~in in oblika poro~anja prejemnika o poteku izvajanja projekta, za katerega je bila dodeljena spodbuda, ter postopek nadzora nad porabo sredstev. Prejemnik sredstev je dolàn pristojnemu prora~unskemu uporabniku omogo~iti nadzor nad porabo sredstev tako, da sta sle-herni trenutek mòna kontrola ter vpogled v poslovno dokumentacijo. ^e se ugotovi nenamenska poraba dodeljenih sredstev ali njihova odtujitev, je prejemnik dolàn takoj vrniti vsa nenamensko porabljena ali odtujena sredstva v njihovi realni vi{i-ni, skupaj s pripadajo~imi zakonitimi zamudnimi obrestmi od dneva nakazila. ^e je s finan~nega vidika ureditev zadovoljiva, tega ne moremo re~i za fizi~no spremljanje spodbud, saj se pri dodeljevanju spodbud po tej uredbi nikjer ne predvideva neprestano spremljanje in vrednotenje projektov. • Sklep o razvrstitvi razvojnih regij po stopnji razvitosti za programsko obdobje 2007–2013, ki podrobneje dolo~a kazalnike in metode za izra~un indeksa razvojne ogroènosti in za programsko obdobje Dràvnega razvojnega programa 2007–2013 razvojne regije razvr{~a po stopnji njihove razvitosti. Pri tem se indeks razvojne ogroènosti pojmuje kot relativni kazalnik razvitosti razvojne regije, ki se izra~u-na na podlagi obteìtve kazalnikov razvitosti, ogroènosti in razvojnih mònosti. Sklep za spremljanje in vrednotenje sam po sebi ni klju~en, je pa pomemben za oceno regionalne politike v celoti ter razporeditev neposrednih in posrednih spodbud, saj omogo~a primerjavo razvojnih teènj tako med posameznimi leti kot tudi med regijami. • Splo{ni pogoji poslovanja Javnega sklada Republike Slovenije za regionalni razvoj in ohranjanje poseljenosti slovenskega podeèlja so zapisani v pravilniku, ki dolo~a splo{ne pogoje, merila, na~in, namen in postopek dodeljevanja spodbud javnega sklada. Z njim so dolo~eni in opredeljeni tudi na~in re{evanja vlog in pro{enj za spreminjanje pogojev dodeljevanja spodbud, arhiviranje, poslovna tajnost ter obve{- ~anje javnosti o dodeljevanju spodbud. Skladno z ustanovnim aktom tudi ta pravilnik obvezuje sklad, da vodi evidence vseh dodeljenih sredstev in drugega poslovanja Javnega sklada ter arhive vseh predloènih in izdanih listin. Javni sklad mora zagotoviti ra~unalni{ko podporo za spremljanje evidenc in arhivov iz prej{njega odstavka. 62 GEORITEM 10 Z omenjenimi evidencami je mòno locirati spodbujane projekte in opraviti revizijo poslovanja Javnega sklada, prakti~no nobene pozornosti pa ni namenjene spremljanju in vrednotenju spodbud. • Pravilnik o namenih porabe, merilih in pogojih za dodelitev sredstev za sofinanciranje investicij ob~in, ki dolo~a namene porabe, merila in pogoje za dodelitev sredstev za sofinanciranje investicij ob~in v lokalno javno infrastrukturo ter investicij posebnega pomena za zadovoljevanje skupnih potreb in interesov prebivalcev ob~in, uvr{~enih v na~rte razvojnih programov ob~inskih prora~unov (v nadaljnjem besedilu sredstva) in upravi~ene stro{ke teh investicij. Pravilnik v poglavju o porabi sredstev in zagotavljanju namenske porabe sredstev dolo~a, da mora pogodba vsebovati dolo~be o zagotavljanju namenske porabe sredstev in mònosti izvajanja kontrole namenske porabe sredstev. S tem so v pravilniku opredeljena dolo~ila, ki zahtevajo dolo~be o namenski porabi sredstev in o izvajanju kontrole, s ~imer se odpira mònost za preverjanje porabe, ni pa podrobneje opredeljenih meril in ukrepov za spremljanje in vrednotenje zlasti fizi~nih rezultatov izvedenih aktivnosti. Na podlagi dolo~il, ki jih za spremljanje in vrednotenje regionalne politike vsebujejo zgoraj omenjeni pravni akti, lahko ugotovimo, da je sistemski okvir za spremljanje in vrednotenje slovenske regionalne politike razmeroma ustrezno opredeljen, pristojnosti pa jasno dolo~ene. Kljub temu se v praksi ne izvajata skladno s pri~akovanji, saj ni ne sistemati~nega spremljanja ne vrednotenja. Pri è izvedenih vrednotenjih je zaznati {tevilne pomanjkljivosti, ki jih gre na eni strani pripisati premalo zahtevnim naro~nikom, na drugi pa premalo usposobljenim in ne dovolj strokovnim izvajalcem. Pri vrednotenju je velika ovira tudi neustrezno spremljanje, saj to v nemalo primerih ne zagotavlja podatkov, ki jih pri vrednotenju potrebujemo. ^eprav sta spremljanje in vrednotenje pomembni sestavini projektnega oziroma programskega cikla, stanje na podro~ju spremljanja in vrednotenja regionalne politike tega ne potrjuje. ^e je bila leta 1999, ko se je za~elo z evropsko primerljivim spodbujanjem skladnega regionalnega razvoja, neizku{enost {e ustrezen in sprejemljiv izgovor, za to po skoraj desetih letih lastnih izku{enj ter {tevilnih priporo~ilih in vzgledih iz drugih dràv ~lanic ne more biti ve~ opravi~ila. S tem, ko se je znova spre-jelo programske dokumente, ki sistemov spremljanja in vrednotenja nimajo ustrezno urejenih, in ko isto~asno spremljanju razvojnih aktivnosti namenjen centralni informacijski sistem ne zagotavlja kakovostnega spremljanja, se je sistemati~no spremljanje in vrednotenje slejkoprej prestavilo v finan~no perspektivo po letu 2013. 7 Spremljanje slovenske regionalne politike V praksi poznamo zlasti spremljanje projektov, ukrepov in programov. Spremljanje posameznih razvojnih politik temelji na spremljanju kontekstnih kazalnikov, 63 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ medtem ko spremljanje posameznih politik na podlagi kazalnikov izvajanja ni raz- {irjeno. Za to so po na{em mnenju naslednji bistveni razlogi: • politike pogosto niso jasno opredeljene (prepletanje {tevilnih ukrepov in {tevilnih izvajalskih agencij), • spremljanje aktivnosti s pomo~jo kazalnikov izvajanja temelji na zbiranju podatkov »od spodaj navzgor«, kar zahteva jasno opredelitev aktivnosti (ciljna skupina, ~asovnica, finan~na sredstva, upravi~ene aktivnosti, cilji, kazalniki, povezava z ostalimi aktivnostmi …). Brez jasno opredeljenih aktivnosti, povezanih v celovit sistem razvojnega na~rtovanja, razvojnih politik ni mòno realno spremljati, niti ni mogo~e opraviti ustreznih vrednotenj. Imamo torej dve mònosti: • 1. Razvojne politike lahko spremljamo s pomo~jo kontekstnih kazalnikov. To je mòno le v primeru, ~e domnevamo, da so u~inki, rezultati in vplivi posameznih politik tako veliki, da je realno pri~akovati vpliv na kontekstne kazalnike. • 2. Razvojno politiko spremljamo s pomo~jo kazalnikov izvajanja. To zahteva naslednje: – jasno opredelitev posamezne razvojne politike, – jasno opredelitev aktivnosti, – jasno opredelitev odgovornosti, – jasno opredelitev ~asovnice in – jasno opredelitev koordinacije med posameznimi izvajalci (ministrstva). Tudi pri spremljanju slovenske regionalne politike je treba razlikovati med delom EU in slovenskim delom. Del EU se spremlja v Informacijskem sistemu Agencije Republike Slovenije za regionalni razvoj (ISARR), ki po letih teàv, zlasti zaradi pomanjkanja sredstev, postaja operativen. ISARR predstavlja informacijsko podporo za spremljanje in poro~anje o izvajanju EPD in podpira klju~ne funkcije na~rtovanja ter poro~anja na ravni programov in projektov, pri ~emer slednji v primeru 2. in 3. prednostne naloge predstavljajo agre-gacijo pogodb na ravni instrumentov. Delovanje sistema ISARR {e vedno temelji na na~elu centralnega vnosa podatkov in izpisov poro~il na SVLR, razen v primeru 3. prednostne naloge in delno 2. prednostne naloge (Ministrstvo za delo, druìno in socialne zadeve), kjer kon~ni uporabnik neposredno ( on-line) izvaja vnose podatkov, prav tako neposredno v sistemu ISARR del certifikacije zahtevkov za povra~ilo in zahtevkov za pla~ilo izvaja pla~ilni organ. Sistem ISARR predstavlja informacijsko podporo za spremljanje in poro~anje o izvajanju operativnih programov ter podpira klju~ne funkcije na~rtovanja in poro~anja od ravni programov, razvojnih prioritet do ravni operacije. Delovanje sistema tre-nutno temelji na na~elu centralnega vnosa podatkov in izpisov poro~il na SVLR. V letu 2007 je ISARR za spremljanje in poro~anje o izvajanju OP omogo~al: • podporo procesu javnih razpisov za dodeljevanje sredstev, 64 GEORITEM 10 • zbiranje podatkov, zajetih pred odprtjem Na~rta razvojnih programov (NRP), to je na~rtovanih podatkov, • prenos finan~nega na~rta na ravni projekta oziroma operacije iz informacijskega sistema Ministrstva za finance – MFERAC), • spremljanje finan~nih izpla~il iz prora~una (povezava z ra~unovodskim sistemom MFERAC, • vnos doseènih ciljev in aktivnosti, • podporo izvajanju vra~il, • vnos napovedi o izpla~ilih, zahtevkih za povra~ilo in zahtevkih za pla~ilo, • on-line povezavo s centralnim registrom prebivalstva, • izpis obrazcev za prijavo prednostnih usmeritev, instrumentov in operacij, • izpis dinami~nih oziroma vrtljivih tabel iz modula za analizo podatkov … V letu 2007 je bila uspe{no izvedena prva faza modula za vnos podatkov (MVP) v spletni tehnologiji. Z izgradnjo in izvedbo MVP bo omogo~en neposreden vnos podatkov vsem institucijam, ki so vklju~ene v izvajanje OP in iz lastnih informacijskih sistemov ne zagotavljajo potrebnih podatkov v elektronski obliki. Vzpostavljena je bila potrebna infrastrukturna oprema in nakup licenc za dostop do sistema ISARR prek svetovnega spleta in izvedena nadgradnja podatkovnega modela za podporo spe-cifikam finan~ne perspektive 2007–2013. S ciljem uspe{ne podpore izvajanju OP je bila v letu 2007 izdelana projektna in investicijska dokumentacija za razvoj in vzdrèvanje informacijskega sistema ISARR v triletnem obdobju. Izdelana je bila razpisna dokumentacija, izvedeno javno naro- ~ilo in sklenjena pogodba z izvajalcem za triletni projekt, s ~imer je vzpostavljeno ustrezno okolje za zaokroìtev razvoja sistema ISARR, delovanje Centra za pomo~ uporabnikov, redno izobraèvanje uporabnikov in s tem decentralizacijo uporabe sistema ISARR v finan~ni perspektivi 2007–2013. Sistem ISARR je sestavljen iz naslednjih modulov: • MAP – modul za analize podatkov (jedro sistema), • MRS – modul za referen~ni sistem (na~rtovanje na vseh ravneh, administracija, nastavitve), • MJR – modul za javne razpise, • MVP – modul za vnos podatkov, • MPP – modul za prenos podatkov, • MSP – modul za statusno poro~anje. Sistem ISARR na~eloma na enem mestu podpira spremljanje in izvajanje vseh razvojnih programov oziroma razvojnih politik v dràvi. Smiselno bi bilo, da bi v sistem ISARR vklju~ili vse programe slovenske regionalne politike (na primer 21. ~len ZFO-1, Sofinanciranje projektov osnovne komunalne infrastrukture v romskih naseljih, Programa spodbujanja razvoja v Poso~ju 2007–2013 (SO^A 2013)), saj bi to omogo~ilo làje spremljanje in vrednotenje slovenske regionalne politike. 65 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ modul za statusno poro~anje modul za referen~ni MSP modul sistem za vnos podatkov MRS MVP I modul MPP za prenos podatkov MAP MJR modul modul za analizo podatkov za javne razpise Slika 4: Zgradba informacijskega sistema ISARR (Devjak in Ko{ir 2007). DRP viri OP OP financiranja ROPI ^V OP dràvne RR pomo~i instrument CILJ 3 teritorialne enote udeleènec PROJEKT razli~ne klasifikacije aktivnost kazalniki cilji faza naloga utè kazalnika Slika 5: Podro~ja delovanja sistema ISARR (Devjak in Ko{ir 2007). 66 GEORITEM 10 Potrebno je omeniti, da je Ministrstvo za kmetijstvo, gozdarstvo in prehrano za Program razvoja podeèlja Republike Slovenije za obdobje 2007–2013 razvilo lasten informacijski sistem, ki vsebuje tudi informacije, pomembne za oceno vpliva javnih politik na regionalni razvoj, {e posebej: • Os 3: Kakovost ìvljenja na podeèlju in diverzifikacija podeèlskega gospodarstva s ciljem spodbujanja zaposlovanja in ustvarjanja novih delovnih mest v nekmetij-skih in s kmetijstvom povezanih dejavnostih na podeèlju ter s podporami urejanju podeèlskih naselij in njihove kulturne dedi{~ine pospe{iti razvoj pode- èlja, ki vodi v dvig dohodkov in ìvljenjske ravni v podeèlskih skupnostih. • Os 4: Izvajanje pristopa LEADER. Pomembne so tudi aktivnosti drugih politik, kot so aktivna politika zaposlovanja, varovanja okolja (upravljanje z zavarovanimi obmo~ji), vzpostavitve gospodarskih sredi{~, {tipendiranja, turisti~na politika … Nekatere politike so bolje zaobjete v informacijskih sistemih (na primer APZ.net), nekatere politike pa niso vzpostavljene, zato se tudi ne spremlja in vrednoti u~inkov, rezultatov in vplivov (na primer upravljanje z zavarovanimi obmo~ji). 7.1 Priporo~ila za bolj{i sistem spremljanja regionalne politike Za uspe{no delovanje sistema spremljanja potrebujemo ustrezen nabor kazalnikov, jasno razdelitev odgovornosti in ustrezen informacijski sistem. Na podlagi preteklih izku{enj in analize kazalnikov, vklju~enih v regionalne razvojne programe v obdobju 2007–2013, ugotavljamo naslednje pomanjkljivosti spremljanja: • pomanjkanje skladnosti med navedenimi cilji in kvantificiranimi kazalniki kot posledica nerazumevanja razlik med cilji, napovedmi (trendi) in nameni (èljami), • uporaba kazalnikov vplivov, na katere imajo predloène aktivnosti majhen ali zanemarljiv vpliv, • uporaba kazalnikov vplivov, kjer vpliv aktivnosti ni natan~no dolo~en, • odsotnost oziroma groba kvantifikacija ciljev, ker aktivnosti na ravni ukrepov {e niso v celoti dolo~ene, • pomanjkanje nujno potrebnih izhodi{~nih podatkov, • slabe predstavitve in obrazloìtve predlaganih kazalnikov, • nerazumevanje vloge kazalnikov. Pri dolo~anju vrednosti kazalnikov sta potrebna realizem in konzervativizem. Za dosego postavljenih ciljev je potrebna tudi kriti~na masa aktivnosti, zato moramo dolo~iti njihov minimalen obseg. Kvantifikacijo posameznega kazalnika je treba upravi~iti tako z izku{njami iz preteklih projektov kot z rezultati vrednotenj podobnih ukrepov in programov. V Sloveniji zaradi zanemarjanja pomena spremljanja in vrednotenja tudi nimamo ustreznih predpostavk (na primer povpre~na subvencija za ustanovitev podjetja, povpre~na subvencija za brezposelnega, pove~anje prihodkov, 67 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ potrebno za ohranjeno delovno mesto v obstoje~ih malih in srednjih podjetjih). Zavedati se je treba, da je zaradi narave, lokacije, pogojev in ~asa izvedbe vsak projekt specifi~en, zato ne moremo dolo~iti natan~nega razmerje med vlòkom, u~inkom, rezultatom in vplivom. Lahko postavimo zgolj dolo~ena navodila, temelje~a na izku{- njah. Pri tem je priporo~ljivo preverjanje kon~nih vrednosti kazalnikov s podobnimi projekti in ukrepi (na primer stro{ki na delovno mesto, {tevilo novih oziroma ohra-njenih delovnih mest). Upo{tevati je treba tudi ~as trajanja, saj so rezultati vidni {ele ~ez nekaj ~asa (na primer zasedenost poslovne cone). Pri oblikovanju sistema spremljanja se je treba zavedati: • 1. Izbor in uporaba kazalnikov je zahtevna naloga (vzro~no-posledi~na povezanost, metodolo{ki problemi, problem ~asa). • 2. O kazalnikih je treba razmi{ljati è v fazi programiranja. • 3. Teàve pri opredeljevanju kazalnikov so lahko tudi rezultat pomanjkljivosti projekta. • 4. Pri vzpostavitvi delujo~ega sistema spremljanja lahko veliko pripomorejo odgovorna ministrstva. Tako bi bilo smiselno pripraviti enoten nabor klju~nih kazalnikov, ki bi bili pri vzpostavitvi sistema kazalnikov namenjeni za regionalno razvojne programe in tudi druge programske dokumente. Kazalnike bi bilo smiselno razvrstiti po podro~ju (na primer proizvodni sektor, ~love{ki viri, infra-struktura, ostalo) in vrsti (kazalnik vlòka, kazalnik u~inka, kazalnik rezultata, kazalnik vpliva, kazalnik konteksta) uporabe. Predloèn nabor izbranih kazalnikov bi lahko pomagal tudi prijaviteljem pri pripravi projektnih predlogov. • 5. Vzpostaviti je treba ustrezne institucije, metodologije in usposobiti kadre. Tako ne bi smela biti odobrena noben projekt in noben programski dokument, ki nima-ta ustrezno pripravljenega sistema kazalnikov. • 6. Pripraviti je treba ustrezne metodolo{ke priro~nike za postavljanje ustreznih kazalnikov. To vklju~uje tako nabor kazalnikov, njihovo uporabnost za posamezno vrsto aktivnosti in opis metodologije zbiranja ustreznih podatkov kot tudi predvidene referen~ne vrednosti (na primer povpre~na cena komunalne opreme kvadratne-ga metra zemlji{~a, stro{ki enega delovnega mesta). Poleg metodolo{kih priporo~il bo treba usposabljati tudi prijavitelje projektov, pa tudi zaposlene v javni upravi. • 7. Dokon~no bi bilo treba vzpostaviti ustrezen centralni informacijski sistem, ki bi omogo~al enostavnej{e spremljanje in pozneje tudi pripravo ustreznih analiz. Z vidika slovenske regionalne politike predlagamo naslednje: • spremljanje slovenske regionalne politike naj temelji zlasti na realnih programskih kazalnikih, saj statisti~ni kazalniki izraàjo kontekst, ne pa rezultate in vplive regionalne politike, • uporabo metodologij, predpisanih s strani EU za spremljanje in vrednotenje programov kohezijske politike, • povezavo kohezijske politike in »doma~e« regionalne politike; v ISSAR vklju~iti tudi ukrepe, financirane iz doma~ih sredstev. 68 GEORITEM 10 8 Vrednotenje slovenske regionalne politike Regionalna politika je ena izmed politik dràve. Kljub razli~nim definicijam in pogosto razli~nemu razumevanju politike je to javna politika, pri kateri se uporabljajo javna sredstva. Zaradi uporabe javnih sredstev na posamezne faze regionalne politike ne moremo gledati izolirano, ampak jo moramo obravnavati v kontekstu javno-finan~ne politike ter prora~unskih pravil (dràvni prora~un, ob~inski prora~uni). Vsaka dràva si vsaj na~eloma prizadeva, da bi spodbujala u~inkovitost in uspe- {nost pri porabi javnih finan~nih sredstev. ^eprav so pravilnost, u~inkovitost in uspe{nost razvojnih programov è dolgo predmet zanimanja tako strokovne kot lai~- ne javnosti, so {ele v zadnjih letih pridobile pomen, zlasti zaradi potreb po omejevanju javnih izdatkov in opredelitve vloge javnega sektorja v drùbi. Dràve posku{ajo izbolj{ati finan~no upravljanje pri prora~unskih uporabnikih, pove~ati prònost in vpeljati programsko oziroma h konkretnim rezultatom usmerjeno upravljanje. V ta namen so bili izoblikovani mehanizmi spremljanja in vrednotenja. ^e ho~emo vrednotiti regionalno politiko, potrebujemo naslednje: • jasno opredeljene cilje regionalne politike, ki naj bodo ~imbolj kvantificirani (kazalnik, vrednost, ~as), • mòne alternative pri izvajanju regionalne politike in njihove stro{ke, Alternative: dolo~itev in • storiti ni~ kvantifikacija ciljev • brez sprememb v obstoje~i regionalne politike politiki • nova politika Simulacija: • zbiranje podatkov • oblikovanje modela • ocena u~inkov in rezultatov alternativne politike revizija ciljev politike kot Vrednotenje: posledica • vrednotenje alternativ vrednotenja revizija ukrepov politike kot posledica vrednotenja Slika 6: Proces vrednotenja politike (Armstrong in Taylor 2000, 365). 69 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ • ocene potencialnih u~inkov, rezultatov in vplivov regionalne politike na podlagi predloènih alternativ, • izbor najbolj{e opcije na podlagi ocene u~inkov, rezultatov in vplivov regionalne politike. Poudariti je treba, da vrednotenje ni enkratni dogodek, temve~ ga moramo opraviti pred za~etkom izvajanja aktivnosti ( ex-ante), med izvajanjem ( mid-term) in po koncu izvajanja aktivnosti ( ex-post). S tem je vrednotenje sestavni del vsakega programskega oziroma projektnega cikla, kakor tudi del vsake politike. V teoriji ni enotnega mnenja o najbolj{em na~inu vrednotenja regionalne politike. Teàva je v njeni multidisciplinarnosti. Regionalna politika je pogosto politika spodbujanja socialnoekonomskega razvoja na mezo ravni. Postavlja se tudi vpra{anje, v kateri fazi oblikovanja in izvajanja regionalne politike èlimo izpeljati vrednotenje. Razlikujemo dva vidika vrednotenja regionalne politike (slika 7): • makroekonomsko vrednotenje in • mikroekonomsko vrednotenje, to je vrednotenje posameznih instrumentov regionalne politike. Regionalna politika je sestavljena iz razli~nih programov oziroma ukrepov, zato jo je treba jasno opredeliti, kar ni vedno lahko. To velja {e zlasti, ~e èlimo preu~iti politike, ki imajo posredne u~inke. Ker spremljanje in vrednotenje temeljita predvsem na pristopu od spodaj navzgor, to zahteva tudi jasno definiranje ukrepov, uporabljenih sredstev, namenov, uporabljenih instrumentov, prejemnikov (ciljnih skupin). Zato bi bilo priporo~ljivo (potrebno) ponovno uvesti poro~ilo o regionalnem razvoju. makroekonomsko vrednotenje: ocena globalnih u~inkov, rezultatov in vplivov od zgoraj navzdol ekonometri~ni modeli input – output modeli statisti~na analiza multiplikatorji, koeficienti vpra{alniki, {tudije primera od spodaj navzgor mikroekonomsko vrednotenje: ocena specifi~nih u~inkov, rezultatov in vplivov Slika 7: Izbor metod vrednotenja (Armstrong, Wells in Woolford 2002, 35). 70 GEORITEM 10 Na podro~ju vrednotenja slovenske regionalne politike velja zaenkrat dvojni reìm. Evropski del je pokrit z na~rtom vrednotenja, kar pa ne velja za ukrepe, ki se v celoti financirajo iz doma~ih sredstev. Ker je tak{no stanje nesprejemljivo, predlagamo naslednji pristop: 1. Vsako leto naj se pripravi poro~ilo o regionalnem razvoju, ki naj vsebuje vse potrebne informacije o izvedbi posameznih programov (ukrepov). V poro~ilu naj se spremlja tudi doseganje ciljev Strategije regionalnega razvoja Slovenije. Za làje spremljanje bi bilo treba v sistem ISARR vklju~iti tudi ukrepe, financirane iz doma~ih sredstev (na primer 21. ~len ZFO-1, Sofinanciranje projektov osnovne komunalne infrastrukture v romskih naseljih, Programa spodbujanja razvoja v Poso~- ju 2007–2013 (SO^A 2013)). 2. Za vsak program naj se v sorazmerno kratkem ~asu pripravi tudi vrednotenje (lahko tudi za ve~ programov skupaj). To velja tudi za financiranje lokalne infrastrukture po 21. ~lenu ZFO-1. Najpomembnej{e bo vrednotenje 4. razvojne prioritete »RAZVOJ REGIJ«. 3. Oceni naj se tudi vpliv ostalih politik na regionalni razvoj, saj imajo nekatere pomemben vpliv na doseganje ciljev regionalne politike. Pri vrednotenjih ostalih razvojnih prioritet iz operativnih programov naj se izpostavi regionalna kompo-nenta, kar mora biti jasno dolo~eno v razpisni dokumentaciji. 4. Na podlagi vseh pridobljenih gradiv naj se pripravi vrednotenje slovenske regionalne politike, saj je le tako mogo~e vzpostaviti povezavo med doseganjem ciljev regionalne politike in politikami dràve. Opozoriti je treba tudi na potencialne teàve pri uresni~evanju 16. ~lena Uredbe o regionalnih razvojnih programih. Ta dolo~a, da je za spremljanje RRP in vrednotenje njegovih u~inkov odgovoren regionalni razvojni svet, ki vrednotenje izvede v sodelovanju z neodvisno strokovno institucijo. Glede na dejstvo, da se izvaja le del regionalnih razvojnih programov in da se ve~ina projektov sofinancira v okviru razvojne prioritete Razvoj regij, naro~anje takih vrednotenj ni potrebno. Nujno pa je poro~anje (letna poro~ila in kon~no poro~ilo) o izvajanju RRP, kjer bi bilo treba oceniti uspe{nost (stopnja, obseg) uresni~evanja RRP-ja. V Sloveniji mora vrednotenje nasploh in s tem tudi vrednotenje regionalne politike pridobiti veliko pomembnej{o vlogo kot doslej, saj vse tuje izku{nje kaèjo, da se z njim izbolj{a kakovost programskih dokumentov in projektov. Glavni razlogi za uvajanje vrednotenja v RS so: • potreba po ustreznej{em, u~inkovitej{em in uspe{nej{em tro{enju javnih sredstev, • potreba po tesnej{em stiku javne uprave in ostalih interesnih skupin; vrednotenje zahteva vklju~evanje neodvisne stroke, uporabnikov, izvajalcev in ostalih interesnih skupin, kar pomeni vzpodbudo za izbolj{ano izvajanje nalog, • zahteve Evropske komisije. 71 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ Sistemati~no uvajanje vrednotenja pa ni enostavno, saj zahteva: • znatne vire (~love{ke, finan~ne), ~e èlimo, da so vrednotenja koristna, • znanje in izku{nje, • interes in kapacitete tako na strani povpra{evanja po vrednotenjih kot na strani njihove ponudbe, • zelo natan~no na~rtovanje (~asovno, vsebinsko), predvsem pa je treba izvesti vrednotenje pravo~asno, dokler imajo rezultati vrednotenja vpliv na programiranje in/ali izvedbo, • podporo najvi{jih ravni (na primer Vlada, minister), priporo~a pa se tudi zakon-ska podpora vrednotenju, kot je primer na Nizozemskem in v EU-ju, • sistemati~no diseminacijo rezultatov vrednotenj. Razviti je treba kulturo vrednotenja (v tujini zanjo uporabljajo angle{ki izraz evaluation culture) kar pa je dolgotrajen in nikoli dokon~an proces. Nekatere aktivnosti SVLR sicer gredo v pravilno smer, vendar bi bilo po na{em mnenju potrebno: • omogo~iti dolgoro~no usposabljanje enote, ki je odgovorna za spremljanje in vrednotenje operativnih programov (usposabljanja doma in {e zlasti v tujini, gostovanje v tujini, saj delo v taki enoti zahteva me{anico teoreti~nega, prakti~nega in orga-nizacijskega znanja), • izdelati bazo vrednotenj (dosedanjih vrednotenj v RS, primere vrednotenj iz tujine), • pripraviti metodolo{ke priro~nike (opis posameznih metod, opis vrednotenja posameznih aktivnosti, sistem kazalnikov), • zagotoviti naro~ilo in izvedba nekaterih vrednotenj, povezanih z izvedbo operativnih programov in predvsem programov oziroma ukrepov regionalne politike. 8.1 Sistemi vrednotenja programov regionalne politike Ko govorimo o sistemih vrednotenja, imamo v mislih sistem predhodnega vrednotenja, sistem vmesnega ali sprotnega vrednotenja in sistem kon~nega vrednotenja. Predhodno vrednotenje in njegove temeljne zna~ilnosti smo opisali è v predstavitvi delovnega dokumenta Evropske komisije, ki se nana{a na to vrednotenje, zato ga na tem mestu podrobneje ne predstavljamo. Osredoto~amo se na vmesno oziroma sprotno vrednotenje in kon~no vrednotenje, ki se razlikujeta zlasti v poudarkih. Pri opredelitvi vmesnega in kon~nega vrednotenja predlagamo uporabo dveh delovnih dokumentov Evropske komisije: • Working paper No. 8: The Mid Term Evaluation of Structural Fund Interventions za obdobje 2000–2006, • Working Document No. 5: Indicative Guidelines on Evaluation Methods: Evaluation during the Programming Period za obdobje 2007–2013. 72 GEORITEM 10 Uredba Sveta {t. 1083/2006 dolo~a tri vrste vrednotenja, to je predhodno, vmesno in kon~no (podobno kot v obdobju med letoma 2000 in 2006), glede na funkcijo vrednotenja samega pa razlikuje tudi med strate{kim in operativnim vrednotenjem. Strate{ka vrednotenja so namenjena analizi izvajanja posameznega programa ali skupine programov glede na nacionalne in EU prioritete, medtem ko je operativno vrednotenje namenjeno izvajanju posameznega operativnega programa. Obe vrednotenji lahko sestavljata enotno evalvacijsko poro~ilo. Working Document No 5: Indicative Guidelines on Evaluation Methods: Evaluation during the Programming spreminja terminologijo, saj namesto vmesnega vrednotenja uporablja izraz on-going evaluation, ki ga lahko prevedemo kot šsprotno vrednotenje’, ~eprav ga Uredba Sveta {t. 1083/2006 ne pozna. Preskok iz vmesnega na sprotno vrednotenje je pomemben zaradi poudarjanja potrebnosti vrednotenj, ki ne smejo biti zgolj posledica zakonskih zahtev, temve~ posledica potreb uporabnikov. [e vedno pa razlikuje strate{ko in operativno vrednotenje. Odgovorni organ za vzpostavitev sistema spremljanja in vrednotenja operativnih programov je organ upravljanja. V Sloveniji je skladno s sistematizacijo Slùbe Vlade Republike Slovenije za lokalno samoupravo in regionalno politiko za podro~je vrednotenja odgovoren Urad za kohezijsko politiko, konkretneje njegov Sektor za sistem in nadzor. Vmesno (sprotno) vrednotenje: Vloga vmesnih vrednotenj je sledenje izvajanju operativnih programov in zaznavanje sprememb v zunanjem okolju z namenom bolj- {ega razumevanja doseènih u~inkov in rezultatov, kot tudi zagotavljanje napredka pri doseganju dolgoro~nih ciljev, vklju~no s predloìtvijo popravljalnih ukrepov. Da bi lahko imelo sprotno vrednotenje resni~ni vpliv na izvajanje programov, sofinanciranih s strani kohezijske politike, je potrebna tesnej{a povezava tako med spremljanjem in vrednotenjem kot tudi med spremljanjem, vrednotenjem in odlo~itvami ustreznih organov. Skladno z Na~rtom vrednotenja izvajanja operativnih programov evropske kohezijske politike v Sloveniji 2007–2013 se v celotni finan~ni perspektivi vmesno vrednotenje izvede enkrat do dvakrat in se osredoto~a zlasti na doseganje ciljev programa, medtem ko z vidika ostalih parametrov, kot so na primer u~inkovitost izvajanja, podrobnej{a analiza re{evanja nekaterih problemov, analiza zaradi kompleksnosti … ureditev ni dovolj podrobna (Na~rt vrednotenja izvajanja operativnih programov evropske kohezijske politike v Sloveniji 2007–2013: Cilj 1 2008, 13). Operativni programi so v ~asu priprave in izvajanja predmet predhodnega, vmesnih tematskih ter kon~nega vrednotenja. Medtem ko je za kon~no vrednotenje operativnih programov, ki mora biti zaklju~eno do 31. 12. 2015, odgovorna Komisija, so za predhodno ter vmesna operativna in strate{ka vrednotenja odgovorne dràve ~lanice. Zanimivo je, da je Evropska komisija v obdobju med letoma 2000 in 2006 vsaj metodolo{ko ve~ji poudarek kot vmesnemu in kon~nemu vrednotenju namenila pred-hodnemu vrednotenju. Podobno je tudi v obdobju med letoma 2007 in 2013. 73 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ Evropska komisija je za vmesno vrednotenje programov v obdobju med letoma 2000 in 2006, sofinanciranih iz strukturnih skladov, pripravila ustrezno metodologijo, objavljeno v dokumentu Working paper No. 8: The Mid Term Evaluation of Structural Fund Interventions. Po njej ima vmesno vrednotenje naslednje faze: • 1. ugotovitve preteklih vrednotenj, • 2. preveritev veljavnosti za~etne SWOT analize, • 3. preveritev ustreznosti in skladnosti strategije, • 4. uspe{nost in u~inkovitost programa ter pri~akovani socialnoekonomski u~inki, na tej podlagi pa vrednotenje ustreznosti politike in alokacije finan~nih sredstev, • 5. kakovost sistema izvajanja in spremljanja, • 6. pri~akovan socialnoekonomski u~inek ter utemeljitev predloène politike in alokacije finan~nih sredstev, • 7. vrednosti kazalnikov, dolo~enih za alokacijo rezerve na podlagi doseènih rezultatov ( performance reserve), kar je bilo aktualno v obdobju med letoma 2004 in 2006. Splo{ni cilj vmesnega vrednotenja je ovrednotenje doseènih rezultatov razli~- nih aktivnosti znotraj programa in priprava predlogov sprememb programa, da bi ta dosegel prej zastavljene cilje. ^e se splo{ni cilj {e bolj podrobno razdela, potem imamo naslednje cilje: • ocena ustreznosti predloènega programa za re{evanje problemov regije ali sektorja, pri ~emer se na podlagi preveritve analize predhodnega vrednotenja in obstoje~ih razmer oceni ustreznost izbranih prioritet in nato ustreznim organom predlaga potrebne spremembe; • ocena skladnosti in ustreznosti prioritet in ciljev, ocena aktivnosti, opravljenih do vmesnega vrednotenja in stopnja uresni~itve zastavljenih ciljev v lu~i novih razmer, pri ~emer je treba preveriti notranjo in zunanjo skladnost dokumenta, kakor tudi ustreznost strategije za re{evanje problemov, ki jih ima posamezno obmo~- je; izku{nje z izvajanjem dokumenta è omogo~ajo prvo oceno ustreznosti izbrane strategije; • ocena kvantifikacije ciljev, {e zlasti z vidika podpore spremljanju in vrednotenju, pri ~emer je treba oceniti uspe{nost kvantifikacije ciljev: ali so klju~ni kazalniki ustrezni (ali obstoji povezava med aktivnostmi in kazalniki?), ali so cilji {e vedno ustrezni, ali je ustrezna dosegljivost informacij in ali so potrebne kak{ne spremembe; • ocena upo{tevanja horizontalnih prioritet (enakost mònosti, trajnostni razvoj, infor-macijska drùba) pri izvajanju dokumenta, pri ~emer je treba opredeliti, kako so horizontalne prioritete vklju~ene v izvajanje aktivnosti in kako bi bilo mòno njihovo vklju~enost {e okrepiti; • analiza ustreznosti sistemov izvajanja in spremljanja, s katero je è mòno ovrednotiti u~inkovitost in uspe{nost sistemov izvajanja (postopke, merila izbora) in spremljanja (rednost, to~nost in kakovost podatkov, organizacija spremljanja). 74 GEORITEM 10 V Sloveniji sta bili leta 2006 opravljeni dve vmesni vrednotenji, in sicer: • vmesno vrednotenje 3. prednostne naloge Enotnega programskega dokumenta: Prestrukturiranje kmetijstva, gozdarstva in ribi{tva, ki ga je opravil In{titut za ekonomska raziskovanja, • vrednotenje ukrepov Evropskega socialnega sklada za leto 2004 in 2005, ki ga je opravil Center za promocijo znanja, vendar ta ni v celoti sledil priporo~eni metodologiji. Evropska komisija za finan~no perspektivo 2007–2013 ni pripravila posebne metodologija za sprotno vrednotenje, saj Working Document No 5: Indicative Guidelines on Evaluation Methods: Evaluation during the Programming Period opredeljuje predvsem: • odgovornost za izvedbo sprotnih vrednotenj, • na~rtovanje procesa sprotnega vrednotenja, • upravljanje s procesom sprotnih vrednotenj, ne pa tudi metodologije sprotnega vrednotenja. To je vsaj deloma razumljivo, saj vsako vrednotenje odpira nova vpra{anja (raz-lika med strate{kimi in operativnimi vrednotenji), vendar pa nobeno ne bi smelo zaobiti temeljnih meril vrednotenja, to je è omenjenih ustreznosti, u~inkovitosti, uspe{nosti, koristnosti in trajnosti. Glede na izku{nje iz obdobja med letoma 2000 in 2006 predlagamo {est faz vmesnega vrednotenja razvojnih dokumentov regionalne politike: 1. Analiza rezultatov iz predhodnih vrednotenj. 2. Veljavnost analize prednosti in slabosti, predstavljene v predhodnem vrednotenju. Namen analize je potrditi, da so programske prednostne naloge, ugotovljene s SWOT analizo v predhodnem vrednotenju, glede na obstoje~e potrebe {e vedno ustrezne. Preverjena mora biti nadaljnja veljavnost analize in podana morajo biti priporo~ila za njeno morebitno dopolnitev. To poglavje mora biti razmeroma kratko, {e zlasti, ~e ni bilo nikakr{nih sprememb razmer oziroma ni bilo nobene relevantne informacije, ki bi imela pomemben vpliv na predhodno analizo. Klju~- ne vsebine vmesnega vrednotenja v tej fazi so naslednje: • vrednotenje veljavnosti postavljenega prednostnega reda glavnih problemov, ki morajo biti re{eni, kakor tudi nujnosti morebitnih sprememb zaklju~kov analize, ki morajo biti sprejeti, • vrednotenje ustrezne skladnosti med cilji strategije in ugotovljenimi problemi, • identifikacija novih dejavnikov, ki pospe{ujejo ekonomsko in socialno kohezijo, ohranjanje okolja, enake mònosti za mo{ke in ènske ter druge identificirane prioritete. 3. Vrednotenje ustreznosti in skladnosti izbrane razvojne strategije. V okviru vmesnega vrednotenja je mòno na podlagi prve in druge faze oceniti ustreznost in skladnost izbrane strategije. Pomembni sta tako notranja (skladnost dokumenta) 75 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ kot zunanja skladnost (skladnost z doma~imi politikami in politikami EU). V tej fazi sta klju~ni naslednji vsebini vmesnega vrednotenja: • veljavnost logi~nega modela (ustreznosti) in skladnosti strategije, • skladnost ciljev na posamezni ravni. 4. Koli~insko ovrednotenje ciljev, to je u~inkov, rezultatov in vplivov. Vmesno vrednotenje mora ugotoviti uspe{nost kvantifikacije ciljev, tudi v povezavi s cilji programskih dokumentov. Prav tako mora analizirati kazalnike spremljanja ukrepov (prednostnih usmeritev) in prednostne naloge (razvojne prioritete) ter predlagati morebitne popravke, {e zlasti, ~e je kak{en kazalnik mo~no odvisen od zunanjih dejavnikov. Vmesno vrednotenje mora podati tudi informacije o vplivu ciljev ukrepov na horizontalne prioritete, kot so enakost mo{kih in ènsk, trajnostni razvoj in ostale horizontalne prioritete, ~e so le-te dolo~ene. V tej fazi so klju~ne naslednje vsebine vmesnega vrednotenja: • analiza ustreznosti kazalnikov, s katerimi so koli~insko ovrednoteni cilji in glavna neskladja, • presoja ustreznosti kazalnikov za spremljanje enakih mònosti za mo{ke in ènske, trajnostnega razvoja in drugih horizontalnih ciljev, • analiza ustreznosti zbiranja podatkov za spremljanje (zanesljivost, pravo~asnost), • analiza uporabnosti kazalnikov za natan~en in pravo~asen prikaz izvajanja prednostne naloge. 5. Vrednotenje uspe{nosti in u~inkovitosti izvajanja ter na njuni podlagi vrednotenje politike in razdelitve virov. V tej fazi je treba oceniti uspe{nost in u~inkovitost izvedenih aktivnosti. Na podlagi doseènih rezultatov se oceni verjetnost oziroma uresni~itev (v primeru kon~nega vrednotenja) zastavljenih (pri~akovanih) rezultatov. Na podlagi primerjave med doseènimi in na~rtovanimi rezultati se ocenijo uspe{nost posameznih ukrepov in prednostne naloge, medtem ko se u~inkovitost oceni s primerjavo doseènih rezultatov in vloènih sredstev. V tej fazi so klju~ne naslednje vsebine vmesnega vrednotenja: • analiza u~inkov in rezultatov, s katero se oceni napredek pri doseganju ciljev, • ocena primernosti finan~ne teè posameznega ukrepa, pripravljene na podlagi prvih rezultatov in pri~akovanih vplivov, • priprava priporo~il za spremembo strukture in finan~ne teè posameznih ukrepov, • ocena u~inkovitosti posameznih ukrepov, • ocena uspe{nosti zasledovanja horizontalnih ciljev (trajnostni razvoj, enakost spolov) in verjetnost, da bodo zastavljeni cilji na tem podro~ju uresni~eni, Poleg uspe{nosti, u~inkovitosti, koristnosti in trajnosti je priporo~ljivo oceniti tudi stranske u~inke, na primer: • nesmotrnost javnih podpor ( deadweight), ko bi bil projekt izveden tudi brez njih oziroma bi se izvedel pozneje, 76 GEORITEM 10 • doseganje geografskih realokacij ( displacement), ko ukrep (projekt) pripomore k odpiranju novih delovnih mest, kar je pozitivno, vendar hkrati ogrozi obstoje~a delovna mesta v drugih regijah, • u~inek substitucije ( substitution effect), ko prejemnik pridobi sredsteva na ra~un neprejemnikov oziroma neupravi~encev, • finan~ni in vsebinski vzvod aktivnosti ( leverage effect), ko podpora projektu vzpodbudi nove nalòbe. Omeniti je treba, da je identifikacija stranskih u~inkov zelo teàvna in je pogosto odvisna od resni~nosti odgovorov (vpra{alniki, intervjuji) prejemnikov sredstev. 6. Kakovost izvajanja programa ter organiziranost spremljanja in nadzora programa. Vpliv prednostne naloge je odvisen tudi od upravljalnih sposobnosti in delovanja izvajalskih organov (teles), zato mora vmesno vrednotenje pregledati ustreznost in kakovost mehanizmov upravljanja in izvajanja ( management and implementation systems). Vmesno vrednotenje mora preveriti kakovost izvajanja ter spremljanja in vrednotenja ukrepov/prednostnih usmeritev/prioritet/programa s pomo~jo: • preu~itve preglednosti in jasnosti delitve zadolìtev pri upravljanju, spremljanju in vrednotenju, • preu~itve aktivnosti promocije in stopnje seznanjenosti ciljne skupine (zainte-resiranih skupin), • preu~itve nadzornih mehanizmov s pomo~jo revizijskih poro~il ter zabeleè- nih (ugotovljenih) nepravilnosti in kr{itev, • presoje, ali obstajajo transparentni in kompetitivni postopki ter merila za razvr{~anje projektov, tako da so lahko programski cilji glede na razpolòljive finan~ne vire doseèni na najbolj u~inkovit na~in, • analize meril za izbor projektov glede na njihovo kakovost in uporabnost, tako da je mogo~a presoja, v kolik{ni meri odraàjo programske cilje, • analize prispevka partnerjev (sodelovanje socialnih in ekonomskih partnerjev po na~elu partnerstva) h kakovosti spremljanja, vrednotenja in izvajanja programa, • presoje stopnje, do katere je nacionalna zakonodaja, ki podpira izvajanje programa, razvita in skladna s pravnim redom Skupnosti (v primeru EU sofinanciranih programov). Na~eloma so za vrednotenje namenjena sredstva sorazmerna s sredstvi programa, vendar so v primeru pilotnih (demonstracijskih) programov oziroma projektov lahko precej ve~ja. Finan~ni vidik je odvisen od namena in ciljev vrednotenja. Kon~no vrednotenje: Kon~na vrednotenja so v pristojnosti Evropske komisije in jih izvajajo neodvisni zunanji izvajalci. To seveda ne prepre~uje dràvam oziroma regijam, da izvedejo lastna kon~na vrednotenja. Enako velja za programe, ki niso sofinancirani iz evropskih sredstev, ampak izklju~no iz doma~ih, kakr{ni so tudi nekateri 77 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ programi v Sloveniji. Metodologija kon~nega vrednotenja je lahko podobna metodologiji vmesnega vrednotenja, smo pa tudi è v kon~nih vrednotenjih programov, sofinanciranih iz strukturnih skladov v obdobju med letoma 2000 in 2006, pri~a operativnim vrednotenjem. Splo{na cilja kon~nega vrednotenja sta ovrednotenje doseènih rezultatov razli~- nih aktivnosti znotraj programa in ocena vplivov financiranih aktivnosti. Zanimajo nas doseèni cilji, kak{na je uspe{nost doseganja zastavljenih ciljev, kako smo bili pri tem u~inkoviti, kak{ne so koristi za ciljne skupine in kako dolgo se bodo brez finan~ne pomo- ~i aktivnosti {e izvajale. Pomembne so tudi izku{nje z izpeljavo programov (evalvacija sistemov upravljanja in izvajanja). Tudi pri kon~nem vrednotenju predlagamo {est faz: • 1. Analiza rezultatov iz predhodnih vrednotenj. • 2. Veljavnost analize prednosti in slabosti, predstavljene v predhodnem vrednotenju, pri ~emer je pomemben razvoj (socialnoekonomski, okoljski …) v opazovanem obdobju. Namen analize je oceniti, ali je na doseganje zastavljenih ciljev vpli-valo tudi zunanje okolje (na primer visoka gospodarska rast). • 3. Vrednotenje ustreznosti in skladnosti izbrane razvojne strategije, pri ~emer se v okviru kon~nega vrednotenja na podlagi prve in druge faze oceni ustreznost in skladnost izbrane strategije. • 4. Koli~insko ovrednotenje ciljev, u~inkov, rezultatov in vplivov. Kon~no vrednotenje mora presoditi uspe{nost kvantifikacije ciljev, tudi v povezavi s cilji programskih dokumentov. V tej fazi so klju~ne naslednje vsebine kon~nega vrednotenja: – analiza ustreznosti kazalnikov, s katerimi so koli~insko ovrednoteni cilji in glavna neskladja, – presoja ustreznosti kazalnikov za spremljanje enakih mònosti za mo{ke in ènske, trajnostnega razvoja in drugih horizontalnih ciljev, – analiza ustreznosti zbiranja podatkov za spremljanje (zanesljivost, pravo~asnost), – analiza uporabnosti kazalnikov za natan~en in pravo~asen prikaz izvajanja. • 5. Vrednotenje uspe{nosti in u~inkovitosti izvajanja in na podlagi teh vrednotenje politike in razdelitve virov. V tej fazi je treba oceniti uspe{nost in u~inkovitost izvedenih aktivnosti. Na podlagi doseènih rezultatov se oceni uresni~itev zastavljenih (pri~akovanih) rezultatov. Na podlagi primerjave med doseènimi in na~rtovanimi rezultati se oceni uspe{nost posameznih ukrepov in prednostne naloge, medtem ko se u~inkovitost oceni s primerjavo doseènih rezultatov in vloènih sredstev. Ta faza je najpomembnej{i del kon~nega vrednotenja. Poleg uspe{nosti, u~inkovitosti, koristnosti in trajnosti je priporo~ljivo oceniti tudi stranske u~inke. • 6. Kakovost izvajanja programa in organiziranost spremljanja in nadzora programa, saj je vpliv prednostne naloge odvisen tudi od upravljalnih sposobnosti in delovanja izvajalskih organov/teles, zato mora kon~no vrednotenje oceniti ustreznost 78 GEORITEM 10 ter kakovost mehanizmov upravljanja in izvajanja, vklju~no s problemi, povezanimi s spremljanjem, vrednotenjem, finan~no kontrolo, potrjevanjem … 8.2 Dodatna priporo~ila za izvajanje vrednotenja Pri vrednotenju je treba vedno upo{tevati tudi naslednja priporo~ila (Zinöcker 2003): • pomen vrednotenja je treba jemati resno è od vsega za~etka, • vrednotenje mora biti integralni del planiranja, • cilji projektov in programov morajo biti jasno opredeljeni, saj so tudi temelj vseh vrednotenj, • rezultate vrednotenj je treba uporabiti in implementirati, • zavedati se je treba koristnosti rezultatov vrednotenja in obveznosti upo{tevanja priporo~il, • vrednotenje je treba institucionalizirati v zakonski regulativi, • zagotoviti je treba redno vrednotenje in • zagotoviti je treba zadostno financiranje za njegovo izvedbo. Z vidika ravni in ~asa vrednotenja je treba: • dolo~iti obseg vrednotenja, • kombinirati vrednotenje z drugimi ~leni strate{kega planiranja, • zagotoviti u~inkovito na~rtovanje vrednotenja, • vrednotenje izvajati v razli~nih ~asovnih obdobjih (dolo~iti, katere programe in kdaj se jih vrednoti ter katere vrste vrednotenj se izvede), • zagotoviti transparentnost oziroma jasnost kazalnikov in meril è od vsega za~etka, • izdelati sisteme vrednotenja (kdo, kaj, kdaj). Z vidika metod in orodij vrednotenja je treba: • propagirati uporabo razli~nih metod in tudi uvajanje novih ({irok nabor metod), • zbirati relevantne podatke, • dolo~iti na~in zbiranja podatkov in njihov transfer è v fazi snovanja projekta. Z vidika etike vrednotenja je pomembno: • dràti se pravil (primerna izobrazba, nepristranskost in neodvisnost ocenjevalcev; zagotoviti dostojanstvo, spo{tovanje in pravice vseh udeleènih), • promovirati kompetence vrednotenja. 8.3 Standardi vrednotenja V èlji po zagotovitvi kakovosti, primerljivosti, jasnosti in sistemati~nosti vrednotenja je poleg sistemov vrednotenja smiselno oblikovati tudi usklajene standarde, ki so podlaga vseh izvedenih vrednotenj. Standarde vrednotenja so izdelala è {tevilna zdruènja evalvatorjev, pogosto pa se zanje odlo~ajo tudi posamezne organizacije. 79 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ Ker mora vrednotenje prevzeti vidnej{o vlogo v programskih ciklih, {e zlasti pri projektih, financiranih z dràvnim denarjem, priporo~amo, da standarde vrednotenja svojih razvojnih programov oblikujejo tudi slovenska vlada ali posamezni resorji. Standardi vrednotenja so namre~ pomemben pripomo~ek v {tevilnih primerih (preglednica 7). Preglednica 7: Standardi vrednotenja kot pripomo~ki (prirejeno po Zinöckerju 2003). » policy maker-jem« in strate{kim planerjem pri pripravi programov, pri pripravi pogojev razpisa ( terms of reference), pri izbiri evalvatorjev, pri implementiranju rezultatov vrednotenja, v odnosih z javnostmi; managementu pri pripravi sistema spremljanja, pri oceni posameznih projektov; tistim, ki se jih vrednoti pri pripravi projektnih predlogov, pri na~rtovanju projektov, njihove vsebine in ~asovnice; evalvatorjem pri oblikovanju projektov vrednotenj, pri njihovem ume{~anju v odnosu do ostalih institucij (naro~nikov), pri njihovem ume{~anju v odnosu do tistih, ki jih vrednotijo, pri vzpostavljanju informacijskih virov za vrednotenje. Za zagotovitev u~inkovitega sistema vrednotenja je standarde vrednotenja pripravila tudi Evropska komisija. Njihov glavni namen je zagotoviti pravo~asno in ustrezno vrednotenje najvi{je mòne kakovosti in poskrbeti, da so rezultati vrednotenj ustrezno posredovani primernim delènikom, ki naj jih v najve~ji mòni meri uporabijo pri nadaljnjih izbolj{avah razvojnih modelov. V lu~i teh ciljev so bili standardi uvr{~eni v pet kategorij: • viri in organizacija vrednotenja, • na~rtovanje aktivnosti vrednotenja, • oblikovanje vrednotenj, • izvajanje vrednotenj ter • raba in raz{irjanje rezultatov vrednotenj. V praksi so standardi Evropske komisije pripravljeni v obliki smernic. So del Standardov interne kontrole {t. 23 o vrednotenju, kar pomeni, da so zavezujo~i za vse slùbe 80 GEORITEM 10 in direktorate pri Komisiji. Ker pa so ozko usmerjeni na delo Evropske komisije, za uporabo na podro~ju regionalne politike v Sloveniji niso najbolj primerni. Ob pregledu drugih primernih standardov so se kot primernej{i izkazali standardi vrednotenja, ki jih je za vrednotenje svojih razvojnih projektov razvil OECD. Ti se osredoto~ajo na klju~ne stebre, potrebne za vrednotenje procesov in postopkov. Za dràve ~lanice sicer niso zavezujo~i, kljub temu pa so pomembno vodilo za ka-kovostno vrednotenje razvojnih intervencij. Skladno s tem je namen standardov OECD: • zagotavljanje standardov za procese in produkte vrednotenj, • omogo~anje primerjav vrednotenj med dràvami, • zagotavljanje partnerstva in sodelovanja pri skupnih vrednotenjih, • omogo~anje uporabe in prenosa rezultatov vrednotenj v druge dràve ~lanice ter • istosmerna prizadevanja na podro~ju vrednotenj. Poglejmo si natan~neje standarde vrednotenja OECD (DAC Evaluation … 2006). Njihovi glavni vsebinski poudarki so: • 1. Logi~ni okvir, namen in cilji vrednotenja: – Logi~ni okvir vrednotenja pove, za kaj in za koga se pripravlja vrednotenje ter zakaj ob tem ~asu. – Namen vrednotenja je skladen z u~no vlogo in odgovornostjo vrednotenja (tako na primer pripomore k izbolj{avi programov, procesov; preu~i smisel-nost nadaljnjega izvajanja programa). – Cilji vrednotenja opredeljujejo, kaj èli vrednotenje dose~i. • 2. Obseg vrednotenja: – Obseg vrednotenja je jasno dolo~en z opredelitvijo bistvenih vpra{anj, porabljenih denarnih sredstev, ~asovnega obdobja, tipov intervencij, geograf-ske pokritosti, ciljnih skupin … – Logika intervencij in ugotovitve: evalvacijsko poro~ilo zgo{~eno opi{e in oceni logiko intervencij, pri ~emer razlikuje med bistvenimi ugotovitvami na ravni vnosov, u~inkov, rezultatov in vplivov. – Na~ela vrednotenja: vrednotenje mora upo{tevati pet na~el za vrednotenje razvojnih aktivnosti, to je relevantnost, uspe{nost, u~inkovitost, vpliv in traj-nostnost. – Vpra{anja vrednotenja: vsa vpra{anja, ki se jih loti skupina za vrednotenje, morajo biti v poro~ilu jasno navedena, da se na njihovi podlagi lahko oceni primernost vrednotenja. • 3. Kontekst: – Kontekst razvoja in politike: evalvacijsko poro~ilo mora vsebovati opis konteksta politike, relevantnega za izvajanje razvojnih aktivnosti, v njem pa mora biti tudi opis vseh relevantnih dokumentov, ciljev in strategij. 81 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ – Institucionalni kontekst: evalvacijsko poro~ilo mora opisati institucionalno okolje ter vpetost delènikov, ki vplivajo na posamezno intervencijo, kar omogo~i identifikacijo in oceno vplivov institucij in delènikov. – Socialnopoliti~ni kontekst: vrednotenje ovrednoti socialnopoliti~ni kontekst, v katerem poteka intervencija in lahko vpliva na njene rezultate. – Izvedbeni dogovori: poro~ilo opi{e vse organizacijske dogovore, pomembne za izvedbo razvojne aktivnosti, vklju~no z vlogo udeleènih partnerjev. • 4. Metodologija vrednotenja: – Razlaga uporabljenih metod: poro~ilo opi{e in razloì uporabljene metode in postopke ter presodi o njihovi veljavnosti in zanesljivosti. Pojasni vse ovire in njihov vpliv na vrednotenje, vklju~no z vplivi na objektivnost vrednotenja. Opi{e postopke, metode in tehnike zbiranja ter obdelave podatkov. Utemelji izbiro metod ter pojasni njihove omejitve in pomanjkljivosti. – Ocena rezultatov: specificirane so metode za oceno rezultatov. Uporabljeni kazalniki naj bodo SMART ( specific, measurable, attainable, relevant and time bound). – Konzultiranje relevantnih delènikov: relevantni delèniki morajo biti vklju- ~eni v proces vrednotenja, saj pomagajo opredeliti klju~na vpra{anja vrednotenja ter zagotavljajo ustrezne informacije. Poro~ilo mora podati merila za izbor delènikov, ki jih konzultiramo, prav tako morajo biti navedeni razlogi, zakaj niso (~e niso) bili vklju~eni vsi delèniki. – Vzor~enje: poro~ilo opi{e izbor vzor~enja, poda pa tudi morebitne pomisle-ke o reprezentativnosti vzor~enja. – Skupina za vrednotenje: skupina naj bo sestavljena iz strokovnjakov z razli~nih podro~ij, uravnoteèno spolno sestavo ter ustreznega podro~ja in obmo~ja. • 5. Viri informacij: – Transparentnost virov informacij: evalvacijsko poro~ilo zadovoljivo opi{e vire uporabljenih informacij, kar omogo~a oceno njihove ustreznosti. Podani so tudi seznami intervjuiranih oseb, do mere, ko nista v konfliktu njihova zasebnost in zaupnost. – Zanesljivost in natan~nost virov informacij: vrednotenje navzkrìno preverja in kriti~no ocenjuje uporabljene vire informacij ter veljavnost podatkov z uporabo razli~nih metod in virov informacij. • 6. Neodvisnost: – Neodvisnost evalvatorjev v odnosu do delènikov: evalvacijsko poro~ilo poka- è na neodvisnost evalvatorjev od politike, operacij in managementa pristojnih organizacij, izvajalcev ter kon~nih koristnikov. Morebitni konflikti interesov se obravnavajo odprto in odkrito. – Svoboden in odprt evalvacijski proces: evalvacijski tim lahko deluje prosto, brez kakr{nihkoli motenj. Zagotovljena sta sodelovanje pristojnih delèni-82 GEORITEM 10 kov in dostop do vseh relevantnih informacij. Poro~ilo mora omeniti vse ovire, ki bi lahko vplivale na vrednotenje. • 7. Etika vrednotenja: – Profesionalno in eti~no opravljanje vrednotenja: vrednotenje namenja pozornost vpra{anjem spola, verovanja, navad in obi~ajev vseh delènikov, izvedeno pa je z integriteto in odkritostjo. Pravice in dobro udeleèncev so za{~iteni. Zaupnost podatkov, ~e je ta obvezna, mora biti v celoti spo{tovana. – Priznavanje nestrinjanja znotraj tima za vrednotenje: posamezni evalvatorji morajo imeti pravico, da se ogradijo od posameznih sodb in priporo~il. Vsa nere{ena vpra{anja in morebitni razli~ni pogledi morajo biti znotraj poro- ~ila jasno navedeni. • 8. Zagotavljanje kakovosti: – Vklju~evanje mnenj delènikov: delènikom mora biti dana mònost, da komentirajo ugotovitve, zaklju~ke, priporo~ila in pridobljene izku{nje, komentarji pa naj bodo vklju~eni v poro~ilo. – Nadzor kakovosti: zunanji in/ali notranji nadzor mora potekati skozi celoten proces vrednotenja. • 9. Relevantnost rezultatov vrednotenja: – Oblikovanje ugotovitev vrednotenja: ugotovitve vrednotenja so relevantne za vrednotene objekte in za namene vrednotenja. Rezultati naj sledijo vpra{anjem vrednotenja in analizam podatkov, skrbe~ za sledljivo povezavo z dokazi, ki potrjujejo zaklju~ke. Vsa odstopanja od zastavljene implementacije so jasno razloèna. – Izvedba vrednotenja z dodeljenimi sredstvi in dolo~enim ~asom: rezultati morajo biti pripravljeni v dogovorjenem ~asu glede na namen vrednotenja. Nepred-vidljiva odstopanja od ~asovnice so jasno razloèna. Prav tako so pojasnjene razlike med na~rtovano in dejansko implementacijo ter produkti vrednotenja. – Priporo~ila in pridobljene izku{nje: priporo~ila in pridobljene izku{nje so relevantne, usmerjene na dolo~ene uporabnike in znotraj pristojnosti uporabnikov. Priporo~ila so uresni~ljivi predlogi, pridobljene izku{nje pa generalizirani zaklju~- ki, uporabni v {ir{em kontekstu. – Uporaba vrednotenja: vrednotenje zahteva upo{tevanje in odziv s strani managementa v smeri nadgradnje rezultatov vrednotenja. Management mora poskrbeti za ustrezno raz{iritev in hrambo rezultatov ter ustrezno ravnanje z rezultati vrednotenja, da se zagotovi lahka dostopnost in maksimira koristi od ugotovitev, ki jih je vrednotenje prineslo. • 10. Zaklju~enost: – Zaklju~ki, ki odgovorijo na vpra{anja vrednotenja: poro~ilo odgovarja na vsa zastavljena vpra{anja in potrebe po informacijah, dolo~enih z obsegom vrednotenja. Kjer to ni mòno, morajo biti navedeni razlogi. 83 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ – Jasnost analize: analiza mora biti jasno strukturirana. Podatki in informacije so predstavljeni, analizirani in interpretirani sistemati~no. Ugotovitve in sklepi so jasno predstavljeni; sledijo logi~nemu sosledju analiz podatkov in informacij. Temeljne predpostavke so eksplicitno predstavljene in upo{tevane. – Razlikovanje med zaklju~ki, priporo~ili in pridobljenimi izku{njami: poro- ~ilo mora razlikovati med ugotovitvami, zaklju~ki in priporo~ili. Zaklju~ki, priporo~ila in pridobljene izku{nje so lo~eno predstavljeni. Sklepi so pod-krepljeni z ugotovitvami in analizami. Priporo~ila in pridobljene izku{nje izhajajo iz opredeljenih sklepov. – Jasnost in reprezentativnost povzetka: povzetek zagotavlja pregled nad poro~ilom, osvetljuje glavne ugotovitve, zaklju~ke, priporo~ila in pridobljene izku{nje. ^eprav so vsi navedeni standardi zelo sistemati~ni, predlagamo njihovo dopolnitev s standardi razli~nih evalvatorskih zdruènj (na primer medmrèje 2). Ti {e podrobneje osvetljujejo na~ela, ki jih je pri vrednotenju treba presoditi in oceniti. Raz~lenimo jih lahko v {tiri kategorije: – koristnost: vrednotenje mora zagotoviti informacije, ki jih uporabniki potrebujejo; – izvedljivost: vrednotenje mora biti realisti~no, preudarno, taktno in zmerno; – primernost: vrednotenje mora biti izvedeno skladno s pravnimi in eti~nimi merili ter upo{tevati integriteto tako tistih, ki jih vrednotijo kot tistih, na katere se rezultati nana{ajo. – natan~nost: vrednotenje mora poiskati in posredovati tehni~no primerne informacije o pojavih, ki dolo~ajo vrednost in veljavnost vrednotenega programa. Njihove zna~ilnosti lahko opredelimo {e bolj natan~no; poglejmo si jih podrobneje: • 1. Koristnost: – Dolo~itev delènikov: dolo~iti je treba osebe, ki so v evalvacijo vklju~ene ali prizadete, da se lahko upo{teva njihove potrebe. – Verodostojnost in kredibilnost ocenjevalca: oseba, ki izvaja vrednotenje, mora biti za izvajanje vrednotenja verodostojna in kompetentna, da lahko rezultati vrednotenja doseèjo ~im vi{jo stopnjo kredibilnosti, zanesljivosti in sprejemljivosti. – Obseg in izbor informacij: zbere naj se dovolj informacij, da se lahko z njimi primerno odgovori na vpra{anja o programu ter omogo~i odzivnost na potrebe odjemalcev in ostalih delènikov. – Dolo~itev vrednot: zorni kot, postopki in nameni, uporabljeni pri interpretaciji ugotovitev, morajo biti dovolj natan~no opredeljeni, da se omogo~i jasno predstavitev podlag za vrednostne sodbe. – Jasnost poro~ila: evalvacijsko poro~ilo naj jasno opi{e ocenjevani program, vklju~no z njegovo vsebino, nameni, postopki in ugotovitvami, s ~imer se zagotovi bistvene informacije in lahko razumljivost. 84 GEORITEM 10 – Pravo~asnost poro~ila in raz{iritev informacij: pomembne vmesne ugotovitve in poro~ila je treba razposlati uporabnikom, da jih ti lahko nemudoma uporabijo. – Vplivi vrednotenj: vrednotenja naj se na~rtuje in vodi ter se o njih poro~a na na~in, da bodo spodbujala delènike k uporabi rezultatov vrednotenj. • 2. Izvedljivost: – Prakti~ni postopki: postopki vrednotenja naj bodo prakti~ni, da se zagotovi celovitost dobljenih informacij. – Politi~na neodvisnost: vrednotenje naj se na~rtuje in izvede z upo{tevanjem razli~nih mnenj vklju~enih skupin, da se doseè njihovo sodelovanje in zmanj- {a nevarnost po preusmerjanju pozornosti, napa~ni razlagi rezultatov ali njihovi zlorabi. – Stro{kovna u~inkovitost: vrednotenje naj bo u~inkovito in naj proizvaja dra-gocene informacije, da bodo uporabljeni viri upravi~eni. • 3. Primernost: – Servisna naravnanost: vrednotenja morajo biti oblikovana tako, da organi-zacijam pomagajo naslavljati razli~ne udeleènce in u~inkovito odgovarjati na njihove potrebe. – Formalizacija sporazuma: obveznosti udeleènih akterjev v okviru vrednotenja (kaj, kako, kdo, kdaj) morajo biti usklajene in zapisane, da se jih udeleèni akterji pozneje tudi drìjo oziroma jih ponovno medsebojno uskladijo. – Pravice posameznika: vrednotenja naj bodo zasnovana in izvedena tako, da spo{tujejo in {~itijo pravice posameznika ter njegovo dobro. – ^love{ki odnosi: ocenjevalci naj spo{tujejo ~love{ko dostojanstvo in vrednost v povezavi z osebami, vklju~enimi v vrednotenje, tako da udeleènci niso ogro- èni ali izpostavljeni krivicam. – Celovita in pravi~na ocena: vrednotenje naj bo celovito in po{teno tako v pre-iskavi kot pri opredeljevanju prednosti in slabosti vrednotenega programa, da se omogo~i nadgraditev prednosti in zaznanih problemskih obmo~ij. – Razkritje ugotovitev: udeleène stranke v vrednotenju naj zagotovijo dostopnost vseh ugotovitev vrednotenja osebam, na katere se vrednotenje nana{a, ter vsem, ki imajo pravno izkazan interes za pridobitev rezultatov. – Konflikt interesov: konflikta interesov se je treba lotiti odprto in odkrito, da se ne postavi pod vpra{aj vrednosti postopkov in rezultatov vrednotenja. – Finan~na odgovornost: alokacija in poraba sredstev ocenjevalca naj bo pre-gledna in odgovorno uporabljena zgolj za namene vrednotenja. • 4. Natan~nost: – Programska dokumentacija: ocenjevani program naj bo jasno in to~no opisan ter dokumentiran. – Analiza konteksta: kontekst programa naj bo dovolj natan~no preu~en, da se lahko dolo~i njegove vplive. 85 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ – Opis namenov in postopkov: nameni in postopki vrednotenja naj bodo jasno navedeni, da se jih lahko spremlja in oceni. – Opravi~ljivi informacijski viri: viri informacij naj bodo jasno navedeni, da se lahko oceni njihova ustreznost. – Veljavnost informacij: zbiranje informacij naj poteka tako, da se zagotavlja veljavna interpretacija informacij za to~no dolo~eno uporabo. – Zanesljivost informacij: zbiranje informacij naj poteka tako, da se zagotavlja zadostna zanesljivost informacij za to~no dolo~eno uporabo. – Sistemati~nost informacij: zbrane, obdelane in uporabljene informacije naj bodo sistemati~no preverjene, morebitne napake pa odkrite in odpravljene. – Analiza kvalitativnih informacij: kvalitativna informacije naj bodo primerno in sistemati~no preu~ene, da zagotovijo ustrezne odgovore na vpra{anja vrednotenja. – Upravi~eni sklepi: sklepi vrednotenj naj bodo jasno obrazloèni, da jih delè- niki lahko ovrednotijo. – Celovito poro~anje: poro~anje naj bo celovito in naj ne vsebuje subjektivnih odklonov kateregakoli udeleènca, s ~imer se zagotovi po{tene ugotovitve vrednotenja. – Meta-vrednotenje: vsako vrednotenje naj se preveri s pomo~jo vseh obrav-navanih standardov, da se zagotovi njegovo ustrezno vodenje ter lahko delèniki preu~ijo prednosti in slabosti obravnavanega vrednotenja. Vsi ti standardi lahko {e dodatno oplemenitijo sisteme vrednotenja in prispevajo k njihovi kakovosti ter standardizaciji izvedbenih postopkov. S tem se zagotovi doslednost pri izvajanju vrednotenj, do dolo~ene mere pa tudi njihova primerljivost, kar ima izjemen pomen za nadaljnji razvoj politik in programov. 9 Sklep Vsakokratna omejenost finan~nih virov zahteva preudarno ravnanje z razpolò- ljivimi sredstvi ter skrb za u~inkovitost in uspe{nost vseh razvojnih nalòb. Ker je regionalna politika ena pomembnej{ih razvojnih politik z razmeroma visoko stopnjo investicij, je njeno spremljanje in vrednotenje {e posebej pomembno. Zato je treba vzpostaviti u~inkovite sisteme spremljanja in vrednotenja, ki bodo pripomogli k doseganju bolj{ih rezultatov in izboru najprimernej{ih razvojnih instrumentov. Spremljanje in vrednotenje se v Sloveniji prepo~asi uveljavljata, kar kaè na pomanjkanje kulture vrednotenja in politi~ne volje, ki bi oba procesa pospe{ila. ^eprav sta primerno ume{~ena v pravno-normativni okvir, mo~no {epa njuno izvajanje. To gre pripisati neustreznosti razvojnih dokumentov, ki ne vsebujejo potrebnih elementov za spremljanje in vrednotenje, pa tudi pomanjkljivemu znanju izvajalcev projektov 86 GEORITEM 10 in potencialnih evalvatorjev, klju~na odgovornost pa je zagotovo na strani nosilcev regionalne politike, ki so doslej tovrstne aktivnosti praviloma podcenjevali oziroma se zanje sploh niso zmenili. Pri~ujo~a publikacija je poskus osvetlitve omenjene problematike, pri ~emer smo se v celoti oprli na evropske izku{nje. Predstavili smo osnovna izhodi{~a spremljanja in vrednotenja, predloge za vzpostavitev sistemov spremljanja in vrednotenja ter standarde, ki bi jih pri vrednotenju regionalne politike morali upo{tevati. Predlagani sistemi niso popolni ali edini mòni, lahko pa veliko prispevajo k bolj{emu izvajanju regionalne politike ter posledi~no tudi k skladnej{emu regionalnemu razvoju. Predlaganih re{itev tudi ne moremo imeti za dokon~ne, ampak le kot podlago, ki jo je treba neprestano nadgrajevati s spoznanji sistemati~nih vrednotenj ter s tujimi in doma~i-mi znanstvenimi izsledki. Rezultate, ki si jih na podro~ju regionalne politike èlimo, bo namre~ prineslo le zgledno sodelovanje stroke in izvajalcev regionalne politike. 10 Seznam virov in literature Armstrong, H., Taylor, J. 1999: The Economics of Regional Policy. Cheltenham. Armstrong, H., Taylor, J. 2000: Regional Economics and Policy. Oxford. Armstrong, H., Wells, P., Woolford, J. 2002: Evaluation, Governance and the Inclusion of the Third Sector in Regional Policy Partnerships. Paper to be presented to the Regional Studies Association Conference Evaluation and EU Regional Policy, Aix-en-Provence, 31. 5.–1. 6. 2002. Communication for the Commission from the President and Mrs Schreyer, C (2002) 5267/1 of 23 December 2002, Evaluation Standards and Good Practice and the Communication to the Commission from Ms Grybauskaite·in Agreement with the President, SEC (2007) 213 of 21 February 2007, Responding to Strategic Needs: Reinforcing the use of evaluation. DAC Evaluation Quality Standards. 2006, OECD. Medmrèje: www.oecd.org/data-oecd/30/62/36596604.pdf (8. 5. 2008). Devjak, L., Ko{ir, F. 2007: Sistem spremljanja ESS skozi informacijski sistem ISARR. Predstavitev na 1. seji nadzornega odbora za OP Razvoj ~love{kih virov, Ljubljana, 4. 12. 2007. Ljubljana. Diez, M. A. 2001: New Approaches to Evaluating Regional Policy: The Potential of a Theory-Based Approach. Medmrèje: http://www.greenleaf-publishing.com/ gmi/gmi36.htm (19. 2. 2005). Diez, M. A. 2002: Current Approaches Used in the Evaluation of Regional Policies: A Critical Review. EASY-ECO EvAluation of Sustainability EuroCOnference, Vienna, May 23–25, 2002. Medmrèje: http://www.sustainability.at/easy2002/easy_eco1/ pdf/diez.pdf (19. 2. 2005). 87 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ Diez, M. A., Esteban, M. S. 2000: The Evaluation of Regional Innovation and Cluster Policies: Looking for New Approaches. Medmrèje: http://www.europeanevalu-ation.org/docs/22_diez.pdf (19. 2. 2005). Dràvni razvojni program Republike Slovenije za obdobje 2007–2013. Vlada Republike Slovenije. Ljubljana, 2008. Enciklopedija Slovenije. Zvezek 10. Ljubljana, 1996. Enotni programski dokument 2004–2006. Vlada Republike Slovenije. Ljubljana, 2003. Evaluation Design and Management. Evaluating Socio-economic Programmes: Volume 1. Luxembourg, 1999. Glossary of 300 Concepts and Technical Terms. Volume 6. Evaluating Socio-economic Programmes. Luxembourg, 1999. Indicators for Monitoring and Evaluation: An Indicative Methodology. The New Programming Period 2000–2006: Methodological Working Papers. Working Paper 3. Brussels, 1999, 55 str. Indicators for Monitoring and Evaluation: A Practical Guide. The New Programming Period 2007–2013: Methodological Working Papers. Draft Working Paper /10/. Brussels, 2006. Jaszczol / t, K., Potkañski, T., Alwasiak, S. 2003: Internal Project M&E System and Development of Evaluation Capacity – Experience of the World Bank-funded Rural Development Program. »Challenges for Evaluation in an Enlarged Europe«, Budapest, june 26–27, 2003. Medmrèje: http://europa.eu.int (12. 5. 2005). Kotar, M. 2002: Vrednotenje v analizi javnih politik. Analiza politik. Ljubljana. Kustec-Lipicer, S. 2002: Evalvacija ali vrednotenje javnih politik. Analiza politik. Ljubljana. Leonardi, R. 2003: When Evaluations Do Not Function as Learning Exercises: The 1989–1999 Objective 1 Evaluations in Italy. »Challenges for Evaluation in an Enlarged Europe«, Budapest, June 26–27, 2003. Medmrèje: http://europa.eu.int (12. 5. 2005). Lukesch, R. 2003: Assessing the Equilibrium Between Autonomy and Accountabi-lity: The Evaluation of LEADER II. »Challenges for Evaluation in an Enlarged Europe«, Budapest, june 26–27, 2003. Medmrèje: http://europa.eu.int (12. 5. 2005). Maier, G., Tödtling F. 1997: Regional- und Stadtökonomik. Wien. Malan, J. 2003: Evaluating the Impact of the 1994–99 Structural Fund Programmes. »Challenges for Evaluation in an Enlarged Europe«, Budapest, june 26–27, 2003. Medmrèje: http://europa.eu.int (12. 5. 2005). Medmrèje 1: http://www.evalsed.com (15. 9. 2008). Medmrèje 2: http://www.unicef.org/evaluation/files/Evaluation_standards.pdf (25. 9. 2008). Nacionalni strate{ki referen~ni okvir 2007–2013. Slùba Vlade Republike Slovenije za lokalno samoupravo in regionalno politiko. Ljubljana, 2008. 88 GEORITEM 10 Na~rt vrednotenja izvajanja operativnih programov evropske kohezijske politike v Sloveniji 2007–2013: Cilj 1. Slùba Vlade Republike Slovenije za lokalno samoupravo in regionalno politiko. Ljubljana, 2008. Nared, J. 2007: Prostorski vplivi slovenske regionalne politike. Geografija Slovenije 16. Ljubljana. Nared, J., Ravbar, M. 2003: Starting points for the monitoring and evaluation of regional policy in Slovenia = Izhodi{~a za spremljanje in vrednotenje regionalne politike v Sloveniji. Acta geographica Slovenica 43, 1. Ljubljana. Odlok o ustanovitvi in delovnih podro~jih Slùbe Vlade Republike Slovenije za lokalno samoupravo in regionalno politiko. Uradni list RS 7/2005. Ljubljana, 2005. Operativni program krepitve regionalnih razvojnih potencialov za obdobje 2007–2013. Medmrèje: http://www.svlr.gov.si/fileadmin/svlsrp.gov.si/pageuploads/ KOHEZIJA/Programski_dokumenti/OP_Krepitve_regionalnih_razvojnih_po-tencialov_POTRJENO_27_08_07.pdf (12. 5. 2008). Perko, D., Nared, J., Urbanc, M., Praper, S., Guli~, A., Kava{, D. 2008: Presoja instrumentov in mehanizmov regionalne politike. Elaborat. Geografski in{titut Antona Melika ZRC SAZU, Urbanisti~ni in{titut Republike Slovenije, In{titut za ekonomska raziskovanja. Ljubljana. Pravilnik o merilih za ugotavljanje delovne uspe{nosti direktorjev regionalnih razvojnih agencij. Uradni list RS {t. 28/2006. Ljubljana, 2006. Pravilnik o namenih porabe, merilih in pogojih za dodelitev sredstev za sofinanciranje investicij ob~in. Uradni list RS 19/2007. Ljubljana, 2007. Pravilnik o subjektih spodbujanja razvoja na regionalni ravni. Uradni list RS 103/2006. Ljubljana, 2006. Program spodbujanja razvoja v Poso~ju 2007–2013. Poso{ki razvojni center. Koba-rid, 2007. Project Cycle Management Handbook. European Commission. Brussels, 2002. Ridder, M. 2000: Monitoring and Evaluation in Germany. Implementing Structural Funds: Proceedings from the International Conference Bled, Slovenia, June 15–16, 2000. Rotterdam. Selection and Use of Indicators for Monitoring and Evaluation. Evaluating Socio-economic Programmes: Volume 2. Luxembourg, 1999. Sklep o razvrstitvi razvojnih regij po stopnji razvitosti za programsko obdobje 2007–2013. Uradni list RS 23/2006. Ljubljana 2006. Sklep o ustanovitvi, sestavi, organizaciji in nalogah Razvojno poslovnega sveta za Slovence iz sveta. Uradni list RS 84/2006. Ljubljana, 2006. Sklep o ustanovitvi, sestavi, organizaciji in nalogah sveta za strukturno politiko. Uradni list RS 59/2000. Ljubljana, 2000. Smernica 2001/42/ES Evropskega parlamenta in Sveta z dne 27. junija 2001 o presoji vplivov nekaterih na~rtov in programov na okolje. 89 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ Splo{ni pogoji poslovanja Javnega sklada Republike Slovenije za regionalni razvoj in ohranjanje poseljenosti slovenskega podeèlja. Uradni list RS 45/2002. Ljubljana, 2002. Strategija razvoja Slovenije: Razvojne vizije in prioritete. Republika Slovenija. Ljubljana, 2005. Strategija regionalnega razvoja Slovenije. Ministrstvo za gospodarstvo, Agencija RS za regionalni razvoj. Ljubljana, 2001. Technical Solutions for Evaluation within a Partnership Framework. Evaluating Socio-economic Programmes: Volume 4. Luxembourg, 1999. The Ex-Ante Evaluation of the Structural Funds Interventions. The New Programming Period 2000–2006 Methodological Working Papers. Working Paper 2. European Commission, Directorate – General XVI, Regional Policy and Cohesion, Co-ordination and Evaluation of Operations. Brussels, 2000. The Mid Term Evaluation of Structural Fund Interventions. The Programming Period 2000–2006 Methodological Working Papers. Working Paper 8. European Commission, Directorate – General XVI, Regional Policy and Cohesion, Co-ordination and Evaluation of Operations. Brussels, 1999. Toulemonde, J., Bjornkilde, T. 2003: Building Evaluation Capacity: Experience and Lessons in Member States and Acceding Countries. »Challenges for Evaluation in an Enlarged Europe«, Budapest, june 26–27, 2003. Medmrèje: http://europa. eu.int (12. 5. 2005). Transversal Evaluation of Impacts on the Environment, Employment and other Intervention Priorities. Evaluating Socio-economic Programmes: Volume 5. Luxembourg, 1999. Uredba o dodeljevanju regionalnih dràvnih pomo~i. Uradni list RS 72/2006. Ljubljana 2006. Uredba o dokumentih razvojnega na~rtovanja in postopkih za pripravo predloga dràvnega prora~una in prora~unov samoupravnih lokalnih skupnosti. Uradni list RS 44/2007. Ljubljana, 2007. Uredba o podlagah in postopkih za pripravo predloga dràvnega prora~una. Uradni list RS 56/2000. Ljubljana, 2000. Uredba o pogojih in merilih za dodeljevanje spodbud, pomembnih za skladni regionalni razvoj. Uradni list RS 110/2004. Ljubljana, 2004. Uredba o posredovanju podatkov in poro~anju o dodeljenih dràvnih pomo~eh in pomo~eh po pravilu »de minimis«. Uradni list RS 61/2004. Ljubljana, 2004. Uredba o regionalnih razvojnih programih. Uradni list RS 31/2006. Ljubljana, 2006. Uredba SVETA (ES) {t. 1083/2006 z dne 11. julija 2006 o splo{nih dolo~bah o Evropskem skladu za regionalni razvoj, Evropskem socialnem skladu in Kohezijskem skladu in razveljavitvi Uredbe (ES) {t. 1260/1999. Uradni list Evropske unije L 210. 90 GEORITEM 10 Uredba Sveta (ES) {t. 1698/2005 o podpori za razvoj podeèlja iz Evropskega kmetijskega sklada za razvoj podeèlja (EKSRP). Uradni list Evropske unije. Ustanovitveni akt Javnega sklada Republike Slovenije za regionalni razvoj in razvoj podeèlja. Medmrèje: http://www.svlr.gov.si/fileadmin/svlsrp.gov.si/pageuploads/ A-REG-RAZVOJ/zakon-prr/ustanovitveni-akt-JSRR.doc (20. 8. 2008). Valovirta, V., Karinen, R. 2003: Providing Genuine Strategic Knowledge for the Regions. Moving Beyond the Current Limits of Programme Evaluations by a Regional Con-textualisation. »Challenges for Evaluation in an Enlarged Europe«, Budapest, june 26–27, 2003. Medmrèje: http://europa.eu.int (12. 5. 2005). Vanhove, N. 1999: Regional Policy: A European Approach: Third edition. Aldershot. Vodi~ za izvajanje strukturnih skladov v Sloveniji v programskem obdobju 2004–2006. Slùba Vlade Republike Slovenije za lokalno samoupravo in regionalno politiko. Ljubljana, 2006. Working Document No. 1: Indicative Guidelines on Evaluation Methods: Ex-Ante Evaluation. European Commission. Brussels, 2006. Working Document No. 2: Indicative Guidelines on Evaluation Methods: Monitoring and Evaluation Indicators. European Commission. Brussels, 2006. Working Document No. 5: Indicative Guidelines on Evaluation Methods: Evaluation during the Programming Period. European Commission. Brussels, 2006. Working paper No. 8: The Mid Term Evaluation of Structural Fund Interventions. European Commission. Brussels, 2006. Zakon o financiranju ob~in. Uradni list RS 123/2006. Ljubljana, 2006. Zakon o javnih financah. Uradni list RS 79/1999. Ljubljana, 1999. Zakon o odnosih Republike Slovenije s Slovenci zunaj njenih meja. Uradni list RS 43/2006. Ljubljana, 2006. Zakon o popotresni obnovi objektov in spodbujanju razvoja v Poso~ju. Uradni list RS 26/2005. Ljubljana, 2005. Zakon o spodbujanju skladnega regionalnega razvoja. Uradni list RS 60/1999. Ljubljana, 1999. Zakon o spodbujanju skladnega regionalnega razvoja. Uradni list RS 93/2005. Ljubljana, 2005. Zakon o spremljanju dràvnih pomo~i. Uradni list RS 37/2004. Ljubljana, 2004. Zakon o uporabi sredstev pridobljenih iz naslova kupnine na podlagi zakona o lastninskem preoblikovanju podjetij. Uradni list RS 45/1995. Ljubljana, 1995. Zinöcker, K. 2003: Evaluation Standards in Research and Technology Policy. InTe-Reg Research Report 11. Joanneum Research. Wien, Graz. 91 Spremljanje in vrednotenje regionalne politike v Sloveniji Janez Nared, Damjan Kava{ 11 Seznam slik Slika 1: Faze programskega/projektnega cikla (prirejeno po Project Cycle Management Handbook 2002, 3–4). 14 Slika 2: Povezava med programskimi kazalniki in kazalniki konteksta (Selection … 1999, 28). 23 Slika 3: Temeljne stopnje vrednotenja – poglavitni nameni, cilji in merila (Vodi~ … 2006). 30 Slika 4: Zgradba informacijskega sistema ISARR (Devjak in Ko{ir 2007). 66 Slika 5: Podro~ja delovanja sistema ISARR (Devjak in Ko{ir 2007). 66 Slika 6: Proces vrednotenja politike (Armstrong in Taylor 2000, 365). 69 Slika 7: Izbor metod vrednotenja (Armstrong, Wells in Woolford 2002, 35). 70 12 Seznam preglednic Preglednica 1: Zna~ilnosti dràvnega (sektorskega) in regionalnega planiranja (prirejeno po Leonardiju 2003). 17 Preglednica 2: Prednosti in slabosti sistema spremljanja v primerjavi z ostalimi viri informacij (Transversal Evaluation … 1999, 21). 19 Preglednica 3: Na~ini vrednotenja (Nared in Ravbar 2003, 78). 27 Preglednica 4: Regionalna politika in njeno vrednotenje (Diez 2002). 34 Preglednica 5: Kazalniki v fazah programskega cikla (Working Document No. 2 … 2006, 22–23). 47 Preglednica 6: Standardi kakovosti (Working Document No. 5 … 2006, 15). 54 Preglednica 7: Standardi vrednotenja kot pripomo~ki (prirejeno po Zinöckerju 2003). 80 92 GEORITEM 10 Seznam knjig iz zbirke Georitem 1 Ale{ Smrekar: Divja odlagali{~a odpadkov na obmo~ju Ljubljane 2 Drago Kladnik: Pogledi na podoma~evanje tujih zemljepisnih imen 3 Drago Perko: Morfometrija povr{ja Slovenije 4 Ale{ Smrekar, Drago Kladnik: Zasebni vodnjaki in vrtine na obmo~ju Ljubljane 5 David Bole, Franci Petek, Marjan Ravbar, Peter Repolusk, Maja Topole: Spremembe pozidanih zemlji{~ v slovenskih podeèlskih naseljih 6 Marjan Ravbar, David Bole: Geografski vidiki ustvarjalnosti 7 Ale{ Smrekar, Drago Kladnik: Gnoji{~a na Ljubljanskem polju 8 Matija Zorn, Blà Komac: Zemeljski plazovi v Sloveniji 9 Marjan Ravbar: Razvojni dejavniki v Sloveniji – ustvarjalnost in nalòbe 10 Janez Nared, Damjan Kava{: Spremljanje in vrednotenje regionalne politike v Sloveniji 93 94 95 96 Georitem 10 NSL.qxd 26.3.2009 14:26 Page 1 10 JANEZ NARED DAMJAN KAVA[ SPREMLJANJE IN VREDNOTENJE VENIJIO REGIONALNE V SL POLITIKE V SLOVENIJI ALNE POLITIKE TENJE REGION VREDNO http://zalozba.zrc-sazu.si ISBN 978-961-254-117-0 ANJE IN € SPREMLJ 9 2 1 6 9 8 7 0 7 1 1 4 5 18,00 GEORITEM 10 GEORITEM 10