ZNANSTVENI PRISPEVKI
B Uporaba kataloga kazalnikov za vrednotenje politik, programov, projektov in storitev e-uprave
Tina Jukic, Ljupco Todorovski, Anamarija Leben, Mirko Vintar Univerza v Ljubljani, Fakulteta za upravo, Gosarjeva 5, 1000 Ljubljana {tina.jukic, ljupco.todorovski, anamarija.leben, mirko.vintar}@fu.uni-lj.si
Izvleček
V zadnjih dvajsetih letih smo priča hitremu razvoju znanstvenega in strokovnega področja e-uprave, ki obravnava spreminjanje javne uprave pod vplivom vpeljave informacijsko-komunikacijskih tehnologij v njeno delovanje. Na začetku je bila e-uprava osredotočena na razvoj rešitev in iskanje priložnosti za tak razvoj, a se je s časom pozornost preusmerila od razvoja k njegovemu vrednotenju. Tako so nastali števili kazalniki in okviri za vrednotenje, ki obravnavajo javne politike, programe, projekte in storitve e-uprave. Večina informacij o razvitih kazalnikih je objavljena v obsežnem in nepreglednem korpusu znanstvenih in strokovnih člankov. V tem članku predstavljamo katalog kazalnikov za vrednotenje e-uprave, ki poleg opisa kazalnikov ponuja pregleden in preprost dostop do obsežne literature s tega področja. Katalog trenutno zajema informacije o petstotih kazalnikih za vrednotenje različnih vidikov e-uprave. Predstavitvi kataloga je dodan še primer možnosti njegove uporabe za vrednotenje javne politike upravljanja z e-identitetami državljanov Slovenije, ki ilustrira njegovo uporabnost v različnih fazah procesa oblikovanja in izvajanja javnih politik. Ključne besede: e-uprava, javna politika, program, projekt, e-storitev, vrednotenje.
Abstract
The Usage of a Catalogue of Indicators for the Evaluation of e-Government Policies, Programs, Projects and Services
In the last two decades, we have witnessed a rapid development of both research and the application of e-government, a field concerned with the deployment and influence of information and communication technologies on public administration and its operations. In its early stages, the focus of the field of e-government was predominantly on developing solutions and finding opportunities for such developments in public administration. Later, the evaluation of e-government endeavours gained on importance. Subsequently, a large number of indicators and evaluation frameworks focused on e-government public policies, programs, projects and services have been designed. Most of the information on the designed indicators is published in the vast and therefore opaque corpus of research articles on the topic. In this paper, we present a catalogue of indicators for the evaluation of e-government providing concise descriptions of indicators as well as transparent and easy access to the extensive literature on the subject. The catalogue currently includes information on five hundred indicators for the evaluation of various aspects of e-government. The presentation of the catalogue is accompanied by an illustrative example of its use for evaluating different stages of the process of design and implementation of an e-identity management policy in Slovenia. Keywords: e-Government, Public policy, Program, Project, e-Service, Evaluation.
1 UVOD
Elektronska uprava ali e-uprava je interdisciplinarno znanstveno in strokovno področje na preseku računalniških, informacijskih, upravnih in političnih ved. V zgodnjih fazah razvoja, pred dvema desetletjema, so se raziskave s področja e-uprave osredotočale na ugotavljanje priložnosti za razvoj in k dejanskemu razvoju rešitev, katerih podlaga je uporaba informacij-sko-komunikacijskih tehnologij (IKT) v javni upravi. V zadnjem času se je pozornost raziskovalcev preusmerila od razvoja
proti merjenju, vrednotenju in primerjalnemu preizkušanju (angl. benchmarking) razvoja e-uprave. Raziskovalci in prakti-kanti e-uprave so tako vzpostavili številne kazalnike in okvire za primerjalno preizkušanje, ki so uporabni za vrednotenje uspeha procesov implementacije e-uprave. Helbig idr. (2009a) razkrivajo, da približno četrtina člankov s področja e-uprave iz obdobja 2004 do 2008 obravnava problem vrednotenja in primerjalnega preizkušanja njenega razvoja.
2015 - številka 4 - letnik XXIII
uporabna informatika 199
Tina Jukii, Ljupčo Todorovski, Anamarija Leben, Mirko Vintar: Uporaba kataloga kazalnikov za vrednotenje politik, programov, projektov in storitev
e-uprave
Zaradi začetne osredotočenosti na hiter razvoj storitev e-uprave se tudi večina študij vrednotenja in primerjalnega preizkušanja ukvarja s ponudbo e--storitev. Najpogosteje študije vrednotenja obravnavajo vidike dostopnosti in zrelosti storitev (Kunstelj & Vintar, 2004) ter zunanjega poslovanja (angl. front office) e-uprave (Berntzen & Olsen, 2009). Le redke, bolj ambiciozne študije obravnavajo tudi druge pomembne vidike e-uprave, kot so povpraševanje državljanov in podjetij po storitvah, zaledno poslovanje (Millard idr., 2004) ali učinki razvoja e-upra-ve na delovanje javne uprave in javnega sektorja (Nograšek & Vintar, 2014).
V okviru Evropske unije so najbolj poznane meritve, ki jih je za Evropsko komisijo izvedel Capge-mini s sodelavci (npr. 2010, 2011; zadnje poročilo za primerjavo po novi metodologiji je za leto 2014; Capgemini idr., 2015), na globalni ravni pa meritve Združenih narodov (najnovejše poročilo je iz leta 2014; UN, 2014) pa tudi Accenture (2009) in Brown University (West, 2007). Omenjene meritve se večinoma osredotočajo na analizo spletnih strani. Po drugi strani raziskave obravnavajo pripravljenost na e-upravo (angl. e-readiness), npr. The Global Information Technology Report (WEF, 2010), Digital economy rankings (EIU, 2010) in United Nations e-Government Survey (UN, 2014). Kar nekaj modelov kazalnikov je bilo razvitih za predhodno in naknadno vrednotenje politik e-uprave, npr. francoski MAREVA (Carrara, 2007), evropski eGEP (2006), nemški WiBe (www.wibe.de, prvič objavljen 1992, zadnja različica pa 2015) in avstralski AGIMO (2004).
Kljub uvedbi številnih kazalnikov in okvirov za primerjalno preizkušanje študije kažejo, da lahko ozka osredotočenost na vrednotenje ponudbe vidnih storitev e-uprave zavira njen razvoj. To je lahko še posebno težavno v primerih držav, ki nekritično povzamejo mednarodne okvire za primerjalno preizkušanje politik in strategij e-uprave, ne da bi pred tem natančno načrtovali potrebne prilagoditve specifičnim nacionalnim potrebam (Bannister, 2007). V takih primerih obstaja povečano tveganje slabšanja nacionalnih politik e-uprave zaradi slepega sledenja mednarodnim primerjavam in njihovim okvirom za vrednotenje, ki zamenjajo pravilno in jasno načrtovanje na podlagi lokalnih posebnosti.
Rezultat intenzivnega razvoja na področju vrednotenja e-uprave je po eni strani velik nabor objavljene literature s tega področja (izčrpen pregled podaja
npr. študija Helbig idr., 2009b), po drugi strani pa zapleten in zelo nepregleden nabor številnih kazalnikov (glej npr. Stanimirovič idr., 2012). To je pri načrtovanju lokalnih in nacionalnih okvirov za vrednotenje e-uprave lahko velika težava, saj se načrtovalci v poplavi literature in kazalnikov težko znajdejo in izberejo ustrezne kazalnike. Ena od možnih rešitev opisanega problema je vzpostavitev kataloga kazalnikov za vrednotenje omenjenega področja. Zato smo v okviru projekta KRONOS (2014) razvili centralni enotni katalog kazalnikov za vrednotenje politik e-uprave. Katalog pomeni zelo pomemben vir za raziskovalce in praktike s področja e-uprave, katerim ponuja jasen primerjalni vpogled v različne kazalnike. Tako jim ponuja podporo v procesu iskanja kazalnikov, ki bi bili najbolj ustrezni za uporabo v njihovih raziskavah oziroma v njihovih konkretnih lokalnih ali nacionalnih načrtih. Namen tega članka je predstaviti katalog, ki lahko služi raziskovalcem in praktikantom s področja e-uprave tako pri načrtovanju raziskav kot pri načrtovanju nacionalnih politik e-uprave.
Katalog kazalnikov za vrednotenje e-uprave je pomemben raziskovalni in strokovni prispevek tudi in predvsem zaradi dejstva, da do sedaj še ni bilo take iniciative na področju e-uprave, čeprav katalogi kazalnikov za vrednotenje javnih politik z določenega specifičnega področja niso več redkost. Potrebo po njihovem razvoju so najprej zaznali raziskovalci s področij, na katerih potekajo intenzivno planiranje, izvajanje in vrednotenje novih javnih politik. Piorr (2003) poudarja velik pomen katalogov kazalnikov na kakovost javnih politik s področja varstva okolja. Primer takega kataloga je Catalogue of Indicators of Management Effectiveness (Alparc, 2011), ki ponuja pregled in opis kazalnikov za vrednotenje učinkov okoljevarstvenih politik in ukrepov za upravljanje zaščitenih območij na področju Alp.
V naslednjem razdelku bomo najprej podali kratek pregledni uvod v področje vrednotenja e-uprave. Ker se predmeti vrednotenja lahko spreminjajo, v tretjem razdelku podajamo njihov pregled, ki opredeli tudi njihova medsebojna razmerja. Pregledu področja sledi četrti razdelek s predstavitvijo kataloga kazalnikov za vrednotenje, ki se osredinja na predstavitev strukture zapisov o posameznih kazalnikih. V petem razdelku ilustriramo uporabnost predstavljenega kataloga na primeru načrtovanja politike e-identitet v Sloveniji. Članek končamo s kratkim
210 uporabna informatika
2015 - številka 4 - letnik XXIII
Tina Jukii, Ljupčo Todorovski, Anamarija Leben, Mirko Vintar: Uporaba kataloga kazalnikov za vrednotenje politik, programov, projektov in storitev
e-uprave
povzetkom predstavljenih vsebin in smernicami za nadaljnji razvoj kataloga kazalnikov za vrednotenje e-uprave.
2 VREDNOTENJE KOT DEL PROJEKTNEGA CIKLA E-UPRAVE
Za vrednotenje politik, programov, projektov in storitev e-uprave obstajajo številni razlogi, med katerimi so najpomembnejši trije (Heeks, 2006; glej tudi Millard, 2008, str. 21):
■	analiza doseženih ciljev: da snovalci politik vidijo, kako se je odrezala njihova država ali konkretna agencija oz. upravni organ, tudi v primerjavi z drugimi na nekaterih rangirnih lestvicah e-upra-ve in informacijske družbe;
■	določanje prihodnjih ciljev/prioritet: kot pomoč snovalcem politik pri strateškem odločanju o e--upravi - lahko tudi na taktični ravni posameznih projektov;
■	odgovornost do deležnikov in družbe kot celote: omogočiti vladi in upravi, da odgovarjata za vire, vložene v e-upravo. Da bi opravičili investicije v e-upravo, imajo lahko interese za meritve in ocenjevanje vplivov e-upravni uradniki (npr. uradniki na organih, ki pokrivajo področje strateškega načrtovanja razvoja e-uprave).
Ti razlogi so toliko bolj izraziti v času gospodarske in javnofinančne krize, ko načelo dobrega gospodarjenja postaja vodilno pri delu javne uprave, zato je obravnava vrednotenja kot (enakovredne) faze projektnega cikla ali cikla snovanja politik ključnega pomena. Nekatere organizacije zato vrednotenju projektov namenjajo po odstotek do tri in celo več odstotkov projektnih proračunov (Heeks, 2006, str. 88).
V literaturi najdemo številne tipologije vrednotenj, najpogosteje glede na čas, v katerem poteka vrednotenje. S tem v povezavi govorimo predvsem o predhodnem (ex ante) in naknadnem (ex post) vrednotenju. Ex ante oz. predhodno vrednotenje »zagotavlja pretehtano ovrednotenje vseh potencialnih alternativnih rešitev in njihovih učinkov« (Kustec Lipicer, 2002, str. 143). Naknadno vrednotenje, po drugi strani, sledi fazi izvajanja in se nanaša na zbiranje in ovrednotenje dejanskih učinkov (prav tam), na primer ekonomskih in družbenih ali katerih koli drugih izidov (Homburg, 2008, str. 113).
Pri umestitvi predhodnega in naknadnega vrednotenja politik, programov, projektov in storitev e-uprave v projektni cikel se lahko opremo na dobro
uveljavljeni Demingov krog/cikel stalnih izboljšav, ki ga prikazuje slika 1. Demingov krog sestoji iz štirih ponavljajočih se faz: 1) načrtuj, 2) naredi, 3) preveri in 4) ukrepaj. Pri tem predhodno vrednotenje pomeni vložek v prvo fazo - »načrtuj«, naknadno vrednotenje pa v tretjo - »preveri«.
Slika 1: Umestitev predhodnega in naknadnega vrednotenja v Demingov krog stalnih izboljšav (Vir: Dopolnjeno po Arveson, 1998)
3 PREDMETI VREDNOTENJA E-UPRAVE
Tako rekoč vsi projekti in storitve e-uprave so del nekih širših (javnih in pogosto tudi nacionalnih) politik (angl. policies). (Idealen) proces oblikovanja in izvajanja javnih politik sestoji iz petih zaporednih faz (slika 2) (Fink Hafner, 2007, str. 17-18).
1.	Identifikacija družbenega problema, ki zahteva obravnavo v okviru javnih politik in oblikovanje političnega dnevnega reda. To je odločilna faza, brez katere se proces političnega odločanja ne začne; ta faza sestoji iz naslednjih korakov (prav tam, str. 18):
•	oblikovanje široke pozornosti/zavesti o družbenem problemu,
•	uvrstitev problema na javni/sistemski dnevni red,
•	odločanje vladnih igralcev o uvrstitvi problema na dnevni red,
•	(ne)uvrstitev problema oz. snovanja ustrezne politike na formalni/uradni/vladni dnevni red.
2.	Oblikovanje alternativnih javnih politik, ki ponujajo rešitev identificiranega družbenega problema.
3.	Uzakonitev oz. legalizacija izbrane javnopolitične rešitve, običajno skozi sprejem normativnega okvira (enega ali več zakonov in drugih pravnih aktov). V našem kontekstu gre za sprejem različnih strateških dokumentov na področju e-uprave.
2015 - številka 4 - letnik XXIII
uporabna informatika 201
Tina Jukii, Ljupčo Todorovski, Anamarija Leben, Mirko Vintar: Uporaba kataloga kazalnikov za vrednotenje politik, programov, projektov in storitev
e-uprave
V tem koraku pravzaprav izberemo eno od alternativ, oblikovanih v prejšnji fazi. Izbira poteka na podlagi jasno opredeljenih kriterijev vrednotenja (Young in Quinn, 2002, str. 14) in tukaj torej govorimo o predhodnem vrednotenju javnih politik, kar je tudi osrednji predmet naše nadaljnje obravnave.
4.	Izvajanje oz. implementacija javne politike.
5.	Vrednotenje učinkov javne politike, pri čemer gre za naknadno vrednotenje njenega izvajanja.
Če so rezultati zadnje faze, torej vrednotenja, negativni, je na mestu razmislek bodisi o popravkih javne politike bodisi o reševanju problema z novo javno politiko. Prav tako se javna politika lahko opusti, če je dosegla svoje cilje, je bila napačno zastavljena, predraga ipd. (prav tam).
Četrti korak, to je izvajanje javne politike, poteka na več ravneh, ki jih prikazuje slika 3 - gre za različne ravni realizacije oz. izvajanja politik e-uprave. Najvišja strateška raven pomeni, denimo, program vlade v tistem delu, ki pokriva področje e-uprave oz. modernizacijo javnega sektorja s pomočjo informa-cijsko-komunikacijske tehnologije. Na drugo raven
Slika 2: Proces oblikovanja in izvajanja javnih politik (policy process)1 (Vir: Fink Hafner, 2007, str. 19)
1 Črtkano sta označeni fazi, ki spadata v našo obravnavo.
politik e-uprave v Sloveniji lahko umestimo strategijo razvoja elektronskega poslovanja ter izmenjave podatkov iz uradnih evidenc (MJU, 2006). Iz politik so naprej na nižjih ravneh izpeljani programi, denimo programi posameznih sektorjev, kot so razvojni programi za e-zdravje, e-upravo ali e-učenje. Posamezne programe realiziramo na še nižji, četrti ravni skozi izvajanje konkretnih projektov, katerih rezultat so storitve e-uprave oz. e-storitve na obravnavanem področju (sektorju).
Strategije se tako izvajajo na različnih ravneh; kazalniki iz kataloga kazalnikov, predstavljenega v nadaljevanju, podpirajo vrednotenje na kateri koli izmed teh ravni, in sicer določeni kazalniki za določene ravni.
4 KATALOG KAZALNIKOV ZA VREDNOTENJE USPEŠNOSTI E-UPRAVE
Katalog kazalnikov za vrednotenje politik e-uprave je na voljo na spletišču projekta KRONOS (Kronos, 2014). Namen kataloga je, da tako raziskovalcem s področja vrednotenja e-uprave kot načrtovalcem politik e-uprave omogoči pregled različnih kazalnikov s tega področja, pa tudi dostopov do njih in pripadajoče literature. Opis posameznega kazalnika je namreč opremljen tako z navedbo virov kot tudi s podatkom o neposrednem dostopu do kazalnika, kar podrobneje predstavljamo v nadaljevanju tega razdelka. Katalog smo oblikovali na podlagi študije obstoječe literature in projektov, ki obravnavajo razvoj in uporabo modelov kazalnikov za vrednotenje e-uprave. Rezultate študije smo uporabili pri oblikovanju konceptualnega modela kataloga (Stanimirovič idr., 2012), na podlagi katerega smo razvili katalog, pri čemer so člani projektne skupine kot uredniki posameznih področij (glede na vidik vrednotenja) poskrbeli za vnos kazalnikov s svojih področij.
Za katalog namreč skrbijo uredniki, ki pregledujejo in presojajo ustreznost novih kazalnikov in skrbijo za ažurnost obstoječih. V ta namen smo oblikovali takšno uredniško strukturo: uredniki posameznega področja sestavljajo uredniško skupino, ki skrbi za kazalnike tega vsebinskega področja, najvišji organ pa je uredniški odbor, v katerem sodelujejo vodje posameznih uredniških skupin.
Katalog trenutno vključuje predstavitve petsto kazalnikov za ocenjevanje različnih predmetov vrednotenja e-uprave, predstavljenih v prejšnjem razdelku. Na spletišču (http://indicators.fu.uni-lj.
210 uporabna informatika
2015 - številka 4 - letnik XXIII
Tina Jukii, Ljupčo Todorovski, Anamarija Leben, Mirko Vintar: Uporaba kataloga kazalnikov za vrednotenje politik, programov, projektov in storitev
e-uprave
Slika 3: Umestitev različnih predmetov vrednotenja e-uprave v širši kontekst vrednotenja politik e-uprave (Vir: Jukic in Vintar, 2013)
si/sites/kronos/Lists/Katalog%20kazalnikov /Al-lItems.aspx) sta tudi dva foruma: eden je namenjen splošni razpravi o katalogu, drugi pa razpravi o posameznih kazalnikih. Gostje spletišča (neregistrirani uporabniki) imajo dostop do forumov kot tudi do predstavitev vseh kazalnikov v katalogu. Te lahko pregledujejo z uporabo različnih pogledov v katalog: od osnovnega linearnega pregleda prek pregledov po avtorjih kazalnikov po vidiku in ravni vrednotenja do pregleda po statusu kazalnika. Uporabniki, ki želijo prejeti pravice za urejanje obstoječih in dodajanje novih kazalnikov, se morajo registrirati. Kot registrirani uporabniki lahko aktivno sodelujejo tudi v okviru forumskih razprav.
2015 - številka 4 - letnik XXIII
Kazalniki v katalogu so razvrščeni na podlagi integralnega modela kazalnikov (Stanimirovid idr., 2012), v katerem so urejeni v dvodimenzionalni matriki: ena dimenzija prikazuje vidik vrednotenja (organizacijski, infrastrukturni, politološko-sociološki in ekonomski oz. trajnostni), druga pa raven vrednotenja (raven projekta, organizacije, programa, sektorske politike in teritorialne oz. upravne enote). Ti dve ravni sta izhodišče za razvrščanje kazalnikov v katalogu.
Vsak kazalnik, ki je vnesen v katalog, je predstavljen s 24 atributi, ki povzamejo različne lastnosti specifičnega kazalnika. Te lastnosti so predstavljene v tabeli 1.
uporabna informatika 201
Tina Jukii, Ljupčo Todorovski, Anamarija Leben, Mirko Vintar: Uporaba kataloga kazalnikov za vrednotenje politik, programov, projektov in storitev
e-uprave
Tabela 1: Pregled atributov za opisovanje kazalnikov v katalogu kazalnikov za vrednotenje politik e-uprave
Skupina atributov	Atributi
Identifikacija in podrobnejša	ID-številka
opredelitev kazalnika	Ime kazalnika
	Uredniški status
	Definicija
	Zgodovina
	Avtor in/ali naročnik
Merjenje kazalnika	Tip vrednosti
	Tip lestvice merjenja
	Opis lestvice merjenja
	Metodologija
	Viri podatkov
	Zgodovina in pogostost merjenja
	Povezava do meritev
	Geografski obseg
	Predmet merjenja
	Merjena lastnost
	Agregiran iz
	Način agregacije
Razvrstitev kazalnika	Raven vrednotenja
	Vidik vrednotenja
Drugo	Viri
	Jezik vnosa
	Komentarji
	Uredniške zabeležke
Prva skupina atributov, s katerimi so predstavljeni kazalniki, vsebuje šest lastnosti, ki nam pomagajo
pri identifikaciji in opredelitvi kazalnika:
■	Identifikacijska številka, ki se določi samodejno ob vnosu kazalnika in zagotavlja enolično identifikacijo kazalnikov.
■	Ime kazalnika, ki je enolično in ne presplošno. Ime kazalnika »indeks razvitosti demokracije«, denimo, ne bi bilo ustrezno, saj v splošnem merimo različne kazalnike razvitosti demokracije. Tako bi ime »EIU indeks razvitosti demokracije« v takem primeru pomenilo ustreznejšo različico, ki se nanaša na konkretni kazalnik, ki ga definira in meri organizacija Economist Intelligence Unit.
■	Uredniški status pomeni raven, na kateri je bil kazalnik pregledan. Obstaja pet uredniških ravni kazalnika: a) osnutek - kazalnika še ni pregledal urednik; b) pregledan - urednik je pregledal kazalnik; c) pregledan s strani uredniške skupine - uredniška skupina je pregledala kazalnik; č) potrjen - kazalnik je potrdil uredniški odbor; d) umaknjen/preklican - kazalnik je umaknjen iz kataloga.
■	Definicija: podrobna in celovita opredelitev kazalnika, iz katere je razvidno vsaj troje: 1) kaj je
210 uporabna informatika
merjeno s kazalnikom - predmet merjenja (npr. država, organizacija, projekt ali populacija) in merjena lastnost (npr. razmerje ali stroški), 2) kako so merjene vrednosti kazalnika (npr. intervju, neposredno opazovanje/merjenje ali pregled projektne dokumentacije) ter 3) zakaj ta kazalnik merimo oz. vrednotimo (npr. primerjava med državami ali zaradi izračunavanja sestavljenega (agregiranega) kazalnika na višjem nivoju).
■	Zgodovina: kratka zgodovina razvoja kazalnika.
■	Avtor in/ali naročnik: entiteta (oseba, organizacija, projektna skupina), ki je kazalnik vpeljala in/ali naročila prvo znano definicijo kazalnika. Druga skupina vsebuje dvanajst atributov, ki se
nanašajo na načine merjenja kazalnikov:
■	Tip vrednosti: ta je lahko a) kvalitativna, če gre za kazalnike s simbolno vrednostjo ali z numerično lestvico, ki predstavlja kvalitativne ali simbolne vrednosti, ali b) kvantitativna za kazalnike z nu-meričnimi vrednostmi.
■	Tip lestvice merjenja: lahko je a) zvezna ali b) diskretna.
■	Opis lestvice merjenja: enota merjenja in domena kazalnika, npr. »zaprt interval [spodnji, zgornji]«, »5-stopenjska lestvica« z natančno definicijo vsake stopnje, »[a; b; c]« za kazalnike s kvantitativnimi vrednostmi in diskretno lestvico merjenja.
■	Metodologija: metodologija za merjenje vrednosti kazalnika, pri čemer je treba izbrati vsaj eno od teh možnosti: a) neposredno merjenje/opazovanje, b) intervju in/ali anketa, c) ocena ekspertov, č) izračun/agregacija iz drugih kazalnikov, d) neznano (vrednosti, pridobljene iz sekundarnih virov), e) drugo.
■	Viri podatkov: navedba virov podatkov, ki so bili uporabljeni za merjenje vrednosti posameznega kazalnika, pri čemer so na voljo te vrednosti: a) javne nacionalne/mednarodne baze podatkov, b) lastna baza podatkov, c) računovodski zapisi, č) projektna dokumentacija, d) poročila nacionalnih/mednarodnih organizacij, e) publikacije (javno dostopni viri), f) ni na voljo.
■	Zgodovina in pogostost merjenja: leto (in mesec) prvega merjenja/vrednotenja kazalnika in pogostost ponavljajočih se merjenj. Pri tem uporabljamo fraze, kot je »Prvič merjen v« + (mesec) leto; pogostost (npr. »Prvič merjen junija 2012; mesečno«) ali »Samo teoretična verifikacija« (če je bil kazalnik samo predlagan, definiran in morda
2015 - številka 4 - letnik XXIII
Tina Jukii, Ljupčo Todorovski, Anamarija Leben, Mirko Vintar: Uporaba kataloga kazalnikov za vrednotenje politik, programov, projektov in storitev
e-uprave
tudi uporabljen v omejenem kontekstu, ne pa (še) sistematično merjen).
■	Povezava do meritev: hiperpovezava do spletišč -neposredni dostop do vrednosti kazalnika. Pri tem uporabimo eno izmed fraz, kot so: »Brezplačno dostopno na« + hiperpovezava; »Dostopno proti plačilu na« + hiperpovezava; »Ni javno dostopno« (če izmerjene vrednosti niso dostopne na spletu).
■	Geografski obseg: to polje je namenjeno kazalnikom, ki jih merimo na ravni držav/-e. Namenjeno je opredelitvi geografskega obsega - držav/-e, v kateri/-h je bil kazalnik izmerjen, npr. na svetovni ravni, v 70 državah, v 20 azijskih državah, v članicah EU ipd.
■	Predmet merjenja: predmet, ki ga meri kazalnik, npr. država, populacija, gospodinjstvo, organizacija, okolje, storitev in/ali proizvod, IKT infrastruktura.
■	Merjena lastnost: lastnost, ki jo meri kazalnik, npr. odstotek/delež, zrelost, kakovost, število, količina, konkurenčnost, uporaba, stopnja, raven, obseg, pogostost.
■	Agregiran iz: seznam drugih kazalnikov v katalogu, iz katerih je izračunana/agregirana vrednost kazalnika (pri tem je na voljo spustni seznam s kazalniki v katalogu, med katerimi označimo tiste, iz katerih je izračunana vrednost kazalnika).
■	Način agregacije: formula, uporabljena za agregaci-jo vrednosti kazalnikov v vrednost trenutnega kazalnika (npr. vsota, povprečje, uteženo povprečje z opredeljenimi utežmi posameznih kazalnikov). Dva atributa, ki nam omogočata razvrščanje kazalnikov po klasifikacijski shemi Stanimirovida in
soavtorjev (2012), sta:
■	Raven vrednotenja: raven/obseg vrednotenja kazalnika. Najožjo raven pomenijo kazalniki na projektni ravni (npr. stroški projekta ali zrelost e-storitve), najširša raven pa se nanaša na teritorialne upravne enote (npr. državni proračun ali povprečna zrelost občinskih e-storitev).
■	Vidik vrednotenja: na voljo so štirje vidiki, in sicer: a) organizacijski vidik, ki vključuje kazalnike, osredotočene na organizacije, npr. administrativna bremena; b) infrastrukturni vidik, ki vključuje kazalnike, ki vrednotijo organizacijsko ali nacionalno infrastrukturo, npr. normativne ovire ali razširjenost/dostopnost IKT; č) politološko-sociološki vidik vključuje različne indekse razvo-
2015 - številka 4 - letnik XXIII
ja demokracije, transparentnosti ali korupcije; d) ekonomsko-trajnostni vidik pokriva indekse, povezane z BDP, konkurenčnostjo ali gospodarsko blaginjo.
Zadnji štirje atributi pokrivajo druge lastnosti kazalnika, ki so:
■	Viri: pri nekaterih atributih (npr. definicija in zgodovina kazalnika) je priporočljivo, da vnos opremimo tudi s sklici na ustrezne vire, ki jih podrobneje opišemo pri tem atributu.
■	Jezik vnosa: trenutno sta podprti slovenščina in angleščina.
■	Komentarji: javno dostopni komentarji urednikov, ki utegnejo zanimati vse uporabnike kataloga. Tako so vidni vsem uporabnikom, vendar lahko vrednosti tega polja vnašajo/urejajo le uredniki kataloga.
■	Uredniške zabeležke: delovne uredniške zabeležke, ki jih zapišejo bodisi avtorji kazalnikov bodisi uredniki. Te zabeležke niso vidne uporabnikom kataloga, ki nimajo ustreznih pravic.
Kot je razvidno iz navedenega, opis posameznega kazalnika vsebuje tudi vire, iz katerih so bili zbrani podatki o kazalniku, ter neposreden dostop do že opravljenih meritev kazalnika (kjer je to mogoče). To ponuja uporabnikom tudi možnost preučevanja nadaljnjih podrobnosti o kazalniku, ki morebiti niso bili zajeti v njegovem kataloškem opisu.
Tako zasnovan katalog omogoča opis agregi-ranih kazalnikov, pri katerih morajo biti v atributu »agregiran iz« navedeni neposredno podrejeni kazalniki, v atributu »način agregacije« pa podroben opis, kako vrednosti podrejenih kazalnikov sestavljajo vrednost nadrejenega (agregiranega). Agregaci-ja lahko poteka tudi na več ravneh - v tem primeru je podrejeni kazalnik hkrati tudi agregiran. Tak način omogoča, da pri oblikovanju določenega modela kazalnikov (za vrednotenje določene politike, programa, projekta ...) izberemo bodisi agregirani kazalnik z vsemi njegovimi podrejenimi (na različnih ravneh), lahko pa izberemo le določene podrejene kazalnike (tiste, ki so za konkreten primer relevantni) - v tem primeru moramo v konkretnem modelu spremeniti način agregacije. Lahko pa kazalnik, ki je v katalogu sicer opredeljen kot agregiran, v svojem modelu neposredno izmerimo (in torej postane osnovni kazalnik).
Če v katalogu ni na voljo kazalnika, s katerim bi uporabnik lahko naslovil določeni odločitveni (pod)
uporabna informatika 201
Tina Jukii, Ljupčo Todorovski, Anamarija Leben, Mirko Vintar: Uporaba kataloga kazalnikov za vrednotenje politik, programov, projektov in storitev
e-uprave
problem, se lahko odloči za vnos novega kazalnika in tako prispeva k celovitejšim bodočim vrednotenjem (slika 4). Če se odloči za to možnost, mora izpolniti štiri polja: 1) ime kazalnika, 2) definicija kazalnika, 3) raven vrednotenja in 4) vidik vrednotenja (prvi štirje
stolpci na sliki 4). Neobvezna polja pri vnosu pa so npr. zgodovina kazalnika, avtor/naročnik njegovega merjenja, tipi vrednosti kazalnika, lestvica merjenja, metodologija merjenja itd.
V nadaljevanju prispevka bomo prikazali možnost uporabe kazalnikov iz kataloga v procesu snovanja nacionalne politike upravljanja z e-identiteta-mi državljanov v Sloveniji.
5 PRIKAZ UPORABE KATALOGA NA ŠTUDIJI PRIMERA VREDNOTENJA PROJEKTA E-IdENTITET
Študija primera, na katerem prikazujemo možnosti uporabe predstavljenega kataloga, sloni na projektu vrednotenja različnih možnosti e-identitet. Gre za projekt, ki je potekal pod okriljem (takratnega) Ministrstva za pravosodje in javno upravo v letih 2011 in 2012 (MPJU, 2012). Avtorji so sodelovali v fazi vrednotenja alternativnih možnosti upravljanja z e--identitetami državljanov, kar nam je omogočilo tudi popoln vpogled v potrebno projektno dokumentacijo. V prispevku bomo prikazali, kako bi to vrednotenje lahko potekalo ob uporabi predstavljenega kataloga kazalnikov, ki takrat (v fazi izvedbe v letih 2011 in 2012) še ni bil razvit.
Medresorska projektna skupina je na začetku svojega dela izpostavila osem ključnih ciljev oz. kriterijev, ki jim mora slediti e-identiteta, ki bi bila izbrana za implementacijo:
1. enostavnost uporabe v smislu prijaznosti do uporabnikov in enostavne uporabe;
2.	široka uporabnost: izbrana rešitev bo namenjena tako fizičnim kot pravnim osebam oz. organizacijam;
3.	zagotovljena visoka raven varnosti: implementirana rešitev bo varna in deležna zaupanja;
4.	zagotovljeno varstvo osebnih podatkov: implementacija rešitve, ki bo izpolnjevala temeljna načela varstva osebnih podatkov;
5.	enostavnost integracije v aplikacije ponudnikov storitev;
6.	poenoteno upravljanje: rešitev, ki bo omogočala tudi čim višjo stopnjo poenotenja upravljanja in uporabe e-identitet v Sloveniji;
7.	sorazmerno hitra uvedba: izbor rešitve, ki jo bo mogoče vpeljati v sorazmerno kratkem času, tako z vidika njihovih izdajateljev kot z vidika ponudnikov e-storitev;
8.	sprejemljivi stroški: implementacija rešitve, ki bo glede stroškov uvedbe in uporabe e-identitet sprejemljiva za uporabnike, izdajatelje in ponudnike e-storitev.
Upoštevajoč te kriterije je bilo treba razviti tri odločitvene modele, ki bi olajšali izbor ustrezne politike upravljanja e-identitet v Sloveniji (Jukid & Žužek,
2012).
1. Model za ovrednotenje pravnih možnosti e-identitet, ki bo omogočal vrednotenje treh alternativ, in sicer:
210 uporabna informatika	2015 - številka 4 - letnik XXIII
Tina Jukii, Ljupčo Todorovski, Anamarija Leben, Mirko Vintar: Uporaba kataloga kazalnikov za vrednotenje politik, programov, projektov in storitev
e-uprave
•	e-osebne izkaznice,
•	akreditirane e-identitete in
•	kvalificiranega digitalnega potrdila na varnih medijih.
2.	Model za ovrednotenje modelov e-identitet za vrednotenje petih alternativ, in sicer:
•	obstoječega identifikatorja v digitalnem potrdilu,
•	obstoječega identifikatorja v zalednem sistemu overitelja,
•	e-identifikatorja osebe v digitalnem potrdilu,
•	e-identifikatorja osebe v zalednem sistemu overitelja in
•	sektorskega e-identifikatorja osebe.
3.	Model za ovrednotenje šestih možnosti tehnične
izvedbe e-identitet, in sicer:
•	pametne kartice z digitalnim potrdilom,
•	pametne kartice z dvojnim dostopom (stičnim in brezstičnim) z digitalnim potrdilom,
•	pametnega ključka z digitalnim potrdilom,
•	mobilnega telefona z digitalnim potrdilom na SIM-kartici,
•	pametnega medija (kartice, ključka) za dostop do digitalnega potrdila na varnostnem modulu in
•	mobilnega telefona za dostop do digitalnega potrdila na varnostnem modulu.
Vsaka izmed alternativ v okviru posameznega odločitvenega modela bi bila lahko ovrednotena (tudi) s pomočjo kataloga za vrednotenje uspešnosti politik, programov in projektov e-uprave. V nadaljevanju bo po posameznih projektnih fazah prikazana uporabnost predstavljenega kataloga.
V fazi načrtovanja projekta, ko je relevantno njegovo predhodno vrednotenje, je katalog uporaben pri iskanju tistih kazalnikov, s katerimi se izvedejo meritve zgoraj predstavljenih osmih ključnih ciljev/ kriterijev, ki naj jih zasleduje izbrana rešitev e-identi-tete. Pri tem pridejo prav različni načini pregledovanja kazalnikov, ki omogočajo njihovo hitro identifikacijo. Sami smo v katalogu našli kakšnih 150 kazalnikov, primernih za predhodno vrednotenje projekta e-identitet. Večina teh kazalnikov je umeščena v ekonomski in trajnostni vidik (npr. različne kategorije stroškov) ter v infrastrukturni vidik kataloga (npr. zrelost normativnih aktov, povezanih z IKT).
Kazalniki, uporabni za merjenje prvega ključnega cilja/kriterija, ki ga je opredelila medresorska projektna skupina (enostavnost uporabe e-identitete),
2015 - številka 4 - letnik XXIII
se nanašajo na politološko-sociološki vidik kataloga. Primer takega kazalnika je »raven uporabniške prijaznosti« v okviru kategorije »zunanje koristi projekta«. V katalogu je sicer vrednost tega kazalnika ovrednotena z agregiranjem vrednosti štirih podrejenih kazalnikov. Pri tem hitro ugotovimo, da niso vsi podrejeni kazalniki uporabni v kontekstu infrastrukturnega projekta (kot je primer projekta e-identitet), a odloče-valci se lahko odločijo za uporabo le tistih podrejenih kazalnikov, ki so smiselni v kontekstu konkretnega scenarija uporabe. Drugi cilj oz. kriterij (široka uporabnost izbrane e-identitete) je lahko izmerjen s pomočjo kazalnika »obseg in profil uporabnikov« v okviru zunanjih koristi projekta, ki je prav tako umeščen v politološko-sociološki vidik kataloga. Tudi ta kazalnik pomeni agregacijo vrednosti štirih drugih kazalnikov, zato odločevalci tudi v tem primeru izberejo vse ali pa podmnožico podrejenih kazalnikov, lahko pa izvedejo neposredno meritev nadrejenega kazalnika »obseg in profil uporabnikov«.
Tretji cilj (visoka raven varnosti e-identitete) spada v infrastrukturno področje kataloga kazalnikov. Primer relevantnega kazalnika za vrednotenje tega cilja je kazalnik »varnostna tveganja projekta«. Ta je sicer podrejen kazalniku »tehnična in varnostna tveganja projekta« in hkrati pomeni agregacijo treh podrejenih kazalnikov, zato je tudi v tem primeru mogoče meritev izvesti zgolj s kazalnikom »varnostna tveganja projekta« kot prvoravenskim kazalnikom ali pa skupaj s pripadajočimi podrejenimi kazalniki.
Podobno je mogoče izbrati tudi druge relevantne kazalnike (npr. različne kategorije stroškov v okviru ekonomskega in trajnostnega vidika kataloga ipd.).
V razvojni fazi projekta je večino relevantnih kazalnikov za vrednotenje mogoče najti v okviru ekonomskega in trajnostnega vidika kataloga. Ti kazalniki so lahko uporabljeni tudi v prvi fazi projekta (faza načrtovanja, v kateri se izvaja predhodno vrednotenje), kasneje pa uporabljeni za monitoring z namenom razviti rešitev v primarno začrtanih okvirih (npr. finančnih).
Prav tako v fazi razvoja lahko odločevalci izmerijo, na primer, kazalnike »stroški projekta, povezani z razvojnim okoljem«,2 »sistemski stroški projekta«, »stroški namestitve sistema« in druge relevantne kazalnike.
2 Ta kazalnik je sicer podrejen in ga uporabljamo za izračun vrednosti kazalnika »stroški načrtovanja projekta in razvoja«, vendar bi ga v tem primeru uporabili samostojno.
uporabna informatika 201
Tina Jukii, Ljupčo Todorovski, Anamarija Leben, Mirko Vintar: Uporaba kataloga kazalnikov za vrednotenje politik, programov, projektov in storitev
e-uprave
V	fazi uvajanja rešitve lahko merimo stroške vzdrževanja, predmet meritve pa so lahko tudi kazalniki, podvrženi vrednotenju v fazi predhodnega vrednotenja (z namenom meriti spremljanje napredka glede na prvotno opredeljene vrednosti kazalnikov). Prav tako lahko odločevalce v tej fazi zanima, kakšne in kolikšne organizacijske spremembe so nastale zaradi uvedbe nove rešitve. Tako bi v tej fazi lahko, denimo, izmerili operativne stroške, povezane s projektom (ta kazalnik je sicer agregiran iz štirih podrejenih kazalnikov), obseg sprememb v procesih organizacije (s pripadajočimi sedmimi podrejenimi kazalniki) ipd.
V	zadnji fazi, ko se osredotočamo na naknadno (ex post) vrednotenje, je v ospredju običajno merjenje učinkov implementirane rešitve. Zanima nas, deni-
mo, katere koristi za zunanje in notranje uporabnike (elektronskih) storitev javne uprave je realizirala izbrana rešitev e-identitete. Večina kazalnikov, relevantnih v tej fazi, je merjena kot raven oz. stopnja specifičnih koristi, npr. monetarne koristi projekta, koristi za državo in EU, stopnja izboljšanja zaupanja v določeno storitev (oziroma e-identiteto), splošne družbene koristi, politične koristi projekta ipd. V tej fazi lahko ponovno izmerimo tudi kazalnike iz predhodnih treh faz; tako lahko ocenimo natančnost oz. stopnjo ujemanja vrednosti ter rezultate v luči stalnih izboljšav uporabimo za izboljšave v nadaljnjih predhodnih vrednotenjih.
Tabela 2 povzema namen uporabe kataloga in primere uporabnih kazalnikov po posameznih fazah projektnega cikla.
Tabela 2: Primeri kazalnikov, uporabnih v posameznih fazah projekta izbire politike upravljanja e-identitet državljanov v Sloveniji
Faza projekta	Funkcija kataloga	Primeri kazalnikov
Načrtovanje (predhodno vrednotenje)	Uporaba kazalnikov, ki naslavljajo osem zgoraj predstavljenih ciljev, ki naj jih zasleduje izbrana rešitev e-identitete, in drugih relevantnih kazalnikov	-	Raven uporabniške prijaznosti - zunanje koristi projekta -	Obseg in profil uporabnikov -	Varnostna tveganja projekta -	Stroški načrtovanja projekta in razvoja -	Sistemski stroški projekta -	Stroški namestitve sistema -	Stopnja prisotnosti kritičnih dejavnikov uspeha v organizaciji -	Zrelost normativnih aktov, povezanih z IKT -	Stopnja prisotnosti z implementacijo povezanih ovir v organizaciji
Razvoj	Vrednotenje razvojnih stroškov	-	Stroški projekta, povezani z razvojnim okoljem -	Sistemski stroški projekta -	Stroški namestitve sistema
Uvedba	Vrednotenje stroškov vzdrževanja in	- Obseg sprememb v procesih organizacije
stroškov organizacijskih sprememb	- Operativni stroški - projektna raven
Vrednotenje učinkov (naknadno	Vrednotenje učinkov implementiranega - Monetarne koristi projekta
vrednotenje)	mehanizma za e-identiteto	- Koristi projekta za državo in EU
-	Obseg splošnih družbenih koristi, povzročenih s projektom
-	Stopnja izboljšanja zaupanja v storitev, ki je rezultat projekta
-	Politične koristi projekta
Iz predstavljenega primera uporabe kataloga kazalnikov je moč ugotoviti, da je katalog s petstotimi zapisi odlično izhodišče za izbor relevantnih kazalnikov. Obseg zajetih atributov in različnih pregledov vsebine kataloga omogoča njihovo hitro identifikacijo, brez potrebe po pregledovanju zelo obsežne literature s področja vrednotenja e-uprave. Nekatere
kazalnike lahko uporabimo brez pripadajočih podrejenih kazalnikov, v nekaterih primerih pa je podrejeni kazalnik lahko uporabljen tudi kot prvoravenski. Tako je bogatost kataloga v smislu obsega zajetih kazalnikov tudi njegova ključna prednost. Vendar pa sam katalog (še) ni orodje za vrednotenje. Orodje pripravi izvajalec vrednotenj sam,3 saj je treba po
3 Na trgu sicer obstajajo brezplačno dostopne rešitve za podporo (večparameterskemu) vrednotenju/odločanju, npr. DEXi (Jereb idr., 2003) in Web-HIPRE (Mustajoki & Hamalainen, 2000), pa tudi že razvite rešitve za vrednotenje projektov e-uprave - npr. EU VAST (Evropska komisija, 2011) in WiBe (www.wibe.de), vendar tovrstne rešitve niso preprosto prenosljive v druga organizacijska okolja, zato so uporabne predvsem kot izhodišče za lastno metodologijo.
210 uporabna informatika	2015 - številka 4 - letnik XXIII
Tina Jukii, Ljupčo Todorovski, Anamarija Leben, Mirko Vintar: Uporaba kataloga kazalnikov za vrednotenje politik, programov, projektov in storitev
e-uprave
tem, ko izberemo ustrezne kazalnike, tem določiti uteži in merske lestvice. Prav to pa je tudi ključna šibka točka predstavljenega kataloga kazalnikov, ki se odraža v okviru vsake projektne faze (tabela 2), saj nekatere kazalnike merimo na lestvici 1-5 ali 0-1, druge pa merimo na zveznem obsegu. Tako mora uporabnik kataloga izbrane kazalnike pripraviti za njihovo dejansko uporabo (v smislu priprave ustreznih merskih lestvic in morebitnih uteži); prilagoditi jih mora za uporabo v konkretni metodologiji vrednotenja. Izvajalci vrednotenj se bodo soočali tudi z vprašanjem, kako zbrati vrednosti posameznih kazalnikov. V predstavljenem primeru vrednotenja različnih možnosti e-identitet so bile te vrednosti zbrane z intervjuji medresorske delovne skupine, občanov, predstavniki bank in drugih deležnikov, na katere vpliva morebitna sprememba na področju e-identitet; v povezavi s tem se je tudi izkazalo, da je merska lestvica 1-5 najbolj primerna z vidika enostavnosti vrednotenja, saj je stroške, denimo, mnogo lažje oceniti z ocenami »zelo visoki, visoki, srednje visoki, nizki, zelo nizki« kot pa s konkretno, monetarno izraženo oceno. To vpliva tudi na čas, potreben za izvedbo vrednotenja, ki je odvisen tudi od tega, ali bodo vrednosti kazalnikov zbrane iz obstoječih organizacijskih virov in/ali s pomočjo deležnikov.
6 SKLEP
V članku smo predstavili uporabo kataloga kazalnikov za vrednotenje e-uprave, ki vključuje podrobne opise več kot petsto kazalnikov za ocenjevanje javnih politik, programov, projektov in storitev e--uprave. Poleg identifikacije kazalnikov njihovi opisi omogočajo dostop do informacije o metodologiji njihovega merjenja, razvrstitvi glede na raven in vidik vrednotenja ter povezave na virih z nadaljnjimi informacijami. Gre za prvi poskus gradnje sistematičnega kataloga kazalnikov za vrednotenje e-upra-ve, ki naslavlja pereč problem nepreglednosti zajetnega korpusa znanstvenih in strokovnih prispevkov na področju vrednotenja e-uprave.
Skozi študijo konkretnega primera smo ilustrirali možnosti njegove uporabe pri snovanju javne politike za upravljanje z e-identitetami državljanov v Sloveniji. Študija primera prikaže uporabnost kataloga za praktikante in snovalce javnih politik v različnih fazah procesa, tako za predhodno (ex ante) kot za naknadno (ex post) vrednotenje. Ne nazadnje je namen predstavitve kataloga spodbuditi strokovno in
2015 - številka 4 - letnik XXIII
znanstveno javnost v Sloveniji k njegovi uporabi in nadaljnjemu razvoju.
Prioritetna smer nadaljnjega razvoja kataloga je zagotovo iskanje načinov za njegovo promocijo ter ponujanje ustreznih spodbud raziskovalni in strokovni javnosti, da se vključi v razširjanje nabora vključenih kazalnikov in nadgradnjo opisov obstoječih. V tem smislu je gotovo prioritetna naloga nadaljnjega dela iskanje ustreznega institucionalnega okvira, ki bi zagotavljal vzdrževanje in nadaljnji razvoj kataloga. Z vidika praktične uporabe bi lahko katalog opremili s tehničnimi orodji, ki omogočajo preprosto integracijo izbranih kazalnikov v uporabnikova orodja za vrednotenje in odločanje o javnih politikah na področju e-uprave. Taka orodja bi ponudila podporo pri praktičnih problemih, opisanih v članku, npr. problemu prehoda med različnimi merskimi enotami različnih kazalnikov.
7 VIRI IN LITERATURA
[1]	Accenture. (2009). From e-Government to e-Governance: Using new technologies to strengthen relationships with citizens. Dublin: Institute for Health and Public Service Value. Pridobljeno 28. 9. 2015 s http://nst0re.accenture.c0m/eg0vernance/x/ From%20e-Government%20to%20e-Governance.pdf.
[2]	AGIMO - Australian Government Information Office. (2004). Demand and Value Assessment Methodology for better government service. Pridobljeno 28. 9. 2015 s http://
www.finance.gov.au/agimo-archive/__data/assets/pdf_
file/0004/52438/DAM_and__VAM_Manual.pdf.
[3]	ALPARC - The Alpine Network of Protected Areas. (2011). Catalogue of Indicators of Management Effectiveness (CIME_1). First version. Pridobljeno 7. 10. 2015 s http://www.alparc. org/resources/our-publications/dossiers/item/52-catalogue--of-indicators-of-management-effectiveness.
[4]	Arveson, P. (1998). The Deming Cycle. Pridobljeno 21. 12. 2010 s http://www.balancedscorecard.org/TheDemingCycle/ tabid/112/Default.aspx.
[5]	Bannister, F. (2007). The curse of the benchmark: An assessment of the validity and value of e-government comparisons. International Review of Administrative Sciences, 73(2), str. 171-188.
[6]	Berntzen, L. B., & Olsen, M. G. (2009). Benchmarking e-Government - A Comparative Review of Three International Benchmarking Studies. Prispevek predstavljen na International Conference on the Digital Society. Cancun: IEEE.
[7]	Capgemini, IDC, Rand Europe, Sogeti, & DTi. (2010). Digitizing Public Services in Europe: Putting ambition into action. Report of the 9th Measurement. European Commission, Directorate General for the Information Society and Media.
[8]	Capgemini, IDC, Rand Europe, Sogeti, & DTi. (2011). eGovernment Benchmark Pilot on Open Government and Transparency. Measuring the potential of eGovernment to foster Open Government and Transparency in Europe. Directorate General Information Society of the European Commission. Pridobljeno 28. 9. 2015 s https://ec.europa.eu/ digital-agenda/sites/digital-agenda/files/finalreport_open_ government_transparency_pilot.pdf.
uporabna informatika 201
Tina Jukii, Ljupčo Todorovski, Anamarija Leben, Mirko Vintar: Uporaba kataloga kazalnikov za vrednotenje politik, programov, projektov in storitev
e-uprave
[9]	Capgemini, IDC, Sogeti, & Politecnico di Milano. (2015). Future-proofing eGovernment for a Digital Single Market. Final Insight Report: June 2015. European Commission, Directorate-General of Communications Networks, Content and Technology. Pridobljeno 28. 9. 2015 s https://www. capgemini.com/resource-file-access/resource/pdf/egov_ benchmark_2014_insightreport.pdf.
[10]	Carrara, W. (2007). MAREVA - Value creation analysis for government transformation projects. Pridobljeno 28. 9. 2015 s https://joinup.ec.europa.eu/node/133803.
[11]	eGEP - eGovernment Economic Project. (2006). Measurement Framework, Final Version. European Commission, eGovernment Unit, DG Information Society and Media. Pridobljeno 28. 9. 2015 s http://www.umic.pt/images/stories/publicacoes200709/D.2.4_ Measurement_Framework_final_version.pdf.
[12]	EIU - Economist Intelligence Unit. (2010). Digital economy rankings 2010: Beyond e-readiness.Pridobljeno 28. 9. 2015 s http://graphics.eiu.com/upload/EIU_Digital_economy_ran-kings_2010_FINAL_WEB.pdf.
[13]	Evropska komisija (2011). Value Assessment Tool Guidelines. Pridobljeno 7. 10. 2011 s http://ec.europa.eu/dgs/informatics/ doc/vast_guidelines_v3_11.pdf.
[14]	Fink Hafner, D. (2007). Znanost »o« javnih politikah in »za« javne politike. V: D. Fink Hafner (ur.), Uvod v analizo politik: Teorije, koncepti, načela (str. 9-32). Ljubljana: Fakulteta za družbene vede.
[15]	Heeks, R. (2006). Implementing and Managing eGovernment: An International Text. London: SAGE Publications Ltd.
[16]	Helbig, N., Gil-Garcia, J. R., & Ferro, E. (2009a). Understanding the complexity of electronic government: Implications from the digital divide literature. Government Information Quarterly, 26(1), 89-97.
[17]	Helbig, N., Dawes, S. S., Mulki, F. H., Hrdinovà, J. L., Cook, M. E., & Edwards,T. (2009b). International Digital Government Research: A Reconnaissance Study (1994-2008). Albany: Center for Technology in Government University at Albany. Pridobljeno 28. 9. 2015 s https://www.ctg.albany.edu/publi-cations/reports/recon_study/recon_study.pdf.
[18]	Homburg, V. (2008). Understanding E-government: Information Systems In Public Administration. Abingdon: Routledge.
[19]	Jereb, E., Bohanec, M., & Rajkovič, V. (2003). DEXi -Računalniški program za večparametrsko odločanje. Kranj: Moderna organizacija.
[20]	Jukic, T., & Žužek, A. (2012). Razvoj večparametrskih modelov za podporo odločanju : primer evalvacije različnih možnosti elektronskih identitet. V: P. Pevcin in S. Setnikar Cankar (ur.), Razumen in razumljen javni sektor v Sloveniji (str. 183-200). Ljubljana: Fakulteta za upravo.
[21]	Jukic, T.,& Vintar, M. (2013). Ex-ante evaluation : towards an assessment model of its impact on the success of e-gover-nment projects. Information polity, 18(4), str. 343-361.
[22]	Kronos. (2014). Razvoj integralnega modela kazalnikov za spremljanje in vrednotenje uspešnosti politik e-uprave. Pridobljeno 12. 10. 2014 s http://www.kronos.si/.
[23]	Kunstelj, M.,& Vintar, M. (2004). Evaluating the progress of e-government development: A critical analysis.Information Polity, 9(3-4), str. 131-148.
210 uporabna informatika
[24]	Kustec Lipicer, S. (2002). Evalvacija ali vrednotenje javnih politik. V: Fink Hafner in Lajh (ur.), Analiza politik (str. 141-156), knjižna zbirka Politični procesi in institucije, knjižna zbirka Profesija. Ljubljana: Fakulteta za družbene vede.
[25]	Millard, J. (2008). eGovernment measurement for policy makers. European Journal of ePractice: Efficiency and effectiveness, 4(4), str. 19-32.
[26]	Millard, J., Iversen J. S., Kubicek, H., Westholm, H., &Cimander, R. (2004). Reorganisation of government backoffices for better electronic public services: European good practices (back-office reorganisation). Danish Technological Institute and University of Bremen.
[27]	MJU - Ministrstvo za javno upravo. (2006). Strategija e-upra-ve RS za obdobje od leta 2006 do leta 2010 - SEP-2010. Ljubljana: Ministrstvo za javno upravo.
[28]	MPJU - Ministrstvo za pravosodje in javno upravo. (2012). Analiza možnosti za uvedbo varnejših in uporabniku prijaznejših e-identitet. Ljubljana: Ministrstvo za pravosodje in javno upravo.
[29]	Mustajoki, J., & Hamalainen, R. P. (2000). Web-HIPRE: Global decision support by value tree and AHP analysis. INFOR, 38(3), str. 208-220.
[30]	Nograšek, J., & Vintar, M. (2014). E-government and organisational transformation of government: black box revisited?Government information quarterly, 31(1), str. 108-118.
[31]	Piorr, H. P. (2003). Environmental policy, agri-environmental indicators and landscape indicators. Agriculture, Ecosystems and Environment, 98(1-3), str. 17-33.
[32]	Stanimirovič, D., Leben, A., Jukič, T., & Vintar, M. (2012). Conceptualization of an integrated indicator model for evaluation of e-government policies. 2012 EGPA letna konferenca, Bergen, (Norveška), 5.-8. september, 2012. Pridobljeno 4. 12. 2014 s http://egpa-conference2012.org/ list-of-papers/psg-i-e-government-ict-in-pa-2/.
[33]	UN. (2014). United Nations E-Government Survey, E-government forthe Future We Want. New York: The United Nations Department of Economic and Social Affairs. Pridobljeno 28. 9. 2015 s http://unpan3.un.org/egovkb/ Portals/egovkb/Documents/un/2014-Survey/E-Gov_ Complete_Survey-2014.pdf.
[34]	WEF - World Economic Forum. (2010). Soumitra Dutta & Irene Mia (ur.), The Global Information Technology Report 2009-2010, ICT for Sustainability. Pridobljeno 28. 9. 2015 s http://www3.weforum.org/docs/WEF_GITR_Report_2010. pdf.
[35]	West, D. M. (2007). Global E-Government, 2007. Brown University, Center for Public Policy. Pridobljeno 28. 9. 2015 s http://www.brown.edu/academics/taubman-center/sites/ brown.edu.academics.taubman-center/files/uploads/egovt-07int.pdf.
[36]	Young, E., & Quinn, L. (2002). A guide for writing effective policy papers: A Guide for Policy Advisers in Central and Eastern Europe. Budimpešta: Local Government and Public Reform Initiative, Open Society Institute Budapest.
[37]	WiBe (b. d.). Pridobljeno s http://www. wibe.de.
2015 - številka 4 - letnik XXIII
Tina Jukii, Ljupčo Todorovski, Anamarija Leben, Mirko Vintar: Uporaba kataloga kazalnikov za vrednotenje politik, programov, projektov in storitev
e-uprave
■
Tina Jukic je docentka za področje informatike v javni upravi na Fakulteti za upravo Univerze v Ljubljani. Doktorirala je na področju upravnih znanosti. Raziskovalno je aktivna na področju e-uprave, pri čemer v zadnjih letih pozornost posveča predvsem metodologijam za vrednotenje politik, programov in projektov e-uprave. Sodeluje pri domačih in mednarodnih raziskovalnih in svetovalnih projektih in je (so)avtorica številnih znanstvenih in strokovnih publikacij.
■
Ljupčo Todorovski je profesor za področje informatike v javnem sektorju na Fakulteti za upravo Univerze v Ljubljani, kjer je nosilec predmetov s področja informatike, odločitvenih sistemov in e-uprave. Leta 2003 je doktoriral s področja umetne inteligence na Fakulteti za računalništvo in informatiko Univerze v Ljubljani. Njegove raziskave spadajo na ožje področje strojnega učenja: ukvarja se z razvojem algoritmov za avtomatsko gradnjo modelov dinamičnih sistemov iz opazovanj njihovega obnašanja in formaliziranega predznanja o modeliranju dinamike na konkretnem področju uporabe. V sodelovanju z raziskovalci z različnih znanstvenih področij uporablja metode računalništva, informatike, strojnega učenja in podatkovnega rudarjenja za reševanje praktičnih problemov iz ekologije, biomedicine, upravnih znanosti in e-uprave. Bil je gostujoči profesor in raziskovalec Univerze Stanford v ZDA ter številnih univerz in raziskovalnih institutov v Evropi in na Japonskem.
■
Anamarija Leben je diplomirala na Fakulteti za organizacijske vede Univerze v Mariboru s področja oblikovanja podatkovnih modelov. Svojo poklicno pot je začela kot programerka in kasneje nadaljevala kot sistemski analitik na področju oblikovanja in izgradnje celovitih informacijskih rešitev. Trenutno je zaposlena kot predavateljica za področje informatike v javni upravi. Raziskovalni področji, na kateri se osredotoča, sta e-uprava in obvladovanje poslovnih procesov.
■
Mirko Vintar je redni profesor za področje informatike v javni upravi in e-upravo na Fakulteti za upravo Univerze v Ljubljani, kjer se že več kot dvajset let ukvarja z informatizacijo uprave - v zadnjih letih predvsem z razvojem e-uprave. Bil je vodja in/ali koordinator številnih nacionalnih in evropskih raziskovalnih in razvojno--aplikativnih projektov s tega področja. Je član več mednarodnih znanstvenih in strokovnih teles, ki se ukvarjajo z raziskovanjem obravnavanega področja (EGPA - Study group on Informatization of Public Administration, IFIP; WG 8.5, NISPAcee WG on E-government). V letih 1993 do 2002 je bil glavni in odgovorni urednik revije Uporabna informatika. Je član več uredniških odborov mednarodnih revij, član upravnega odbora NISPAcee in predsedujoči upravnega odbora EAPAA.
2015 - številka 4 - letnik XXIII
uporabna informatika 201