ZNANSTVENI PRISPEVKI
B Vpliv predhodnega vrednotenja projektov e-uprave na njihovo uspešnost
Tina Jukic, Jože Bencina
Univerza v Ljubljani, Fakulteta za upravo, Gosarjeva 5, 1000 Ljubljana tina.jukic@fu.uni-lj.si; joze.bencina@fu.uni-lj.si
Izvleček
Prispevek obravnava predhodno vrednotenje projektov e-uprave. V zadnjih petnajstih letih so bile razvite številne metodologije, ki podpirajo tovrstno vrednotenje, vendar je še vedno zelo malo znanega o vplivu teh vrednotenj na stopnjo uspešnosti projektov e-uprave. Raziskava, predstavljena v prispevku, je bila opravljena v slovenski javni upravi, njeni rezultati pa pomenijo začetek zapolnjevanja vrzeli med teoretičnimi dognanji in empiričnimi preizkusi le-teh. Z uporabo metode delnih najmanjših kvadratov je bil razvit in preizkušen model kazalnikov, s pomočjo katerega je ugotovljeno, da predhodno vrednotenje projektov e-uprave vpliva na uspešnost teh projektov - 28 odstotkov variance v uspešnosti projektov e-uprave je mogoče pojasniti z njihovim predhodnim vrednotenjem.
Ključne besede: e-uprava, projekti e-uprave, predhodno vrednotenje, uspešnost, metoda delnih najmanjših kvadratov.
Abstract
The Impact of Ex-Ante Evaluation of e-Government Projects on Their Success
The paper focuses on the ex-ante evaluation of e-government projects. In the last 15 years, a number of methodologies supporting such evaluations have been developed, but very little is known about the impact of these evaluations on the success rate of e-government projects. The study presented in this paper was carried out in Slovenian public administration. The results of this study represent the beginning of bridging the gap between theoretical knowledge and its empirical implementation. Using the method of partial least squares, a model of indicators was developed and tested. On the basis of this model, it has been established that ex-ante evaluation of e-government projects influences the success of these projects - 28 % of the variance in the success of e-government projects can be explained by their ex-ante evaluation. Key words: e-Government, e-Government projects, Ex-ante evaluation, Success, Partial least squares method
1 UVOD
Kljub visokim sredstvom, ki se vlagajo v razvoj e-uprave (Ca-	nolly, 2012; Heeks & Bhatnagar, 1999; Kearns, 2004;
stelnovo & Simonetta, 2007; eGEP, 2006a; Heeks, 2012),	UN-DESA, 2003) - podobno kot projekti razvoja
odločitve o tem, kako naj bi jih porabili ali kateri projekti naj	in implementacije informacijskih sistemov v za-
imajo prednost pri implementaciji, niso (vedno) dovolj argu-	sebnem sektorju (Heeks & Bhatnagar, 1999; Irani
mentirane. Tako so številni projekti e-uprave posledica lobi-	& Love, 2008). Pred skoraj desetimi leti je ocena
ranja (Kertesz, 2003; Yildiz, 2007) ali posnemanja drugih	svetovalne družbe Gartner pokazala, da je 60 od-
organizacij (Yildiz, 2007), v nekaterih primerih pa so s tem	stotkov vseh projektov e-uprave bodisi neuspešnih
povezane odločitve preprosto sprejete ad hoc (Datar, 2010),	bodisi ne dosega pričakovanih učinkov (Peterson,
čeprav literatura razkriva, da je ustrezno načrtovanje eden	2002). Vendar večina statistik, povezanih s stopnjo
izmed ključnih dejavnikov uspeha (tudi) pri implementaciji	uspešnosti projektov e-uprave (in informacijskih
projektov e-uprave (Rana idr., 2013).	sistemov na splošno), uspešnost projektov meri s
Tako ne preseneča, da so projekti e-uprave po-	tehničnega vidika - z vidika uspešnosti projektne-
gosto označeni kot neuspešni (Bannister & Con-	ga menedžmenta. To pomeni, da se te meritve osre-
dinjajo predvsem na tehnične specifikacije, ki jih je dosegel/realiziral projekt, ter na finančni in časovni okvir, v katerem je bil projekt realiziran. Bolj celovit pogled na uspešnost vsebuje tako elemente uspešnosti projektnega menedžmenta kot tudi elemente uspešnosti izdelka ali storitve, ki je rezultat projekta (Van Der Westhuizen & Fitzgerald, 2005). V prispevku je poudarek na uspešnosti storitev, in sicer v smislu stopnje uporabe in zadovoljstva z e--upravo, zmanjšanja administrativnih ovir ipd. Vendar tudi s tega, širšega vidika ne moremo reči, da so projekti e-uprave v večini primerov uspešni. Namreč, rezultati raziskave, ki jo po naročilu Evropske komisije na letni ravni izvaja svetovalna hiša Capge-mini, kažejo, da je med uporabniki e-uprave v EU le 33 odstotkov takšnih, ki so lojalni;1 poleg tega pa v povprečju manj kot 50 odstotkov uporabnikov, ki se znajdejo v neki življenjski okoliščini, to rešuje po elektronski poti - predvsem zato, 1) ker imajo raje osebni stik, 2) ker pričakujejo, da bodo pri reševanju zadeve v vsakem primeru morali organizacijo javne uprave obiskati osebno oz. uporabiti papirno poslovanje, 3) ker se jim zdijo drugi načini/kanali lažji za uporabo in 4) ker si ne obetajo časovnega prihranka pri uporabi interneta v te namene (Capgemini, 2013). Kaže torej, da uporaba in zadovoljstvo s storitvami e-uprave nista izpolnila prvotnih pričakovanj.
Posledično se je zanimanje za vrednotenje projektov e-uprave z namenom postavljanja prioritet in merjenja potencialnih oz. pričakovanih učinkov v zadnjem desetletju izrazito povečalo. Pri tem se je izkazalo, da tradicionalne metode za vrednotenje investicij (npr. analiza stroškov in koristi, neto sedanja vrednost ipd.) ne zadoščajo pri vrednotenju projektov razvoja in implementacije informacijskih sistemov (Anandarajan & Wen, 1999; Millis & Mercken, 2004), podobno velja tudi za projekte e-uprave (Jones, 2008; Lavigne, 2001; Liu idr., 2008). Ti pristopi so namreč usmerjeni predvsem v merjenje učinkovitosti in donosnosti, ne vključujejo pa vrednotenja širših političnih in družbenih ciljev (Grimsley idr., 2006), ki imajo v javnem sektorju mnogokrat večjo težo. Zato so nekatere države razvile celovitejše pristope za vrednotenje njihovih projektov e-uprave - npr. nemški pristop WIBE (Röthig, 2004), francoski MAREVA (ADAE, 2007), evropska EU VAST (Evropska komi-
sija, 2007) in eGEP (eGEP, 2006b), avstralska DAM in VAM (AGIMO, 2004) idr.
Po eni strani lahko torej govorimo o napredku, saj so (vsaj nekatere) države razvile celovitejše metodologije za vrednotenje projektov e-uprave in vsaj nekatere organizacije javne uprave te pristope tudi uporabljajo. Vendar pa je zelo malo znanega o vplivu uporabe teh metodologij na uspešnost projektov, podvrženih vrednotenju.
V	povezavi s tem je hipoteza, ki jo naslavlja in preverja naš prispevek: predhodno vrednotenje projektov e-uprave ima vpliv na njihovo uspešnost.
Raziskava je bila opravljena v treh korakih:
■	pregled teoretskih dognanj na področju vrednotenja in vrednotenja projektov e-uprave ter pregled obstoječih pristopov k tovrstnemu vrednotenju;
■	razvoj modela indikatorjev za oceno vpliva predhodnega vrednotenja na stopnjo uspešnosti projektov e-uprave;
■	empirični preizkus predlaganega modela v okolju slovenske e-uprave.
V	naslednjem razdelku je predstavljena teoretska opredelitev vrednotenja in uspešnosti projektov e-uprave. V tretjem razdelku je predstavljen razvoj raziskovalnega modela, sledi predstavitev metodološkega pristopa. V petem razdelku je raziskovalni model preizkušen s pomočjo empiričnih podatkov iz slovenske javne uprave. V zadnjem razdelku so poleg razprave o rezultatih raziskave podani tudi predlogi za nadaljnje raziskovanje obravnavanega področja.
2 TEORETIČNO IZHODIŠČE
V poglavju je podano teoretsko ozadje obravnavnega področja s poudarkom na opredelitvi dveh ključnih konstruktov: vrednotenja in uspešnosti projektov.
2.1 Vrednotenje
Vrednotenje2 zasledimo na številnih področjih, najprej pa se je ta pojem uveljavil na področjih izobraževanja in javnega zdravstva (Rossi & Freeman, 1993, str. 9). Pred prvo svetovno vojno je šlo predvsem za vrednotenje izobraževalnih programov, ki so se ukvarjali s pismenostjo in strokovnim izobraževanjem, na področju zdravstva pa za programe za zmanjševanje smrtnosti in obolevnosti na račun nalezljivih bolezni (prav tam). Do leta 1930 se
1 Uporabniki interneta, ki so uporabljali storitve e-uprave v zadnjih dvanajstih
mesecih in ki bi jih uporabljali tudi v prihodnje.
V literaturi najpogosteje zasledimo izraz evalvacija (angl. evaluation).
2
je uporaba vrednotenj razširila na številne programe delovanja skupnosti (Freeman v: Rossi & Freeman, 1993, str. 10); porast je sledil tudi med drugo svetovno vojno, ko so med drugim razvijali neprestani monitoring morale vojakov in civilistov in vrednotili kadrovske politike ter propagandne tehnike (Rossi & Freeman, 1993, str. 10; Stouffer idr. v Rossi & Freeman, 1993, str. 10). Zahteve po informacijah o rezultatih programov so narasle tudi po drugi svetovni vojni, ko so bili aktualni programi razvoja mest in izgradnje stanovanj, tehnološkega in kulturnega izobraževanja itd. V 60. in 70. letih prejšnjega stoletja je začelo izrazito naraščati število prispevkov, revij in knjig o praktični uporabi z vrednotenjem povezanih raziskav, njihovih metodoloških pristopih ipd., pojavljati so se začela tudi strokovna združenja in sekcije na sestankih akademskih in strokovnih skupin (Rossi & Freeman, 1993, str. 10-11). Sicer pa, kot ugotavlja Kustec Lipicer (2002, str. 141), vrednotenje lahko izvajamo »na različnih področjih nekega socialnega sistema«. Prav tako je pomembno v številnih znanstvenih disciplinah (Kustec Lipicer, 2009, str. 19).
V literaturi je za vrednotenje mogoče najti številne definicije; nekatere izmed teh so zbrane v tabeli 1. Prav tako ponuja literatura številne tipologije vrednotenj, predvsem glede na čas izvedbe, gonilo, predmet, raven agregacije ipd. Z vidika našega prispevka je najpomembnejša opredelitev vrednotenja časa, v katerem se izvaja vrednotenje, zato sta v nadaljevanju
predstavljeni predhodno in naknadno vrednotenje.
Ex ante oz. predhodno vrednotenje »zagotavlja pretehtano ovrednotenje vseh potencialnih alternativnih rešitev in njihovih učinkov« (Kustec Lipicer, 2002, str. 143). Ima torej vlogo napovedovanja (Re-menyi, 1999), in sicer (največkrat) na podlagi predvidenih stroškov, koristi, učinkov, priložnosti in težav (Homburg, 2008, str. 113). Gre vsekakor za bolj teoretično vrednotenje3 od ex post oz. naknadnega (Pollitt, 208, str. 122), ki sledi fazi izvajanja (prav tam) in se nanaša na »zbiranje in ovrednotenje učinkov« (Kustec Lipicer, 2002, str. 143), na primer ekonomskih in družbenih ali katerih koli drugih izidov (Homburg, 2008, str. 113). Naknadno vrednotenje lahko predstavlja tudi pomembne povratne informacije pri naslednjih predhodnih vrednotenjih, zaradi česar bodo ta sčasoma postala bolj realna (Cracknell, 2000, str. 147). Nekateri (npr. Cracknell, 2000, str. 72) govorijo tudi o t. i. medfaznem vrednotenju - na primer pri programih, ki so sestavljeni iz številnih projektov in so razdeljeni na niz faz, ali v primerih, ko financiranje za naslednjo fazo ni odobreno, preden ni opravljeno ovrednotenje predhodne (prav tam) (podoben položaj poznamo tudi na področju raziskovalnih projektov v okviru razpisov Evropske komisije). Predhodno in naknadno vrednotenje sta s časovnega vidika najpogosteje omenjeni obliki vrednotenj, velja pa omeniti, da lahko sicer vrednotenje izvajamo v kateri koli fazi življenjskega cikla nekega programa oz. projekta (Boyle, 1993, str. 22).
Tabela 1: Nekatere definicije vrednotenja
Avtor	Definicija
Rossi & Freeman (1993, str. 5)	»/_/ sistematična uporaba metod družboslovnega raziskovanja za ocenjevanje načrtov, implementacije in koristi programov družbene intervencije.«
Pollitt (2008, str. 115)	sistematično ocenjevanje javnih politik, programov in projektov
Scriven (v Davidson 2005, str. 1)	sistematično določanje kakovosti ali vrednosti nečesa.«
Owen (v Thomas idr., 2008, str. 79)	proces zagotavljanja informacij z namenom podpreti odločanje o evalviranem objektu.«
Pregled literature pokaže vsaj deset pristopov k predhodnemu (in naknadnemu) vrednotenju projektov e-uprave. Ti so razviti bodisi na konceptualni
bodisi na aplikativni ravni. Tabela 2 podaja pregled nekaterih aplikativnih pristopov, in sicer prvo raven njihovih parametrov vrednotenja.
3 Pollitt (2008, str. 122) primerja vrednotenje ex ante s kuharjem, ki preučuje recept, preden je jed dejansko pripravljena.
Tabela 2: Pregled prve ravni parametrov izbranih (aplikativnih) pristopov k evalvaciji projektov e-uprave
MAREVA (ADAE, 2007)	WiBe (Röthig, 2004)	DAM & VAM (AGIMO, 2004)	eGEP (eGEP, 2006b)	EU-VAST (Evropska komisija, 2007)
Profitabilnost za državo	Ekonomska učinkovitost v finančnem smislu	Stroški	Stroški	Stroški
Koristi za zunanje uporabnike	Zunanji učinki	Koristi	Koristi (učinki)	Koristi za EU
Koristi za javne uslužbence in storitve	Kvalitativna/ strateška pomembnost	Tveganja	Tveganja	Koristi za EK
Tveganja	Nujnost	Ocena povpraševanja		Finančne koristi in stroški
Nujnost projekta				Tveganja Nujnost
2.2 Opredelitev uspešnosti projektov in storitev e-uprave
Da bi lahko opredelili uspešnost projektov in storitev e-uprave, moramo pred tem pojasniti odnos med pojmoma. Storitev je produkt projekta, je to, kar uporabnik vidi in uporabi. Zato se vrednotenje storitve nanaša na zunanji vidik vrednotenja, medtem ko vrednotenje projekta pomeni notranji vidik. Predmet ocenjevanja notranjega vidika je kakovost projektnega menedžmenta, ki ga merimo s tremi indikatorji učinkovitosti projekta, in sicer stroškov, časa in kakovosti (Pinkerton v Van der Westhuizen in Fitzgerald, 2005, str. 5). Uspešnost produkta oziroma storitve pa se po drugi strani nanaša na lastnosti rezultata projekta. Potemtakem je celovita ocena uspešnosti projekta vsota uspešnosti projektnega menedžmenta in uspešnosti produkta oziroma storitve (Baccarini, 1999; Van Der Westhuizen & Fitzgerald, 2005).
Pri celoviti obravnavi uspešnosti projekta moramo zato upoštevati oba predstavljena vidika. Naša raziskava je usmerjena v vrednotenje zunanjega vidika, zato v nadaljevanju obravnavamo uspešnost storitev kot produktov projektov e-uprave.
3 RAZVOJ RAZISKOVALNEGA MODELA
V razdelku so najprej predstavljeni izbrani indikatorji za merjenje konstruktov predhodnega vrednotenja in uspešnosti projektov e-uprave, nato je predstavljen še raziskovalni model kot celota.
3.1 Opredelitev indikatorjev predhodnega vrednotenja
Na podlagi obstoječih pristopov k vrednotenju projektov e-uprave, ki so predstavljeni po uvodnem razdelku, ter na podlagi s tem povezane literature je bila izvedena fokusna skupina s po dvema predstavni-
koma odločevalcev z ministrstva za javno upravo in iz akademskega okolja (na področju e-uprave). Cilj fokusne skupine je bil določiti poglavitne parametre, ki so potrebni za kvalificirano predhodno vrednotenje projektov e-uprave. V okviru fokusne skupine je bilo definiranih trinajst takšnih parametrov. Ti so v predstavljeni raziskavi uporabljeni kot indikatorji za merjenje konstrukta predhodnega vrednotenja. Parametri, opredeljeni kot nujni za kvalificirano odločanje, so:
■	stroški:
•	načrtovanje,
•	razvoj,
•	implementacija (nabava in organizacijske spremembe),
•	operativno delovanje,
•	vir financiranja (možnost pridobitve nepovratnih sredstev);
■	koristi:
•	za zunanje uporabnike,
•	za notranje uporabnike,
•	strateško-politične koristi,
•	obče/družbene in druge koristi;
■	tveganja:
•	politično,
•	izvedbeno,
•	organizacijsko;
■	uporabnost (celovitost/življenjske situacije, enostavnost dostopa in uporabe, zasebnost/varnost, večkanalni dostop, posebne potrebe).
3.2 Opredelitev indikatorjev uspeha
Pri izbiri indikatorjev za merjenje uspeha projektov e-uprave smo se naslonili na DeLoneov in McLeanov model uspešnosti informacijskih sistemov (DeLone & McLean, 2003), eGEP-model učinkov e-uprave
(eGEP, 2006b) in Codagnonev in Undheimov (Coda-gnone & Undheim, 2008) merski okvir e-uprave ter drugo relevantno literaturo. V merski model kon-strukta uspešnosti storitev e-uprave smo vključili deset indikatorjev:
■	kakovost storitev e-uprave z vidika dostopnosti, uporabnosti, celovitosti, varnosti/zasebnosti in odzivnosti (tri dimenzije kakovosti DeLone McLeanovega modela uspešnosti informacijskih sistemov smo združili v enodimenzionalno kakovost storitev e-uprave);
■	obseg elektronskih storitev e-uprave (osnovano na dimenziji »uporaba« DeLone McLeanovega modela uspešnosti informacijskih sistemov);
■	zadovoljstvo zunanjih uporabnikov e-uprave -državljanov, gospodarskih družb, nevladnih organizacij (osnovano na dimenziji »zadovoljstvo« DeLone McLeanovega modela uspešnosti informacijskih sistemov);
■	zmanjšano administrativno breme (v smislu prihranka časa uporabnikov in finančnih prihrankov zaradi odpadle poštnine in poti);
■	vpliv na število pritožb;
■	vpliv na zadovoljstvo zaposlenih;
■	vpliv na čakalne čase;
■	uporaba storitev zunaj poslovnega časa organa;
■	učinkovitost poslovanja organa;
■	vpliv storitev e-uprave na doseganje ciljev organa.
8 Predstavitev raziskovalnega modela
Raziskovalni model, na katerem je temeljila predstavljena raziskava, obsega triindvajset indikatorjev, s katerimi merimo dve latentni spremenljivki: predhodno vrednotenje projektov e-uprave s trinajstimi indikatorji in uspešnost projektov e-uprave z desetimi indikatorji, kakor je predstavljeno na sliki 1 in v tabeli 3.
Slika 1: Izhodiščni model vpliva predhodnih evalvacij storitev e-uprave na njihovo uspešnost
Tabela 3: Izbrani indikatorji definiranih latentnih spremenljivk Latentni spremenljivki Indikatorji
Predhodno vrednotenje (Ex ante ev.)
Stroški
Uspešnost projektov (Uspešnost)
str_nac = stroški načrtovanja
str_raz = stroški razvoja
str_impl = stroški implementacije str_op = stroški operativnega delovanja Koristi
kor_zun = koristi za zunanje uporabnike kor_not = koristi za notranje uporabnike kor_str = strateško-politične koristi kor_obce = obče/družbene in druge koristi Tveganja
tveg_izv = izvedbeno tveganje tveg_pol = politično tveganje tveg_org = organizacijsko tveganje tveg_nei = tveganje v primeru nerealizacije Uporabniški profil upor_pro = uporabniški profil
Kakovost storitev e-uprave
us_kak = kakovost storitev e-uprave
Uporaba in zadovoljstvo s storitvami e-uprave
us_up = obseg elektronsko izvedenih storitev e-uprave
us_zad = zadovoljstvo zunanjih uporabnikov e-uprave
Vplivi
■	organi v sestavi ministrstev - OVS (40),
■	občine (211).4
Vprašalnik je bil najprej preizkušen na sedmih re-spondentih, na podlagi zbranih izkušenj korigiran in nato uporabljen na izbrani ciljni skupini. Elektronsko sporočilo s povezavo na vprašalnik je bilo poslano na javne elektronske nalove, v zadevo pa smo napisali, komu je sporočilo namenjeno:
■	v primeru ministrstev in OVS vodjem služb za informatiko ter
■	v primeru občin direktorjem občinskih uprav.
V sporočilu smo jih prosili, naj vprašalnik posredujejo tistemu v organu, ki poseduje največ informacij o sprejemanju odločitev glede razvoja in implementacije storitev e-uprave, ki jih njihov organ ponuja občanom in podjetjem.
Vsa vprašanja (z izjemo uvodnih, ki so bila namenjena opredelitvi profila anketirancev), so bila postavljena v obliki trditev, anketiranci pa so ocenjevali strinjanje z njimi, in sicer na lestvici od ena do sedem, pri čemer je ocena ena predstavljala najnižjo, sedem pa najvišjo stopnjo strinjanja.
Na vprašalnik je odgovorilo 51 anketirancev, kar pomeni 19-odstotno odzivnost. Največ respon-dentov prihaja iz občin s 3.000 do 10.000 prebivalci (26 %), sledijo respondenti iz občin s 1.000 do 3.000 prebivalci (20 %) ter respondenti iz ministrstev (18 %), medtem ko je bilo ostalih manj (tabela 4).
Tabela 4: Struktura respondentov po organih zaposlitve
us_ab = zmanjšano administrativno breme		Št.	%
us_prit = vpliv na število pritožb	Ministrstvo	9	17,6
us_zad_z = vpliv na zadovoljstvo zaposlenih	Organ v sestavi ministrstva	7	13,7
us_cak_c = vpliv na čakalne čase	Občina z do 1.000 prebivalci	2	3,9
us_up_iz = uporaba storitev izven	Občina s 1.000 do 3.000 prebivalci	10	19,6
poslovnega časa organa	Občina s 3.000 do 10.000 prebivalci	13	25,5
us_ucin = učinkovitost poslovanja organa	Občina z 10.000 do 30.000 prebivalci	8	15,7
us_cilj = vpliv storitev e-uprave na doseganje	Občina z 90.000 do 300.000 prebivalci	2	3,9
ciljev organa	Skupaj	51	100,0
4 METODOLOGIJA
Temelj raziskave, opravljene januarja in februarja 2011, je anketni vprašalnik, in sicer v obliki spletne ankete, za pripravo in izvedbo katere je bilo uporabljeno programsko orodje The Survey System 9.0. V vzorec je bilo vključenih 266 organizacij javne uprave, in sicer: ■ ministrstva (15),
86 odstotkov respondentov je starejših od 34 let in večina jih je v javni upravi zaposlena pet in več let (88 %), kar pomeni, da dobro poznajo poslovanje javne uprave. Večina jih ima univerzitetno izobrazbo (51 %), 31 odstotkov jih ima višjo ali visokošolsko izobrazbo, 14 odstotkov pa specializacijo ali magisterij,
4 Občina Mirna v času raziskave nima spletišča, prisotna je le na socialnem omrežju Facebook.
medtem ko imata dva respondenta (4 %) dokončano poklicno ali štiriletno srednjo šolo. Med respondenti je največ takih, ki zasedajo vodstvena delovna mesta: 35 odstotkov je vodij organizacij in 28 odstotkov vodij notranjih organizacijskih enot, medtem ko je drugih zaposlenih na uradniških delovnih mestih 22 odstotkov, 16 odstotkov pa je strokovno-tehničnega osebja. Slaba polovica (47 %) jih dela na informacijskem področju.
Respondenti imajo v organih, iz katerih prihajajo, relativno pomemben vpliv na odločitve o realizaciji projektov e-uprave (povprečna ocena 5,02),5 podobno velja za njihovo poznavanje procesov odločanja o realizaciji tovrstnih projektov v njihovih organih (5,12). Ocenjujemo, da lahko kljub nizkemu številu izpolnjenih vprašalnikov (51) govorimo o kakovostni odzivnosti.
Za obdelavo podatkov smo uporabili statistični paket SPSS ter orodje SmartPLS (Ringle idr., 2005). Orordje SmartPLS je namenjeno uporabi podobno poimenovane metode - metode PLS (angl. Partial Least Squares) oziroma metode delnih najmanjših kvadratov, ki je ena od vej modeliranja strukturnih enačb (angl. Structural Equation Modelling, SEM).
Modeliranje strukturnih enačb omogoča hkratno ocenjevanje strukturnega modela in modela merjenja (Gefen idr., 2000, str. 5). Pri prvem gre za ocenjevanje vzročnosti med nizom odvisnih in neodvisnih spremenljivk, pri drugem, meritvenem, pa za ocenjevanje uteži, ki jih imajo merjeni indikatorji na la-tentne spremenljivke oz. konstrukte (prav tam). Prav ta kombinirana analiza strukturnega in meritvene-ga modela omogoča 1) obravnavo analize meritve-nih napak opazovanih spremenljivk kot sestavnega dela modela ter 2) kombiniranje faktorske analize s testiranjem hipotez v enem koraku (prav tam). Ker metode modeliranja strukturnih enačb omogočajo ocenjevanje in modifikacijo teoretičnih modelov, so dobrodošlo orodje za pospeševanje razvoja teorije (Anderson in Gerbing, 1988, str. 411).
Metodo PLS smo uporabili zato, ker smo kon-strukta »predhodno vrednotenje« in »uspešnost projektov e-uprave« merili kot latentni spremenljivki -vsako izmed njiju z definiranim naborom indikatorjev. Poleg tega je ta metoda manj občutljiva na velikost vzorca (v primerjavi s sorodnim, kovariančno
5 Strinjanje s to in nadaljnjimi trditvami so ocenjevali na lestvici od 1 do 7 (1 - popolno nestrinjanje, 7 - popolno strinjanje).
osnovanim modeliranjem strukturnih enačb) (Chin, 2010). Hkrati se je izkazala za uspešno tudi v primeru eksploratornih raziskav (prav tam), kakršna je tudi naša, saj je v literaturi zaznati šibko teoretično podlago v povezavi z vplivom predhodnega vrednotenja na uspešnost projektov e-uprave.
Vrednotenje specificiranega modela po metodi PLS poteka v dveh korakih (Chin, 2010): 1) vrednotenje modela merjenja (angl. measurement model) in 2) vrednotenje strukturnega modela (angl. path model, structural model) - vpliv ene latentne spremenljivke na drugo.
Indikatorji za merjenje konstruktov »predhodno vrednotenje« in »uspešnost projektov e-uprave« so bili izbrani s pomočjo fokusne skupine, pri kateri sta sodelovala dva predstavnika odločevalcev s takratnega ministrstva za javno upravo ter dva predstavnika akademske sfere - raziskovalca na področju e-uprave.
5 VREDNOTENJE RAZISKOVALNEGA MODELA
V razdelku so predstavljeni rezultati vrednotenja merskega in strukturnega modela.
5.1 Vrednotenje merskega modela
Model smo postavili in preverili s pomočjo metode delnih najmanjših kvadratov ob podpori programske rešitve SmartPLS (Ringle, 2005). Model smo ovrednotili z dvema testoma zanesljivosti, s Cronbachovim alfa koeficientom in kompozitno zanesljivostjo ter s testom konvergentne veljavnosti (kazalnik povprečja skupnih varianc) in z dvema testoma diskriminant-ne veljavnosti - z analizo povprečja skupnih varianc konstruktov in deljenih varianc med konstrukti ter s testom zunanjega modela uteži in navzkrižnih uteži.
Zanesljivost meritve in s tem njeno notranjo konsistentnost potrjuje Cronbachov koeficient alfa z vrednostma, večjima od 0,90. Mera kompozitne zanesljivosti je pri obeh konstruktih enaka 0,93 in s tem večja od najnižje sprejemljive vrednosti 0,6 (For-nell & Larcker, 1981; Gotz idr., 2010). Indikatorji ne vključujejo naključnih napak, zato tvorijo konsistenten model (Abdelhamied, 2010).
Kazalnik povprečja skupnih varianc (AVE) našega modela je 0,51, kar pomeni, da je model primeren tudi s tega vidika, saj pojasni več kot 50 odstotkov celotne variance - AVE > 0,50 (Chin, 2010). S tem smo potrdili konvergentno veljavnost modela, saj se indikatorji stekajo h konstruktu, ki ga predstavljajo.
Primerjava med kvadratnima korenoma AVE (> 0,71) za oba konstrukta in korelacijo med njima (R < 0,53) kaže, da sta konstrukta bolj povezana s svojimi indikatorji kot z drugim konstruktom, tako da je izpolnjen tudi drugi kriterij primernosti modela.
Mersko moč modela preverimo z analizo zunanjega modela uteži in navzkrižnih uteži. Pričakujemo, da so manifestne spremenljivke s konstrukti, ki jih predstavljajo, močneje povezane in obenem šibkeje povezane kot z drugim konstruktom modela (Chin, 2010). V našem primeru so sicer vse manifestne spremenljivke močneje povezane s konstruktom, ki naj bi jih merile, kot z drugim konstruktom (notranja veljavnost), vendar povezanost z ustreznim kon-struktom ni pri vseh dovolj močna (konvergentna veljavnost). Pri ocenjevanju konvergentne veljavnosti ni strogih pravil o mejnih vrednostih, moramo pa pri tem upoštevati dva ključna vidika (Chin, 2010): 1) vrednost uteži in 2) velikost razlik med utežmi manifestnih spremenljivk opazovanega konstrukta. Mersko močan model je sestavljen iz konstruktov, ki
	EX'Snte ev.	Uspesnost
kor_not	0,629332	0,327717
kor_obce	0,796774	0,410239
kor_»tr	0,496916	0,242395
kor_zun	0,719094	0,339192
str_lmpl	0,810216	0,405307
ctr_nac	0,&39S14	0,356955
str_op	0,831193	0,390326
str_rnz	0,780370	0,479022
tveg_lzv	0,759834	0,362731
(veg_nei	0,683224	0,350298
tveg_org	0,814711	0,450229
tvefl_pol	0,667787	0,434904
upor_pro	0,S42063	0,142664
u(_ab	0,436949	0,878917
us_cak_c	0,244662	0,475118
u«_ctlj	0,454541	0,851755
us_kak	0,539309	0,693011
us_prtt	0,370019	0,710713
us_ucln	0,462794	0,870270
ui_up	0,237450	0,745948
u«_up_li	0,300S91	0,631623
us_zad	0,412799	0,870781
u»_i»d_z	0,344284	0,769299
vključujejo indikatorje z visoko uteženostjo z majhnimi medsebojnimi odstopanji. V skladu s tem priporočilom smo iz modela izključili manifestne spremenljivke z vrednostjo uteži, manjšo od 0,65 (slika 2):
■	stroški načrtovanja,
■	koristi za notranje uporabnike,
■	strateške in politične koristi,
■	uporabniški profil,
■	vpliv na čakalne dobe,
■	uporaba storitev zunaj poslovnega časa organizacije.
Prečiščeni model vsebuje še sedemnajst indikatorjev, devet za predhodno vrednotenje projektov e-uprave in osem za uspešnost projektov e-uprave. Novi model prav tako ustreza kriterijem kakovosti, kot smo jih zapisali na začetku razdelka. Poleg tega so uteži vseh indikatorjev močne ob majhnih medsebojnih razlikah (slika 3).
	Ex-ante ev.	Uspesnost
kor_obce	0,793953	0,408725
kor_zun	0,714284	0,347218
rtr_lmpl	o,fliiaci	0,416789
rtr_op	0,835119	0,387784
«tr_ra2	0,764541	0,462868
tveg_lzv	0,781856	0,348142
tveg^nei	0,717075	0,356744
tveg_org	0,837647	0,462109
tveg_pol	0,651621	0,418017
us_ab	0,441101	0,872880
U5_CllJ	0,470258	0,854240
us_kak	0,526001	0,715830
ii«_pi«	0,354320	0,723028
us_ucin	0,476557	0,882914
us_up	0,251827	0,755962
us_zod	0,411160	0,872S4S
us_zad_z	0,344373	0,755957
Slika 2: Uteži in navzkrižne uteži (angl. cross-loadings) manifestnih spremenljivk na latentni spremenljivki
Slika 3: Uteži in navzkrižne uteži prečiščenih manifestnih spremenljivk na latentni spremenljivki
5.2 Vrednotenje strukturnega modela
Z vrednotenjem strukturnega modela je bil ocenjen vpliv predhodnega vrednotenja projektov e-uprave na njihovo uspešnost.
Napovedno moč strukturnega modela ocenjujemo z vrednostjo determinacijskega koeficienta R2 (kvadrat mnogokratnega korelacijskega koeficienta).
V našem primeru je vrednost determinacijskega koeficienta 0,278, kar pomeni, da je 27,8 odstotka variance uspešnosti storitev e-uprave pojasnjenih z vplivom predhodnega vrednotenja projektov e-uprave. Kot je razvidno s slike 4, je korelacija med latentni-ma spremenljivkama pozitivna in zmerna, vrednost
mnogokratnega korelacijskega koeficienta je 0,53. Statistično značilnost korelacije potrjujeta t statistika, ki je večja od 1,96 (t = 6,711), in vrednost p < 0,01. Na podlagi teh rezultatov lahko potrdimo izhodiščno hipotezo: predhodno vrednotenje projektov e-uprave ima pozitiven vpliv na njihovo uspešnost.
* V oklepajih so zabeležene t-vrednosti.
Slika 4: Empirično preverjeni strukturni model skupaj z modelom merjenja
6 RAZPRAVA IN SKLEPNE MISLI
V zadnjem času postaja vrednotenje in ocenjevanje projektov e-uprave vse bolj pomembno. Finančna kriza vpliva na krčenje javne potrošnje v večini držav. Vse bolj se uveljavljajo temeljni principi dobrega upravljanja, kot so odgovornost, transparentnost, učinkovitost in uspešnost. V tem okviru je resen in sistematičen pristop k načrtovanju in izvajanju projektov e-uprave (predhodno in naknadno vrednotenje) pomemben prispevek k razvoju sočasne javne uprave.
Zanimanje za izziv vrednotenja projektov na področju e-uprave se je povečalo na začetku zadnjega desetletja. Najprej zaradi reševanja operativnih izzivov v praksi, kmalu zatem pa tudi med raziskovalci. Pregled novejših objav s tega področja izkazuje hitro rast raziskovalnega zanimanja za to področje. Kot smo pokazali, raziskovalci veliko delajo na razvoju
metodoloških pristopov za vrednotenje projektov e-uprave, kljub temu pa so empirični dokazi o vplivu predhodnega vrednotenja projektov e-uprave na njihovo uspešnost dokaj skromni.
Z našo študijo smo poskusili prispevati k razvoju bolj formalnega in na podatkih temelječega predhodnega vrednotenja projektov e-uprave. Rezultati so pokazali, da ima predhodno vrednotenje projektov e-uprave statistično značilen vpliv na njihovo uspešnost; 28 odstotkov variance uspešnosti teh projektov lahko v okviru izbranih indikatorjev pripišemo predhodnim vrednotenjem, s čimer potrjujemo tudi izhodiščno hipotezo.
Kljub temu da za družboslovne raziskave pojasni-tev 28 odstotkov variance ni zanemarljiva, se poraja vprašanje, kako pojasniti preostalih 72 odstotkov. Pri tem moramo upoštevati še dejstvo, da smo morali zaradi šibke korelacije s konstruktom predhodnega
vrednotenja iz merskega modela izključiti štiri indikatorje - kljub temu da je ekspertna fokusna skupina izbrala zelo prečiščen nabor trinajstih indikatorjev za predhodno vrednotenje projektov e-uprave, kar je bila glede na druge študije, ki se zanašajo tudi na več kot sto indikatorjev, že zelo prečiščena rešitev. To je lahko posledica preozkega nabora indikatorjev in bi s širšim naborom morda lahko pojasnili večji delež variance uspešnosti projektov e-uprave. Po drugi strani pa lahko pričakujemo, da so pristopi predhodnega vrednotenja z velikim številom indikatorjev preveč kompleksni, da bi jih lahko uporabili v praksi vrednotenja projektov e-uprave. Glede na to, da je treba v vrednotenjih zagotoviti kakovostno sodelovanje odgovornih, smo pri oblikovanju našega pristopa sledili ideji čim preprostejše rešitve, ki bi omogočila hitro uveljavitev v praksi. Vsekakor gre za vprašanje postopnega razvoja pristopov in v tem smislu bo v prihodnje dovolj prostora za razvoj bolj kompleksnih rešitev.
Predstavljeni empirično preverjeni model še ne omogoča izčrpnega in dokončnega vpogleda v odnos med predhodnim vrednotenjem projektov e-upra-ve in uspešnostjo iz projektov izvedenih e-storitev. Kljub temu pa lahko ugotovimo, da predstavljeni evalvacijski okvir prispeva tako k razvoju prakse kot k znanstvenemu spoznanju o obravnavanem izzivu, in sicer:
■	Študija pristopov in metodologij predhodnega vrednotenja projektov e-uprave je izpostavila tri ključne skupine indikatorjev, stroške, koristi in tveganja. To pomeni, da je za uspešno uveljavitev predhodnega vrednotenja treba vzpostaviti ustrezne okvire projektnega menedžmenta, ki bodo omogočili nadziranje indikatorjev v celotnem širšem življenjskem krogu projektov.
■	Razviti merski model prinaša nabor indikatorjev, ki so relevantni za predhodno vrednotenje projektov e-uprave in so lahko izhodišče za iskanje bolj popolnih in hkrati uporabnih modelov.
■	Rezultati empirične študije dajejo vpogled v moč povezanosti indikatorjev s predhodnim vrednotenjem, s čimer ta vpliva na uspešnost projektov e-uprave.
■	Prispevek prinaša trdne empirične dokaze o vplivu predhodnega vrednotenja projektov e-uprave na njihovo uspešnost, zato je uporaben za organizacije, v katerih tovrstna vrednotenja še niso standardna praksa.
Poleg izboljšav modela predhodnih vrednotenj bi bilo treba v prihodnje posvetiti dodatno pozornost drugim dejavnikom, ki vplivajo na uspešnost projektov e-uprave, kot so učinkovito upravljanje in menedžment, odgovornost za rezultate in trden menedžment sprememb.
7 VIRI IN LITERATURA
[1]	Abdelhamied, H. S. (2010). The Relationship among Service Quality, Perceived Value and Customer Satisfaction in Restaurants Industry. Scientific papers of the 2nd International Scientific Expert Conference Quality and Innovation in Tourism and Catering. Bled, SI: Višja strokovna šola za gostinstvo in turizem.
[2]	Anderson, J. C. & Gerbing, D. W. (1988). Structural Equation Modeling in Practice: A Review and Recommended Two-Step Approach. Psychological Bulletin 103 (3), 411-423.
[3]	ADAE (2007). MAREVA methodology guide: Analysis of the value of ADELE projects. Fourth High Level Seminar on Measuring and Evaluating E-Government. Dubai, AE: OECD.
[4]	AGIMO - Australian Government Information Office (2004). Demand and Value Assessment Methodology. Canberra, AU: Commonwealth of Australia.
[5]	Anandarajan, A. & Wen, J. (1999). Evaluation of information technology investment. Management Decision 37 (4), 329-339.
[6]	Baccarini, D. (1999). The Logical Framework Method for Defining Project Success. Project Management Journal 30 (4), 25-32.
[7]	Bannister, F. & Connolly, R. (2012). Forward to the past: Lessons for the future of e-government from the story so far. Information Polity 17 (3-4), 211-226.
[8]	Boyle, R. (1993). Making Evaluation Relevant - A Study of Policy and Programme Evaluation Practice in the Irish Public Sector. Dublin, IE: Institute of Public Administration.
[9]	Capgemini (2013). Public Services Online - Digital by Default or by Detour? Assessing User Centric eGovernment performance in Europe - eGovernment Benchmark 2012. Luksemburg, LU: Evropska komsija.
[10]	Castelnovo, W. & Simonetta, M. (2007). The Evaluation of e--Government projects for Small Local Government Organisations. The Electronic Journal of e-Government 5 (1), 21-28.
[11]	Chin, W. W. (2010). How to Write Up and Report PLS Analyses. In V. Esposito Vinzi idr. (ur.), Handbook of Partial Least Squares: Concepts, Methods and Applications (str. 655-690). Berlin, DE: Springer.
[12]	Codagnone, C. & Undheim, T. A. (2008). Benchmarking eGo-vernment: tools, theory, and practice. European Journal of ePractice: Efficiency and effectiveness, 4, 4-18.
[13]	Cracknell, B. E. (2000). Evaluating development aid: issues, problems and solutions. New Delhi, IN: Sage.
[14]	Datar, M. (2010). Determining Priorities of E-Government: A Model Building Approach. ICEG 2010 - 6th International Conference on eGovernment. Cape Town, ZA, str. 76-85.
[15]	DeLone, W. H. & McLean, E. R. (2003). The DeLone and McLean Model of Information Systems Success: A Ten-Year Update. Journal of Management Information Systems 19 (4), 9-30.
[16]	eGEP - eGovernment Economics Project (2006a). Expenditure Study, Final Version. Bruselj, BE: Evropska komisija, DG Information Society and Media.
[17]	eGEP - eGovernment Economics Project (2006b). Measure- [31] ment Framework, Final Version. Bruselj, BE: Evropska komisija, DG Information Society and Media.
[18]	Esteves, J. & Joseph, R. C. (2008). A comprehensive frame- [32] work for the assessment of eGovernment projects. Government Information Quarterly 25 (1), 118-132.
[19]	Evropska komisija (2011). Value Assessment Tool Guidelines. Bruselj, BE: Evropska komisija.	[33]
[20]	Fornell, C. & Larcker, D. F. (1981). Evaluating Structural Equation Models with Unobservables and Measurement Error. Jo- [34] urnal of Marketing Research 18 (1), 39-50.
[21]	Gefen, D., Straub; D. & Boudreau, M. C. (2000). Structural Equation Modeling and Regression: Guideliness for Research Practice. Communications of Association for Information Sy- [35] stems 4 (čl. 7), 2-79.
[22]	Gotz, O. Liehr-Gobbers, K. & Krafft, M. (2010). Evaluation of Structural Equation Models Using the Partial Least Squares (PLS) Astr.roach. in V. Esposito Vinzi idr. (ur.), Handbook of [36] Partial Least Squares: Concepts, Methods and Applications
(str. 691-712). Berlin, DE: Springer.
[23]	Grimsley, M., Meehan, A. & Sen Gupta, K. (2006). Evaluative Design of e-Government: a Public Value Perspective. [37] Proceedings of the Twelfth Americas Conference on Information System. Acapulco, MX: Association for Information Systems.	[38]
[24]	Heeks, R. (2006). Implementing and Managing eGovernment:
An International Text. London, UK: SAGE Publications Ltd. [39]
[25]	Heeks, R. (2012). Steering e-Government Projects from Failure to Success. Dostopno na http://ict4dblog.wordpress.com/ [40] category/e-government-in-dcs/ (2. 8. 2012).
[26]	Heeks, R. & Bhatnagar, S. (1999). Understanding success [41] and failure in the information age reform. In R. Heeks (ur.), Reinventing Government in the Information Age (str. 49-74). [42] London, UK: Routledge.
[27]	Homburg, V. (2008). Understanding E-government: Information Systems In Public Administration. Abingdon, UK: Routled-ge.
[28]	Irani, Z. & Love, P. (2008). Information systems evaluation: [43] A crisis of understanding. In Z. Irani & P. Love (ur.), Evaluating Information Systems - Public and Private Sector (str. xx-xxxvi). Oxford, UK: Elsevier Ltd.	[44]
[29]	Jones, S. (2008). Social dimension of IT/IS evaluation: Views from the public sector. V Z. Irani & P. Love (ur.), Evaluating Information Systems - Public and Private Sector (str. 236-256). Oxford, UK: Elsevier Ltd.	[45]
[30]	Kearns, I. (2004). Public Value and E-Government. London, UK: Institute for Public Policy Research.
Kertesz, S. (2003). Cost-Benefit Analysis of e-Government Investments. Cambridge, USA: Harvard University, J. F. Kennedy School of Government.
Kustec Lipicer, S. (2002). Vrednotenje ali vrednotenje javnih politik. V D. Fink-Hafner & D. Lajh (ur.), Analiza politik, (Knjižna zbirka Politični procesi in inštitucije), (Knjižna zbirka Profesija) (str. 141-156). Ljubljana, SI: Fakulteta za družbene vede. Kustec Lipicer, S. (2009). Vrednotenje javnih politik, (Knjižna zbirka Maklen). Ljubljana, SI: Fakulteta za družbene vede. Lavigne, M. (2001). Underestimating e-government costs proves costly Traditional approaches aren't enough. Albany, USA: Center for Technology in Government/University at Albany.
Liu, Z. Derzsi, M. Raus, A. Kipp, eGovernment Project Evaluation: An Integrated Framework. V M. A. Wimmer idr. (ur.), Electronic Government, 7th International Conference (str. 85-97). Berlin, DE: Springer.
Milis, K. & Mercken, R. (2004). The use of the balanced sco-recard for the evaluation of Information and Communication Technology projects. International Journal of Project Management 22 (2), 87-97.
Peterson, S. (2002). Gartner: Majority of E-Government Initiatives Fail or Fall Short of Expectations. Folsom, CA: Government Technology.
Pollitt, C. (2008). The Essential Public Manager. Maidenhead, UK: Open University Press.
Remenyi, D. (1999). IT Investment: Making a Business Case. Burlington, CA: Butterworth-Heinemann. Ringle, C. M. /W. & Sven/Will, A. (2005). SmartPLS, 2.0 (beta). Hamburg, DE: SmartPLS.
Rossi, P. & Freeman, H. E. (1993). Evaluation: a systematic approach - 5th ed. Newbury Park, CA: SAGE Publications, Inc. Röthig, P. (2004). WiBe 4.0: Recommendations on Economic Efficiency Assessments in the German Federal Administration, in Particular with Regard to the Use of Information Technology, Version 4.0 - 2004. Berlin, DE: KBSt Publication Series.
UN-DESA (2003). World Public Sector Report 2003: E-Go-vernment at the Crossroads. New York, NY: United Nations, Department of Economic and Social Affairs. Van Der Westhuizen, D. & Fitzgerald, E. P. (2005). Defining and measuring project success. V D. Remenyi (ur.), European Conference on IS Management, Leadership and Governance (str. 157-163), Reading, UK: Academic Conferences Limited. Yildiz, M. (2007). E-government research: Reviewing the literature, limitations, and ways forward, Government Information Quarterly 24 (3), 646-665.
Tina Jukic je docentka za področje informatike v javni upravi na Fakulteti za upravo Univerze v Ljubljani. Doktorirala je na področju upravnih znanosti. Raziskovalno je aktivna na področju e-uprave, pri čemer v zadnjih letih pozornost posveča predvsem metodologijam za vrednotenje politik, programov in projektov e-uprave. Sodeluje pri domačih in mednarodnih raziskovalnih in svetovalnih projektih in je (so)avtorica številnih znanstvenih in strokovnih publikacij.
Jože Benčina je izredni profesor za področje ekonomike in menedžmenta javnega sektorja na Fakulteti za upravo Univerze v Ljubljani. Doktoriral je na Ekonomski fakulteti Univerze v Ljubljani na področju upravljavskih informacijskih sistemov. Raziskuje in razvija metode za merjenje smotrnosti delovanja javnega sektorja in metode za optimizacijo odločanja v javnem sektorju, podprtih z mehko logiko. Trenutno največ časa posveča študiju faktorizacijskih metod za razvoj agregiranih indikatorjev za merjenje kakovosti javnega upravljanja in raziskovanju dejavnikov participacije občanov pri odločanju v lokalnih skupnostih.
■
■