ZNANSTVENI PRISPEVKI
B Razvoj integralnega modela kazalnikov za evaluacijo politik na področju e-uprave
Janja Nograšek, Dalibor Stanimirovic, Tina Jukic, Mirko Vintar Fakulteta za upravo, Univerza v Ljubljani, Inštitut za informatizacijo uprave, Gosarjeva ul. 5, Ljubljana
janja.nograsek@fu.uni-lj.si; dalibor. stanimirovic@fu.uni-lj.si; tina.jukic@fu.uni-lj.si; mirko.vintar@fu.uni-lj.si
Izvleček
Predložena raziskava izhaja iz predpostavke, da obstoječi modeli in orodja za evalvacijo politik na področju e-uprave odločevalcem ne zagotavljajo dovolj kakovostnih informacij za bolj kakovostno odločanje. Na podlagi temeljnih in aplikativnih raziskav je mogoče izluščiti ključne ravni odločanja, ki jih dosedanji modeli kazalnikov ali meritev skušajo spremljati s kvantitativnimi in/ali kvalitativnimi kazalniki, te so infrastrukturna raven, projektna raven, organizacijska raven, politično/sociološka raven in nacionalna raven. Navedene skupine kazalnikov se danes pojavljajo v več desetih različnih, med sabo povsem neusklajenih modelih in pristopih. Pričakovani rezultati raziskave, to je razviti integrirani model kazalnikov in pripadajoča odločitvena orodja, bodo pomenili pomemben napredek na področju raziskav metrike za evalvacijo politik in projektov e-uprave. Ključne besede: evalvacija politik, evalvacija projektov, e-uprava, metrika e-uprave, kazalniki uspešnosti e-uprave.
Abstract
Developing an Integrated Model of Indicators for Evaluating e-Government Policies
Research is based on the hypothesis that existing models and tools for evaluation of e-government policies do not provide enough valuable information to government decision makers in conducting quality decision-making. According to the available basic and applied research, it is possible to extract the key decision-making levels, monitored by the current indicators and measurement models utilizing the quantitative and/ or qualitative indicators, namely: the infrastructure level, project level, organizational level, political/sociological level, national level. These groups of indicators are now appearing in dozens of different, completely inconsistent models and approaches. The expected results of the research project, namely the developed integrated model of indicators, database of indicators and related decision support tools represent a significant advance in research of metrics for the evaluation of e-government policies and projects.
Keywords: policy evaluation, project evaluation, e-government, e-government metrics, e-government quality indicators.
1 UVOD
Razvoj e-uprave je bil v zadnjem desetletju eno ključnih razvojnih področij modernizacije javnega sektorja. V Sloveniji na letni ravni investiramo v razvoj tega koncepta poslovanja cca 120 milijonov evrov, v EU pa cca 50 milijard evrov. Kljub temu kar nekaj študij (Dadayan, 2006; Bannister, 2007; OECD, 2009b; CapGemini, 2010) ugotavlja, da ta ogromna vlaganja ne dajejo pričakovanih rezultatov. Uporaba e-stori-tev je daleč pod pričakovanji vlad; pričakovanih učinkov v smislu zniževanja stroškov in povečevanja učinkovitosti javne uprave še ni videti; organizacijske spremembe, ki naj bi prinesle večjo učinkovitost, zmanjševanje administrativnih ovir, bremen in stroškov, so šele na začetku.
Tako bo zelo težko uresničiti akcijski program EU za petindvajsetodstotno zmanjšanje administra-
tivnih bremen v EU do leta 2012 (COM, 2009). Raziskave kažejo, da je dosedanji razvoj e-uprave potekal večinoma na podlagi političnih prioritet in je le izjemoma sledil strokovno kvantificiranim kriterijem in merljivim učinkom. Ključni problem za vodenje politik na tem pomembnem področju je nerazvitost modelov kazalnikov za usmerjanje politik ter njihovo sprotno evalvacijo.
V ta namen potrebujemo čim bolj zanesljivo metriko za merjenje in evalvacijo politik in projektov e--uprave po predhodni in/ali naknadni metodi eval-vacije (t. i. metodi ex ante in/ali ex post). Metrike, mehanizmi in informacijska orodja, na podlagi katerih bi lahko kolikor toliko enostavno in zanesljivo merili
in ocenjevali učinke določenih politik ali projektov e-uprave (pa tudi projektov na drugih področjih javnega sektorja), so še v povojih. Kljub množici razvitih modelov merjenja in evalvacije nam danes na tem področju izrazito primanjkuje celovitejših in s sodobnimi ekspertnimi orodji podprtih, preprosto uporabnih odločitvenih modelov in rešitev za podporo odločanju na vseh političnih oz. strokovnih ravneh.
Ključni raziskovalni izzivi in cilji, na katere bo osredinjena predlagana raziskava, so povezani z razvojem odločitvenih modelov, kazalnikov, metrike in orodij, ki bodo odločevalcem na področju e-uprave omogočala bolj kvalificirano in kvantificirano pripravo, izvedbo in evalvacijo politik in projektov e--uprave, bodisi pred njihovo izvedbo ali po njihovi uvedbi.
V raziskavi želimo preseči predvsem navedene slabosti dosedanjih pristopov in razpoložljivih modelov. Predložena raziskava izhaja iz treh temeljnih in medsebojno povezanih hipotez oz. trditev:
1.	obstoječi odločitveni modeli in orodja za spremljanje in evalvacijo politik na področju e-uprave odločevalcem ne dajejo dovolj kvantificiranih in kakovostnih informacij za celovitejše usmerjanje in spremljanje učinkov politik in projektov e--uprave;
2.	razviti je mogoče integrirane modele kazalnikov in pripadajoča informacijska orodja, ki bodo omogočala celovito podporo evalvaciji politik e-upra-ve v fazi njihove priprave in izvedbe ter po njihovi uvedbi;
3.	različnim ravnem odločanja morajo biti prilagojeni tudi različni modeli kazalnikov, ki pa se med sabo dopolnjujejo oz. nadgrajujejo. V izhodišču smo identificirali pet ciljnih ravni (infrastruktur-na, projekta, organizacijska, politično-sociološka, nacionalna), na katere bosta osredinjena raziskava in razvoj modelov kazalnikov ter pripadajočih odločitvenih modelov.
Glavni cilji, ki jih glede na postavljene hipoteze skuša zasledovati raziskava, so:
1.	v prvi fazi bo na podlagi študije razpoložljive literature, raziskav drugih raziskovalnih projektov, ki se ukvarjajo s tem področjem, ter priporočil EU izvedena poglobljena in kritična analiza obstoječih pristopov in modelov ter sestavljena množica kazalnikov, ki se pojavljajo v obstoječih modelih;
2.	v nadaljevanju bo s sistematičnim luščenjem in primerjavami sestavljen nabor kazalnikov za po-
samezne odločevalske ravni in bodo opredeljeni njihovi atributi, način evidentiranja, nabor vrednosti, principi določanja uteži itd. Na tej podlagi bo za vsako odločevalsko raven sestavljen prilagojen odločitveni model; 3. v zaključnem delu raziskave bosta izvedena analiza in izbor primernih ekspertnih orodij za uporabo analitično-hierarhične metode odločanja (kot npr. Web-HIPRE) ter preizkus izvedenih modelov na testnih primerih. Sledila bo optimizacija modelov in informacijske rešitve do ravni prototipa. V prispevku najprej predstavljamo temeljna izhodišča za razvoj modela, zasnovo modela ter opis le--tega, faze njegovega razvoja in pričakovane rezultate; v sklepu pa izpostavljamo pomen raziskave za gospodarstvo in družbo.
2 IZHODIŠČA ZA RAZVOJ MODELA
O razvoju e-uprave govorimo šele dobrih deset, petnajst let, saj je sam izraz e-uprava zaslediti v evropskih virih šele konec devetdesetih let preteklega stoletja, nekaj let prej pa v ZDA, kjer prevladuje uporaba izraza digitalna uprava (angl. digital government). Kot je razvidno iz virov (npr. Silcock, 2001; Yildiz, 2007), sam fenomen e-uprave še nima enotne definicije. V tem kratkemu razvojnemu obdobju se je raziskovanje e-uprave razvijalo izjemno naglo.
Tako kot na področju poslovne informatike, na katerem se je pozornost raziskovalcev iz proučevanja tehnoloških rešitev in vidikov vse bolj širila na poslovne, procesne, organizacijske in ekonomske vidike uvajanja informacijske in komunikacijske tehnologije v poslovanje organizacij, je podoben pomik v fokusu viden tudi pri proučevanju pojava e-uprave. Od tehnoloških vidikov proučevanja tega pojava, ki so absolutno prevladovali nekako do prve polovice prejšnjega desetletja, se je pozornost raziskovalcev naglo širila na vprašanja, povezana z uporabnostjo in uporabo storitev ter rešitev e-uprave, v zadnjih letih pa predvsem na vprašanja uspešnosti politik in projektov e-uprave na različnih ravneh (nacionalni, regionalni, lokalni) in sektorjih (e-zdravstvo, e-šolstvo, e-sociala itd.) njenega uvajanja. Ta premik v znanstvenih prizadevanjih je razumljiv, saj države članice EU povprečno vlagajo cca 2,2 odstotka BDP v informacijsko in komunikacijsko tehnologijo na področju javnega sektorja; Slovenija je nekoliko pod povprečjem s cca 1,7 odstotka BDP (CapGemini, 2010), kar so zelo velika sredstva.
Študije OECD nakazujejo, da je nadaljnji razvoj e--uprave eden pomembnih dejavnikov racionalizacije javnega sektorja, pa tudi dejavnikov hitrejšega razvoja posameznih držav, zato se investicije v to področje v času krize ne bi smele zmanjšati. V zaostrenih jav-nofinančnih razmerah prihodnosti bo vedno težje zagotavljati ta ali celo večja sredstva, zato bo toliko bolj pomembno usmerjati investicije v nadaljnji razvoj e--uprave veliko bolj skrbno kot doslej in sproti preverjati uspešnost politik in projektov razvoja e-uprave bodisi na nacionalni, lokalni ali sektorski ravni.
V ta namen potrebujemo čim bolj zanesljivo metriko za merjenje in evalvacijo politik in projektov e-uprave po metodi predhodne ali naknadne eval-vacije. Dotedanje metrike, mehanizmi in informacijska orodja, na podlagi katerih bi lahko kolikor toliko preprosto in zanesljivo merili in ocenjevali učinke določenih politik ali projektov e-uprave (pa tudi projektov na drugih področjih javnega sektorja), so še v povojih.
Osnovni model kazalnikov, ki so ga EU in njene članice uporabljale od leta 2001 za evalvacijo politik na tem področju, je t. i. model CapGemini, ki pa je v zadnjem obdobju postal tarča mnogih kritik (Kun-stelj & Vintar, 2004; Jansen, 2005; Bannister, 2007; OECD, 2010; Vintar & Nograšek, 2010) in za katerega celo sami avtorji raziskave v poročilu iz leta 2010 (CapGemini, 2010) ugotavljajo, da je zastarel in da zahteva radikalno prenovo. Poleg tega so številne druge mednarodne organizacije in raziskovalni inštituti razvili svoje modele kazalnikov za merjenje napredka in razvitosti e-uprave in širše informacijske družbe, kar dodatno kaže na pomembnost obravnavanega področja (West, 2008; Accenture, 2009; Economist, 2010; UN E-Government Survey, 2010). Nadalje se od sredine tega desetletja začno intenzivneje pojavljati raziskave, osredinjene na razvoj modelov za evalvacijo projektov e-uprave in merjenje njenih učinkov (Hamilton, 2002; Kertesz, 2003; Datar, 2007; Dadayan, 2008), razviti so bili modeli za vrednotenje učinkov projektov e-uprave, med njimi naj izpostavimo model e-GEP (2006), ki postavlja v ospredje predvsem ekonomske učinke, ter model avstralske agencije AGIMO (2004), ki skuša celovito ovrednotiti učinke e-uprave. V tem času se je pozornost raziskovalcev usmerila tudi na proučevanje zadovoljstva uporabnikov in njihovih pričakovanj do e-uprave, na podlagi česar je bil razvit okvirni model EU za merjenje zadovoljstva uporabnikov, ki je na voljo državam
članicam pri ugotavljanju učinkov projektov e-uprave (COM, 2008).
Vsi omenjeni pristopi in modeli so parcialni in usmerjeni predvsem v evalvacijo sprememb, ki jih je e-uprava prinesla v delovanje t. i. zunanjega poslovanja oz. na področje poslovanja uprave z zunanjimi uporabniki, predvsem s podjetji in občani. Raziskovanje sprememb v notranjem poslovanju uprave, ki jih prinašajo informacijska in komunikacijska tehnologija in tehnološke inovacije, je bilo doslej skoraj povsem zapostavljeno. Glavna slabost sedanjih pristopov in modelov je, da so nastajali v različnih okoljih, na podlagi različnih izhodišč, temeljijo na različnih kazalnikih, in da so zato rezultati njihove uporabe težko primerljivi.
Raziskava tako želi preseči predvsem navedene slabosti dosedanjih pristopov in razpoložljivih modelov.
3 ZASNOVA PETSTOPENJSKEGA MODELA KAZALNIKOV ZA EVALVACIJO POLITIK NA PODROČJU E-UPRAVE
Pri oblikovanju zasnove modela smo izhajali iz teh ugotovitev:
■	celovita evalvacija politik in projektov e-uprave je eden ključnih dejavnikov uspešnega in k uporabnikom usmerjenega nadaljnjega razvoja e-uprave;
■	kljub množici razvitih pristopov in modelov še nimamo razvitega celovitega, večnivojskega modela, prilagojenega uporabi znotraj posamezne države, ki bi omogočal evalvacijo uspešnosti politik in projektov po ključnih ravneh odločanja oz. spremljanja projektov;
■	zaradi kompleksnosti področja potrebujemo večnivojski model, sestavljen iz samostojno uporabnih modelov/modulov za posamezno raven odločanja, ki po vertikali omogočajo sintezo rezultatov.
Iz do sedaj znanih temeljnih in aplikativnih raziskav je mogoče izluščiti ključna področja, ki jih dosedanji modeli kazalnikov in meritev skušajo spremljati z ustreznimi kvantitativnimi in/ali kvalitativnimi kazalniki. To so:
■	merjenje vlaganj v infrastrukturo: stroški infrastrukture informacijske in komunikacijske tehnologije, podatkovna infrastruktura, kadrovski viri, pravne podlage (infrastrukturna raven);
■	merjenje vložkov, procesov, izložkov in izidov projektov e-uprave (projektna raven);
■	merjenje transformacijskih učinkov: spremembe v zalednem poslovanju, zmanjševanje hierarhičnih ravni, prenova poslovnih procesov, zunanje izvajanje, zmanjševanje administrativnih ovir, stroškov in bremen itd. (organizacijska raven);
■	merjenje političnih in socioloških učinkov: transpa-rentnost, odprtost, korupcija, zadovoljstvo uporabnikov, participacija (politično/sociološka raven);
■	merjenje ekonomskih učinkov: stroški, javna korist, gospodarska rast (nacionalna raven).
Vse navedene skupine kazalnikov se danes pojavljajo v več deset različnih modelih in pristopih, med njimi je precej prekrivanj, definicije kazalnikov so zelo različne, meritve se opravljajo na povsem različnih metodoloških temeljih, posledično je tudi zelo težko
ali celo nemogoče primerjati rezultate meritev, četudi so te izvedene metodološko povsem korektno.
Glede na zgoraj identificirane ravni in predstavljena izhodišča za razvoj modela, je bila vzpostavljena petnivojska arhitektura modela (slika 1), ki vključuje infrastrukturno, projektno, organizacijsko, politično/sociološko in nacionalno raven. Kazalniki teh petih ravni nam lahko dajo integralno oceno določene politike na področju e-uprave.
Iz slike 1 je razvidno, da gre za pristop, pri katerem bomo skušali razviti modele za vse karakteristične ravni odločanja, ki pa bi bili med sabo konsistentni in povezljivi v smislu združevanja rezultatov po vertikali. V nadaljevanju podrobneje predstavljamo ravni odločanja oz. evalvacije in njihove značilnosti.
Slika 1: Petstopenjski model kazalnikov za evalvacijo politik na področju e-uprave
Infrastrukturna raven
Infrastrukturna raven se v prvi vrsti nanaša na t. i. zrelost oz. pripravljenost okolja za e-upravo in e--poslovanje (angl. e-readiness). Raziskave na tem področju se osredinjajo bodisi na notranji bodisi na zunanji vidik. Prve se ukvarjajo predvsem s (Kunstelj & Dečman, 2004; Kunstelj & Vintar, 2004) strategijami,
politikami in z akcijskimi načrti razvoja e-uprave, s pravnimi podlagami za e-poslovanje, politikami rabe informacijske tehnologije, z obstojem in uporabo ustrezne informacijske infrastrukture, usposobljenostjo kadrov za e-poslovanje, zavedanjem o prednostih in pasteh e-poslovanja, s finančnimi vprašanji ter z motivi in ovirami za razvoj e-uprave.
Raziskave zunanjega vidika zrelosti okolja pa se ukvarjajo zlasti z (Kunstelj & Dečman, 2004) lastništvom, interesom in s stopnjo uporabe ustrezne informacijske infrastrukture (tudi digitalni razkorak), z razlogi in ovirami za njihovo neuporabo ter mnenji, povezanimi z razvojem e-uprave na splošno. Večina raziskav notranjega in zunanjega vidika zrelosti okolja ne obravnava ločeno.
Projektna raven
Na projektni ravni se raziskave ukvarjajo predvsem 1) s predhodnimi evalvacijami projektov z namenom oblikovanja prioritet nadaljnjega razvoja; 2) z naknadnimi evalvacijami projektov z namenom ovrednotenja učinkov projektov; 3) z odločitvami o zunanjem in/ali notranjem izvajanju projektov (angl. in/outsourcing). V okviru prvih dveh točk pregled raziskav pokaže, da pristopi k tovrstnim evalvacijam velikokrat podcenjujejo t. i. javno korist in t. i. neotipljive oz. skrite stroške, kot so stroški organizacijskih sprememb. V okviru tretje točke sicer ugotavljamo, da obstajajo pomembne prednosti zunanjega izvajanja projektov informacijske in komunikacijske tehnologije, vendar je treba temeljito preučiti, kaj lahko kratkoročna stroškovna učinkovitost pomeni za uresničitev dolgoročnih ciljev organizacij, še posebno tistih v javnem sektorju. Raziskave (Thoms, 2004; Schniederjans, 2005; Taylor, 2006; Jansen, 2007) pogosto izpostavljajo prikrite stroške, odvisnost od zunanjega izvajalca in izgubo nadzora kot najbolj problematične segmente zunanjega izvajanja. Redko pa se raziskave ukvarjajo s preostalimi negativnimi posledicami. Dosedanje raziskave (Kern, Willcocks & van Heck, 2002; Linder, 2004; Power, Desouza & Bonifazi, 2006) se pretežno omejujejo na manjše število kazalnikov, ki upoštevajo le kratkoročne in parcialne vidike sodelovanja in ne obravnavajo dolgoročnih, strateških implikacij projektov zunanjega izvajanja.
Organizacijska raven
Organizacijska raven se nanaša na spremembe, ki se zgodijo v organizacijah javnega sektorja kot posledica uvedbe e-uprave. Dosedanje raziskave, ki se ukvarjajo s preučevanjem tega razmerja, bi lahko razdelili na tiste, ki se ukvarjajo s spremembami v strukturi, spremembami v procesih in spremembami v organizacijski kulturi ter pri ljudeh v organizaciji. Raziskave, ki se ukvarjajo s spremembami v strukturi, se osredinjajo na zmanjševanje hierarhičnih
ravni, decentralizacijo aktivnosti, standardizacijo postopkov, sprostitev koordinacije in kontrole ipd. (O'Donnell, Boyle & Timonen, 2003; Griffin, Foster & Halpin, 2004; Klievink & Janssen, 2009). Raziskave, ki se ukvarjajo s procesi, analizirajo horizontalno in vertikalno izvajanje procesov, hitrost izmenjave informacij, spremembe v pravilih, ki določajo proces in spremembe v času in prostoru izvajanja (Layne & Lee, 2001; Scholl, 2003; Enlaghi, Alshawi & Missi, 2007). Raziskave, osredinjene na spremembe v organizacijski kulturi, spremljajo spremembe v razmišljanju zaposlenih, v okrepitvi pripadnosti organizaciji, v okrepitvi zaupanja v organizacijah in med njimi (Ho, 2002; Schedler & Schmidt, 2004). Spremembe pri ljudeh se nanašajo na nove veščine in znanja, ki jih morajo usvojiti zaposleni ob uvedbi e-uprave; posebna pozornost je namenjena vodilnim (Leinter & Kreuzeder, 2005).
Večina raziskav pa se vsaj posredno dotakne vseh naštetih dimenzij, kar kaže na to, da je analiziranje organizacijskih sprememb ob uvedbi e-uprave večdimenzionalno in zahteva strateški pristop.
Politično-sociološka raven
Rast politične ozaveščenosti o vprašanjih, povezanih z informacijsko in komunikacijsko tehnologijo, ter spreminjajoča se vloga državljanov kot uporabnikov e-storitev sta temeljni predpostavki za razvoj informacijske družbe. Politično vodstvo na splošno štejemo za pomemben dejavnik uspeha pri uresničevanju ciljev e-uprave (OECD, 2009a) in učinkov informacijske in komunikacijske tehnologije ter širokega spektra različnih storitev e-uprave v otipljive socio-ekonomske koristi za državljane in državo kot celoto (OECD, 2009a). Politični in sociološki vplivi informatizacije ter e-uprave na družbo so zelo kompleksni. Med drugim pomembno vplivajo na spremembe v socialnem okolju, na spremembe starih in ustvarjanje novih oblik dela ter miselnosti, na dojemanje sveta in družbenih razmerij (Slevin, 2000; Anttioriko, 2001; Thurlow, Lengel & Tomic, 2004; Shim & Eom, 2008). Tehnološka revolucija je na eni strani ustvarila nove priložnosti za spodbujanje socialno-ekonomskega razvoja, na drugi strani pa je ustvarila nove izzive, povezane s tehnološko razvitostjo ter izobraženostjo in usposobljenostjo državljanov za uporabo informacijske in komunikacijske tehnologije ter storitev e--uprave (Parent, Vandebeek & Gemino, 2005; Tolbert & Mossberger, 2006). Kljub pomembnosti področja
in velikemu razvojnemu potencialu e-uprave pa so precej redki celoviti metodološki pristopi, ki bi se osredinjali na politični in sociološki vidik vrednotenja politik na področju e-uprave.
Nacionalna raven
Predmet raziskave bo tudi očitna razlika v učinkovitosti in uspešnosti Slovenije in izbranih drugih držav na področju politik e-uprave in vplivu razpoložljivih kazalnikov nacionalne (narodnogospodarske) ravni na politike e-uprave. Tudi dejavnosti na narodnogospodarski ravni lahko namreč bistveno vplivajo na stopnjo razvitosti e-uprave v posamezni državi. Dotedanje, sicer maloštevilne raziskave kot osnovni in najpomembnejši kazalnik nacionalne uspešnosti države, ki vpliva na stopnjo razvitosti e-uprave, navajajo BDP na prebivalca (Bavec & Vintar, 2007; Singh, Das & Damien, 2007), pri čemer Sing idr. (2007) predpostavljajo, da BDP igra odločilno vlogo na razvitost e-uprave prek treh vplivnih dejavnikov (tehnološke infrastrukture, človeškega kapitala in indeksa upravljanja). Drugi kazalniki na tej ravni so konkurenčnost, ekonomska učinkovitost, vladna učinkovitost, uporaba informacijske in komunikacijske tehnologije v zasebnem sektorju in indeks inovativnosti (Bavec & Vintar, 2007), izobrazba, urbanizacija (Kim, 2007). Na nacionalni ravni prihaja do očitnega prekrivanja s politično-sociološko ravnjo prek institucij, pravnega okolja, tradicije upravljanja, politične kulture, sociokulturnega okolja in državljanskih svoboščin (Heeks, 2001; Bolgherini, 2007; Lor & Britz, 2007; West, 2008).
4 FAZE RAZVOJA PETSTOPENJSKEGA MODELA IN PRIČAKOVANI REZULTATI
4.1 Faze razvoja petstopenjskega modela
Razvoj petstopenjskega modela je načrtovan v treh fazah, kot je prikazano na sliki 2.
1 Pregled in analiza obstoječih raziskav V tej fazi bo opravljena temeljita študija literature in analiza stanja in pristopov, ki so bili razviti v posameznih državah in na mednarodni ravni v zadnjih letih. Na tej podlagi bo izvedena sinteza dosedanjih
teoretičnih raziskav, modelov in pristopov, klasifikacija teh modelov in pristopov ter identificiran bo nabor kazalnikov.
Ta faza bo razdeljena na dve ključni nalogi:
■	študija vseh razpoložljivih virov ter inventarizaci-ja množice modelov, pristopov in kazalnikov;
■	klasifikacija množice kazalnikov in njihova razvrstitev glede na ravni odločanja.
2	Razvoj modelov
V	tej fazi bo treba najprej iz množice kazalnikov izločiti vsa podvajanja, postaviti definicije in sestaviti konsistenten nabor kazalnikov za izbrane ravni odločanja ter opredeliti njihove atribute, način evidentiranja, nabor vrednosti, principe določanja uteži itd. Na tej podlagi bo za vsako odločevalsko raven sestavljen prilagojen odločitveni model.
Ključne naloge v tej fazi:
■	čiščenje kazalnikov in izločanje podvajanj;
■	razvrščanje kazalnikov po izbranih ravneh odločanja;
■	opredelitev atributov kazalnikov, nabor vrednosti, način zajemanja;
■	zasnova baze podatkov kazalnikov za evalvacijo učinkov politik in projektov e-uprave;
■	koncipiranje odločitvenih modelov po ravneh odločanja ter uporabi (predhodna/naknadna eval-vacija).
3	Razvoj prototipa informacijske rešitve na podlagi razvitih odločitvenih modelov ter testiranje
V	tej fazi bo najprej opravljena analiza razpoložljivih ekspertnih orodij za analitično-hierarhične procese odločanja. Nato bodo v sodelovanju z ministrstvom za javno upravo pripravljeni testni podatki. Sledilo bo testiranje modelov na testnih podatkih, nato pa bo na podlagi dobljenih rezultatov in izkušenj opravljena optimizacija modelov.
Ključne naloge te faze:
■	analiza in izbor ekspertnega sistema;
■	priprava testnih podatkov;
■	razvoj baze podatkov kazalnikov;
■	testiranje modelov;
■	optimizacija modelov;
■	dokumentiranje prototipov.
Slika 2: Faze razvoja petstopenjskega modela
4.2 Pričakovani rezultati
S predlaganim raziskovalnim projektom bomo v prvi vrsti skušali preseči sedanjo raznolikost pristopov, modelov in kazalnikov in razviti konsistentne modele, naravnane na uporabo znotraj posamezne države, za ključne ravni odločanja. Rezultati predlagane raziskave so pomembni z več vidikov. Načrtovani razvoj integriranih modelov kazalnikov in pripadajočih orodij pomeni pomemben napredek na področju raziskav metrike e-uprave in bo lahko služil kot podlaga za aplikacijo pri oblikovanju in evalvaciji nacionalnih politik na področju e-uprave, v prvi vrsti slovenske, modeli pa bodo uporabni tudi v drugih okoljih, saj gre za problem, s katerim se srečuje večina držav. V metodološkem pogledu pa bo mogoče razvite modele adaptirati tudi za druga področja evalvaci-je javnih politik. Prednost načrtovanega integralnega hierarhičnega odločitvenega modela je v tem, da omogoča hkratno ovrednotenje učinkov politik na več ravneh oz. njihovo kvantitativno ovrednotenje, rangiranje in - ob uporabi ustreznih informacijskih orodij - tudi grafično predstavitev rezultatov. To je še posebno pomembno za politično raven odločanja, na kateri prevladujejo nestrokovnjaki za specializi-
rana področja. V zaostrenih finančnih razmerah, ki bodo zaznamovale prihodnji razvoj javnega sektorja, je razvoj ustreznih konceptualnih rešitev, podprtih z informacijskimi orodji, eden od ključnih instrumentov evalvacije in optimizacije javnih politik.
V nadaljevanju podajamo nabor pričakovanih rezultatov po posameznih razvojnih fazah. Pričakovani rezultati prve faze:
■	sistematičen pregled pristopov, modelov in skupin kazalnikov za evalvacijo učinkov politik in projektov e-uprave;
■	klasifikacijska shema kazalnikov. Pričakovani rezultati druge faze:
■	prečiščen nabor kazalnikov, urejen po ravneh odločanja;
■	modeli kazalnikov po ravneh odločanja in pristopu predhodne ali naknadne evalvacije;
■	zasnova baze podatkov kazalnikov. Pričakovani rezultati tretje faze:
■	analiza ekspertnih sistemov oz. orodij;
■	odločitveni modeli po ravneh odločanja;
■	baza podatkov kazalnikov;
■	prototip ekspertnega sistema za evalvacijo politik in projektov e-uprave.
4.3 Povezanost pričakovanih rezultatov z ukrepi za odpravo administrativnih ovir
Ocenjujemo, da so pričakovani rezultati skladni z evropskim programom o odpravi administrativnih ovir in bremen za 25 odstotkov do leta 2012 (COM, 2009) in še posebno s prvo prioriteto tega programa, to je intenzivnejša uporaba informacijske in komunikacijske tehnologije na področju javnega sektorja in razvoja javnih politik. Na veliko soodvisnost razvoja e-uprave in odprave administrativnih ovir nas konkretno opozarjajo sami programi ukrepov za odpravo administrativnih ovir, katere sprejemajo posamezne države članice EU z namenom izpolnitve cilja 25-od-stotnega znižanja teh bremen do leta 2012, pri čemer je sedaj že v večini držav članic jasno, da do konca leta 2012 ne bodo dosegle tega cilja. Slovenija je prvi program ukrepov za odpravo administrativnih ovir sprejela leta 2006, nato sta sledila še programa leta 2007 in leta 2008 za leti 2008 in 2009. Leta 2009 je bil sprejet program vlade RS za odpravo administrativnih ovir in zmanjšanje administrativnih bremen za 25 odstotkov do leta 2012 (MPJU, 2009), kot temeljni strateški in operativni dokument zmanjševanja teh bremen.
Glede na ta program so bile v skladu z enotno metodologijo za merjenje administrativnih stroškov (EMMAS) (MPJU, 2010), ki je orodje za izračun ocene teh stroškov, izvedene analize 71 zakonov in 3.529 podzakonskih predpisov, od katerih je 996 administrativno obremenjujočih, in ugotovljeno je bilo, da analizirani predpisi povzročajo gospodarstvu in državljanom 1,449 milijarde evrov administrativnih bremen in da je za uresničitev cilja 25-odstotno zmanjšanje, bremena treba znižati za 362 milijonov evrov. Glede na ugotovitve iz opravljenih analiz ter vrsto novih pobud strokovne in zainteresirane javnosti je postalo jasno, da s predlaganim načrtom ukrepov iz leta 2011, ki je sledil vladnemu programu, ne bi bil dosežen zastavljeni cilj razbremenitve v višini 362 milijonov evrov. Sledila je prenova programa s sprejetjem akcijskega programa za odpravo administrativnih ovir in zmanjšanje zakonodajnih bremen za obdobje 2012 in 2013 (v nadaljevanju akcijski program OAO) (MPJU, 2012a) in programa ukrepov za leto 2012 (MPJU, 2012b). Največji poudarek po tem programu je namenjen procesu razbremenjevanja na področju okolja in prostora, širšem delovnopravnem področju, koheziji (črpanje evropskih sredstev), področju financ in področju gospodarstva.
Že ob hitrem pregledu programa ukrepov za leto 2012 nam postane jasno, da e-uprava oz. informacijska tehnologija igra pomembno vlogo pri odpravi administrativnih bremen, saj pomembno vpliva na zniževanje stroškov gospodarstva in prispeva h kakovostnejšim storitvam javne uprave. Če za primer vzamemo ukrepe na področju financ, lahko ugotovimo, da znižanje administrativnih bremen na tem področju spremlja prenova sistema e-javnega naročanja v smeri fleksibilnosti in poenostavitve postopkov, poenostavitev obrazcev in postopkov davčnih obračunov prek sistema eDavki, e-poboti, e-vročanje prek tega sistema, zagotovitev dostopnosti, jasnosti, preglednosti in enostavnosti vseh informacij glede izpolnjevanja davčnih obveznosti z upoštevanjem uporabniške izkušnje prek enotnega informativnega sistema DURS-a, vzpostavitev enotnega in enkratnega poročanja na enem mestu za podjetja ipd. (MPJU, 2012b).
Tudi sam opis načina za znižanje nepotrebnih administrativnih bremen po akcijskem programu OAO predvideva veliko vlogo informacijskih in komunikacijskih rešitev, rešitev e-uprave za doseganje zastavljenega cilja, saj predvideva 1) poenostavitev procesov (re-inženiring); 2) izmenjavo podatkov v okviru uprave; 3) razvoj učinkovitih informacijskih in komunikacijskih rešitev in storitev, ob pogoju, da so postopki predhodno poenostavljeni; 4) približanje storitev uporabniku, t. i. uporabniška izkušnja; 5) zagotavljanje boljših, bolj dostopnih, preprostih in razumljivih navodil ter informacij; 6) uvedbo potrebnih deregulacij in 7) razveljavitev, zmanjšanje, združitev, torej izboljšanje predpisov (MPJU, 2012a: 5).
Vendar če si na drugi strani pogledamo metodologijo za merjenje administrativnih stroškov (EMMAS), privzeto po mednarodni metodologiji SCM (MPJU, 2010), ki je orodje za izračun ocene administrativnih stroškov in sestoji iz štirih delov, in sicer 1) uvodni del vsebuje splošno predstavitev metodologije in opredelitev pomembnih pojmov za uporabo modela; 2) prvi del je namenjen ocenjevanju stroškov in vsebuje natančno analizo potrebnih informacij (podatkov) in aktivnosti, ki jih zahteva posamezna zakonodaja po eni strani, po drugi strani pa omogoča pregled nad povezano zakonodajo, ki lahko povzroča podvajanje neke aktivnosti; 3) drugi del je namenjen tistim, ki bodo izvajali intervjuje v reprezentativnih podjetjih in pri posameznikih ter drugih organizacijah; vsebuje predvsem pomembne elemente za določanje velikosti administrativnih
stroškov in bremen in 4) v tretjem delu gre za oceno višine in strukture administrativnih stroškov in bremen ter preučitev in predlaganje znižanja le-teh, lahko ugotovimo, da pravzaprav ne ocenjuje samih stroškov in učinkov informacijskih rešitev, ki podpirajo ukrepe za odpravo administrativnih bremen. Že v samem opisu metodologije piše, »da gre za relativno pragmatičen pristop k ocenjevanju omenjenih stroškov, saj gre bolj za indikativne ocene kot pa statistično reprezentativne ocene administrativnih stroškov« (MPJU, 2010: 1).
Povezava predlaganega petstopenjskega modela kazalnikov za evalvacijo politik na področju e-uprave z ocenjevanjem učinkov administrativnih bremen in ovir bi prav gotovo pripomogla k bolj premišljenemu nadaljnjemu določanju ukrepov za odpravo le-teh. Predlagani petstopenjski model kazalnikov omogoča vključitev administrativnih bremen in ovir v evalvacijski proces, z analizami občutljivosti pa lahko simuliramo njihove učinke na gospodarstvo, državljane in javno upravo ter tako pripomoremo k bolj utemeljenemu in z dokazi podprtemu modeliranju in razvoju ukrepov za odpravo administrativnih bremen in ovir. Razvoj e-uprave in akcijski program OAO morata torej biti tesno povezana in medsebojno usklajena. Eden izmed pričakovanih rezultatov predlaganega modela je namreč tudi ta, da bo - kljub njegovi primarni osredinjenosti na razvoj modelov kazalnikov za vrednotenje politik in projektov e-uprave - znaten del njegovih izsledkov in rezultatov z manjšimi dopolnitvami uporaben pri evalvaciji politik tudi na drugih področjih javnega sektorja, torej tudi področij, katera v ospredje postavlja akcijski program OAO.
5 SKLEP
Skoraj vse države se v času krize soočajo z nujnostjo racionalizacije javnega sektorja ob hkratnem povečevanju njegove učinkovitosti. K temu cilju nas zavezujejo tudi nekatere evropske direktive, denimo zahteva po zmanjšanju administrativnih bremen za 25 odstotkov do leta 2012 itd. Prepričani smo, da je učinkovit razvoj e-uprave eden od ključnih instrumentov za doseganje teh ciljev slovenske vlade in vlad drugih držav. Študije kažejo, da lahko razvita e-uprava prispeva do dodatne cca 0,5-odstotne letne gospodarske rasti, kar je v teh časih zelo veliko.
Ključni problemi slovenskega javnega sektorja so njegova predimenzioniranost, neučinkovitost ter od-
sotnost politik in nagrajevanja na podlagi rezultatov. Vse to je v veliki meri posledica nerazvitih kvantitativnih in kvalitativnih instrumentov za boljše načrtovanje javnih politik ter sprotno spremljanje in eval-vacijo njihovih učinkov bodisi na nacionalni ravni ali na nižjih ravneh odločanja, denimo na ravni posameznih ministrstev, na ravni posameznih sektorjev javne uprave, kot so državna uprava, zdravstvo, šolstvo, sociala, ali na ravni posameznih javnih zavodov. Odsotnost uporabnih instrumentov, kazalnikov, normativov in standardov pa je posledica tega, da smo v preteklosti veliko premalo vlagali v raziskave tega področja.
Obstaja veliko raziskav in indikatorjev, ki kažejo, da je razvoj e-uprave - še posebno e-storitev - v preteklosti potekal prioritetno bolj po političnih preferencah in le delno na podlagi strokovno preverljivih in merljivih učinkov teh storitev.
V okviru projekta bomo razvili modele in orodja, ki bodo omogočala veliko bolj kvalificirano evalvaci-jo politik, projektov in storitev e-uprave ter njihovih učinkov za občane, podjetja in družbo kot celoto. Odločanje in postavljanje prioritet na tej podlagi bo bolj zanesljivo, nadaljnji razvoj e-uprave bo bolj uspešen, investicije v to področje bodo zagotavljale večjo dodano vrednost za podjetja in občane, kar je v interesu vse družbe.
Čeprav je predlagani projekt v prvi vrsti osredi-njen na razvoj modelov kazalnikov za vrednotenje politik in projektov e-uprave, ki so sicer ključni za dano modernizacijo in racionalizacijo slovenskega javnega sektorja, bo znaten del izsledkov in rezultatov predlagane raziskave z manjšimi dopolnitvami uporaben pri evalvaciji politik tudi na drugih področjih javnega sektorja.
6 VIRI IN LITERATURA
[1]	ACCENTURE. (2009). From e-Government to e-Governance: Using new technologies to strengthen relationships with citizens. Dublin: Insitute for Health and Public Service Value.
[2]	AGIMO - Australian Government Information Office. (2004). Demand and Value Assessment Methodology. Commonwealth of Australia.
[3]	Anttiroiko, A. V. (2011). Toward the European Information Society. Communications of the ACM, 44 (1), 31-35.
[4]	Bannister, F. (2007). The curse of the benchmark: an assessment of the validity and value of e-government comparisons. International Review of Administrative Sciences, 73(2), 171-188.
[5]	Bavec, C. & Vintar, M. (2007). What Matters in the Development of the E-Government in the EU? V: EGOV 2007, LNCS 4656, Wimmer, M. A.; Scholl, H. J.; Gronlund, A. (ur.) (str. 424-435). Berlin: Springer-Verlag.
[6]	Bolgherini, S. (2007). The Technology Trap and the Role of [26 Political and Cultural Variables: A Critical Analysis of the E-Government Policies. Review of Policy Research, 24(3), 259-275.	[27
[7]	CapGemini. (2010). Digitizing Public Services in Europe: Putting ambition into action. Report of the 9th Measurement. European Commission, Directorate General for the Information [28 Society and Media.
[8]	Dadayan, L. (2006). Measuring Return on Government IT Investments. Proceedings of the 13th European Conference on Information Technology Evaluation. Genoa: Italy.	[29
[9]	Datar, M. (2007). Determining Priorities of E-Government: A Model Building Approach . 5th International Conference on E-Governance. Hyderabad.	[30
[10]	ECONOMIST. (2009). E-readiness ranking 2009, The usage imperative. Economist Intelligence Unit.
[11]	eGEP - eGovernment Economics Project. (2006). Economic [31 Model, Final Version. Brussels: European Commission: DG Information Society and Media.
[12]	Elnaghi, M., Alshawi, S. & Missi, F. (2007). A Leadership Model for e-Government Transformation. Proceedings of Euro- [32 pean and Mediterranean Conference on Information Systems. Spain: Polytechnic University of Valencia.
[13]	European Commission. (2008). Study on the measurement of e-government user satisfaction and impact. Brussels: Deloitte [33 Consulting and Indigov.
[14]	European Commission. (2009). Action Programme for Reducing Administrative Burdens in the EU. Brussels: European [34 Commission; C0M(2009) 544 final.
[15]	Griffin, D., Foster, A. & Halpin, E. (2004). Joined-up E-gover- [35 nment: an exploratory study of UK local government progress. Journal of Information Science and Technology, 1(2), 58-83.
[16]	Hamilton, B. A. (2002). Building a Methodology for Measuring [36 the Value of E-Services. USA Social Security Administration.
[17]	Heeks, R. (2001). Building e-governance for development: A [37 framework for national and donor action. I-government working paper series No.12 . Manchester, U. K.: Institute for De- [38 velopment Policy and Management.
[18]	Ho, A. T.-K. (2002). Reinventing Local Governments and the E-Government Initiative. Public Administration Review, 62(4), [39 434-444.
[19]	Jansen, A. (2005). Assessing E-government progress - why and what. NOKOBIT2005. ISBN 82-8033-026-7, ISSN 1504- [40 1697. Bergen: Department of E-Government Studies, University of Oslo, Norway.
[20]	Jensen, P. H. (2007). Public Sector Outsourcing Contracts - [41 The Impact of Uncertainty, Incentives and Transaction Costs
on Contractual Relationships. V E. K. Mueller (ur.), VDM Verlag. Saarbrücken.	[42
[21]	Kern, T., Willcocks, L. P. & van Heck, E. (2002). The winner's curse in IT outsourcing: Strategies for avoiding relational trauma. California Management Review, 44(2), 47-69.	[43
[22]	Kertesz, S. (2003). Cost-Benefit Analysis of e-Government Investments. Cambridge: Harvard University, J. F. Kennedy School of Government.	[44
[23]	Kim, C.-K. (2007). A Cross-national Analysis of Global E-go-vernment. Public Organiz Rev, 7(4), Springer, 317-329.
[24]	Klievnik, B. & Janssen, M. (2009). Realizing joined-up gover- [45 nment - Dynamic capabilities and stage models for transformation. Government Information Quarterly, 26(2), 275-284. [46
[25]	Kunstelj, M. & Decman, M. (2004). Metrika na podrocju spremljanja razvoja e-uprave. V M. Vintar & J. Grad (ur.), E-uprava: Izbrane razvojne perspektive (str. 37-60). Ljubljana: Fakulteta [47 za upravo.
Kunstelj, M. & Vintar, M. (2004). Evaluating the progress of e-government development: A critical analysis. Information Polity; 9(3/4), 131-148.
Layne, K. & Lee, J. (2001). Developing fully functional E-go-vernment: A four stage model. Government Information Quarterly, 18(2), 122-136.
Leitner, C. & Kreuzeder, M. (2005). Organisational Changes, Skills and the Role of Leadership Required by eGovernment. V: EGOV2005, LNCS 3591, M. A. Wimmer et al. (ur.), 210-217.
Linder, J. C. (2004). Outsourcing for Radical Change: A Bold Approach to Enterprise Transformation, 1st ed. New York: AMACOM.
Lor, P. J. & Britz, J. J. (2007). Is a knowledge society possible without freedom of access to information? Jouranl of Information Science, 33(4), 387-397.
MPJU. (2009). Program Vlade RS za odpravo administrativnih ovir in zmanjšanje administrativnih bremen za 25 % do leta 2012. Ljubljana: RS, Ministrstvo za javno upravo in pravosodje.
MPJU. (2010). Enotna metodologija za merjenje administrativnih stroškov, privzeta po mednarodni metodologiji SCM -EMMAS. Ljubljana: RS, Ministrstvo za javno upravo in pravosodje.
MPJU. (2012a). Akcijski program za odpravo administrativnih ovir in zmanjšanje zakonodajnih bremen za obdobje 2012 in 2013. Ljubljana: RS, Ministrstvo za javno upravo in pravosodje. MPJU. (2012b). Načrt ukrepov 2012-2013. Ljubljana: RS, Ministrstvo za javno upravo in pravosodje. O'Donnell, O., Boyle, R. & Timonen, V. (2003). Transformational aspects of E-government in Ireland: Issues to be addressed. Electronic Journal of e-Government, 1(1), 23-32. OECD. (2009a). Focus on Citizens: Public Engagement for Better Policy and Services. Paris: OECD. OECD. (2009b). Rethinking e-Government Services: User-centred approaches. Paris: OECD.
OECD. (2010). E-Government Indicators: Proposal for a new Framework and Methodology. Paris: The Public Governance and Territorial Development Directorate. Parent, M., Vandebeek, C. A. & Gemino, A. C. (2005). Building Citizen Trust through e-Government. Government Information Quarterly, 22(4), 720-736.
Power, M. J., Desouza, K. C. & Bonifazi, C. (2006). The Outsourcing Handbook: How to Implement a Successful Outsourcing Process. Chicago: Kogan Page. Schedler, K. & Schmidt, B. (2004). Managing the e-gover-nment organization. International Public Management Review, 5(1), 1-20.
Schniederjans, M. J., Schniederjans, A. M. & Schniederjans, D. G. (2005). Outsourcing And Insourcing in an International Context, M. E. Sharpe (Eds). London. Scholl, H. J. (2003). E-government: A Special Case of ICT--enabled Business Process Change. 36th Hawaii International Conference on System Sciences, (str. 1-12). Shim, D. C. & Eom, T. H. (2008). E-Government and Anti-Corruption: Empirical Analysis of International Data. International Journal of Public Administration, 31(3), 298-316. Silcock, R. (2001). What is E-government? Parliamentary Affairs. Hansard Society, 54(1), 88-101. Singh, H., Das, A. & Damien, J. (2007). Country-level determinants of e-government maturity. Communications of the Association for Information Systems, 20(40), 632-648. Slevin, J. (2000). The Internet and Society. Cambridge: Polity Press.
[52]	-- (2010). UN E-Government Survey 2010: Leveraging e-go-vernment at a time of financial and economic crisis. New York: United Nations Department of Economic and Social Affairs.
[53]	Vintar, M. & Nograsek, J. (2010). How much can we trust different e-government surveys? The case of Slovenia. Information polity, 15(3), 199-213.
[54]	West, D. M. (2008). Improving Technology Utilization in Electronic Government around the World. Center for Public Policy, Brown University, US.
[55]	Yildiz, M. (2007). E-government research: Reviewing the literature, limitations and ways forward. Government Information Quarterly, 24(3), 646-665.
■
Janja Nograšek je diplomirala na Fakulteti za upravo Univerze v Ljubljani, trenutno pa je na tej fakulteti zaposlena kot mlada raziskovalka in asistentka za področje informatike v javni upravi. Njeno raziskovalno delo je usmerjeno predvsem v analizo organizacijskih sprememb, ki se zgodijo kot posledica uvajanja
e-uprave v organizacije javnega sektorja. Poleg tega se ukvarja tudi z e-upravo v širšem smislu.
■
Dalibor Stanimirovič je magistriral na Fakulteti za upravo Univerze v Ljubljani. Je asistent za področje informatike v javni upravi in aktivni član Inštituta za informatizacijo uprave. Sodeluje v številnih delovnih telesih in projektnih skupinah, dejaven pa je tudi na področju raziskovalnega dela. Raziskovalne izsledke predstavlja na različnih mednarodnih in domačih konferencah, objavil je tudi več prispevkov v domačih in tujih znanstvenih revijah. Raziskovalna področja, ki ga najbolj
zanimajo, so e-uprava, zdravstveni informacijski sistemi, poslovnoinformacijska arhitektura in socialne razsežnosti informacijske in komunikacijske tehnologije.
■
Tina Jukič je leta 2012 doktorirala na Fakulteti za upravo Univerze v Ljubljani, na kateri je asistentka za področje informatike v javni upravi. V okviru raziskovalnega dela v zadnjem času največ pozornosti namenja evalvaciji projektov in storitev e-uprave. Sodeluje pri številnih domačih in mednarodnih projektih s področja
e-uprave, znanstvene in strokovne prispevke pa redno objavlja v domačih in tujih publikacijah.
■
Mirko Vintar je doktoriral iz informacijsko-upravljavskih ved na Ekonomski fakulteti Univerze v Ljubljani. Že več kot dvajset let se ukvarja z informatizacijo uprave in v zadnjih letih intenzivno tudi z razvojem e-uprave. Je vodja vrste domačih in mednarodnih raziskovalnih in razvojnoaplikativnih projektov s tega področja. Je član več mednarodnih znanstvenih in strokovnih teles, ki se ukvarjajo z raziskovanjem obravnavanega področja (EGPA, Study group on Informatization of Public Administration, IFIP, WG 8.5, NISPAcee, WG on E-government). V letih 1993-2002 je bil glavni in odgovorni urednik revije Uporabna informatika.
[48]	Taylor, H. (2006). Critical risks in outsourced IT projects: the intractable and the unforeseen . Communications of the ACM, 49(11), 75-79.
[49]	Thoms, B. (2004). Outsourcing: Inside Out and Outside in, Stevens institute of technolog. New Jersey: Hoboken.
[50]	Thurlow, C., Lengel, L. & Tomic, A. (2004). Computer mediated communication: Social interaction and the internet. London, Thousand Oaks, New Delhi: Sage Publications.
[51]	Tolber, C. J. & Mossberger, K. (2006). The Effects of E-Gover-nment on Trust and Confidence in Government. Public Administration Review, 66(3), 354-370.