Oznaka poročila: ARRS-RPROJ-ZP-2011-1/9 ZAKLJUČNO POROČILO O REZULTATIH RAZISKOVALNEGA PROJEKTA A. PODATKI O RAZISKOVALNEM PROJEKTU 1. Osnovni podatki o raziskovalnem projektu Šifra projekta J7-0004 Naslov projekta The integration of Internet into probability based surveys Vodja projekta 10155 Vasja Vehovar Tip projekta J Temeljni projekt Obseg raziskovalnih ur 4.650 Cenovni razred C Trajanje projekta 02.2008 - 01.2011 Nosilna raziskovalna organizacija 582 Univerza v Ljubljani, Fakulteta za družbene vede Raziskovalne organizacije -soizvajalke Družbenoekonomski cilj 13. Splošni napredek znanja - RiR financiran iz drugih virov (ne iz splošnih univerzitetnih fondov - SUF) . Družbeno-ekonomski cilj1 Šifra 13.05 Naziv Družbene vede - RiR financiran iz drugih virov (ne iz SUF) 2. Sofinancerji2 1. Naziv Naslov 2. Naziv Naslov 3. Naziv Naslov B. REZULTATI IN DOSEŽKI RAZISKOVALNEGA PROJEKTA 3. Poročilo o realizaciji programa raziskovalnega projekta3 Osnovni namen zaključenega projekta je bil proučiti vključevanje spletnih anket v verjetnostne vzorce na način, ki omogoča optimizacijo anketnih napak in stroškov raziskovanja. Eden ključnih problemov sodobne anketne metodologije namreč predstavlja hitro naraščanje stroškov ob hkratnem upadanju pripravljenosti za sodelovanje. Spletne ankete ponujajo visoko hitrost zbiranja podatkov ob nizkih stroških, vendar so pri tem podvržene problemom neodgovora in nepokritja v splošnih populacijah. To zahteva proučevanje kompleksnih anketnih načrtov z natančnim upoštevanjem kakovosti zbranih podatkov in stroškov v različnih fazah anketnega projekta. V okviru projekta smo zastavili naslednje raziskovalne cilje: 1. Analiza zakonitosti sodelovanja anketirancev v spletnih anketah, ki temeljijo na verjetnostnih vzorcih, s pomočjo analize obstoječih študij kombiniranja različnih načinov (angl. mixed-mode surveys). 2. Empirične ocene verjetnosti in pripravljenosti za sodelovanje ob različnih pogojih (način vabljenja k sodelovanju, anketiranja in nagrajevanja anketirancev). 3. Razvoj modela za optimizacijo anketnega načrta z upoštevanjem kakovosti podatkov (napak) in stroškov na vsakem koraku anketnega raziskovanja. 4. Integracija rezultatov v inovativno in interaktivno spletno aplikacijo za izdelavo in izvedbo spletnih anket in anket s kombiniranimi načini anketiranja. 1. Analiza obstoječih raziskav Za izhodišče raziskovalnih aktivnosti smo pripravili in izvedli celosten pregled obstoječe literature, ki smo jo identificirali z uporabo spletne strani WebSM in drugih pomembnejših besedilnih zbirk. Najdene študije in njihove ugotovitve smo sistematično proučili ter na njihovi osnovi zasnovali nadaljnje raziskovalno delo na projektu. Ključne ugotovitve pri tem so bile: • Nižja stopnja sodelovanja v spletnih anketah v primerjavi z drugimi načini anketiranja, kar zahteva razvoj in uporabo ustreznih mehanizmov motiviranja anketirancev. • Potencial uporabe panelnega raziskovanja za zbiranje podatkov s spletnimi anketami, saj je s takšnim pristopom lažje doseči ciljno populacijo internetnih uporabnikov. • Splošna učinkovitost nagrajevanja anketirancev za izboljšanje stopnje sodelovanja, zlasti pri uporabi vnaprej podarjenega simboličnega zneska gotovine. Pomembna ugotovitev analize raziskav je tudi, da je sistematično hkratno proučevanje stroškov in napak anketnega raziskovanja, navkljub izjemni pomembnosti, redko v znanstvenem metodološkem raziskovanju. To pomembno poudarja pristop, ki smo ga razvili v okviru zaključenega projekta, saj ponuja orodje in metodologijo za takšno evalvacijo anketnih procesov. 2. Empirična študija Osrednji del projekta je bila empirična študija za proučevanje napak in stroškov anketnega raziskovanja, katere cilja sta bila: 1) analizirati dejavnike sodelovanja v anketah s kombiniranimi načini v Sloveniji ter 2) pridobiti vir vhodnih podatkov za izdelavo optimizacijskega modela. Na osnovi metodološke literature smo izdelali sedem eksperimentalnih skupin z variiranjem načinov vabljenja k sodelovanju in anketiranja. Uporabili smo naslednje načine anketiranja: 1) spletna anketa z naknadnim poštnim anketiranjem, 2) spletna anketa z naknadnim telefonskim anketiranjem in 3) samo poštna anketa. Prvi dve skupini smo nadalje razdelili glede na darilo ob najavi ankete: 1) brez darila, 2) praktično darilo in 3) bankovec za 5€. Glavno empirično študijo smo izvedli v sodelovanju s Statističnim uradom Republike Slovenije na Anketi o uporabi IKT v gospodinjstvih in pri posameznikih 2008 (IKT-GOSP). Statistični urad je anketo izvedel z uporabo terenskega anketiranja in v kombinaciji s telefonskim anketiranjem, FDV pa z zgoraj opisanimi eksperimentalnimi načini. Ker je bil v obeh primerih uporabljen reprezentativen vzorec državljanov Republike Slovenije iz Centralnega registra prebivalstva, smo lahko rezultate neposredno primerjali in s tem pridobili kakovosten vpogled v napake različnih načinov anketiranja. Poleg pripravljenosti za sodelovanje anketirancev v različnih načinih anketiranja, smo analizirali tudi različne vidike kakovosti odgovorov anketirancev in podatkov. Zbrani podatki so tako dragocen vir informacij o učinkovitosti nagrajevanja anketirancev in načinov anketiranja za uradne in druge ankete v Sloveniji. Zlasti analiza nagrajevanja je ponudila izjemno pomembna in za Slovenijo pionirska spoznanja o zelo visokem pozitivnem vplivu denarnega darila na stopnjo sodelovanja - ta je v kombiniranem načinu anketiranja s spletno in poštno znašala 73 % in celo presegla stopnjo sodelovanja v uradni anketi Statističnega urada. Posebej presenetljiv pa je bil paradoks, ugotovljen s podrobno analizo kakovosti podatkov, ki je pokazala problematičnost podatkov navkljub visoki stopnji sodelovanja. Uporaba takšnega načina nagrajevanja in izvedbe ankete je namreč pritegnila specifične segmente populacije (uporabnike interneta), kar je privedlo do izrazito pristranskih ocen glede na uradno anketo. Za celostno proučitev dobljenih podatkov smo natančno analizirali posamezne faze anketiranja in strukture prehodov med fazami. Uvedli smo pristop hkratnega ocenjevanja pristranskosti s srednjo kvadratno napako (MSE - angl. Mean squared error) prek vseh ključnih spremenljivk z uporabo standardizirane razlike glede na podatke uradne ankete. Z analizo strukture vzorcev smo ugotovili, da je uporaba nagrajevanja izboljšala natančnost ocen glede na spol in starost anketirancev, hkrati pa zmanjšala natančnost ocen izobrazbe. Pričakovano so se razlike zmanjšale po uvedbi drugega načina anketiranja (anketiranje spletnih nerespondentov po pošti oz. telefonu). V splošnem so bile razlike v ocenah med eksperimentalnimi in uradno anketo najmanjše brez uporabe nagrad, največje pa prav pri denarnih nagradah. Razlik ni bilo mogoče uspešno odpraviti niti z natančno študijo učinkovitosti različnih pristopov uteževanja, ki smo jo izvedli v sodelovanju s Statističnim uradom. Rezultati empiričnega raziskovanja so potrdili pomembno ugotovitev, da stopnja sodelovanja v anketah ni zadosten kazalec kakovosti zbranih podatkov. Uporaba nagrajevanja je tako lahko v Sloveniji sicer izjemno učinkovita za spodbujanje sodelovanja anketirancev, vendar pa moramo pri tem zagotoviti ustrezen način zbiranja podatkov, ki bo zmanjševal možnosti pristranskosti zaradi neproporcionalno večjega sodelovanja specifičnih skupin v populaciji. 3. Optimizacijski model V prvem delu projekta smo konceptualizirali model za optimizacijo napak in stroškov anketnega raziskovanja, ki omogoča ocenjevanje optimalnosti določenega anketnega načrta. Model v osnovi vzpostavlja povezavo med obema kriterijema kot produkt MSE ključnih spremenljivk ter fiksnih in variabilnih stroškov. Izračun komponente pristranskosti v MSE zahteva poznavanje prave vrednosti spremenljivke, kar je v praksi pogosto težko ali celo nedosegljivo. Alternativno lahko za pridobitev uporabimo način anketiranja, za katerega utemeljeno predpostavljamo največjo točnost podatkov, ne glede na stroške raziskovanja. V primeru zgoraj predstavljene empirične študije smo za nekatere demografske spremenljivke (starost, spol, tip naselja) pridobili podatke o pravih vrednostih spremenljivk iz Centralnega registra prebivalstva, za ostale pa smo kot kriterij za primerjavo uporabili ocene terenske ankete Statističnega urada. Izdelali smo podroben načrt ocenjevanja stroškov anketiranja. Anketno raziskovanje smo konceptualno razdelili na fazi kontaktiranja anketirancev in zbiranja podatkov ter identificirali različne vire fiksnih in variabilnih stroškov znotraj njiju. Vzpostavili smo potrebne enačbe za izračun teh stroškov v različnih fazah anketnega projekta in glede na prehode med temi fazami. Na vsakem koraku je namreč treba upoštevati tako stroške respondentov (torej stroške anketiranja), kot tudi stroške nerespondentov, za katere so potrebni nadaljnji koraki vabljenja k sodelovanju ali preusmeritev v alternativne načine anketiranja. Za reševanje kompleksnega problema ocenjevanja stroškov anketiranja v različnih pogojih smo razvili aplikacijo za ocenjevanje stroškov različnih (tudi kombiniranih) načinov anketiranja, pri čemer upošteva različne parametre anketnega projekta (trajanje, obseg vprašalnika, stroške dela anketarjev in drugega osebja), ocene stopenj sodelovanja in točnosti ocen ter prehode med različnimi fazami anketnega projekta za različne ciljne skupine. Na tej podlagi algoritem sam preračuna stroške anketiranja ter jih primerja glede na dejansko ali pričakovano pristranskost rezultatov. Aplikacija ponuja visoko stopnjo fleksibilnosti, kar je izjemno pomembno, saj se načini obračunavanja stroškov močno razlikujejo med različnimi načini anketiranja in zlasti med različnimi raziskovalnimi organizacijami. Konceptualiziran model smo najprej uporabili na podatkih in analizah empirične študije, kjer smo ugotovili, da je osebno anketiranje - kljub visokim stroškom - ostalo optimalen način anketiranja za večino ključnih spremenljivk. V nadaljevanju smo model nadgradili tako, da omogoča hkratno obravnavo večjega števila spremenljivk in s tem upoštevanje kakovosti podatkov za različne ciljne spremenljivke. Implementirali smo ga tudi znotraj programa za statistično programiranje R, s čimer smo poenostavili simuliranje velikega števila različnih anketnih scenarijev ter omogočili kompleksne grafične in številske prikaze med njimi. Izvedli smo vrsto simulacij z različnimi fiksiranimi parametri (stopnjami odgovorov, pristranskostjo ocen, stroški raziskave), ki so pokazale pomembnost upoštevanja teh parametrov pri ocenjevanju optimizacije različnih načinov anketiranja. S simulacijami smo proučili tudi obnašanje stroškov in optimalnosti različnih načinov pri različnih velikostih vzorcev. Tako je, denimo, vključevanje spletnega anketiranja smiselno pri večjih začetnih vzorcih, ko odsotnost posebnih variabilnih stroškov spletnega načina preseže fiksne stroške njegove vzpostavitve. Optimizacijski model ter aplikacija za ocenjevanje stroškov in optimalnosti različnih anketnih načrtov na njegovi osnovi sta izjemno uporabno orodje za analizo obstoječih in pripravo novih anketnih raziskav. Na osnovi obstoječih empiričnih podatkov in predhodnih izkušenj z različnimi ciljnimi populacijami je namreč mogoče oceniti stroške različnih anketnih pristopov pri zahtevani točnosti ocen po posameznih skupinah anketirancev ter tako sprejeti informirano odločitev o najoptimalnejšem anketnem načrtu. 4. Izdelava aplikacije za spletno anketiranje Skozi ves čas trajanja projekta je potekal intenziven razvoj aplikacije za anketiranje 1KA. Načrt razvoja aplikacije smo pripravili tako, da je zagotavljal napredne funkcionalnosti za potrebe raziskovanja v okviru zaključenega projekta in hkrati uporabnost za splošno-namenske ankete za najširši krog uporabnikov spletnega anketiranja. Aplikacijo 1KA smo utemeljili na najsodobnejših spletnih tehnologijah in s tem omogočili razvoj in enostavno uporabo širokega nabora zmogljivosti, od osnovnih do najnaprednejših. Ključne osnovne funkcionalnosti, ki smo jih razvili, med drugim vključujejo: • Širok nabor tipov vprašanj, vključno z osnovnimi in kompleksnimi oblikami lestvic (matrik) vprašanj. • Napreden interaktiven sistem za določanje pogojnih prikazov vprašanj (preskokov), ki omogoča izdelavo najzahtevnejših vprašalnikov. • Raznolike možnosti sprotnega preverjanja ustreznosti anketirančevih odgovorov (neodgovor, tip vnosa, rang številskih vrednosti in konsistentnost odgovorov). • Prilagodljivost vizualne podobe spletnega vprašalnika. • Samodejno pošiljanje vabil anketirancem prek elektronske pošte ter opominjanje nerespondentov. • Izvoz podatkov v tekstovno datoteko, elektronske preglednice (npr. Microsoft Excel in OpenOffice.org Calc) in SPSS. • Univariatno in bivariatno statistično analizo podatkov neposredno v programu ter samodejno ustvarjanje poročil z rezultati ankete. Poleg osnovnih funkcionalnosti aplikacija ponuja tudi vrsto naprednih zmogljivosti, ki jo uvrščajo v sam vrh sorodnih (zlasti odprtokodnih) aplikacij: • Samodejno izračunavanje vrednosti na osnovi odgovorov anketirancev. • Zanke za večkratno ponavljanje istih sklopov vprašanj. • Podpora vprašalnikom za merjenje socialnih omrežij. • Podpora različnim načinom anketiranja (spletno, telefonsko in osebno) ter vnosu podatkov iz poštnih vprašalnikov. • Večjezična podpora. • Napreden sistem za testiranje anketnih vprašalnikov, samodejno ocenjevanje trajanja anketiranja in upravljanje celotnega anketnega projekta. • ... Zaradi podpore kombiniranim načinom anketiranja v različnih fazah anketnega projekta, je ob uporabi aplikacije za anketiranje skupaj z razvitimi rešitvami za ocenjevanje optimizacije anketnega procesa uporabnikom ponujeno napredno orodje za kakovostno in stroškovno učinkovito anketno raziskovanje. Uporabnik lahko namreč isti vprašalnik (po potrebi z minimalnimi spremembami) uporabi za različne načine anketiranja, ki jih določi s pomočjo izdelanega optimizacijskega modela. Za omogočanje uspešnega upravljanja anketnih projektov, vključno s kombiniranimi načrti, smo razvili transparenten sistem evidenc o anketirancih, na osnovi katerega lahko uporabnik spremlja statuse posameznih anketirancev in jih po potrebi preusmerja v druge načine anketiranja ali vabljenja k sodelovanju. Posebno pozornost pri razvoju aplikacije smo namenili upoštevanju uveljavljenih metodoloških standardov in prijaznosti do uporabnika. V ta namen kontinuirano spremljamo zadovoljstvo uporabnikov in zbiramo predloge za izboljšave, ki jih nato implementiramo skladno z načrtom razvoja. Izvedli smo tudi uporabniško testiranje s standardiziranim pristopom ocenjevanja uporabnosti. Skupina testnih uporabnikov je v aplikaciji izdelala vprašalnik na osnovi posredovane pisne predloge. Njihovo delo smo spremljali z merjenjem časa izdelave, števila potrebnih klikov in identifikacijo morebitnih težav. Vsak uporabnik je nato izpolnil vprašalnik za merjenje zadovoljstva z aplikacijo (SUMI - Software Usability Measurement Inventory). S tem smo pridobili dragocene informacije, na osnovi katerih smo pomembno izboljšali uporabniško izkušnjo z aplikacijo 1KA. Odprtokodna zasnova in prosta dostopnost aplikacije na spletnih straneh www.1ka.si (slovenska) ter www.1cs.si (angleška) omogočata njeno uporabo širokemu krogu zainteresiranih uporabnikov z različnih področij uradnega, akademskega in komercialnega raziskovanja. Prijaznost uporabniškega vmesnika pa zagotavlja pomoč pri izdelavi naprednih in metodološko ustreznih anket tudi uporabnikom brez naprednega tehničnega znanja. 5. Diseminacija rezultatov Diseminacija rezultatov je bila pomembna aktivnost ves čas trajanja projekta in je zagotavljala njegovo prepoznavnost v mednarodni skupnosti, hkrati pa prispevala nova spoznanja na področju anketne metodologije v znanstveno skupnost. Tekom študija obstoječe literature smo identificirali obširen nabor novih znanstvenih referenc na področju spletne in splošne anketne metodologije, ki smo jih sproti vključevali v podatkovne baze portala WebSM, osrednjega in mednarodno prepoznavnega spletnega mesta za metodologijo spletnih anket. Portal je tako nadalje utrdil svoje pomembno mesto v znanstveni skupnosti, kar potrjuje tudi nagrada Ameriškega združenja za raziskovanje javnega mnenja 2009 Warren J. Mitofsky Innovators Award, ki sta jo zanj prejela Vasja Vehovar in Katja Lozar Manfreda. Na spletnem mestu so dostopni tudi vsi objavljeni projektni rezultati, kar omogoča vsem zainteresiranim uporabnikom njihovo izkoriščanje za namene lastnega anketnega raziskovanja. Rezultate projektnih raziskav in sam raziskovalni projekt smo predstavili na več kot desetih mednarodnih konferencah, vključno z American Association for Public Opinion Research Annual Conference, International Workshop on Household Survey Nonresponse, International Conference on Social Science Methodology in Conference of the European Survey Research Association. Na osnovi rezultatov smo objavili članek v reviji, indeksirani v SCI, Social Science Computer Review, pripravljeni pa so tudi članki za oddajo v revijo Field Methods in objavo na letošnjih konferencah American Association for Public Opinion Research Annual Conference ter Conference of the European Survey Research Association. Rezultati projekta pomembno prispevajo k možnostim optimalne implementacije spletnih anket in anket s kombiniranimi načini na različnih raziskovalnih področjih. Posebno pozornost smo zato namenili komunikaciji z akademskimi in uradnimi raziskovalnimi organizacijami v slovenskem in mednarodnem prostoru. Pri tem je bilo zlasti intenzivno sodelovanje s Statističnim uradom Republike Slovenije, ki je sodeloval v empiričnem delu raziskovanja. Rezultate in projektne aktivnosti smo predstavili tudi vrsti komercialnih organizacij in raziskovalnih centrov. V tem okviru je potekala komunikacija s sorodnimi projekti po svetu, vključno s projektoma MESS na Nizozemskem ter Evropska družboslovna raziskava (ESS - European Social Survey), v kateri nosilec projekta sodeluje v Methods group. Ena izmed ključnih prioritet slednje skupine je prav vključevanje kombiniranih načinov anketiranja (tudi s spletnimi anketami) v to osrednjo družboslovno raziskavo, zaradi česar so rezultati projekta zanjo izjemno koristni. Razvoj spletne aplikacije za anketiranje je omogočil posebej široko diseminacijo rezultatov projekta, saj gre za orodje, ki omogoča izdelavo spletnih anket vsakomur z osnovnim znanjem računalništva. Aplikacija je bila predstavljena številnim akademskim in uradnim raziskovalcem v Sloveniji in po svetu ter bila izjemno dobro sprejeta. Do sedaj je bilo v njej opravljenih že več kot 3,000 anket in več kot 100,000 izpolnjenih vprašalnikov. Med njenimi uporabniki so tudi velike raziskovalne inštitucije, kot sta Inštitut za varovanje zdravja ter Statistični urad Republike Slovenije. Projekt je tako pomembno prispeval k vzpostavitvi orodja, ki omogoča izdelavo stroškovno učinkovitih in kakovostnih anket za širok spekter raziskovalnih problemov na različnih področjih. 4. Ocena stopnje realizacije zastavljenih raziskovalnih ciljev4 Ocenjujemo, da smo z aktivnostmi v okviru raziskovalnega projekta, ki smo jih opisali v točki 3, v celoti dosegli raziskovalne cilje. Pri tem smo naslovili dve ključni raziskovalni hipotezi. 1. Spletno anketiranje je z uporabo ustreznih pristopov mogoče izvesti tudi na splošni populaciji. 2. Premišljena uporaba pristopov za vabljenje in nagrajevanje anketirancev ter kombiniranje načinov anketiranja omogoča izboljšanje stopnje sodelovanja ob pomembno nižjih stroških raziskovanja. Na podlagi obširnega študija literature in empiričnega raziskovanja smo ugotovili, da ponujajo kombinirani načini anketiranja izjemen potencial za integracijo internetne tehnologije (spletnih anket) v ankete na osnovi verjetnostnih vzorcev. Primarna uporaba spletne ankete na reprezentativnem vzorcu splošne populacije ter nadaljnje anketiranje nerespondentov z uporabo drugih načinov anketiranja (poštno, telefonsko ali terensko) namreč omogočata začetno zbiranje s cenejšim načinom anketiranja in prehajanje k dražjim načinom le za nerespondente. To ima pomembne stroškovne implikacije, hkrati pa omogoča doseganje posameznikov, ki jih s posameznim načinom ni mogoče doseči. Empirična študija je pokazala, da lahko uporaba daril za anketirance, zlasti vnaprej podarjen simboličen znesek gotovine, poveča stopnjo sodelovanja v spletnem anketiranju in v kombinaciji s poštno anketo celo preseže sodelovanje v terenskem anketiranju. Ta ugotovitev je zlasti pomembna zaradi visoke stroškovne zahtevnosti terenskega anketiranja, ki lahko več desetkrat preseže primerljive ankete z ostalimi načini. Hkrati smo s projektnimi raziskavami pokazali, da zgolj doseganje visoke stopnje sodelovanja nikakor ni dovolj za zagotavljanje visoke kakovosti podatkov. Uporaba različnih pristopov k vabljenju anketirancev lahko namreč pritegne izrazito specifične skupine in s tem zmanjša reprezentativnost realiziranega vzorca za ciljno populacijo. S tega vidika je ključnega pomena uporaba naprednega in celostnega pristopa k hkratnemu ocenjevanju napak in stroškov, ki smo ga izdelali v okviru projekta. Z natančno razdelitvijo stroškov po posameznih fazah anketnega projekta in z upoštevanjem izkušenj preteklih anket lahko ustrezno ocenimo optimalnost različnih pristopov za različne skupine anketirancev, kar je zlasti dragoceno v kombiniranih načinih anketiranja. V splošnem torej zaključujemo, da spletno anketiranje v kombiniranih načinih anketiranja omogoča stroškovno učinkovito zbiranje podatkov in z uporabo ustreznih pristopov tudi doseganje visoke stopnje sodelovanja. Pri tem pa je pomembno upoštevati kakovost zbranih podatkov, saj lahko le s hkratno analizo točnosti podatkov in stroškov zagotovimo izbor optimalnega anketnega pristopa za posamezen raziskovalni namen. Zaključeni projekt k temu problemu prispeva celostno izdelano metodologijo in rešitve za ocenjevanje optimalnosti tudi najkompleksnejših anketnih načrtov. 5. Utemeljitev morebitnih sprememb programa raziskovalnega projekta oziroma sprememb, povečanja ali zmanjšanja sestave projektne skupine5 Ni odstopanj. 6. Najpomembnejši znanstveni rezultati projektne skupine6 Znanstveni rezultat 1. Naslov SLO Mobilni telefoni v okolju konkurenčnih spletnih načinov; vzpostavitev metrike za evalvacijo stroškov in napak ANG Mobile phones in an environment of competing survey modes: applying metric for evaluation of costs and errors Opis SLO Avtorji se v članku osredotočajo na vključevanje mobilnih telefonov v anketno zbiranje podatkov, ki je večinoma odvisno od razmerja med stroški in napakami. V izvedeni raziskavi so razvili in ovrednotili model, ki hkrati upošteva kakovost podatkov skozi vse vire anketnih napak in stroške raziskovanja v različnih fazah anketnega projekta in z različnimi kombinacijami načinov. Rezultati kažejo, da lahko takšna hkratna evalvacija stroškov in vpliva vseh virov napak potencialno spremeni izbiro anketnega načrta, v primerjavi z evalvacijo, ki temelji samo na nekaterih komponentah. ANG The authors of the article focus on the integration of mobile phones into survey data collection that mostly depends on relationship between costs and errors. In the underlying research, they have developed and evaluated a model, which simultaneously considers data quality through all sources of survey errors and research costs at different stages of a survey project. Results show that such simultaneous evaluation of costs and impact of all error sources can potentially lead change a decision on survey design in contrast to evaluation based on only a few components. Objavljeno v Vehovar, V., Berzelak, J. in Lozar Manfreda K. (2010). Social Science Computer Review, 28(3), 303-318. doi: 10.1177/0894439309353035. Tipologija 1.01 Izvirni znanstveni članek COBISS.S -ID 29422941 2. Naslov SLO Spletne ankete v primerjavi z drugimi načini anketiranja; meta analize primerjav stopenj odgovorov ANG Web surveys versus other survey modes: a meta-analysis comparing response rates Opis SLO Avtorji so izvedli meta-analizo 45 objavljenih in neobjavljenih eksperimentalnih primerjav med spletnimi in drugimi načini anketiranja. Izkazalo se je, da imajo spletne ankete v povprečju 11% nižjo stopnjo odgovorov od drugih tipov anket, na kar sistematično vplivajo različni dejavniki: način rekrutiranje vzorca, način vabljenja k sodelovanju v spletni anketi in število kontaktov. Članek je objavljen v reviji SCI in ima 20 citatov. ANG The authors have conducted a meta-analysis of 45published and unpublished experimental comparisons between web and other survey modes. They found that, on average, web surveys yield an 11% lower response rate compared to other modes. A lower response rate is systematically influenced by the sample recruitment base, the solicitation mode chosen for web surveys and the number of contacts. The article is published in SCI journal and has 20 citations. Objavljeno v Lozar Manfreda, K., Bosnja, M., Berzelak, J., Haas, I. in Vehovar, V. (2008). International Journal of Market Research, 50(1), 79-104. Tipologija 1.01 Izvirni znanstveni članek COBISS.S -ID 27042397 3. Naslov SLO Pristranskost zaradi neodgovorov v mednarodnih anketah: načrti za odkrivanje in prilagajanje v ESS ANG Non-response bias in cross-national surveys: designs for detection and adjustment in the ESS Opis SLO Vasja Vehovar je na področju ne-odgovorov v evropski družboslovni raziskavi (ESS) kot soavtor objavil v mednarodni reviji Ask. Research & Methods (ur. Domanski 2009) članek z naslovom »Non-Response Bias in Cross -National Surveys: Designs for Detection and Adjustment in the ESS«. V članku je obravnavanih več metod za odkrivanje pristranskosti ne-odgovorov, ki so bile uporabljene v zadnjih treh ESS izvedbah. Upoštevani so ključni problemi obravnavanih metod, poleg tega so empirično ocenjeni postopki uporabe, pri čemer so uporabljeni podatki preteklih ESS raziskav. Vasja Vehovar has published a paper as a co-author in international journal Ask. Research & Methods (ed. Domanski 2009). The article deals with nonresponse in European Social Survey (ESS). The paper begins with a theoretical reflection on several designs for the detection of non-response ANG bias that had been used in the last three ESS rounds. The most relevant problems related to these methods are considered, and the application of each of the procedures is (empirically) evaluated using information of past ESS surveys. Objavljeno v BILLIET, Jaak, VEHOVAR, Vasja. (2009). Ask (Warsz.), vol. 18, no. 1, str. 343, ilustr. Tipologija 1.01 Izvirni znanstveni članek COBISS.SI-ID 29215581 4. Naslov SLO Na poti k fleksibilni spletni kombinirani metodi načrtovanja s povratno zanko ANG Towards a flexible online mixed method design with a feedback loop Opis SLO Vasja Vehovar je z Bojano Lobe raziskoval spletne kombinirane metode raziskovanja (mixed-methods), ki so sestavljene iz kvalitativnih in kvantitativnih pristopov. V članku »Towards a flexible online mixed method design with a feedback loop«, ki je bil objavljen v visoko citirani reviji Quality and Quantity (faktor vpliva je 0.47), je bil izveden spletni eksperiment, ki je združeval interaktivni niz spletnih raziskav in poglobljene spletne intervjuje. ANG Vasja Vehovar and Bojana Lobe performed a research on mixed methods surveys that combine qualitative and quantitative approaches. For the purpose of the paper »Towards a flexible online mixed method design with a feedback loop« published in highly cited Quality and Quantity journal, an online experiment combining interactive series of web surveys and in-depth web interviews was performed. Objavljeno v LOBE, Bojana, VEHOVAR, Vasja. (2009). Qual. quant., vol. 43, no. 4, str. 585-597, ilustr. http://www.springerlink.com/content/c53454218272r045/. Tipologija 1.01 Izvirni znanstveni članek COBISS.SI-ID 27232093 5. Naslov SLO Pregled: spletne ankete ANG Overview: online surveys Opis SLO Poglavje je del obširne monografije, sestavljene iz prispevkov vodilnih raziskovalcev na različnih področjih internetnega raziskovanja. Avtorja prispevka na podlagi izčrpnega pregleda literature splošno obravnavata različne vidike spletnih anket. Pri tem predstavljata in problematizirata opredelitev tega načina in njegovo umestitev v širši okvir anketnega zbiranja podatkov, ključne metodološke in tehnološke dileme ter vrsto sedanjih in prihodnjih praktičnih aplikacij spletnega anketiranja. Poglavje tako ponuja celosten znanstveni pregled področja metodologije spletnih anket. ANG The chapter is a part of a comprehensive handbook, contributed by the leading researchers in different fields of internet research. The authors of the chapter present different aspects of web surveys on the basis of a broad literature review. They introduce and discuss the definition of this survey mode and its position in a broader context of survey data collection, key methodological and technological dilemmas as well as a range of its current and future applications. The chapter thus offers a comprehensive scientific overview of the web survey methodology. Objavljeno v VEHOVAR, Vasja, LOZAR MANFREDA, Katja. (2008). V: FIELDING, Nigel (ur.), LEE, Raymond M. (ur.), BLANK, Grant (ur.). The Sage handbook of online research methods. Los Angeles Tetc.l: Sage, str. 177-194, ilustr. Tipologija 1.16 Samostojni znanstveni sestavek ali poglavje v monografski publikaciji COBISS.SI-ID 27583837 7. Najpomembnejši družbeno-ekonomsko relevantni rezultati projektne skupine6 Družbeno-ekonomsko relevantni rezultat 1. Naslov SLO EnKlikAnketa ANG OneClickSurvey Opis SLO Dr. Vasja Vehovar od leta 2007 razvija samostojni modul za spletno zbiranje podatkov EnKlikAnketa (1KA) oziroma OneClickSurvey (1CS) v angleščini. Orodje omogoča enostavno implementacijo kompleksnih anket, pri čemer ni omejeno le na spletne vprašalnike, ampak zagotavlja podporo tudi splošnemu vnosu podatkov, telefonskemu anketiranju in poštnemu anketiranju. Aplikacija je dostopna na spletnem naslovu www.1ka.si, angleška verzija pa na www.1cs.si. Z njeno uporabo je bilo izvedenih že več