Katja LOZAR MANFREDA. Vasja VliHOVAR.	izvirni
Zenel BATAGEIJ*	^^^^nek
VELJAVNOST INTERNETA KOT ANKETNEGA ORODJA
Povzetek; Internet se, kljub problemu nepokritja, t) anketnem raziskovanju uveljavlja kot komplementarna in/ali alternativna metoda anketnega zbiranja podatkov. Vendar pa je pri tem potrebno določiti njeno veljavnost, pri čemer mislimo predvsem na konvergentno veljavnost. Anketimnje /m internetu bo postalo enakovredno drugim metodam, ko bo dokazano, da njegove anketne napitke niso večje od tistih, dobljenih z drugimi metodami. V članku bomo predstavili nekaj primerjav rezultatov anket po internetu z drugimi anketnimi metodami, pri čemer bomo razpravljali o različnih anketnih napakah kot vzrokih za moivbitne razlike. Pivdstavili bomo tudi rezultate primerjalne študije ankete na svetovnem spletu in po poŠti, ki smo jo izvedli v okviru pivjekta RIS na Fakulteti za družbene vede. Ključni pojmi: ankete na svetovnem spletu, ankete po internetu, anketna metodologija, anketne napake, napaka nepokritja, napaka neodgovorni', napaka vzorčenja, napaka merjenja, veljavnost
Uvod
Anketno zbiranje jjodatkov po internetu poteka že od konca osemdesetili let, ko so za anketiranje pričeli u|X)rabljati elektronsko pošto (Parker, 1992; SproulI, 1986). Sredi devetde.setih let so v ta namen pričeli uporabljati tudi svetovni splet (GVU, 199'i), ki je danes prevladujoč način ;inketiranja po internetu. V primerjavi z anketiranjem po po.šti namreč omogoča večji razpon možnosti pri obliki vprašalnika. anketiranče\'o breme je manjše in avtomatično zbiranje podatkov je poenostavljeno (Baiagelj, 1998. Comlev', 1997b; Lozar, 1999). Zato v natlaljev anju, ko govorimo o anketnem zbiranju pod;itkov po internetu. mislimo predvsem na ankete na s\'e-tovnem spletu, t.j. računalniško podprte samoankete, ki .se izvajajo brez prisotnosti anketarja, vprašalnik temelji na HTML formah, anketiranci ga vidijo in izpolnjujejo s pomočjo pregledovalnika za svetovni splet, odgovori anketirancev pa se navadno
• Miig. Katjii tMzar Man/reda aslsleiilkti-slailsiba na liibiilteti za driiHieiic rede. Dr. VasJa Vehovar. Izminlpm/esor na liiliiilleil z(i driiibeiie rede.
/.eiiel HdUigelJ. Jioatdi/jlom.cki iliideni koHinnlbiilogije na tiikiillell za drnihcne rede. CAT! čemer
lakoj prcko interiicia prenesejo na strežnik raziskovalne organizacije (Vehovar, Ba-tagelj, I.ozar Mantreda in Zaletel v tisku).
Čeprav .se ankete po internetu množično izvajajo .šele nekaj let, pa .so postale že dobičkonosen del anketne intlustrije. Ob vpisu ključnih be.sed, kol .so npr. Web survey', "Internet .survey", "online survey', vsak iskalnik na svetovnem .spletu vrne na tisoče zadetkov. Profesionalne organizacije so izoblikovale posebne etične kodekse, ki zadevajo anketiranje |3o inierneiu (npr. ARF, 1999; F.SOMAR. 1997, 1998). Večina raziskovalnih organizacij ponuja ali vsaj razmišlja o ponudbi anketiranja po internetu in njihovi paneli vključujejo milijone uporabnikov interneta, ki .so pripravljeni v njih sodelovati. Vse pomembne znanstvene konference, namenjene metodologiji družboslovnega raziskovanja, vključujejo posebne sekcije, po-■svečene anketiranju po internetu. Na samem internetu delujejo številne diskusijske skupine, ki razpravljajo o problemih takšnega načina anketiranja. Poleg tega obstaja že več več sto raziskovalnih člankov o njihovi uporabi in številni enostavni pro-gram.ski paketi za njihovo izvajanje (RIS, 1999-2000).
Internet, še posebej svetovni splet, se torej vse bolj uveljavlja kot komplemen-tarn;i in včasih celo alternativna metoda anketnega zbiranja pod;itkov. \ endar pa je potrebno pri tent določili velj;ivno.st takšnega načina zbiranja podatkov (Bruz-zone, 1999; Mollis, 1999; Kollier, 1998; .Nadilo, 1999), pri čemer nuslinio predvsem na konvergentno veljavnost - primerjavo rezultatov anketiranja po internetu z rezultati drugih, že uvelj;ivljenih anketnih metod (Ferligoj, Leskošek in Kogovšek, 1995, 88). Tako ugotovljen;i veljavnost nantreč kaže, ali so različni merski posioi> ki, v tem primeru različne vr.ste anketiranja, nadomestljivi, in .se uporablja pri razvoju novih merskih postopkov (Splichal, 1990, 195). Anketiranje po internetu bo postalo enakovredno drugim metodam, ko bo tlokazano, ila njegove anketne napake (napake zaradi neodgovorov, nepokriija. vzorčenja in samega merjenja) niso večje od tistih, dobljenih z drugimi metodami.
V članku bomo najprej razpravljali o anketnih napakah, ki .se pojavljajo pri anketiranju na .svetovnem spletu. Nato bomo iz razpoložJjive literature povzeli izsledke različnih primerjav rezultatov anket na svetovnem spletu z drugimi načini anketiranja, s katerimi so skušali ugotavljati njihovo veljavnost. K tem raziskavam bomo clotlali tudi izsledke lastne študije ugotavljanja veljavnosti anketiranja na svetov"-nem spletu za anketiranje podjetij z dosto|jom do interneta v .Sloveniji, ki smo jo opravili v okviru projekta RIS - R;iba interneta v Sloveniji (htlp7'/^^■^vw•.ris.org) - na Fakulteti za družbene vede Univerze v Ljubljani. V zaključku bomo kritično jxjvze-li ugotovitve in nakaz;ili smernice za nadaljnje potrjevanje veljavnosti interneta kot anketnega orodja.
Anketne napake pri anketiranju na svetovnem spletu
Pri sklepanju iz rezultatov vzorčne anketne raziskave na ciljno populacijo so ocenjene .statistike podvržene različnim anketnim napakam (angl. survey errors), ki izhajajo iz različnih virov: nepokriija, neodgovorov, vzorčenja in merjenja (Groves, 1989,11). Napake nepokriija (angl. noncoverage), neodgovorov (angl. nonrespon-
se) in vzorčenja (.angl. sanipling) nastanejo zato, ker nekatere enote niso opazovane, nieciteni ko do napake merjenja (angl. measurement) i^ride pri .samem opazovanju enot.
Pri razpravah o u(X)rahnosti anket po internetu .so najpogosteje omenjene napake, ki izhajajo iz neopazovanja (angl. nonobservation error). Prva med njimi je napaka nepokritja, do katere pride zato, ker nekatere enote ni.so del vzorčnega okvira ali seznama, ki je uporabljen za identifikacijo članov ciljne populacije (Groves, 1989. II). Tako .so ankete po internetu, ki .so usmerjene na spk)Siio populacijo, tipično podvržene napaki nepokritja (Clayton in Werking, 1998; Comley, 1996; Cooml>er, 1997; Dillman in Bowker, 1999; Eaton. 1997; Farmer, 1998; Kehoe in Pit-kow, 1996; Meeks, Lanier, Fesco in Collins, 1998; Pitkow in Kehoe, 1995; Ramos, Se-divi in Sweet, 1998; Sheehan in Hoy, 1999; Smith, 1999). saj internet uporablja le m;injSi del populacije. Delež uporabnikov internet;i v letu 2000 pre.seg:i 50% le nekaterih n;ijlx>lj razvitih drž;ivah kot .so ZDA, Kaiuida in skamliiKivske ilržitve. Po-go.steje .se v razvitem svetu t;i delež giblje med 20 in .30%, metllem ko je v nekaterih največjih državah (Kitaj.ska, Rusija, Indija itd.) in v preo.stalem manj razvitem .svetu nav;ttlno šc mnogo pod 10% (http:/Av%vw.nua.ie). .Slovenija se s 15% deležem uporabnikov inierneta med aktivno populacijo (15 do 65 let) v začetku leta 2000 (RIS 1996-2000) približuje r;izvitejšim državam. Iz anketiranja so torej izključene vse tiste o.sebe, ki ne uporabljajo Interneta, kar se izraža v družbeno-clemografskih lastnostih dobljenih vzorcev anketinincev, ki niso reprezentativne za splo.šno po-puhicijo neke države (Terhanian and Black. 1999, 28). Uporabniki internet;! so namreč mlajši, bolje izobraženi, med njimi je več moških, pripadajo višjemu družbeno-ekonomskemu sloju (Klemming in Sonner, 1999; RIS 1996-2000; Schmidt, 1997).
Napake nepokritja skušajo razi.skovalci pre.seči s pomočjo u[X)rabe ustreznih metoil uteževanja, s katerimi uporabnike Interneta po družbeno-demografskib lastnostih skušajo približati splošni |X)pulaciji. .Npr. Balden (1999) je ugotovil, potem ko je z uteževanjem družbeno-clemografske lastnosti uporabnikov interneta približal splošni populaciji, da internet .sam po .sebi, razen nekaterih izjem', ne vpliva na osnovne \ rednole in stališča ljudi.
Problem nepokritja jc zmanj.šan ali celo odpnivljen v populacijah, kjer večina enot uporablja internet. Npr. ponudnik internet storitev lahko uporabi vprašalnik n;i svetovnem splciu za anketiranje svojih naročnikov, saj poseduje seznam vseh naročnikov. Pogosto pa takšni .seznami ne obstajajo ali .so nepopolni. Tipičen primer jc anketa, ki je namenjena splošni populaciji uporabnikov interneta. Seznami, ki bi zajeli vse uporabnike na nekem področju, ne obstajajo. Pogosto se uponiblja po.sebne računalniške programe, ki n;i svetovnem spletu iščejo elektronske naslove uporabnikov, vendar so dobljeni seznami nepopolni (ker so določene domene nedosegljive, ker nimajo vsi uporabniki svojega elektronskega naslova objavljenega na spletu ali ker vsi uporabniki sploh nimajo elektronskega n;islova), |>ogosto vključujejo \'eč naslovov iste osebe, naslove, ki jih nihče več ne uporablja, izmišljene naslove itd. Druga rešitev je uporaba panelov uporabnikt)v interneta, ki .so
' iV/)r ii/Kiiribnlkl liilenielti so botj iloi-zeliil za leliiiologlp. Imajo veCJo fmiivho /?o iskanju informacij In /mloranju. iKigosleJi' jiosetlujejo krcillliw karllce (HaUU'U. I'J9'J).
l^rcclliocino pri\olili v vkljiičiiev v takšno bazo in s tem v sociclovanje v ankctaii na svetovnonj spletu. Tudi ti seznami seveda ne vključujejo \-.sch uporabnikov, \endar so navadno tako \cliki (tudi več milijonov enot), tla je mogoče z ustreznim vzorčenjem in uteževanjem tlružbeno-demografske značilnf)sti takega vzorca približati značilno.stim ciljne populacije.
Do naslednje napake neopazovanja, napake vzorčenja, pride, ker je v anketiranje vključen le del, ne pa celotna ciljna populacija (Groves, 1989, 11). Vzorčno napako .se zmanjšuje s |X}veče\anjem velikosti vzorca, ker se s tem zmanjšuje verjetnost, da bo vzorec statistično značilno različen t)tl populacije. V praksi je seveda velikost vzorca omejena s stroški anketiranja. Pri anketah po internetu je to le manjši problem, ker se stroški z velikostjo vzorca bistveno ne povečujejo (Clayton in Werking, 1998,557; Eaton, 1997; Watt, 1997; Wei.ssbach, 1997). Ventlar pa se tudi s povečevanjem velikosti vzorca na tloločeni točki vzorčna varianca ne spreminja več in ne more zmanjšati celotne anketne napake, še posebej, če k njej prispc\ ajo tudi druge vrste napak. Tipičen lak primer so ankete na svetovnem spletu s san>o-izbiro (Lozar, 1999,7), kot .so ankete GVU (GVU, 1991-1999) ali ankete RIS na .s\e-lovnem spletu med splošno populacijo uporabnikov Interneta (RIS, 1996-2000), ki dosegajo zelo velike vzorce, \encl;ir pa je anketna napaka z:iratli tlrugih viro\- na-p;ik še vedno izretino velika.
Tretji \ ir napak neopazovanja jc napaka, ki izhaja iz neodgo\orov, torej zato, ker nekatere enote niso bile kontaktirane ali pa na anketo niso odgovorile (Gro\ es. 1989, II). Neodgovori .so največji vir anketne napake v že prej omenjenih anketah s samoizbiro, saj vabila k anketiranju dosežejo le del uporabnikov in le motivirani uponibniki se otlločijo za sotlelovanjc v anketi. Njihove značilnosti se zato zelo verjetno razlikujejo otI značilnosti ciljne populacije. Tudi pri vabljenih anketah (Lozar, 1999,7) prihaja do napake zanitli neodgo\'orov, saj so stopnje otigovorov razmcro-m;i nizke. Npr. v anketah, kjer je vzorec anketirancev narejen s pomočjo telefonske ankete na reprezentativnem vzorcu in so anketiranci k .sodelovanju povabljeni po elektronski pošti, stopnje tKlgo\'orov le retiko dosežejo .^0% (Comlev, 1997, 1998; 1-lemming in Sonner, 1999; Mollis, 1999).
Problem se pojavi, če .so tisti, ki niso otigovorili (zato ker so zavrnili .sodeloN'a-njc ali mogoče sploh niso bili kontaktirani), različni od tistih, ki so odgovorili. Dejansko so za ;inkete n;i svetovnem spletu ugotovili, da v njih bolj \erjetno sotleluje-jo intenzivni, tehnično orientirani uporabniki interneta (Kehoe in Pitkow, 1996; Pitkow in Kehoe, 1995; Pitkow in Recker, 1991). Podrobneje so razlogi za neodgo-vorc V anketah na svetovnem spletu obravnavani v Vehovar, Batagelj, Lozar Man-freda in Zaletel (v tisku).
Metitem ko do zgoraj omenjenih napak neopazovanja navadno pride že pred samim procesom zbiranja potlatkov, pa do napak opazovanja (angl. observational errors) pritle meti samim merjenjem (zato se imenujejo tudi merske napake, angl. measurement error) bodisi zaradi anketiranca, merskega instrumenta (vprašalnika), načina zbiranja potlatkov ali ankeiarja. če gre za o.sebno anketiranje (Ciro\-es, 1989, 11). Pri anketah na svetovnem spletu, ki so samoanketc, do napak zaradi anketarja seveda ne prihaja.
Do napake zaradi anketiranca pride, ker različni anketiranci jiosredujejo podatke z različno stopnjo napake, saj imajo pri izpolnjevanji! vprašalnika različne kognitivne sposobnosti in/ali motivacije (Groves, 1989, 12). V tem pogleilii se anketiranci, ki oilgovarjajo na vprašalnik na .svetovnem spletu, nebistv eno razlikujejo od anketirancev i^ri drugih načinih anketiranja; nekoliko večje razlike med njimi lahko pričakujemo le zaradi različne izku.šeno.sti z u|X)ral>o interneta in računalnikov nasploh.
Do napake merskega instrumenta, v tem primeru vprašalnika, pride, če ima besedilo v vprašalniku ali vrstni red vprašanj učinek na kakov<}st odgovorov anketi-nmcev (Groves, 1989, 12). V tem pogledu lahko ;uikete na svetovnem spletu primerjamo z drugimi samoanketami, kot so npr ankete po pošti, kjer .se po.sebno pozornost |X}sveča ntzumljivosti in enostavnosti vprašalnik;i ter metod:im za preprečevanje učinkov zaporedja vprašanj in odgovorov, ali drugim računalniško podprtim anketam, kjer z ustreznimi program.skimi rešitvami zmanjšujemo neod-govore na posamezn;i vprašanja, nekonsistentne odgovore in napačne odgovore, s čimer povečujemo kakovost podatkov.
Nap:ike zaradi načina zbiranja pod;itkov (angl. mode eflect) .so bile že dokumentirane za ankete po pošti, telefonske ankete in teren.ske ankete (de Leeuvv, 1992), s pojavom anket po internetu pa se konstantno raziskuje tudi napake, ki so izključna |X)sIeciica lega, da je bil za ;inkctiranjc itponibljen internet in ne kakšen drug komunikacijski medij.
l'rav napake zara<li načina zbiranja podatkov so napake, ki .so relevantne, kad;ir veljavnost anketiranja po internetu preizkušamo s primerjavo z drugimi načini anketiranja. Vendar pa je v praksi zelo težko ločiti med zgoraj omenjenimi viri napak in morebitne razlike pripisati samo določemu viru.
Pregled razpoložljivih študij veljavnosti
Kljub pogosti uporabi anket po internetu in .še posebej na svetovnem spletu med raziskovalci obstaja dvom v veljavnost takšneg:i n;ičina anketiranja, kar je posledica zgoraj omenjenih virov anketnih napak. Dvom v veljavnost se pojavi predv.sem ob množici 'neprofesionalno' izvedenih ;inket (Onyshekv>ch in .Mcindoe, 1999), s katerimi n;is zasipajo n;i .svetovnem spletu. To .so navadno ankete s samoizbiro, zelo kratke, s slabo fornuiliranimi vpra.šanji in nedodelano obliko vprašalnika, ki jih lahko izvede vsak uporabnik interneta z minimalnim poznavanjem tehnologije interneta. Seveda pri takšnih anketah ne moremo govoriti o sklepanju iz vzorca na populacijo in o njihovi veljavnosti.
V literaturi (RIS, 1999-2000) se pojavljajo številne primerjave rezultatov anket n:i .svetovnem spletu z rezultati drugih anket, s čimer dokazujejo veljavnost takšnega načina zbiranja podatkov. Pri takih primerjavah je potrebno ločevati med različnimi viri napak in identificirati tiste, ki vodijo do morebitnih razlik v rezultatih. Nekatere razlike .so namreč posledica teg;i, da so z anketo na svetovnem spletu anketirane druge osebe, druge pa so dejansko posledica ujKirabe interneta za anketiranje. V prvem primeru so v ozadju predvsem napake zaradi nepokritja, neodgo
vorov in vzorčenja, torej napake, clo katerih pritie pred samim procesom anketiranja in so odvisne od tega, kakšni vzorčni okviri, postopki vzorčenja, načini vai:)lje-nja k anketiranjii in .spreobrnitve neodgovorov so l)ili iiporabljeni. V drugem primeru pa gre za različne merske napake.
Pravi eksperimenti
V empiričnih primerjavah, ki jih lahko za.sledimo v literaturi, so pravila eksperimentalnega načrta pri primerjavi rezultatov ankete na svetovnem spletu z drugimi vrstanu anketiranja zelo različno upoštevana. Le reilko zasletlimo poročila o pravih eksperimentih, kjer sta na ilveh primerljivih (enakih) vzorcih uporabljeni dve različni metcnh anketiranja (eksperiment z dvovrednostnim kavzalnim faktorjem: Toš, 1988,16.?). Vendar pa le v takih primerih lahko ob primerljivih rezultatih obeh metod govorimo o konvergentni veljavtiosti anketiranja na svetovnem spletu, torej o njeni primerljivo.sti z drugimi metodami.
Primer take raziskave je primerjava telefon.ske ankete in ankete na svetovnem spletu, predmet anketiranja pa je bilo ocenjevanje blagovne znamke in .spletne .strani (Smith, 1999). V obeh primerih .so anketirance rekrutirali (X) telefonu in so jim že pred glavno anketo postavili nekaj vpra.šanj. Polovici tako dobljenih uporabnikov, ki so se -Strinjali s .sodelovanjem v anketi, so po po.šti po.slali vabilo z navodili, kako dostopiti do spletne strani z anketo in jo izpolniti. Druga polovica pa je bila anketirana po telefonu. Rezultati olx.'h anket .se niso statistično razlikovali, na osnovi česar avtor v tem primeru sklepa o veljavnosti uporalie ankete na svetovnem spletu.
Veljavnost anketiranja na svetovnem spletu .so za posamezne raziskovalne probleme potrdili tudi Hindlater in Kottler (1998) in Gonier (1999). V obeh primerih so uporabili primedjive vzorce, ventlar pa so bili načini vabljenja k anketiranju različni, kar bi lahko votlilo do različne napake neodgovorov. I-indlater in Kotller (1998) poročata o anketi registriranih uporabnikov neke spletne strani. Del vzorca je dobil vabilo po elektron.ski pošli in .se anketiial na .svetovnem .spletu, na delu vzorca pa je bila opravljena računalni.ško podprta telefon.ska anketa. Rezultati obeh anket .so bili primerljivi. Gonier (1999) pa poroča o .številnih .študijah, kjer so primerjali ankete na svetovnem spletu s telefon.skimi anketami, anketami po pošti in o.sebnimi anketami v trgovskih centrih, ki jih je izvedla njiliova agencija za tržno raziskov~anje. Pri tem so bili u|X)rabljeni primerljivi vzorci, saj v njihovih anketah na svetovnem spletu sotlelujejo uporabniki AOL-a (največjega ponudnika internet storitev v ZD.\), ki se po demografskih la.stno.stih zelo približujejo splošni populaciji v ZDA. Primerjave .so pokazale, da dobro izvedena anketa na .svetovnem spletu vodi do enakih po.slovnih odločitev kot druge, bolj tradicionalne" ankete. Anketiranci na svetovnem spletu sicer dajejo bolj ekstremne odgovore, vendar so povprečja primerljiva (Gonier, 1999, 11).
nasprotju s temi študijami, v katerih so avtorji za svoje primere dokazali veljavnost uporabe ankete na .svetovnem spletu, pa .se je v nekaterih drugih raziskavah izkazalo, da so rezultati le delno primerljivi. Npr Kwak in Radler (1999) poročata o primerjavi ankete na svetovnem spletu in ankete po pošti med študenti neke ameriške univerze. Prva eksperimentalna skupina je bila po elektron.ski pošti
povabljena k anketi na svetovnem spletu, druga eksperimentalna skupina pa je tlo-bila vprašalnik po poSii. V obeh primerih so uixjrabili enak vprašalnik, enako število dopisov in enake časovne intervale meti dopisi. Razlika je iiila v tem, da je ena skupina tlobila dopis (in tudi nadaljnje <lopise) in vprašalnik po po.šti, druga pa po elektronski pošti. Na anketo na svetovnem spletu je odgovoril«! 27%, na anketo po pošli pa -12% povabljenih študentov- (K\vak in Radler, 1999). Del napake, ki je posledica neodgovorov, je tako potencialno večji pri anketi na .svetovnem spletu. Sicer pa je bila predno.st ankete na svetovnem spletu hitrejše odgovarjanje in večja kvaliteta podatkov (merjena s številom neodgovorjenih vpra.šanj in dolžino odgovorov na odprta vprašanja'). Obe anketi sta dali |x>dobne rezultate gletle splošnih psiholo.ških mer, vendar pa so se nekatera stališča v zvezi s tehnologijo, tehnološke lastnosti in demografske značilnosti anketirancev nekoliko razlikovale. Tako so bile med obema anketama značilne razlike v povezanosti nietl spremenljivkami (Kvvak in Radler, 1999).
Wilike, Atlams in Girnius (1999a, 1999b) poročajo o petdesetih j^rimerjalnih -študijah tržnih anket na .svetovnem spletu, kjer je bil vzorec anketirancev izbran iz panela uporabnikov interneta, z anketami v nakuptnalnih centrih. Panel uporabnikov interneta je oblikovan tako. tla njegove tlemografske lastnosti ustrezajo |xipu-laciji. ki jo je mt)gt>če tlti.seči v nakupovanih centrih v ZDA. Kljub nekaterim ab.st>-lutnim razlikam so ugotovili veliko korelacijo med rezultati obeh vrst anket. Ob.stf> ječe razlike avtorji pojasnjujejo z razliko meti samoanketiranjem in o.sebnih anketiranjem. .\pr število otigovorov na odprta vprašanja je bilo večje pri anketi na svetovnem spletu, še posebej v primerih, kt) .so anketiranci izražali .svojo nenaklonjenost. OčitiK) st) bili anketiranci v anonimntjsli svojega doma bolj pripravljeni izraziti nenaklonjenost (Wilike. Adams in Girnius. 1999a, 1999b). V anketi na .svetovnem spletu .so anketiranci tutli našteli več stvari, ki so jih nakupili v zadnjih .še.stih me.secih. kar avtorji pojasnjujejo s tem. da imajo v tem primeru anketiranci več časa kot pri osebnem anketiranju, hkrati pa jim ni nerodno priznati nakupa nekaterih izdelkov ali blagt^vnih znamk (Wilike, .\dams in Girnius, 1999a, 1999b). Do pt)dobne ugotovitve je pri.šla Wydra (1999), ki je primerjala rezultate ankete na .svetovtiem .spletu (k anketi .so bili povabljeni u|xjrabniki AOLa) in ankete v nakupovalnem centru. V obeh primerih .so anketirali žen.ske, ki nakupujejo je.stvine za gospodinjstvo (uporabili so t i. 'screening' vpra.šalnik) in vzorca sta bila po demografskih značilnostih primerijiva. Rezultati obeh anket so si bili zelo potlobni, |x>-samezne razlike pa avtorica ponovno pojasnjuje z razliko meti samoanketiranjem in osebnim anketiranjem. Tako so pri anketi na svetovnem spletu zabeležili več odgovorov ne vem' (namesto napačnih odgovorov, ki jih dajejo anketiranci pri osebnem anketiranju), manj družbeno zaželenih odgovorov In manj podrobne odgovore (Wytlra. 1999).
Kvazieksperhnenti s siiiibo/iato kotilrolo faktorjev
Poleg port>Čil o ek.sperimentih, kjer so bili uporabljeni primerljivi vzorci, v literaturi pogosto srečamo tudi poročila o kvazieksperimentih (Toš, 1988, 166), ko upt)-
' Smltilinjl cbs/H-rinifiili sn jK)lumili. ti» se slalnjti ziiitiiiJSiiJe, i'e sv /iti nntivU iiti /Milthyii /xitvi'ti //m-slttrztl tpis oilfiiivoni (Kutik in KtuHer. 1999).
rabljena vzorca nista enaka. Tiicli v tem primeru lahko ugotavljamo konvergentno \eljavnost anketiranja na svetovnem spletu, če avtorji primerjajo rezultate obeh metod znotraj primerljivih podvzorcev obeh eksperimentalnih skupin ali če z ustrezninj uteževanjem naredijo olx: .skupini primerljivi (t.i. siml^olična kontrola faktorjev; ToJ, 1988, 167).
Omenili smo že, da se pri anketah na svetovnem spletu problem nepokritja pogosto re.šuje z uteževanjem vzorca z namenom, da bi anketirance po družbeno-de-mografskih značilno.stih približali ciljni populaciji. Uteževanje pa se uixirablja tudi pri primerjavi rezultatov anket na svetovnem spletu z drugimi načini anketiranja, saj je le v redkih primerih brez uteževanja mogoče z.agotoviti enaka vzorca za primerjavo. Tako Balden (1999) sklepa na veljavnost anketiranja na svetovnem spletu zui tržne razi.skave, saj je več paralelnih .študij, kjer so primerjali rezultate ankete na svetovnem spletu s telefonskim in anketiranjem po pošti, za uteževanje pa so liile uiKjrabljene različne ciružbeno-demogralske spremenljivke (velikcjst gospodinjstva, dohodek, starost, spol, regija, gostota naseljenosti), pcjkazalo, da so rezultati primerljivi. Prav tako so pri Harris Black International ugotovili, da je z uporabo ustreznih metod uteževanja (razvitih s pomočjo številnih primerjav rezultatov telefonskih anket in anket na svetovnem spletu) mogoče dobiti primerljive rezultate pri telefonski anketi in anketi na svetovnem spletu za splošno populacijo ZDA (Ter-hanian in Black, 1999). V nasprotju s tem pa so druge razi-skave (npr. Dietrich, 1999; Flenmiing in Sonner, 1999; Vehovar, Batagelj in Lozar, 1999) pokazale, da kljub utežcn ;inju, rezultati :inkete n;i .svetovnem spletu niso primerljivi z rezultati drugih anketnih metoti.
Pri t;ikSnih kvazieksperimentih, kjer se z uteževanjem po.skuša dobiti primerljivi eksperinientalni .skupini, v primeru odstopanja rezultatov ankete na svetovnem spletu od rezultatov neke druge metode, ne moremo nujno govoriti o neveljavnosti takšnega načina anketininja. .Možen razlog z;i odstopanje namreč lahko leži v sami izbiri spremenljivk za uteževanje; mogoče je, d;i pri uteževanju niso bile upoštevane vse tiste spremenljivke, ki statistično značilno ločujejo eksperimentalni .skupini med selx)j. Takšne raziskave so torej le omejeno primerne za ugotavljanje ve-lj;ivnosti anketiranja na .svetovnem spletu.
Za ugotavljanje veljavnosti pa vsekakor niso primerne primerjave - čeprav jih v literaturi srečujemo - dveh n;ičinov anketiranja, ko .sta uporabljeni dve neprimerljivi skupini anketirancev (npr Comley, 1997a) ali p;i je v okviru ankete enega vzorca upor;ibljeno več načinov anketiranja (angl. mixed-mode surveys) (npr Trimibo in Yim, 1999). V takem primeru ni mogoče sklepati o konvergentni veljavnosti, saj do r;izlik v rezultatih lahko seveda prihaja zaradi same različnosti posameznih skupin anketirancev in ne samo zaradi uporabljenega načina anketiranja.
' Konkrvuta nnisbava je sicer /loktizaUi lirimerljii-osl ankete iia sivloriieni s/ileiii z rezultati itblCaJ-iiili viilllnili anbel, kljub leniii. da su bile deniogmfske značilnosti anketirancev v ofteli primerih /lo/ioliio-ma nizliCne (Comlev. /997(0. vendar je to le izjemen primer
Anketa RIS 1999 med podjetji z dostopom do interneta
Omenili smo že, da je v praksi težko izvesti pravi eksperiment, ko bi d\ a primerljiva vzorca anketirali z anketo na svetovnem spletu in neko drugo vrsto anketiranja, pri čemer bi se obe anketi razlikovali le v tem, na kakšen način je bil izpolnjen vprašalnik, ne pa tudi v načinu vabljenja k anketiranju in načinom spreobrnitve ne-odgovorov. Med redkimi takimi primeri je anketa o uporabi interneta med malimi in srednje velikimi slovenskimi podjetji (do 250 zaposlenih), izvedeni konec leta 1999 v okviru projekta RIS, kjer lahko primerjamo odgovore dveh skupin anketiranih podjetij. V prvi skupini (n-300) so podjetja po pošti dobila vabilo k anketiranju, kateremu je bil priložen vprašalnik, ki so ga po |X>šti tudi vrnila. V drugi .skupini (n-300) pa so podjetja po pošti dobila vabilo k anketiranju na .svetovnem spletu (dopis je torej vseboval URL naslov spletne strani z anketo). V obeh skupinah sta bila poslana dva nadaljnja dopisa v enakih časovnih intervalih. Anketo po pošti so izpolnjevala vsa podjetja, medtem ko so anketo na .svetovnem spletu lahko izpolnili le v ix)djetjih, kjer imajo dostop do interneta. Zanima nas .seveda primerjava odgovorov nied podjetji, ki imajo dostop do interneta.
Na anketo po pošti je odgovorilo 54% vseh podjetij in med njimi je bilo 74% takih, ki imajo dostop do interneta. V končni vzorec smo tako dobili 116 podjetij z dostopom do interneta, kar predstavlja 39% začetnega vzorca. Na vprašalnik na .svetovnem spletu pa je odgovorilo 79 podjetij, kar precLstavlja 26% začetnega vzorca.
Hitrost zbiranja podatkov
V skupini podjetij, ki so dobila anketo po pošti, so .se anketiranci najbolj odzvali takoj po prvem (34% v.seh odgovorov) in po tretjem dopisu (4.3%), medtem ko je imel drugi dopis manjši učinek (23% v.seh odgovx)rov). Podjetja, ki so bila povabljena k anketi na .svetovnem spletu, pa so se najbolj množično odzvala šele po tretjem (40% vseh odgovorov) in drugem dopisu (27%), medtem ko podjetja, ki so odgovorila po prvem dopisu, predstavljajo le 23% v seh odgovorov. Znotraj posameznih dopisov pa so bili podatki hitreje zbrani z anketo na .svetovnem spletu (na Sliki 1 so vrhovi za anketo na .svetovnem spletu nekoliko prej kot za anketo po pošli), saj so se jjodjetja najbolj množično odzvala kar ti.sti dan, ko so dobila dopis. Pri anketi po pošti .so morala podjetja namreč svoje odgovore šele odposlati, posledica česar je eno do dvodnevna zamuda v prejetju odgo\'orov.
— -Sv« »M
J3 34 25 261^^»» 1 2 3 (J^ « f • » lO^^'"* " " "<!j3» ''»
suka 1: Prejeti odgovori po dnevih
Razlike v odgovorih
Potijcija so odgovarjala na vpraSanja o uporabi inlerneta. elektronskega poslovanja, elektronskega bančništva ter ocenjevala vlogo raznih institucij pri razvoju interneta v Sloveniji. Testiranje razlik v odgovorih iz obeh anket (T-test za .številske spremenljivke in x- za opisne spremenljivke) je pokazalo, da pri večini vprašanj med anketama ni statistično značilne razlike. Le pri dveh zaprtih vprašanjih (izmed enaintride.setih) je razlika statistično značilna pri a< 0.05, pri treh pa pri a< 0.1. Podjetja, ki so odgovorila na svetovnem spletu, nekoliko bolj pozitivno ocenjujejo vlogo .Ministrst\-a za ekonomske odnose in razvoj ter .Ministrstva za gospodarstvo pri optimalnem razvoju inlerneta v Sloveniji (a < 0.05). Poleg tega .se vzorca nekoliko razlikujeta v opremljeno.sii z o.sebnimi računalniki. V podjetjih, ki .so odgovorila na anketo na svetovnem spletu, en o.sebni računalnik uporablja nekoliko \eč rednih u|X)rabnikov računalniške opreme (1.2 vs. 1.0, a < 0.1), vendar pa .so njihovi računalniki mlajši (delež kupljenih računalnikov v zadnjili 12 mesecih med v.se-mi račimalniki je medtem ko je pri podjetjih iz ankete po pošti 28%,a < 0.1). Poleg lega je med |X)djeiji na svetovnem spletu tudi nekoliko več lakih, ki imajo lastno aplikacijo elektronskega |X)slovanja, s katero v zaprtem omrežju s poslovnimi partnerji izmenjujejo .standardizirane forme (a < 0.1). Pri ostalih zaprtih vprašanjih ni bilo statistično značilnih razlik, razlike, ki so na.stale na vzorcu, pa ni.so predvidljive.
Razlike v kvaliteti podatkov
Kvaliteto podatkov smo merili s številom neodgovorjenih vprašanj med \semi vpra.šanji, številom odgovorov na odprta vprašanja, dolžino odgovorov na odprta vprašanja in konsistentnostjo odgovorov.
Med neodgovorjena vprašanja so všteta vsa vprašanja, na katera ni bilo nobenega odgovora, odgovor je bil neuporaben ali nerazumljiv (npr. pri odprtih vprašanjih) ali.pa so nanje anketiranci odgovorili z "ne vem'. Pri |X>sameznih anketirancih smo upoštevali, da na nekatera vprašanja niso odgovarjali, ker zanje niso bila primerna (npr podjetja, ki nimajo svoje domače strani na svetovnem spletu, niso odgovarjala na v|)rašanja o spremljanju obiskanosti .svoje strani). Izračunali
smo lorcj tlclež ncoclgovorjciiili vprašanj mccl vsemi vprašanji, na katere naj bi posamezno anketirano podjetje odgovarilo. Rezultat je presenetljiv, anketiranci pri anketi na .svetovnem spletu .so v povprečju izpustili .30%, anketiranci pri anketi po po.šti pa 2.3% v.seb vprašanj (razlika jc statistično značilna pri ( a7 0.001). Pri anketi na svetovnem spletu je sicer en anketiranec anketo zapustil že takoj pri prvem zaslonu vprašanj (ko je odgovoril le na prvi dve vprašanji), vendar, tudi ob neupoštevanju te ankete, se povprečni delež neodgovorjenih vprašanj ne spremeni. Prav tako anketiranci kasneje niso predčasno zapuščali ankete (kar se sicer pogosto dogaja pri daljših anketah; Lozar, 1999), saj je le en anketiranec v celoti izpustil zadnji zaslon vprašanj in en anketiranec dva zadnj;t zaslona v prašanj (izmed šestih).
Vpraš;ilnik je vključeval štiri odprta vprašanja. Pri treh vpnišanjih je delež anketirancev, ki so nanje otigovorili, .sicer različen pri pisemskem vprašalniku in vprašalniku na .svetovnem spletu (tlvakrat v korist pi.semskega \ prašalnika in enkrat v kori.st vprašalnika na svetovnem spletu), vendar pa med njimi ni statistično značilne r;izlike v dolžini odgovorov (glej tabelo 1)-
Tabela 1: Odgovori na odprla iprašanja
		%<kIj med 1 keiira	{(ann»' .>eini an-nci	■Število /naktA' v od)4(nuni	
	ANKIT.A		Si. /nač.		.Si. znaO.
Qfi ■ Kdo jc v {;l:ivni ponudnik do.stopa do intcrncia?	S\x.'t. splet	95	0.2««	h	0.«9(
	PoSia	90		h	
Ql.i - K;ij jc v vii.^mii podji-tju gl;(vn;i ovira /j iiilivj.^-iiv;<j;injc iiplil(;ici| elektronskega posicnanja:' (vprašani .viuno listi, ki iniajo nuj doniačti .<itran)	Svvi. splel	61	0.078	2«	0,631
	l^i.šta	7K			
QI7 ■ Kaieia banka jc, po \ii.<oni mnenju, v Sknvniji naj-liolj ia/l)ila elektronsko lianOniSto?	.Svel. splet	76	0.002	It	0.120
	l\>5ta	5-1		7	
Q2() • Kaj hi |-k) va.šen) mnenju morale državne in dru-ke javne iasiiiueije uredili /a liilrej.^) implementacijo inlerneia v po.skivnc prenese?	.Svei. splel	21	(mmrt	7i	0.3.30
	PoSia	39		57	
Konsistentnost odgovorov smo lahko merili petkrat. Med nekonsistentne odgovore smo šteli liste, pri katerih se je izkazalo, da je število rednih uporabnikov ničunalniške opreme, število ljudi z dostopom do interneta, do svetovnega spleta ali elektronske pošte večje od števila vseh zaposlenih, ter otigovore, pri katerih je bilo število osebnih račun:ilnikav, kupljenih v zadnjih dvanajstih mesecih, večje od števila vseh osebnih računalnikov. Število nekonsistentnih odgovorov jc bilo manj.še pri anketi na svetovnem spletu (samo en tak odgovor) kot pri anketi po pošti (nekonsistentne odgovore je dalo dvanajst anketirancev (10%), otl tega šest po en nekonsistenten odgovor, pet |X} dva in en anketiranec štiri nekonsistentne odgovore), čeprav ni bila uporabljena noben;i kontroht nekonsistentnosti.
Diskusija
Ugotovili smo, da jc prednost anketiranja na svetovnem spletu v tem, da se zbiranje odgovorov prične takoj, ne pa 5ele dva dni po pošiljanju dopisov, kar je posledica uporabe pošte za izmenjavo vprašalnikov. To je tudi v literaturi ena izmed najpogosteje omenjenih pretlnosli anketiranja na svetovnem spletu (Balden, 1999; Chisholm, 1998; Comle>-. 1998b; D;ivis, 1998; F:irmer, 1998; Hollis, 1999; Iver, 1996; McCulIough, I998a; Schaelcr in Diliman, 1998; Smith, 1997; Sp;ieth, 1999; Watt, 1997; Wydra, 1999). Vendar pa so se v našem primeru kljub temu hitreje odzvala ti-st;i podjetj;!, ki so dobil;i ;inketo po pošti; večina podjetij pri :inkeii na svetovnem s|)lctu je n;imreč odgovoril;! šele [X) drugem dopisu.
Primerjave med odgovori k;ižejo, da meil obema ;inkctama ni večjih vsebinskih razlik (z izjemo dveh .spremenljivk), iz česar lahko za ta primer .sklepamo na veljavnost uponibe ankete po internetu. R;izlike, ki se pojavljajo n:i vzorcih, bi sicer z večjima vzorcema v nekaterih primerih lahko postale stati.stično značilne, vend;ir p:i v.sebinsko niso predvidljive.
V n;isprotju z ugotovitv;uni drugih ;ivtorjev (Clayton in Werking, 1998; K\v;ik in R:idler, 1999; .Meek.s, Lanicr, Fesco in Collins, 1998; Nichols in Scdivi, 1998; Spaeth, 1999; Zukcrbcrg, Nichols in Tedesco, 1999) se ni izk;iz;ilo, d;i bi bila k:ikovost odgovorov pri :inketi n;i svetovnem spletu večja kot pri :inkeii po pošti. To hihko po-j;isnimo s tem, da v vpr;iš;ilnik na svetovnem spletu ni bila vključena nobena možnost kontrole odgovorov, tako ila je bil vpnišalnik dcj:insko zelo podoben j^i-semskemu vprašalniku (le tako smo n;imreč lahko primerj;ili odgovore po \ scbi-ni), z izjemo avtom;itskih preskokov' med vprašanji (zaradi česar jc bil vpraš;ilnik na svetovnem spletu na šestih zaslonih).
Zaključek
Ugotavljanje veljavnosti anketir;mj;t n;i .svetovnem spletu s primerjavo njihovih rezultatov z rezultati drugih, že uveljavljenih n;iČinov ;mketiranj;i, post;ija glaviut te-m;i raziskav v zvezi z metotlologijo anketiranj;i po internetu. Z;i bolj množično uporabo takšnega načina anketiranj;i, ki je s stroškovncg;i vidika za anketne organizacije zelo privlačno, je namreč potrebno dokazati, da so dobljeni rezultati primerljivi z rezultati drugih ntetod. V članku smo predst;ivili nekaj eksperimentov, ki .so pokazali, da je mogoče dobiti primerljive rezultate, in nekaj eks|Kfrimentov, kjer rezultati ni.so bili primerljivi. V slednjem primeru .so avtorji razlike pojasnjevali z razlikami med samoanketiranjem, ki je značilno za anketiranje na .svetovnem spletu, in o.sebnim anketiranjem, kot je telefon.sko ali terensko anketiranje. Različni iz.sled-ki teh nizisk;iv kažejo na to, d;i je anketiranje na .svetovnem spletu lahko z;i merjenje r;izličnih pojavov v različnih ciljnih |X)pul;icijah različno ustrezno, tako kot je na splošno določen:i metod:i ustrezna v odvisnosti od prcdmet:i in cilj;i raziskovanja (Ferligoj, Leskošek in Kogovšek, 1995,69).
Primer ankete podjetij v Sloveniji, kjer smo na dveh primerljivih vzorcih uporabili dve različni metodi anketiranja (na .svetovnem spletu in po pošti) je pokazal, da anketiranje po internetu daje enake rezultate kot anketiranje po po.šti. Rezultati so bili pričakovani, s;(j gre v obeh primerih za samoanketiranje. Kljub temu pa je
bila dosežena slopnja odgtnorov v obeb ankeiaii nekoliko različna (.odziv na anketo po pošti je bil večji), torej je lahko prišlo do različne napake neodgovorov Najbolj idealen eksperimentalni načrt, s katerim bi ugotavljali konvergentno veljavnost anketiranja na svetovnem spletu, bi bil primer, ko bi iste osebe anketirali z dvema ali več različnimi metodami v čimkrajšem ča.sovnem razmiku meti njimi. V takem j^rimeru bi morebitne razlike lahko pripisali izključno načinu anketiranja.
Pri o|5isanem ugotavljanju konvergentne veljavnosti pretlpostavljamo, tla je anketiranje z bolj tratlicionalnimi, že uveljavljenimi načini anketiranja, veljavno, vendar pa to ni nujno res. Ro.sovsky (1999) npf- predlaga ravno nasprotno: raziskovanje na internetu bi morali sprejeli kot 'standard' in z njim primerjati tradicionalne metode. .Svojo trditev utemeljuje z razlago, da se stopnje odgovorov pri tradicionalnih načinih anketiranja v zadnjih letih znižujejo, tla tutli tako dobljeni vzorci zaradi pogostih zavrnitev sodelovanja ali nekontaktov ni.so reprezentativni, in da predvsent v tržnem raziskovanju 'celotna populacija' sploh ni zanimiva, pač |)a le posamezne podskupine.
Prav tako ugotavljanje konvergentne veljavnosti anketiranja na svetovnem spletu še ne z;igotavlja njegove popolne veljavnosti. Veljavnost je namreč .sestavljena iz več raz.sežnosti in v idealnent primeru bi morali preizkusiti veljavnost v v.seh potrebnih razsežno.stih (Splichal, 1990,189). Vendar, ker nas zanima pretiv.sem, ali bi ankete na .svetovnem spletu lahko nadomestile druge načine anketiranja, ne pa tudi, ali je .sama uporaba anketiranja in po.sameznih anketnih vprašanj veljavna me-totla za merjenje nekega pojava, smo se osredotočili le na konvergentno veljavnost.
Z:iradi problema nept)krilja in neodgovorov se v anketni iiulustriji poja\lja tlvom v širšo uporabnost anket |X) svetovnem spletu, .še poselx^j, ker na internetu prevladujejo ankete, pri katerih niso uixirabljeni verjetnostni vzorci. S tem se ponavlja star problem uporabe statističnega sklepanja brez uponibe znanstvenih/ver-jeuiostnih vzorcev (Holli.s, 1999), ki pa je v tem primeru -še bolj viden in poudarjen, ker je mogoče z anket<5 po internetu potlatke zbrati hitro in zelo poceni. V tem kontekstu se o anketah na .svett>vnem spletu govori kot o nadomestni tehnok)giji (angl. replacement technology') (Black. 1998; Mollis, 1999): ankete na .svetovnem spletu naj bi nadomestile telefonske ankete, tako kot so telefonske ankete v .sedemdesetih letih nadomestile terenske ankete. Seveda .se je pri tem potrebno omejiti: ankete na svetovnem spletu z verjetnostnimi vzorci naj bi natlomestile ostale ankete z verjetnostnimi vzorci, ankete na svetovnem spletu z neverjetnostnimi vzorci pa ostale ankete z neverjetnostnimi vzorci. Kljub temu v literaturi pogosto zasledimo implicitne trditve, da bi (panelne) ankete na .svetovnem spletu lahko nadomestile telefonske ankete na reprezentativnih vzorcih splošne populacije (Black, 1998; Comlev, 1996; Kottler, 1997a, I997b; Nadilo, 1999; Spaeth, 1999). Seveda je taka ideja izjemno vprašljiva, saj je uporaba interneta med splošno populacijo mnogo nižja, kot je bila uporaba telefonov v ča.su, ko so telefonske ankete zamenjale terenske ankete. Poleg tega so stopnje odgovorov pri anketah na svetovnem spletu .še razmeroma nizke, ker še niso raz\ ite ustrezne metode vabljenja k anketiranju in spre-obračanja netidgovorov, hkrati pa tutli ne obstajajo vzorčni okviri, ki bi bili primerljivi telefonskim vzorčnim okvirom.
Kljub icmu se je že izkazalo, da panelne ankete na svetovnem spletu lahko dajejo primerljive rezultate, kar se je npr. pokazalo v primeru volilnih raziskav splo.šne populacije (Comlev, 1997a; Terhanian in Black, 1999). Ta uspeh je delno mogoče [»jasniti z robustno.stjo spremenljivk in z ustreznimi metodami izbire vzorca in uteževanja. Kljub temu pa se postav lja vpra.šanje, zakaj bi plačevali drage verjetnostne vzorce in visoke stopnje odgovorov, če pa verjetnostni vzorci nis<j nujno potrebni. V.sekakor bo nadaljnji uspeh panelnih anket na svetovnem spletu (kjer ne gre za uporabo verjetnostnega vzorčenja) močno spremenil profesionalne standarde glede vloge vzorčenja in neodgovorov pri anketnem raziskovanju.
LITI: K.\ TURA
.\RH (1999): Guidelines for Conducninj; .\I;irkciin{{ and Opinion Research V Adwrtising Rc-scarch I-oundation. ARFs Online Re.search Day - Towards Validation. 52-5 i.
Balden, Walter A. (1999): Project I.:indniark. A Comprehensive Stud\- to Determine if The Internet Presents a Valid Data Collection Alternative for Mainsta-am Ctmsumer GimkIs and Services. V Advertising Rcsearih Foundation, AKK's Online Research Day - Towards Validation. 14-27.
IJatagelj, Zenel < 1998): Anketno /.hiranje pod:itkov po Internetu. Dijilomsko delo. Ljubljana; Fakulteta z;i družbene vede.
Hlačk, Gordon S. (1998): Internet Surveys - A Replacement Technology Prispevek na konferenci AAI'OR 'M St. Louis, Texas, /.DA. maj 1998.
Uruz/one, Don (1999): The Top 10 Insights About the Validity of Conducting Research Online Tliat Canie Out of the Adv ertising Re.seaali Foundation's The Future ol Research: Online". Januarv- 25, 1999, Los .Angele.s, CA. http://vv\vvv.arfsite.org/\\chpage.s 'onlinerese-arch99/LA_99.toplO,him.
Chisholm.John (199rta): Using the Internet to .Measure :ind Inca-ase Customer Satisfaction & l.oyality White Paper by the Internet Survey i;x|-)erts at CustomerSat.coni. httpyVwvvw.cu-stomer.satconv'uni/whiteframe.html.
Chisholm. John (199Hb): Lising the Internet to .Measure Cusu)nier Satisfaction and Loy.ilty V ICSO.MAK. riie Hook of PajH-TS froni the Worldwide Internet Seminar 199« in Paris. France, January 1998.
Clavion, KichartI I., in George S. Werking (19*^«): Uusine.ss Surveys of the Future: The World Wide Web as a Data Colleciion .Methodology VCouper, .Mick P., Reginald P Baker, Jelke Bethlehem. Cynthia Z.F. Clark, Jean Martin. William L Nicholls in James O'Reilly (ur.). Computer Assisted Survey Information Collc-ction. 543-562. New York: John Wiley ii Sons.
Comley, Pete (1996): The U.se of Internet as a Data Collection .Method. Prispevek na konferenci I-SOMAR. Kdinhurg, November 1996. httpy/www„sga.co.uk/'esomar.html.
Comley, Pete (1997a): The U.se of the Internet for Opinion Polls. V i:.SO.MAR (1997). Learning from the Future: Creative Solutions for .Marketing. The Bt)ok of Papers from the 50th I-.SC)-•MAR .Marketing Research Congre.ss in Kdinburgh, Scotland, September 1997. http://vvwvv.virtualsurveys.conv'papcrs/I'oll.htm.
Comley, Pete (I997h): likopinion.com - A Dedicated Web Site Approach to On-line Interviewing. Pris|x;vck na Tlie Internet, .VLirketing it Ke.search 3, a .seminar organized by Computing .Marketing iS: Re.search Consultancy Ltd. (C.MR), junij 1997. Kensington,
Comley, Pete (1998): On-I.ine Research: Some Options, .Some Problems, Some Ci.se Studies. V We.-itlake, Anilrew in .soavtorji (ur). New .Methods.in Survey Research 199«. Proceedings
of the ASC intfrnational confcrciKC. a satellite meeting for Conip.stat VH. Iuip//w\v\v.\'ir-iiialsurvoy.s.coni/papcrs/ASC.luin.
Coonibcr, K. (1997): Using the Internet for Survey Rcscarcli. Sociological Research Online. 2. hiip://\v\vw.socrcsonline.org.uk/sc>trc.sonlinc/2/2/c()<)nibcrhtnil.
Davis. Glenn (199«): Using the Internet for i:niployee .Surveys. .Market Research I.ihrary. lutpy/www.re.searchinfo.coni/library/internet.eniployce/indc.vshtnil.
De l-eeuw, i:diih D. (1992); Data Quality in Mail. Telephone, and Face to Face Surwys. Amsterdam: IT-Puhlikaties Amsterdam.
Dietrich, Don (1999): Consumer Segmentation Results Using KDI) vs. Mail Panel v.s. Iniernet Sample... lliere Is A Difference!" I'rispc-wk na the 20ih Annu:il .Marketing Research Conference, organized by A.MA, San Diego, Cilifornija, ZDA, .Septenilx-r 1999. hitp://.sur-veys.over.net/method/paper.s/Dictrich.doc.
Dillman, Don in Dennis IJowker (1999): Principles for the Design of WVh Surveys: A Review of Cunvnt Practices and the Neetl for Change. Prispc\ek na konferenci A.M'OR '99, St. Petersburg, Florida. ZDA, maj 1999.
l-aton. Bill (1997): Internet Surveys: Does WWW Stand for Why Waste the Work?"' Quirk's •Marketing Re.search Review, junij/julij. htip//w\vw.(iuirks.com/CGI-l5IN/S.M40i.exe?dtv ckl-3000;5«911 &amp;%70assArticleld-244.
i:.SOiMAR (1997): i:.SO.MAR Position Paper M:irket Research and the Iniernet. httpy/ww-vveso-marnl/guideline.s/posiiionpaperhtml/'.
i:.SO.MAR (1998): i:.sO.MAR Guidelines. Q)nducling Marketing and Opinion Research Using the Internet, luipv'/www.e.soniarnl/'guideline.s/iniernet.guidelines.him.
Farmer. Tregg (199H): Using the Internet for Primary Research Data Collection. .Market Re.search I.ihr.iry. http://www.re.searchinfo.conVlibrary/infotek/inde.x..shiml.
Ferllgoj, Anu.ska, Karmen Leskosek in Tina KogovSek (1995): Zanesljivost in veljavnost merjenja. Metodokwki /.vezki II. Ijuhljana: FDV.
Findl;«er, Andrew in Richard H. Koitler(199H): VIeb Interviewing. Validating the Application of Web Interviewing Using a Comparative Study on the Telephone. V l-SO.MAR, The Hook of Ripers from the WijrIdwide Internet Seminar 199« in Paris, France, January 199«.
Flemmitig, Greg in Molly .Sonner (1999): Can Internet Polling Work? Strategies for Conducting I'ublic Opinion Surveys Online. PrisjK-vek na konferenci MIW '99, St. Petersburg, Morida. ZDA, .May 1999.
Gonier. Dennis I-. (1999): Tlie l-mperor Gets New Clothes. V Advertising Research Foundation, AKF's Online Re.search Day - Towards Validation, H-13. http.//wwwdmsdal-las.coni/emp()rer/em|>orer.html.
Groves, Rolx.-rt :M. (19S9): Survey l-rrors and Survey Costs. Wiley, New York.
GVU (1991): GVU's l.st WAVAN" U.ser Survey. http://ww\v.cc.gatcch.eilii/gvu/user_surveys/sur-vey-OM994/.
GVU (1991-199«): GVU's User Surveys, http://www.gv u gatech.edu/user_surveys.
Hollis, Nigel S. (1999): Can a Picture Sav e 1,(X)0 Words? Augmenting Telephone Tracking with Online Ad Recognition. V Advertising Re.search Foundation. .\RF's Online Re.search Day - Towards Validation, 41A9.
I>-cr, Ravi (1996): The Internet: A New Oppt)rtunity for .Marketing Research Firms. Quirks Marketing Research Review, maj. http://www.cjuirks.coni/CGI-BIN/S.M40i.e.\e?do-cid-3000:589neS::imp;%70assArticleId-'l6.
Kehoe. Colleen .M. in James K. Pitkow (1996): Surveying the Territory. GVU's Five WAVAX' User Surveys. The World Wide Weh Journal, 1. Iittp://ww vv.cc.gaiech.edu/gvu/uscr_sur-vey.s/paper.s/w3j.html.
Kottler. Richard i:. (1997a): I'xploiting the Re.search Potential of the World Wide Web. Prispe-vfk na konferenci Re.search '97, London, VG, oktoher 1997
li«p://w\vw.spssx<)nv'sps.siTir/'wch_burc;iu/kn()\vlcilj'c/r97:i.liini.
Koiilcr, Richard I-. (I997b); Scarch no Fiirihc-r Yah<K>!'s Audicncc Analysis 1'rojcci - A Case Siutly. Quirk's Markciing Kosiarth Review, junij/julij. lmpv'/w\vw.spss.c<)ni/spssn)r/wcb_biircaii/kn()wlcdge/yaluMK)i|.htin.
Koitlcr, Kiciiard i:. (19V8): Scepiics Ikwarc! W'ch Interv iewing has Arrived ant! is l-stablislietl. Hnibrace it or He I.cft Bcliinil. Prispevek iia Annual Confcrcncc of the Market Research Society, Mirniingliani, VI5, niarec 199«. hitp//www>p.ss.conv'sp.ssnjr/web_burean,'kni)-wleclge/inrs98.hini.
Kw-ak. Nojin in Harry T. R,idlcr (1999).. A Comparison Ix-tween Mail and WeWiitscd Surveys: Kesjionse Pattern, Data Quality, and Characteristics of Respondents. Prispevek na 1999 Annual Re.search Conference, organi/etl hy .Midwest A.s.sociation for Public Opinion Research, Chicago, lllin<)i.s. ZDA, nowniber 1999.
I.ozar, Katja (1999): Met<)dt)l()>tki vidiki anketiranja po .svetovnem spletu. Magistrsko delo. I.ju-bljana: Fakulteta za družbene vede.
.McCulIough, Dick (1998): Market Research on the Web, Coninuinicaiion World, 15, '9-.31.
.Vleeks, Ronaltl I.., Ann T. Lanier, Ronald .S. I'esco in Mary A. Collins (1998): WelvBa-scd Data Collectitin in National Science Foundation Surveys. V ASA. 1998 Proceedings of the Section on Survey Research .VUihods. 319-.553- Ale.Nantlria: American .Statistical Association.
.\adilo. Rudy (1999): Online Research: The- .\leihodok)gy for the Ne.xt .Millennium. V Advertising Research Foundation, ARF's Online Research Day - Towartis N'aliilaiion. 50-51.
Nichols. I'lizabeth in Barbara .Seclivi (l99Ha): I'conomic Data Ct)llection Via the Weli: A Census Bureau Ctse Stuily V A.SA, 1998 Proceedings of the .Section on Survey Re.search Methods, 366-371. Ale.Nandria: American Statistical A.s.sociation. httpy/surveys.overnet/me-lhc>d/pa|X'rs/proc98.wptl
Onyshekvvch. Vsevok)d in Dave Mclnd()e (1999): Internet Technology Gaining 0)mniercial Atlvantage. Prispevek na konferenci AAPOR '99, St. Petersburg. Florida. ZDA. maj 1999. http:/7www,n>nincorp.com/GAININ" 1/index.htm.
Parker, Lorraine (1992): Collection Data the F-niail Way. Training and Developinenu 16, 52-5 ).
I'itkovv. James !•:. in Margaret .M. Recker (199-1): Results from the First Worltl-Wide Web U.ser Survey. Journal of Computer Networks and ISDN Systems, 27 lntp://wvv\v.gvu.ga-ieclv'uscr_sur\vys/papers/survey_l_paperhtnil.
Pitkow, James Iv. in Margaret .\1. Recker (1995): Using the Web as a Survey Tool: Results from the .SecontI WWA\ U.ser Survey Journal of Computer Networks ;ind ISDN .Systenvs, 27, 809-822. hitpy/www.gvu.gaiech/u.ser_survev'S/paper.Vsurvey_2_p:(iKrhtml.
R;mu)s, Magdalena. Barbara .M. .Sedivi in l-li/.abeth M. Sweet (1998): Computerized .Self-Administered Questionnaires. V Couper, ,Mick P., Reginald P. Baker, Jelke IkthlL-hem, Cynihi;i Z.l". Clark. Jean .Vlariin, William L Nicholls in James O'Reilly (ur.), Computer A.ssi.sted Survey Information Collection. 389-108, New York: John Wiley Sons.
RIS (1996-2000): RIS - Re.search on Internet in Slovenia, http://vvvvvv.ris.org.
RIS (1999-2000): Web Surwy Methdology hitp//vvebsm.org.
Ro.sovsky, Su.san (1999): Tlie New View of Validity Why Online Research Is the New Standard. Prispevek na ARF's Week of Workshop.s, Online Re.search Workshop. New '^'ork City New York. ZDA, oktober 1999.
.Schaefer, David R. in Don A. Dillman (1998): IX-vek)pment of a Standard Iv.Mail .Methoilology Results t)f an l-xperiment. Public Opinion Quarterly, 62, 378-397 http://survey..se-srv.vvsu.edu/dillman/papers/'lvMailpprpdf
.Schmidt. W.C. (1997): World-Wide Web survey re.search: Benefii.s, potential problem.s, and .s(v lutions. Behavior Research Methods Instruments ii- Computers. 29, 27'i-279.
Shcclian, Kim U:ifU-l in Marica Gruhiis Hoy Grubbs (1999): Using K-mail To Survey Inicrnci Users In The United States: McthtKlology And Assessment. Journal ol Computer Mediated Communication, 4. hitpv'/209.1.^0.l.l69/(cmc/vol i/ussue3/shcchan.himl.
Smith, Hrian Arthur (1999): Validating Online Rese:ircli: Comparing Data from Telephone and Vi'el>Uased Surveys. I'rispevek na AKK's Week of Workshops. Online Re.search Workshop. New York City, New York, ZDA, oktober 1999.
.Smith. Christine U. (1997): Casting the Net: Surveying an Internet Population. Journal of Computer Mediated Communicatit)n. 3- http://w\v\v.a.scu.sc.org/'icmc/vol3/issuel/smith.himl.
Spaeih.James(1999): At The Daw n of a New Day. V Advertising Research foundation, AKI-'s Online Re.search Day-Towards Validation, 5-7
Splichal, Sla\ ko (1990): Analiza besedil. St;iiistiOna obravnava jezikovnih podatkov v družboslovnih raziskavah. .Mctodolo.^ki zw/.ki 6. Ljubljana: I-DV.
.SproulI. I.ee .S. (19K6): Using l-lectronic Mail for Data Collection in Organizational Re.«iearch. Academy of Management Journal. 29, 159-169.
TeHianian. George in Gordon .S. Black (1999): Understanding the Online Population: Lessons from the Harris Poll and the Harris l\)ll Online. V Advertising Rcse;irch Foundation, ARF's Online Re.-iearch Day - Towards Validation, 28-33
To.š, Niko (1988): .McukIc družboslovnega raziskovanja. I.jiihljan:i: Državna založba Slovenije.
Trumbo, Craig in Gi Woong Yun (1999): Response Comparison of a Survey llxecuted by .Mail, i:-Mail, and Web Site. Prispevek na 1999 Annual Research Conference, organized by Mitlwe.st Association for Public Opinion Research, Chicago, Illinois, ZDA, november 1999.
Vehovar, Vasja, Zenel Batagclj in K:iija I.ozar (1999): Web Survey.s: C-in the Weighting .Solve the Pn)blem:'" Prispevek na konferenci .VATOR 99,-St. Petersburg. Florida, ZDA, maj 1999. http://surveys.o\er.nei/method/nasc/aapor99.doc.
Vehovar, Vasja, Zenel Batagelj, Katja I.oz;ir :\lanfreda in Metka Zaletel. V tisku. Non-a-spon.se in Well Suneys. V Groves, Robert M. in soavtorji (ur.). Survey Nonrespon.se. New York: John Wiley & .Sons.
Watt, James (1997): Using the Internet for Quantitative .Survey Research. Quirk's .Marketing Research Review, junij/julij. l»ttp://www,quirk.s.c<>m/CGI-BI N/SM40i.exe:'do-cid-3000:58911i4amp;%70assArticleId-248.
Weissbach, Sharon (1997): Internet Research: Still a Few Hurdles to Clear Quirk's .Marketing Research Review. junij/julij. http://www.quirks.eom/CGI-BIN/S,VHOiexel'do-cid-3000:58911itamp;%70;LssArticleld-249.
Willke, Joseph, Christine O. Adams in Zara Girnius tl999a): l-vidence from ACNiel.sen-BASIvS for the Validity of Online Ke.search: A landmark Study of the Diffea-nces Between Mall-Intercept and Online Interviews. Prispevek na AKFs Week of Workshops, Online Re.search Workshop. New York City, New York. ZDA. oktober 1999.
Wilike, Joseph, Chri.stine O. Adams in Zara Girnius (1999b): Internet Testing. A Landmark Study of the Differences Between Mail Intercept anti On-I.ine Interview ing in the United States. V luSO.MAR. Proceedings of the ICSO.MAR Woridwide Internet Conference Net l-f-rect.s. 21.si-23rd February 1999, London, UK, 145-157
Wydra, Donna (1999): Online Tracking: A New Frontier V Advertising Research Foundation, ARFs Online Research Day-Towards Validation. 34-36.
Zukerberg, Andrew. i:iizabeth Nichols in I leather Tedesco (1999): Designing Sur\«eys for the Next Millennium: Internet Questionnaia- Design Lssues. Pris|X'vek na konferenci AAPOR '99, .St. IVtersburg, Florida, ZDA. maj 1999. http://surveys.<)wr.net/method/zukcrbcrg.ZIP.