TEORIJA IN PRAKSA let. 59, 4/2022 849 UDK 303.523.3:[303.425:077] Vasja VEHOVAR, Gregor ČEHOVIN* IZZIVI UPORABE NEVERJETNOSTIH SPLETNIH PANELOV V DRUŽBOSLOVNEM RAZISKOVANJU 1 ** Povzetek. V sodobnem družboslovnem raziskovanju se anketiranje izvaja predvsem prek spleta. Pri tem se zara- di visokih stroškov rekrutiranja enot v vzorec vse pogoste- je uporabljajo spletni paneli. Gre za velike baze potenci- alnih anketirancev, ki so podali soglasje, da za določeno nagrado sodelujejo v različnih spletnih anketah. Večina tržnih ter določeni delež raziskav javnega sektorja sta že prešla na neverjetnostne spletne panele, ki so bistve- no cenejši od anket na osnovi verjetnostnih vzorcev. Te pa na drugi strani zagotavljajo večjo točnost anketnih ocen. Članek pregleda evalvacije neverjetnostnih splet- nih panelov, ilustrira tipične težave, ki pri tem nastajajo, ter predstavi smernice za presojo o njihovi uporabi. Ključni pojmi: spletne ankete, spletni paneli, verjetno- stno vzorčenje, neverjetnostno vzorčenje, točnost, pri- stranskost Uvod Zaradi tehnološkega razvoja in naraščajočih stroškov spletni način anke- tiranja (Callegaro et al., 2015: 5) v družboslovnem raziskovanju vse bolj nadomešča tradicionalne načine anketiranja (osebno terensko, osebno telefonsko ter pisemsko). To velja posebej za ankete splošne populacije, pri katerih rekrutiranje anketirancev – ki je od zbiranja anketnih odgovorov načeloma ločen proces – še vedno temelji na terenskem, telefonskem ali pisemskem rekrutiranju. Seznam e-poštnih naslovov splošne populacije namreč ne obstaja. Posledično se povečuje vloga spletnih panelov, ki vklju- čujejo veliko število potencialnih anketirancev, pri čemer se rekrutiranje oseb izvede le enkrat. Takrat se pridobijo e-poštni naslovi, ki so podlaga za nadaljnja vabila v ankete, in tudi soglasja, da bodo osebe za določeno 1 Članek je podprla Javna agencija za raziskovalno dejavnost Republike Slovenije (evidenčne št. P5-0399, J5-3100 in V5-2157). * Dr. Vasja Vehovar, redni profesor, Fakulteta za družbene vede, Univerza v Ljubljani, Slovenija; dr. Gregor Čehovin, raziskovalec, Fakulteta za družbene vede, Univerza v Ljubljani, Slovenija. ** Pregledni znanstveni članek. DOI: 10.51936/tip.59.4.849–870 TEORIJA IN PRAKSA let. 59, 4/2022 850 Vasja VEHOVAR, Gregor ČEHOVIN nagrado (npr. gotovina, loterija, donacije) sodelovale v različnih spletnih anketah. V tem okviru je značilen razvoj neverjetnostnih spletnih panelov (NSP), ki rekrutirajo na različne priložnostne načine. Verjetnosti za vključitev enot v vzorec zato niso znane in statistično sklepanje načeloma ni mogoče. Na drugi strani sta glavni prednosti NSP hitrejša izvedba in ugodni stroški (Breton et al., 2017), pa tudi ciljanje majhnih populacijskih segmentov (npr. nosečnice), saj NSP celo v manjših državah (npr. Slovenija) vključujejo več deset tisoč enot. Znano je, da se v tržnem raziskovanju verjetnostni vzorci praktično ne uporabljajo (ESOMAR, 2020). Večina tržnih in javnomnenjskih raziskav ter precej raziskav javnega sektorja (akademske raziskave, razis- kave za državne organe in organizacije ter lokalno samoupravo) uporablja NSP, ki jih izvajajo različni komercialni ponudniki. Družboslovni raziskovalci so pri anketiranju zato soočeni z nasled- njo dilemo: Ali izbrati dražje verjetnostne vzorce – npr. klasične terenske ankete, kot je Slovensko javno mnenje (npr. Malešič, 2016; Zavratnik et al., 2017; Blatnik in Hočevar, 2020; Golob in Podnar, 2021; Dolenc Šparovec et al., 2022; Petrovčič et al., 2022); pisemsko rekrutirane spletne ankete (npr. Hafner-Fink in Uhan, 2021; Jeras et al., 2022); verjetnostne spletne panele (npr. Jeras et al., 2022) – ali pa uporabiti cenejše NSP (npr. Sendelbah, 2017; Kuhar in Zager Kocjan, 2021; Hvalič Touzery et al., 2022; Prevodnik et al., 2022; Vehovar et al., 2022). Vedno pa je na voljo tudi lastna neverjetnostna spletna anketa (npr. Petravić et al., 2021; Oblak Črnič in Brečko, 2022) ali pa spletna anketa izbrane online-skupnosti (npr. Petrovčič in Petrič, 2014). Pri tem je glavna težava NSP – in neverjetnostnih vzorcev nasploh – v tem, da so z vidika točnosti anketnih ocen manj ugodni. Točnost sicer vključuje dve komponenti; prva je pristranskost (angl. bias), to je razlika med anket no oceno (npr. ocena volilnega deleža v anketi) ter pravo vrednostjo popula- cijskega parametra (npr. dejanski volilni rezultat). Druga komponenta je natančnost (angl. precision), ki se izraža z vzorčno varianco oziroma s stan- dardno napako (angl. standard error – SE). V praksi pa se primerjave anket- nih ocen pogosto poenostavijo zgolj na primerjavo pristranskosti ocen. Na raziskovalno vprašanje, ali so NSP primerni za družboslovno razis- kovanje, v nadaljevanju odgovarjamo v dveh smereh. Na eni strani sistema- tično pregledamo evalvacije, ki so primerjale NSP z verjetnostnimi anke- tami, na drugi strani pa podamo ponazoritvi dveh tipičnih težav pri uporabi NSP v Sloveniji. Ankete na osnovi verjetnostnih vzorcev Verjetnostno vzorčenje oziroma znanstveno vzorčenje temelji na mate- matičnih zakonitostih porazdeljevanja vzorčnih ocen v ponavljajočih se TEORIJA IN PRAKSA let. 59, 4/2022 851 Vasja VEHOVAR, Gregor ČEHOVIN vzorcih (Kalton in Vehovar, 2001). Prvi pogoj verjetnostnega vzorčenja je, da ima vsaka enota v populaciji znano in pozitivno oziroma neničelno ver- jetnost za vključitev v vzorec (Krosnick et al., 2015). Statistično sklepanje, ki se običajno izvaja v obliki intervalov zaupanja in preverjanja domnev, se namreč lahko izvede samo ob predpogoju verjetnostnega vzorčenja. V praksi to pomeni, da moramo razpolagati s seznamom (ali njegovim nado- mestkom) vseh enot v populaciji, kar pa je zelo zahteven pogoj. Verjetnostno vzorčenje načeloma zahteva visoko stopnjo pokritosti vzorčnega okvira. Nepokritost (npr. neuporabniki interneta v spletnih anke- tah) namreč pomeni, da imajo določene enote verjetnost za vključitev nič. Pomembna je tudi visoka stopnja odgovorov, sicer verjetnosti izbire ne nad- zorujemo več. V tradicionalnih verjetnostnih anketah se je zato zahtevalo 80- ali 70-odstotne stopnje odgovorov oziroma stopnje pokritosti (Vehovar in Beullens, 2018), sicer so bili potrebni postopki za večanje sodelovanja oziroma dvojni vzorčni okviri (angl. dual sampling frames) za večanje pokri- tosti. Empirična resničnost kaže (Vehovar in Beullens, 2018), da so v verje- tnostnih terenskih anketah dandanes potrebni veliki napori za 50-odstotne stopnje odgovorov (Jabkowski in Kołczyńska, 2020). Še težje take stopnje dosegajo pisemske ankete (Dillman et al., 1978/2014; Cornesse, Felderer, et al., 2021), telefonske ankete pa se približujejo enomestnim številkam (Keeter idr., 2017; Olson, Smyth idr., 2020; Pasek, 2016). Posledično so se merila spre- jemljivih stopenj odgovorov spremenila; nekateri celo zanikajo povezavo med stopnjo odgovorov in pristranskostjo ocen (Groves in Peytcheva, 2008; Hendra in Hill, 2019). Verjetnostne ankete z nizko stopnjo odgovorov ozi- roma pokritja pa se včasih obravnava kot neverjetnostne (npr. Rivers, 2007; Gelman et al., 2016). To pomeni, da so lahko skrbno izbrani neverjetnostni vzorci celo boljša izbira (Rivers, 2007; Dutwin in Buskirk, 2017). S širitvijo interneta je začel spletni način izrivati tradicionalne načine anketiranja tudi v verjetnostnih vzorcih. Ne glede na način anketiranja (spletni ali tradicionalni) pa je pri enkratnih verjetnostnih anketah splošne populacije proces rekrutiranja v anketo treba izvesti na tradicionalne načine – govorimo o tradicionalno rekrutiranih verjetnostnih vzorcih (TRVV). Pri spletnih anketah je rekrutiranje najpogosteje pisemsko (npr. Hafner-Fink et al., 2020, 2021; Berzelak et al., 2021; Cornesse, Felderer, et al., 2021; Hafner- Fink, Kurdija, Malnar, Uhan, et al., 2022; Jeras et al., 2022). Poleg tega je treba v tovrstnih spletnih anketah na tradicionalne načine doanketirati tudi neu- porabnike interneta – govorimo o tako imenovanih kombiniranih načinih anketiranja, pri katerih je mogoče z uporabo spodbud, dolgim obdobjem zbiranja podatkov (npr. dopis in dva opomnika) ter pisemskim anketira- njem neuporabnikov interneta doseči 45- ali celo več kot 50-odstotne stop- nje odgovorov (npr. Hafner-Fink et al., 2021; Center za družboslovno infor- matiko, 2022). Zgolj s pisemskimi vabili v spletno anketo – brez terenskega TEORIJA IN PRAKSA let. 59, 4/2022 852 Vasja VEHOVAR, Gregor ČEHOVIN ali telefonskega rekrutiranja oziroma brez tradicionalnega anketiranja neu- porabnikov interneta – pa so stopnje odgovorov manjše za desetino ali celo za petino. Stroški spletnih anket so pri uporabi TRVV (npr. zaradi dragega pošiljanja treh pisemskih vabil) v primerjavi z verjetnostnimi terenskimi anketami (npr. Slovensko javno mnenje) zgolj nekoliko manjši. Posebej majhen je prihranek v državah, kjer je – glede na stroške pisemskega pošilja- nja – delovna sila oziroma terensko anketiranje cenovno relativno ugodno. Zaradi visokih stroškov enkratnega rekrutiranja v verjetnostne spletne ankete so se že konec devetdesetih let prejšnjega stoletja pojavili verjet- nostni spletni paneli (VSP). Predhodne oblike VSP so na osnovi telefonskih povezav sicer nastale že v osemdesetih letih (telepanel; Callegaro idr., 2015). Prvi komercialni VSP, KnowledgeNetworks (Couper, 2017), je nastal že leta 1999 – ko je bilo internetno pokritje še nizko – zaradi formalnih zahtev, naj vladno financirane ankete v ZDA uporabljajo verjetnostne vzorce (Office of Management in Budget, 2016). Sodobni VSP so se pričeli razvijati, ko je začela internet uporabljati velika večina prebivalstva. Leta 2007 je bil vzpo- stavljen nizozemski LISS (Scherpenzeel, 2011), ki je enote rekrutiral terensko, s posebnimi postopki pa so vključevali tudi neuporabnike interneta, kar je praksa večine VSP. Sledil je razvoj VSP v Evropi (npr. Blom et al., 2016), ZDA (npr. Hays et al., 2015; Couper, 2017) in Avstraliji (npr. Lavrakas et al., 2022). Pomembnost razvoja VSP se kaže tudi v pilotnih VSP v okviru Evropske družboslovne raziskave – CRONOS-1 v treh državah (Villar et al., 2018) ter CRONOS-2 v dvanajstih državah (European Social Survey, 2021) – in v posku- sih vzpostavitve vseevropskega VSP (Consortium of European Social Science Data Archives, 2020). VSP danes uporabljajo vladne, uradne in akademske raziskave v številnih razvitih državah (Hays et al., 2015). V Sloveniji kontinuira- nih VSP sicer še nimamo, čeprav smo bili vključeni v zgoraj omenjena panela CRONOS; obstajajo tudi določene izkušnje z ad hoc VSP (Jeras et al., 2022). V primerjavi s TRVV, ki enote izbirajo za vsako raziskavo posebej, imajo VSP nižje stroške, saj se rekrutiranje izvede samo enkrat, enote pa sodelu- jejo večkrat. S tem povezano je tudi bistveno hitrejše zbiranje podatkov. Slabost VSP so nizke skupne stopnje odgovorov, saj je treba upoštevati rekrutiranje v panel in tudi rekrutiranja v posamezno raziskavo (Villar et al., 2018), zato te le izjemoma dosežejo 40 %; to sta zgolj v začetni fazi beležila panela LISS (Scherpenzeel in Bethlehem, 2011) in FFRISP (Sakshaug et al., 2009). Dandanes se v večini nekomercialnih VSP stopnje gibljejo v intervalu 10–20 % (Kennedy et al., 2016; Pasek, 2016; Mercer et al., 2018; Olson, Smyth, et al., 2020; Maslovskaya in Lugtig, 2022). V Sloveniji sta pilotni VSP izvedbi CRONOS, ki sta anketirance rekrutirali v terenski Evropski družboslovni raziskavi, dosegli stopnjo 24 %. VSP torej glede stopnje odgovorov zaosta- jajo za TRVV, posebej, če začetno rekrutiranje poteka pisemsko (Cornesse, Felderer, et al., 2021; Jeras et al., 2022). V komercialnih VSP pa so skupne TEORIJA IN PRAKSA let. 59, 4/2022 853 Vasja VEHOVAR, Gregor ČEHOVIN stopnje odgovorov praviloma enoštevilčne (Kennedy et al., 2016; Pasek, 2016; Mercer et al., 2018; Olson, Smyth, et al., 2020). Celovitejša evalvacija VSP (v primerjavi s TRVV) predstavlja komple- ksen problem, ki presega cilje pričujočega članka (glej Bosnjak et al., 2018; Cornesse et al., 2020; Šoštarič, 2020; Bottoni in Fitzgerald, 2021; Maslovskaya in Lugtig, 2022). Neverjetnostni spletni paneli NSP so naravni naslednik (marketinških) panelov gospodinjstev (angl. household panels), ki so v svetu in pri nas delovali že desetletja pred inter- netom. V njih so neverjetnostno izbrane osebe za določeno nagrado kon- tinuirano sodelovale v anketah, izvedenih na tradicionalne načine. V drugi polovici devetdesetih let prejšnjega stoletja so ti paneli začeli prehajati na splet, pojavili pa so se tudi spletni paneli (angl. access panels), ki so rekruti- rali in anketirali izključno prek spleta (Couper, 2000; Callegaro et al., 2014); v začetnih letih so napovedovali tudi radikalno preobrazbo anketne indu- strije (Black, 1998). Rekrutiranje v NSP je cenovno ugodno, enostavno in hitro, saj poteka na številne načine, delno lahko tudi verjetnostno (npr. po terenski ali telefon- ski verjetnostni anketi); osebe pa se lahko v tak panel prijavijo tudi kar same (Callegaro et al., 2015). Neverjetnostna vključitev pomeni, da statistično sklepanje z vzorca na populacijo (npr. izračun intervala zaupanja) načeloma ni mogoče, saj ne poznamo verjetnosti za izbiro enot v vzorec. Tveganja za napačno oceno zato ni mogoče opredeliti vnaprej kot pri verjetnostnih vzorcih. Kadar v neverjetnostnih vzorcih kljub temu uporabimo standardno statistično sklepanje, je zato treba izrecno navesti, da je bilo statistično skle- panje izvedeno brez izpolnjenih predpogojev (torej brez poznavanja ver- jetnosti za vključitev enot vzorec) in je zato opravljeno z neznanim tvega- njem (Vehovar et al., 2016: 340). Brez izpolnjevanja dodatnih predpostavk glede verjetnosti, s katerimi so bile enote izbrane v vzorec – pri čemer teh predpostavk ni mogoče preveriti –, ne moremo izračunati niti povprečja. Kadar npr. z običajnim izračunom vzorčnega povprečja na osnovi neverje- tnostnega vzorca ocenjujemo populacijsko povprečje, pri tem avtomatično predpostavimo, da so imele vse enote v vzorcu enako verjetnost za izbiro, čeprav teh verjetnostni sploh ne poznamo. Za tovrstno sklepanje se zato včasih (ironično) navaja, da temelji na veri (angl. faith-based sampling). Posledično so anketne ocene na osnovi neverjetnostnih vzorcev bolj pri- stranske kot v verjetnostnih vzorcih. V zadnjih dveh desetletjih je pri sklepanju na osnovi NSP sicer opaziti stalen napredek, posebej v izvedbenem smislu (npr. Rivers, 2007; Baker et al., 2013; Ansolabehere in Schaffner, 2014; Callegaro et al., 2014; Gelman et TEORIJA IN PRAKSA let. 59, 4/2022 854 Vasja VEHOVAR, Gregor ČEHOVIN al., 2016; Vehovar et al., 2016; TGM Research, 2022), kjer NSP izvajajo šte- vilne izboljšave (Mercer idr., 2018): širitev kanalov rekrutiranja, napredni postopki izbire enot v vzorec (npr. nadvzorčenje, uparjanje, kvote), spodbu- dne nagrade, optimizacija obremenitev ipd. Pomembni so tudi prilagoditev vprašalnika, nadzor vnesenih podatkov, urejanje podatkov ter uteževanje (Baker et al., 2013). Vsi ti ukrepi sicer ne omogočajo uveljavljanja statistič- nega sklepanja na osnovi neverjetnostnih vzorcev, pomembno pa zmanj- šujejo tveganja za pristranskost anketnih ocen. Na tej osnovi so med ponu- dniki NSP velike razlike; zahtevnejša storitev NSP običajno pomeni tudi višjo ceno. K izboljšavam NSP je prispevala tudi statistična znanost – tako z modeliranjem ocen (npr. Valliant, 2020; Wiśniowski et al., 2020) kot z razvo- jem konceptov pogojne neodvisnosti (angl. conditional independence; npr. Dawid, 1979), zanemarljivega mehanizma manjkajočih vrednosti (angl. ignorable missing data mechanism; npr. Rubin, 1976) in metode nagnjenja (angl. propensity score method; npr. Rosenbaum in Rubin, 1983). V tem okviru velja dodati, da bi vzorec na osnovi NSP (npr. n = 1.000) pogojno sicer lahko obravnavali kot verjetnostni vzorec, ki je izbran zgolj iz celotne baze oseb v določenem NSP (npr. N p = 40.000). Na tej osnovi bi lahko izvedli statistično sklepanje in izračunali običajne intervale zaupanja, čeprav bi v takem primeru iz vzorca (n) sklepali zgolj o populaciji enot, ki so v panelu (N p ), in ne o celotni ciljni populaciji (npr. N = 2 mio). Tak vzorec bi moral biti iz NSP izbran verjetnostno, kar sicer ni težava, čeprav se v praksi verjetnostna izbira posameznega vzorca iz celotne baze NSP praviloma ne izvede. Kritično je predvsem dejstvo, da se anketiranje, rekrutiranje in opo- minjanje običajno ustavi, ko se doseže določena (želena) velikost vzorca. Ker se naročnikom praviloma mudi, respondenti pa se v veliki meri odzi- vajo zelo hitro, anketiranje v vzorcih iz NSP praviloma traja le nekaj dni. Na tej osnovi lahko prihaja do razlik, npr. med vzorci, ki se začnejo v različnih dnevih tedna, in tudi med vzorci, ki uporabljajo različno število opomnikov. Posledično lahko dajejo različni oziroma ponovljeni vzorci iz istega NSP raz- lične ocene določenega parametra. Za kakovosten NSP vzorec, ki je med ponovitvami primerljiv, se je zato potrebno z NSP dogovoriti za daljši čas zbiranja podatkov, za večje število opomnikov in lahko tudi za napredno izbiro enot vzorec. Evalvacije neverjetnostnih spletnih panelov S svojim neznanstvenim pristopom predstavljajo NSP velik izziv in tudi tve- ganje za družboslovno raziskovanje, posebej za akademski in uradni sektor, zato so predmet številnih evalvacij. Žal se evalvacije praviloma osredotočajo zgolj na primerjavo pristranskosti anketnih ocen. Tabela 1 povzema obse- žnejše eksperimente, v katerih so sodelovali različni NSP znotraj določene TEORIJA IN PRAKSA let. 59, 4/2022 855 Vasja VEHOVAR, Gregor ČEHOVIN države. Pri tem se ocene iz NSP primerja s popisi, VSP (npr. Miller, 2007) ali s TRVV, kjer anketiranje lahko poteka telefonsko (npr. Yeager et al., 2011), terensko (npr. Copas et al., 2020) ali pisemsko (npr. Walker et al., 2009). Tabela 1: EKSPERIMENTALNE PRIMERJAVE NSP S KONTROLNIMI RAZISKAVAMI Vir Št. NSP Kontrolne raziskave Kratica države Uspešnost NSP Lavrakas idr. (2022) 5 VSP , popis AU Povprečna relativna absolutna napaka a : • demografija: 6,0 (NSP), 5,8 (VSP) • vprašanja o zdravju: 8,7 (NSP), 3,9 (VSP) Copas idr. (2020) 4 TRVV UK Povprečna absolutna razmerja obetov za NSP ocene so 1,4–1,8 (1,3–1,7 odraža srednjo, nad 1,7 veliko pristranskost). MacInnis idr. (2018) 4 VSP , TRVV ZDA Koren povprečne kvadratne napake a : • demografija: 3,9 (VSP), 4,3 (TRVV), 4,8–9,0 (NSP) • zdravje in potrošnja: 4,9 (VSP), 6,4–9,4 (NSP) Sturgis idr. (2018) 8 TRVV UK Povprečna relativna absolutna napaka a posameznih NSP za volilni rezultat konservativne stranke je znašala 1,7–6,7. Dutwin & Buskirk (2017) 2 TRVV ZDA Povprečna relativna absolutna pristranskost a v TRVV (telefon) je približno polovico manjša kot v NSP: NSP 2,1 in 2,8; telefon 1,5 in 2,1; teren 0,8. Kennedy idr. (2016) 9 VSP , TRVV ZDA Povprečna relativna absolutna pristranskost a za 12 postavk (varnost, demografija, socialni kapital): 5,6–7,8 % točke (NSP), 4,1 (VSP) Scherpenzeel & Bethlehem (2011) 19 VSP , TRVV , popis NL Povprečna relativna absolutna pristranskost a : 0–8 (VSP), 1–13 (TRVV), 1–17 (NSP). Največje razlike za volilno udeležbo. Yeager idr. (2011) 7 VSP , TRVV ZDA Povprečna relativna absolutna napaka a : • demografija: 3,3 (TRVV), 2,0 (VSP), 4,1–12,0 (NSP) • vprašanja o zdravju: 2,9 (TRVV), 3,4 (VSP), 4,5–6,6 (NSP) Walker idr. (2009) 17 TRVV ZDA Anketne ocene: • kajenje kadar koli: 42 % (TRVV, teren), 43 % (TRVV, pisemsko), 46 % (TRVV, telefon), 42–58 % (NSP) • kajenje zdaj: 21 % (TRVV, teren), 21 % (TRVV, pisemsko), 21 % (TRVV, telefon), 19–33 % (NSP) • lastništvo mobilnika: 79 % (TRVV, teren), 88 % (TRVV, pisemsko), 79 % (TRVV, telefon), 85–93 % (NSP) • delež mobilnih klicev: 48 % (TRVV, teren), 39 % (TRVV, pisemsko), 26 % (TRVV, telefon), 29–49 % (NSP) Malhotra & Krosnick (2007) 2 TRVV ZDA Manjša pristranskost ocen v TRVV za 88 % (14 od 16) spremenljivk (demografija in volitve). V primerjavi s TRVV je NSP volilno udeležbo precenil za 35 % točk, VSP pa za 20 % točk. (Miller, 2007) 2 VSP ZDA Anketne ocene za dominantno roko pri opravilih: • leva roka: 10 % (VSP), 9–13 % (NSP) • ni dominantne roke: 1 % (VSP), 5–7 % (NSP) Berrens idr. (2003) 2 TRVV ZDA Odstopanja pri nekaterih političnih in okoljskih vprašanjih: • registrirani volivci: 87 % (TRVV, telefon), 73–87 % (NSP) • politična usmeritev (lestvica 1–7, 1: izrazito leva, 7: izrazito desna): 4,3 (TRVV), 4,0–4,1 (NSP) • članstvo okoljskih organizacij: 11 % (TRVV), 6–12 (NSP) • okoljski sporazumi (lestvica 0–11, 0: izrazito slabi, 10: izrazito dobri): 7,2 (TRVV), 6,8–6,9 (NSP) Opomba: a Vrednosti so izražene v odstotnih točkah. Vir: povzeto po literaturi, ki je navedena v prvem stolpcu tabele. TEORIJA IN PRAKSA let. 59, 4/2022 856 Vasja VEHOVAR, Gregor ČEHOVIN Rezultati kažejo, da so verjetnostni vzorci z vidika pristranskosti anketnih ocen veliko uspešnejši kot NSP. Med različnimi NSP, vključenimi v odgovar- jajoče eksperimente, so običajno tudi velike razlike, kar znižuje zaupanje v izbrani NSP, v kontinuiranih študijah pa preprečuje zamenljivost enega NSP z drugim (npr. Chan in Ambrose, 2011). Pogosto se sicer nekateri NSP izka- žejo za uspešnejše od drugih, ne pa vedno (npr. Copas et al., 2020). Dobljenim rezultatom pritrjujejo tudi številni posamezni eksperimenti, pri katerih NSP kažejo pristranske ocene (npr. Pasek in Krosnick, 2020). Posebno mesto v evalvacijah NSP imata dve obsežni metaštudiji, ki sta pre- gledali 49 (Cornesse in Bosnjak, 2018) oz. 25 (Cornesse et al., 2020) primer- jav NSP in verjetnostnih vzorcev ter ugotovili, da NSP dajejo izrazito slabše (bolj pristranske) ocene. Anketne ocene NSP so bolj pristranske predvsem na področju socio- demografije (npr. MacInnis et al., 2018), političnih stališč (npr. Malhotra in Krosnick, 2007; Sturgis et al., 2018), zdravja (npr. Yeager et al., 2011) in spol- nega vedenja (npr. Erens et al., 2014; Copas et al., 2020), včasih pa tudi pri analizi trendov (npr. Pasek in Krosnick, 2020). Zaradi narave samorekrutira- nja so pri NSP v splošnem izraziteje zastopane mlajše, aktivnejše in digitalno pismene osebe, skupine državljanskega udejstvovanja (angl. civic participa- tion), pa tudi samski in brezposelni (npr. Yeager et al., 2011; Kennedy et al., 2016). Do specifičnih težav lahko pride, ker panelisti sodelujejo v več NSP hkrati kot poklicni anketiranci (angl. professional respondents), ki morda ustvarjajo izmišljene identitete (npr. Tourangeau et al., 2013). Študije kažejo, da ima uteževanje omejen domet (npr. Walker et al., 2009; Brüggen et al., 2016; Dutwin in Buskirk, 2017; Copas et al., 2020; Cornesse et al., 2020); včasih anketne ocene celo poslabša (Yeager et al., 2011). Naivna pričakovanja, ki so precenjevala potenciale uteževanja (Vehovar et al., 1999) ali metode nagnjenja (Black, 1998), so se izkazala za preveč optimistična. Običajno namreč s tovrstnimi postopki v najboljšem primeru odstranimo tretjino pristranskosti (npr. Tourangeau et al., 2013; Mercer et al., 2018). Na drugi strani obstajajo primeri, kjer so se NSP izkazali kot ustrezni za napovedovanje volilnih izidov (npr. Wang et al., 2015; Gelman et al., 2016; Pasek, 2016; Dassonneville et al., 2020), političnih stališč (npr. Ansolabehere in Schaffner, 2014), preučevanje korelacij (npr. Goel et al., 2015; Pasek, 2016) ter trendov (npr. Dever et al., 2021). Kadar nas zanima sklepanje za vse spremenljivke v določeni raziskavi, pa v splošnem ni mogoče preprečiti pristranskosti ocen zaradi neverjetnostne izbire (Chang in Krosnick, 2009; Cornesse et al., 2020). Kljub negativnim evalvacijam se uporaba NSP širi – predvsem zaradi niz- kih stroškov in hitrosti zbiranja podatkov. Na drugi strani težave s pristran- skostjo pogosto niso usodne, saj ta ni kritično velika ali pa za raziskavo ni pomembna – posebej, kadar nas zanimajo povezave med spremenljivkami, TEORIJA IN PRAKSA let. 59, 4/2022 857 Vasja VEHOVAR, Gregor ČEHOVIN ki so v NSP običajno dobro ocenjene. NSP so tako postali prevladujoči način anketiranja splošne populacije v tržnih in mnenjskih anketah (npr. Rivers, 2007; Gelman et al., 2016), posebej volilnih (Berrens et al., 2003; Wang et al., 2015; Sturgis et al., 2018), pa tudi pri spremljanju aktualnih družbenih pojavov, npr. covida-19 (Cornesse, Krieger, et al., 2021; Nacionalni inštitut za javno zdravje, 2021; Valicon, 2021; Boyle et al., 2022; Radford et al., 2022). Po začetnem obotavljanju postajajo NSP vse bolj sprejemljivi tudi v akadem- skem raziskovanju in v znanstvenih publikacijah, pojavljajo pa se tudi že v uradni statistiki (npr. Rendtel in Amarov, 2014; Cooper in Greenaway, 2015). Dve ilustraciji težav neverjetnostnih spletnih panelov V nadaljevanju na osnovi slovenskih NSP ponazorimo dva tipična pri- mera pristranskosti ocen. Prvi se nanaša na stanje, ko NSP daje – v primer- javi s kontrolnimi ocenami oziroma populacijskimi parametri – razmeroma dobre (nepristranske) ocene za glavnino spremenljivk, a pri določenem sklopu popolnoma odpove; drugi pa kaže na splošno precenjevanje ocen za spremenljivke, ki so povezane z večjo digitalno pismenostjo anketiran- cev v NSP. Dodati velja, da smo za NSP privzeli predpostavko, da so ver- jetnosti za vključitev enake za vse enote, čeprav teh verjetnosti seveda niti ne poznamo. S tem tudi pristajamo, da se v izračunanih anketnih ocenah – zaradi neverjetnostnega izbora enot v vzorec – lahko pojavi neznana napaka z neznanim tveganjem. Primer SI-PANDA Raziskava o pandemski izčrpanosti je potekala od januarja do marca 2021 kot anketa TRVV (Berzelak et al., 2021) s kombinacijo spletnega in pisem- skega anketiranja (n = 8.000, 49-odstotna stopnja odgovorov). Kontinuirano spremljanje problematike (SI-PANDA; Hočevar Grom et al., 2022) pa je pote- kalo od decembra 2020 do decembra 2021 v devetnajstih valovih v NSP, vsa- kič na vzorcu tisoč oseb. V primerjavi v nadaljevanju razprave so upoštevani le valovi januar–marec 2021. Večina ocen NSP se je dobro ujemala s TRVV (npr. poročanje o okužbi, samoocena finančnega položaja, odnos do teorij zarot, splošna stališča), saj je bila glavnina (80 %) relativnih razlik med ocenama manjša od 15 %, več kot polovica (56 %) pa je imela relativno razliko pod 10 %. Od 70 postavk je imelo le šest postavk relativno razliko večjo od 20 %, nanašale pa so se pred- vsem na sklop o zdravstveni pismenosti v zvezi s covidom-19, kjer so anke- tiranci v NSP izražali bistveno večje težave pri razumevanju in upoštevanju priporočil (Tabela 2). Npr. pri postavki »Kako težko ali lahko upoštevate pri- poročila o tem, kdaj delati/se šolati od doma in kdaj ne?« je povprečje na TEORIJA IN PRAKSA let. 59, 4/2022 858 Vasja VEHOVAR, Gregor ČEHOVIN lestvici 1–7 (1: zelo težko, 7: zelo lahko) znašalo 4,5 v NSP in 6,0 v TRVV. To so zelo visoka, nenavadna in nepričakovana odstopanja; brez poglobljenih analiz in naknadnih eksperimentov lahko o vzrokih le ugibamo. Tabela 2: PRIMERJAVA ANKETNIH OCEN NSP IN TRVV PRI SI-PANDA (POV PRE Č- JA NA LESTVICI 1–7, 1: ZELO TEŽKO, 7: ZELO LAHKO) ZA POSTAVKE Z NAJVEČ ODSTOPANJA V RELATIVNI RAZLIKI MED OCENAMA Vprašanje: Kako težko ali lahko … NSP ocena TRVV ocena Relativna razlika … upoštevate priporočila o tem, kdaj delati/se šolati od doma in kdaj ne? 4,5 6,0 25 % … razumete priporočila o tem, kdaj delati/se šolati od doma in kdaj ne? 4,4 5,7 23 % … razumete priporočila o tem, kdaj se družiti in kdaj ne? 4,7 6,0 22 % … upoštevate priporočila o tem, kdaj se družiti in kdaj ne? 4,7 6,0 22 % … razumete omejitve in priporočila oblasti glede novega koronavirusa? 4,0 5,1 22 % … upoštevate priporočila o tem, kako se zaščititi pred okužbo z novim koronavirusom? 5,3 6,3 16 % … ocenite, ali so informacije o novem koronavirusu v medijih zanesljive? 3,5 4,1 15 % … razumete informacije o tem, kaj narediti, če mislite, da ste okuženi z novim koronavirusom? 5,5 6,2 11 % Vir: prirejeno po Berzelak et al. (2021). Ker gre za intervalne spremenljivke na razmeroma velikih vzorcih, so vse zgornje absolutne razlike (npr. 4,5 vs. 6,0) visoko statistično značilne (p < 0,000); intervali zaupanja za zgornje ocene pa so izredno ozki (pod 0,1), zato jih ne navajamo. Primer Spletno oko Predstavljamo primerjavo anketnega vprašanja o poznavanju Spletnega očesa, točke za prijavo ilegalnih vsebin na spletu, ki je bilo vključeno v izbra- nem NSP aprila 2022 na vzorcu n = 600 (Poznavanje Safe.si in Spletno oko, 2022) in tudi v TRVV (Hafner-Fink, Kurdija, Malnar in Uhan, 2022) – v teren- sko anketo Slovensko javno mnenje (SJM) 2022/1, april–avgust 2022 (n = 1.001, stopnja odgovorov 54 %). V obeh primerih smo primerjavo izvedli za starostno skupino 18–65 let. Tabela 3 kaže, da so v NSP anketiranci Spletno oko poznali bistveno bolje, saj so – razen zadnje kategorije (Dobro poznam) – vse razlike med NSP in TRRV statistično visoko značilne (p < 0,000), hkrati pa so velike tudi v relativnem smislu, saj so relativne razlike precej nad 10 %. Razlike lahko pojasnimo z večjo digitalno pismenostjo in intenzivnejšo rabo interneta med respondenti v NSP. Dodati velja, da se navedeno precenjevanje pojavi tudi v poznavanju drugih organizacij s področja varne rabe interneta (Arnes, Varniinternet, Safe.si, Varninainternetu), ki so bile vključene v obe raziskavi. Pri tem velja poudariti, da so relativna razmerja glede poznavanja navedenih organizacij v NSP praktično enaka kot v TRVV. TEORIJA IN PRAKSA let. 59, 4/2022 859 Vasja VEHOVAR, Gregor ČEHOVIN Tabela 3: PRIMERJAVA OCEN V NSP IN TRVV O POZNAVANJU SPLETNEGA OČESA (NAVEDENI SO VELJAVNI ODSTOTKI – Z ZAOKROŽEVANJEM) Katere od teh organizacij poznate in kako dobro? Ne poznam. Ne poznam, vendar sem že slišal. Delno poznam. Dobro poznam. Spletno oko – NSP 54 % 25 % 18 % 3 % Spletno oko – TRVV 77 % 14 % 8 % 2 % Vir: prirejeno po Poznavanje Safe.si in Spletno oko (2022) in Hafner-Fink, Kurdija, Malnar in Uhan (2022). Razprava Širši kontekst NSP delijo vse prednosti in slabosti neverjetnostnega vzorčenja, kar je sistematično obravnavano v Vehovar et al. (2016). V najširšem smislu pa sodijo v okvir nenehnega iskanja – ki spremlja moderno anketno razisko- vanje že od začetkov pred okoli sto leti –, kako zamenjati drage in izved- beno težavne verjetnostne ankete s cenejšimi in izvedbeno enostavnejšimi neverjetnostnimi anketami (Vehovar et al., 2001). NSP torej v osnovi pona- vljajo stare težnje in dileme, vendar v novih okoliščinah, ki jih zaznamujejo množična uporaba novih tehnologij, hitri napredek anketne metodologije ter vse večja dinamika sprememb. V pogledu dinamike velja dodati, da se je družboslovno anketno razisko- vanje v Sloveniji začelo šele v šestdesetih letih prejšnjega stoletja s terenskim anketiranjem, ki je v začetku dosegalo skoraj popolno pokritje in popolne stopnje odgovorov; te so lahko še tri desetletja presegle 90 % (Štebe, 1995). V devetdesetih letih prejšnjega stoletja je sledil vzpon telefonskega anketi- ranja, ki je doseglo celo pokritje 90 % (danes 25 %), pa tudi stopnje odgovo- rov so lahko presegle 90 % (Kalton in Vehovar, 2001). Po letu 2000 anketno raziskovanje zaznamuje vzpon interneta, ki je postopno dosegel pokritost okoli 90 % (Statistični urad RS, 2021), pri čemer pa stopnje odgovorov delijo usodo zgoraj opisanih tradicionalnih načinov anketiranja. Slovenija sicer sledi globalni dinamiki z velikimi zamiki; z večdesetletno zamudo se je vzpo- stavilo telefonsko anketiranje, desetletna zamuda je nastala pri NSP, trajnega VSP pa še vedno nimamo. Vzpostavitev VSP, ki bi za javne (npr. ministrstva, uradi) in akademske uporabnike ponudil alternativo komercialnim NSP ozi- roma TRVV, je zato eden večjih izzivov na tem področju. V razvitih drža- vah sta se namreč jasno izoblikovala dva segmenta spletnih panelov. Javni sektor, predvsem vladne in akademske raziskave, pa tudi nevladni oziroma neprofitni sektor pogosto posegata po VSP (in tudi po drugih verjetnostnih anketah). Razlogi so predvsem zahteve po točnosti ocen, pa tudi formalne TEORIJA IN PRAKSA let. 59, 4/2022 860 Vasja VEHOVAR, Gregor ČEHOVIN omejitve. Neredko (npr. ZDA; Office of Management in Budget, 2016) ima namreč vladni sektor prepoved uporabe neverjetnostnih vzorcev, posebej statistični uradi. Na drugi strani NSP pokrivajo celoten komercialni sektor (posebej mnenjske poizvedbe), ki ga pri VSP praktično ne srečamo. NSP pa vključujejo tudi določen del naročnikov javnega sektorja (npr. Nacionalni inštitut za javno zdravje, 2021), vključno z akademskimi raziskavami (npr. Sendelbah, 2017; Kuhar in Zager Kocjan, 2021; Hvalič Touzery et al., 2022; Prevodnik et al., 2022; Vehovar et al., 2022). Kriterijev za uporabo NSP v zgornjih primerih nismo proučevali, verjetno pa gre za splet zgoraj naštetih dejavnikov. Omejitve in smeri nadaljnjega raziskovanja Navedimo še ključne omejitve pričujoče obravnave, ki hkrati predstav- ljajo smeri nadaljnjega raziskovanja. Najprej velja poudariti, da evalvacije NSP ne upoštevajo razlik v stroških. Ti so lahko pri NSP celo petnajstkrat nižji od verjetnostnih telefonskih anket in več kot 50-krat nižji od terenskih (Breton idr., 2017). V Sloveniji so NSP v večini primerov štiri- do šestkrat cenejši od verjetnostnih vzorcev, odvisno od izvajalca NSP na eni in od tipa verjet nostnega vzorca (TRRV, VSP) oziroma načina anketiranja na drugi strani. Primerjava anket, ki razpolagajo s tako radikalno različnimi proračuni, zgolj na osnovi pristranskosti (npr. Cornesse et al., 2020), je seveda pomanj- kljiva. Kadar npr. 15-minutni blok vprašanj, n = 1.000, v verjetnostnem vzorcu stane 15.000 EUR, v NSP pa 3.000 EUR, so primerjave zgolj na osnovi pristranskosti ocen neprimerne – podobno, kot so neprimerne npr. primer- jave zmogljivosti avtomobilov za 75.000 EUR in za 15.000 EUR. Navedena primerjava z drugega področja dobro ponazori nenavadno protislovje: med- tem ko se zmogljivosti dveh cenovno tako različnih avtomobilov praktično nikoli ne primerja, pa za pristranosti ocen obstaja stotine primerjav NSP z radikalno dražjimi verjetnostnimi vzorci. Pravo vprašanje namreč je, kakšne bi bile primerjave (npr. pristranskost, točnost), če bi imeli obe primerjani anketi enak proračun (npr. 15.000 EUR). Pri tem predpostavljamo, da se obe raziskavi izvedeta z enakimi strokovnimi in etičnimi standardi, tako da se razlika pokaže izključno v razlikah glede pristranskosti oziroma točnosti. V tem okviru velja dodati, da je v strokovni oziroma znanstveni literaturi obravnava stroškov v anketah nasploh zapostavljena – čeprav je v praksi pogosto glavni dejavnik odločitve – in običajno ločena od obravnave anke- tnih napak (npr. Olson, Wagner, et al., 2020). Izjemno redko namreč sre- čamo njihovo integrirano obravnavo: pri dvojnih okvirih, prilagodljivih anketnih načrtih (angl. responsive design), klasični teoriji vzorčenja in kom- biniranih načinih anketiranja (npr. Vehovar et al., 2010; Andrews et al., 2014; Roberts in Vandenplas, 2017). Standardizirano poročanje o stroških (Olson, TEORIJA IN PRAKSA let. 59, 4/2022 861 Vasja VEHOVAR, Gregor ČEHOVIN 2020) je zato izredno pomembno, saj so stroški neredko ključni dejavnik odločitve (Callegaro et al., 2015, sec. 1.3.5.1; Cornesse et al., 2020), čeprav dražje ankete ne prinašajo samodejno tudi točnejših ocen (Karr in Last, 2006; Sheppard, 2018; Cornesse in Blom, 2020). Kot drugo omejitev velja upoštevati, da je težko ločiti pristranskost (Vehovar in Beullens, 2018), ki nastaja zaradi neverjetnostnega vzorčenja, od učinka načina anketiranja (angl. mode effect), nepokritja, neodgovo- rov (npr. Berrens et al., 2003; Struminskaya et al., 2015; Couper et al., 2018; Daikeler et al., 2019; Cornesse et al., 2020), merske napake in drugih virov (Callegaro et al., 2015, sec. 6.1.2; glej Biemer et al., 2017) v okviru skupne anketne napake (angl. total survey error). Nekatere raziskave sicer kažejo, da so razlike v pogledu neodgovorov in merske napake, npr. zanesljivost (angl. reliability), veljavnost (angl. validity) in zadostovanje (angl. satisfi- cing), med NSP in verjetnostnimi vzorci razmeroma majhne (Revilla et al., 2015; Cornesse in Blom, 2020). Vsekakor pa bi morale celovite evalvacije NSP sistematično upoštevati celoten spekter skupne anketne napake. Kot tretje velja opozoriti, da smo obravnavali le ankete splošne popula- cije. Pri specifičnih populacijah, kjer vnaprej poznamo e-poštne naslove, je stopnja sodelovanja v verjetnostnih spletnih anketah lahko bistveno višja, izvedba pa bistveno cenejša, npr. v edukacijskih raziskavah (ankete med študenti, dijaki, učenci) v povprečju dosega 48 % (Wu et al., 2022). V takih okoliščinah poteka rekrutiranje v verjetnostne vzorce popolnoma drugače (npr. preko e-pošte) kot v splošni populaciji. V takih okoliščinah so zato dileme glede stroškov in napak lahko povsem drugačne. Sklep Evalvacije enotno kažejo, da so v smislu pristranskosti anketnih ocen NSP bistveno manj ugodni kot verjetnostne ankete. Kritične so lahko tako nepričakovane pristranskosti (primer SI-PANDA) kot tudi pričakovane pristranskosti (primer Spletno oko). S tega vidika velja zato NSP v družbo- slovnem raziskovanju odsvetovati, posebej v akademskih študijah, kjer je uveljavljeno predvsem znanstveno vzorčenje. NSP pa so lahko kljub temu sprejemljivi, če ustrezajo specifičnemu namenu (angl. fit-for-purpose) in okoliščinam. Na osnovi splošne obravnave neverjetnostnih vzorcev (Baker et al., 2013; Vehovar et al., 2016) lahko povzamemo nekaj praktičnih dejavnikov, ki govorijo v njihovo korist. NSP so torej lahko bolj primerni za uporabo, kadar: • gre za splošna stališča v splošni populaciji (in ne za zelo specifična vpra- šanja in/ali za specifične segmente), posebej za tematike, ki so se že pred tem izkazale kot primerne za NSP; TEORIJA IN PRAKSA let. 59, 4/2022 862 Vasja VEHOVAR, Gregor ČEHOVIN • zanimajo nas predvsem (i) odnosi med spremenljivkami (in ne ocene populacijskih parametrov), (ii) modeliranje podatkov, (iii) poglobljen uvid v določeno problematiko (npr. veliko vprašanj z odprtimi odgo- vori) ali (iv) trendi; • raziskava zahteva predhodno presejanje (angl. screening), preden pri- demo do ciljne populacije, ker ima ta določeno redko lastnost; • imamo zelo veliko stisko s sredstvi in/ali s časom (seveda morajo resursi še vedno zagotavljati minimalne etične in strokovne standarde; nekate- rih raziskav v prekratkem časovnem obdobju in s premalo sredstvi ni mogoče izvesti). Kadar zgornji dejavniki ne prevladujejo, hkrati pa želimo pridobiti ocene, kjer je tveganje za napake znano vnaprej, ter imamo povečane možnosti za objavo v ugledni reviji, potem to govori proti uporabi NSP. LITERATURA Ansolabehere, Stephen, in Brian F. Schaffner (2014): Does Survey Mode Still Matter? Findings from a 2010 Multi-Mode Comparison. Political Analysis 22 (3): 285– 303. Baker, Reg, J. Michael Brick, Nancy A. Bates, Mike Battaglia, Mick P. Couper, Jill A. Dever, Krista J. Gile in Roger Tourangeau (2013): Summary Report of the AAPOR Task Force on Non-Probability Sampling. Journal of Survey Statistics and Methodology 1 (2): 90–143. Berrens, Robert P., Alok K. Bohara, Hank Jenkins-Smith, Carol Silva in David L. Weimer (2003): The Advent of Internet Surveys for Political Research: A Comparison of Telephone and Internet Samples. Political Analysis 11 (1): 1–22. Berzelak, Nejc, Maruša Rehberger, Darja Lavtar in Metka Zaletel (2021): Primerjava uporabe spletnega panela in verjetnostnega vzorca za oceno pandemske izčrpanosti. Dostopno prek https://www.1ka.si/spikna, 5. 10. 2022. Biemer, Paul P., Edith de Leeuw, Stephanie Eckman, Brad Edwards, Frauke Kreuter, Lars E. Lyberg, N. Clyde Tucker in Brady T. West (2017): Total Survey Error in Practice. New York: Wiley. Black, Gordon S. (1998): Internet Surveys: A Replacement Technology. Dostopno prek http://www.websm.org/db/12/2549/, 3. 10. 2022. Blatnik, Tilen Jernej, in Marjan Hočevar (2020): Vrednotna naklonjenost delu na domu med prebivalci Slovenije. Družboslovne razprave 36: 101–24. Blom, Annelies G., Michael Bosnjak, Anne Cornilleau, Anne-Sophie Cousteaux, Marcel Das, Salima Douhou in Ulrich Krieger (2016): A Comparison of Four Probability-Based Online and Mixed-Mode Panels in Europe. Social Science Computer Review 34 (1): 8–25. Bosnjak, Michael, Tanja Dannwolf, Tobias Enderle ines Schaurer, Bella Strumin- skaya, Angela Tanner in Kai W. Weyandt (2018): Establishing an Open Proba- bility-Based Mixed-Mode Panel of the General Population in Germany: The GESIS Panel. Social Science Computer Review 36 (1): 103–115. TEORIJA IN PRAKSA let. 59, 4/2022 863 Vasja VEHOVAR, Gregor ČEHOVIN Bottoni, Gianmaria, in Rory Fitzgerald (2021): Establishing a Baseline: Bringing Innovation to the Evaluation of Cross-National Probability-Based Online Panels. Survey Research Methods 15 (2): 115–133. Boyle, John, Glen Nowak, Rachel Kinder, Ronaldo Iachan in James Dayton (2022): Better Understanding Adult COVID-19 Vaccination Hesitancy and Refusal: The Influence of Broader Beliefs about Vaccines. International Journal of Environmental Research and Public Health 19 (11): 6838. Breton, Charles, Fred Cutler, Sarah Lachance in Alex Mierke-Zatwarnicki (2017): Telephone versus Online Survey Modes for Election Studies: Comparing Canadian Public Opinion and Vote Choice in the 2015 Federal Election. Canadian Journal of Political Science 50 (4): 1005–1036. Brüggen, Elisabeth, Jan van den Brakel in Jon A. Krosnick (2016): Establishing the Accuracy of Online Panels for Survey Research. Dostopno prek https://www. cbs.nl/en-gb/background/2016/15/establishing-the-accuracy-of-online-panels- for-survey-research, 5. 10. 2022. Callegaro, Mario (ur.), Reginald P. Baker (ur.), Jelke Bethlehem (ur.), Anja S. Göritz (ur.), Jon A. Krosnick (ur.) in Paul J. Lavrakas (ur.) (2014): Online Panel Research: A Data Quality Perspective. Chichester: Wiley. Callegaro, Mario, Katja Lozar Manfreda in Vasja Vehovar (2015): Web Survey Methodology. London: SAGE Publications. Chan, Peter, in Don Ambrose (2011): Canadian Online Panels: Similar or Different? Vue (January/February): 16–20. Chang, Linchiat, in Jon A. Krosnick (2009): National Surveys Via RDD Telephone Interviewing Versus the Internet: Comparing Sample Representativeness and Response Quality. Public Opinion Quarterly 73 (4): 641–678. Cooper, Debbie, in Matt Greenaway (2015): Non-probability Survey Sampling in Official Statistics. Dostopno prek https://www.ons.gov.uk/ons/guide-method/ method-quality/specific/gss-methodology-series/ons-working-paper-series/ mwp3-non-probability-survey-sampling-in-official-statistics.pdf, 5. 10. 2022. Copas, Andrew, Sarah Burkill, Fred Conrad, Mick P. Couper in Bob Erens (2020): An Evaluation of Whether Propensity Score Adjustment Can Remove the Self- Selection Bias Inherent to Web Panel Surveys Addressing Sensitive Health Behaviours. BMC Medical Research Methodology 20 (1): 251. Cornesse, Carina, in Annelies G. Blom (2020): Response Quality in Nonprobability and Probability-Based Online Panels. Sociological Methods & Research, v tisku (DOI: 10.1177/0049124120914940). Cornesse, Carina, Annelies G. Blom, David Dutwin, Jon A. Krosnick, Edith D. De Leeuw, Stéphane Legleye, Josh Pasek, Darren Pennay, Benjamin Phillips, Joseph W. Sakshaug, Bella Struminskaya in Alexander Wenz (2020): A Review of Conceptual Approaches and Empirical Evidence on Probability and Nonprobability Sample Survey Research. Journal of Survey Statistics and Methodology 8 (1): 4–36. Cornesse, Carina, in Michael Bosnjak (2018): Is There an Association Between Survey Characteristics and Representativeness? A Meta-Analysis. Survey Research Methods 12 (1): 1–13. TEORIJA IN PRAKSA let. 59, 4/2022 864 Vasja VEHOVAR, Gregor ČEHOVIN Cornesse, Carina, Barbara Felderer, Marina Fikel, Ulrich Krieger in Annelies G. Blom (2021): Recruiting a Probability-Based Online Panel via Postal Mail: Experimental Evidence. Social Science Computer Review 40 (5): 1259–1284. Cornesse, Carina, Ulrich Krieger, Marie-Lou Sohnius, Marina Fikel, Sabine Friedel, Tobias Rettig, Alexander Wenz, Sebastian Juhl, Roni Lehrer, Katja Möhring, Elias Naumann, Maximiliane Reifenscheid in Annelies G. Blom (2021): From German Internet Panel to Mannheim Corona Study: Adaptable Probability-Based Online Panel Infrastructures during the Pandemic. Journal of the Royal Statistical Society Series A 185 (3): 773–797. Couper, Mick P. (2017): New Developments in Survey Data Collection. Annual Review of Sociology 43 (1): 121–145. Couper, Mick P. (2000): Web Surveys: A Review of Issues and Approaches. Public Opinion Quarterly 64 (4): 464–494. Couper, Mick P., Garret Gremel, William Axinn, Heidi Guyer, James Wagner in Brady West (2018): New Options for National Population Surveys: The Implications of Internet and Smartphone Coverage. Social Science Research 73 (julij): 221–235. Daikeler, Jessica, Michael Bošnjak in Katja Lozar Manfreda (2019): Web versus Other Survey Modes: An Updated and Extended Meta-Analysis Comparing Response Rates. Journal of Survey Statistics and Methodology 8 (3): 513–539. Dassonneville, Ruth, André Blais, Marc Hooghe in Kris Deschouwer (2020): The Effects of Survey Mode and Sampling in Belgian Election Studies: A Comparison of a National Probability Face-to-Face Survey and a Nonprobability Internet Survey. Acta Politica 55 (2): 175–198. Dawid, Alexander P. (1979): Conditional Independence in Statistical Theory. Journal of the Royal Statistical Society Series B 41 (1): 1–31. Dever, Jill A., Ashley Amaya, Anup Srivastav, Peng-Jun Lu, Jessica Roycroft, Marshica Stanley, M. Christopher Stringer, Michael G. Bostwick, Stacie M. Greby, Tammy A. Santibanez in Walter W. Williams (2021): Fit For Purpose in Action: Design, Implementation, and Evaluation of the National Internet Flu Survey. Journal of Survey Statistics and Methodology 9 (3): 449–476. Dillman, Don A., Jolene D. Smyth in Leah Melani Christian (2014): Internet, Phone, Mail, and Mixed-Mode Surveys: The Tailored Design Method. Hoboken: Wiley. Dolenc Šparovec, Eva, Damjan Slabe, Ivan Eržen in Uroš Kovačič (2022): The Importance of Elderly People Knowing Basic First-Aid Measures. BMC Emergency Medicine 22 (1): 128. Dutwin, David, in Trent D. Buskirk (2017): Apples to Oranges or Gala versus Golden Delicious? Comparing Data Quality of Nonprobability Internet Samples to Low Response Rate Probability Samples. Public Opinion Quarterly 81 (S1): 213–239. Erens, Bob, Sarah Burkill, Mick P. Couper, Frederick Conrad, Soazig Clifton, Clare Tanton, Andrew Phelps, Jessica Datta, Catherine H. Mercer, Pam Sonnenberg, Philip Prah, Kirstin R. Mitchell, Kaye Wellings, Anne M. Johnson, Andrew J. Copas (2014): Nonprobability Web Surveys to Measure Sexual Behaviors and Attitudes in the General Population: A Comparison with a Probability Sample Interview Survey. Journal of Medical Internet Research 16 (12): e276. Gelman, Andrew, Sharad Goel, David Rothschild in Wei Wang (2016): High- TEORIJA IN PRAKSA let. 59, 4/2022 865 Vasja VEHOVAR, Gregor ČEHOVIN Frequency Polling with Non-Representative Data. V: Dan Schill et al. (ur.), Communication in Real Time: Theoretical and Applied Research Approaches, 117–133. New York: Routledge. Goel, Sharad, Adam Obeng in David Rothschild (2015): Non-Representative Surveys: Fast, Cheap, and Mostly Accurate. Dostopno prek https://adamobeng. com/download/FastCheapAccurate.pdf, 12. 10. 2022. Golob, Urša, in Klement Podnar (2021): Corporate Marketing and the Role of Internal CSR in Employees’ Life Satisfaction: Exploring the Relationship between Work and Non-Work Domains. Journal of Business Research 131 (julij): 664–672. Groves, Robert M., in Emilia Peytcheva (2008): The Impact of Nonresponse Rates on Nonresponse Bias: A Meta-Analysis. Public Opinion Quarterly 72 (2): 167– 189. Hafner-Fink, Mitja, in Samo Uhan (2021): Epidemija COVID-19 v Sloveniji, odnos do neenakosti in protestni potencial. Ars & Humanitas 15 (1): 91–108. Hays, Ron D., Honghu Liu in Arie Kapteyn (2015): Use of Internet Panels to Conduct Surveys. Behavior research methods 47 (3): 685–690. Hendra, Richard, in Aaron Hill (2019): Rethinking Response Rates: New Evidence of Little Relationship Between Survey Response Rates and Nonresponse Bias. Evaluation Review 43 (5): 307–330. Hvalič Touzery, Simona, Katja Prevodnik, Maja Škafar, Vesna Dolnicar in Andraž Petrovčič (2022): Učinki telemedicinske obravnave na bolnike s kronično boleznijo. Dostopno prek https://www.fzab.si/uploads/file/2022_15MZK_ ZBORNIK.pdf, 5. 10. 2022. Jabkowski, Piotr in Marta Kołczyńska (2020): Sampling and Fieldwork Practices in Europe: Analysis of Methodological Documentation From 1,537 Surveys in Five Cross-National Projects, 1981–2017. Methodology 16 (3): 186–207. Kalton, Graham, in Vasja Vehovar (2001): Vzorčenje v anketah. Ljubljana: Fakulteta za družbene vede. Keeter, Scott, Nick Hatley, Courtney Kennedy in Arnold Lau (2017): What Low Response Rates Mean for Telephone Surveys. Dostopno prek https://www. pewresearch.org/methods/2017/05/15/what-low-response-rates-mean-for-tele- phone-surveys/, 4. 10. 2022. Kennedy, Courtney, Andrew Mercer, Scott Keeter, Nick Hatley, Kyley McGeeney in Alejandra Gimenez (2016): Evaluating Online Nonprobability Surveys. Dostopno prek https://www.pewresearch.org/methods/2016/05/02/evaluat- ing-online-nonprobability-surveys/, 4. 10. 2022. Kuhar, Metka, in Gaja Zager Kocjan (2021): Associations of adverse and positive childhood experiences with adult physical and mental health and risk behav- iours in Slovenia. European Journal of Psychotraumatology 12 (1): 1924953. Lavrakas, Paul John, Darren Pennay, Dina Neiger in Benjamin Phillips (2022): Comparing Probability-Based Surveys and Nonprobability Online Panel Surveys in Australia: A Total Survey Error Perspective. Survey Research Methods 16 (2): 241–266. TEORIJA IN PRAKSA let. 59, 4/2022 866 Vasja VEHOVAR, Gregor ČEHOVIN MacInnis, Bo, Jon A. Krosnick, Annabell S. Ho in Mu-Jung Cho (2018): The Accuracy of Measurements with Probability and Nonprobability Survey Samples: Replication and Extension. Public Opinion Quarterly 82 (4): 707–744. Malešič, Marjan (2016): Varnostna prizadevanja Evropske unije: pogled javnosti. Teorija in praksa 53 (posebna številka): 198–214. Malhotra, Neil, in Jon A. Krosnick (2007): The Effect of Survey Mode and Sampling on Inferences about Political Attitudes and Behavior: Comparing the 2000 and 2004 ANES to Internet Surveys with Nonprobability Samples. Political Analysis 15 (3): 286–323. Maslovskaya, Olga, in Peter Lugtig (2022): Representativeness in Six Waves of CROss-National Online Survey (CRONOS) Panel. Journal of the Royal Statistical Society Series A. Mercer, Andrew W., Arnold Lau in Courtney Kennedy (2018): For Weighting Online Opt-In Samples, What Matters Most? Dostopno prek https://www.pewresearch. org/methods/2018/01/26/for-weighting-online-opt-in-samples-what-matters- most/, 4. 10. 2022. Miller, Jeff (2007): Burke Panel Quality R&D Summary. Dostopno prek http://www. websm.org/db/12/15975/, 14. 9. 2022. Oblak Črnič, Tanja, in Barbara Neža Brečko (2022): Enhancing sociality, self-pres- entation, and play: a case study of digital scenarios among schoolchildren in an epidemic context. Information, Communication & Society 25 (4): 552–569. Olson, Kristen (2020): Unpacking the Black Box of Survey Costs. Research in Social and Administrative Pharmacy 17 (7): 1342–1346. Olson, Kristen, Jolene D. Smyth, Rachel Horwitz, Scott Keeter, Virginia Lesser, Stephanie Marken, Nancy A. Mathiowetz, Jaki S. McCarthy, Eileen O’Brien, Jean D. Opsomer, Darby Steiger, David Sterrett, Jennifer Su, Z. Tuba Suzer-Gurtekin, Chintan Turakhia in James Wagner (2020): Transitions from Telephone Surveys to Self-Administered and Mixed-Mode Surveys: AAPOR Task Force Report. Journal of Survey Statistics and Methodology 9 (3): 381–411. Olson, Kristen, James Wagner in Raeda Anderson (2020): Survey Costs: Where are We and What is The Way Forward? Journal of Survey Statistics and Methodology 9 (5): 921–942. Pasek, Josh (2016): When Will Nonprobability Surveys Mirror Probability Surveys? Considering Types of Inference and Weighting Strategies as Criteria for Corres- pondence. International Journal of Public Opinion Research 28 (2): 269–291. Pasek, Josh, in Jon A. Krosnick (2020): Relations Between Variables and Trends Over Time in Rdd Telephone and Nonprobability Sample Internet Surveys. Journal of Survey Statistics and Methodology 8 (1): 37–61. Petravić, Luka, Rok Arh, Tina Gabrovec, Lucija Jazbec, Nika Rupčić, Nina Starešinič, Lea Zorman, Ajda Pretnar, Andrej Srakar, Matjaž Zwitter in Ana Slavec (2021): Factors Affecting Attitudes towards COVID-19 Vaccination: An Online Survey in Slovenia. Vaccines 9 (3): 247. Petrovčič, Andraž, in Gregor Petrič (2014): Differences in Intrapersonal and Inter- actional Empowerment between Lurkers and Posters in Health-Related Online Support Communities. Computers in Human Behavior 34 (maj): 39–48. TEORIJA IN PRAKSA let. 59, 4/2022 867 Vasja VEHOVAR, Gregor ČEHOVIN Petrovčič, Andraž, Bianca C. Reisdorf, Katja Prevodnik in Darja Grošelj (2022): The Role of Proxy Internet Use in Sequential Pathways of Digital Exclusion: An Empirical Test of a Conceptual Model. Computers in Human Behavior 128 (marec): 107083. Prevodnik, Katja, Marina Trkman, Darja Grošelj, Jošt Bartol in Andraž Petrovčič (2022): An Assessment of the Structural Validity and Measurement Invariance of the Web-Use Skills Scale for Aging Internet Users. Cyberpsychology, Behavior, and Social Networking, v tisku (DOI: 10.1089/cyber.2022.0023). Radford, Jason, Jon Green, Alexi Quintana, Alauna Safarpour, Matthew D. Simonson, Matthew Baum, David Lazer, Katherine Ognyanova, James Druckman in Perlis Roy (2022): Evaluating the Generalizability of the COVID States Survey — a Large-Scale, Non-Probability Survey. Dostopno prek https://doi.org/10.31219/ osf.io/cwkg7, 5. 10. 2022. Rendtel, Ulrich, in Boyko Amarov (2014): The Access Panel of German Official Statistics as a Selection Frame. V: Uwe Engel et al. (ur.), Improving Survey Methods, 258–71. New York: Routledge. Revilla, Melanie, Willem Saris, Germán Loewe in Carlos Ochoa (2015): Can a Non- Probabilistic Online Panel Achieve Question Quality Similar to That of the European Social Survey? International Journal of Market Research 57 (3): 395– 412. Rivers, Doug (2007): Sampling for web surveys. Dostopno prek https://static.texas- tribune.org/media/documents/Rivers_matching4.pdf, 18. 10. 2022. Roberts, Caroline, in Caroline Vandenplas (2017): Estimating Components of Mean Squared Error to Evaluate the Benefits of Mixing Data Collection Modes. Journal of Official Statistics 33 (2): 303–334. Rosenbaum, Paul R., in Donald B. Rubin (1983): The Central Role of the Propensity Score in Observational Studies for Causal Effects. Biometrika 70 (1): 41–55. Rubin, Donald B (1976): Inference and Missing Data. Biometrika 63 (3): 581–92. Sakshaug, Joseph W., Jon A. Krosnick, Allison Ackermann, Ariel Malka, Matthew DeBell in Chintan Turakhia (2009): Dispositions and Outcome Rates in the ‘Face-to-Face Recruited Internet Survey Platform’ (the FFRISP). Hollywood: AAPOR 64th Annual Conference. Scherpenzeel, Annette (2011): Data Collection in a Probability-Based Internet Panel: How the LISS Panel Was Built and How It Can Be Used. Bulletin of Sociological Methodology 109 (1): 56–61. Scherpenzeel, Annette, in Jelke Bethlehem (2011): How Representative Are Online Panels? Problems of Coverage and Selection and Possible Solutions. V: Marcel Das et al. (ur.), Social and Behavioral Research and the Internet, 105–132. New York: Routledge. Sendelbah, Anže (2017): Media Multitasking in Web Surveys. Dostopno prek https://repozitorij.uni-lj.si/IzpisGradiva.php?id=98471, 18. 10. 2022. Sheppard, Jill (2018): Measuring Social Attitudes with Voter Advice Application Data. Dostopno prek https://csrm.cass.anu.edu.au/research/publications/meas- uring-social-attitudes-voter-advice-application-data, 5. 10. 2022. Struminskaya, Bella, Edith Desirée De Leeuw in Lars Kaczmirek (2015): Mode TEORIJA IN PRAKSA let. 59, 4/2022 868 Vasja VEHOVAR, Gregor ČEHOVIN System Effects in an Online Panel Study: Comparing a Probability-based Online Panel with two Face-to-Face Reference Surveys. Methods, data, analyses 9 (1): 3–56. Sturgis, Patrick, Jouni Kuha, Nick Baker, Mario Callegaro, Stephen Fisher, Jane Green, Will Jennings, Benjamin E. Lauderdale in Patten Smith (2018): An Assessment of the Causes of the Errors in the 2015 UK General Election Opinion Polls. Journal of the Royal Statistical Society Series A 181 (3): 757–81. Šoštarič, Tilen (2020): Izzivi spletnih verjetnostnih panelov: primer panela CRONOS. Dostopno prek https://repozitorij.uni-lj.si/Dokument.php?id=135272&lang=slv, 4. 10. 2022. Štebe, Janez (1995): Nonresponse in Slovene Public Opinion Survey. Metodološki zvezki 10: 21–37. Dostopno prek http://dk.fdv.uni-lj.si/metodoloskizvezki/ Pdfs/Mz10Stebe.pdf, 4. 10. 2022. Tourangeau, Roger, Frederick G. Conrad in Mick P. Couper (2013): The Science of Web Surveys. Oxford: Oxford University Press. Valliant, Richard (2020): Comparing Alternatives for Estimation from Nonprobability Samples. Journal of Survey Statistics and Methodology 8 (2): 231–263. Vehovar, Vasja, Zenel Batagelj, Katja Lozar Manfreda in Metka Zaletel (2001): Nonresponse in Web Suveys. V: Robert M. Groves et al. (ur.), Survey Non res- ponse, 229–242. New York: Wiley. Vehovar, Vasja, Nejc Berzelak in Katja Lozar Manfreda (2010): Mobile Phones in an Environment of Competing Survey Modes: Applying Metric for Evaluation of Costs and Errors. Social Science Computer Review 28 (3): 303–318. Vehovar, Vasja, in Koen Beullens (2018): Cross-National Issues in Response Rates. V: David L. Vannette in Jon A. Krosnick (ur.), The Palgrave Handbook of Survey Research, 29–42. Cham: Springer International Publishing. Vehovar, Vasja, Katja Lozar Manfreda in Zenel Batagelj (1999): Web surveys: Can the weighting solve the problem? Dostopno prek http://www.asasrms.org/ Proceedings/papers/1999_168.pdf, 19. 10. 2022. Vehovar, Vasja, Vera Toepoel in Stephanie Steinmetz (2016): Non-Probability Sampling. V: Christof Wolf et al. (ur.), The SAGE Handbook of Survey Metho- dology, 329–46. Thousand Oaks: SAGE. Walker, Robert, Raymond Pettit in Joel Rubinson (2009): The Foundations of Quality Initiative: A Five-Part Immersion into the Quality of Online Research. Journal of Advertising Research 49 (4): 464–485. Wang, Wei, David Rothschild, Sharad Goel in Andrew Gelman (2015): Forecasting Elections with Non-Representative Polls. International Journal of Forecasting 31 (3): 980–991. Wiśniowski, Arkadiusz, Joseph W. Sakshaug, Diego Andres Perez Ruiz in Annelies G. Blom (2020): Integrating Probability and Nonprobability Samples for Survey Inference. Journal of Survey Statistics and Methodology 8 (1): 120–147. Wu, Meng-Jia, Kelly Zhao in Francisca Fils-Aime (2022): Response Rates of Online Surveys in Published Research: A Meta-Analysis. Computers in Human Behavior Reports 7 (avgust): 100206. Yeager, David S., Jon A. Krosnick, LinChiat Chang, Harold S. Javitz, Matthew S. TEORIJA IN PRAKSA let. 59, 4/2022 869 Vasja VEHOVAR, Gregor ČEHOVIN Levendusky, Alberto Simpser in Rui Wang (2011): Comparing the Accuracy of RDD Telephone Surveys and Internet Surveys Conducted with Probability and Non-Probability Samples. Public Opinion Quarterly 75 (4): 709–747. Zavratnik, Simona, Rebeka Falle Zorman in Živa Broder (2017): Javno mnenje in migracije: mehanizmi klasifikacij in ‘begunska kriza’. Teorija in praksa 54 (5): 857–884. VIRI Andrews, Rob, Michael J. Brick in Nancy A. Mathiowetz (2014): Development and Testing of Recreational Fishing Effort Surveys. Dostopno prek https://www. st.nmfs.noaa.gov/recreational-fisheries/MRIP/FES-Workshop/documents/ Report_recommending_FES_to_replace_CHTS--Finalize_Design_of_Fishing_ Effort_Surveys.pdf, 3. 10. 2022. Center za družboslovno informatiko (2022): Pod-izdelek N5.2: Izdelava seznama potencialnih anketnih raziskav. Dostopno prek https://www.1ka.si/uploadi/ editor/doc/1663573960N5.2Izdelavaseznamapotencialnihanketnihraziskav. pdf, 3. 10. 2022. Consortium of European Social Science Data Archives (2020): CESSDA Asks Ten Questions to Rory Fitzgerald. Dostopno prek https://www.cessda.eu/News- Events/News/CESSDA/CESSDA-asks-ten-questions-to-Rory-Fitzgerald, 3. 10. 2022. ESOMAR (2020): Global Market Research 2020. Dostopno prek: https://ana.esomar. org/documents/global-market-research-2020, 30. 11. 2022. European Social Survey (2021): Upcoming Call for Online Panel Questions. Dostopno prek https://www.europeansocialsurvey.org/about/singlenew. html?a=/about/news/essnews0103.html, 5. 10. 2022. Hafner-Fink, Mitja, Slavko Kurdija, Brina Malnar, Marko Polič in Samo Uhan (2020): Slovensko javno mnenje 2020/1. Dostopno prek https://doi.org/10.17898/ ADP_SJM201_V1, 14. 10. 2022. Hafner-Fink, Mitja, Slavko Kurdija, Brina Malnar, Mojca Pajnik in Samo Uhan (2021): Slovensko javno mnenje 2020/3. Dostopno prek https://doi.org/10.17898/ ADP_SJM203_V1, 14. 10. 2022. Hafner-Fink, Mitja, Slavko Kurdija, Brina Malnar in Samo Uhan (2022): Slovensko javno mnenje 2022/1, v pripravi. Dostopno prek https://www.adp.fdv.uni-lj.si/ opisi/serija/SJM/, 14. 10. 2022. Hafner-Fink, Mitja, Slavko Kurdija, Brina Malnar, Samo Uhan in Peter Stankovič (2022): Slovensko javno mnenje 2021/1. Dostopno prek https://doi. org/10.17898/ADP_SJM211_V1, 14. 10. 2022. Hočevar Grom, Ada, Andreja Belščak Čolaković, Maruša Rehberger, Darja Lavtar, Mojca Gabrijelčič Blenkuš, Helena Jeriček Klanšček, Matej Vinko, Aleš Korošec, Urška Ivanuš, Tine Jerman, Petra Klepac, Veronika Učakar, Maja Roškar in Marjetka Hovnik Keršmanc (2022): Izsledki spletne raziskave o vplivu pan- demije na življenje (SI-PANDA), 19. val. Dostopno prek https://www.nijz.si/sl/ izsledki-panelne-spletne-raziskave-si-panda, 4. 10. 2022. Jeras, Manca, Andreja Praček, Gregor Čehovin, Jošt Bartol in Vasja Vehovar. 2022. TEORIJA IN PRAKSA let. 59, 4/2022 870 Vasja VEHOVAR, Gregor ČEHOVIN Analiza spletnih panelov v Sloveniji. Dostopno prek https://www.1ka.si/ uploadi/editor/doc/1658173376N4.2AnalizaspletnihpanelovvSlovenijiCDI.pdf, 14. 10. 2022. Karr, Alan F., in Michael Last (2006): Survey Costs: Workshop Report and White Paper. Dostopno prek https://www.niss.org/sites/default/files/surveycost- whitepaper200609-final.pdf, 5. 10. 2022. Krosnick, Jon A., Stanley Presser in Kaye Husbands (2015): The Future of Survey Research: Challenges and Opportunities. Dostopno prek https://www.nsf.gov/ sbe/AC_Materials/The_Future_of_Survey_Research.pdf, 5. 10. 2022. Nacionalni inštitut za javno zdravje (2021): Raziskava o vplivu pandemije na živ- ljenje (SI-PANDA) 2020/2021. Dostopno prek https://www.nijz.si/sl/raziskava- o-vplivu-pandemije-na-zivljenje-si-panda-20202021, 4. 10. 2022. Office of Management and Budget (2016): Questions and Answers When Designing Surveys for Information Collections. Dostopno prek https://obamawhitehouse. archives.gov/sites/default/files/omb/inforeg/pmc_survey_guidance_2006.pdf, 4. 10. 2022. Poznavanje Safe.si in Spletno oko. 2022. Dostopno prek https://www.1ka.si/ uploadi/editor/doc/1664414947SkupnirezultatizaSafe.siinSpletnookovsa4grad- iva.docx. Statistični urad RS (2021): Uporaba interneta v gospodinjstvih in pri posameznikih, Slovenija, 2021. Dostopno prek https://www.stat.si/StatWeb/News/Index/9704, 5. 10. 2022. TGM Research (2022): ESOMAR 28 Questions. Dostopno prek https://tgmresearch. com/esomar-28-questions.html, 18. 10. 2022. Valicon (2021): #Novanormalnost. Dostopno prek https://www.valicon.net/sl/ nova normalnost, 5. 10 2022. Vehovar, Vasja, Gregor Čehovin in Nejc Berzelak (2022): Response Quality Indi- cators: Internet Use and Paradata Questionnaire. Dostopno prek http://papers- eries.cdi.si/, 18. 10. 2022. Villar, Ana, Elena Sommer, Didrik Finnøy, Alessandra Gaia, Nejc Berzelak in Gian- maria Bottoni (2018): CROss-National Online Survey (CRONOS) panel: Data and documentation user guide. Dostopno prek https://www.europeansocial- survey.org/docs/cronos/CRONOS_user_guide_e01_1.pdf, 14. 10. 2022.