Anja MOHORKO, Valentina HLEBEC* RAZVOJ KOGNITIVNIH INTERVJUJEV KOT METODE PREDTESTIRANJA ANKETNIH VPRAŠALNIKOV** Povzetek. Raziskovalci izboljšujejo kakovost anketnih vprašanj s testiranjem pred njihovo uporabo v anketi. Med metodamipredtestiranja, ki so v zadnjih tridesetih letih pridobile pomen, so metode kognitivnega laboratorija, med katerimi nas podrobneje zanimajo kognitivni intervjuji. Njihov osnovni namen je preučevanje miselnih procesov med procesom odgovarjanja na anketna vprašanja. V članku naredimo pregled razvoja metod kognitivnega laboratorija in tehnik kognitivnega intervjuja, pregledamo klasifikacije teh metod in jih kritično ovrednotimo. S sistematičnim ovrednotenjem ugotavljamo ključne pomanjkljivosti pri razvoju in uporabi metod kognitivnega laboratorija. Ključni pojmi: predtestiranje, kognitivni laboratorij, 62 kognitivni intervju, anketna metodologija, miselni pro- cesi Anketiranje Razvoj anketiranja1 se je začel v obliki popisov, s pomočjo katerih so vlade za politične ali davčne namene štele prebivalstvo. Z namenom razumevanja družbenih problemov je v začetku 20. stoletja sledilo anketiranje specifičnih družbenih podskupin. Dokončno pa je do sodobnega raziskovanja javnega mnenja prišlo po letu 19362 kot posledica interesa novinarjev in tržišča o pogledih »povprečnega človeka«. Informacije, ki jih poseduje posameznik (o brezposelnosti, ravni zdravstvenega stanja v državi, zadoščenju z državno vlado itd.), namreč pomembno prispevajo k merjenju stanja v družbi ter omogočajo razumevanje družbe in vedenje posameznika (Groves et al., 2004/2009: 3-4). * Mag. Anja Mohorko, mlada raziskovalka in asistentka na Fakulteti za družbene vede; dr. Valentina Hlebec, redna profesorica na Fakulteti za družbene vede, Univerza v Ljubljani. ** Pregledni znanstveni članek. 1 Anketa je metoda za sistematično zbiranje informacij o vzorcu enot z namenom, kvantitativno opisati lastnosti večje populacije, ki jo te enote predstavljajo (Hox et al., 2008; Groves et al., 2009: 2). 2 Tega leta so ameriški novinarji napačno napovedali volilni izid predsedniških volitev. To je metodologijo usmerilo v izboljševanje vzorčnih postopkov za višjo zanesljivost pridobljenih podatkov (Uhan, 1998: 78). Do sredine 20. stoletja so bile ankete izvedene osebno (običajno z obiskom anketarja na domu) ali z izpolnjevanjem vprašalnika, prispelega prek pošte. To je bilo finančno ugodneje od osebnih obiskov, vendar pa je podaljšalo čas izvedbe ankete, bilo je manj primerno za nepismene anketirance in število izpolnjenih vprašalnikov je bilo nižje kot v primeru osebnega obiska (Groves et al., 2004/2009: 7). V zadnjih dveh desetletjih prejšnjega tisočletja se je kot najcenejše in najhitrejše orodje za zbiranje podatkov izkazalo telefonsko anketiranje (v nadaljevanju: CATI3), katerega pomanjkljivost je bila, da ni doseglo revne populacije brez telefonskih priključkov ter oseb, ki so se veliko selile. V zadnjem desetletju se pomen CATI zmanjšuje zaradi razvoja spletnega anketiranja ter anketiranja prek mobilnih telefonov (Hox et al., 2008: 2). Vse raznolikosti - od metod in načina izvedbe raziskave do obsežnosti raziskovalnega procesa, od splošne nepredvidljivosti sveta pa do dejstva, da v meritve nikoli ni zajeta celotna populacija - vplivajo na kakovost pridobljenih podatkov (Groves et al., 2004/2009: 2). Anketna metodologija -veda, ki poskuša z znanstvenimi kriteriji oblikovati načela o izdelavi anket in zbiranju, procesiranju ter analizi podatkov - se zato sooča z vprašanjem, kako z najnižjimi stroški in majhnim deležem anketirancev kljub družbenim, ekonomskim in tehnološkim oviram čim natančneje oceniti prouče- 63 vano populacijo ter doseči visoko raven kakovosti raziskave (Hox et al., 2008: 2; Groves et al., 2004/2009: 30). Začetki raziskovanja kakovosti anketiranja so posledica ugotovitev, da lahko razlike v besedilu vprašanja in v načinu beleženja odgovorov nenavadno močno vplivajo na rezultate (Groves et al., 2004/2009: 5). Proučevanje kakovosti se osredotoča na izboljšavo štirih temeljev anketnega raziskovanja: pokritosti populacije, vzorčenja, merjenja in odgovorov (de Leeuw et al., 2008: pogl 1). Za kakovostno izvedbo anketne raziskave mora biti izbrani vzorec anketirancev reprezentativen;4 posledično morajo imeti vsi potencialni anketiranci določeno verjetnost, da bodo izbrani v proces aketiranja. Na vzorcu mora biti izvedeno ustrezno merjenje, saj lahko pride do merskih napak, če kakovost na področju vprašalnika, anketiranca in/ali uporabljene metode zbiranja podatkov ni dosežena. In navsezadnje: pridobiti je treba ustrezne odgovore. Do napak v rezultatih lahko namreč pride tudi, če anketiranec zavrne odgovarjanje na vprašanje ali na celotno anketo. Kakovost aketiranja je mogoče do neke mere nadzorovati: dobro pokritost zagotavljajo redno posodobljeni spiski ciljne populacije, kakovost vzorca izboljšajo ustrezne statistike vzorčenja, rezultate merjenja izboljšajo ustrezne statistične analize, kakovostnejši proces odgovarjanja pa 3 Angl. computer-assisted telephone interviewing. 4 Tj. po lastnostih kar najbolj podoben dejanski ciljni populaciji. omogočajo različne vrste predtestiranja (Presser et al., 2004; de Leeuw et al., 2008), ki so tema našega prispevka. Namen članka je sistematični pregled razvoja metod predtestiranja, metod kognitivnega laboratorija (med katerimi je tudi metoda kognitivnega intervjuja) ter izpostavitev ključnih vprašanj in dilem, ki se pojavljajo pri uporabi kognitivnih intervjujev v praksi. Struktura članka je sledeča: najprej bomo predstavili razvoj in različne metode predtestiranja ter opisali možne oblike njihovega klasificiranja. Nato bomo predstavili tehnike kognitivnega intervjuja. Pregled dela, ki je bil na to temo narejen do sedaj, bo zaokrožen z opisom uporabe teh tehnik v praksi. Metode predtestiranja Kljub številnim raziskavam in poizkusom izboljšati vsebino ankete raziskovalcem še ni uspelo napisati popolnih anketnih vprašanj, ki bi bila samoumevno razumljiva vsakemu anketirancu in ne bi nikoli potrebovala dodatnih pojasnil (Clark in Schober, 1992: 29). Z namenom preprečiti nepravilno razumevanje vprašanj in posledično napačne odgovore anketni metodo-logi razvijajo metode predtestiranja, da bi ovrednotili veljavnost vprašalnika 64 (ugotovili, ali deluje, kot bi moral), ocenili kakovost (zbiranja) podatkov in vzorčenja anketirancev (Snijkers, 2002: xix). Predtesti predstavljajo izvedbo ankete v majhnem obsegu, na majhnem številu udeležencev, pred dejansko izvedbo raziskave. Cilj predtestiranja je z izboljšavo vprašalnika izboljšati kakovost pridobljenih podatkov: prepoznati dele vprašalnika, ki v anketirančevem procesu vprašanj in odgovorov (angl. question-and-answer process) povzročajo sistematične napake, jih pojasniti ter popraviti. Tako prenovljen vprašalnik postane bolj razumljiv, preprostejši in krajši za odgovarjanje. Poleg tega se zmanjšata verjetnost merske napake in obremenitev anketiranca (Snijkers, 2002). Jasno je torej, da je predtestiranje pomemben (čeprav zelo pogosto spregledan) del raziskovalnega procesa, ki omogoča višjo kakovost zbranih podatkov. Prve omembe uporabe predtestov segajo v trideseta leta 20. stoletja, do leta 1940 pa so bile te metode za izboljšavo vprašalnikov že redno uporabljane. Takrat je bila najpogosteje uporabljana oblika predtestiranja poročanje anketarja o izkušnjah z vprašalnikom s predlogi za izboljšavo, t. i. »kon-vencionalna oblika predtestiranja5« ali pilotna študija (Presser et al., 2004: 110). 5 Pilotno anketiranje, na katerega se anketarji pripravijo ter ga izvedejo na enak način, kot bi kasnejše, »pravo« anketiranje. Po opravljenem določenem številu anket raziskovalci analizirajo rezultate in izprašajo anketarje za morebitne komentarje ter pripombe (Presser et al., 2004:110). Dokler predtestiranje ni dobilo bolj formalne oblike, so se raziskovalci zanašali na posredne dokaze o težavah z anketnimi vprašanji: na pogostejšo uporabo možnih odgovorov »ne vem« ali »ne želim odgovoriti«, na obotavljanje ali izraženo nelagodje s strani anketiranca ter na poročilo anketarja o uspešnosti izvedbe (ibid.). Vendar je bilo očitno, da vseh težav ni mogoče ugotoviti zgolj z opazovanjem in da se nekaterih vrst težav ne zavedajo niti anketiranci sami.6 Zaradi opaženih pomanjkljivosti je cilj predtestiranja poleg identifikacije in odprave napak postal še izboljšava kakovosti podatkov, prišlo je pa tudi do razvoja novih - ožje usmerjenih - metod za predtestiranje (Presser et al., 2004: 111): - kognitivni intervjuji (angl. cognitive interviews), opisani v nadaljevanju; - ekspertna evalvacija (angl. expert evaluation): metoda, v okviru katere strokovnjaki z ustreznega področja pregledajo vprašalnik in ocenijo, če njegova vsebina pravilno meri želene koncepte, če je razumljiv in dovolj enostaven (Cerar et al., 2011; Groves et al., 2004/2009: 259-260); - fokusna skupina (angl. focus group): obsega 5-10 oseb, ki pod vodstvom moderatorja v okviru diskusije ustvarjajo nove ideje, predloge ter priporočila za nadgradnjo (osnutka) vprašalnika in njegove vsebine (Snijkers, 2002: pogl 4; Willis, 2005: 14; Campanelli, 2008); - vinjete (angl. vignettes): natančni in podrobni opisi hipotetičnih - in za 65 izbrano populacijo nevsakdanjih - situacij, ki vsebujejo vse pomembne dejavnike, ki bi lahko vplivali na mnenje anketiranca pri odgovarjanju na vprašanje. Z njihovo pomočjo raziskovalec preveri anketirančevo razumevanje pojmov, ki nastopajo v posameznem vprašanju (Gerber, 1994; Morrison et al., 2002: 1; Willis, 2005: 58); - kodiranje vedenja (angl. behavior coding): namenjeno je opazovanju in sistematičnemu kodiranju dela anketarjev in vedenja anketirancev, pri čemer ponuja podroben vpogled v celoten proces anketiranja. Odstopanje od idealne interakcije anketarja (ki natančno prebere vprašanje) in anketiranca (ki ustrezno odgovori) predstavlja morebitno težavo z anketnim vprašanjem (Blair et al., 2007: 3896); - metoda časovnega zamika odgovora (angl. response latency): meri čas od trenutka, ko anketar zastavi vprašanje, do trenutka, ko anketiranec začne odgovarjati (Mulligan et al., 2003: 291). - metoda razvrščanja s pomočjo kartic (angl. dimensional/free-sort classification task): omogoča raziskovanje naravnih sistemov, v katere ljudje razvrščajo posamezne enote, predmete ali koncepte, oz. določanje, kaj po njihovem mnenju določen koncept izključuje (Willis, 2005: 60). 6 Npr.: težave anketarja pri postavljanju vprašanj zaradi težko izgovorljivih besed, problematične zgradbe stavkov; težave pri razumevanju besedišča in nejasnih navodil; razlike v razumevanju pojmov in konceptov med anketiranci in raziskovalci (po Oksenberg et al., 1991:349-350). Klasifikacije metod Glavni namen uporabe predtestov je kakovostno ovrednotiti vprašalnik. Glede na to, da različne metode najučinkoviteje delujejo v različnih delih postopka anketiranja, je več avtorjev (Forsyth in Lessler, 1991; 2010; Akker-boom in Luiten, 1996; Groves, 1996; Sudman et al., 1996; Akkerboom in Dehue, 1997; Snijkers, 2002) opisalo predloge različnih klasifikacij testiranja anketnih vprašalnikov, ki jih predstavljamo v nadaljevanju. Forsyth in Lessler (1991; 2010) sta metode predtestiranja anketnih vprašalnikov klasificirali glede na štiri splošne kategorije (glej Tabelo A.1 v prilogi): ekspertno evalvacijo (angl. expert evaluation), razširjene intervjuje (angl. expanded interviews), usmerjene metode (angl. targeted methods) in skupinske metode (angl. group methods). Ekspertna evalvacija vključuje metode, ki temeljijo na udeležbi ekspertov pri ovrednotenju vprašalnika. Pomanjkljivost teh metod je, da ne vključujejo anketirancev, zato ne moremo vedeti, če bi se le-ti odzvali na anketna vprašanja tako, kot predpostavljajo eksperti. Pri razširjenih intervjujih anketarji poleg anketiranja poglobljeno izprašajo anketirance glede podrobnosti vprašalnika. Usmerjene metode se osredotočijo na posamezna vprašanja ali posamezne faze odgovarjanja na 66 vprašanje, in to uporabijo kot spodbudo za opravljanje drugih nalog. Tako se npr. vinjete ali parafraziranje usmerijo v razumevanje terminologije, uporabljene v določenem vprašanju, časovni zamik odgovora pa meri časovno razdaljo med prebiranjem vprašanja in odgovarjanjem nanj. Skupinske metode pa zajemajo vse metode, ki vključujejo več kot enega anketiranca. Forsyth in Lessler (2010: 405-409) sta predlagali še drugo klasifikacijo, ki metode razvršča glede na dve razsežnosti (glej Tabelo A.2 v prilogi): na časovno umeščenost testa (angl. task timing) in na usmerjanje aktivnosti anketiranca (angl. attention control). Časovna umeščenost testa se nanaša na uvrstitev posameznega testa v postopek odgovarjanja na anketna vprašanja (npr. metoda se lahko izvede med sočasnim odgovarjanjem anketiranca (angl. concurrent); medtem ko ima anketiranec informacije še vedno shranjene v kratkoročnem spominu (angl. immediate); kasneje - ko informacije niso več shranjene v kratkoročnem spominu (angl. delayed); ali pa neodvisno od samega postopka anketiranja (angl. unrelated)). Usmerjanje aktivnosti se osredotoča na to, kaj raziskovalec pričakuje od anketiranca oz. kateri deli anketirančevih miselnih postopkov ga zanimajo: 1) neomejeno ali neusmerjeno testiranje (angl. unrestricted), kjer anketar (skoraj) v celoti ne omejuje informacij, ki jih prejema od anketiranca; 2) usmerjeno (angl. directed), kjer raziskovalec vnaprej sporoči anketirancu, na katere vrste informacij naj se osredotoča; 3) zunanje testiranje (angl. external), ki se izvaja neodvisno od anketiranca; 4) dinamično testiranje (angl. dynamic), kjer anketiranec aktivno sodeluje v ovrednotenju vprašalnika in celotne anketne situacije. Tako razvrščene tehnike - v primerjavi s prvo klasifikacijo, kjer so tehnike zgolj naštete - raziskovalcu ponujajo kontrolni seznam, s katerega lahko izbere tehniko glede na posamezno fazo anketiranja. Dve skupini avtorjev sta metode predtestiranja klasificirali glede na uporabo miselnih postopkov v procesu odgovarjanja na anketna vprašanja. Sudman et al. (1996: 18) so metode razvrstili glede na to, katero izmed stopenj postopka odgovarjanja analizirajo (glej Tabelo A.3 v prilogi). Stopnje se delijo glede na anketirančevo uporabo miselnih procesov: razumevanje vprašanja, priklic ali ustvarjanje stališča ter oblikovanje in prilagajanje odgovora vprašanju. Ti procesi bodo podrobneje opisani v naslednjem poglavju. Predlog Grovesa (1996: 393) podobno temelji na upoštevanju miselnih postopkov, ampak jasneje poudarja vlogo anketiranca v postopku predtestiranja. Klasifikacijo razdeli na del, ki upošteva anketiranca, in na vprašalnik, preden ta pride do anketiranca. Dodaja še kategorije »spomin«, »anke-tar v odnosu do vprašalnika« in »anketar v odnosu do anketiranca« (sem uvrščene metode analizirajo merske napake, ki so posledica odnosa med anketarjem in vprašalnikom oziroma anketirancem). Stopnji oblikovanja in urejanja odgovora pa združi pod »poročanje« (glej Tabelo A.4 v prilogi). Predlog klasifikacije Akkerbooma in Dehue (1997) ter Akkerbooma in Luitenove (1996) teste po smiselnosti umešča v anketno raziskavo ter 67 predlaga vrstni red uporabe različnih metod glede na fazo anketne raziskave. Model vključuje uporabo kvalitativnih in kvantitativnih metod glede na cilj testiranja (glej Tabelo A.5 v prilogi). Snijkers (2002: 67) je ta model priredil za uporabo v Questionnaire Laboratory v Statistics Netherlands. Prirejena oblika predstavlja minimalni program za razvoj in testiranje posameznega postopka zbiranja podatkov, ki izpusti koraka 3 in 4 - ta dva sta težje izvedljiva in v primeru standardiziranih izvajanj raziskav tudi nista nujna. Ovrednotenje klasifikacij Opisani sistemi klasifikacij na različne načine predstavijo možne metode za predtestiranje vprašalnikov in načine za njihovo uporabo. Enega izmed prvih sta predlagali Forsyth in Lessler (1991; 2010). Medtem ko sistem dobro predstavi posamezne metode predtestiranja in jih združi glede na njihove podobnosti, je njegova glavna pomanjkljivost slaba uporabnost v praksi: gre zgolj za spisek metod, ki ne nakaže, za katere priložnosti so te metode najustreznejše, za katere stopnje raziskovalnega procesa so bolj ali manj primerne; prav tako tudi ne predstavi vlog anketarja in anketiranca (Snijkers, 2002: 68). Klasifikacija Sudmana et al. (1996) je najbolj koherentna, saj vključuje vse metode, ki jih (pod istim ali drugim imenom) omenjajo tudi preostale. Kljub temu pa po našem mnenju izmed omenjenih klasifikacij ni najboljša, saj opredeli le metode, ki so uporabne za analizo posameznikovih miselnih postopkov med reševanjem problema, ne upošteva pa procesov, ki se izvajajo pred testiranjem ali po njem. Groves (1996) je njun sistem razširil z dodatnimi kategorijami: »vprašalnik«, »anketar v odnosu do vprašalnika« in »anketar v odnosu do anketiranca«; le-te upoštevajo še ostale okoliščine postopka predtestiranja. Obe klasifikaciji v nasprotju z ostalimi omogočata osredotočanje na posamezne dele posameznikovega odgovarjanja na vprašanje. Kljub temu pa prihaja med klasifikacijama do razlik glede na to, katere miselne postopke naj bi katera izmed metod testirala. Med metodami, ki sta jih omenili obe skupini avtorjev (tj. sočasni in retrospektivni protokoli, kodiranje vedenja, ekspertna evalvacija, naloge razvrščanja in časovni zamik odgovora), se njihova klasifikacija ujema le za retrospektivne protokole (ki naj bi bili ustrezni za celoten miselni proces). Preostale metode se le delno prekrivajo ali pa se sploh ne. Do razlik prihaja v največji meri zaradi različnih pojmovnih interpretacij med klasifikacijami. Groves podrobneje izpostavi kategorijo »strukture spomina«, ki je po Sudmanu et al. (1996) zgolj del stopnje »priklica«. Vsebinska razlika je očitna tudi pri uvrstitvi ekspertne evalvacije. Medtem ko le-to Gro-68 ves uvrsti h kategoriji »vprašalnik« (saj gre za analizo, na katero anketiranec nima vpliva), je, po mnenju Sudmana et al., uporabna na vseh stopnjah (saj njihova klasifikacija predstavi, na katere dele miselnega procesa se posameznega metoda osredotoči). Preostala neujemanja se nanašajo na uvrstitev posamezne metode pod ustrezni miselni proces. Še nekoliko natančnejši med sistemi je drugi predlog Forsythove in Les-slerjeve (1991; 2010), ki opredeljuje metode glede na časovno oddaljenost njihove uporabe od trenutka, ko je bilo anketirancu postavljeno vprašanje. Kljub temu pa se nam zdi klasifikacija, kot jo uporabljajo na Statistics Netherlands (Akkerboom in Luiten, 1996; Akkerboom in Dehue, 1997), najustreznejša, saj podrobno opisuje vsak korak postopka predtestiranja ter upošteva morebitne iteracije posameznih dejanj v procesu. Snijkersov (2002) model je v tem primeru manj primeren, saj izpusti prav tiste korake, ki se najbolj posvečajo anketirancu in postopku odgovarjanja. Kot je razvidno iz opisanih metod predtestiranja, se večina metod osre-dotoča predvsem na iskanje potencialno težavnih delov vprašalnika; le redko tudi analizirajo vzroke teh težav. S tem področjem se ukvarjajo kognitivni intervjuji - metoda, ki sicer odkrije manj težav kot ostale, je izvrstna za njihovo analizo in izboljšavo, zato jo mnogi raziskovalci uporabljajo kot komplementarno drugim metodam predtestiranja ali tudi kot samostojno metodo v anketni raziskavi. V nadaljevanju bomo podrobno predstavili kognitivne intervjuje. Opisali bomo zgodovino razvoja te metode in njen način obravnavanja miselnih procesov pri odgovarjanju na vprašanje. Nato bomo predstavili in ovrednotili različne tehnike kognitivnega intervjuja ter opisali njihovo uporabo v današnjem času. Razvoj kognitivnih intervjujev Pri metodi kognitivnega intervjuja gre za posebno vrsto poglobljenega intervjuja, osredotočenega na miselne procese, ki jih anketiranec uporablja med odgovarjanjem na anketno vprašanje. Kognitivni intervjuji že od štiridesetih let 20. stoletja veljajo za obliko preverjanja kakovosti vprašalnika, vendar so bili v začetku splošnejši, nesistematični in zato neprimerljivi med različnimi študijami (Presser et al., 2004: 109). Na njihov intenzivnejši razvoj so vplivali izsledki Ericssona in Simona (1980) glede uporabe miselnih procesov pri reševanju matematičnih problemov. Avtorja sta utemeljila metodo glasnega razmišljanja (tj. sporočanja lastnih misli naglas) kot protokola za reševanje problemov. Pri tej metodi udeleženec zgolj opisuje svoje razmišljanje brez dodatnih interpretacij ali argumentiranja; pri tem mora biti čas med miselnim procesom in poročanjem misli karseda kratek (informacije morajo biti še vedno dostopne v kratkoročnem spominu). Pri tem se udeleženca snema, vloga raziskovalca 69 pa je majhna. V drugem koraku sledi analiza teh posnetkov oz. »analiza protokola« (angl. protocol analysis), tako da raziskovalec natančno kodira in nato znova pregleda pridobljene informacije, pri čemer daje velik poudarek na opažena izjemna vedenja ali vzorce. Tovrstna analiza omogoča opazovanje posameznika med reševanjem problema: kako pridobi informacijo iz spomina, kako odgovori na vprašanje in kako lahko čustva, ki mu jih določeno vprašanje vzbudi, vplivajo na nadaljnje odgovarjanje. Poleg tega protokoli omogočajo tudi raziskovanje miselnih procesov in znanj, potrebnih za odgovore na vprašanja (Snijkers, 2002: 3). Miselni proces pri odgovarjanju na vprašanje oz. reševanju problema (povzeto po Strack in Martin, 1987; Tourangeau, 1984) je sestavljen iz štirih različnih kognitivnih nalog (glej Slika 1): anketiranec mora najprej razumeti pomen vprašanja s semantičnega (zgradba vprašanja, pomen uporabljenih besed) ter jezikovnega vidika (pomen uporabljenih besed v kontekstu vprašanja). Nato si mora o temi vprašanja ustvariti stališče, pri čemer imajo največ vpliva nedavno uporabljene informacije, npr. tiste iz predhodnih, konteks-tualno podobnih vprašanj.7 V primeru, da ima tako stališče že ustvarjeno, 7 Uhan (1998: 69) omenja lokalni kontekst. Ta se nanaša na zgradbo in značilnosti merskega instrumenta, ki mora biti tehnično (standardiziranost postopkov, formalna struktura vprašalnika, ubeseditev vprašanj) in vsebinsko relevanten (ustrezna vsebinska zasnova instrumenta glede na raziskovalne cilje in značilnosti anketirancev). Učinki teh lastnosti se kažejo v obliki odgovarjanja in v relevantnih psiholoških procesih. ga poišče v spominu. Sledi presojanje tega stališča in njegova pretvorba v obliko, ki bo ustrezala danim oblikam odgovorov (npr. okencu za odprt odgovor z do 250 možnimi znaki, anketni lestvici s petimi možnostmi ...). Nazadnje lahko anketiranec svoj odgovor še priredi, če ga iz različnih razlogov noče podati takega, kakršen je v njegovih mislih. 70 Slika 1: MISELNI PROCESI PRI ODGOVARJANJU NA VPRAŠANJE (Strack in Martin, 1987:125) Tak seznam nalog nima niti predpisanega vrstnega reda niti ni omejen na samo naštete štiri stopnje. Udeleženec lahko odgovori, še preden raziskovalec konča z vprašanjem, lahko zavrne odgovor na vprašanje, v določenih primerih (npr. v odprtih vprašanjih) mora sam formulirati odgovor, namesto da bi ga sam izbral s spiska itd. (Tourangeau, 1984: 73). Poleg tega je na vsaki od opisanih stopenj v procesu odgovarjanja možnih veliko napak. Udeleženec lahko napačno razume vprašanje ali kategorije odgovora; pozabi, se pomembnih informacij napačno spomni ali jih napačno presodi; tako lahko napačno sporoči svoj odgovor (ibid.: 73-74). S pomočjo glasnega razmišljanja je te težave mogoče identificirati in ugotoviti njihove vzroke ter posledice (Hak et al., 2004: 3). Pri tem raziskovalci predpostavljajo, da je posameznikovo poročanje informacij iz kratkoročnega spomina bolj verodostojno od tistega iz dolgoročnega spomina.8 Glasno raz- 8 Dolgoročni spomin: ogromna zbirka vseh pomnjenih informacij, ki se medsebojno povezujejo in se s pomočjo čutnih dražljajev, pomnjenja ali asociacij prenesejo v kratkoročni spomin. Kratkoročni spomin: mišljanje sicer upočasni kognitivne procese, naj pa ne bi bistveno vplivalo na kakovost izvajanja naloge (odgovarjanja na vprašanje). Celo v primerih, ko glasno razmišljanje očitno vpliva na izvedbo naloge, so posledice le-tega minimalne v primerjavi z vplivi ostalih značilnosti konkretne eksperimentalne situacije (Ericsson in Simon, 1980: 224-225; Willis, 2005: 45). Miselni procesi, ki sta jih za primer matematičnih problemov opisala Ericsson in Simon, so v svoji osnovi zelo podobni tistim pri odgovarjanju na (anketno) vprašanje. Tehniko glasnega razmišljanja so zato prevzeli tudi številni družboslovni raziskovalci in jo še z nekaterimi drugimi tehnikami poimenovali kognitivni intervju. Različne tehnike kognitivnih intervjujev so se začele izpopolnjevati, ko so se raziskovalci začeli zavedati kognitivnih aspektov metodologije ankete-rinja (angl. cognitive aspects of survey methodology; v nadaljevanju: CASM). Seminarja na temo CASM (leta 1983 v ZDA ter leta 1984 v Nemčiji) sta bila ena izmed posledic zvišanja stopnje neodgovorov na anketne raziskave v ZDA sredi 70-ih let 20. stoletja. Psihologi, lingvisti in anketni metodologi so si prizadevali miselne procese v anketni situaciji obravnavati na interdisciplinarni način in dokazati, da ima postopek odgovarjanja na anketno vprašanje na rezultate raziskave enakovreden vpliv kot sama vsebina odgovora (Jabine et al., 1984; Schwarz, 2007: 277). 71 Uspeh seminarjev se je v naslednjih letih pokazal na številnih konferencah9, delavnicah10, v posebnih izdajah revij, zajetnih monografijah, uvedbi tečajev kognitivne psihologije kot sestavnega dela kurikuluma v študijih anketne metodologije ter ustanovitvi kognitivnih laboratorijev na številnih univerzah in raziskovalnih centrih za pomoč pri razvoju vprašalnikov11. Med slednjimi je najpomembnejši National Center for Health Statistics (v nadaljevanju: NCHS) v ZDA, ki je prvi začel razvijati laboratorijske metode za rutinsko testiranje merskih instrumentov za zbiranje podatkov ter izvedel eksperimente za primerjavo laboratorijskih in terenskih metod predte-stiranja anketnih vprašalnikov. Leta 1997 so seminar pod imenom CASM II v določenem trenutku shranjuje le majhno količino informacij, katere posameznik spremlja oz. je nanje pozoren. V primeru novih informacij se stare iz kratkoročnega spomina izgubijo (Ericsson in Simon, 1980: 224). 9 Npr. »Context Effects in Social and Psychological Research« (1989), »AutobiographicalMemory and the Validity of Retrospective Reports« (1991 ) in »Methods for Determining Ccognitive Processes Used to Answer Questions« (1993) (Sudman, 1996:13-14). 10 Npr. delavnice in seminarji Social Science Research Council 1986-1990 (Tanur, 1992: xvii-xxi). 11 Npr. v ZDA: Questionnaire Design Research Laboratory, Maryland; National Opinion Research Center's Cognitive Laboratory, Chicago; Laboratory for Survey Methods and Measurement kot del Research Triangle Institute; National Laboratory for Cognition and Survey Measurement; Survey Research Center (SRC), Michigan, Census Bureau, the Bureau of Labor Statistics). Po svetu: Survey Methodology and Quantitative Analysis Laboratory, univerza Peking; Questionnaire Laboratory, statistični urad na Nizozemskem; The Brain & Cognition Laboratory, univerza Oxford (vir: spletna poizvedba). ponovili, da bi ovrednotili razvoj področja, predstavili opravljeno delo ter predlagali izboljšave (Schechter et al., 1997). Dandanes raziskovalci metodo kognitivnega intervjuja pri predtestira-nju redno uporabljajo: npr. v pedagogiki in andragogiki (npr. Zukerberg in Hess, 1996; Holliday, 2003; Dornburg in McDaniel, 2006; Wright in Holliday, 2007; Housen et al., 2008); v zdravstvu (npr. Akkerboom in Luiten, 1996; DeMaio in Wellens, 1997; Schwartz et al., 2000; Shafer in Lohse, 2005), v varnostnih vedah, sodstvu in policiji (npr. Ginet in Verkampt, 2007; Bembibre in Higueras, 2010; Fisher in Geiselman, 2010) ter drugod. Medtem ko raziskovalci z nemetodoloških področij uporabljajo kognitivne intervjuje predvsem z uporabniškega ali tržnega vidika (tj. izboljšava lastnih vprašalnikov za pridobitev kakovostnejših podatkov), se metodološke raziskovalne skupine poglobljeno ukvarjajo z nadaljnjo izboljšavo metode, da bi jo bilo mogoče uporabiti tudi v državne namene. V ZDA je NCHS s prvim kognitivnim laboratorijem in številnimi izvedenimi raziskavami (npr. Beatty et al., 1996; Wilson in Peterson, 1999; Schwartz et al., 2000; Wilson et al., 2000; Willis, 2009) postavila kriterije za nadaljnji razvoj metode. V zadnjih letih se med drugim ukvarjajo z razvojem Q-Bank - računalniško vodene baze že testiranih in izboljšanih vprašanj, ki bi pri-72 hranila zamudno in odvečno ponavljanje že opravljenega izpraševanja (Miller, 2005). Ameriško statistično društvo (ASA) v svojih Proceedings of the Survey Research Methods Section že od leta 1984 dalje objavlja prispevke z različnih seminarjev in konferenc na temo kognitivnih intervjujev in predtestiranja na splošno, s poudarkom na različnih aktualnih temah, npr. vključevanje tujejezičnih državljanov v anketni proces (Warnecke et al., 1997; Pan, 2004; Park et al., 2009; Park in Yelei, 2009; Chan, 2010; Goerman, 2010; Hunter Childs et al., 2010), zdravstvo (Lessler et al., 1985; Lessler et al., 1986; Jang et al., 2010) ali metodologijo (Bureau, 1991; Sander et al., 1992; Palmisano, 1988; Blair in Brick 2009; 2010; Fay, 2009; McCarthy in Buysse, 2010). V Evropi na temo kognitivnega intervjuvanja poročajo raziskovalci Nemškega centra za anketno raziskovanje in metodologijo (ZUMA, 1996; ZUMA, 1999; Prüfer in Rexroth, 2005); kognitivni laboratorij na Statistics Netherlands redno izboljšuje stare tehnike, razvija nove ter izsledke uporablja v praksi (Sander et al., 1992; Akkerboom in Dehue, 1997; Snijkers, 2002), skupina rotterdamskih znanstvenih inštitucij pa je razvila instrument tristopenj-skega testnega intervjuvanja za namen samoanketiranja (Hak et al., 2004). V nasprotju s situacijo po svetu se v Sloveniji kognitivni intervjuji skorajda ne izvajajo. S kognitivnimi intervjuji, kot smo jih opredelili v članku, se ukvarjajo predvsem študentje družboslovja (za primere anketnih in družboslovnih raziskav) ter varnostnih ved (za primere preiskovanja kaznivih dejanj in izboljšanja spominske obnove prič). Raziskovalne agencije med svojo ponudbo navajajo izvajanje poglobljenih intervjujev, vendar gre pri vseh za intenzivni pogovor, in ne za intervju z namenom razumevanja miselnih procesov. Statistični urad Republike Slovenije se prav tako ne poslužuje uporabe kognitivnih intervjujev (vir: lastna poizvedba). V nadaljevanju bomo opisali posamezne tehnike kognitivnega intervjuja, kot jih uporabljajo omenjeni raziskovalci. Tehnike kognitivnega intervjuja Skupna lastnost tehnik kognitivnega intervjuja je anketarjevo izpraševanje anketiranca z namenom pridobiti čim več informacij o procesu odgovarjanja. V Tabeli B.1 (v prilogi) je (v neprirejeni obliki) razvidna obširna uporaba tehnik v raziskovanju predtestiranja, pa tudi velika nekonsistentnost med avtorji, tako v poimenovanju kot v številčnosti tehnik. Spisek smo s pomočjo opisov tehnik v besedilih skrčili na naslednje kategorije: sočasno glasno razmišljanje, retrospektivno glasno razmišljanje, pojasnilna podvpra-šanja, parafraziranje, naloge ocenjevanja, podajanje definicij, časovni zamik odgovora, kodiranje vedenja, naloge pomnjenja, izpraševanje anketirancev, vinjete in naloge razvrščanja. Nekatere izmed navedenih oblike smo v prejšnjem poglavju uvrstili 73 med metode predtestiranja, saj ne upoštevajo ustreznih kriterijev - tehnika kognitivnega intervjuja se mora namreč osredotočati na miselne procese anketiranca. Časovni zamik odgovora in kodiranje vedenja (Jobe in Mingay, 1991; Collins, 2003; Drennan, 2003; Campanelli, 2008) ne vključujeta zavestne udeležbe anketiranca. Naloge pomnjenja (Jobe in Mingay, 1991; Forsyth in Lessler, 2010) merijo sposobnost spomina in ne kognitivnih procesov v navezavi z anketnimi vprašanji. Izpraševanje anketarjev/anketirancev (DeMaio in Rothgeb, 1996) se - za razliko od retrospektivnih podvprašanj - osredotoča na mnenje o samem anketarskem procesu in ne toliko na vsebino vprašalnika. Vinjete (Davis et al., 1995; DeMaio in Rothgeb, 1996; Collins, 2003) in razvrščanje (Jobe in Mingay, 1991; Campanelli, 2008) pa preverjajo vsebinsko razumevanje pojmov, ki bi moralo biti jasno pred izvedbo anketiranja. Splošno priznani kot vrsti kognitivnega intervjuja in tudi najpogosteje omenjani sta tehniki glasnega razmišljanja in pojasnilnih podvprašanj. Medtem ko slednja večina drugih avtorjev uporablja kot krovni pojem, pod katerega uvršča vse različne oblike podvprašanj, jih Groves et al. (2009) podrobneje razdelijo še na ocenjevanje zaupanja, parafraziranje in podajanje definicij. Te tehnike bomo opisali v nadaljevanju, saj se po našem mnenju od drugih oblik podvprašanj dovolj razlikujejo, da bi lahko bile opredeljene kot samostojne tehnike. Tabela 1: KLASIFIKACIJA IN POVZETEK TEHNIK KOGNITIVNEGA INTERVJUJA (Groves et al., 2004/2009) Tehnika Naloga Sočasno glasno razmišljanje Anketiranec glasno navaja svoje misli med odgovarjanjem na vprašanje. Retrospektivno glasno razmišljanje Anketiranec opiše, kako je prišel do odgovora - ali takoj po odgovorjenem vprašanju ali po zaključenem vprašalniku. Ocenjevanje zaupanja Anketiranec oceni svoje zaupanje v lastni odgovor. Parafraziranje Anketiranec ponovi vprašanje z lastnimi besedami. Podajanje definicij Anketiranec poda definicije ključnih besed v vprašanju. Pojasnilna podvprašanja Anketiranec odgovori na anketarjeva vprašanja, ki pojasnijo njegov način odgovarjanja. Glasno razmišljanje Proces anketiranja s pomočjo glasnega razmišljanja je preprost: anketar želi izvedeti, skozi kakšne miselne procese gre anketiranec, da pride do odgovora na vprašanje. Tehniko različni avtorji različno imenujejo: »intenzivni/temeljiti individualni/osebni intervju« (angl. intensive individual 74 interview, Belson, 1981; Fowler, 1995b), »razširjeni intervju« (angl. expan- ded interview, Forsyth in Lessler, 1991; 2010), »intenzivni intervju ena-na-ena« (angl. intensive one-on-one interview, Campanelli et al., 1991), »intervju z glasnim razmišljanjem« (angl. think-aloud interview, Forsyth in Lessler, 1991; DeMaio in Rothgeb, 1996; Forsyth in Lessler, 2010), »glasno razmišljanje«, (angl. think-alouds, Sudman et al., 1996; Willis, 2005), »sočasni in retrospektivni protokol« (angl. concurrent and retrospective protocols, Groves, 1996) in »poglobljeni intervju« (angl. in-depth interview, Snijkers, 2002: 77). Glasno razmišljanje je lahko sočasno ali retrospektivno. Pri prvem anketiranec svoje misli poroča med samim odgovarjanjem (Snijkers, 2002: 82). Ker gre pri tem za proces, ki je ljudem navadno tuj, anketar pred pričetkom intervjuja anketiranca pripravi z nekaj uvajalnimi nalogami12, med samim intervjujem pa ga spodbuja h govoru s pomočjo nevtralnih opomb - npr. »prosim, nadaljujte« in »povejte mi, o čem razmišljate«. Večina miselnega bremena je torej na anketirancu, medtem ko je naloga anketarja ta, da vprašanje prebere in si zapiše ali posname procese, ki jih je anketiranec uporabil, da je prišel do odgovora. Ti zapisi so nato podvrženi »analizi protokola«, ki daje velik poudarek na specifične vzorce odgovarjanja ali vedenja v času anketiranja (Willis, 1999: 4). V primeru retrospektivnega glasnega razmišljanja pa anketar najprej izpraša anketiranca kot v primeru navadne ankete, čemur sledi poglobljeni intervju, 12 Splošno znana vaja je: »Predstavljajte si vaše bivališče in pomislite, koliko oken je v tem stanovanju. Medtem ko jih štejete, mi opisujte, kar vidite in o čem razmišljate.« (Willis, 1999: 4) kjer anketiranec opiše svoje misli, kot jih je imel v času odgovarjanja. Pri tem si lahko pomaga z ogledom posnetka anketiranja (Snijkers, 2002: 82). Nekakšen hibrid obeh tehnik so predlagali Sudman et al. (1996), kjer naj bi anketiranec najprej odgovoril na vprašanje ter nato opisal svoj proces razmišljanja, pri sočasnem glasnem razmišljanju pa bi najprej glasno razmislil ter nato odgovoril. Kakorkoli, Snijkers (2002: 82) ta predlog opiše kot »precej teoretičen«, saj se v praksi anketiranci po načinu odgovarjanja med seboj razlikujejo. Obe tehniki imata svoje prednosti in pomanjkljivosti. Sočasno razmišljanje anketirancu omogoča spontane odzive, kar daje intervjuju občutek običajnega pogovora. Tehniko večina anketirancev z lahkoto razume, čeprav se (posebno pri nižje izobraženih) lahko izkaže za naporno delo. Poleg tega se sočasno razmišljanje ne zanaša toliko na spomin ter potrebuje manj dodatnih pripomočkov. Pomanjkljivost te tehnike je, da prekine normalen tok anketiranja, ki so ga anketiranci vajeni; tak intervju je dolgotrajnejši in lahko vpliva na proces odgovarjanja, saj bi anketiranci morda na vprašanje vsebinsko drugače odgovorili, če o njem ne bi na tak način razmišljali (ibid.: 83). Pojasnilna podvprašanja Manj stroga oblika kognitivnega intervjuja so pojasnilna podvprašanja, 75 ki so postala priljubljeno orodje, ko je postalo jasno, da je zgolj uporaba glasnega razmišljanja okorna in omejujoča, saj v procesu predtestiranja ne dopušča udeležbe anketarja (Willis, 2005). V sodobnem raziskovanju kognitivnih intervjujev tako praktično ni več raziskav, ki ne bi upoštevale podv-prašanj. Te anketarju omogočajo nadzor nad intervjujem, manjšo potrebo po izobraževanju anketiranca ter osredotočanje na posamezna področja, ki izkazujejo več težav (Willis, 2005: 55). Skupna lastnost zbirke številnih različnih podvrst podvprašanj je ta, da po odgovoru anketiranca anketar vpraša po dodatnih, specifičnih informacijah v zvezi s prvotnim vprašanjem ali anketirančevim odgovorom (Willis, 1999: 6). Priljubljenost in obsežnost pojasnilnih podvprašanj se kaže že v nekonsistentnosti njihovega poimenovanja: pojmi segajo od osnovnih - pojasnilna podvprašanja (angl. probing questions, verbal probes) in tradicionalna kognitivna podvprašanja (angl. traditional cognitive probes) - in časovno usmerjenih - sočasno podvpraševanje (angl. concurrent probing) in retrospektivno (angl. retrospective) - do splošnih (angl. general, generic), predvidenih (angl. scripted), strukturiranih (angl. structured) in vnaprej pripravljenih podvprašanj (angl. pre-prepared) na eni strani ter specifičnih (angl. specific), nestrukturira-nih (angl. unstructured), usmerjevalnih (angl. directive, reorienting), izrednih (angl. special), nepredvidenih (angl. unscripted), spontanih (angl. spontaneous), neomejenih (angl. discretionary) in sledilnih podvprašanj (angl. follow-up) na drugi strani; ter od vsebinsko usmerjenih - podvprašanj za evalvacijo izbora možnih odgovorov (angl. probes to evaluate response choices), pod-vprašanj o priklicu (angl. probes about recall, probes about retrieval methods), podvprašanj za pridobitev informacij (angl. information retrieval probes) - pa do potrdilnih (angl. confirmatory), obsežnih (angl. expansive), razdelovalnih (angl. elaborating), pogojnih (angl. hypothetical, conditional), razumevalnih podvprašanj (angl. comprehension, interpretation probes) in uporabnih pripomb (angl.functional remarks) (povzeto po Jobe in Mingay, 1991; Oksenberg et al., 1991; Gerber, 1994; Davis et al., 1995; Beatty et al., 1996, 1997; DeMaio in Rothgeb, 1996; Schechter et al., 1996; Akkerboom in Dehue, 1997; Czaja, 1998; DeMaio et al., 1998; Redline et al., 1998; Willis et al., 1999; Miller, 2002; Morrison et al., 2002; Snijkers, 2002; Collins, 2003; Drennan, 2003; United States Census Bureau, 2003; Desimone in Floch, 2004; Hak et al., 2004; Pan, 2004; Presser et al., 2004; Scheuren, 2004; Willis, 2005; Levenstein et al., 2007; Campanelli, 2008; Housen et al., 2008; Conrad in Blair, 2009; Groves et al., 2004/2009; Wildy in Clarke, 2009; Forsyth in Lessler, 2010; Blair in Conrad, 2011). Razlika med skupinama sočasnih in retrospektivnih podvprašanj je v tem, da prva sledi anketirančevemu odgovoru, medtem ko se druga izvaja po zaključenem intervjuju; to je uporabno v primerih, ko gre za samoan-ketiranje, kjer je zaželeno, da je proces predtestiranja kar najbolj podoben 76 dejanskemu anketiranju, in pa v kasnejših stadijih razvoja vprašalnika (Hak et al., 2004: 24). Vnaprej pripravljena podvprašanja so predpisana in predhodno določena za vsako vprašanje, ki bi lahko bilo težavno, pa tudi za primere, ko anketiranec molči (Willis, 2005: 88-89). Nasprotno pa vse oblike spontanih podvprašanj anketarju omogočajo raziskovanje nepričakovanih odgovorov (Willis, 2005: 89; Blair in Conrad, 2011: 648). Parafraziranje Parafraziranje (angl. paraphrasing) je pogosto uporabljana tehnika, v okviru katere mora anketiranec ponoviti vprašanje s svojimi besedami (Willis, 2005: 117-118). Z njo anketar ugotovi, ali anketiranec pravilno razume vprašanje in svojo nalogo; ugotovi lahko, na kakšen način si anketiranec zapomni vprašanje, katerih besed ne razume ter pridobi možne predloge za izboljšavo (United States Census Bureau, 2003: 3), npr. »Mi lahko s svojimi besedami ponovite vprašanje?« (Collins, 2003: 236). Kakorkoli, anketirancem ni vedno jasno, kaj morajo narediti in zakaj. Pri nižje izobraženih, osebah s slabšim poznavanjem jezika in otrocih se pogosto izkaže, da se težko domislijo drugih oblik vprašanja, pri čemer to ne pomeni, da vprašanja niso razumeli. Ta tehnika lahko posledično nakaže večje težave z vprašanjem, kot v resnici so, zato ni zelo informativna (Snijkers, 2002: 83; Collins, 2003: 236; Rho in Sangster, 2003: 189). Willis (2005: 117) zato priporoča preverjanje razumevanja konceptov, ne pa konkretnih dobesednih preoblikovanj vprašanja. Podajanje definicij Tehnika podajanja definicij/pojasnjevanja/interpretiranja (angl. definitions) (Akkerboom in Dehue, 1997: 130; Snijkers, 2002: 83) je podobna para-fraziranju, le da se podrobneje osredotoči na anketirančevo razumevanje posameznih besed ali pojmov, ne pa celotnega vprašanja. Primer take tehnike je: »Kaj v tem vprašanju razumete pod 'neto prihodek'?« Ocenjevanje zaupanja Ocenjevanje zaupanja (angl. confidence rating oz. confidence judgement, tudi respondent debriefing) je redkeje uporabljana tehnika, s katero anketar preveri zaupanje anketiranca v svoj lastni odgovor, npr.: »Ali ste prepričani, da vaše zdravstveno zavarovanje krije zdravljenje odvisnosti od alkohola?« ali »Če pravilno razumem, ste bili v zadnjih 30 dneh nezdravi en dan?« (Beatty et al., 1997: 1066; Willis, 1999: 6; Collins, 2003: 236). Gre za tehniko, ki je nekateri avtorji ne smatrajo za zelo uporabno (npr. Campanelli et al., 1991: 259-260; Oksenberg et al., 1991), saj naj anketirančeva ocena o pravilnosti svojega odgovora ne bi korelirala z dejansko pravilnostjo odgovora. Zato ti avtorji raje priporočajo preverjanje razumevanja s pomočjo parafra- 77 ziranja in podajanja definicij. Opisane tehnike oz. skupini tehnik glasnega razmišljanja in podvprašanj se iz časovnih, stroškovnih ter administracijskih vzrokov le redko izvajajo hkrati. Zato se izvajalci zanje odločajo glede na njihove prednosti in pomanjkljivosti. Primerjava tehnik Kot prednost glasnega razmišljanja nasproti pojasnilnim podvprašanjem Willis (2005: 88) omenja nepristranskost, ki se kaže v odsotnosti vpliva anke-tarja; ta ima namreč le majhno vlogo opominjanja, naj se razmišljanje izvaja na glas. Posledično je tudi potreba po izobraževanju anketarja majhna. Pomanjkljivost te tehnike je vpliv izobrazbe anketirancev - višje izobraženi so spretnejši. Poleg tega je raziskovalcem težje oceniti, ali je bil anketiranec dejansko sposoben odgovoriti na vprašanje ter ali ni bil odgovor zgolj posledica poglobljenega razmišljanja - velika verjetnost je, da bi se odgovor razlikoval, če bi anketiranec v svoj miselni proces vložil manj dela. Dodatna prednost glasnega razmišljanja je odprti format vprašanj, kar je še posebej koristno v primeru, ko je anketiranec zgovoren. Vendar to lahko povzroči, da se anketiranec oddalji od teme, kar privede do dlje trajajočega anketiranja in velike količine nepomembnih informacij. Prednost pojasnil-nih podvprašanj je v tem primeru dovoljeno poseganje anketarja v proces, kar omogoča osredotočanje na posamezne dele ankete, ki bi bili sicer spregledani. Poleg tega gre za preprost, poceni ter naraven način, kako sistematično pridobiti dragocene in pravilno razumljene odgovore (Schuman, 1966: 222). Pomanjkljivosti pojasnilnih podvprašanj sta potreba po intenzivnem izobraževanju anketarja in potencialna reaktivnost (sprememba končnega odgovora zaradi vpliva anketarja) (Willis, 2005: 88). Raznolikost prej opisanih splošnih metod predtestiranja je tema številnih opravljenih raziskav primerjave metod in njihove uporabnosti v različnih situacijah (npr. Oksenberg et al., 1991; Gerber, 1994; Akkerboom in Luiten, 1996; Akkerboom in Dehue, 1997; DeMaio et al., 1998; Forsyth et al., 1999; Willis, 1999; Rothgeb et al., 2001; Snijkers, 2002; Pascale in Mayer, 2002; Collins, 2003; Blair et al., 2007). Nasprotno pa za konkretno metodo kognitivnega intervjuja skoraj ni raziskav, ki bi med seboj primerjale take tehnike. Redki primeri takih raziskav so npr. študija Schechterjeve et al. (1996, 10), kjer so poskušali identificirati vse metode, ki bi bile primerne za izvedbo samoanketiranja, in za te metode predlagati ustrezna navodila za testiranje v kognitivnem laboratoriju. Redline et al. (1998, 1) so med seboj primerjali ustreznost sočasnega in retrospektivnega intervjuja za primer samoanketiranja, kjer je za pravilno gibanje po vprašalniku pomembno razumevanje tako 78 besednega kot tudi vizualnega jezika (branje puščic, slikovnega materiala itd.). Snijkers (2002: pogl 2) ter Hak et al. (2004) so podali različne predloge za predtestiranje samoanketiranja, ki bi z ustrezno izpopolnitvijo in nadgradnjo lahko postale kakovostne tehnike za predtestiranje spletnih vprašalnikov. Avtorici DeMaio in Landreth (2004: 90) pa sta se osredotočili na primerjavo izvedb predtestiranja istega vprašalnika, ki so ga izvedle tri različne raziskovalne organizacije; pri tem sta ugotovili, da so bile raziskovalne skupine glede na medsebojne neenakosti različno uspešne na različnih področjih. Iz navedenih primerov je očitno, da - kljub svoji priljubljenosti - metoda kognitivnega intervjuja nima standardne definicije, jasnih dokazov o kakovosti ali o njeni primernosti v različnih raziskovalnih situacijah. Dokumentacija o izvajanju kognitivnih intervjujev raziskovalnih skupin, ki tehnike uporabijo z namenom izboljšati lastno raziskavo, je skopa (DeMaio in Landreth, 2004: 89). Za razvoj tega področja so torej pomembni natančni in posplo-šljivi eksperimenti, ki bi jasno pokazali razlike in predlagali najboljše rešitve. Sklep V članku smo predstavili pregled razvoja metod predtestiranja in podrobneje izpostavili različne tehnike kognitivnega intervjuja. Kognitivno predtestiranje se še posebno od izida knjige Gordona B. Willisa Cognitive Interviewing: A Tool for Improving Questionnaire Design obravnava kot standardno orodje za predtestiranje anketnih vprašalnikov, kljub temu pa še vedno obstaja kritična potreba po empiričnih raziskavah o zanesljivosti rezultatov kognitivnih intervjujev, o njihovi vrednosti pri izboljšavi kakovosti podatkov ter o razlikah med različnimi oblikami izvedbe kognitivnih intervjujev. Tehnike niso standardizirane, zato način njihove izvedbe ni jasen, rezultati pa so kvalitativne narave in posledično ne omogočajo posplošitve pridobljenih rezultatov na populacijo ter ne ponujajo kvantitativnih dokazov, da je popravljena oblika vprašanja resnično boljša od izvirnika. Tehnike se nanašajo na anketirančeva ustna poročila o težavah, ki niso objektivna; vsi kognitivni procesi ne morejo biti verbalizirani, poleg tega pa se nekateri zgodijo prehitro, da bi jih delovni spomin lahko zaznal. Uporaba moderne tehnologije pri predtestiranju je med raziskovalci še vedno redka, kljub temu da računalnik predstavlja že standarden element v procesu anketiranja. Ena izmed možnih oblik predtestiranja vprašanj z uporabo računalnika je t. i. »CAQI«13, pri kateri anketar z računalniškega ekrana anketirancu bere vprašanja, zase pa prebira navodila glede dodatnega izpraševanja. Taka izvedba omogoča standardiziranost14 in avtomatiziranost15 protokola (Snijkers, 2002: pogl 5). Vseeno je vodilna oblika izvajanja kognitivnih intervjujev še vedno osebni pogovor. Na področju družboslovne metodologije obstaja tudi potreba po ustrezni razvrstitvi in ovrednotenju predtestnih metod. Pregled literature kaže 79 številna nesoglasja glede ureditve, izvajanja in vrednotenja posameznih metod. Na področju predtestiranja opažamo tudi pomanjkanje raziskav, ki bi se ukvarjale s prilagoditvami ustreznih metod in tehnik na novejše medije anketiranja: splet in (mobilni) telefon. Ena izmed redkih raziskav se izvaja v nemškem inštitutu GESIS (Behr et al., 2012), kjer testirajo tehnike, ki bi prinašale kakovostne rezultate na področju spletnega samopredtestiranja. Pri njihovih raziskavah pojasnilna podvprašanja sledijo vsakemu posamičnemu vprašanju na ekranu. Kljub temu da je raziskava še v povojih in vsebuje številne pomanjkljivosti, vseeno prinaša prve spodbudne rezultate. Navsezadnje pa v Sloveniji opažamo potrebo po ustanovitvi lastnega kognitivnega laboratorija, ki bi omogočal poglobljene analize vprašalnikov številnih raziskovalnih centrov, agencij, društev in uradov, ki trenutno svojih raziskav ne predtestirajo ter posledično morda pridobivajo rezultate nižje kakovosti, kot bi jih v primeru kvalitativnega ovrednotenja. 13 Angl. computer-assisted-qualitative-interview oz. računalniško podprt kvalitativni intervju. 14 Vsi kognitivni intervjuji so izvedeni na enak način in nobenega dela ni mogoče izpustiti; računalnik anketarju omogoča nadzor nad potekom intervjuja, hkrati pa daje svobodo za razširitev z dodatnimi podvprašanji. 15 Omogoča osredotočanje anketarja na komunikacijo z anketirancem, poleg tega pa od anketarja ne zahteva obsežnega dodatnega izobraževanja (Snijkers 2002: pogl 5). PRILOGA A Tabela A. 1: SPLOŠNE VRSTE METOD (Forsyth in Lessler, 1991; 2010) 80 Splošni tip metode Posamezne metode Ekspertna evalvacija Vzajemno kodiranje vedenja (angl. interactional behavior coding) Vrednotenje kognitivnih form (angl. cognitive forms appraisal) Ekspertna analiza (angl. expert analysis) Razširjeni intervjuji Sočasno glasno razmišljanje Retrospektivno glasno razmišljanje in pojasnilna podvprašanja Naloge pomnjenja (angl. memory cue tasks) Pojasnilna podvprašanja (angl. follow-up probes) Usmerjene metode Parafraziranje Prosto razvrščanje (angl. free-sort classification tasks) Dimenzijsko razvrščanje (angl. dimensional sort classification tasks) Vinjete Naloge ocenjevanja (angl. rating tasks) Časovni zamik odgovora Kvalitativno merjenje časa (angl. qualitative timing) Skupinske metode Fokusne skupine Skupinski intervjuji Skupinski eksperimenti Tabela A.2: KLASIFIKACIJA GLEDE NA ČASOVNOST NALOGE IN NADZOR POZORNOSTI (Forsyth in Lessler, 1991; 2010) Čas naloge (glede na izvedbo anketiranja) Vrsta testiranja glede na nadzor pozornosti Neusmerjeno Usmerjeno Zunanje Dinamično Sočasno Glasno razmišljanje (angl. think-alouds) Naloge pomnjenja (angl. memory cue tasks) Kodiranje vedenja (angl. behavior coding) Časovni zamik odgovora (angl. response latency) Kvalitativno merjenje časa (angl. qualitative timing) Takojšnje Pojasnilna podvprašanja (angl. follow-up probes) Dimenzijsko razvrščanje (angl. dimensional-sort classification tasks) Naloge ocenjevanja (vključujoč tudi ocenjevanje zaupanja (angl. confidence-rating tasks) Vinjete (angl. vignette classifications) Čas naloge (glede na izvedbo anketiranja) Vrsta testiranja glede na nadzor pozornosti Neusmerjeno Usmerjeno Zunanje Dinamično Odloženo (angl. delayed) Retrospektivno glasno razmišljanje (angl. retrospective think-alouds) Retrospektivna podv-prašanja (angl. retrospective probes) Neodvisno Ocena kognitivnih form (angl. cognitive forms appraisal) Skupinski intervju (angl. group interview formats) Intenzivni intervju (angl. intensive interviews) Tabela A.3: KLASIFIKACIJA GLEDE NA MISELNE POSTOPKE 1 (Sudman et al., 1996) 81 Metoda Naloga Razumevanje/ interpretacija Priklic presoje Oblikovanje odgovora Urejanje odgovora Verbalni protokoli (glasno razmišljanje, glasno govorjenje) (angl. verbal protocols (think-alo-uds, talk-alouds) Sočasno (angl. concurrent) * * Retrospektivno (angl. retrospective) * * * * Kodiranje vedenja (angl. behavioral coding) Koderji (angl. coders) * Računalniško kodiranje (angl. computer coding) * * Kognitivni eksperti (angl. cognitive experts) * * * * Časovni zamik odgovora (angl. response latency methods) * * Naloge razvrščanja (angl. sorting tasks) * Fokusne skupine (angl. focus groups) * Eksperimenti (angl. experiments) * * Tabela A. 4: KLASIFIKACIJA GLEDE NA MISELNE POSTOPKE 2 (Groves, 1996) 82 Tehnika Anketiranec Vprašalnik Struktura spomina Razumevanje Priklic Poročanje Anketar-vprašalnik Anketar-anketiranec Naloge razvrščanja (angl. sorting) * Generiranje primerov (angl. exemplar generation) * * Sočasni protokoli (angl. concurrent protocols) * * * * Retrospektivni protokoli (angl. retrospective protocols) * * * * Parafraziranje (angl. paraphrasing) * Konvencionalna analiza (angl. conventional analysis) * * * * * Tekstovna analiza odgovorov (angl. text analysis of responses) * * * * * Kodiranje vedenja (angl. behavior coding) * * * Ekspertna evalvacija (angl. expert forms appraisal) * Časovni zamik odgovora (angl. response latency) * * o £ O •ä rt o O rt £ CD y O N •3 § G uH ^^ ^ s Q > se* cp 3 > 3 0 V S & O.S rn O. rt M v ^ o ».S f|l .¿¿Scp ■s ^ A šjs rt '3 J % II lia s. Ph>DC , I -j tf rtCD . C '^rt - I £ a jl^i •—1 n « U, > -a rt c i»»0o. p« % o rt n 3 rt epu a 'S ~ ^ NO0Jw 2'a^ SB > Artü §0 c 5 > M M>rn CP.S M O rt OJ aj > '3 S 3 O a N o CP rt g"? ° § O cd C s 2 s C Cü < -ts 0«to ^oo ^ a Ca CD_S>ČJ CP> - o rt rt M .rt rt .O ^ N ^ > > O j S o S c CP aj cu c t! rt rt t! C to n m ^P U " al CPC3 ^iS ^ 8 t^ >M CP rt rtb > 1 M CPcp^ ^ .ij O CP.i^ rt rt gCCPCP t« 5 C [J ü (J CP S OJ > 3 O a N o ^ c OJ 2 rt C > o C CP'S rt rt £P CP 3 OJ M "O OJ O C w 3 O M . H'3 C3 o « C CP ^ > ~ O M 'i S ^ CP 3 .d rt C C M rt 3T3 M O •iS CP a Ph '¡3 CD ^ C ^^ % ' "Tj CO ^rtCP> ZV i^oo c cP-g e 0 W CP.i^ CP i s S .2 S > rt ^ W > S 3 O a o ^ > 'F c C > O 6 rt rt o, a ^ (D w "O O c -u co CD p š o CD ^ C3 o > o ) T3 o rt .ij "O C O < CP rt rt, -o 'S o iS CP o. , tj t3 '52 C CP rt cj -H X) C rt CD a ^ 2 rt Ui N a c CD a ju iP a:s a .o rt ^ O . a 3 E M a ^ o CB 83 Tabela B. 1: SPISEK TEHNIK KOGNITIVNEGA INTERVJUJA, KOT JIH NAŠTEVAJO ANALIZIRANI AVTORJI 84 (Akkerboom in Dehue, 1997) Concurrent thinking aloud (sočasno glasno razmišljanje) Retrospecive thinking aloud (retrospektivno glasno razmišljanje) Probes about recall (podvprašanja o priklicu) Probes about retrieval methods (podvprašanja o priklicu) (Beatty et al., 1997) Traditional cognitive probes (tradicionalna kognitivna podvprašanja) Confirmatory probes (potrdilna podvprašanja) Expansive probes (obsežna podvprašanja) Functional remarks (uporabne pripombe) Feedback (povratne informacije) (Beatty et al., 1996) Scripted concurrent probes (predvidena sočasna podvprašanja) Unscripted concurrent probes (nepredvidena sočasna podvprašanja) Follow-up probing (sledilna podvprašanja) Reorienting probe (usmerjevalna podvprašanja) Elaborating probes (razdelovalna podvprašanja) (Campanelli, 2008) Concurrent think aloud (sočasno glasno razmišljanje) Retrospective think aloud (retrospektivno glasno razmišljanje) Pre-prepared probe (vnaprej pripravljena podvprašanja) Spontaneous probe (spontana podvprašanja) Observation (opazovanje) Paraphrasing (parafraziranje) Rating tasks (naloge ocenjevanja) Response latency (časovni zamik odgovora) Qualitative timing (kvalitativno merjenje časa) Free-sort classification tasks (prosto razvrščanje) Dimensional sort classification tasks (dimenzijsko razvrščanje) (Blair in Conrad, 2011; Desimone in Floch, 2004; Hak et al., 2004; Housen et al., 2008; Wildy in Clarke 2009) Thinking aloud (glasno razmišljanje) Verbal probes (podvprašanja) (Census, 2003) Think-aloud technique (tehnika glasnega razmišljanja) Probing questions (podvprašanja) Paraphrasing (parafraziranje) Hypothetical probes (podvprašanja) (Collins, 2003) Think-aloud (glasno razmišljanje) Probing (podvprašanja) Cognitive interviewing (kognitivni intervju) Paraphrasing (parafraziranje) Card sorts (naloge razvrščanja) Vignettes (vinjete) Confidence rating (ocenjevanje zaupanja) Response latency (časovni zamik odgovora) (Conrad in Blair, 2009) Conditional probe (pogojna podvprašanja) Discretionary probe (neomejena podvprašanja) (Czaja, 1998) Intensive individual or cognitive interviews (intenzivni individualni ali kognitivni intervjuji) Thinkalouds (glasno razmišljanje) Special or follow-up probes (izredna ali sledilna podvprašanja) Comprehension probes (razumevalna podvprašanja) Information retrieval probes (podvprašanja za pridobitev informacij) Probes to evaluate response choices (podvprašanja za evalvacijo izbora možnih odgovorov) (Davis, 1995) Concurrent think aloud (sočasno glasno razmišljanje) Retrospective think aloud with probing (retrospektivno glasno razmišljanje s podvprašanji) Paraphrasing (parafraziranje) Vignettes (vinjete) (Demaio in Rothgeb, 1996) (1) Cognitive interview (kognitivni intervju) Respondent debriefing (izpraševanje anketiranca) Vignettes (vinjete) Direct probing questions (usmerjena podvprašanja) (Demaio in Rothgeb, 1996) (2) Concurrent think-aloud (sočasno glasno razmišljanje) Probing questions (podvprašanja) Confidence ratings (ocenjevanje zaupanja) Requests for paraphrasing (parafraziranje) (DeMaio et al., 1998) Concurrent think aloud (sočasno glasno razmišljanje) Retrospective think aloud (retrospektivno glasno razmišljanje) General probes (splošna podvprašanja) Specific probes (specifična podvprašanja) (Drennan, 2003) Concurrent probing (sočasna podvprašanja) Retrospective probing (retrospektivna podvprašanja) Observation of the respondent's behaviour (opazovanje anketirančevega vedenja) Think-aloud/read-aloud (glasno razmišljanje/glasno prebiranje) (Forsyth in Lessler, 2010) Concurrent think aloud interviews (sočasno glasno razmišljanje) Retrospective think alouds and probe questions (retrospektivno glasno razmišljanje in pojasnilna podvprašanja) Memory cue tasks (naloge pomnjenja) Directive probe (usmerjevalna podvprašanja) (Gerber, 1994) Structured probes (strukturirana podvprašanja) Unstructured probes (nestrukturirana podvprašanja) (Groves, 2004/2009) Concurrent think-alouds (sočasno glasno razmišljanje) Retrospective think-alouds (retrospektivno glasno razmišljanje) Confidence rating (ocenjevanje zaupanja) Paraphrasing (parafraziranje) Definitions (definicije) Probes (podvprašanja) 85 86 (Jobe in Mingay, 1991) Concurrent think-aloud interview (sočasno glasno razmišljanje) Retrospective think-aloud interview (retrospektivno glasno razmišljanje) Focus interview (fokusirani intervju) Confidence rating (ocenjevanje zaupanja) Paraphrasing (parafraziranje) Free and dimensional sorts (prosto in dimenzijsko sortiranje) Response latency (časovni zamik odgovora) Probes (podvprašanja) Memory cues (naloge pomnjenja) (Levenstein, 2007) Directive probe (usmerjevalna podvprašanja) Generic probe (splošna podvprašanja) (Miller, 2002) Thinking aloud (glasno razmišljanje) Retrospecive probes (retrospektivna podvprašanja) Concurrent probes (sočasna podvprašanja) (Morrison et al., 2002 Concurrent questions (sočasna vprašanja) Retrospective questions (retrospektivna vprašanja) Follow-up probes (sledilna podvprašanja) Vignettes (vinjete) (Pan, 2004) Think-aloud technique (tehnika glasnega razmišljanja) Process-oriented probing (procesno usmerjena podvprašanja) Meaning-oriented probing (vsebinsko usmerjena podvprašanja) (Presser in Blair, 1994; Presser et al., 2004) Concurrent think aloud (sočasno glasno razmišljanje) Retrospective think aloud (retrospektivno glasno razmišljanje) Follow-up probes (sledilna podvprašanja) (Redline et al., 1998) Concurrent interview (sočasni intervju) Retrospective interview (retrospektivni intervju) (Schechter, 1996) Concurrent, retrospective probing (sočasno in retrospektivno glasno razmišljanje) Debriefing (izpraševanje) Think aloud (glasno razmišljanje) Read aloud (glasno prebiranje) (Scheuren, 2004) Think aloud (interwievs) (glasno razmišljanje) Probing questions (podvprašanja) Paraphrasing (parafraziranje) (Snijkers, 2002) Thinking aloud (glasno razmišljanje) Meaning-oriented probing (vsebinsko usmerjena podvprašanja) Paraphrasing (parafraziranje) Targeted test questions (usmerjena testna vprašanja) Vignettes (vinjete) (Willis, 2005; Willis, 1999) Concurrent think-aloud (sočasno glasno razmišljanje) Retrospective think-aloud (retrospektivno glasno razmišljanje) Comprehension/interpretation probe (razumevalna podvprašanja) Paraphrasing (parafraziranje) Confidence judgment (ocenjevanje zaupanja) Recall probe (podvprašanj o priklicu) Specific probe (specifična podvprašanja) General probe (splošna podvprašanja) LITERATURA Akkerboom, Hans, in Francine Dehue (1997): The Dutch Model of Data Collection Development for Official Surveys. International Journal od Public Opinion Research 9 (2): 126-145. Akkerboom, Hans, in Annemiek Luiten (1996): Selecting Pretesting Tools According to a Model of Questionnaire Development with Illustrations Concerning Patient Satisfaction with Medical Care. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat. org/sections/srms/proceedings/papers/1996_158.pdf, 22. januar 2012. Alexander, Cheryl S., in Henry Jay Becker (1978): The Use of Vignettes in Survey Research. Public Opinion Quarterly 42 (1): 93-104. Barnett, Jacqueline M. (2002): Focus Groups Tips for Beginners. Texas, ZDA: Texas Center for Adult Literacy & Learning. Dostopno prek http://www-tcall.tamu. edu/orp/orp1.htm, 27. februar 2012. Bassili, Thomas M. (1996): The How and Why of Response Latency Measurement in Telephone Surveys. V: Answering Questions: Methodology for Determining Cognitive and Communicative Processes in Survey Research, (ur.) Norbert Schwarz in Seymour Sudman, 319-346. San Francisco, California: Jossey-Bass Publishers. Beatty, Paul, Susan Schechter in Karen Whitaker (1996): Evaluating Subjective Health Questions: Cognitive And Methodological Investigations. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/proceedings/papers/ gy 1996_166.pdf, 22. januar 2012. -(1997): Variation in Cognitive Interviewer Behavior - Extent and Consequences. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/proceed-ings/papers/1997_183.pdf, 22. januar 2012. Behr, Dorothee, Lars Kaczmirek, Wolfgang Bandilla in Michael Braun (2012): Asking probing questions in web surveys: Which factors have an impact on the quality of response? Social Science Computer Review 000 (00), 1-12. Bembibre, Judit, in Lorenzo Higueras (2010): Differential effectiveness of the cognitive interview in a simulation of testimony. Psychology, Crime & Law 17 (6): 473-489. Blair, Johnny, Allison Ackermann, Linda Piccinino in Rachel Levenstein (2007): Using Behavior Coding to Validate Cognitive Interview Findings. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/proceedings/y2007/ Files/JSM2007-000478.pdf, 22. januar 2012. Blair, Johnny, in Pat Dean Brick (2009): Current Practices in Cognitive Interviewing. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/ Proceedings/y2009/Files/400027.pdf, 10. december 2011. --(2010. Methods for the Analysis of Cognitive Interviews. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/Proceedings/y2010/ Files/307865_59514.pdf, 22. januar 2012. Blair, Johnny, in Frederick G. Conrad (2011): Sample Size for Cognitive Interview Pretesting. Public Opinion Quarterly 75 (4): 636-658. Blair, Johnny, in K. P. Srinath (2008): A Note on Sample Size for Behavior Coding Pretests. Field Methods 20 (1): 85-95. Bureau, Marcel (1991): Experience with the Use of Cognitive Methods in Designing Business Survey Questionnaires. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat. org/sections/srms/Proceedings/papers/1991_123.pdf, 22. januar 2012. Campanelli, Pamela (1997): Testing Survey Questions: New Directions in Cognitive Interviewing. Bulletin de Methodologie Sociologique (55): 5-17 (19. december 2011). --(2008): Testing Survey Questions. V: International Handbook of Survey Methodology, (ur.) Edith D. de Leeuw, Joop J. Hox in Don A. Dillman, 176-200. New York: Taylor & Francis Group. Campanelli, Pamela, Elizabeth Martin in Jennifer M. Rothgeb (1991): The Use of Respondent and Interviewer Debriefing Studies as a Way to Study Response Errorin Survey Data. Journal of the Royal Statistical Society. Series D (The Statistician) 40 (3): 253-164. Cerar, Teja, Nina Konavec in Valentina Hlebec (2011): Uporaba ekspertnih shem za kvalitativno testiranje anketnih vprašalnikov. Teorija in praksa 48 (2): 393-410. Chan, Anna Yukyee (2010): Analysis of Chinese Speakers' Responses to Survey gg Intention Questions. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sec-tions/srms/Proceedings/y2010/Files/306793_57196.pdf, 29. januar 2012. Clark, Herbert H., in Michael F. Schober (1992): Asking Questions and Influencing Answers. V: Questions about questions: Inquiries into the cognitive bases of surveys, (ur.) Judith M. Tanur, 15-48. Russel Sage Foundation. New York. Collins, Debbie (2003): Pretesting Survey Instruments: An Overview of Cognitive Methods. Quality of Life Research 12 (3): 229-238. Conrad, Frederick G., in Johnny Blair (2009): Sources of Error in Cognitive Interviews. Public Opinion Quarterly 73 (1): 32-55. Czaja, Ron (1998): Questionnaire Pretesting Comes of Age. Marketing Bulletin 9: 52-66. Davis, Wendy, Theresa J. DeMaio in Andrew Zukerberg (1995): Can Cognitive Information Be Collected Through the Mail? Comparing Cognitive Data Collected in Written versus Verbal Format. Dostopno prek www.census.gov/srd/papers/ pdf/sm9502.pdf, 10. december 2011. DeMaio, Theresa J., in Ashley Landreth (2004): Do Different Cognitive Interview Techniques Produce Different Results? V: Methods for Testing and Evaluating Survey Questionnaires, 89-108. New Jersey: John Wiley & Sons. DeMaio, Theresa J., Jennifer Rothgeb in Jennifer Hess (1998): Improving Survey Quality Through Pretesting. Dostopno prek www.census.gov/srd/papers/pdf/ sm98-03.pdf, 13. oktober 2011. DeMaio, Theresa J., in Jennifer M. Rothgeb (1996): Cognitive Interviewing Techniques In the Lab and in the Field. V: Answering Questions. Methodology for Determining Cognitive and Communicative Processes in Survey Research, 177-195. San Francisco, California: Jossey-Bass. DeMaio, Theresa, in Tracy Wellens (1997): Cognitive Evaluation of Proposed Disability Questions for the 1998 Dress Rehearsal. Dostopno prek www.census. gov/srd/papers/pdf/sm97-07.pdf, 10. december 2011. Desimone, Laura M., in Kerstin Carlson Le Floch (2004): Are We Asking the Right Questions? Using Cognitive Interviews to Improve Surveys in Education Research. Educational Evaluation and Policy Analysis 26 (1): 1-22. Dornburg, Courtney C., in Mark A. McDaniel (2006): The Cognitive Interview Enhances Long-Term Free Recall of Older Adults. Psychology and Aging 21 (1): 196-200. Drennan, Jonathan (2003): Cognitive interviewing: Verbal data in the design and pretesting of questionnaires. Methodological Issues In Nursing Research 42 (1): 57-63. Ericsson, K. Anders, in Herbert A. Simon (1980): Verbal Reports as Data. Psychological Review 87: 215-251. Fay, Robert E. (2009): Why is Survey Research 20 Years Behind? Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/Proceedings/y2009/ Files/303419.pdf, 10. december 2011. Fisher, Ronald P., in Edward Geiselman (2010): The Cognitive Interview method of conducting police interviews: Eliciting extensive information and promoting Therapeutic Jurisprudence. International Journal of Law and Psychiatry 33: 321-328. 89 Forsyth, Barbara H., in Judith T. Lessler (1991): Cognitive Laboratory Methods: A Taxonomy. V: Measurement Errors in Surveys, 393-418. Wiley Series in Probability and Statistics. New Jersey: John Wiley & Sons. -(2010): Cognitive Laboratory Methods: A Taxonomy. V: Measurement Errors in Surveys, 393-418. Wiley Series in Probability and Statistics. New Jersey: John Wiley & Sons. Forsyth, Barbara H., Kerry Levin in Sylvia K. Fisher (1999): Test of an Appraisal Method for Establishment Survey Questionnaires. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/ srms/ proceedings/papers/1999_021.pdf, 13. oktober 2011. Fowler, Floyd J (1995): Improving Survey Questions. Applied Social Research Method Series 38. Thousand Oaks, California: Sage Publications. Gerber, Eleanor R (1994): Hidden Assumptions: The Use of Vignettes in Cognitive Interviewing. Dostopno prek http://www.census.gov/srd/papers/pdf/sm9405. pdf, 10. december 2011. Ginet, Magali, in Fanny Verkampt (2007): The Cognitive Interview: Is its Benefit Affected by the Level of Witness Emotion? Memory 15 (4): 450-464. Goerman, Patricia L (2010): Number and Nationality of Spanish-Speaking Immigrant Respondents for U. S. Cognitive Testing Studies. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/Proceedings/y2010/Files/400114. pdf, 10. december 2011. Gower, Allen R., Brenda Bélanger in Marie-Josée Williams (1998): Using Focus Groups with Respondents and Interviewers to Evaluate the Questionnaire and Interviewing Procedures After the Survey has Taken Place. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/proceedings/papers/ 1998_067.pdf, 10. december 2011. Groves, Robert M (1996): How do we know what we think they think is really what they think? V: Answering Questions. Methodology for Determining Cognitive and Communicative Processes in Survey Research., 389-402. San Francisco, California: Jossey-Bass. Groves, Robert M., Floyd J. Fowler Jr., Mick P. Couper, James M. Lepkowski, Eleanor Singer in Roger Tourangeau (2009): Survey Methodology; 2nd Edition. Hoboken, NJ: John Wiley & Sons. Hak, Tony, Kees van der Veer in Harrie Jansen (2004): The Three-Step TestInterview (TSTI): An observational instrument for pretesting self-completion questionnaires. Rotterdam: Erasmus Research Institute of Management (ERIM). Holliday, Robyn E (2003): The Effect of a Prior Cognitive Interview on Children's Acceptance of Misinformation. Applied Cognitive Psychology 17: 443-457. Housen, Patricia, George R. Shannon, Barbara Simon, Maria Orlando Edelen, Mary P. Cadogan, Linda Sohn, Malia Jones, Joan L. Buchanan in Debra Saliba (2008): What the Resident Meant to Say: Use of Cognitive Interviewing Techniques to Develop Questionnaires for Nursing Home Residents. The Gerontologist 48 90 (2): 158-169. Hox, Joop J., Edith D. de Leeuw in Don A. Dillman (2008): The Cornerstones of Survey Research. V: International Handbook of Survey Methodology, (ur.) Edith D. de Leeuw, Joop J. Hox in Don A. Dillman, 1-17. New York: Taylor & Francis Group. Hunter Childs, Jennifer, Rodney Terry in Nathan Jurgenson (2010): Measuring Race and Hispanic Origin: Cognitive Test Findings Searching for »Truth«. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/Proceedings/y2010/ Files/400110.pdf, 10. december 2011. Jabine, Thomas B., Miron L. Straf, Judith M. Tanur in Roger Tourangeau (1984): Cognitive aspects of survey methodology: building a bridge between disciplines. Washington, DC: U.S. Department of Education, National Center for Educational Statistics. Jang, Leon, Martin Provost in Adam Sherk (2010): Challenges in the Design of the Canadian Community Health Survey on Healthy Aging. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/Proceedings/y2010/ Files/307262_58183.pdf, 10. december 2011. Jobe, Jared B., in Elizabeth F. Loftus, ur (1991): Cognitive Aspects of Survey Methodology. Special Issue of Applied Cognitive Psychology 5 (3): 173-296. Jobe, Jared B., in David J. Mingay (1991): Cognition and Survey Measurement: History and Overview. (ur.) Jared B. Jobe in Elizabeth F. Loftus. Special Issue of Applied Cognitive Psychology 5 (3). Cognitive Aspects of Survey Methodology: 175-192. Kalman, Yoram M., Gilad Ravid, Daphne R. Raban in Sheizaf Rafaeli (2006): Pauses and Response Latencies: A Chronemic Analysis of Asynchronous CMC. Journal of Computer-Mediated Communication 12 (1). Dostopno prek http://jcmc.indi-ana.edu/vol12/issue1/kalman.html, 28. december 2011. Krueger, Richard A., in Mary Anne Casey (2000): Focus Groups: A Practical Guide for Applied Research. 3. iz. Thousand Oaks, California: Sage Publications. de Leeuw, Edith D., Joop J. Hox in Don A. Dillman, ur (2008): International Handbook of Survey Methodology. New York: Taylor & Francis Group. Lensvelt-Mulders, Gerty (2008): Surveying Sensitive Topics. V: International Handbook of Survey Methodology, (ur.) Edith D. de Leeuw, Joop J. Hox in Don A. Dillman, 461-478. New York: Taylor & Francis Group. Lessler, Judith T., Deborah Bercini in Roger Tourangeau (1985): Results of Cognitive/Laboratory Studies of the 1986 NHIS Dental Care Supplement. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/ Proceedings/papers/1985_089.pdf, 10. december 2011. Lessler, Judith T., Roger Tourangeau in William Salter (1986): Cognitive Laboratory Studies of the 1986 Supplement to the National Health Interview Survey Final Results. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/ Proceedings/papers/1986_089.pdf, 10. december 2011. Levenstein, Rachel, Frederick G. Conrad, Johnny Blair, Roger Tourangeau in Aaron 91 Maitland (2007): The effect of probe type on cognitive interview results: A signal detection analysis. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sec-tions/srms/Proceedings/y2007/Files/JSM2007-000369.pdf, 10. december 2011. McCarthy, Jaki S., in Donald Buysse (2010): Bento Box Questionnaire Testing: Multi-Method Questionnaire Testing for the 2012 Census of Agriculture. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/Proceedings/y2010/ Files/400118.pdf, 10. december 2011. Miller, Kristen (2002): A Comparison of Focus Group and One-on-One Cognitive Interviewing for Question Evaluation. Dostopno prek http://www.jpsm.umd. edu/qdet/final_pdf_papers/miller,%20k.pdf, 14. oktober 2011. -(2005): Q-Bank: Development of a Tested-Question Database. Dostopno prek http://wwwn.cdc.gov/qbank/Report/Miller_2005.pdf, 10. december 2011. Morrison, Rebecca L., Kristin Stettler in Amy E. Anderson (2002): Using Vignettes In Cognitive Research On Establishment Surveys. Dostopno prek http://www. jpsm.umd.edu/qdet/final_pdf_papers/round%20three/morrison.pdf, 10. december 2011. Mulligan, Kenneth, J. Tobin Grant, Stephen T. Mockabee in Joseph Quin Monson (2003): Response Latency Methodology for Survey Research: Measurement and Modeling Strategies. Political Analysis (11): 289-301. Oksenberg, Lois, Charles Cannell in Graham Kalton (1991): New Strategies for Pretesting Survey Questions. Journal of Official Statistics 7 (3): 349-365. Ongena, Yfke P., in Wil Dijkstra (2007): A Model of Cognitive Processes and Conversational Principles in Survey Interview Interaction. Applied Cognitive Psychology (21): 145-163. Palmisano, Mark (1988): The Application of Cognitive Survey Methodology to an Establishment Survey Field Test. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat. org/sections/srms/Proceedings/papers/1988_031.pdf, 14. oktober 2011. Pan, Yuling (2004): Cognitive Interviews in Languages Other Than English: Methodological and Research Issues. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http:// www.amstat.org/sections/srms/Proceedings/y2004/files/Jsm2004-000512.pdf, 12. januar 2011. Park, Hyunjoo, M. Mandy Sha in Yuling Pan (2009): Cognitive testing as a method of pre-testing questionnaires in high and low context cultures. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/Proceedings/y2009/ Files/400026.pdf, 10. februar 2012. Park, Hyunjoo in M. Mandy Yelei (2009): Asians - are they the same? Findings from cognitive interviews with Chinese, Korean and Vietnamese Americans. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/ Proceedings/y2009/Files/400054.pdf, 10. december 2011. 92 Pascale, Joanne in Thomas S. Mayer (2002): Alternative Methods for Exploring Confidentiality Issues Related to Dependent Interviewing. Dostopno prek http://www.jpsm.umd.edu/qdet/final_pdf_papers/round%20two/Pascale.pdf, 10. december 2011. Presser, Stanley in Johnny Blair (1994): Survey Pretesting: Do different Methods produce different Results? Sociological Methodology (24): 73-104. Presser, Stanley, Mick P. Couper, Judith T. Lessler, Elizabeth Martin, Jean Martin, Jennifer M. Rothgeb in Eleanor Singer (2004a): Methods for Testing and Evaluating Survey Questions. Public Opinion Quarterly 68 (1): 109-130. Presser, Stanley, Jennifer M. Rothgeb, Mick P. Couper, Judith T. Lessler, Elizabeth Martin, Jean Martin in Eleanor Singer, ur (2004b): Methods for Testing and Evaluating Survey Questionnaires. New Jersey: John Wiley & Sons. Prüfer, Peter in Margrit Rexroth (2005): Kognitive Pretesttechniken. ZUMA How-to-Reihe. Mannheim: Zentrum für Umfragen, Methoden und Analysen. Dostopno prek http://www.soz.uni-heidelberg.de/assets/soz_download_345.pdf, 10. december 2011. Ramirez, Carl (2002): Strategies for Subject Matter Expert Review in Questionnaire Design. Dostopno prek http://www.jpsm.umd.edu/qdet/final_pdf_papers/ ramirez.pdf, 10. december 2011. Redline, Cleo, Richard Smiley, Meredith Lee, Theresa DeMaio in Don Dillman (1998): Beyond Concurrent Interviews: An Evaluation of Cognitive Interviewing Techniques for Self-Administered Questionnaires. Dostopno prek www.cen-sus.gov/srd/papers/pdf/sm98-06.pdf, 10. december 2011. Rho, Christine in Roberta L. Sangster (2003): How Much Can you Trust the Answers You Get Using Cognitive Interviews? Dostopno prek http://www.bls.gov/ osmr/pdf/st030270.pdf, 10. december 2011. Rothgeb, Jennifer, Gordon Willis in Barbara Forsyth (2001): Questionnaire Pretesting Methods: Do Different Techniques and Different Organizations Produce Similar Results. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat. org/sections/srms/Proceedings/y2001/Proceed/00476.pdf, 10. november 2011. Sander, Joan E., Frederick G. Conrad, Paul A. Mullin in Douglas J. Herrmann (1992): Cognitive Modelling of the Survey Interview. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/ sections/ srms/Proceedings/papers/1992_138.pdf, 10. december 2011. Saris, Willem E. in Irmtraud N. Gallhofer (2007): Design, Evaluation, and Analysis of Questionnaires for Survey Research. Wiley Series in Survey Methodology. New Jersey: John Wiley & Sons. Schaeffer, Nora Cate in Douglas W. Maynard (2006): Sounds of Silence: The Structure of Response Latencies in Cognitive Assessments predstavljeno na American Association for Public Opinion Research, Wisconsin. Dostopno prek http://www.uwsc.wisc.edu/aapor06_latency_06_final.pdf, 10. december 2011. Schechter, Susan, Johnny Blair in Janet Vande Hey (1996): Conducting Cognitive 93 Interviews to Test Self-Administered and Telephone Surveys: Which Methods Should we Use? Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sec-tions/srms/proceedings/papers/1996_002.pdf, 10. november 2011. Schechter, Susan, Monroe Sirken, Judith Tanur, Elizabeth Martin in Clyde Tucker (1997): CASM II: Current and Future Directions in Interdisciplinary Research. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/proceed-ings/papers/1997_001.pdf, 2. november 2011. Scheuren, Fritz (2004): What is a survey? Alexandria, VA: American Statistical Association. Dostopno prek http://www.whatisasurvey.info, 12. januar 2012. Schochat, E., F. E. Musiek, R. Alonso in J. Ogata (2010): Effect of auditory training on the middle latency response in children with (central) auditory processing disorder. Brazilian Journal of Medical and Biological Research 43 (8): 689-881. Schuman, Howard (1966): The Random Probe: A Technique for Evaluating the Validity of Closed Questions. American Sociological Review 31 (2): 218-222. Schwartz, Ben, Hussain Yusuf, Lance Rodewald, Robert A. Wright, Michael Battaglia, Marilyn Wilkinson in Vicki Huggins (2000): The National Immunization Survey: Design of a Study on Knowledge Attitudes and Practices (NIS-KAP). Dostopno prek http://www.cdc.gov/ nchs/ data/ nis/ miscellaneous/ schwartz2000.pdf, 10. december 2011. Schwarz, Norbert (2007): Cognitive Aspects of Survey Methodology. Applied Cognitive Psychology 21: 277-287. Shafer, Kimberly in Barbara Lohse (2005): How to Conduct a Cognitive Interview: A Nutrition Education Example. Dostopno prek http://www.csrees.usda.gov/ nea/food/pdfs/cog_interview.pdf, 10. december 2011. Snijkers, Ger (2002): Cognitive Laboratory Experiences on Pre-testing Computerized Questionnaires and Data Quality. Utrecht University. Strack, Fritz in Leonard L. Martin (1987): Thinking, judging, and communicating: A process account of context effects in attitude surveys. V: Social Information Processing and Survey Methodology, 123-148. New York: Springer-Verlag. Sudman, Seymour, Norman M. Bradburn in Norbert Schwarz (1996): Thinking About Answers: The Application of Cognitive Processes to Survey Methodology. San Francisco, California: Jossey-Bass Publishers. Tanur, Judith M. (ur.) (1992): Questions about questions: Inquiries into the cognitive bases of surveys. Russel Sage Foundation. New York. Tourangeau, Roger (1984): Cognitive Science and Survey Methods. V: Cognitive aspects of survey methodology: building a bridge between disciplines, (ur.) Thomas B. Jabine, Miron L. Straf, Judith M. Tanur in Roger Tourangeau. Washington, DC: National Academy Press. Uhan, Samo (1998): Prava in neprava mnenja: Vpliv konteksta v raziskovanju javnega mnenja. Znanstvena knjižica 26. Ljubljana: Fakulteta za družbene vede. United States Census Bureau (2003): Census Bureau Standard: Pretesting Questionnaires and Related Materials for Surveys and Censuses. Methodology 94 and Standards Directoratem U.S. Census Bureau, U.S. Department of Commerce, Washington D.C. Dostopno prek http://www.census.gov/srd/pretest-standards. html 11. oktober 2011. Warnecke, Richard B., Timothy P. Johnson, Noel Chavez, Seymour Sudman, Diane P. O'Rourke, Loretta Lacey in John Horm (1997): Improving Question Wording in Surveys of Culturally Diverse Populations. Annals of Epidemiology 7 (5): 334-342. Weber, Nathan, Neil Brewer, Gary Wells, Carolyn Semmler in Amber Keast (2004): Eyewitness Identification Accuracy and Response Latency: The Unruly 10-12-Second Rule. Journal of Experimental Psychology: Applied 10 (3): 139147. Wildy, Helen in Simon Clarke (2009): Using cognitive interviews to pilot an international survey of principal preparation: A Western Australian perspective. Educ Asse Eval Acc 21: 105-117. Willis, Gordon B (1999): Cognitive Interviewing: A "How To" Guide. -(2005): Cognitive Interviewing: A Tool for Improving Questionnaire Design. Thousand Oaks, California: Sage Publications. -(2009): Response paper: Cognitive Interviewing (by Kristen Miller). National Cancer Institute. Dostopno prek http://wwwn.cdc.gov/qbank/QEM/Willis_ CognitiveInterviewing_QEM_Response_Paper.pdf, 10. december 2011. Willis, Gordon B., Patricia Royston in Deborah Bercini (1991): The Use of Verbal Report Methods in the Development and Testing of Survey Questionnaires. (ur.) Jared B. Jobe in Elizabeth F. Loftus. Special Issue of Applied Cognitive Psychology 5 (3). Cognitive Aspects of Survey Methodology: 251-267. Willis, Gordon B., Susan Schechter in Karen Whitaker (1999): A Comparison of Cognitive Interviewing, Expert Review and Behavior Coding: What do They Tell Us? Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/ proceedings/papers/1999_006.pdf, 7. december 2011. Wilson, Barbara F., Nedra Whitehead in Karen Whitaker (2000): Cognitive Testing Proposed Questions for Prams in The NCHS Questionnaire Design Research Laboratory. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/ proceedings/papers/2000_l69.pdf, 10. december 2011. Wilson, Barbara Foley in Linda S. Peterson (1999): Using the NCHS Cognitive Lab to Help Design Cycle VI of the National Survey of Family Growth. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.amstat.org/sections/srms/proceedings/papers/ 1999_174.pdf, 10. december 2011. Wright, Allison M. in Robyn E. Holliday (2007): Interviewing cognitively impaired older adults: How useful is a Cognitive Interview? Memory 15 (1): 17-33. Zukerberg, Andrew in Jennifer Hess (1996): Uncovering Adolescent Perceptions: Experiences Conducting Cognitive Interviews with Adolescents. Proceedings of the Section on Survey Research Methods. American Statistical Association. Dostopno prek http://www.census.gov/srd/papers/pdf/alz9601.pdf, 9. december 2011. 95 ZUMA (1996): Nachrichten. Zentrum für Umfragen, Methoden und Analysen. Dostopno prek http://www.gesis.org/fileadmin/upload/forschung/publikatio-nen/zeitschriften/zuma_nachrichten/zn_39.pdf, 10. december 2011. -(1999): Nachrichten. Zentrum für Umfragen, Methoden und Analysen. Dostopno prek http://www.gesis.org/fileadmin/upload/forschung/ publikationen/zeitschriften/zuma_nachrichten/zn_44.pdf, 10. december 2011.