108 SODOBNA PEDAGOGIKA 5/2008
Dr. Janez Vogrinc
Pomen triangulacije za zagotavljanje kakovosti znanstvenih spoznanj kvalitativnega raziskovanja
Povzetek: V prispevku obravnavamo kvalitativno raziskovanje, v okviru katerega raziskovalec z neposredno udeležbo spoznava proučevani pojav v okolju, ki ga proučuje. Cilj kvalitativnega raziskovanja je z različnimi (predvsem nestrukturiranimi) tehnikami zbrati vsebinsko bogate opise ljudi, dogodkov, položajev, spoznati poglede proučevanih oseb in podobno, zbrane podatke besedno obdelati in ugotovitve povezati v koncept oziroma utemeljeno teorijo, ki je kontekstualno vezana. Namen prispevka je analizirati kriterije, ki se uporabljajo za ocenjevanje kakovosti znanstvenih spoznanj kvalitativnega raziskovanja, zlasti triangulacijo, ki pomeni kombiniranje različnih metod, tehnik, virov podatkov, raziskovalcev, teorij in znanstvenih disciplin v isti raziskavi. Triangulacijo utemeljimo kot strategijo zagotavljanja kakovosti znanstvenih spoznanj kvalitativnega raziskovanja.
Ključne besede: kvalitativno raziskovanje, triangulacija, kriteriji kvalitativnega raziskovanja, utemeljena teorija.
UDK:
Izvirni znanstveni prispevek
Dr. Janez Vogrinc, docent, Univerza v Ljubljani, Pedagoška fakulteta; e-naslov: janez.vogrinc@guest. arnes.si
SODOBNA PEDAGOGIKA 5/2008, 108-122
109
Uvod
Na področju družbenih in humanističnih ved, s tem pa tudi v pedagogiki sta se v preteklosti uveljavili okvirni paradigmi znanstvenega raziskovanja, ki ju na podlagi njunih značilnosti imenujemo kvantitativna in kvalitativna. Izraz »paradigma« uporabljamo v pomenu Kuhnove sodobne opredelitve znanstvene paradigme. Paradigme so pri njem »niz medsebojno povezanih predpostavk o družbenih pojavih, ki dajejo filozofski in pojmovni okvir za njihovo proučevanje« (Kuhn 1974, str. 39). Pripadniki določene znanstvene paradigme imajo torej v zvezi z raziskovanjem v svoji znanstveni disciplini skupne vrednote, prepričanja, verjamejo v določene zakonitosti, predpostavke in podobno ter v skladu z njimi oblikujejo svoj pristop k raziskovanju. S paradigmo, ki ji določena oblika raziskovanja pripada, morajo biti usklajeni tudi kriteriji ugotavljanja kakovosti spoznanj, do katerih pridemo v raziskovalnem procesu. Ker epistemološka izhodišča kvalitativnega raziskovanja opredeljujejo drugačno obliko znanstvenega raziskovanja od kvantitativnega, se morajo razlikovati tudi kriteriji ocenjevanja znanstvenih spoznanj kvalitativnega in kvantitativnega raziskovanja.
V tem prispevku se bomo osredotočili na kvalitativno raziskovanje. Analizirali bomo temeljne značilnosti kvalitativnega raziskovanja in kriterije, ki se uporabljajo za ugotavljanje kakovosti znanstvenih spoznanj kvalitativnega raziskovanja. Posebno pozornost bomo namenili triangulaciji. V sklepnem delu prispevka bomo z vidika epistemoloških značilnosti kvalitativnega raziskovanja kritično ovrednotili triangulacijo kot kriterij presojanja kakovosti znanstvenih spoznanj kvalitativnega raziskovanja in utemeljili, zakaj vidimo triangulacijo predvsem kot strategijo zagotavljanja kakovosti znanstvenih spoznanj kvalitativnega raziskovanja, ne pa tudi kot enega izmed specifičnih kriterijev presojanja kakovosti znanstvenih spoznanj kvalitativnega raziskovanja.
Temeljne značilnosti kvalitativnega raziskovanja
Kvalitativno raziskovanje ontološko, epistemološko in metodološko ni eno-
110 SODOBNA PEDAGOGIKA 5/2008
Janez Vogrinc
ten pojav, povezuje namreč različne vrste raziskav, na primer študijo primera, življenjsko zgodovino, akcijsko raziskovanje in podobno. Tudi Bogdan in Biklen (2003, str. 2) uporabljata izraz »kvalitativna raziskava« kot nadrejeni pojem, ki združuje različne raziskovalne pristope z nekaterimi skupnimi značilnostmi. »S pojmom kvalitativna raziskava označujemo raziskavo, pri kateri sestavljajo temeljno izkustveno gradivo, zbrano v raziskovalnem procesu, besedni opisi ali pripovedi, in v kateri je to gradivo tudi obdelano in analizirano besedno, brez uporabe merskih postopkov, ki dajo števila, in brez operacij nad števili.« (Mesec 1998, str. 26) Tudi pri drugih avtorjih (na primer Denzin in Lincoln 2000; Creswell 1998) zasledimo podobne definicije kvalitativnega raziskovanja. Po Creswellu je kvalitativno raziskovanje raziskovalni proces, pri katerem si raziskovalci zgradijo kompleks, celostno podobo tako, da analizirajo pripovedi in opazovanja ter vodijo raziskavo v naravnem okolju (Creswell 1998, str. 15). Fraenkel in Wallen (2006, str. 430) opozarjata, da se kvalitativni raziskovalci osredotočajo predvsem na proučevanje lastnosti oziroma značilnosti neke dejavnosti, skupine, situacije, gradiva, ne zanima pa jih toliko, kako pogosto se ta dejavnost, skupina, situacija ali gradivo pojavi. »Kvalitativno raziskovanje je raziskovalni pristop, ki pri zbiranju in analiziranju podatkov raje kot kvantifikacijo poudarja besede. Gre za induktivni, konstruktivistični in interpreta-tivni raziskovalni pristop, ki ima tele poglavitne poudarke: videti svet skozi oči proučevanih oseb, opisovanje in upoštevanje konteksta, poudarjanje procesa, in ne le končnih izidov, prožnost ter oblikovanje konceptov in teorij kot rezultatov raziskovalnega procesa.« (Bryman 2004, str. 266)
Če povzamemo, je za kvalitativno raziskovanje značilno, da so podatki zbrani bolj v besedni in slikovni kot numerični obliki. Tudi pri analiziranju zbranih podatkov ne uporabljamo statističnih postopkov, temveč predvsem kvalitativno analizo, katere bistvo je iskanje tem (kod, pojmov) v analiziranem gradivu (Bryman 2004, str. 392). Osrednji del kvalitativne analize gradiva je namreč kodiranje, ki pomeni interpretacijo analiziranega besedila oziroma določanje pomena (ključnih besed, pojmov, kod) posameznim delom besedila (Charmaz 2006, str. 46; Bryman 2004, str. 402; Flick 1998, str. 179). Kvalitativna analiza gradiva poteka od določitve enot kodiranja prek zapisa pojmov, ki jim po naši presoji ustrezajo, in analiziranja značilnosti teh pojmov, do oblikovanja utemeljene teorije1. Utemeljena teorija se bere kot pripoved o pojavu, ki je bil predmet proučevanja. Značilno je, da jo oblikujemo iz zbranih podatkov in nastaja v celotnem raziskovalnem procesu. Utemeljena teorija je kontekstualno vezana; to pomeni da ne gre za splošno teorijo (ugotovitev ni mogoče posploševati brez dodatnih opredelitev), temveč za teorijo krajšega dosega, ki velja le v nekaterih okoljih oz. pod nekaterimi pogoji.
1 Utemeljena teorija je slovenski prevod izraza „Grounded Theory«. V slovenski strokovni literaturi se besedna zveza prevaja različno, npr. »pritlehna«, »bazična«, »predmetna«, »pritlična«, »prizemna«, »induktivna« in podobno. Mažgon (2006) jo v svoji doktorski disertaciji prevaja kot »predmetno zasnovana teorija«. Glaser in Strauss (1967, str. 5) sta zapisala, da utemeljeno (grounded) teorijo »izpeljemo iz podatkov in jo nato ponazorimo z navajanjem zgledov značilnih podatkov«. Iz njune definicije torej izhaja, da je utemeljena teorija oblikovana induktivno in je podkrepljena (utemeljena) s podatki.
Pomen triangulacije za zagotavljanje kakovosti
111
Kvalitativno empirično raziskovanje se usmerja na proučevanje posameznih primerov (to je idiografski pristop). Večinoma poteka kot študija le enega primera ali malo primerov, zato so tudi tehnike zbiranja podatkov prilagojene analizi manjšega obsega, raziskovalec pa z njimi spoznava socialni svet. Pri zbiranju podatkov se ne omejimo samo na en vir in ne samo na eno tehniko zbiranja podatkov. Navadno uporabimo poleg podatkov, pridobljenih z intervjuji in opazovanjem, tudi različne dokumentarne vire, kot so osebni dokumenti (rojstni list, osebna izkaznica, delovna knjižica, potni list, pisma, dnevnik, fotografije ...), razne zapise, ki nastanejo med zbiranjem podatkov, transkripcije magnetofonskih posnetkov, videoposnetkov itn. Le pluralizem tehnik zbiranja podatkov in njihovo medsebojno kombiniranje nam lahko omogočita, da ugotovitve o posameznih pojavih ali vidikih povežemo v smiselno celoto. Kvalitativno raziskovanje poteka v skladu z načeli interpretativne paradigme, to pomeni, da daje poudarek na proučevanju subjektivnih doživetij posameznika in ugotavljanju pomena, ki ga posameznik pripisuje posameznim dogodkom; pri tem niso zanemarjeni niti subjektivni pogledi raziskovalca na proučevani položaj. Prizadeva si za celostno in poglobljeno spoznavanje pojavov, v čim naravnejših razmerah in v povezavi s konkretnimi okoliščinami, saj raziskovalca zanima kontekst, v katerem potekajo dejavnosti. Ker je raziskovalec vključen v okolje, lahko razume tisto, kar oseba izraža v obliki racionalnega sporočila oziroma normiranega govora, pa tudi tisto, kar se v tem govoru izrazi posredno - s specifično sintakso - ob spodrsljajih v vsebini, v prikritih pomenih in razpokah v govoru. Želje, pričakovanja, interesi, potrebe, osebni pogledi ljudi, ki sodelujejo v raziskavi, naj bi raziskovalcu pomagali do popolnejšega spoznanja proučevanih pojavov. Ob tem se mora raziskovalec zavedati, da s svojo udeležbo in raziskovalnim položajem tudi sam vpliva na dogajanje, ki ga opazuje, na diskurzivno realnost, ki je objekt njegovega proučevanja.
Pomembno je, da so tudi kriteriji ocenjevanja znanstvenih spoznanj kvalitativnega raziskovanja usklajeni z epistemološkimi izhodišči kvalitativnega raziskovanja.
Kriteriji ugotavljanja kakovosti znanstvenih spoznanj kvalitativnega raziskovanja
Kakovost raziskovanja je v kvantitativnem raziskovanju navadno opredeljena s pojmi zanesljivost, veljavnost, objektivnost in občutljivost. Če imajo uporabljeni merski instrumenti zadovoljive merske karakteristike, naj bi raziskovalni izsledki dali kar se da natančno in konsistentno podobo objektivne stvarnosti. Sagadin (1993) je merske karakteristike, ki se uporabljajo v sklopu kvantitativnega raziskovanja, opisal z uporabo testov znanja, analogno pa veljajo značilnosti merskih karakteristik tudi za druge instrumente za zbiranje podatkov. Glede veljavnosti je zapisal: »Z veljavnostjo testa mislimo na njegovo lastnost, da meri prav tisto, kar imamo namen z njim meriti; veljaven je toliko, kolikor meri prav to.« (Prav tam, str. 73) »Instrument je zanesljiv ali dosleden, če dobimo pri njegovi
112 SODOBNA PEDAGOGIKA 5/2008
Janez Vogrinc
vnovični uporabi na istih osebah znova enake rezultate oziroma podatke.« (Prav tam, str. 76) Sagadin opredeli »objektivnost testa« z več vidikov, in sicer objektivnost izvedbe testiranja (test je glede izvedbe testiranja objektiven, če na rezultate testiranja ne vpliva subjektivni faktor osebe, ki izpelje testiranje), objektivnost vrednotenja odgovorov (test je vrednoten objektivno, ko različni ocenjevalci isti odgovor ovrednotijo enako) in objektivnost interpretacije (interpretacija testnega rezultata ne sme biti odvisna od subjektivne presoje interpretatorja; enake rezultate interpretiramo enako). V okviru kvantitativnega raziskovanja se, poleg že omenjenih karakteristik, pogosto omenja tudi občutljivost instrumenta. Test znanja je tem občutljivejši, čim manjše razlike v znanju posameznikov moremo z njim ugotavljati (Toličič, Zorman 1965). Občutljivost testa se kaže v velikosti razsipa testnih rezultatov okoli srednje vrednosti.
Od sredine osemdesetih let prejšnjega stoletja so si številni avtorji (na primer Luders in Reichertz 1986; Lincoln in Guba 1985; Flick 1998) postavljali vprašanje, ali je mogoče klasične kriterije, to je kriterije, ki so se uveljavili v kvantitativnem raziskovanju, prenesti v kvalitativno raziskovanje glede na to, da obe raziskovalni paradigmi povsem različno obravnavata razumevanje realnosti in s tem tudi njenega proučevanja. Tudi Glaser in Strauss (1967) sta izrazila dvom o uporabnosti kvantitativnih kriterijev kot kriterijev za ocenjevanje kredibilnosti teorij, ki temeljijo na podatkih kvalitativnega raziskovanja. Predlagala sta, da bi kriteriji ocenjevanja, ki naj bi zajeli vse stopnje raziskovalnega procesa (zbiranje, analiziranje, interpretiranje in predstavljanje izsledkov), temeljili na splošnih značilnostih kvalitativnega raziskovanja. Iz tega dvoma so se pojavili številni poskusi oblikovanja kriterijev, ki bi bili primerni za kvalitativno raziskovanje in bi nadomestili kriterije, kot sta veljavnost in zanesljivost.
Avtorje, ki se ukvarjajo s kriteriji kvalitativnega raziskovanja, lahko razdelimo v štiri skupine. (1) Pozitivistični pristop, katerega predstavniki v kvalitativnem raziskovanju zagovarjajo uporabo kriterijev, ki se uporabljajo v kvantitativnem raziskovanju. Tako govorijo predvsem o notranji in zunanji zanesljivosti ter notranji in zunanji veljavnosti. Notranja zanesljivost (Mason 1996; Mesec 1998; Silverman 2005) označuje stopnjo strinjanja različnih raziskovalcev o tem, kaj so videli in kaj so slišali, ter stopnjo usklajenosti raziskovalcev pri analiziranju zbranih podatkov. Zunanja zanesljivost (LeCompte in Goetz 1982) se nanaša na možnost ponovitve raziskave. Dobro notranjo veljavnost (Flick 1998; LeCompte in Goetz 1982; Sagadin 2001; Mesec 1998) imajo raziskave, pri katerih imajo ugotovitve utemeljitev v proučevanem položaju. Zunanja veljavnost (LeCompte in Goetz 1982; Sagadin 2001; Mesec 1998) pa se nanaša predvsem na možnost posplošitve ugotovitev iz proučevanega položaja v druge položaje. (2) Postpozitivistični pristop, ki zastopa stališče, da je kvalitativno empirično raziskovanje drugačna oblika znanstvenega raziskovanja kot kvantitativno, zato zahteva postavitev drugačnih metodoloških pristopov. Analiza predlaganih kriterijev pa pokaže, da gre večinoma predvsem za drugačno poimenovanje kriterijev, ki obstajajo v kvantitativnem raziskovanju. Tako na primer Moser (1977) govori o transparenci, ki zahteva pregleden opis celotnega raziskovalnega procesa in je alternativa notranji veljavnosti; skladnosti, v okvi-
Pomen triangulacije za zagotavljanje kakovosti
113
ru katere preverjamo ujemanje med cilji, teoretičnimi temelji in metodami raziskovalnega dela in je alternativa zanesljivosti; in vplivu raziskovalca, s katerim preverjamo, kakšen je bil subjektivni vpliv raziskovalca na postopek zbiranja podatkov in celoten raziskovalni proces in je alternativa objektivnosti. Lincoln in Guba (1985) govorita o kredibilnosti, ki se nanaša na to, ali je raziskovalcu uspelo predstaviti različne poglede na proučevani položaj in ustvariti takšen sklep, s katerim se bodo strinjali posamezniki, vključeni v proučevani položaj; in je alternativa notranji veljavnosti; prenosljivosti, na podlagi katere naj bi presodili, ali lahko ugotovitve neke raziskave prenesemo v druga okolja; in je alternativa zunanji veljavnosti; doslednosti, pri kateri z revizijo celotne raziskave preverimo, ali so bili postopki korektno izpeljani, ali imajo oporo v zbranem gradivu, ali bi ob vnovični analizi zbranih podatkov raziskovalec ugotovil enako; in je alternativa zanesljivosti in možnosti potrditve, ki se nanaša na to, ali bi tudi drugi raziskovalci ob reviziji raziskave ugotovili enako; in je alternativa objektivnosti. Steinke (1999) govori o kriteriju intersubjektivnega podoživljanja, ki omogoča kritično komunikacijo o empirični raziskavi med raziskovalci in bralci, in kriteriju koherentnosti, ki jo je treba zagotoviti v celotni raziskavi; omenjena kriterija sta alternativi notranji veljavnosti. Kriterij indikacije, na podlagi katerega presojamo primernost postopkov, izpeljanih v raziskovalnem procesu, je alternativa zanesljivosti. Kriterij reflektirane subjektivnosti, pri katerem je treba razmisliti o tem, koliko je na oblikovano teorijo vplivala subjektivnost raziskovalca, in kriterij empirične zasidranosti, pri katerem preverjamo, ali ima oblikovana teorija oporo v zbranem gradivu, sta alternativa objektivnosti. Kriterij limitacije, ki se nanaša na možnost posplošitve ugotovitev na druge okoliščine, in kriterij relevantnosti, pri katerem presojamo, kakšna je uporabna vrednost ugotovitev raziskave, pa sta alternativa zunanji veljavnosti.
Čeprav so avtorji, ki v okviru kvalitativnega raziskovanja zagovarjajo post-pozitivistični pristop, kriterije za ugotavljanje kakovosti znanstvenih spoznanj kvalitativnih raziskav poimenovali drugače, so omenjene kriterije prevzeli iz kvantitativnega raziskovanja. Tako ostane tudi na ravni metodološke teorije pogosto spregledano, da kvalitativno raziskovanje temelji na drugačnih epistemoloških predpostavkah kot kvantitativno. V skupino postpozitivističnih kriterijev uvrščamo tudi analitično indukcijo, ki označuje pristop k analizi podatkov in predpostavlja, da je mogoče poiskati univerzalno razlago raziskovalnega problema, to je razlago, ki bo ustrezala vsem proučevanim primerom, in triangulacijo, katere vlogo in pomen za kvalitativno raziskovanje podrobneje analiziramo v tem prispevku. (3) Postmodernistični pristop zavrača možnost določitve kakršnih koli kriterijev ocenjevanja kakovosti spoznanj kvalitativnega raziskovanja. Zagovorniki tega pristopa so prepričani, da je že zamisel ocenjevanja kvalitativnih raziskav v nasprotju z naravo kvalitativnega raziskovanja. »Če obravnavamo družbeno realnost kot nenehno spreminjajočo se realnost, potem ni nobenega razloga, da bi ugotavljali, ali naši raziskovalni instrumenti merijo natančno.« (Marshall in Rossman 1989, str. 25) Scheurich (1997) in Smith (1993) sta prepričana, da je treba veljavnost, če jo želimo obdržati v kvalitativnem raziskovanju, radikalno spremeniti in jo oblikovati tako, da bo usklajena s temeljnimi
114 SODOBNA PEDAGOGIKA 5/2008
Janez Vogrinc
značilnostmi fenomenološkega raziskovanja. (4) Poststrukturalistični pristop si prizadeva oblikovati popolnoma nov sklop kriterijev, ki naj bi izhajali iz kvalitativnega raziskovanja (prim. Hammersley 1992; Lincoln in Denzin 1994). Po mnenju Lincolna in Denzina (1994) bi morali pri oblikovanju kvalitativnega raziskovanja upoštevati metodologijo kvantitativnega raziskovanja, hkrati pa vključiti tudi subjektivnost, čustva in druge dejavnike, ki jih kvantitativno raziskovanje zanemarja. P. A. Lather (1993) je veljavnost predstavila kot multipli, parcialni in nikoli povsem ulovljivi koncept, ki je sestavljen iz štirih oblik veljavnosti: ironične (ironic validity), paralogične (paralogic/neo-pragmatic validity), rizomatične (rhi-zomatic validity) in čutne (sensual validity). Ironična veljavnost problematizira možnost reprezentacije; vse reprezentacije realnosti naj bi bile brez realnih podlag, so le retorične. Paralogična (neopragmatična) veljavnost predpostavlja, da cilj znanstvenega raziskovanja ni korespondenca z realnostjo, ampak odkrivanje razlik in prikazovanje nasprotij. V ospredje raziskovalčevih prizadevanj postavlja odkrivanje heterogenosti, nestrinjanj in multiplih diskurzov. Veljavnost spoznanj se lahko preveri tudi tako, da odgovorimo, koliko je bil omenjeni cilj dosežen. Rizomatična veljavnost postavlja v ospredje vprašanje, koliko stališč je bilo zajetih v interpretaciji. Rizomatična veljavnost omogoča ustvarjanje novih, konte-kstualno vezanih kriterijev (to je kriterijev, vezanih na posamezno raziskavo). Čutna (senzualna) veljavnost se umešča v feministične razprave o objektivnosti in postavlja v ospredje razliko med žensko in moško perspektivo. Predpostavka moške perspektive naj bi bilo prepričanje, da je družbo mogoče opisati s položaja objektivnega opazovalca. Za žensko perspektivo je značilno, da dopušča »nepopolnost«, poskusnost, ustvarjanje prostora za poglede drugih in združevanje njihovih (delnih) pogledov v skupno celoto.
V nadaljevanju prispevka se bomo osredotočili na triangulacijo, ki je v metodološki literaturi eden izmed najpogosteje omenjenih kriterijev ugotavljanja kakovosti znanstvenih spoznanj kvalitativnega raziskovanja.
Opredelitev triangulacije
Po splošno sprejeti definiciji pomeni triangulacija »uporabo različnih metod pri proučevanju določenega raziskovalnega problema« (Denzin 1978; Bryman 2004; Richardson 2003). Ob tem je treba opozoriti, da se v slovenski pedagoški metodološki literaturi izraz »metoda« uporablja za raven spoznavanja pedagoškega polja (Sagadin 1993, str. 12). Ko Sagadin (prav tam) klasificira metode pedagoškega raziskovanja, hkrati po »akcijskomanipulativnem« in gnoseološkem kriteriju navaja deskriptivno metodo, kavzalno-neeksperimen-talno in kavzalno-eksperimentalno metodo. Za anketo, intervju in podobno pa uporablja izraz »tehnika«. V tuji literaturi zasledimo izraz »metoda«: (1) v pomenu vrste raziskave (na primer kvalitativna raziskava), (2) v pomenu ravni spoznavanja proučevanega polja (na primer deskriptivna metoda) in v pomenu (3) tehnike zbiranju podatkov (na primer anketna metoda, metoda intervjuja) (glej: Cohen in Manion 1990).
Pomen triangulacije za zagotavljanje kakovosti
115
Pionirsko delo, v katerem je bila prvič predstavljena uporaba triangulacije, sta leta 1959 izdala Campbell in Fiske, eksperimentalna psihologa. Predstavila sta večpotezno multimetodno matrico (the multimethod-multitrait matrix); v njej sta uporabila več kvantitativnih tehnik, s katerimi sta merila psihološke značilnosti proučevanih oseb. S tem sta želela dokazati, da je razpršenost podatkov posledica proučevanih značilnosti, in ne uporabljenih tehnik (Tashakko-ri in Teddlie 1998, str. 41). V družboslovnih znanostih se je triangulacija na začetku uporabljala kot tehnika, s katero se je preverjala veljavnost raziskovalnih spoznanj (Flick 1998; Tashakkori in Teddlie 1998; Neuman 2003; Bogdan in Biklen 2003; Richardson 2003; Bryman 2004; Stake 2005). Uveljavilo se je namreč prepričanje, da lahko zavrnemo ali potrdimo raziskovalne hipoteze le, če smo enake sklepe pridobili z različnimi tehnikami. Pozneje pa sta se pojem »triangulacija« in tudi njegova uporabnost razširila.
Po mnenju Denzina (1978) je triangulacija metod le ena oblika triangulacije; mogoča je tudi triangulacija virov podatkov, raziskovalcev in teorij (o tem tudi Flick 1998; Tashakkori in Teddlie 1998; Neuman 2003; Janesick 1998). V. J. Janesick (1998, str. 47) pa je dodala še peto obliko triangulacije, in sicer triangulacijo znanstvenih disciplin. Čedalje bolj se je utrjevalo tudi spoznanje, da triangulacija ni le strategija preverjanja veljavnosti znanstvenih spoznanj, temveč da omogoča popolnejše razumevanje vsakega proučevanega pojava. »Triangulacija ni strategija veljavnosti, ampak je njena alternativa. Kombinacija več metod, virov podatkov, teoretičnih predpostavk in raziskovalcev v eni raziskavi zagotavlja boljše razumevanje proučevanega problema, gre torej za strategijo, ki poveča širino, globino, kompleksnost /.../ spoznanj vsake raziskave.« (Flick 1998, str. 230; Denzin in Lincoln 2005, str. 5)
O triangulaciji virov podatkov govorimo takrat, ko raziskovalci uporabijo pri proučevanju nekega raziskovalnega problema čim več različnih virov podatkov. Denzin (1978, str. 295-297) loči vire podatkov od tehnik zbiranja podatkov. Zadnje se nanašajo na raziskovalne tehnike per se. Pri triangulaciji virov podatkov lahko raziskovalci uporabijo isto tehniko v različnih okoliščinah in tako dobijo celostnejši vpogled v proučevani problem (na primer če želimo ugotoviti, kakšno je ozračje v določeni šoli, lahko intervjuvamo učitelje, učence, šolske svetovalne delavce, ravnatelja in/ali starše; vsak vpraševanec nam bo podal svoj pogled na proučevani problem. Kombinacija odgovorov vseh intervjuvanih oseb pa bo raziskovalcu omogočila celostnejši vpogled v proučevani problem, kot bi mu omogočil intervju z le eno osebo). Pri triangulaciji virov podatkov ločimo tri dimenzije oziroma enote raziskovanja, in sicer čas, prostor in osebo. Te so sicer medsebojno povezane. Študija ene zahteva študijo drugih dveh. Osredotočenost na prostor in čas kot enoti raziskovanja pomeni njuno povezanost z opazovanjem oseb. Raziskovalec lahko tako proučuje raziskovalni problem ob različnih časih dneva, tedna, meseca ali leta. Enote proučevanja so lahko različni prostori, v katerih potekajo nekatere dejavnosti. Analizo predmeta proučevanja lahko razčlenimo na tri ravni, in sicer (1): celotno (aggregate), (2) vzajemno (interactive) in (3) skupno (collectivity). (1) Pri celotni analizi proučujemo posameznika, in ne skupine, niti odnosov med posamezniki ali položaja posameznika v
116 SODOBNA PEDAGOGIKA 5/2008
Janez Vogrinc
organizaciji. (2) Pri vzajemni je enota proučevanja posameznik kot interaktivna oseba. Poudarek torej ni na posamezniku ali skupini, ampak na interakciji tega posameznika. (3) Pri skupni je enota proučevanja skupina, organizacija, skupnost ali celotna družba. Posamezniki in njihovi odnosi so proučevani le toliko, kolikor izražajo značilnosti celotne skupine.
Triangulacija raziskovalcev pomeni, da je vključenih v proučevanje nekega raziskovalnega problema več raziskovalcev. Raziskave navadno potekajo tako, da je oblikovana raziskovalna skupina, ki proučuje neki problem, vendar pa so vloge članov raziskovalne skupine navadno porazdeljene. Pri triangulaciji raziskovalcev gre za to, da več raziskovalcev opravlja iste naloge, potem se njihove ugotovitve primerjajo in dopolnjujejo. Triangulacija raziskovalcev je težje uresničljiva, saj je povezana z denarnimi izdatki, hkrati pa je včasih težko zagotoviti večje število raziskovalcev, ki bi se sicer v različnih znanstvenih disciplinah ukvarjali z istim strokovnim področjem.
O triangulaciji teorije govorimo takrat, ko pri proučevanju nekega raziskovalnega problema izhajamo iz več teoretičnih predpostavk. Triangulacija teorije je nujna predvsem na tistih področjih raziskovanja, kjer je teoretično neskladje. Triangulacija teorije pomeni uporabo različnih teoretičnih predpostavk v načrtovanju posameznih stopenj raziskave, pogosto pa se različne teoretične predpostavke uporabljalo le pri interpretaciji podatkov. Uporaba triangulacije teorije zmanjša možnost, da bi raziskovalci prenagljeno sprejeli teoretične predpostavke; vsako teoretično predpostavko je treba namreč primerjati s preostalimi predpostavkami, tudi z nasprotujočimi si. Postopek triangulacije teorije naj bi se začel z oblikovanjem obsežnega seznama predpostavk o določenem raziskovalnem problemu (skupaj z mogočimi interpretacijami za vsako izmed predpostavk) z različnih teoretičnih perspektiv, ki jih v nadaljnjem poteku empirično preizkusimo. Na koncu oblikujemo seznam predpostavk, ki so bile na empiričnem preizkusu potrjene ali ne, in tako ocenimo in preoblikujemo teorije, iz katerih so bile predpostavke izpeljane. Končno poročilo pogosto nastane kot kombinacija predpostavk, ki so si na začetku nasprotovale. Triangulacija teorija spodbuja kontinuiteto v teoriji in raziskovanju (poleg dokazov, ki potrjujejo predpostavke, je treba iskati tudi nasprotne dokaze, ki jih morajo raziskovalci pred nadaljnjim raziskovanjem preveriti) (o tem več Denzin 1978, str. 297-301).
Pregled strokovne literature, ki obravnava triangulacijo »metod«, kaže, da avtorji pod »triangulacijo metode« razumejo kombiniranje različnih raziskovalnih pristopov (kvalitativno in kvantitativno raziskovanje, na primer Tashakkori in Teddlie 1998; Neuman 2003; Patton 1990; Bryman 2004) in kombiniranje različnih tehnik zbiranja podatkov (na primer Denzin 1978; Flick 1998; Morse 1998; Richardson 2003).
Neuman (2003, str. 139, pa tudi Morse 1998, str. 66) govori o dveh različnih načinih kombiniranja raziskovalnih pristopov oziroma tehnik, in sicer: (1) zaporedni način kombiniranja in (2) vzporedni način kombiniranja. (1) Pri zaporednem načinu kombiniranja najprej dokončamo en raziskovalni pristop ali eno tehniko, nato začnemo drugo (kvalitativno raziskavo začnemo, ko kvantitativno raziskavo končamo; najprej pridobimo podatke z intervjujem, šele nato oblikuje-
Pomen triangulacije za zagotavljanje kakovosti
117
mo vprašalnik). (2) Pri vzporednem načinu kombiniranja raziskovalnih pristopov oziroma tehnik uporabljamo oba raziskovalna pristopa oziroma obe tehniki hkrati (kvalitativni in kvantitativni del raziskave potekata sočasno; v istem časovnem obdobju izvajamo vprašalnik in opravljamo intervju).
Creswell (1995, str. 177) je načinoma kombiniranja raziskovalnih pristopov in tehnik, ki ju je opisal že Neuman, dodal še dva načina, in sicer (3) enakovredni način kombiniranja in (4) nadrejeni - podrejeni način kombiniranja. (3) Enakovredni način kombiniranja pomeni, da imata oba raziskovalna pristopa oziroma obe tehniki z vidika celotne raziskave enakovreden položaj (spoznanja, pridobljena z uporabo kvalitativnega raziskovanja, imajo enako veljavo kot tista, ki jih pridobimo s kvantitativnim raziskovanjem). (4) Nadrejeni - podrejeni način kombiniranja pomeni, da ima ena uporabljena tehnika v celotni raziskavi pomembnejšo vlogo kot druga; en raziskovalni pristop prevladuje, drugi pa je vključen le v manjšem deležu (na primer spoznanja kvalitativnega raziskovanja uporabimo le kot dodatno interpretacijo spoznanj, ki smo jih pridobili s kvantitativnim raziskovanjem; odgovore intervjuja vključimo le v interpretacijo rezultatov, zbranih z vprašalnikom). Tashakkori in Teddlie (1998, str. 18) sta ob tem opozorila, da ni nujno, da je v celotni raziskavi ena tehnika oziroma raziskovalni pristop ves čas v podrejenem položaju, drugi pa v nadrejenem. Položaj posamezne tehnike oziroma posameznega raziskovalnega pristopa je odvisen od stopnje raziskave. Tako dodajata še peti način kombiniranja, in sicer (5) način, pri katerem je nadrejeni/podrejeni položaj tehnike oziroma raziskovalnega pristopa odvisen od stopnje raziskave (na primer pri učencih namenimo večjo pozornost rezultatom, zbranim z intervjuji, in uporabimo rezultate, zbrane z vprašalnikov, le kot dopolnitev. Na stopnji raziskave, na kateri pridobivamo podatke od učiteljev, je naš poglavitni vir informiranja vprašalnik, kot dopolnitev pa uporabljamo spoznanja, zbrana z intervjujem.
O triangulaciji znanstvenih disciplin govorimo takrat, ko proučujemo raziskovalni problem interdisciplinarno. Triangulacija znanstvenih disciplin je sicer precej povezana s triangulacijo teorij, ki jo je predstavil že Denzin (1978), vendar je znanstvena disciplina širši pojem kot teorija. Disciplina je panoga, področje znanosti, pri teoriji pa gre za skupek logično povezanih spoznanj, načel oziroma domnev, ki kaj znanstveno razlagajo v posamezni znanstveni disciplini. Predpostavka triangulacije znanstvenih disciplin je triangulacija raziskovalcev. Če v proučevanje raziskovalnega problema vključimo raziskovalce, ki pripadajo različnim znanstvenim disciplinam (psihologija, pedagogika, filozofija, sociologija, umetnost ...), lahko proučevani pojav spoznamo celostneje in globlje. Vsaka znanstvena disciplina ustvari namreč posebna »očala«, skozi katera gleda na proučevane probleme. Različni konceptualni okviri nam omogočajo, da si postavimo različna vprašanja, poiščemo različne načine iskanja odgovorov na postavljena vprašanja, postavimo različne ugotovitve in ustvarimo skupno, celostno razumevanje proučevanega problema.
118 SODOBNA PEDAGOGIKA 5/2008
Janez Vogrinc
Vloga triangulacije v kvalitativnem raziskovanju
Nedvomno je triangulacija strategija, ki raziskovalcem omogoča popolnejše razumevanje proučevanega pojava. Multipla triangulacija (o njej govorimo takrat, ko v eni raziskavi kombiniramo več oblik triangulacije, to je triangulacijo raziskovalcev, teorij, virov podatkov, tehnik oz. raziskovalnih pristopov in/ali znanstvenih disciplin) omogoča izčrpnejšo interpretacijo podatkov. Postavlja pa se vprašanje, ali lahko triangulacijo uporabimo tudi kot kriterij presojanja kakovosti znanstvenih spoznanj kvalitativnega raziskovanja. Če različne tehnike, raziskovalci, viri podatkov, teorije in znanstvene discipline vodijo do enakih ugotovitev, se zdi, da smo dobili veljavne podatke. Seveda triangulacije ne moremo upoštevati kot kriterij presojanja kakovosti znanstvenih spoznanj kvalitativnega raziskovanja le, kadar se ugotovitve medsebojno potrjujejo (prim. Bloor 1997). Kaj pa, če so na primer ugotovitve dveh raziskovalcev ob opazovanju istega pojava različne, ali potem niso veljavne?
Triangulacija je bila kot kriterij presojanja kakovosti znanstvenih spoznanj kvalitativnega raziskovanja tudi deležna kritik. Večino kritikov lahko uvrstimo v dve skupini. (1) Postmodernistično usmerjeni raziskovalci zavračajo triangulacijo kot kriterij presojanja kakovosti spoznanj kvalitativnega raziskovanja, saj ne sprejemajo tega, da obstaja referenčna točka »resnice«. Postmodernisti spreminjajo tradicionalni pogled na veljavnost. L. Richardson (1997, 2003) je predlagala transgresivno obliko veljavnosti, ki jo je v obliki metafore definirala s pomočjo podobe kristala. Kristal je prizma, ki odseva in lomi žarke in s tem oblikuje stalno spreminjajoče se podobe realnosti. Podoba, ki jo vidimo, je odvisna od našega gledišča. Zato postmodernisti ne sprejemajo tega, da obstaja le ena resnična zgodba; obstajajo različne perspektive iste zgodbe, vse pa so resnične (prim. Richardson 2003, str. 517, 518, Stake 2005, str. 454). Iz zapisane predpostavke lahko sklenemo, da so vse percepcije raziskovalcev in različnih virov spoznanj ter vsa spoznanja, ki so pridobljena s posameznimi raziskovalnimi pristopi oziroma tehnikami zbiranja podatkov, pomembni in enakovredni. Kot takšne jih ni mogoče uporabljati kot kriterij ugotavljanja kakovosti spoznanj posameznih raziskovalcev oziroma ugotovitev, ki smo jih pridobili s posameznimi pristopi in tehnikami zbiranja podatkov, smiselno pa jih je medsebojno kombinirati in s tem ugotovitve o posameznih pojavih ali vidikih povezati v smiselno celoto. (2) Drugo skupino kritikov sestavljajo raziskovalci, ki triangulaciji očitajo, da temelji na epistemoloških predpostavkah kvantitativnega raziskovanja in je zato v nasprotju s temeljnimi značilnostmi kvalitativnega raziskovanja. Če bi triangulacijo uporabili kot kriterij presojanja kakovosti znanstvenih spoznanj kvalitativnega raziskovanja, bi to pomenilo, da bi primerjali rezultate, ki smo jih dobili z različnimi raziskovalnimi pristopi oziroma tehnikami zbiranja podatkov, primerjali bi ugotovitve različnih raziskovalcev in podatke, ki so nam jih posredovali različni viri informacij. Primerjave bi opravili z namenom preverjanja kakovosti spoznanj, ki smo jih pridobili z eno metodo (tehniko, raziskovalcem, virom informacij) (prim. Tashakkori in Teddlie 1998, str. 82-84).
Pomen triangulacije za zagotavljanje kakovosti
119
Tako, torej s primerjavo ugotovitev, pa ugotavljamo kakovost spoznanj v kvantitativnem raziskovanju, ki temelji na predpostavki, da so hipoteze, ki so uspešno prešle skozi več testov, veljavnejše kot tiste, ki so prešle samo skozi enega. Tak način raziskovanja tudi predpostavlja, da je isto empirično enoto mogoče »izmeriti« več kot enkrat. Vse to pa je v nasprotju s temeljnimi značilnostmi kvalitativnega raziskovanja. Če je neki pojav postavljen v enkraten in specifičen kontekst, ga, strogo gledano, ni mogoče »izmeriti« (opazovati, zabeležiti) več kot enkrat (o tem več Kogovšek 1998). Triangulacija kot kriterij ugotavljanja kakovosti spoznanj torej temelji na epistemoloških predpostavkah kvantitativnega raziskovanja.
Lincoln in Guba (1985, str. 370) sta opozorila, da je sploh napačno pričakovati, da bodo opažanja enega raziskovalca potrdila opažanja drugega. Pomemben instrument kvalitativnega raziskovanja je namreč prav raziskovalec. Raziskovalci se lotevajo raziskovanja z različnimi pristopi in pogledi na raziskovanje, izhajajo iz različnih znanstvenih disciplin in teoretičnih predpostavk. To pa so lahko tudi razlogi, zakaj se lahko njihove ugotovitve razlikujejo. Namen kombiniranja sklepov različnih raziskovalcev s stališča kvalitativnega raziskovanja ne more biti presojanje ustreznosti opažanj enega raziskovalca, temveč oblikovanje celostnejšega vpogleda v proučevani problem - s tem namenom smo pritegnili k sodelovanju tudi več raziskovalcev. Tudi različni viri podatkov navadno razkrivajo različne vidike istega pojava. Če na primer intervjuvamo več oseb, nam vsaka oseba lahko pove nekoliko drugačno zgodbo, čeprav vse opisujejo isti dogodek. Pa vendarle to ne more pomeniti, da je zgodba ene osebe pravilna oziroma veljavnejša, druge pa napačna oziroma neveljavna. Vsaka oseba je v dogodek vpletena drugače, njena pripoved pa je izraz njenega doživljanja tega dogodka. Želje, pričakovanja, interesi, potrebe, osebni pogledi ljudi, ki so vključeni v raziskavo, naj bi kvalitativno usmerjenemu raziskovalcu pomagali do popolnejšega spoznanja proučevanih pojavov. Vsaka tehnika in teorija razkrije delček realnosti po svoje, zato ne moremo pričakovati, da bodo izsledki, nastali na podlagi različnih tehnik in teorij, samodejno sestavljali skladno podobo proučevanega pojava. Katero koli metodo ali tehniko uporabimo, ta vpliva na to, kaj vidimo. Bloor (1997) meni, da je neposredna primerjava različnih metod ali. tehnik in teorij že v temelju problematična, saj so raziskovalni izsledki odvisni od okoliščin njihove produkcije.
Sklep
V prispevku smo se ukvarjali s kvalitativnim raziskovanjem kot samostojno obliko raziskovanja, kakršno se je razvilo kot nasprotje kvantitativnega raziskovanja. Obravnavali smo kriterije, ki se uporabljajo za ugotavljanje kakovosti znanstvenih spoznanj kvalitativnega raziskovanja, in jih uvrstili v pozitivistično, postpozitivistično, postmodernistično in poststrukturalistično skupino. Strinjamo se s Sagadinom (1989, str. 335) o neplodnosti »paradigmat-skega ekskluzivizma«, zato menimo, da pri določanju kriterijev kvalitativnega
120 SODOBNA PEDAGOGIKA 5/2008
Janez Vogrinc
raziskovanja ni toliko pomembno, v katero skupino uvrščamo posamezni kriterij, kot to, da je usklajen s temeljnimi značilnostmi kvalitativnega raziskovanja. Jasno določeni kriteriji so namreč tisti, ki neki vrsti raziskovanja dajejo atribut znanstvenosti in racionalno podlago za ukrepanje na temelju raziskovalnih ugotovitev. Tudi v okviru kvalitativnega raziskovanja se nam tako zdi smiselno preveriti notranjo veljavnost, čeprav je v kvalitativno raziskovanje prevzeto neposredno iz kvantitativnega raziskovanja. Pomembno je namreč, da izsledki raziskave čim natančneje razložijo proučevani pojav, da raziskovalec predstavi in združi različne poglede na proučevani položaj v skupen sklep, da so vzročni odnosi ugotovljeni, pojasnjeni in utemeljeni in da imajo vse ugotovitve oporo v zbranih podatkih. V prispevku smo posebno pozornost namenili triangulaciji in njeni vlogi v kvalitativnem raziskovanju. Triangulacijo definiramo kot kombiniranje različnih raziskovalnih pristopov, metod, tehnik, znanstvenih disciplin, virov podatkov, raziskovalcev in teorij v isti raziskavi, z namenom pridobiti čim celostnejši vpogled v proučevani položaj. Če povzamemo zagovornike in kritike triangulacije, lahko sklenemo, da nam triangulacija omogoča pridobiti popolnejšo podobo proučevanega pojava, ne pa tudi objektivnejše. Zato je smiselno uporabljati triangulacijo kot strategijo zagotavljanja kakovosti znanstvenih spoznanj kvalitativnega raziskovanja, ne pa tudi kot specifični kriterij presojanja kakovosti spoznanj kvalitativnega raziskovanja, saj bi jo s tem oddaljili od epistemoloških značilnosti kvalitativnega raziskovanja.
Literatura
Bloor, M. J. (1997). Techniques of Validation in Qualitative Research: A Critical Commentary. V: Miller, G. in Dingwall, R. (ur.), Context and Method in Qualitative Research. London: Sage, str. 37-50. Bogdan, R. C. in Biklen, K. S. (2003). Qualitative Research for Education. An Introduction
to Theory and Methods. Boston: Allyn and Bacon. Bryman, A. (2004). Social Research Methods. New York: Oxford University Press, Inc. Charmaz, K. (2006). Constructing Grounded Theory. London: Sage Publications Ltd. Cohen, L., Manion, L. (1990). Research Methods in Education. London: Routhledge. Creswell, J. W. (1995). Research design: Qualitative and Quantitative approaches.
Thousand Oaks: Sage. Creswell, J. W. (1998). Qualitative inquiry and Research Design. Thousand Oaks: Sage. Denzin, N. K. (1978). The Research act. New York: McGraw - Hill Book Company. Denzin, N. K. in Lincoln Y. S. (2000). Handbook of Qualitative Research. London: Sage Publications.
Denzin, N. K. in Lincoln, Y. S. (2005). The Discipline and Practise of Qualitative Research. V: Denzin, N. K. in Lincoln, Y. S. (ur.), The Sage Handbook of Qualitative Research. Thousand Oaks, California: Sage Publication, str. 1-32. Flick, U. (1998). An Introduction to Qualitative Research. Sage Publication, Inc.
Pomen triangulacije za zagotavljanje kakovosti
121
Fraenkel, J. R. in Wallen, N. E. (2006). How to design and evaluate research in education. New York: McGraw-Hill.
Glaser, B. G. in Strauss, A. L. (1967). The Discovery of Grounded Theory: Strategies for Qualitative Research. Chicago: Aldine.
Hammersley, M. (1992). By what Criteria should Ethnographic Research be Judged? V: Hammersley, M. (ur.), What's wrong with Ethnography. London: Routhledge, str. 60-75.
Janesick, V. J. (1998). The Dance of Qualitative Research Design: Metaphor, Methodolatry, and Meaning. V: Denzin, N. K. in Lincoln, Y. S., Strategies of Qualitative Inquiry.
Kogovšek, T. (1998). Kvaliteta podatkov v kvalitativnem raziskovanju. Magistrsko delo. Ljubljana: Univerza v Ljubljani, Fakulteta za družbene vede.
Kuhn, T. S. (1974). Struktura naučnih revolucija. Beograd: Nolit.
Lather, P. A. (1993). Fertile Obsession: Validity after Poststructuralism. The Sociological Quarterly, št. 34, str. 673-693.
LeCompte, M. D. in Goetz, J. P. (1982). Problems of Reliability and Validity in Ethnographic Research. Review of Educational Research, st. 52, str. 31-60.
Lincoln, Y. S. in Guba, E. G. (1985). Naturalistic Inquiry. Bewerly Hills: Sage.
Lincoln, Y. S. in Denzin, N. K. (1994). The Fifth Moment. V: Denzin, N. K. in Lincoln, Y. S. (ur.), Handbook of Qualitative Research. Thousand Oaks: Sage, str. 575-586.
Lüders, C. in Reichertz, J. (1986). Wissenschaftliche Praxis ist, wenn alles funktioniert und keiner weiß warum: Bemerkungen zur Entwicklung qualitativer Sozialforschung. Sozialwissenschaftliche Literaturrundschau, st. 12, str. 10-102.
Marshall, C. in Rossman, G. (1989). Designing Qualitative Research. London: Sage.
Mason, J. (1996). Qualitative Researching. London: Sage.
Mažgon, J. (2006). Vpliv paradigmatskega relativizma na metodologijo akcijskega raziskovanja: doktorska disertacija. Ljubljana: Univerza v Ljubljani, Filozofska fakulteta.
Mesec, B. (1998). Uvod v kvalitativno raziskovanje v socialnem delu. Ljubljana: Visoka sola za socialno delo.
Morse, J. M. (1998). Designing Funded Qulitative Research. V: Denzin, N. K. in Lincoln, Y. S. (ur.), Strategies of Qualitative Inquiry. London, Thousand Oaks, New Delhi: Sage Publications, str. 56-85.
Moser, H. (1977). Methoden der Aktionsforschung. Eine Einführung. München: Kösel.
Neuman, W. L. (2003). Social Research Methods. Pearson Education, Inc.
Patton, M. Q. (1990). Qualitative evaluation and research methods. Newbury Park, CA: Sage.
Richardson, L. (1997). Fields of play: Constructing an academic life: New Brunswick, NJ: Rutgers University Press.
Richardson, L. (2003). A Method of Inqiry. V: Denzin, N. K. in Lincoln, Y. S., Collecting and Interpreting Qualitative Materials. Thousand Oaks, California: Sage Publication, Inc.
Sagadin, J. (1989). Paradigmatska plat akcijskega in tradicionalnega empiričnega pedagoškega raziskovanja v luči objektivnosti in resničnosti znanstvenih spoznanj. Sodobna pedagogika, st. 7-8, str. 335-340.
122 SODOBNA PEDAGOGIKA 5/2008
Janez Vogrinc
Sagadin, J. (1993). Poglavja iz metodologije pedagoškega raziskovanja. Ljubljana: Zavod Republike Slovenije za šolstvo in šport.
Sagadin, J. (2001). Pregledno o kvalitativnem empiričnem pedagoškem raziskovanju. Sodobna pedagogika, št. 2, str. 10-25.
Scheurich, J. J. (1997). Research method in the postmodern. London: Falmer.
Silverman, D. (2005). Doing Qualitative Research. London: Sage Publications.
Smith, J. K. (1993). After the demise of empiricism: The problem of judging social and educational inquiry. Norwood, NJ: Ablex.
Stake, R. E. (2005). Qualitative Case Studies. V: Denzin, N. K. in Lincoln Y. S. (ur.). The Sage Handbook of Qualitative Research. Tretja izdaja. London, Thousand Oaks, New Delhi: Sage Publications, str. 443-466.
Steinke, I. (1999). Kriterien qualitativer Forschung: Ansätze zur Bewertung qualitativempirischer Socialforschung. Weincheim: Juventa.
Tashakkori, A. in Teddlie, C. (1998). Mixed Methodology: combining qualitative and quantitative approaches. London, Thousand Oaks, New Delhi: Sage Publications.
Toličič, I. in Zorman, L. (1965). Testi znanja in njihova uporaba v praksi. Ljubljana: Zveza delavskih univerz Slovenije.