Liljana Rihter POMEN KVALITATIVNIH METOD PRI EVALVACIJI PROJEKTOV PROSTOVOLJNEGA DELA PRIMER EVALVACIJE PROJEKTA PROSTOVOLJNEGA DELA NA ŠOLSKEM CENTRU VELENJE L VOD V Sloveniji so projekti prostovoljnega dela precej razširjeni, čeprav natančnih podatkov o številu projektov, o številu prostovoljcev in o številu pre- jemnikov pomoči nimamo. Prostovoljci s svojim delom sodelujejo na številnih področjih: na social- nem, izobraževalnem, zdravstvenem, okoljevarst- venem ... Najbolj na splošno je cilj njihovega dela vplivati na izboljšanje kvalitete življenja prejem- nikov pomoči, na izboljšanje kvalitete lastnega življenja, na izboljšanje kvalitete dela in življenja v organizacijah, ki izvajajo projekte prostovolj- nega dela, v organizacijah, ki prejemajo pomoč prostovoljcev, in v širši družbi nasploh. Danes je »delovanje prostovoljcev pri izboljševanju kako- vosti življenja in psihosocialne dobrobiti zelo raz- širjen pojav« (Mikuš Kos 2002: 9). V Univerzalni deklaraciji o prostovoljnem delu je med drugim navedeno, da imajo prostovoljci ter druge orga- nizacije in skupnosti odgovornost, da »ustvarjajo tako okolje, v katerem bodo prostovoljci opravljali smiselno delo, ki bo vodilo k doseganju dogovor- jenih ciljev« (op. cit.: 13). Dejansko v praksi te splošne cilje in konkretne cilje posameznih pro- jektov prostovoljnega dela le redko preverjajo, čeprav v zadnjem obdobju obstaja kar nekaj po- skusov, razviti metodologijo in vzpostaviti osnov- ne pristope in modele za evalviranje projektov prostovoljnega dela'. Ocena in analiza učinkov prostovoljnega dela sta pomembni zaradi prak- tične vrednosti za potek projekta, za prenos izkušenj že izvedenih projektov na druge projekte ter sta vir zadovoljstva za udeležence (op. cit.: 202). Tudi če organizatorji projektov prostovoljnega dela sledijo napotku (Žorga 2002: 75), da naj bi bili ocena in analiza poteka dela ter učinkov pro- jekta vgrajeni v organizacijsko shemo in da naj bi ju izvajali sproti, so pri evalviranju velikokrat glavna ovira cilji prostovoljnega dela na socialnem področju, ki so široki in splošni, kar je za eval- vatorje precejšna težava, še zlasti če vztrajajo pri kvantitativnem pristopu, ki temelji na pozitivis- tični paradigmi in je dolgo časa prevladoval pred kvalitativnim, ki temelji na interpretativni para- digmi (Patton 1990: 37). RAZMERJE MED KVANTITATIVNO IN KVALITATIVNO PARADIGMO Chambers, Wedel in Rodwell (1992: 12-19) na- vajajo, da se je zgodovinsko evalvacija socialnih programov razvila iz kvantitativne tradicije v dru- žbenih znanostih, ki je posnemala naravoslovne znanosti. Paradigma kvantitativne raziskave pred- postavlja, da je teoretično mogoče razumeti svet tako, da stvari razdelimo na dele in jih podrobno pregledamo izven njihovega konteksta, dodajamo in odstranjujemo vplive ter opazujemo učinke v kontroliranih eksperimentih. Hipoteze o pričako- vanih rezultatih moramo izdelati vnaprej. Merski instrumenti morajo biti kvantitativni. Rezultate pa nato predstavimo v številkah ter ugotovitve posplošimo na realen svet. Paradigma kvantitativne raziskave temelji na pozitivistični paradigmi, ki jo Mesec (1997: 2-4) opiše s treh vidikov. Ontološki vidik (vprašanje o naravi sveta) se tu kaže v predpostavki, da zunanji svet obstaja neodvisno od spoznavajočih ljudi. Epistemološki vidik (odnos med spoznavajočim človekom in svetom, ki ga spoznava) se kaže v tem, da je svet predmet človekovega spoznavanja; raziskovalec mora biti objektiven, kar pomeni, da je predmet njegovega spoznavanja neodvisen in ločen od njega. Metodološki vidik (kako naj poteka raziskovanje) pa v tem, da preverjanje 19 ULJANA RIHTER teorij poteka tako, da iz njih izvedemo napoved konkretnega dogodka; ustvarimo pogoje, v kate- rih naj bi se ta dogodek zgodil, in opazujemo, ali se zgodi ali ne. j Paradigma kvalitativne raziskave je drugačna, saj predpostavlja, da je svet mogoče le delno razu- meti z racionalno raziskavo, ker lahko naravo de- lov stvari določimo le z njihovim okoljem. Hipotez ne moremo postavljati vnaprej, ker so v okolju stalno prisotne spremembe, zato jih prilagajamo. Zaradi stalnih sprememb stvari tudi ni mogoče opisovati s številkami in zato rezultate zapišemo v obliki, ki je uporabna samo za določene oko- liščine (Chambers, Wedel, Rodwell 1992: 12-19). Paradigma kvalitativne raziskave temelji na interpretativni paradigmi, ki se v ontološkem, epistemološkem in metodološkem vidiku razHku- je od pozitivistične paradigme (Mesec 1997: 2— 4). Z ontološkega vidika je zunanji svet konstruk- cija naše zavesti in družbena konstrukcija zavest- no delujočih subjektov in interakcij. Z epistemo- loškega vidika je svet proizvod spoznavajočega subjekta. Kar ima raziskovalec za predmet razi- skave, je že samo družbena konstrukcija; predmet opazovanja ni neodvisen od raziskovalca. Z meto- dološkega vidika pa raziskovalec poskuša identi- ficirati konstrukcije sveta različnih udeležencev družbene igre in ugotoviti podobnosti in razlike med njimi, Kvalitativno raziskovanje je bilo dolgo časa (in je še vedno) predmet kritik pozitivistov in post- pozitivistov, ki trdijo, da naj bi znanost vzpostavila pravila za pravo objektivno in racionalno znanje (Halmi 1996: 24-28; prim, tudi Rihter 2001: 18). Po drugi strani naletimo na dilemo, ali je empi- rična znanost primeren način spoznavanja sveta in pogojev, v katerih človek živi. Na eni strani so bili kvalitativni pristopi pred- met kritik, na drugi strani pa so teoretiki po dolo- čenem obdobju uporabe kvantitativnih metod za namene evalvacije (Chambers, Wedel, Rodwell 1992: 275-276) ugotovili, da ta pristop v vseh okoliščinah ni nujno najboljši. Z večanjem števila evalvacijskih raziskav so začeli odkrivati, da je težko načrtovati programe, katerih učinke bi la- hko zaznali in zajeli samo s kvantitativnimi me- todami. V programih so namreč vnaprej postavili cilje, ki bi jih bilo mogoče izmeriti s kvantita- tivnimi metodami (in verjetno namenoma izpustili cilje, ki bi jih bilo mogoče izmeriti s kvalitativnimi metodami), vendar so ob evalvacijah ugotavljali, da so dosegli le minimalne učinke. Zgodilo se je tisto, česar niso pričakovali. Z znanstveno (kvanti- tativno) metodo so želeli pokazati, da programi dosegajo zastavljene cilje. Ker so kot cilje pro- grama postavili take cilje, ki jih je bilo mogoče meriti s kvantitativnimi metodami, so z merjenjem ugotovili le minimalne učinke, čeprav so bili ver- jetno učinki programa veliko širši. Presenetljivo je bilo predvsem to, da so veliko programov na podlagi teh evalvacij označili kot manj uspešne. Očitno je postalo, da je znotraj eksperimentalnih in kvazieksperimentalnih pristopov težko izbrati zadovoljive kriterije uspeha in zato se je začelo postavljati vprašanje, katero paradigmo uporabiti. Potrebe po evalvacijskem raziskovanju so spo- dbudile pragmatičen pristop, ki ni predan pred- postavki, da obstaja le ena raziskovalna metoda oz. le en raziskovalni pristop. Pragmatizem zahte- va domišljijo, inventivnost in disciplino, da uja- memo raziskovalne probleme z viri, ki so na voljo (Cheetham, Fuller, Mcivor, Petch 1992: 7-8). S tem pogledom se strinja tudi Patton (1990: 195- 198), ki pravi, da se lahko v odvisnosti od razisko- valnega vprašanja odločimo za tipično holistično- induktivno paradigmo (kvalitativni pristop), ki zajema kvalitativne podatke, holistično-induktivni načrt naturalistične raziskave, analizo vsebine in primera, ali za tipično hipotetično-deduktivno paradigmo (kvantitativni pristop), ki zajema kvan- titativne podatke, eksperimentalni načrt in statis- tično analizo. Mogoče pa so tudi mešanice. Kvalitativna raziskovalna strategija je po mne- nju Pattona (op. cit.: 95-114) še posebej primerna za študije procesa in evalvacije procesa, za eval- vacije individualiziranih ciljev (kadar so cilji pro- grama različni za različne uporabnike), za študije primerov, za primerjavo programov, kadar se osredotočimo na raznolikost, za evalvacijo imple- mentacije, za ocenitev možnosti evalviranja, za zagotavljanje kvalitete in zviševanje kvalitete, za evalvacijo preventive in za dokumentiranje raz- voja v času. ... POMEN KVALITATIVNIH METOD PRI EVALVACIJI PROJEKTOV PROSTOVOLJNEGA DELA (PROJEKT PROSTOVOLJNEGA DELA NA ŠOLSKEM CENTRU V VELENJU) . Ker so cilji prostovoljnega dela precej široko opre- deljeni, predpostavljamo, da bi evalvatorji projek- tov prostovoljnega dela z raziskavo, ki bi temeljila POMEN KVALITATIVNIH METOD PRI EVALVACIJI ROJEKTOV PROSTOVOLJNEGA DELA na čisti kvantitativni strategiji, naleteli na podobne probleme, kot jih omenjajo Chambers, Wedel in Rodwell (1992: 275-276). Zato je v primerih, ko želimo projekte evalvirati celovito po modelu kompleksne evalvacije (Mesec 1997: 115), veliko- krat treba uporabiti še mešane ali čiste kvalita- tivne strategije. Ko smo pripravljali evalvacijo dela projekta prostovoljnega dela na Šolskem centru v Velenju (učna pomoč osnovnošolcem), smo želeli eval- virati zapisane cilje z vidika prejemnika pomoči, z vidika prostovoljca, z vidika organizacije, ki ponuja pomoč, in z vidika organizacije, ki pomoč prejema. V skladu s strukturo kompleksne eval- vacije smo pripravili še evalvacijo vloženega napo- ra, evalvacijo procesa in evalvacijo (ne)namernih učinkov. Čisto kvalitativno strategijo smo uporabili za evalvacijo procesa pomoči, za evalvacijo (ne)na- mernih učinkov pri prejemnikih pomoči, za eval- vacijo doseganja ciljev in za evalvacijo (ne)namer- nih učinkov v organizaciji, v katero so vključeni prejemniki pomoči, za evalvacijo doseganja ciljev in evalvacijo (ne)namernih učinkov pri prostovolj- cih kot posameznikih, za evalvacijo procesa, eval- vacijo doseganja ciljev in evalvacijo (ne)namernih učinkov v skupini prostovoljcev, in za evalvacijo doseganja ciljev in evalvacijo (ne)namernih učin- kov v organizaciji, v katero so vključeni prosto- voljci. Za evalvacijo vloženega napora v vseh cilj- nih skupinah in za evalvacijo doseganja ciljev z vidika prejemnika pomoči pa smo uporabili me- šane strategije. Čiste kvantitativne strategije v evalvaciji dela projekta prostovoljnega dela na Šol- skem centru v Velenju nismo uporabili, čeprav bi bilo to pri evalvaciji ciljev z vidika prejemnika pomoči mogoče narediti. Za določene vrste evalvacije pri določenih cilj- nih skupinah načrta evalvacije ne bi mogli pripra- viti, če bi izhajali iz stališča, da je edina prava znanstvena raziskava tista, ki temelji na pozitivi- stični paradigmi. S pragmatičnim pristopom pa smo raziskovalna (evalvacijska) vprašanja pove- zali z viri, ki smo jih imeli na razpolago. Evalvacijo procesa pomoči in evalvacijo proce- sa dogajanja v intervizijski skupini prostovoljcev si težko predstavljamo na drugačen način, kot da zberemo podatke z opazovanjem dogajanja oz. da analiziramo opise dogodkov. Zato smo pro- stovoljce prosili, da vodijo dnevnike srečanj s pre- jemniki pomoči in izčrpno opišejo dogajanje. Dogajanje v intervizijski skupini je zapisovala vodja projekta na šoli, v katero so bili vključeni prejemniki pomoči. Vse te opise smo nato zbrali in jih analizirali. Pri opazovanju dejavnosti (pro- cesa) programa je v okoliščinah, kjer teorija pro- grama ni eksplicitna oz. standardizirana, kjer je program zavestno ateoretski, kjer osebje deluje teoretsko nekonsistentno ali eklektično, bolje iz- brati kvalitativni pristop (Chambers, Wedel, Rod- well 1992: 147-187). Tako lahko razvijemo she- me za opazovanje dejavnosti v programu in te dejavnosti nato opazujemo. Druga možnost pa je, da osebje izpolnjuje posebne standardne obrazce za vsak primer dela z uporabnikom. Podobno težko je s čistimi kvantitativnimi pri- stopi evalvirati (ne)namerne učinke. Lahko sicer predvidevamo, kaj bi se v projektu poleg zastav- ljenega in predvidenega še zgodilo, in to izmerimo z že pripravljenimi ali za namene evalvacije na novo oblikovanimi merskimi instrumenti, vendar na ta način izgubimo sled za tistimi učinki, ki jih niso predvideli niti oblikovalci programa/projekta niti mi sami. Zato je pomembno, da vse, ki so vpleteni v delovanje programa/projekta (uporab- nike, njihove svojce, izvajalce, predstavnike orga- nizacij ...), vprašamo po njihovem mnenju o tem, ali se je zgodilo kaj, česar niso pričakovali (tako pozitivni kot negativni vidiki). Evalvacija doseganja zastavljenih ciljev je v veliki meri odvisna od tega, kako so opredeljeni cilji programa. Če so cilji konkretizirani in zapi- sani v taki obliki, da jih je mogoče izmeriti z različ- nimi lestvicami, in če imamo na voljo kontrolno ali vsaj primerljivo skupino, uporabimo čisti hipotetično-deduktivni pristop (eksperimentalni načrt, zbiranje kvantitativnih podatkov in statistič- na analiza). Tak pristop je za evalviranje dosega- nja ciljev z vidika prejemnikov pomoči v projektih prostovoljnega dela mogoče uporabiti, saj nam določene situacije omogočajo, da najdemo kon- trolno ali primerljivo skupino, ki ne prejema po- moči prostovoljcev, in izvedemo (kvazi) eksperi- ment. Kontrolno ali primerljivo skupino pri upo- rabnikih oz. prejemnikih pomoči v primeru pro- jektov prostovoljnega dela oblikujemo iz tistih oseb, ki čakajo na vključitev v projekt, saj se pogosto zgodi, da je povpraševanje po pomoči večje od razpoložljive ponudbe prostovoljcev. Omejitev, ki jo moramo upoštevati, je v tem, da ponavadi najprej dobijo pomoč prostovoljcev tisti, ki so pomoči najbolj potrebni; tisti, ki morajo na vključitev čakati, pa imajo ponavadi manj težav in zato boljšo izhodiščno situacijo, Zato je pravo 21 LILIANA RIHTER kontrolno skupino težko oblikovati. Rešitev za ta problem ponujata Fitz-Gibbon in Morris (1987: 28—29; 156—157), ki navajata, naj v eksperimen- talno in kontrolno skupino vključimo t. i. posa- meznike na robu, ki so si podobni v kar največjem številu značilnosti. Pri evalviranju doseganja ciljev z vidika prosto- voljcev je uporaba pristopa na podlagi čiste hipo- tetično-deduktivne paradigme omejena zaradi najmanj dveh razlogov. Prvi je ta, da imamo velike težave pri izvedbi eksperimentalnega načrta, saj je nemogoče dobiti pravo kontrolno skupino (to bi bili tisti, ki ne opravljajo prostovoljnega dela). Anica Mikuš Kos (1997: 9) namreč navaja, da so prostovoljci skupina ljudi, za katero je značilna predvsem prosocialna usmerjenost in večja empa- tija; ostali tega vedenja nimajo razvitega v tako veliki meri. Prostovoljci se že v izhodišču razliku- jejo od drugih ljudi, kar smo ugotovili tudi z našo raziskavo, v katero smo vključili dijake Gimnazije Velenje, ki opravljajo prostovoljno delo, in dijake, ki se za vključitev v projekt prostovoljnega dela niso odločili. Iz odgovorov na vprašanja v vprašal- niku, ki meri prosocialno vedenje, smo oblikovali indeks prosocialnega vedenja ter z uporabo t-testa ugotovili, da imajo tisti anketirani dijaki, ki oprav- ljajo prostovoljno delo, bolj razvito prosocialno vedenje. Kontrolno skupino bi lahko oblikovali samo v primeru, da bi se v projekt prostovoljnega dela vključilo preveč prostovoljcev in bi nekateri dela ne mogli opravljati takoj, kar pa se v realnosti zgodi le redko. Drugi razlog, da pri evalvaciji do- seganja ciljev z vidika prostovoljcev ne moremo uporabiti čistega hipotetično-deduktivnega pri- stopa, je v tem, da so cilji z vidika prostovoljca velikokrat zelo splošno opredeljeni in da dosega- nja vseh teh ciljev ne moremo izmeriti z merskimi instrumenti, s katerimi bi zbirali le kvantitativne podatke. Že pri najbolj splošnih opredelitvah prostovoljnega dela oz. prostovoljstva zasledimo navedbe, da »prostovoljstvo spodbuja osebnostni razvoj, omogoča pridobivanje novih veščin in znanj, razvija osebnostne potenciale, samozau- panje in kreativnost« (Mikuš Kos 2002: 16). Za ilustracijo, kako opredeljujejo cilje v konkretnem projektu, navajamo cilje z vidika prostovoljca v projektu, ki smo ga evalvirali (Predmetnik obvez- nih izbirnih vsebin 1998; Rihter 2001: 15): • vsestransko osebnostno dozorevanje; • privzgajanje etičnih in socialnih vrednot, njihovo globlje dojemanje, doživljanje in uresniče- vanje (altruizem, iskrenost, humanizem, strpnost. družbena odgovornost...); • odkrivanje in razvijanje drugih osebnostnih potencialov (sposobnosti, kreativnosti, interesov, spretnosti, specifičnih nadarjenosti, socialne sen- zibilnosti, socialnih veščin, empatije, permisiv- nosti, samozaupanja, samospoštovanja); • večanje zavedanja o raznih življenjskih do- brinah in možnostih, ki jih daje življenje mla- dostnikom; • pridobivanje dragocenih življenjskih izku- šenj, znanj in spoznanj o sebi, o sočloveku in o življenju; • lažje in ustreznejše študijsko odločanje, bolj- še dojemanje nekaterih teoretskih premetov (dru- žboslovnih) in dobra podlaga za študij v okviru humanističnih ved; • večja samorealizacija in izboljšanje samopo- dobe, zdravo uveljavljanje osebnosti, globlje doje- manje smisla življenja, globlje doživljanje pozi- tivnih čustev (ljubezni, veselja), sreče, notranjega zadovoljstva, harmonije. Vse to naj bi pri mladostnikih (prostovoljcih) spodbujalo pozitivno naravnanost do življenja (zdrav življenjski optimizem) in konstruktivno razreševanje življenjskih problemov. Nekatere izmed teh ciljev (ki so povezani z osebnostjo) bi lahko izmerili s kvantitativnimi merskimi instrumenti, saj obstajajo različne lest- vice za merjenje osebnostnih lastnosti. Kar precej ciljev pa je tako splošnih, npr. globlje dojemanje smisla življenja, večanje zavedanja raznih življenj- skih dobrin in možnosti, da vpogled v to, v kolik- šni meri in aH sploh so doseženi, dobimo le s pomočjo kvalitativnih metod. Kot primerno metodo za evalvacijo ciljev, ki so podobni tem, Patton (1990: 278-289) navaja intervju. Namen intervjuja je ugotoviti, o čem kdo razmišlja, oz. spoznati tiste stvari, ki jih ne mo- remo neposredno opazovati. Pri tem izbiramo med različnimi oblikami kvalitativnega intervjuja: neformalni pogovor, intervju na osnovi splošnih smernic in standardiziran odprt intervju. Razlika med njimi je v stopnji določenosti vprašanj pred samim intervjujem. Ko gre za neformalni pogo- vor, vprašanj nimamo pripravljenih vnaprej. Pri intervjuju na osnovi splošnih smernic imamo predvidena splošna vprašanja, v standardizira- nem odprtem intervjuju pa so vsa vprašanja opre- deljena vnaprej. Glavna slabost pri intervjuju na osnovi splošnih smernic (še v večji meri to velja za neformalni pogovor) je, da zanemarimo po- membne vidike problema, ker o njih sploh ne 22 POMEN KVALITATIVNIH METOD PRI EVALVACIJI ROJEKTOV PROSTOVOLJNEGA DELA sprašujemo. Ker je tisti, ki sprašuje, fleksibilen pri zaporedju in oblikovanju vprašanj, lahko do- bimo tudi precej različne odgovore iz različnih perspektiv, kar zmanjšuje njihovo primerljivost. S standardiziranim odprtim intervjujem, kjer so vprašanja postavljena natančno in vnaprej, dobi- mo primerljive podatke (kar pri evalvaciji dosega- nja ciljev ponavadi želimo, da primerjamo, katere cilje so prostovoljci dosegli v večji in katere v manj- ši meri), vendar je le malo fleksibilnosti in ne dobi- mo (včasih zaželene) globine podatkov. V kon- kretni raziskavi smo pri evalvaciji ciljev z vidika prostovoljca uporabili mešanico intervjuja na osnovi splošnih smernic in standardiziranega odprtega intervjuja (nekateri ga poimenujejo del- no standardiziran odprt intervju). Izbira te oblike intervjuja se je pokazala za ustrezno, saj smo ime- li glavna, bistvena vprašanja določena vnaprej (kar omogoča primerjanje med odgovori), hkrati pa smo v primerih, ko smo želeli dodatna pojas- nila, postavljali dodatna vprašanja (kar omogoča globino podatkov). Evalvator se mora glede na vrsto informacij, ki jih želi dobiti, odločiti, kakšna vprašanja bo postavil. Tako je mogoče po Pattonu (op. di.: 290-293) postaviti šest vrst vprašanj: vprašanja, ki se nanašajo na izkušnje in obnašanje in jih postavimo z namenom, da dobimo opise izkušenj, vedenja, dejavnosti, ki bi jih lahko sicer opazovali, če bi bili prisotni kot opazovalci, vprašanja, ki se nanašajo na mnenja in vrednote in jih postavimo z namenom, da razumemo kog- nitivne in interpretativne procese pri ljudeh, vpra- šanja, ki se nanašajo na čustvovanje in jih posta- vimo z namenom, da bi razumeli čustvene odzive ljudi na njihove izkušnje in misli, vprašanja, ki se nanašajo na znanje in jih postavimo z namenom, da odkrijemo, kakšne informacije ima oseba, vprašanja, ki se nanašajo na zaznavne sposob- nosti (kaj je kdo videl, slišal, otipal, okusil), vpra- šanja, ki se nanašajo na karakteristike človeka oz. demografska vprašanja - z njimi si pomagamo odkriti značilnosti človeka, ki ga intervjujamo. Kvalitativni pristop ima pri evalvaciji projektov prostovoljnega dela velik pomen. Primeren je za evalvacijo procesa in za evalvacijo (ne)namera- vanih učinkov, pa tudi za evalvacijo ciljev z vidika prostovoljcev. V določenih primerih je to sploh edini pristop, ki ga je mogoče uporabiti, posebej tam, kjer pogoji za pripravo evalvacijskega načrta na podlagi čiste hipotetično-deduktivne paradig- me niso izpolnjeni. Če bi v takih primerih vztrajali pri kvantitativni paradigmi, ne bi mogli izpeljati kompleksne evalvacije in bi bile povratne informa- cije enostranske in pomanjkljive. Če pa izberemo kvalitativni pristop (ali mešane pristope), moramo biti pripravljeni na kritike zagovornikov kvantita- tivnega pristopa. KRITIKE KVALITATIVNIH METOD IN KAI NAREDITI ZA POVEČANJE i VERODOSTOJNOSTI EVALVACIJ, KI TEMELIIIO NA KVALITATIVNI PARADIGMI Največkrat se pojavljajo kritike, da znanje, prido- bljeno s kvalitativnimi metodami, ni pravo objek- tivno in racionalno znanje in da naj bi le kvanti- tativne tehnike zbiranja empiričnega materiala omogočile, da pridemo do veljavnih, zanesljivih, objektivnih in numeričnih dejstev o družbeni real- nosti (Halmi 1996: 24-28). Patton (1990: 461-492) meni, da so verodos- tojne tudi kvalitativne raziskave, in navaja načine, ki nam omogočajo povečati verodostojnost tovrst- nih raziskav in smo jih uporabili v evalvaciji dela projekta prostovoljnega dela na Šolskem centru v Velenju. Prvi način je, da uporabimo strogo tehniko in pravila za zbiranje kvalitetnih podatkov, ki jih skrbno analiziramo. Pri tem moramo biti pozorni, da utemeljimo veljavnost, zanesljivost in da (če je mogoče) uporabimo triangulacijo, Veljavna je tista analiza oz. interpretacija, kate- re sodbe so utemeljene v gradivu. Zato moramo za utemeljevanje veljavnosti raziskave (evalvacije) preveriti prepis terenskih zapisov s stranko, s kate- ro smo izvedli intervju, ter raziskovance seznaniti z ugotovitvami analize in interpretacije in jih pro- siti za mnenje. Raziskava je tem bolj konstruktno veljavna, v čim večji meri so uporabljene ustrezne operacionalne definicije teoretskih konceptov, več virov podatkov, veriga dokazov, ter če osnutek poročila pregledajo ključni raziskovanci. Notranja veljavnost je tem večja, čim bolj zanesljivo ugotav- lja vzročne odnose, kar pomeni, da ne dvomimo, da določenim dogodkom sledijo drugi dogodki. Zunanja veljavnost je tem večja, na čim več različ- nih situacij lahko posplošimo ugotovitve. Pri eval- vacijskih raziskavah se moramo zavedati omejit- ve, da ugotovitev pogosto ne moremo posploše- vati širše od projekta/programa, ki ga evalviramo (Mesec 1998: 141-148), 23 LILIANA RIHTER Zanesljiva je tista raziskava, ki da pri pono- vitvah čim bolj podobne rezultate. Kvalitativne raziskave težko ponavljamo, zato Mesec (ibid.) kriterij zanesljivosti ublaži na ta način, da kot zanesljivo raziskavo označi raziskavo, v kateri čim bolj prepričljivo pokažemo, da bi prišli do enakih ugotovitev, če bi lahko raziskavo ponovili ob sicer nespremenjenih okoliščinah. To pomeni, da moramo natančno in izčrpno opisati postopke zbiranja podatkov in dokumentirati vsako infor- macijo. Raba triangulacije (Patton 1990: 461-492) je pomembna za preverjanje konsistentnosti rezul- tatov, ki smo jih dobili s pomočjo različnih metod zbiranja podatkov (kvalitativnih in kvantitativnih). Druge možnosti so še, da preverimo različne vire podatkov z isto metodo (npr. postavimo ista vpra- šanja prostovoljcem in njihovim mentorjem), upo- rabimo različne ljudi za analizo istih podatkov ali uporabimo več perspektiv oz. teorij za inter- pretacijo podatkov. Drugič, pomembna je verodostojnost razisko- valca (evalvatorja), ki je odvisna od treninga, izku- šenosti, statusa. Ker je raziskovalec tudi sam instrument kvalitativne raziskave (z epistemo- loškega vidika je v interpretativni paradigmi, na kateri temelji kvalitativno raziskovanje, svet pro- izvod spoznavajočega subjekta, predmet spozna- vanja pa ni neodvisen od raziskovalca), mora v poročilu zapisati, kakšne so njegove izkušnje, usposobljenost, osebne povezave z ljudmi in pro- gramom oz. projektom, ki ga evalvira. Evalvator lahko vpliva na rezultate študije zaradi reakcij udeležencev in osebja na njegovo prisotnost, za- radi sprememb v njem samem tekom evalvacije, zaradi predispozicij oz. usmeritev in zaradi (ne)- kompetentnosti. Tretjič - pomembno je tudi filozofsko prepri- čanje o fenomenološki paradigmi. Gre za to, ali cenimo naturalistično raziskavo, kvalitativne me- tode in induktivno analizo. Kaj je resnica, je nam- reč težko odkriti. Pozitivisd poudarjajo, da obsta- ja le ena materialna resničnost in da so rezultati ali resnični ali napačni. Vendar je ideja o tem, kaj je resnično, odvisna od perspektive človeka, ki to preučuje. Pomembno je, da evalvator zamenja svoje zanimanje za resnico z zanimanjem za prak- tično koristnost. Ker pri kvalitativnih metodah uporabljamo manjši vzorec, rezultatov ne more- mo posploševati. Poleg tega se moramo zavedad, da so rezultati evalvacije uporabni le v pogojih, v katerih smo jih pridobili. Interpretacije delamo predvsem za tiste ljudi, ki jih pričakujejo in jih bodo uporabili. Lahko sicer predvidimo vzročne povezave med procesom programa in pričako- vanimi rezultati, ne moremo pa z gotovostjo trditi, da obstajajo. Tako je treba, če želimo utemeljiti verodostoj- nost raziskave, natančno opisati postopke zbira- nja podatkov, analize, urediti in shraniti informa- cije, da je v vsakem trenutku mogoče izvesti preverjanje. :■ vi.uD':; :д. .s. i SKLEP Na primeru dela projekta prostovoljnega dela na Šolskem centru v Velenju smo prikazali postopek priprave načrta in izvedbe kompleksne evalvacije (Rihter 2001). Ta evalvacija je temeljila na čistem kvalitativnem pristopu in na mešanih pristopih, ki naj bi omogočili vpogled v določene podatke, ki jih potrebujemo za izvedbo evalvacije. Ugoto- vili smo, da je bilo mogoče v celoti izvesti zastav- ljen načrt evalvacije, pri čemer sta zbiranje in ana- liza kvalitativnih podatkov vzela veliko časa. Eval- vacija procesa namreč zahteva, da opazujemo dogajanje oz. da nekdo opiše celoten postopek dogajanja, kar je pri projektih prostovoljnega dela pogosto dolgotrajna aktivnost (srečanja prosto- voljcev z uporabniki pomoči so navadno enkrat tedensko, projekti pa trajajo najmanj leto). Evalva- cija (ne)namernih učinkov in ciljev pri prostovolj- cih predpostavlja vsaj izvedbo intervjuja, katerega časovni okvir je odvisen od vprašanj, na katera želimo dobiti odgovor. Tudi analiza kvalitativnih podatkov je trdo delo, ki zahteva veliko ur pregle- dovanja zapiskov, organiziranja podatkov, odkri- vanja vzorcev, preverjanja veljavnosti virov podat- kov in vzpostavljanja povezav med različnimi deli podatkov. Ko analiziramo vsebino, začnemo naj- prej z branjem in ob strani delamo pripombe, kaj bi lahko naredili z določenimi deli podatkov. To je začetek organiziranja podatkov oz. kodiranja. V teh zapisih lahko odkrijemo razne vzorce, obli- kujemo tipologije, izvedemo analizo s križanjem dimenzij na logični osnovi in šele nato lahko začnemo z interpretacijo. Predpostavljamo, da je tudi pri evalviranju projektov prostovoljnega dela na drugih področjih mogoče z uporabo kvalitativnega pristopa in kvalitativne metodologije priti do pomembnih podatkov in informacij, ki bi jih sicer (če bi izhajali iz stališča, da je edina prava znanstvena evalvacija 24 POMEN KVALITATIVNIH METOD PRI EVALVACIJI ROJEKTOV PROSTOVOLJNEGA DELA tista, Ici temelji na pozitivistični paradigmi) izgu- bili. Vlogo in pomen kvalitativnih metod vidimo v tem, da spodbudimo evalviranje projektov prosto- voljnega dela tudi z vidika samega procesa, (ne)- namernih učinkov in tistih ciljev (predvsem pri prostovoljcih), ki jih je resnično težko izmeriti z uporabo kvantitativnih metod. Le na ta način namreč dobimo kompleksno sliko o posameznem projektu prostovoljnega dela in ne le parcialnega vpogleda v tiste aktivnosti, ki jih je mogoče izme- riti na podlagi kvantitativne strategije raziskovanja (evalviranja). OPOMBA ' Evalvacijo razumemo tako, kot jo opredeli Blaž Mesec. Gre za postopek, v katerem zberemo objek- tivne podatke o projektu prostovoljnega dela in ugotavljamo, koliko je v skladu z veljavnimi pravnimi normami, običaji in zahtevami okolja, kako dosega cilje in kakšni so (ne)namerni učinki. . ■ . LILJANA RIHTER ' - ■ . ; Ч'£ : LITERATURA C ilr.U./.-,: ^l,^hl ..^4: D. E. Chambers, K. R. Wedel, M. K. Rodwell (1992), Evaluating Social Programs. Massachusetts: AUyn and Bacon. ..., J. СнЕЕТНАМ, R. Fuller, G. McIvor, A. Fetch (1992), Evaluating Social Work Effectiveness. Buclcingham: Open University Press. C. T. FiTZ-GiBBON, L. L. Morris (1987), How to Design a Program Evaluation. Newbury Park: Sage. A. Halmi (1996), Kvalitativna metodologija u društvenim znanostima. Zagreb: A.G. Matos. B. Mesec (1997), Metodologija raziskovanja v socialnem delu. Ljubljana: Visoka šola za socialno delo (študijsko gradivo). - (1998), Uvod v kvalitativno raziskovanje v socialnem delu. Ljubljana: Visoka šola za socialno delo. - (2002), Metodologija evalvacije prostovoljnega dela. V: A. Mikuš Kos (ur.), Prostovoljci in varovanje duševnega zdravja otrok. Ljubljana: Slovenska filantropija - Združenje za promocijo prostovoljstva in Kolaborativni center SZO pri Svetovalnem centru za otroke, mladostnike in starše (232—243). A. MiKuž-Kos (1997), Vzgoja za prosocialno vedenje. V: Zbornik strokovnih tekstov na temo otroških parlamentov v letu 1997: Odnosi med vrstniki. Ljubljana: ZPMS (4-10). - (2002): Prostovoljci in varovanje duševnega zdravja otrok. Ljubljana: Slovenska filantropija - Združenje za promocijo prostovoljstva in Kolaborativni center SZO pri Svetovalnem centru za otroke, mladostnike in starše. Predmetnik obveznih izbirnih vsebin (1998). Postojna: Nacionalni kurikularni svet - Področna kurikularna komisija za gimnazije. M. O. Patton (1990), Qualitative Evaluation and Research Methods. Newbury Park: Sage. L. Rihter (2001), Evalvacija prostovoljnega dela na področju šolstva: Evalvacija projekta prostovoljnega dela na Šolskem centru Velenje. Univerza v Ljubljani: Fakulteta za družbene vede (magistrsko delo). S. Žorga (2002), Kaj lahko ponudimo prostovoljcem in zakaj? Model mentorske supervizije in usposabljanja. V: A. Mikuž Kos (ur.). Prostovoljci in varovanje duševnega zdravja otrok. Ljubljana: Slovenska filantropija - Združenje za promocijo prostovoljstva in Kolaborativni center SZO pri Svetovalnem centru za otroke, mladostnike in starše (61—72). 26