Blaž Mesec, Milko Poštrak, Nino Rede,
Bojan Kern, Nika Cigoj Kuzma
EVALVACIJA PREVENTIVNIH PROGRAMOV
CENTROV ZA SOCIALNO DELO 1995-1998
Nacionalni program socialnega varstva
navaja med strategijami za uresničevanje
socialnovarstvenih ciljev, da bo posamez-
nim skupinam prebivalcev država omogo-
čala vključevanje v posebne preventivne in
druge programe socialnovarstvenih stori-
tev, s katerimi bo mogoče usposabljati mla-
de za opravljanje vloge odgovornega star-
ševstva ter za dobre medosebne odnose v
družini; razvijati solidarnost, dobrodelnost,
samopomoč in druge oblike prostovoljnega
dela; vzpodbujati aktivnosti, s katerimi bo
mogoče preprečevati različne vrste zasvoje-
nosti in nasilja, zasvojenim in žrtvam nasilja
pa nuditi organizirano pomoč pri premago-
vanju zapletenih socialnih stisk; pripravljati
srednjo generacijo na lastno starost in po-
magati družinam, da prek skupin za samo-
pomoč in na druge načine omogočajo sta-
rejšim članom čimdaljše in dostojno biva-
nje v dotedanjem okolju; omogočiti otro-
kom z motnjami v duševnem in telesnem
razvoju, v skladu z njihovimi sposobnostmi,
enake možnosti vzgoje in izobraževanja;
zagotoviti pogoje, ki bi omogočili odraslim
osebam s posebnimi potrebami neodvisno
in samostojno življenje ob pomoči družine,
invalidskih organizacij, drugih nevladnih
organizacij in državnih služb.
Med storitvami javne službe, ki jih zago-
tavlja država, so navedeni »ukrepi in dejav-
nosti, s katerimi se preprečujejo socialne
stiske in težave (socialna preventiva)«. Za
te storitve predvideva Nacionalni program
v Merilih za določitev mrež javne službe
enega strokovnega delavca na vsakih
50.000 prebivalcev in 40 izvajalcev za orga-
niziranje in koordinacijo različnih preven-
tivnih programov v lokalni skupnosti. V
organizacijskih kriterijih predvideva, da se
programi socialne preventive organizirajo
za območje upravne enote.
V Programu izvajanja socialnovarstvenih
storitev so navedene naslednje strategije
uresničevanja socialne preventive: 1. Za
otroke in mladostnike bomo organizirali
preventivne programe, ki prispevajo k po-
zitivni socializaciji in oblikujejo kakovostne
medsebojne odnose s poudarkom na odn-
osu med spoloma in odnosu do šole, dela
in zdravega načina življenja. 2. Za družine
bomo razvili in vpeljali preventivne progra-
me, ki bodo osnova za samopomoč na
področju partnerskih odnosov, vzgoje in
drugih vsebin družinskega sožitja. 3. Kot
pripravo na lastno smiselno starost in samo-
pomoč pri zadovoljevanju nematerialnih
potreb bomo do leta 2005 aktivirali in uspo-
sobili prostovoljce srednje generacije za
organizacijo in vodenje skupin starih za
samopomoč in starejšim osebam omogočili
vključitev v te skupine.
Po podatkih Ministrstva za delo, družino
in socialne zadeve je to ministrstvo v letih
Raziskavo je izvedla Visoka šola za socialno delo v Ljubljani, financiralo jo je Ministrstvo za delo,
družino in socialne zadeve R Slovenije po pogodbi št. 600-004/98-02. Pri empiričnem delu so
sodelovale zunanje sodelavke: Andreja Bogataj, soc. del., prof. ped., Marija Kampuš, dipl. soc. del.,
Marija Klasič, dipl. soc. del., Sonja Premrn, dipl. soc. del.. Lili Ropret Červek, dipl. soc. del., Sonja
Šunko, dipl. soc. del., Valentina Vovk Resinovič, dipl. soc. del.
135
BLAŽ MESEC, MILKO POŠTRAK, NINO RODE, BOJAN KERN, NIKA CIGOJ KUZMA
od 1995 do 1998 sofinanciralo vsako leto
od sto petdeset do čez dvesto preventivnih
programov oziroma projektov. Pričakovano
in nujno je vprašanje o njihovi uspešnosti
in učinkovitosti pri doseganju preventivnih
ciljev.
Pred vsako evalvacijo uspešnosti in učin-
kovitosti preventivnih programov je treba
poudariti dejstvo, da je v okviru teh pro-
gramov in projektov v Sloveniji zaživela
množica skupin in organizacij, ki povezu-
jejo še večjo množico ljudi, mladih, odra-
slih in starih v široko razpredeno mrežo,
in tako ne glede na to, kako dobro dosegajo
cilje, ki so sijih zastavili in katerih dose-
ganje pričakujejo od njih družbene agen-
cije, s samim svojim obstojem in ohran-
janjem svoje dejavnosti dosegajo temeljni
cilj, to je, prispevajo k družbeni integraciji
ogroženih skupin prebivalstva. Ta integra-
cija je dejstvo; obstoj konstruktivno delujo-
čih skupin je dejstvo; biti član take skupine
in prihajati na njene sestanke pomeni biti
z nekom povezan, ne izključen. Ob tem
dejstvu je — če nekoliko pretiravamo — mer-
jenje uspešnosti in učinkovitosti doseganja
avtonomno oblikovanih ciljev skupine ali
heteronomnih preventivnih ciljev drugot-
no vprašanje.
To stališče se bo morda zdelo nenavad-
no, vendar odraža temeljno spremembo v
pojmovanju funkcije družbenih entitet. Po
preseženem pojmovanju ima družbena
skupina pravico do svojega obstoja, če rabi
višjemu smotru, to je, če izpolnjuje kakšno
družbeno funkcijo; če je dobro orodje. Po
sodobnem pojmovanju, ki izhaja iz sistem-
ske družbene teorije, »ima pravico« do ob-
stoja, ker obstaja; ker živi in deluje kot
družbeni organizem, sposoben življenja in
izmenjave z okoljem. V našem primeru
pravzaprav ni nasprotja med obema pojmo-
vanjema, saj je obstoj teh družbenih orga-
nizmov neločljiv od njihove integrativne
funkcije. Ko obstajajo, povezujejo ljudi,
katerih povezanost je ogrožena.
Merjenje uspešnosti in učinkovitosti
moramo torej videti v tem širšem kontekstu
in izide tega merjenja obravnavati ob upo-
števanju integrativne funkcije, ki jo imajo
ti projekti že s tem, da so, ne glede na boljše
ali slabše doseganje drugih ciljev. To je
stališče, ki ga lepo izraža stavek, ki ga je o
mladostniku, vključenem v projekt, izrekel
eden od izvajalcev: »Ne vemo, kaj se dogaja
z njim, vendar prihaja.« Merjenje uspešnosti
preventive je zahtevna, če ne prav nemo-
goča naloga: pomeni zanesljivo ugotoviti,
da bi človek zašel v rizično situacijo, če ne
bi bil vključen v preventivni program;
pomeni napovedati prihodnost na osnovi
podatkov o preteklosti in sedanjosti, kar je,
če upoštevamo, da so ljudje samodeter-
minirajoča bitja, tvegano početje.
V tej raziskavi smo poskušali ugotoviti,
kaj se dogaja v okviru preventivnih projek-
tov, iz kakšnih teoretskih izhodišč izhajajo,
kakšne dejavnosti izvajajo, do kakšnih spre-
memb pri udeleženih pripeljejo. To smo
hoteli ugotoviti ne toliko zato, da bi izmerili
njihove učinke, kot zato, da bi ugotovili, ali
se v njih odvijajo konstruktivni procesi, ki
ohranjajo te skupine pri življenju in v njih
zadržujejo ljudi, ki bi sicer morda zdrknili
na družbeno obrobje.
Pri izvedbi raziskave smo se oprli na že
izvedene samoevalvacije nekaterih projek-
tov. Te evalvacije so bile izvedene pod men-
torstvom nosilca projekta kot diplomske
naloge študentov Visoke šole za socialno
delo (razen ene, ki je bila izvedena posebej
v okviru tega projekta), socialnih delavcev
z nekajletno prakso (ki so nadgrajevali
višješolsko izobrazbo), ki so sami vodili
preventivne projekte ali v njih sodelovali.
Te evalvcije torej odražajo zorni kot izvajal-
cev projektov in jih upravičeno imenujemo
samoevalvacije. Te evalvacije smo dopolnili
z dodatnim zbiranjem gradiva in jih prire-
dili v skladu z enotno shemo, ki omogoča
primerjavo ključnih vidikov delovanja
projekta. Tako dopolnjene in prirejene sa-
moevalvacije smo podvrgli metaevalvaciji,
ki so jo opravili člani raziskovalne skupine
v obliki kvalitativnega in kvantitativnega
ocenjevanja s pomočjo ocenjevalnih lestvic,
ki pokrivajo glavne vidike delovanja pro-
jektov.
Raziskovalna naloga je prva sistematična,
obsežnejša evalvacija ne le preventivnih
projektov na področju socialnega varstva,
ampak socialnega dela pri nas sploh. Zaradi
okoliščin, v katerih je bila izvedena, zlasti
zaradi kratkega roka, ima naravo uvoda v
136
EVALVACIJA PREVENTIVNIH PROGRAMOV CENTROV ZA SOCIALNO DELO 1995-1998
bolje predvidevano in načrtno zastavljeno
dolgoročnejše evalvacijsko raziskovanje, ki
bi lahko dosledneje kot ta raziskava upošte-
valo običajne metodološke norme.
PROBLEM
Raziskava je poskušala odgovoriti na vpra-
šanje, kakšne so značilnosti projektov pre-
ventivnega dela, ki jih izvajajo centri za
socialno delo na področju Slovenije, kako
potekajo ter kako uspešni in učinkoviti so.
METODA
STRATEGIJA EVALVACIJE
Raziskava temelji na metodi kompleksne
večnivojske evalvacije ali »evalvacijske
mreže« (Mesec 1996; 1997) in na razliko-
vanju med samoevalvacijo in metaevalva-
cijo (ekspertno evalvacijo). Naj povzame-
mo osnovno o kompleksni večnivojski
evalvaciji. Če hočemo, da bi bil projekt pra-
vično ocenjen, je dobro zajeti vse podatke,
ki lahko vplivajo na oceno. Ni modro
preverjati le skrajne, najbolj zaželene ali
najteže dosegljive učinke, ampak moramo
biti pozorni tudi na spremembe na različ-
nih vmesnih ravneh. Temu je namenjen
postopek »kompleksne evalvacije«, v kate-
rem upoštevamo različne vrste in ravni
evalvacije. Postopek kompleksne evalvacije
je široka in drobno spletena mreža za lov-
ljenje relevantnih podatkov o projektu.
Komponente kompleksne (večnivojske)
evalvacije so:
•	evalvacija vloženega napora: npr. šte-
vilo sodelujočih in njihova usposobljenost,
število opravljenih delovnih ur, število se-
stankov; teoretska osnova; vložena sredstva;
•	evalvacija procesa: opis procesa dela,
skupinskega procesa, tako kot smo nakazali
zgoraj;
•	evalvacija doseganja ciljev, a) uspeš-
nost (doseganje ciljev: eksplicirati cilje,
kriterije, ugotoviti, koliko so doseženi); b)
učinkovitost (razmerje med vloženim na-
porom in uspešnostjo pri doseganju ciljev,
relativni stroški doseganja ciljev — čas.
napor);
• evalvacija učinkov oz. posledic (na-
mernih in nenamernih) na različne sode-
lujuče in na družbeno okolje.
Te štiri vrste evalvacijskih podatkov lah-
ko zberemo na treh ravneh: na individualni
(uporabniki, prostovoljci, strokovni delav-
ci), skupinski (skupine uporabnikov, super-
vizijske skupine) in organizacijski, skup-
nostni (ustanova, organizacija, vodstvo,
skupnost, javnost).
Poleg tega v tej mreži upoštevamo še, na
koga naj bi projekt učinkoval. V grobem lah-
ko razlikujemo učinke na izvajalce in njiho-
vo organizacijsko okolje in na uporabnike
in njihovo družbeno okolje. Pri podrobnejši
členitvi si lahko pomagamo s klasifikacijo,
ki jo je izdelala Anica Kos: učinki na posa-
meznike, ki prejemajo pomoč (učinki
funkcionalne ali stvarne pomoči, učinki
emocionalne ali odnosne, osebne pomoči);
učinki na družinsko okolje uporabnikov
(razbremenitev, zadovoljstvo, povezanost );
učinki na prostovoljce (znanje, poučenost,
stališča, vrednote, samopodoba); učinki na
strokovnjake (večja občutljivost za pro-
bleme, revizija doktrine, manjša distanca,
preureditev vloge); učinki na ustanove,
skupnosti, kjer se odvija socialno delo (inte-
gracija, kooperacija, status, javna podoba).
METODOLOŠKA STRATEGIJA:
PRIMERJALNA ŠTUDIJA PRIMEROV
Pojem »študija primera« se uporablja za
prijem pri raziskovanju pojavov s pomočjo
proučevanja posameznih primerov (1)
družbenih entitet, (2) družbenih procesov
in postopkov in (3) proizvodov materialne
in duhovne kulture v njihovem realnem
življenjskem kontekstu tako, da se o pri-
meru zbere podatke iz različnih virov in z
različnimi metodami; da se primer po-
drobno in celostno opiše in analizira; in da
se na tej osnovi oblikuje teoretične pojme,
pojasnitve in posplošitve (generalizacija)
ali pa pojasnitve narave in posameznih pri-
merov samih, njihovega razvoja in procesov
njih (specifikacija). V našem primeru gre
za študijo posameznih primerov družbenih
entitet, tj., preventivnih projektov, ki jih
137
BLAŽ MESEC, MILKO POŠTRAK, NINO RODE, BOJAN KERN, NIKA CIGOJ KUZMA
pojmujemo kot organizacijske sisteme;
znotraj njih analiziramo posamezne prime-
re interakcij in postopkov (analiza procesa).
Naša raziskava je pluralna ali komparativna
študija primera, saj proučujemo več prime-
rov, ki jih med seboj primerjamo in tako
vidimo, kako se določene značilnosti po-
navljajo in utrjujejo predstavo ponavlja-
jočega se vzorca; poleg tega pa omogočijo
dodajanje novih in novih značilnosti in
novih vzorcev in tako omogočajo vpogled
v variacije osnovnega vzorca in odkrivanje
novih vzorcev. Pluralne študije primera
vključujejo sicer več kot en primer, vendar
nikoli velikega števila primerov in tudi ne
uporabljajo statističnega načina sklepanja.
Ker gre za hierarhično strukturirane proje-
kte, uvrščamo to raziskavo med sestavljene
študije primera, saj proučujejo sestavljene
strukture, ki so diferencirane horizontalno
in vertikalno.
Logika sklepanja pri študiji primera je
analitična indukcija (analitična generali-
zacija).
Posamezen primer »vsebuje« obče zna-
čilnosti dveh vrst: nenujne, tiste, za katere
bi s proučevanjem več posameznih prime-
rov ugotovili, da so jim skupne; in nujne,
tiste, ki so skupne večjemu ali manjšemu
številu primerov, ker se pri vsakem posa-
meznem od njih zakonito pojavljajo zaradi
zveze z drugimi značilnostmi tega posamez-
nega primera. Pri analitični indukciji na
posameznem primeru proučimo, kako so
posamezne lastnosti, procesi ali dogodki
med seboj povezani, v kakšnih odnosih ali
razmerjih so: strukturnih (npr. hierarhični
odnosi), časovnih, historičnih (zaporedni
dogodki, sočasni dogodki; kaj čemu sledi)
ali dinamičnih, razvojnih (kaj se iz česa
razvije ipd.). Tudi če ugotovimo določeno
vrsto povezanosti v enem samem primeru,
je to lahko teoretsko pomembno. Ali dru-
gače: pri statistični indukciji vsak nov pri-
mer sočasnega pojavljanja dveh lastnosti
utrdi zaupanje v korelacijo med njima; pri
analitični indukciji vsaka povezava (časov-
na, prostorska idr.) dane lastnosti, dogodka
z novim dogodkom, lastnostjo, objektom
utrdi mrežo povezav (pojmovno mrežo),
četudi se pojavlja samo v enem primeru,
podobno kot en sam uspešen eksperiment
z dano konstelacijo variabel utrdi zaupanje
v hipotezo (podrobneje o logiki študije
primera v Mesec 1998).
IZBOR PROJEKTOV
Populacijo sestavljajo projekti preventiv-
nega dela, ki so jih izvajali centri za socialno
delo na področju R Slovenije v letih od 1995
do 1998. Izbrani projekti ne predstavljajo
reprezentativnega naključnega vzorca te
populacije, ampak priročni vzorec, ki je
zelo verjetno pozitivno pristranski, saj se
za samoevalvacijo verjetno ne odločajo v
projektih, ki slabo delujejo in nimajo nič
pokazati, ampak prej v projektih, ki delujejo
dobro. Ker gre za primerjalno študijo petih
primerov, je uporabljena logika nestatis-
tičnega analitskega posploševanja, kot velja
za študijo primera.
Ker iz časovnih razlogov ni bilo mogoče
načrtovati evalvacijske raziskave po ekspe-
rimentalnem modelu, saj bi trajala vsaj eno
leto, smo sklenili pregledati evalvacijske in
samoevalvacijske raziskave, ki so bile že
izvedene (pretežno v okviru diplomskih
nalog na Visoki šoli za socialno delo pod
mentorstvom nosilca raziskave) in v katerih
je bil uporabljen pristop kompleksne
večnivojske »evalvacijske mreže«. Izmed več
tovrstnih raziskav smo izbrali pet raziskav,
ki so vsebovale najbogatejše gradivo, ki pa
ga je bilo v večini primerov tudi še treba
dopolniti. V vseh primerih gre za samoeval-
vacijske raziskave, to je raziskave, ki so jih
izvajali nosilci ali sodelavci preventivnih
projektov sami.
Izbrane samoevalvacijske raziskave so
(po abecedi krajev):
•	Preventivni projekt CSD Ajdovščina
»Prostovoljno delo« (projekt A, raziskovalka
Sonja Premru)
•	Preventivni projekt CSD Ljubljana
Moste Polje »Projekt učno-vzgojne pomoči
otrokom in preprečevanja vseh vrst odvis-
nosti« (1998) (projekt B, Lili Ropret Červek,
Valentina Vovk Resinovič)
•	Preventivni projekt CSD Ljutomer
»Skupaj zmoremo« (projekt C, Sonja Šunko)
•	Preventivni projekt CSD Škofja Loka
»Program skupine za samopomoč in zago-
138
EVALVACIJA PREVENTIVNIH PROGRAMOV CENTROV ZA SOCIALNO DELO 1995-1998
vorništvo za Uporabnike psihiatrije« (1997)
(projekt D, Andreja Bogataj)
• Preventivni projekt CSD Šmarje pri
Jelšah »Mladinske delavnice« (1995-1997)
(projekt E, Marija Kampuš, Marija Klasić).
POSTOPEK EVALVACIJE:
SAMOEVALVACIJA IN METAEVALVACIJA
V postopku evalvacije smo kombinirali
samoevalvacijo in naknadno metaevalva-
cijo ali ekspertno evalvacijo. (1) Samoeval-
vacijo so izvedle sodelavke projektov sicer
pod mentorstvom nosilca raziskave in v
skladu s konceptom kompleksne evalvacije,
vendar samostojno. Prvotna samoevalva-
cijska poročila (pretežno diplomske nalo-
ge) smo naknadno prestrukturirali v skladu
s priporočeno enotno strukturo poročil in
jih dopolnili delno na podlagi intervjujev z
avtoricami prvotnih poročil, delno z zbi-
ranjem podatkov na terenu. (2) Tako preob-
likovana in dopolnjena samoevalvacijska
poročila so bila osnova za razpravo v razi-
skovalni skupini, ki ji je sledila metaeval-
vacija vsakega projekta posebej s pomočjo
kriterijev za metaevalvacijo (gl. spodaj).
Prvi osnutek opisne ocene projekta po
shemi za metaevalvacijo je pripravil razisko-
valec, odgovoren za določen projekt. Razi-
skovalna skupina je nato razpravljala o teh
osnutkih in sprejela končno različico
opisnih ocen.
RAZISKOVALNI POSTOPKI
SAMOEVALVACIJSKIH ANALIZ
Vsem raziskovalnim postopkom, s katerimi
so preverjali uspešnost projektov (dosega-
nje ciljev in učinke), je skupno to, da niso
bili izvedeni po eksperimentalnem načrtu,
ampak se opirajo pretežno na anketne
raziskave mnenj in ocen udeležencev
projekta in delno na bolj ali manj podrobne
analize procesa dela (prikazi posameznih
primerov s komentarjem ali refleksijo). V
teoriji evalvacije velja, da mnenjskih po-
datkov ne gre podcenjevati in da je usmeri-
tev na proučevanje mnenj uporabnikov in
drugih udeležencev v projektih pomenila
prelomnico v evalvacijskem raziskovanju,
usmeritev k doživljanju »subjektov« social-
nodelavskih posegov, proč od objektivis-
tične arogance eksperimentalnih raziskav.
Vendar pa seveda ni mogoče zanikati, da
so eksperimentalna preverjanja učinkov
projektov lahko bolj prepričljiva kot
podatki o mnenjih, čeprav lahko po drugi
strani s svojo »trdoto« zavajajo, kadar spre-
gledajo težje merljive učinke, etapne ali
posredne učinke. Prav zato se pri evalvaciji
nismo oprli samo na podatke, zbrane z an-
ketami ali na opise primerov in dnevniške
ali podobne zapise, ampak smo ocenili
izvedbo in učinke projekta kot celote v
lokalnem okolju. Vsekakor naj za prihodnje
podobne raziskave velja, da je treba sestaviti
kontrolne ali primerjalne skupine, izvesti
merjenja pred vključitvijo klientov v
projektne dejavnosti in po določenem času
— ne prekratkem, da se lahko izrazijo učinki
—, poleg tega pa spremljati dogajanje med
obema merjenjema. Vsekakor ni dopustno,
da celo v metodološko bolje izvedenih
samoevalvacijah ni skoraj nobene primer-
jalne meritve pred vključitvijo in po njej (na
primer učnega uspeha učencev pred vklju-
čivijo v učno pomoč in po nekaj mesecih
pomoči). Tudi ta opustitev je posledica
dejstva, da se pri načrtovanju projektov ne
upošteva, da bi morali biti samoevalvacijski
postopki samodejno vključeni v izvedbo
projekta. Evalvacije so tako sporadične in
post festum.
Ker nismo imeli na voljo »trdih« podat-
kov o razlikah, ki bi jih projektne dejavnosti
povzročile na kriterijskih variablah uspeš-
nosti, smo se morali zateči k ekspertnemu
ocenjevanju projektov. Da bi pri tem oce-
njevanju upoštevali zadostno število rele-
vantnih dimenzij projektov in da bi ga
kolikor mogoče standardizirali, smo izdelali
vrsto ocenjevalnih lestvic.
KRITERIJI METAEVALVACIJE
Lestvice za ocenjevanje dimenzij projektov
upoštevajo 19 dimenzij, ki so naštete in
definirane spodaj:
139
BLAŽ MESEC, MILKO POŠTRAK, NINO RODE, BOJAN KERN, NIKA CIGOJ KUZMA
A. VLOŽEK
1.	Vloženi kadrovski potencial
Kvaliteta kadrov, izražena z vrsto in sto-
pnjo izobrazbe in usposobljenosti; ugodno
razmerje kadri/uporabniki
5 - visoka izobrazba ustrezne smeri;
dodatna specifična usposobljenost; veliko
ustreznih praktičnih izkušenj; ugodno
razmerje kadri/uporabniki
2.	Vloženi potencial znanja
Zanesljivost, širina, poglobljenost zaklad-
nice znanja, na katerem temelji model pro-
jekta (napoved ugodnih učinkov projektne
dejavnosti na kriterijske variable)
5 - dobro preverjeno, koherentno, ino-
vativno, specifično znanje, kodificirano v
literaturi; možno navesti literaturo, priroč-
nike
3.	Specifično usposabljanje kadrov
V okviru projekta oziroma kot priprava
na projekt izvedeno specifično usposablja-
nje kadrov za delo v okviru projekta z dano
populacijo
5 - izvedeno tako usposabljanje; s kvali-
tetnimi učitelji; v izkustveni obliki z aktiv-
nim sodelovanjem
B. SMOTRNOST (CILJNA USMERJENOST)
4.	Teoretična utemeljenost in skladnost
projekta
Projekt je teoretično utemeljen, če lahko
izkaže ali eksplicira besedilo (avtorje) teo-
rije ali eklektične teorije, na kateri temelji,
in eksplicira model povezav med varia-
blami projekta (obravnave) in kriterijskimi
variablami (vedenja, socialne situacije); če
je ta teorija skladna s cilji projekta, siste-
matična, koherentna in empirično prever-
jena (navedbe raziskav).
5 - visoka stopnja eksplikacije idr. di-
menzij
5.	Ciljna relevantnost storitev
Storitve so ciljno relevantne, če je eks-
pliciran preverjeni odnos med storitvami
projekta in cilji projekta (spremembami
odvisnih variabel).
5 - visoka stopnja relevantnosti
6.	Specifičnost prevencije (storitev)
Storitve, pretežno usmerjene na speci-
fično populacijo, populacijo s specifičnimi
značilnostmi (npr. prestopniki) ali na spe-
cifične dimenzije vedenja, doživljanja, soc.
funkcioniranja, kvalitete življenja vs. usmer-
jenost na splošno populacijo in nespeci-
ficirane dimenzije funkcioniranja
5 - Specifična populacija, definirana kot
ogrožena, specifične težave; definirane spe-
cifične dimenzije soc. funkcioniranja,
doživljanja, kvalitete življenja
C. KVALITETA IZVEDBE
7.	Skladnost implementacije
Implementacija je tem bolj skladna s teo-
rijo, čim bolj se praktična izvedba projekta
ujema z idealno (teoretično) zamišljeno ozi-
roma načrtovano.
5 - visoka stopnja skladnosti praktične
izvedbe z načrtovano
8.	Kvaliteta storitev
Izvedba storitev z upoštevanjem organi-
zacijskih, metodičnih, etičnih in drugih
strokovnih kriterijev
5 - Ustrezanje izvedbe storitev najvišjim
metodičnim in drugim kriterijem
9.	Ustreznost vodenja in upravljanja
projekta
Vodenje projekta je ustrezno, če ustreza
kriterijem »novega vodenja«: porazdeljeno
vodenje, vključevanje v odločanje, dvosmer-
na komunikacija, inspirativnost, zunanje
povezovanje. Upravljanje je ustrezno, če
upošteva kriterije zakonitosti, ekspeditiv-
nosti, odgovornosti, urejenosti.
5 - večini kriterijev ustreza
10.	Ustreznost odnosa z uporabniki
Odnos je ustrezen, če se z upoštevanjem
metodičnih načel uresničujejo: akcepti-
ranje uporabnika, empatija, zavzemanje nje-
govega stališča, upoštevanje, spoštovanje
(na strani delavca); doživljanje uporabnika:
identifikacija z delavcem, občutek spreje-
tosti, razumljenosti, zadovoljenosti potreb,
učenja, razvoja in napredka.
5 - uresničena večina kriterijev
140
EVALVACIJA PREVENTIVNIH PROGRAMOV CENTROV ZA SOCIALNO DELO 1995-1998
Ć. USPEŠNOST (DOSEGANJE CILJEV)
11.	Izboljšanje socialnega funkcionira-
nja (veščin)
Izboljšanje socialnih veščin (vzpostav-
ljanje stika, komuniciranje, izražanje jeze,
želja, sklepanje kompromisov).
5 - izboljšanje na večini dimenzij; velikem
številu domenzij
12.	Izboljšanje doživljanja sebe in
drugih
Izboljšanje vidikov doživljanja: samo-
podoba, ocenjevanje sebe, ocenjevanje
drugih, identifikacija s pozitivnimi vzori,
samozavest, optimizem, smiselnost.
5 - izboljšanje na večini dimenzij
13.	Izboljšanje specifičnih kritičnih
ciljnih vedenj
Vedenja, ki so bila povod vključitve, ob-
ravnave (zasvojenost - recidivi, slab učni
uspeh, špricanje, begi, prekrški, prestopki,
depresija, motnje hranjenja itn.).
5 - pomembno izboljšanje kritičnega
vedenja ali izboljšanje ne več dimenzijah
14.	Izboljšanje kvalitete življenja
Življenjski položaj, okoliščine: gmotni,
zaposlitev, družinsko vzdušje, stanovanje
ipd.
5 - pomembno izboljšanje ali izboljšanje
na večini dimenzij
15.	Izboljšanje socialne vključenosti
Vključenost v družbene skupine in pro-
cese učenja in dela: izboljšanje sociometrič-
nega statusa v vrstniški skupini, vključitev
v vrstniško skupino, izboljšaje položaja v
družini, šoli, vključitev v šolo, zaposlitev, v
prostočasno dejavnost, društva.
5 - pomembno izboljšanje
D. UČINKOVITOST
16.	Finančna učinkovitost
Razmerje med koristmi in stroški; dotaci-
jo in stroški, koristmi in porabljenim časom.
5 - visoka učinkovitost
17.	Učinkovitostno razmerje (output/
input)
Razmerje med rezultati in porabljeno
energijo, znanjem, časom, sredstvi.
5 - visoka vrednost koeficienta
E. DELOVANJE ORGANIZACIJE
18.	Izboljšanje notranjega delovanja
izvajalske organizacije
Struktura in procesi v organizaciji: vode-
nje, odločanje, komuniciranje, strukturne
spremembe, vzdušje, reševanje konfliktov.
5 - pomembno izboljšanje
19.	Izboljšanje zunanjega delovanja
izvajalske organizacije
Povezanost organizacije z okoljem (šte-
vilo povezav, nove povezave), status ugled
organizacije v okolju, nove naloge (zaupa-
nje, posel).
5 - pomembno izboljšanje
REZULTATI: POVZETEK METAEVALVACIJE
A. VLOŽEK
Vloženi kadrovski potencial. Kadrovski
potencial vseh obravnavanih projektov je
visok. Projekte praviloma vodijo strokov-
njaki z visoko izobrazbo (diplomirani so-
cialni delavci, psihologi, pedagogi); tudi
posamezne dejavnosti v njihovem okviru
dostikrat vodijo strokovnjaki z visoko ali
višjo izobrazbo, s srednjo izobrazbo ustrez-
ne smeri (pedagoška), ali pa prostovoljni
sodelavci, ki so pogosto študentje social-
nega dela in drugih družbenih ved. Strokov-
njaki, ki sodelujejo pri projektih, so pravilo-
ma dodatno specifično usposobljeni za pro-
jektno dejavnost na seminarjih, kjer prido-
bijo znanje o teoretski podlagi projekta
oziroma praktične veščine za vodenje
dejavnosti. Pri projektih, ki imajo daljšo
tradicijo, imajo strokovnjaki tudi specifične
praktične izkušnje, ki so si jih pridobili v
preteklih letih pri vodenju projekta ali
posameznih dejavnosti v njegovem okviru.
Pri vseh projektih je razmerje med številom
kadrov in številom uporabnikov ugodno:
ponekod gre za individualno delo z relativ-
no majhnim številom uporabnikov na izva-
jalca, ponekod za delo z majhnimi skupina-
mi, družinami ipd., za delovno intenzivno
dejavnost torej.
Vloženi potencial znanja. Znanje, na
katerem temeljijo projekti, bi v splošnem
lahko označili kot kodificirano znanstveno
141
BLAŽ MESEC, MILKO POŠTRAK, NINO RODE, BOJAN KERN, NIKA CIGOJ KUZMA
ali Strokovno znanje; kodificirano pomeni,
da je sprejeto v znanstvenih ali strokovnih
skupnostih in kot tako objavljeno v teo-
retskih znanstvenih ali strokovnih delih,
učbenikih ali priročnikih. Ne gre za prakti-
cistično izkustveno znanje, ampak za razi-
skovalno preverjeno in teoretsko povezano
znanje. Gre torej za znanje najvišjega ranga.
Glede na naravo tega znanja, njegovo širino
in poglobljenost pa so razlike med projekti:
na eni strani je projekt, ki temelji na eksi-
stencialni psihologiji, fenomenološki psiho-
logiji, teoriji skupinske psihoterapije ipd.,
na drugi strani pa projekti, ki temeljijo na
teoriji treninga socialnih veščin, kar je mno-
go ožja, bolj specifična teoretska podlaga.
Mogoče bi bilo razlikovati med projekti, pri
katerih je zveza med variablami projekta
(neodvisne variable) in kriterijskimi varia-
blami (uspešnosti) jasneje izražena in bolj
koherentna, in projekti, pri katerih je ta zve-
za manj jasna in manj koherentna. Dodajmo
še naslednje: govorimo o potencialu znanja,
ne o realno vključenem znanju. To pomeni,
na primer, da se projekt opira na pomem-
bno teoretsko znanje, navaja to znanje kot
svojo podlago in ima možnost črpati iz te
zakladnice, ni pa bilo mogoče ugotoviti,
kako se to znanje dejansko uporablja.
Specifično usposabljanje kadrov. Pri
vseh projektih je bilo v okviru projekta
oziroma kot priprava na projekt izvedeno
specifično usposabljanje kadrov za delo v
okviru projekta. Projekti se med seboj
razlikujejo zlasti glede na to, ali so vključeni
v širšo slovensko mrežo določene dejavno-
sti, kot na primer Mladinske delavnice, ali
pa niso povezani v tak sistem. V prvem pri-
meru je usposabljanje vodij centralizirano,
vodje pa nato prenašajo model na druge
sodelavce. V primeru pa, ko projekt ni pove-
zan v mrežo, lahko ločimo dve situaciji: v
prvi starejši vodje usposabljajo mlajše ali
novejše vodje, ti pa naprej druge sodelavce;
v drugi pa pri novih projektih, ki niso del
mreže, vodje sami (ne da bi se specifično
usposabljali) usposabljajo druge sodelavce.
Usposabljanja potrekajo v izkustveni obliki,
kjer se teoretska predavanja izmenjujejo z
razpravo in praktičnimi vajami.
B. SMOTRNOST (CILJNA USMERJENOST)
Teoretična utemeljenost in skladnost pro-
jektov. Omenili smo že, da lahko vsi projekti
izkažejo teoretsko utemeljenost v tem smi-
slu, da se sklicujejo na teorije, teoretske
pojme ali strokovna načela, ki so osnova
projektnih dejavnosti. Vsi projekti lahko
navedejo dela in avtorje, na katere se v tem
pomenu sklicujejo. Večina projektov navaja
več teorij ali konceptov, ki naj bi bili teo-
retska podlaga projekta; v takem primeru
se zastavlja vprašanje skladnosti med temi
koncepti ali teorijami. V splošnem lahko
rečemo, da je prijem pri vseh projektih, ki
navajajo več teoretskih izhodišč, eklektičen;
ne temelji na eni sami teoriji ali na dobro
usklajenem sistemu teorij. Ta kriterij vse-
buje tudi zahtevo, da mora biti eksplicirana
zveza med variablami projekta (načrtovane
obravnave) in kriterijskimi variablami
(vedenja, socialne situacije). Takih ekspli-
kacij praviloma ne najdemo v razviti obliki,
niti v obliki jasnih hipotez niti kot slike
modela povezav med odvisnimi in neod-
visnimi variablami. Nekatera besedila se tej
zahtevi močno približajo. Na osnovi opisa
domnevnih zvez med učno-vzgojno pomo-
čjo in preprečevanjem odvisnosti (projekt
B) bi lahko npr> narisali tak model in izrekli
hipoteze o povezavah med spremenljivka-
mi. Tudi za projekt samopomočne skupine
duševnih bolnikov (projekt D) ali za projekt
pomoči družinam (projekt C) lahko reče-
mo, da gre za dovolj pojasnjeno in operacio-
nalizirano zvezo med variablami projekta
in kriterijskimi variablami (funkcioniranje
družine, duševnega bolnika).
Ciljna relevantnost storitev. Ciljna rele-
vantnost storitev pomeni zvezo — ne med
načrtovano obravnavo in kriterijskimi va-
riablami, ampak med dejansko izvajanimi
storitvami in kriterijskimi variablami. Mo-
del povezav med značilnostmi projektnih
dejavnosti, kot se dejansko izvajajo, in kri-
terijskimi variablami uspešnosti oziroma
doseganja ciljev ni pojasnjen. Snovalci pro-
jektov teh dveh vidikov ne razlikujejo; niso
pozorni na možno razliko med načrtova-
nim ali predvidenim in dejansko izvede-
nim. Zveza med teorijo in konkretnimi
storitvami (treningi, skupinskim delom.
142
EVALVACIJA PREVENTIVNIH PROGRAMOV CENTROV ZA SOCIALNO DELO 1995-1998
svetovanjem, učno pomočjo ipd.) ni prav
sistematično pojasnjena, prav tako ne teo-
retske povezave med storitvami in cilji
projektov. Prav mogoče je (to so navsezad-
nje pokazale tudi tuje empirične raziskave),
da je treba učinke projektnih dejavnosti v
veliki meri pripisati nespecifičnim dejavni-
kom, tj., dejavnikom, ki ne izhajajo ne iz
teorije, na katero se sklicujejo vodje projek-
ta, ne iz teoretsko utemeljenih specifičnih
storitev, metod in tehnik dela, ampak so
posledica nespecifičnih dejavnikov, kot so
druženje, redno prihajanje, pozornost, ki
so je deležni, spoštljiv odnos ipd., ki se
pojavljajo pri vseh prijemih. Vendar to samo
po sebi še ničesar ne pove o uspešnosti
projektnih dejavnosti, saj je znano, da je
lahko obravnava uspešna, ne da bi vedeli
zakaj, in da je, nasprotno, povsem ekspli-
citen, koherenten in empirično preverjen
model lahko v danem kontekstu neuspešen.
Specifičnost prevencije (storitev). Glede
na to dimenzijo se projekti precej razliku-
jejo. Pri nekaterih je populacija zelo specifi-
čna in izbrana (psihiatrični pacienti, učenci
s slabim učnim uspehom, disfunkcionalne
družine), pri drugih pa ne (vsi učenci višjih
razredov OŠ, prostovoljci). V skladu s temi
razlikami se projekti razlikujejo glede na
opredelitev vrste preventive (primarna, se-
kundarna, terciarna), pri čemer se primar-
no preventivni usmerjajo na splošno popu-
lacijo, sekundarno in terciarno preventivni
pa na bolj specifične populacije. Pri ocenje-
vanju te dimenzije se izhaja iz predpostav-
ke, da je večja specifičnost boljša, saj lahko
jasneje definiramo kriterijske variable in
neodvisne variable (storitve, dejavnosti), ki
naj bi vplivale nanje, poleg tega pa to pome-
ni, da se projekt usmerja na bolj ogroženo
populacijo. Med projekti sta torej dva, ki
sodita k primarni preventivi (projekt A in
E); dva, ki sodita k sekundarni preventivi
(projekta B in C) in eden, ki sodi k terciarni
preventivi (projekt D).
C. KVALITETA IZVEDBE
Skladnost implementacije s teorijo. Imple-
mentacija je tem bolj skladna s teorijo, čim
bolje praktična izvedba projekta sledi ideal-
no (teoretsko) zamišljeni oziroma načrtova-
ni. O skladnosti implementacije ali praktič-
ne izvedbe projektov s teorijami, na katerih
temeljijo, in o ustrezni prevedbi teoretskih
postavk v izvedbeno prakso je težko soditi,
ker vsem projektom manjka precizna ope-
racionalizacija teoretskih postavk v načrtu
projekta, oziroma, niso jasno razmejena
teoretska besedila od načrtov projektov.
Vendar, na primer, lahko pri projektu B
presodimo, da je implementacija skladna s
teorijo. Učno-vzgojna pomoč je osrednja
dejavnost, ki jo druge dejavnosti podpirajo.
Tudi kadri so ustrezno usposobljeni, tako
da ni mogoče reči, da bi bil lepo zamišljen
načrt v izvedbi ogrožen zaradi pomanjkanja
ustreznih kadrov ali drugih praktičnih ovir
in omejitev. Nekaj podobnega velja za
projekt pomoči družinam (projekt C) in
tudi druge projekte. Čeprav vodje tarnajo
nad pomanjkanjem sredstev, ni razvidno,
katere dimenzije izvedbe so do te mere
ogrožene, da bi lahko rekli, da je ogrožena
optimalna uresničitev osnovnih načel
obravnave. Do tega bi lahko prišlo, če ne bi
bilo mogoče dobiti ustrezno usposobljenih
prostovoljcev, če zaradi pomanjkljivega
financiranje ne bi bilo mogoče sestaviti
ustreznega strokovnega tima ipd.
Kvaliteta storitev. Storitve, ki se pojav-
ljajo v projektih, so učno-vzgojna pomoč,
skupinska samopomoč, zagovorništvo,
trening socialnih veščin, socialna pomoč
disfunkcionalnim družinam ipd. Kvaliteta
storitev je, kolikor lahko presodimo po
opisih brez neposrednega opazovanja in
spremljanja dela, v vseh projektih dobra,
kar pomeni, da ustrezajo organizacijskim,
metodičnim, etičnim in drugim kriterijem.
Kriterijev kvalitete sicer nismo podrobno
specificirali in ocenjevali vsake storitve
posebej, vendar svojo sodbo utemeljujemo
na temelju opravljenih analiz in splošnega
vtisa o izvedbi dejavnosti. V okviru projekta
B smo na primer analizirali primer poteka
učno-vzgojne pomoči na osnovi podrob-
nega zapisa. Ugotovili smo, da se je izvajalec
smotrno in metodično pravilno odzival na
svetovančeve izjave. Podobno smo v okviru
procesne evalvacije podrobno opisali pet
primerov dela z družinami. Tudi iz teh opi-
sov je razvidno, da so izvajalci metodično
143
BLAŽ MESEC, MILKO POŠTRAK, NINO RODE, BOJAN KERN, NIKA CIGOJ KUZMA
pravilno ravnali. Velja, da izvajajo storitve
ali nadzorujejo njihovo izvedbo strokov-
njaki, ki poznajo metodične in druge kri-
terije svoje stroke. Vodstva se tudi odločajo
le za take vrste storitev, za katere imajo
usposobljene kadre in ostale pogoje. Poleg
tega imajo v vseh projektih supervizijske
sestanke izvajalcev, ki so osnovni instru-
ment skrbi za kvaliteto storitev.
Ustreznost vodenja in upravljanja pro-
jekta. Vodenje je ustrezno, če ustreza krite-
rijem tako imenovanega »novega vodenja«:
porazdeljeno vodenje, vključevanje v odlo-
čanje, dvosmerna komunikacija, inspira-
tivnost, zunanje povezovanje. Upravljanje
je ustrezno, če upošteva kriterije zakoni-
tosti, odgovornosti, urejenosti. Tudi tu velja,
da vodenja nismo ocenjevali po vsakem od
omenjenih kriterijev posebej, ampak da
smo si oblikovali vtis o značilnostih vodenja
na temelju celostne slike o projektu in na
temelju opisa funkcij in nalog vodje pro-
jekta. Za vse projekte lahko rečemo, da ima-
jo vodje obsežno in zahtevno delo, ki ga
dobro opravljajo. Odnosi med vodjem in
sodelavci v vseh primerih kažejo, da je
vodenje demokratično; da je omogočeno
sodelovanja članov; da se spodbuja dvo-
smerna komunikacija, iniciativnost. Vzdu-
šje je v vseh projektih dobro, kar posamezni
udeleženci tudi izrecno poudarjajo. Vodje
sami opisujejo svoje delo kot naporno in
obsežno, vendar da jim daje tudi dosti oseb-
nega zadovoljstva ob uspehu. Izvajalci, naj
bodo delavci v okviru javnih del ali prosto-
voljci, povedo, da se med strokovnimi de-
lavci dobro počutijo; govorijo o prijetnem
vzdušju, o podpori, ki so je deležni od stro-
kovnjakov in vodij projekta, kar vse govori,
da je vodenje projektov ustrezno. Zakoni-
tosti in urejenosti upravljanja projekta
nismo ocenjevali, saj je to delo specifično
usposobljenih nadzornikov.
Ustreznost odnosa z uporabniki. Odnos
je ustrezen, če se z upoštevanjem metodič-
nih načel uresničujejo akceptiranje uporab-
nika, empatija, zavzemanje njegovega sta-
lišča, upoštevanje, spoštovanje (pri delav-
cu), doživljanje uporabnika, identifikacija
z delavcem, občutek sprejetosti, razumlje-
nosti, zadovoljenosti potreb, učenja, razvoja
in napredka.
Pri vseh projektih, zlasti pri tistih, kjer
je bila mogoča analiza procesa, je obilo
indikatorjev, da obravnava poteka v skladu
z metodičnimi načeli socialnega dela in da
se v odnosu z uporabniki uresničujejo
omenjene značilnosti (projekti B, C, D). Pri
projektih, kjer nismo mogli analizirati
procesa, lahko o ustreznosti odnosa do upo-
rabnikov sklepamo na podlagi mnenjskih
anket, v katerih uporabniki izražajo svoje
zadovoljstvo z izvajalci in sodelovanjem pri
projektu, občutek sprejetosti, razumlje-
nosti, napredka pri učenju in razvoju. Pri
nekaterih projektih se pri ustvarjanju
ustreznega odnosa z uporabniki pretežno
opirajo na načela sistemskega socialnega
dela (projekt C), drugod se sklicujejo na
druge teoretske usmeritve, povsod pa
dosegajo dober »raport« z uporabniki, kar
se odraža v pripravljenosti uporabnikov še
naprej prejemati to pomoč, kljub začet-
nemu odklanjanju pri nekaterih projektih
in kljub ambivalentnim čustvom, ki izvirajo
predvsem iz strahu pred stigmatizacijo v
socialnem okolju.
Č. USPEŠNOST (DOSEGANJE CILJEV)
Izboljšanje socialnega funkcioniranja
(veščin). Analiza primerov dela in mnenjski
podatki kažejo, da pride pri vseh projektih
do izboljšanja socialnega funkcioniranja:
vzpostavljanja stika z izvajalci, komunicira-
nja, izražanja čustev itn., čeprav so uporab-
ljeni merski instrumeti premalo natančni,
da bi mogli razlikovati posamezne vidike
socialnega funkcioniranja.
Izboljšanje doživljanja sebe in drugih.
Analiza primerov in mnenjski podatki ka-
žejo tudi, da pride do izboljšanja doživljanja
sebe in drugih. Tako učitelji in strokovni
delavci v enem od projektov ocenjujejo, da
se oblikuje pozitivnejša samopodoba učen-
ca, izboljša se samoocena (»se bolje ra-
zumem z drugimi, lažje dojemam snov«);
otrok je sposoben globljega čustvenega od-
nosa z odraslim, pride do povečanja samo-
zavesti, zmanjšanja konfliktov z drugimi
vrstniki ali družinskimi člani; postane bolj
prijazen do sorojencev. Procesna analiza
kaže, da se začne mladostnik identificirati
144
EVALVACIJA PREVENTIVNIH PROGRAMOV CENTROV ZA SOCIALNO DELO 1995-1998
Z odraslim. To kažejo tudi mnenjski podatki
(s trditvijo »Dobil sem zaupno osebo, ki mi
je pripravljena prisluhniti«, se pri enem od
programov strinja več kot devet desetin
obravnavanih otrok). Poveča se optimizem,
doživljanje smiselnosti učenja ali prizade-
vanja za druge cilje. Tudi pri pomembnih
odraslih se izboljša doživljanje otroka.
Psihiatrični bolniki navajajo, da so postali
bolj samozavestni, bolj odprti.
Izboljšanje specifičnih kritičnih ciljnih
vedenj. Ni sistematično zbranih objektivnih
podatkov o izboljšanju na kriterijskih varia-
blah, tj., primerjav med stanjem pred obrav-
navo in po njej na temelju objektivnih
podatkov. Na podlagi izjav učiteljev, staršev,
izvajalcev oziroma strokovnih timov pa
sklepamo, da pride do izboljšanja na kri-
terijskih dimenzijah. Mnenjski podatki
(projekti A, B) in analiza posameznih pri-
merov (pri delu z družinami, projekt C)
kažejo, da se pri vseh projektih izboljša sta-
nje na področjih, ki so bila povod vključitve
posameznika ali družine v obravnavo. Pri
učencih, ki so bili deležni učne pomoči,
pride do izboljšanja učnega uspeha; zmanj-
ša se odsotnost od pouka. Pri disfunkcio-
nalnih družinah opažajo, da se družine vsaj
do določene mere urede in da se nezaže-
leno vedenje omeji. Otroci iz teh družin bo-
lje opravljajo svoje razvojne naloge: šolsko
delo, izbira poklica itn.: otrok redneje op-
ravlja domače naloge, se bolje pripravi na
pouk, uspešno konča šolo.
Izboljšanje kvalitete življenja. Izboljša-
nje gmotnega položaja, zaposlitev, družin-
sko vzdušje, stanovanjske razmere in druge
dimenzije kvalitete življenja pridejo v po-
štev zlasti pri projektih, kjer se dela z druži-
nami ali socialno depriviranimi katego-
rijami (duševni bolniki). Analiza kaže, da
pride v disfunkcionalnih družinah do iz-
boljšanja urejenosti stanovanja, zmanjšanja
števila in grobosti konfliktov, do izboljšanja
vzdušja v družini kot celoti; pri posameznih
članih pa do uspešnejšega dela v šoli in
dokončanja šole, do odločitve za iskanje
druge pomoči, do sprejemanja pomoči in
izboljšanja odnosov z okoljem. Člani sku-
pine samopomoči psihiatričnih bolnikov
navajajo, da jim skupina daje čustveno
oporo, občutek, da v bolezni niso sami, mo-
žnost druženja. Menijo, da v skupini lahko
odkrito govorijo, lahko v stiski pokličejo
druge člane.
Izboljšanje socialne vključenosti. Pravi-
loma opazimo izboljšanje na različnih pod-
dimenzijah socialne vključenosti. Učenci,
ki so prejemali učno pomoč, trdijo, da se
potem bolje razumejo z učitelji, starši in
sošolci; izboljšajo se stiki med vsemi tremi
udeleženimi stranmi, učenci, starši in uči-
telji. Sodelovanje v vrstniških skupinah na
centru za socialno delo jim postane pome-
mbno. Zaradi zmanjšanja nezaželenega
vedenja in izboljšanja učnega uspeha se
otrokom izboljša položaj med vrstniki in v
odnosu do učiteljev. V družinah, s katerimi
delajo svetovalci, se poveča pripravljenost
za sodelovanje, pripravljenost navezati stik
z drugimi ustanovami v okolju in izkoristiti
vire ponujene pomoči. Psihiatrični bolniki
se navežejo na skupino samopomoči,
postane njihova referenčna skupina.
D. UČINKOVITOST
Finančna učinkovitost. Vsi projekti, ki smo
jih analizirali, so bili nizko proračunski, zato
niti nismo dosledno in podrobno preraču-
navali razmerja med denarnimi dohodki in
stroški. Očitno je, da obseg in kvaliteta dela
v vseh primerih daleč prekračujeta skrom-
ne zneske dotacij tudi tam, kjer je več spon-
zorjev, tako da se ta sredstva porabijo le za
najnujnejše materialne stroške.
Učinkovitostno razmerje (output/in-
put). Učinkovitostnega razmerja nismo
kvantificirali. Osnovni razlog za to opu-
stitev je bila pomanjkljiva metodologija
samoevalvacij, v katerih niso ustrezno ope-
racionalizirane ključne kriterijske variable,
tako da ni bilo mogoče oblikovati primer-
ljivih indeksov izstopka. Res je tudi, da so s
kvantitativnim ocenjevanjem izidov obrav-
nave povezane številne težave, saj iste vrste
izid še zdaleč ne pomeni enakega napredka
pri vsaki obravnavani težavi in osebi. Pri
kvalitativni oceni učinkovitostnega razmer-
ja pa se nagibamo k mnenju, da je v projekte
vloženo prizadevanje večje, kot so, vsaj
kratkoročno gledano in po običajnih nor-
mah pričakovano, terapevtski izidi. Pri vseh
145
BLAŽ MESEC, MILKO POŠTRAK, NINO RODE, BOJAN KERN, NIKA CIGOJ KUZMA
obravnavanih dejavnostih je treba vložiti
veliko truda za vsaj navidez sorazmerno
majhne in negotove izide. Če upoštevamo,
da stojijo za učno-vzgojno pomočjo ali za
pomočjo disfunkcionalnim družinam
skupine visoko izobraženih in specifično
usposobljenih strokovnjakov, motiviranih
prostovoljcev; organizacijska struktura
javnih zavodov, mreža povezav med njimi
in povezav z drugimi sektorji, ter da se za
delo z uporabniki porabi veliko časa,
moramo ugotoviti, da se pozitivni izidi po-
kažejo sorazmerno pozno; da so pogosto
negotovi in se brez spremljanja stanje po-
novno poslabša; da niso spektakularni; in
da se nanašajo na »trivialne« zadeve, skratka,
da razmerje med izidi in vloženo energijo
ni videti pozitivno. Vendar je natanko to
osnovna značilnost socialnega dela; to je
delo, pri katerem po definiciji z velikim
vložkom energije dosegamo izide, ki so po
merilih zunaj tega sektorja lahko nadvse
skromni, s katerimi pa uresničujemo po-
membne vrednote.
E. DELOVANJE ORGANIZACIJE
Izboljšanje notranjega delovanja izvajal-
ske organizacije. V samoevalvacijah ni do-
volj podatkov, da bi mogli oceniti, ali se je
zaradi izvajanja preventivnega projekta
izboljšalo notranje delovanje organizacije:
vodenje, komuniciranje, odločanje; ali je
prišlo do strukturnih sprememb, do izbolj-
šanja vzdušja itn. Indikatorji, ki so v teh
poročilih, kažejo, da do takega izboljšanja
dejansko prihaja. Preventivni projekti so za
organizacije, v okviru katerih se izvajajo,
perturbacija, ki vznemiri »status quo« in
omogoča spremembe. V programu C trdijo,
da je program vnesel novo kvaliteto v delo
celotnega zavoda predvsem pri delu z
družinami.
Izboljšanje zunanjega delovanja izva-
jalske organizacije. Več neposrednih po-
datkov govori o tem, da uvedba preventiv-
nega projekta ali njegovo izvajanje pelje k
vzpostavitvi novih povezav z okoljem, utr-
ditvi starih ali spremembam v naravi teh
povezav, njihovi vsebini, pomenu, globini
in vplivu, ki ga imajo. Razširi in okrepi se
medinstitucionalno sodelovanje (projekt
D), zmanjša se stigmatizacija službe same
(projekt C), poveča se ugled in veljava
centra v okolju. Predstavniki lokalne oblasti
spremene svoje mnenje o centru. Okrepi
se sodelovanje z drugimi institucijami v
kraju, vzpostavijo in okrepijo se povezave
z nadrejenimi telesi v republiki.
SKLEPI
Pregledali smo pet preventivnih progra-
mov oziroma projektov, ki se izvajajo na
centrih za socialno delo v Sloveniji, nekateri
kontinuirano že od leta 1995, in sicer pro-
gram prostovoljnega dela z različnimi kate-
gorijami uporabnikov, projekt učno-vzgoj-
ne pomoči učencem osnovnih šol, program
pomoči ogroženim družinam, projekt
skupine samopomoči za duševno bolne in
projekt mladinskih delavnic. Ta pregled je
pokazal, da poteka v okviru teh programov
in projektov zavzeta dejavnost, usmerjena
bodisi v individualno pomoč posamezni-
kom ali družinam bodisi v oblike skupinske-
ga dela, naj bo po zgledu mladinskih delav-
nic ali skupin samopomoči. 2 dejavnostmi
v okviru projektov so povezane desetine
zlasti mladih, pa tudi odraslih ali starejših
uporabnikov. Enako pomembno je tudi
dejstvo, da s temi posamezniki ali skupina-
mi delajo poleg strokovnjakov, zaposlenih
na centrih, številni mladi ali odrasli prosto-
voljci in delavci, zaposleni v okviru javnih
del. To pomeni, da projekti vežejo nase in
povezujejo med seboj ljudi, ki jih sicer
ogrožajo procesi dezintegracije zaradi šol-
ske neuspešnosti, nezaposlenosti, duševne
bolezni, staranja in podobnega. Ti projekti
torej s svojim obstojem in dejavnostjo pri-
spevajo k družbeni integraciji posamezni-
kov, družin in drugih skupin na svojem
področju, ki jih še posebej ogrožajo meha-
nizmi dezintegracije. To integrativno fun-
kcijo opravljajo vsi, ne glede na vsebinske
razlike med njimi in ne glede na druge
spremembe v vedenju in doživljanju, ki jih
domnevno povzročajo.
Vse pregledane projekte vodijo in dejav-
nosti v njihovem okviru izvajajo strokovno
ustrezno usposobljeni kadri. Vodje proje-
146
EVALVACIJA PREVENTIVNIH PROGRAMOV CENTROV ZA SOCIALNO DELO 1995-1998
ktov SO Strokovnjaki z visoko izobrazbo
ustreznih smeri (socialno delo, psihologija,
pedagogika); nekateri med njimi so se še
dodatno specifično usposabljali za delo v
okviru projekta. Dejavnosti izvajajo poleg
strokovnih delavcev bodisi prostovoljni
sodelavci bodisi delavci, zaposleni v okviru
javnih del; vsi imajo naravi dela ustrezno
stopnjo izobrazbe in ustrezno usmeritev.
Vsi projekti temeljijo na ustreznem, strokov-
no preverjenem znanju. Nekateri se opirajo
na psihološke teorije in pojme, nekateri na
teorijo in načela sistemskega socialnega
dela, nekateri na posebej izdelane prijeme
za usposabljanje v socialnih veščinah. V
okviru vseh projektov so organizirane
posebne oblike usposabljanja in uvajanja
izvajalcev v delo z ljudmi. V vseh projektih
spremljajo delo izvajalcev na rednih sestan-
kih, ki strežejo refleksiji dela, reševanju
problemov pri delu, podpori pri delu in v
osebnih stiskah in so temeljni mehanizem
vzdrževanja kvalitete dela. Nekateri projekti
so povezani v širšo mrežo dejavnosti
določene vrste (npr. mladinske delavnice).
Projekti, ki smo jih pregledali, pokrivajo
vse tri oblike preventive: primarno (mladin-
ske delavnice, prostovoljno delo), sekun-
darno (učna pomoč, delo z družinami) in
terciarno (samopomoč psihiatričnih pa-
cientov). Projekti so, primerno naravi
svojega preventivnega pristopa, ciljno
usmerjeni. Ciljne populacije so povsod
definirane, vendar različno široko: od
splošne populacije učencev višjih razredov
osnovne šole, starih ljudi, beguncev, prek
učno neuspešnih učencev do posebne
populacije psihiatričnih pacientov. V
odvisnosti od vrste preventive so tudi bolj
ali manj konkretno opredeljene značilnosti
življenjskega položaja, vedenja in doživ-
ljanja, na katere naj bi delovale projektne
dejavnosti.
Za vseh pet projektov lahko rečemo, da
so vodeni zavzeto in odgovorno do uporab-
nikov, do izvajalcev in širšega institucio-
nalnega in zunajinstitucionalnega okolja.
To velja tako za projekte, ki so vključeni v
širšo, središčno vodeno mrežo dejavnosti
(mladinske delavnice), kjer potekajo de-
javnosti v skladu s predpisano shemo, ki
dopušča le določen odstotek prilagajanja
krajevnim razmeram in kjer je centralno
organizirano usposabljanje in supervizija,
kot tudi za bolj avtonomne projekte, ki niso
podrejeni zunanjemu strokovnemu vod-
stvu. Kvalitativna analiza posameznih pri-
merov dela s posamezniki (pri učno-vzgojni
pomoči), z družinami (pri pomoči disfun-
kcionalnim družinam) ali skupinskega dela
(skupina samopomoči) je pokazala, da se
delo odvija po strokovnih načelih social-
nega dela. V vseh projektih je izvajalcem
uspelo pridobiti uporabnike in jih zadržati
v projektnih dejavnostih ali ohraniti stik z
njimi po obdobju intenzivnejše obravnave.
Uporabniki izražajo zadovoljstvo, občutek
sprejetosti, razumljenosti in mnenje, da so
napredovali pri urejanju problematike.
Ocene uspešnosti projektov temeljijo
pretežno na mnenjih in ocenah neposred-
nih in posrednih udeležencev v projektu,
uporabnikov in izvajalcev, kot so jih v ok-
viru samoevalvacij zbrali nosilci projektov.
Delno temeljijo na analizi primerov in del-
no na opisu organizacije in dejavnosti. Ni
nas zanimala samo uspešnost v odnosu do
neposrednih uporabnikov (učenci, druži-
ne, bolniki) ampak tudi v odnosu do izvajal-
cev, to je, do prostovoljcev in delavcev v
okviru javnih del, in v odnosu do organi-
zacije kot celote. Kljub metodološkim
pomanjkljivostim pri izvajanju anket (osip),
kjer so bile izvedene, in kljub majhnemu
številu analiziranih primerov je vendarle
upravičen vtis, da so vsi obravnavani pro-
jekti uspešni, to je, da dosegajo svoje cilje.
Posebej nas je zanimalo stanje na petih cilj-
nih dimenzijah: izboljšanje socialnega
funkcioniranja (veščin), izboljšanje doživ-
ljanja sebe in drugih, izboljšanje specifičnih
kritičnih ciljnih vedenj, izboljšanje kvalitete
življenja in izboljšanje socialne integracije.
Te dimenzije so bile definirane kot osnovne
za evalvacijo, potem ko so že bile izvedene
samoevalvacije, zato niso v vseh projektih
sistematično preverjene.
O izboljšanju socialnih veščin lahko skle-
pamo le posredno, celo pri projektu, kate-
rega osnova dejavnost je trening socialnih
veščin (mladinske delavnice); posredno, na
osnovi njihovega splošnega mnenja, da so
jim delavnice koristile (da so postali »bolj
komunikativni«, več povedo o sebi, so bolj
147
BLAŽ MESEC, MILKO POŠTRAK, NINO RODE, BOJAN KERN, NIKA CIGOJ KUZMA
družabni, manj zadržani), na osnovi motivi-
ranosti učencev za obiskovanje srečanj, nji-
hovega sodelovanja, na osnovi izraženega
zadovoljstva s projektom in na osnovi
ugodnega splošnega mnenja izvajalk.
Nekoliko zanesljivejši so podatki, ki
govore o izboljšanju doživljanja sebe in
drugih, saj gre za dimenzijo, o kateri se
lahko poučimo samo prek subjektivnih
izjav. Učenci, vključeni v učno-vzgojno
pomoč, trdijo, da se bolje razumejo z dru-
gimi, da lažje dojemajo snov. Udeleženci
mladinskih delavnic menijo, da so postali
bolj samozavestni, bolj sproščeni; ali pa
navajajo, da drugače doživljajo vrstnike,
šolo, učitelje in starše. Pri delu z družinami
se je, sodeč po opisih primerov, izboljšala
samopodoba pri večini otrok. Tudi psihia-
trični pacienti poročajo o izboljšanju samo-
zavesti in odprtosti.
Do izboljšanja specifičnih ciljnih vedenj
je prišlo na primer pri projektu učno-vzgoj-
ne pomoči, kjer so se po menju učiteljev in
izvajalcev izboljšali: razumevanje učne
snovi, delovne in učne navde, odnos med
učiteljem in učencem in stik med starši in
šolo. Tudi pri delu z družinami izvajalci
ugotavljajo izboljšanje učnega uspeha otrok
in splošnega delovanja predvsem otrok,
delno tudi družine kot celote.
Izboljšanje kvalitete življenja lahko
precej zanesljivo ugotovimo pri delu z
družinami in v skupini samopomoči psihia-
tričnih pacientov. Pa tudi pri delu z učenci
in mladostniki se kaže izboljšanje kvalitete
življenja v izboljšanju odnosov na različnih
ravneh in izboljšanju vzdušja v družinah
oziroma v šoli, o čemer poročajo tako učen-
ci (starši, učitelji) kot izvajalci.
Izboljšanje socialne vključenosti je mor-
da najbolj viden rezultat dejavnosti vseh
petih projektov. Velik delež k socialni vklju-
čenosti prispeva že vključitev v projekt, ki
spodbudi redno obiskovanje srečanj v
okviru projekta in se postopno iz ne vselej
prijetne obveznosti spremeni v pričako-
vano in zaželeno dejavnost. Uporabniki se
navežejo na svetovalce, na skupine, ustva-
rijo se prijateljstva; projektne dejavnosti
spodbude mladostnike k drugim dejavno-
stim in vključitvi v prostočasne dejavnosti.
Pri delu z družinami so svetovalci posredo-
vali stike z drugimi ustanovami, pomagali
pri všolanju, iskanju zaposlitve ipd. Psihia-
tričnim pacientom, ki jih še posebej ogroža
izolacija, je skupina samopomoči pomem-
bna vez z drugimi in posrednik v odnosih
z okoljem.
Delo v okviru preventivnih projektov je
pomemben vir duševne energije za strokov-
ne delavce in izvajalce. Strokovni delavci
praviloma ugotavljajo, da jim je delo pri
projektu smiselno dopolnilo rednemu
delu; delo, ki jih razbremeni in sprosti, pri
katerem doživljajo bolj neposredno zado-
voljstvo zaradi uspeha kot pri rednem delu
na težavnih socialnih primerih. Če upošte-
vamo, da so med izvajalci prostovoljci —
mladi ljudje, ki se pripravljajo na poklice
za delo z ljudmi —, moramo ugotoviti, da se
večina dobro zaveda dragocenosti izkušenj,
ki si jih pri tem pridobijo. Ob vodenju
drugih in skupinskih supervizijah se učijo
tudi sami, poleg tega pa imajo strokovno
pomoč v primeru lastne stiske. Podoben
učinek ima to sodelovanje tudi na zapo-
slene v okviru javnih del. Izredno pomem-
ben je učinek projektnih dejavnosti na
organizacijo v celoti. Z izjavami vodij in
izvajalcev je dokumetirano izboljšanje
povezanosti centrov z lokalnim okoljem,
povezanosti z državnimi ustanovami, dru-
gimi institucijami in organizacijami v
Sloveniji, povečanje ugleda centra v lokal-
nem okolju, izboljšanje samopodobe centra
kot uspešne organizacije. Manj dokumen-
tirani so učinki na notranjo organizacijo
centra, vendar so indikatorji, da se izboljša
vzdušje in sodelovanje v centru. Ta mnogo-
stranski učinek preventivnih projektov
posebej poudarjamo.
Projekti, ki smo jih pregledali, so organi-
zacijsko izvedljivi. V njihovem okviru pote-
kajo konstruktivne dejavnosti. Kažejo, da
so se sposobni ohranjati in razvijati. Ta se
je iz skromnih začetkov v nekaj letih razvil
v razvejano strukturo; drugi požene poganj-
ke v drugem kraju; tretji se ohranja in išče
vire kljub temu, da je izgubil del prvotne
podpore. To pomeni, da imamo pred seboj
viabilne socialne »organizme«, ki vežejo
nase in okrog sebe množico ljudi in tako
prispevajo k socialni integraciji lokalnega
okolja in že samo zato zaslužijo podporo.
148
EVALVACIJA PREVENTIVNIH PROGRAMOV CENTROV ZA SOCIALNO DELO 1995-1998
Evalvacija vseh obravnavanih projektov
temelji na modelu kompleksne večnivojske
evalvacije; to pomeni, da so si izvajalci
samoevalvacijskih analiz prizadevali zbrati
podatke o dogajanju na različnih ravneh
projektne organizacije in od različnih
skupin udeležencev, kar prispeva k celo-
vitosti slike o obravnavanih projektih. Vse
evalvacije uspešnosti (doseganja ciljev) pa
temelje le na opisnih podatkih o poteku
projekta in njegovih dejavnosti in na mne-
njskih podatkih udeleženih v projektu. V
nobenem projektu ni niti poskusa, da bi se
približali eksperimentalnemu modelu eval-
vacije. Tako v nobenem samoevalvacijskem
poročilu ni nobene neposredne objektivne
primerjave med stanjem na kriterijskih
variablah pred vključitv^ijo v projekt in po
njej, čeprav so projekti trajali dovolj dolgo,
da bi bilo smiselno te podatke zbirati, in
čeprav bi bili nekateri podatki vsekakor do-
stopni invariable sploh niso težko merljive,
npr. podatki o učnem uspehu učencev, ki
so bili vključeni v projekt učne pomoči. Res
je, da se ti podatki nanašajo na grobe kon-
čne kazalce uspešnosti, na katerih morda
ne bi ugotovili sprememb. Toda to ne po-
meni, da smemo te primerjave opustiti. Več
je subjektivnih primerjav med stanjem na
kriterijskih variablah pred vključitvijo v
projekt in po njej v obliki subjektivnih
mnenjskih vprašanj in ocenjevalnih lestvic,
ki na primer zahtevajo od respondenta, da
primerja svoje stanje pred vključitvijo v
projekt in po njej, ali da oceni stanje kon-
čnega uporabnika pred vključitvijo in po
njej (npr. učitelj oceni, ali se je učenčev us-
peh izboljšal). Še pogosteje pa se evalvacije
omeje na ugotavljanje zadovoljstva različ-
nih udeležencev, kar vsekakor ni dovolj.
Skratka, pri uporabljenih metodah samo-
evalvacije ugotavljamo pomanjkljivosti,
zaradi katerih sklepi o uspešnosti projektov
niso tako trdni, kot bi lahko bili.
PREDLOGI
Glede na opisane izide evalvacije sodimo,
da preventivni programi centrov za social-
no delo izpolnjujejo svoje poslanstvo in
prispevajo k družbeni povezanosti ljudi, pri
katerih je iz različnih razlogov ogrožena. Z
različnimi dejavnostmi utrjujejo pri udele-
žencih pozitivno doživljanje sebe in drugih,
usposabljajo v socialnih veščinah, izboljšu-
jejo kvaliteto življenja in prispevajo k ubla-
žitvi ali odpravi motečih vedenj. Z javno
podporo, kakršne so bili deležni do sedaj,
so opravili zelo koristno in pomembno
delo, uspešno in dovolj učinkovito. Zato
menimo, da je treba te programe še naprej
podpirati, jih razvijati in širiti. Zaslužijo še
nadalje največjo možno podporo države.
Priporočamo, da bi zaradi boljše ciljne
usmerjenosti programov in jasnejše defini-
cije ciljne problematike vsak program v fazi
načrtovanja utemeljili s specifično usmerje-
no socialno analizo populacije ali krajevnih
razmer, na katere naj bi se projekt usmeril.
Priporočamo, naj bi v fazi načrtovanja
programa jasno, realistično, konkretno in
prilagojeno naravi projekta definirali cilje
programa in jih operacionalizirali tako, da
bi določili minimalne in maksimalne stop-
nje ugodnih izidov na posameznih ciljnih
dimenzijah, kot priporoča metoda lestvic
za doseganje ciljev. Izboljšati je treba mere
uspešnosti programa.
Priporočamo, naj se v izvajanje progra-
ma vgradijo postopki spremljanja in samo-
evalvacije, to je, periodičnega pregleda
stanja na ključnih ciljnih dimenzijah in
stanja na dimenzijah viabilnosti.
149
BLAŽ MESEC, MILKO POŠTRAK, NINO RODE, BOJAN KERN, NIKA CIGOJ KUZMA
Literatura
H. E. Freeman, C. C. Sherwood {\91Qi), Social Research and Social Policy. Englewood Cliffs: Prentice-
Hall.
E. M. Goldberg, J. Gibbons, I. Sinclair (1985), Problems, Tasks and Outcomes: The Evaluation of
Task-centred Casework in Three Settings. London: George Allen and Unwin.
A.	Kos (1984), Učinki nepoklicnega prostovoljnega dela na področju socialnih dejavnosti. V: B.
Mesec et al (ur.). Prostovoljno delo na področju socialnih dejavnosti. Ljubljana: DDU
Univerzum.
B.	Mesec (1994), Evalvacija prostovoljnega dela. Socialno delo 33: 4.
E. J. Mullen, J. R. Dumpson (1972), Evaluation of Social Intervention. ]ossc.y-^2íss\ San Francisco.
M. Q. Patton (1980), Qualitative Evaluation Methods. Beverly Hills: Sage.
P. Raynor (1984), Evaluation with One Eye Closed: The Empiricist Agenda in Social Work Research.
Brit. J. of Social Work 14, 1: 1-10.
w.j. Reid, p. Hanrahan (1981). The effectiveness of social work: Recent evidence. v: E. m. Goldberg,
N. Connelly (ur.). Evaluative Research in Social Care. London: Heinemann.
Rossi, Freeman (1982), Evaluation: A Systematic Approach. Newbury Park: Sage.
A.	Rubin (1993), Research Methods for Social Work. Pacific Grove: Brooks and Cole.
E. Sainsbury (1975), Social Work with Families. London, Sainsbury: Routledge and Kegan Paul.
Shadish et al (1991), Foundations of Program Evaluation: Theories of Practice. Newbury Park:
Sage.
B.	Sheldon (1986). Social work effectiveness experiments: Review and implications. Brit f. of
Social Work 16: 223-42.
B.	Stritih (1994), Prispevki za študij socialnega dela. Visoka šola za socialno delo, Ljubljana.
Tripodi, Fellin, Epstein (1971), Social Program Evaluation. Itaca: F. E. Peacock.
C.	H. Weiss (1975), Evaluation research: Methodsfor Assessing program effectiveness. Englewood
Cliffs: Prentice Hall.
150