CELOSTNO VREDNOTENJE PETIH INTERVENCIJ NA PODROČ JU PREPREČ EVANJA IN ZMANJŠEVANJA ŠKODE ZARADI ALKOHOLA Predstavitev rezultatov pilotnega vrednotenja in ocene skladnosti med ocenjevalci pri uporabi NIJZ Meril za vrednotenje intervencij na področju javnega zdravja Avtorji: Sandra Radoš Krnel, Tina Lesnik, Matej Vinko Tehnični urednik: Gorazd Levičnik Recenzentki: doc. dr. Helena Jeriček Klanšček in doc. dr. Barbara Domajnko Jezikovni pregled: Mihaela Törnar Oblikovanje: Luka Logar, Gorazd Levičnik Izdajatelj: Nacionalni inštitut za javno zdravje, Trubarjeva 2, 1000 Ljubljana Publikacija je dostopna na spletni strani: https://www.nijz.si/sl Kraj in leto izdaje: Ljubljana, 2024 Elektronska izdaja Zaščita dokumenta © 2024 NIJZ Vse pravice pridržane. Reprodukcija po delih ali v celoti na kakršenkoli način in v kateremkoli mediju ni dovoljena brez pisnega dovoljenja avtorjev. Kršitve se sankcionirajo skladno z avtorskopravno in kazensko zakonodajo. Kataložni zapis o publikaciji (CIP) pripravili v Narodni in univerzitetni knjižnici v Ljubljani. COBISS.SI-ID 166139395 ISBN 978-961-7211-08-5 (PDF) Publikacija je nastala v okvirju Javnega razpisa za sofinanciranje programov na področju javnega zdravja do leta 2022, ki ga sofinancira Ministrstvo za zdravje. PUBLIKACIJI NA POT Raba alkohola predstavlja globalni javnozdravstveni problem, ki sodi med ključne dejavnike tveganja za prezgodnje smrti, breme bolezni in občutno vpliva na neenakosti v zdravju prebivalcev. Slovenija se uvršča med države, ki so po porabi čistega alkohola na prebivalca nad povprečjem drugih držav Evropske regije Svetovne zdravstvene organizacije. Pitje alkohola je pri nas v večini še vedno popolnoma sprejeto, obenem pa je alkohol prepogosto viden kot samoumevno družbeno vezivo in sestavni del naših kulturnih ter vedenjskih vzorcev. V luči tega javnozdravstvenega izziva je pomembno, da si prizadevamo k proaktivnemu povezovanju ključnih vladnih kot tudi nevladnih akterjev na področju alkoholne politike in da z različnimi preventivnimi aktivnostmi, med katere sodijo tudi sofinanciranje programov varovanja in krepitev zdravja, skupaj prispevamo k zmanjšanju pitja alkohola ter z njim povezanega zdravstvenega, socialnega in ekonomskega bremena med prebivalci Slovenije. Z večanjem števila preventivnih programov oz. intervencij na področju javnega zdravja, večina izmed katerih je podprta z državnimi sredstvi, je bila prepoznana tudi potreba po razvoju meril, ki bi pomagala razlikovati učinkovite od neučinkovitih ali celo škodljivih intervencij. Na Ministrstvu za zdravje zato pozdravljamo velik in viden napredek, ki je Nacionalnemu inštitutu za javno zdravje uspel vse od začetkov leta 2017 s pripravo prvih izhodišč za razvoj področja celostnega vrednotenja javnozdravstvenih intervencij, izdelave meril za vrednotenje intervencij leta 2019, vzpostavitvijo platforme za izmenjavo dobrih praks leta 2023 ter nenazadnje te dotične publikacije, ki predstavlja velika prizadevanja, povezana z izvedbo prvih pilotnih celostnih vrednotenj intervencij na področju preprečevanja in zmanjševanja škode zaradi alkohola v letih 2021 in 2022 in s tem prvo znanstveno monografijo s tega področja javnega zdravja v Sloveniji. Na Ministrstvu upamo, da bosta uporaba meril NIJZ kot tudi proces celostnega vrednotenja intervencij v prihodnjih letih zaživela v še večjem obsegu in drugih javnozdravstvenih področjih ter tako pripomogla k pomembnem vidiku presoje obstoječih in bodočih preventivnih programov, kar bo tako ministrstvu kot financerju ter tudi izvajalcem in uporabnikom pomagalo prepoznati najbolj kakovostne in učinkovite intervencije na področju javnega zdravja pri nas. Vesna Marinko, generalna direktorica Direktorat za javno zdravje Ministrstvo za zdravje PUBLIKACIJI NA POT V Sloveniji obstajajo številni preventivni programi, ki jih izvajajo nevladne organizacije na različnih javnozdravstvenih področjih z namenom varovanja in krepitve zdravja, preprečevanja bolezni in podaljševanja ter izboljševanja kakovosti življenja, kot tudi zmanjševanja razširjenosti in posledic vedenj, ki predstavljajo tveganje za zdravje. Ker število tovrstnih programov z leti narašča, večina pa se jih financira s pomočjo državnih sredstev, obstaja logična potreba po tem, da za financerje programov, kot tudi načrtovalce in izvajalce le-teh, na področju javnega zdravja uveljavimo sistem celostnega vrednotenja, ki bo s pomočjo jasnih meril s strani zunanjih neodvisnih strokovnjakov, ocenjevalcev, zagotovil objektivno presojo njihovih rezultatov in učinkov ter nudil usmeritve za njihovo izboljšanje, prenos in nadgradnjo. Monografija, ki je pred vami, je namenjena tako strokovni javnosti kot tudi izvajalcem in načrtovalcem intervencij ter širši javnosti. Podaja rezultate prve uporabe meril, ki smo jih razvili na Nacionalnem inštitutu za javno zdravje, za vrednotenje intervencij na področju javnega zdravja. Merila predstavljajo plod dolgoletnih prizadevanj s tem namenom ustanovljene posvetovalne skupine NIJZ, ki si po vzoru že obstoječih evropskih smernic prizadeva tudi v Sloveniji vzpostaviti celovit in sistemski pristop k presoji preventivnih javnozdravstvenih programov. Veliko dodano vrednost publikaciji daje tudi vključitev ocenjevanja skladnosti, s katero so ocenjevalci proučili svojo medsebojno usklajenost upoštevanja meril. Vključitev tega poglavja je pomembna za dragocen uvid ne zgolj v delovanje in zanesljivost meril kot samega ocenjevalnega instrumenta, temveč tudi za izboljšanje metodologije celostnega vrednotenja v bodoče ter lažje izbire in uporabe dokazano učinkovitih in uspešnih praks. Na Nacionalnem inštitutu za javno zdravje zato pozdravljamo in podpiramo nastanek tovrstnih znanstvenih publikacij, katerih obstoj je ključen za razvoj področja, sploh v luči dejstva, da celostno vrednotenje intervencij pri nas za razliko od nekaterih drugih evropskih držav zaenkrat še ni širše sistemsko prepoznano kot sestavni in nepogrešljivi del aktivnosti v okviru izvajanja programov za promocijo zdravja in preventivo. Na NIJZ verjamemo, da bo tako znanstvena monografija kot tudi prenovljena merila za vrednotenje javnozdravstvenih intervencij v prihodnjih letih pomembno pripomogla k postopni uvedbi sistematičnega spremljanja in vrednotenja intervencij s področja javnega zdravja tudi v Sloveniji. Ada Hočevar Grom, predstojnica Center za proučevanje in razvoj zdravja Nacionalni inštitut za javno zdravje ZAHVALA Zahvaljujemo se vsem sodelujočim, ki so prispevali k uspešni izvedbi pilotnega celostnega vrednotenja petih intervencij za preprečevanje in zmanjševanje škode zaradi alkohola. Posebna zahvala gre Vidi Peternelj, mag. psih., za strokovno sodelovanje pri vrednotenju intervencij ter nevladnima organizacijama Zavod Vozim in Mladinska zveza Brez izgovora za sodelovanje v pilotnem vrednotenju s svojimi intervencijami. POVZETEK Preventivnih programov oz. intervencij na področju javnega zdravja, katerih cilj je v večini primerov krepitev in varovanje zdravja, preprečevanje bolezni ter zmanjšanje bremena zaradi kroničnih nenalezljivih bolezni, je v Sloveniji vse več. Prav tako je vse več tudi nevladnih ter tržno usmerjenih organizacij, ki le-te razvijajo in izvajajo. Brez ustreznega načrtovanja, izvajanja in vrednotenja so marsikatere intervencije neučinkovite ali manj uspešne, saj pogosto trpijo za pomanjkljivostmi, kot so šibka teoretična podkrepljenost, neprilagojenost potrebam ciljnih skupin ter neustrezno vrednotenje procesov in rezultatov. Večina intervencij na področju javnega zdravja v Sloveniji se financira s pomočjo državnih sredstev, zatorej je pomembno, da se tudi v našem prostoru uvede sistematično spremljanje javnozdravstvenih preventivnih programov, s katerim bodo tako javni kot zasebni financerji ter uporabniki prepoznali kakovostne in učinkovite od neučinkovitih intervencij. Na Nacionalnem inštitutu za javno zdravje (NIJZ) smo leta 2020 po vzoru evropskih smernic pripravili prva Merila za vrednotenje intervenciji na področju javnega zdravja z namenom prepoznavanja in izbire primerov dobrih praks, ki so se v mednarodnem prostoru že izkazala kot koristno orodje za celovito in poglobljeno oceno intervencij ter prepoznavo dobrih praks. S pomočjo uporabe meril smo v letih 2021 ter 2022 z raziskavo, ki jo predstavljamo v dotični znanstveni monografiji, ocenjevalci pilotno celostno ovrednotili prvih pet intervencij na področju preprečevanja in zmanjševanja škode zaradi rabe alkohola. Uporabljena merila za vrednotenje so sestavljena iz treh glavnih ravni meril ter skupno 47 podmeril, s katerimi smo poleg ocenjevanja osnovnih pogojev za nadaljnji sistematičen proces celostnega vrednotenja presojali tudi druge vidike, kot so učinkovitost in uspešnost intervencij, njihov vpliv na zmanjševanje neenakosti v zdravju, vključevanje deležnikov pri izvajanju, medsektorsko sodelovanje, prenosni potencial v druga področja in populacijske skupine populacijo ter njihovo trajnostno naravnanost. Nazadnje smo ocenjevali še skladnost med ocenjevalci pri uporabi meril. Rezultati so pokazali, da so štiri izmed petih intervencij zbrale zadostno število točk v prvem sklopu (izključitvenih meril), da so omogočale nadaljnjo polno presojo po merilih NIJZ oz. izvedbo celostnega vrednotenja. Končne ocene le-teh so se gibale od najmanj 65 do največ 89 točk oziroma odstotkov. Tri intervencije so dosegle prag vsaj 80 odstotkov in s tem bile prepoznane kot primer »dobre prakse« na področju javnega zdravja. Statistična obdelava podatkov je razkrila, da je bila skupna skladnost ocenjevalcev, ob upoštevanju vseh meril pri vseh ovrednotenih intervencijah, znatna. Ugotovili smo tudi, da se je soglasje med ocenjevalci razlikovalo po skupinah podmeril v povezavi z jasnostjo opisov določenega merila in sistema točkovanja, zlasti pri intervencijah, ki so se slabo odrezale ali niso uspešno izpolnile zahtev določenega merila ali skupine meril. Pri vseh ocenjevanih intervencijah, še posebej dveh, ki sta dosegli najnižja rezultata, so bila podana priporočila za izboljšanje. Z dotičnim pilotnim ocenjevanjem petih intervencij s področja rabe alkohola smo na NIJZ naredili pomemben korak v smeri sistematičnega spremljanja intervencij na področju javnega zdravja. Z njim smo pridobili dragocen vpogled in izkušnje tako v zgradbe in delovanje prvih izbranih javnozdravstvenih intervencij, ki se izvajajo v Sloveniji, kot tudi pomemben uvid v uporabo meril, ki smo jih po evropskih smernicah povzeli in prilagodili. Z večanjem števila ocenjenih intervencij se bodo tako proces celostnega vrednotenja kot tudi strokovna skupina NIJZ za vrednotenje intervencij nadgrajevali in izobraževali, z izboljševanjem procesov celostnega vrednotenja in izbire dobrih/najboljših praks pa se bo tako olajšala in spodbujala uporaba dokazano učinkovitih in uspešnih praks na področju javnega zdravja v Sloveniji. SUMMARY Preventive programs or interventions in the field of public health, which in most cases aim to promote and protect health, prevent diseases, and reduce the burden of chronic non-communicable diseases, are becoming increasingly common in Slovenia. There are also increasingly many non-governmental and market-oriented organizations that develop and implement these interventions. Without proper planning, implementation, and evaluation, many interventions are ineffective or less successful, as they often suffer from shortcomings such as weak theoretical underpinning, non-adaptation to the needs of target groups, and inadequate evaluation of processes and results. Most interventions in the field of public health in Slovenia are financed with the help of state funds, so it is important to introduce systematic monitoring of public health preventive programs, with which both public and private funders and users wil be able to distinguish between quality and effective interventions from ineffective ones. At the National Institute of Public Health (NIJZ), we prepared the first Criteria for the Evaluation of Interventions in the Field of Public Health in 2020, following the example of European guidelines, with the aim of identifying and selecting examples of good practices. These criteria have already proven to be a useful tool for a comprehensive and in-depth assessment of interventions and identification of good practices in the international arena. With the help of these criteria, in 2021 and 2022, with a study that we present in scientific publication, evaluators piloted a comprehensive evaluation of the first five interventions in the field of prevention and reduction of alcohol harm. The evaluation criteria are composed of three main levels of criteria and a total of 47 sub-criteria, with which, in addition to assessing the basic conditions for further systematic comprehensive evaluation, we also assessed other aspects, such as the effectiveness and success of interventions, their impact on reducing health inequalities, stakeholder involvement in implementation, intersectoral cooperation, transfer potential to other areas and population groups, and their sustainability. We also assessed the agreement reliability between evaluators in the use of criteria. The results showed that four out of five interventions col ected a sufficient number of points in the first set (exclusion criteria) to allow for further full assessment according to the NIJZ criteria or the implementation of a comprehensive evaluation. Their final scores ranged from a minimum of 65 to a maximum of 89 points or percentages. Three interventions reached a threshold of at least 80% and were thus recognized as examples of "good practice" in the field of public health. Statistical analysis of the data revealed that the overal reliability of agreement between evaluators, taking into account all criteria for all evaluated interventions, was significant. We also found that the agreement between evaluators differed across groups of sub-criteria in connection with the clarity of the descriptions of a particular criterion and the scoring system, especially for interventions that performed poorly or did not successfully meet the requirements of a particular criterion or group of criteria. Recommendations for improvement were given for al evaluated interventions, especial y for the two that achieved the lowest results. With the relevant pilot evaluation of five interventions in the field of alcohol use, we at the NIJZ have taken an important step towards systematic monitoring of interventions in the field of public health. With it, we gained valuable insights and experience into the structure and operation of the first selected public health interventions that are implemented in Slovenia, as well as an important insight into the use of criteria that we adopted and adapted fol owing European guidelines. With the increasing number of evaluated interventions, both the process of comprehensive evaluation and the NIJZ expert group for the evaluation of interventions wil be further developed and educated. With the improvement of the processes of comprehensive evaluation and the selection of good/best practices, the use of proven effective and successful practices in the field of public health in Slovenia will be facilitated and encouraged. SEZNAM KRATIC IN KLJUČNIH POJMOV AVP Agencija za varnost prometa DARS Družba za avtoceste Republike Slovenije Generalni direktorat za zdravje in varnost hrane Evropske komisije ( angl. Directorate-DG SANTE General for Health and Food Safety) DPJZŠ Društvo paraplegikov jugozahodne štajerske Evropski center za spremljanje drog in zasvojenosti z drogami ( angl. European Monitoring EMCDDA Centre for Drugs and Drug Addiction) Evropska raziskava o alkoholu in preostalih drogah ( angl. European School Survey Project ESPAD on Alcohol and Other Drugs) EU Evropska unija Evropska agencija za varnost in zdravje pri delu ( angl. European Agency for safety and EU - OSHA Health at Work) FK Fleissov koeficient 'kappa' Z zdravjem povezano vedenje v šolskem obdobju ( angl. Health Behaviour in School Aged HBSC Children) HFVP Heroji furajo v pižamah IMZTR Inštitut za mladinsko participacijo, zdravje in trajnostni razvoj MIZŠ Ministrstvo za izobraževanje, znanost in šport MZ Ministrstvo za zdravje NIJZ Nacionalni inštitut za javno zdravje NVO Nevladna organizacija angl. Specific (specifični), Measurable (merljivi), Achievable (dosegljivi), Relevant (ustrezni), SMART Time-sensitive (časovno omejeni) angl. Strengths (prednosti), Weaknesses (slabosti), Opportunities (priložnosti) in Threats SWOT (tveganja) ŠIPK Študentski inovativni projekti za družbeno korist ŠVVNH Še vedno vozim, vendar ne hodim URSM Urad Republike Slovenije za mladino ZDZdr Zakon o duševnem zdravju ZMed Zakon o medijih ZOPA Zakon o omejevanju porabe alkohola ZOUTI Zakon o omejevanju uporabe tobačnih in povezanih izdelkov ZPPPD Zakon o proizvodnji in prometu s prepovedanimi drogami ZTRo-1 Zakon o trošarinah ZVoz-1 Zakon o voznikih WHO Svetovna zdravstvena organizacija ( angl. World Health Organization) KAZALO VSEBINE 1 UVOD ........................................................................................................................................................... 11 2 METODOLOGIJA .......................................................................................................................................... 13 2.1 Izključitvena merila .................................................................................................................................. 15 2.2 Osnovna merila ........................................................................................................................................ 17 2.3 Dodatna merila ........................................................................................................................................ 18 2.4 Skladnost med ocenjevalci ....................................................................................................................... 21 3 REZULTATI ................................................................................................................................................... 22 3.1 Intervencija »Še vedno vozim - vendar ne hodim«.................................................................................. 23 3.1.1 Rezultati skladnosti med ocenjevalci za intervencijo ŠVVVNH ............................................................. 30 3.2 Intervencija »Alkohol = sprememba življenja« ........................................................................................ 31 3.2.1 Rezultati skladnosti med ocenjevalci za intervencijo »Alkohol = sprememba življenja« ..................... 38 3.3 Intervencija »Heroji furajo v pižamah« .................................................................................................... 39 3.3.1 Rezultati skladnosti med ocenjevalci za intervencijo »Heroji furajo v pižamah« ................................. 47 3.4 Intervencija »Aktivisti Brez izgovora« ...................................................................................................... 48 3.4.1 Rezultati skladnosti med ocenjevalci za intervencijo »Aktivisti Brez izgovora« ................................... 57 3.5 Intervencija »Martin Krpan« .................................................................................................................... 58 3.5.1 Rezultati skladnosti med ocenjevalci za intervencijo »Martin Krpan« ................................................. 65 3.6 Skladnost med ocenjevalci pri uporabi Meril za vrednotenje intervencij na področju javnega zdravja . 66 4 RAZPRAVA ................................................................................................................................................... 74 4.1 Celostno vrednotenje intervencij............................................................................................................. 74 4.2 Skladnost med ocenjevalci ....................................................................................................................... 80 5 ZAKLJUČEK ................................................................................................................................................... 83 6 LITERATURA ................................................................................................................................................. 86 STVARNO KAZALO ....................................................................................................................................... 89 7 PRILOGE ....................................................................................................................................................... 92 1 UVOD Intervencije na področju javnega zdravja vključujejo vrsto orodij in pristopov, katerih cilj je v večini primerov krepitev in varovanje zdravja, preprečevanje bolezni ter zmanjšanje bremena zaradi kroničnih nenalezljivih bolezni z vplivanjem na dejavnike tveganja, med katerimi so najpomembnejši kajenje tobaka, pitje alkoholnih pijač, nezdravo prehranjevanje, telesna neaktivnost in prekomerna telesna teža (Budreviciute in sod., 2020). Izvajanje intervencij, ki temeljijo na dokazih in so potrjeno uspešne ter učinkovite pri izboljšanju zdravja posameznika, skupnosti in populacije, je na splošno priznano kot najboljši pristop k reševanju javnozdravstvenih izzivov (Armstrong in sod., 2013; Faggiano in sod., 2014). Razpoložljivost in promocija na dokazih temelječih intervencij preko portalov dobrih praks in na spletnih straneh javnozdravstvenih institucij lahko zmanjšata izvajanje manj učinkovitih oziroma uspešnih ali celo škodljivih praks, pa tudi »ponovno odkrivanje tople vode« in možne napake pri razvoju novih intervencij (Ng in de Colombani, 2015). Pri tem igrajo pomembo vlogo registri programov in intervencij na področju preventive in promocije zdravja, ki jih lahko imenujemo »portali za izmenjavo dobrih praks«, pod pogojem, da se za izbiro praks, ki so predstavljene na portalih, uporabljajo ustrezna merila za vrednotenje. Na ta način omogočajo povečanje preglednosti intervencij, ki se izvajajo v določenem okolju, poleg tega pa izpostavijo tiste prakse, ki so učinkovite in uspešne ter podpirajo odločitev za izbiro in izvajanje najprimernejših intervencij. Ti registri služijo kot vstopne točke in praktični repozitoriji, ki odločevalcem omogočajo enostaven dostop do (na dokazih temelječih) praks (Rossmann in sod., 2023; Quinn in sod., 2014). Evropska komisija prek Portala najboljših praks na področju javnega zdravja ( angl. Public Health Best Practice portal, 2023) od leta 2018 zbira najboljše prakse na področju preprečevanja nenalezljivih bolezni in promocije zdravja. Portal upravlja Generalni direktorat za zdravje in varnost hrane (DG SANTE) in skrbi za sprejemanje in vrednotenje vlog ustreznih intervencij, ki se izvajajo na nacionalni ali regionalni ravni, z namenom prenosa tistih, ki so prepoznane kot dobre prakse, v druge evropske države. Poleg EU Portala najboljših praks v Evropski uniji (EU) obstajajo številni drugi portali dobrih in/ali najboljših praks na področju zdravja. Evropski center za spremljanje drog in zasvojenosti z drogami (EMCDDA, 2022) gosti portal s področja preprečevanja, zdravljenja, zmanjševanja škode in socialne reintegracije uživalcev prepovedanih drog in alkoholnih pijač. Spletna stran EMCDDA združuje različne informacije, ki segajo od informacij in zbirk podatkov o dokazih (sinteza sistematičnih pregledov in priporočil) do registrov praks, ki temeljijo na dokazih (vključno s priročniki in izkušnjami pri izvajanju). Druge pobude na mednarodni ravni so Kampanje za zdravo delovno okolje ( angl. Healthy Workplaces Campaigns), ki podpirajo izmenjavo dobrih praks in so ključne dejavnosti ozaveščanja, ki jih izvaja Evropska agencija za varnost in zdravje pri delu (EU-OSHA), ter aktivnosti Organizacije za gospodarsko sodelovanje in razvoj (OECD), ki ima pripravljene smernice za dobre prakse v javnem zdravju in jih zbira po različnih tematskih področjih (Stepien in sod., 2022; OECD, 2024). Za uspešnost in učinkovitost intervencij je bistvenega pomena, da so dobro prilagojene nacionalnim ali lokalnim kontekstom. V pomoč odločevalcem in izvajalcem intervencij je po EU razvitih več nacionalnih portalov oziroma registrov programov in intervencij na področju preventive in promocije zdravja, nekateri pa so še v fazi razvoja, kot je to v primeru Slovenije (Rossmann in sod., 2023; Stepien in sod., 2022). V Sloveniji je vedno več intervencij na področju javnega zdravja, ki delujejo z namenom, da bi zmanjševale pojavnost in posledice vedenj, ki predstavljajo tveganje za zdravje, prav tako pa je vse večja tudi raznolikost akterjev, ki jih razvijajo in izvajajo – od vladnih in nevladnih do tržno usmerjenih organizacij. 11 Intervencije so pogosto neučinkovite in manj uspešne, kot bi lahko bile, predvsem takrat, kadar niso podkrepljene s teorijo, ne upoštevajo najnovejših dognanj in raziskovalnih izsledkov in niso prilagojene izbranim ciljnim skupinam (Radoš Krnel in sod., 2020). Prav tako pogosto niti niso ustrezno ovrednotene, zato manjkajo informacije o uspešnosti in učinkovitosti posamezne intervencije. Zato je ključnega pomena, da institucije, skupine ali posamezniki, ki pripravljajo in izvajajo intervencije, imajo strokovno znanje, usposobljenost in izkušnje na področju javnega zdravja ter dobro poznajo teorije načrtovanja in vrednotenja intervencij (Bajt in Jeriček Klanšček, 2017). Večina intervencij na področju javnega zdravja je v Sloveniji finančno podprta z državnimi sredstvi, zato je celostno vrednotenje, ki vključuje številne vidike od načrtovanja in razvoja intervencije do izvajanja in vrednotenje uspešnosti in učinkovitosti, ključnega pomena za učinkovito porabo omejenih finančnih virov. Pomembno je, da je celostno vrednotenje intervencij izpeljano po jasnih merilih, lahko interno, v sodelovanju z zunanjimi strokovnjaki, idealno pa v celoti s strani zunanjih, neodvisnih strokovnjakov, ocenjevalcev, ki lahko zagotovijo širše, objektivnejše vrednotenje tako rezultatov kot učinkov intervencij ter podajo boljše predloge za izboljšanje in nadgradnjo intervencij (Radoš Krnel in sod., 2020). Na ta način lahko tako financerji kot tudi uporabniki dobijo pomembne usmeritve za prepoznavanje kakovostnih in učinkovitih od neučinkovitih ali celo škodljivih intervencij. Kakovostne in učinkovite intervencije na področju javnega zdravja bodo tako prispevale k povečevanju zdravja prebivalcev v državi, ne da bi pri tem poglabljale neenakosti v zdravju. Poleg tega so kakovostne intervencije oblikovane tako, da jih je mogoče izvajati trajnostno in z ustreznimi prilagoditvami prenašati v druga okolja ter s tem zagotavljati povečanje dosega intervencije. Za zagotovitev izvajanja dokazano kakovostnih intervencij je bistveno, da lahko nosilci odločanja (vključno z oblikovalci politik in izvajalci intervencij) zlahka dostopajo do informacij o uspešnih in učinkovitih intervencijah, so seznanjeni z razpoložljivimi dokazi in vedo, kako jih uporabiti v praksi (Campbell in sod., 2009; Oliver, Lorenc in Innvær, 2014). Zato smo na Nacionalnem inštitutu za javno zdravje leta 2018 vzpostavili posvetovalno skupino za razvoj platforme za izmenjavo primerov dobrih praks, ki je leta 2020 pripravila Merila za vrednotenje intervencij na področju javnega zdravja z namenom prepoznavanja in izbire primerov dobrih praks (Radoš Krnel in sod., 2020). Namen publikacije je bil predstaviti merila za vrednotenje intervencij, ki jih lahko razumemo kot smernice za snovanje, načrtovanje, oblikovanje in izvajanje različnih intervencij. Z njimi želimo izboljšati kakovost dela vseh organizacij, ki razvijajo in izvajajo aktivnosti s področja varovanja in krepitve zdravja, preprečevanja bolezni in podaljševanja ter izboljševanja kakovosti življenja. V publikaciji je zato kot dobra praksa na področju javnega zdravja prepoznana tista intervencija, ki jo v izbranem družbenem okolju izvajajo organizacije z jasnimi javnozdravstvenimi cilji in je bila ocenjena kot etična, pravična, dokazano uspešna in učinkovita, ustreza merilom trajnostne naravnanosti, medsektorskega sodelovanja in sodelovanja interesnih skupin ter obeta možnost za prenos prakse na druga področja in nadgradnjo. Poleg tega je skupina pripravila vprašalnik za zbiranje primerov dobrih praks in napotke za vrednotenje intervencij. Namen naše raziskave je bil celostno ovrednotiti pet intervencij na področju preprečevanja in zmanjševanja škode zaradi rabe alkohola ter hkrati pilotno preizkusiti Merila za vrednotenje intervencij na področju javnega zdravja. Poleg vrednotenja intervencij smo ocenili skladnost med ocenjevalci in s tem pridobili vpogled v zanesljivost meril kot merskega instrumenta za vrednotenje intervencij. 12 2 METODOLOGIJA Z vrednotenjem intervencij, ki ga je sofinanciralo Ministrstvo za zdravje preko Javnega razpisa za sofinanciranje programov varovanja in krepitve zdravja do leta 2022, smo pričeli v začetku leta 2021 in končali junija 2022. Lastnike/izvajalce intervencij smo pozvali k izpolnitvi Vprašalnika, ki je v Prilogi 1 in oddaji vseh pripadajočih prilog. Za vrednotenje intervencij smo uporabili Merila za vrednotenje intervencij za namen prepoznavanja in izbire dobrih praks na področju javnega zdravja, ki so razvrščena v tri ravni, in sicer na: (1) izključitveno, (2) osnovno ter (3) dodatno (Radoš Krnel in sod., 2020). Gre za tri zaporedne ravni meril za vrednotenje intervencij. Prva raven so izključitvena oziroma tista merila, ki določijo, ali intervencija izpolnjuje osnovne pogoje za nadaljnje vrednotenje glede na Merila za vrednotenje intervencij s področja javnega zdravja. Gre za prvo sito, kjer se oceni, ali intervencija zadostuje merilom, da bi lahko delovala kot uspešna, ali pa obstaja tveganje, da bi lahko delovala kot škodljiva, nepravična ali neučinkovita. Intervencija, ki prestopi prvi, vključitveni prag, se nadalje vrednoti po osnovnih merilih, ki zajemajo njeno učinkovitost, pa tudi njen doprinos k zmanjševanju neenakosti v zdravju. Na tretji ravni se vrednoti potencial, da se intervencija prenese na druga področja, v drugo geografsko okolje, na drugo populacijo ipd. Dodatna merila zato zajemajo oceno o tem, ali intervencije vsebujejo elemente, ki omogočajo prilagoditev, nadgradnjo ali prenos intervencije v druga okolja. Izključitvena merila Intervencije, ki ne ustreza merilom vsebinske ustreznosti področja javnega zdravja, ni oblikovana po ključnih elementih intervencije, ni utemeljena s teorijo in dokazi ter ne ustreza etičnim načelom, ni mogoče vključiti v proces vrednotenja za primer dobre prakse. Izključitvena merila vsebujejo štiri elemente, ki so vrednoteni vsak posebej. 13 Osnovna merila Če intervencija ustreza pogojem izključitvenih meril, se nadaljuje vrednotenje intervencij po osnovnih merilih za vrednotenje intervencij na področju javnega zdravja. Ta merila preverjajo učinkovitost in uspešnost intervencije ter njen vpliv na zmanjševanje neenakosti v zdravju, vključenost deležnikov pri izvajanju intervencije in medsektorsko sodelovanje. Dodatna merila Na tretji ravni se intervencija ocenjuje glede na svoj potencial za prenos na druga področja, v drugo geografsko okolje, na drugo populacijo in glede na svojo trajnostno naravnanost. Vsaka skupina meril je definirana s pomočjo podmeril, ki bolj podrobno opredeljujejo lastnosti intervencije, ki naj bi bila prepoznana kot »dobra praksa«. Na osnovi predlaganih podmeril, smo pripravili metodološke napotke za vrednotenje intervencij skupaj z Obrazcem za vrednotenje intervencij (Priloga 1). V nadaljevanju opisujemo posamezna podmerila. 14 2.1 Izključitvena merila 1. Vsebinska ustreznost intervencije 1.1. Skladnost z javnozdravstvenimi strategijami na lokalni, regionalni, nacionalni ravni ali na evropski ravni. 1.2. Intervencija je vzpostavljena kot podpora za izvajanje nacionalnih programov, zakonodaje ali drugih predpisov, namenjenih reševanju z zdravjem povezanih problemov. 2. Zgradba intervencije (struktura) 2.1. Analiza stanja problematike, ki jo intervencija naslavlja in temelji na jasno opredeljeni metodologiji primarnega in/ali sekundarnega zbiranja podatkov in analize podatkov ter predstavitev povzetkov analiz (npr. v SWOT analizi). 2.2. Segmentacija izbrane populacije (po demografskih, psihografskih, življenjsko-stilnih in drugih dejavnikih, kot so znanje o problemu, stališčih, preteklih vedenjih, ki so relevantna za obravnavani problem). 2.3. Jasno opredeljena ciljna skupina ali ciljne skupine, kadar je teh več. 2.4. Opredelitev vedenjskih in komunikacijskih ciljev po načelu SMART. 2.5. Opredelitev strategij, taktik in orodij za doseganje posamičnih vedenjskih in komunikacijskih ciljev. 2.6. Opredelitev kazalnikov za procesno vrednotenje in vrednotenje učinkovitosti ter uspešnosti. 2.7. Opredelitev, kako so bili v intervencijo vključeni predstavniki ciljne skupine in drugi deležniki (partnerji, interesne skupine, politični odločevalci, mediji ipd.) ter kako je bilo to sodelovanje načrtovano, vzpostavljeno, vzdrževano, ocenjeno in finančno podprto. 2.8. Opredelitev virov, ki so bili vključeni v pripravo, implementacijo in vrednotenje intervencije, pri čemer med vire sodijo človeški viri, sistemski, fizični in finančni viri, prepoznavnost, odnosi ter trenutne aktivnosti. 2.9. Opredelitev optimizacije razpoložljivih sredstev, pri doseganju zastavljenih ciljev (načrtovani in dejanski stroški intervencije). 2.10. Opis in opredelitev vrednotenja na treh ravneh: aplikativno vrednotenje, ki je namenjeno razvoju intervencije in implementacije; procesno vrednotenje, ki spremlja implementacijo intervencije in glede na sprotne rezultate ustrezno prilagaja izvedbo intervencije ter vrednotenje uspešnosti in učinkovitosti intervencije glede na zastavljene cilje, vložene vire, pa tudi etičnosti. 2.11. Opisu intervencije je priložena dokumentacija, ki predstavlja osnovni del intervencije, denimo smernice in protokoli, vključno z navedbo literature. 15 3. Znanstveni dokazi in teoretska utemeljitev intervencije 3.1. Intervencija temelji na znanstveno dokazanih in preverjenih teorijah (npr. metaanalizah, sistematičnem pregledu literature, študijah implicitnega znanja). 3.2. V načrtu so predstavljeni elementi pristopa (ali tehnike ali načela) v okvirih modela spremenljivosti ali intervencijske teorije ali glede na rezultate predhodno opravljene raziskave. 4. Etični vidik 4.1. Opredelitev in presoja ocenjevalca glede: 1) spoštovanja osnovnih etičnih načel – avtonomije (spoštovanje pravice posameznikov, da sprejemajo svoje odločitve), »ne škodovati!«, dobronamernosti in pravičnosti (koristi in tveganja naj bodo pravično razdeljeni); 2) pričakovane koristi presežejo oz. odtehtajo potencialno škodo; 3) intervencija je bila izvedena pravično – sorazmerno s potrebami ciljne skupine. 4.2. Pravice posameznikov (npr. varstvo osebnih podatkov) so zaščitene v skladu z nacionalno in evropsko zakonodajo. 4.3. Navzkrižje interesov je jasno opredeljeno, prav tako so navedeni ukrepi za ravnanje ob pojavu navzkrižja interesov. 4.4. Med izvajanjem intervencije se ni oglaševalo določenega izdelka, naprave ali katere koli komercialne pobude. 16 2.2 Osnovna merila 1. Učinkovitost in uspešnost intervencije Vrednotenje procesa 1.1. Izvedeno je bilo notranje ali zunanje vrednotenje procesov, kjer so rezultati natančno opisani oz. dokumentirani. 1.2. Rezultati vrednotenja (npr. število izvedenih delavnic, število udeležencev, zadovoljstvo udeležencev, število medijskih objav, število delavnic) so bili povezani z izbranimi/določenimi cilji same intervencije. Vrednotenje rezultatov 1.3. Ugotovljeni rezultati so najbolj ustrezni za intervencijo glede na cilje, teoretične modele in ciljno skupino. 1.4. Vrednotenje rezultatov meri razliko med začetno in končno situacijo ter je izvedeno na način, ki je primeren za vrsto intervencije (meri učinke intervencije upošteva možne pristranosti). 1.5. Vse izboljšave v kazalnikih, ki so jih v intervenciji merili (npr. ciljnem vedenju), so ustrezno dokumentirane in predstavljene. 1.6. Intervencija je bila ocenjena z ekonomskega vidika. 1.7. Rezultati ocenjevanja intervencije so pokazali koristen učinek. 1.8. V intervenciji so spremljali pojav nepričakovanih učinkov (tudi negativnih) in jih opisali. 1.9. Vključeni so elementi za spodbujanje procesov opolnomočenja ciljne skupine (npr. krepitev zdravstvene pismenosti, zagotavljanje možnosti za razvijanje ustreznih spretnosti, znanj in vedenj, socialne opore ipd.). 2. Zmanjševanje neenakosti v zdravju 2.1. V celotnem procesu izvajanja intervencija dejavno upošteva ustrezne razsežnosti pravičnosti (npr. starost, spol, socialno-ekonomski status, etnično pripadnost, tip območja (ruralno/urbano), regijo, pripadnost ranljivi skupini). 2.2. Znotraj intervencije je mogoče zaznati prizadevanja za prepoznavanje ranljivih skupin, pojava neenakosti v dostopnosti intervencije ter morebitnih drugih vidikov neenakosti; te ugotovitve so dokumentirane in povzete v poročilih, priporočilih, smernicah ipd. za zmanjšanje ugotovljenih neenakosti v zdravju. 17 3. Sodelovanje deležnikov pri razvoju in izvajanju intervencije 3.1. Sodelovanje s ciljno skupino in pomembnejšimi deležniki je bilo zagotovljeno v različnih fazah intervencije: - načrtovanje in razvoj, - izvajanje in vrednotenje. 3.2. V različnih fazah intervencije – v fazi načrtovanja, izvajanja in vrednotenja – se je med deležniki vzpostavilo sodelovanje, ki je opisano, trajnostno naravnano in omogoča vzpostavitve formalnih struktur sodelovanja. 4. Medsektorsko sodelovanje 4.1. V izvajanje intervencije je bilo vključenih več različnih sektorjev. 4.2. Intervencija je zasnovana interdisciplinarno in jo podpirajo ustrezne interesne skupine (npr. poklicna združenja, javne ustanove na področju izobraževanja, zaposlovanja, skupine s področja informacijske in komunikacijske tehnologije itd.). 4.3. Intervencija spodbuja usklajevanje med sektorji, npr. storitve zdravstvenega in socialnega sektorja. 2.3 Dodatna merila 1. Prenosljivost intervencije 1.1. Intervencija uporablja instrumente (npr. priročnik s podrobnim opisom dejavnosti), ki omogočajo ponavljanje/prenos. 1.2. Opis intervencije vključuje vse organizacijske elemente, opredeljuje omejitve in potrebne ukrepe, ki so bili sprejeti za premagovanje zakonskih, upravljavskih, finančnih ovir. 1.3. Opis intervencije vključuje opis demografskih, psihografskih, interesnih in drugih značilnosti ciljne populacije ter ukrepe, ki so bili sprejeti za premagovanje osebnih in okoljskih ovir. 1.4. Intervencija je bila izvajana v realnem okolju, z jasno predstavljeno komunikacijsko strategijo in načrtom diseminacije rezultatov. 1.5. Intervencija je bila uspešno prenesena/ponovljena iz pilotne faze oz. manjše skupine ali okolja v širšo skupino oz. okolje. 1.6. Izvedba intervencije je bila prilagojena različnim potrebam (npr. ciljne populacije), ki so se pojavile med izvajanjem. 18 2. Trajnost intervencije 2.1. Obstajajo institucionalna podpora, organizacijska in tehnološka struktura ter stabilni človeški viri za izvajanje intervencije. 2.2. Navedeno je finančno poročilo, ki opredeljuje vire financiranja intervencije. 2.3. Nadaljevanje intervencije je bilo zagotovljeno z institucionalnim zasidranjem in/ali lastništvom ustreznih interesnih skupin ali skupnosti pri srednjeročnem in dolgoročnem načrtovanju intervencije. 2.4. Zagotovljeno je trajno usposabljanje osebja v smislu znanja, tehnik in pristopov. 2.5. Pripravljena je trajnostna strategija, ki obravnava vrsto vsebinskih dejavnikov (npr. zdravstvene in socialne politike, inovacije, kulturne trende in splošno gospodarstvo, epidemiološke trende). Vsaka intervencija je bila ocenjena na način, da so ocenjevalci vsakemu podmerilu podelili eno izmed številčnih vrednosti (od 1 do 5): 1 – intervencija ne izpolnjuje zahtev oziroma ne upošteva merila, ki se preučuje ali tega ni mogoče oceniti zaradi manjkajočih ali nepopolnih informacij. 2 – slabo. Merilo je neustrezno obravnavano ali pa obstajajo resne pomanjkljivosti. 3 – dobro. Praksa na splošno dobro obravnava to merilo, vendar obstajajo pomanjkljivosti. 4 – zelo dobro. Praksa zelo dobro obravnava merilo, vendar je prisotno manjše število pomanjkljivosti. 5 – odlično. Ta praksa uspešno obravnava vse pomembne vidike ocenjevalnega merila. Vsako posamezno intervencijo so ocenjevali vsaj trije ocenjevalci (v dveh primerih štirje v treh primerih trije), eden izmed ocenjevalcev je bil strokovnjak za področje intervencije, v našem primeru gre za področje preprečevanja in zmanjševanja škode zaradi alkohola. Vsak ocenjevalec je samostojno ocenjeval posamezno intervencijo, izpolnjen Individualni obrazec za vrednotenje intervencij je služil za pripravo Skupnega obrazca za vrednotenje intervencij, v katerega so bile vnesene ocene in komentarjih vseh ocenjevalcev. Za nadaljevanje vrednotenja in poenotenje ocen ter priporočil za izboljšanje posamezne intervencije smo uporabili metodo panelne diskusije, ki omogoča izmenjavo in pojasnjevanje mnenj in stališč v skupini strokovnjakov ter s konsenzom določili končno oceno in pripadajoče priporočilo oz. komentar (Gallo et al., 2021). Na spodnjem diagramu je predstavljen potek vrednotenja (Slika 1). 19 Slika 1: Shematski prikaz postopka celostnega vrednotenja po metodi panelnih diskusij (prirejeno po Abdullah in Krishnan (2014)). * Vsak sestanek v trajanju 2–2,5 ure. Posamezna raven meril k skupni oceni prinese različen delež (izključitvena merila k skupni oceni prinesejo 30 %, osnovna merila 50 % in dodatna merila 20 %), poleg tega pa so znotraj posamezne skupine meril utežene tudi ocene posameznih podskupin, kar pomeni, da so posamezne ocene podmeril lahko številčno enake, vendar so različno utežene in na končno oceno intervencije ne vplivajo v enaki meri. Najvišja možna skupna ocena intervencije je 100 % (največ 30 % za izključitvena merila, največ 50 % za osnovna merila in največ 20 % za dodatna merila). Intervencijo se prepozna za »dobro prakso«, ko je skupna ocena intervencije glede na vsa merila več ali enako 80 %. V kolikor pa je skupna ocena enaka ali višja 90 %, se intervencijo prepozna za »najboljšo prakso«. 20 2.4 Skladnost med ocenjevalci Za oceno skladnosti med ocenjevalci smo izračunali delež skladnosti (DS) ter Fleissov koeficient kappa (FK) s pripadajočim 95-odstotnim intervalom zaupanja (Randolph, 2005). Mere skladnosti smo preverjali za vse ocenjevane intervencije skupaj ter na ravni posamezni intervencij. Vrednosti Fleissovega koeficienta kappa se nahajajo med -1,0 in 1,0. Pri tem pomeni vrednost -1,0 popolno neskladnost ob upoštevanju slučajne neskladnosti, vrednost 0,0 pomeni skladnost, ki je enako verjetna kot slučajna skladnost, ter vrednost 1,0 popolno skladnost ob upoštevanju slučajne skladnosti. Za vrednotenje vrednosti FK smo upoštevali naslednje kategorije (Landis in Koch, 1977): ● 1,00–0,81: zelo visoka skladnost ● 0,80–0,61: visoka skladnost ● 0,60–0,4: znatna skladnost ● 0,40–0,21: zmerna skladnost ● 0,20–0,00: majhna skladnost ● < 0 slaba skladnost ali neskladnost Izračunana je bila tudi povprečna ocena (PO), iz ocen, ki smo jih ocenjevalci podali samostojno, ter razlika med povprečno oceno ter povprečno končno oceno (KO), ki so bile določene na podlagi konsenza sodelujočih ocenjevalcev. Omejitve Vseh pet intervencij so ocenjevali isti trije ocenjevalci, pri dveh je sodeloval še četrti ocenjevalec. Ocenjevalci so imeli omejene izkušnje pri vrednotenju praks. Gre za prvi poskus vrednotenja za namen vzpostavitve portala dobrih praks, zato obstaja večja verjetnost pristranskosti ocenjevanja zaradi želje, da se kakšna izmed ocenjevanih praks prepozna kot dobra praksa. Vse intervencije, ki so bile v tem procesu ovrednotene, so s področja preprečevanja in zmanjševanja škode zaradi alkohola in jih izvajata dve nevladni organizaciji, in sicer Zavod VOZIM ter Mladinska zveza Brez izgovora Slovenija. Ob celostnem vrednotenju je potekalo hkratno preverjanje in posodabljanje Meril ter vzpostavljanje in optimizacija procesa vrednotenja. Zanesljivost in deloma tudi uporabnost Meril smo ovrednotili z izračuni skladnosti med ocenjevalci. V primerih določenih intervencij so bila prisotna večja odstopanja v individualno podanih ocenah ocenjevalcev oz. je bila razlika v oceni dveh ocenjevalcev večja kot 2 oceni (npr. individualne ocene 1, 2 in 4 ali 2, 3 in 5). Ker za oceno skladnosti med ocenjevalci nismo uporabili uteženega Fleissovega koeficienta kappa ali druge mere, ki bi pri oceni skladnosti upoštevala tudi razdaljo med podanimi ocenami (število kategorij oz. ocen, ki ločujejo oceni posameznih ocenjevalcev), se »velikost« razhajanja oz. neskladja med ocenjevalci ne zrcali v vrednosti FK. 21 3 REZULTATI Intervencija je pri vrednotenju lahko skupaj dosegla največ 100 točk. Največje število doseženih točk je bilo 89, najmanjše 65 točk, ena od intervencij je pri izključitvenih merilih bila ocenjena nezadostno, zato ni bila nadaljnje ocenjena. Pri izključitvenih merilih je bilo možno doseči največ 30 točk, pri čemer je bilo največje doseženo število točk 27, najmanj pa 23. Največ doseženih točk pri osnovnih merilih je bilo 46 od 50 možnih, najmanj pa 29. Dodatna merila so k skupnim dodala največ 20 točk, dve intervenciji sta dosegli 18 točk, kar je bilo največ, najmanj pa je bilo zbranih 13 točk (Preglednica 1). Preglednica 1: Število doseženih točk petih intervencij skupno ter glede na posamezen sklop meril. Alkohol = Področja (maksimalno št. Še vedno vozim - sprememba Heroji furajo v Aktivisti Brez točk) vendar ne hodim življenja pižamah izgovora Martin Krpan Skupaj (100) 89 80 83 - 65 Izključitvena merila (30) 27 24 26 - 23 Osnovna merila (50) 46 38 39 - 29 Dodatna merila (20) 16 18 18 - 13 Podrobno so ocene intervencij v posameznem sklopu izključitvenih, osnovnih in dodatnih meril prikazane v Preglednici 2 po barvni lestvici, z zeleno so obarvane ocene 4 in 5, temno modro 3, svetlo modra 2 in rdeča ocena 1. Preglednica 2: Prikaz vseh ocen intervencij po sklopih izključitvenih, osnovnih in dodatnih meril. Alkohol = sprememba Še vedno vozim - Heroji furamo v Aktivisti Brez življenja vendar ne hodim pižamah izgovora Martin Krpan 1.1. 5 5 5 5 5 1.2. 5 5 5 5 5 Vsebinska 2.1. 4 4 5 3 4 ustreznost 2.2. 4 5 5 3 3 intervencije 2.3. 5 5 5 5 5 2.4. 3 4 4 3 3 2.5. 5 4 5 5 5 2.6. 3 4 4 1 3 2.7. 4 5 5 5 3 Zgradba 2.8. 3 4 5 4 2 Izključitvena intervencije 2.9. 5 5 4 2 2 2.10 merila (struktura) . 3 5 3 2 4 2.11 . 4 2 3 2 5 Znanstveni 3.1. 4 5 4 4 5 dokazi in teoretska utemeljitev 3.2. 4 5 2 4 5 intervencije 4.1. DA DA DA DA DA Etični vidik 4.2. DA DA DA DA DA 4.3. DA DA DA DA DA 4.4. DA DA DA DA DA 22 1.1. 3 5 4 3 1.2. 3 5 5 2 1.3. 3 5 3 3 Učinkovitost in 1.4. 4 5 2 2 uspešnost 1.5. 3 5 2 3 intervencije 1.6. 4 4 3 2 1.7. 3 3 3 2 1.8. 4 3 4 4 1.9. 5 5 5 5 Osnovna Zmanjševanje 2.1. 5 5 5 3 merila neenakosti v zdravju 2.2. 3 5 5 2 Sodelovanje 3.1. 5 5 5 4 deležnikov pri razvoju in izvajanju 3.2. 5 5 5 3 intervencije 4.1. 5 5 5 4 Medsektorsko 4.2. 4 5 5 2 sodelovanje 4.3. 4 5 5 3 1.1. 4 1 3 5 1.2. 3 2 4 2 Prenosljivost 1.3. 5 5 5 2 intervencije 1.4. 4 5 4 3 Dodatna 1.5. 5 5 5 4 merila 1.6. 5 5 5 4 2.1. 5 5 5 3 Trajnost 2.2. 5 4 5 3 intervencije 2.3. 3 4 4 3 2.4. 5 5 5 2 2.5. 5 5 5 4 3.1 Intervencija »Še vedno vozim - vendar ne hodim« Jedro programa »Še vedno vozim - vendar ne hodim« so interaktivne preventivne prometne delavnice, ki jih že 13. leto zapored izvajajo člani Zavoda VOZIM – invalidi, ki so se sami poškodovali v prometnih nesrečah ter utrpeli poškodbo hrbtenjače (posledica para ali tetraplegija) (Zavod VOZIM, 2023). Delavnice izvajajo z namenom, da njihova zgodba ne bi postala tudi zgodba mladih. Program se torej fokusira na preventivo v cestnem prometu, deluje preventivno na področju prometnih nesreč, lahkih in hudih telesnih ter trajnih poškodb. Invalidi poškodovanci mlade skozi osebne zgodbe in lastne izkušnje ozaveščajo o pomenu varne ter odgovorne vožnje, s poudarkom na najpogostejših vzrokih za nastanek prometnih nesreč (neprilagojena hitrost, vožnja pod vplivom alkohola, uporaba mobilnih telefonov med vožnjo, vrstniški pritisk ipd.). Program deluje tudi na področju razbijanja stereotipov o invalidnosti ter nudi opolnomočenje invalidom (izvajalcem delavnic) ter njihovo psihosocialno rehabilitacijo. Podrobnejši opis programa je v Prilogi 2. Rezultati celostnega vrednotenja intervencije »Še vedno vozim - vendar ne hodim« so predstavljeni v Preglednici 3. 23 Preglednica 3: Rezultati celostnega vrednotenja intervencije »Še vedno vozim - vendar ne hodim«. IZKLJUČITVENA MERILA Vsebinska ustreznost intervencije Merilo Točke Komentar Skladnost z javnozdravstvenimi Intervencija dosega zahtevana merila skladnosti z 1.1 strategijami na lokalni, regionalni, javnozdravstvenimi načeli. V svoji zasnovi sledi uveljavljenim nacionalni ravni ali na evropski 5 - odlično strategijam na lokalnih, regionalnih, nacionalnih ali evropskih ravni. ravneh, kot so Resolucija nacionalnega programa varnosti cestnega Intervencija je vzpostavljena kot prometa 2013–2022, Resolucija nacionalnega programa za mladino podpora za izvajanje nacionalnih 2013–2022 in strokovna mednarodna publikacija WHO Global 1.2 programov, zakonodaje ali drugih 5 - odlično Status Report on Road Safety 2018 ter deluje kot vzpostavljena predpisov, namenjenih reševanju z podpora za izvajanje preventivnih aktivnosti na področju promocije zdravjem povezanih problemov. prometne varnosti in zmanjševanja nesreč v cestnem prometu. Zgradba intervencije (struktura) Merilo Točke Komentar Analiza stanja problematike, ki jo Intervencija vsebuje predvidene ključne elemente analize stanja z intervencija naslavlja in temelji na opredeljeno metodologijo zbiranja podatkov. V okviru primarne analize jasno opredeljeni metodologiji podatkov ni bila izvedena SWOT analiza, temveč vrednotenje delavnic v letu 2.1 primarnega in/ali sekundarnega 4 - zelo 2019 s pripravljenimi predlogi za izboljšanje, ki jo dopolnjuje še zaključno zbiranja podatkov in analize podatkov dobro poročilo raziskovalnega projekta: VŠIPK – Evalvacija in dopolnitev delavnic ter predstavitev povzetkov analiz (npr. »Še vedno vozim – vendar ne hodim«, slednje vsebuje SWOT analizo v SWOT analizi). delavnic in raziskovalnega dela (evalvacijskih vprašalnikov). Segmentacija izbrane populacije (po demografskih, psihografskih, Intervencija z utemeljeno argumentacijo opredeljuje razloge za 2.2 življenjsko-stilnih in drugih dejavnikih, kot so znanje o problemu, stališčih, 5 - odlično segmentacijo izbrane populacije udeležencev programa glede na njihove preteklih vedenjih, ki so relevantni za raznolike demografske, življenjsko-stilne in druge ključne dejavnike. obravnavani problem). Intervencija jasno opredeljuje tako primarno skupino (mladostnike, ki 2.3 Jasno opredeljena ciljna skupina ali predstavljajo eno najbolj rizičnih skupin v prometu) kot tudi sekundarno ciljne skupine, kadar je teh več. 5 - odlično ciljno skupino (poškodovanci v prometnih nesrečah oz. osebe s posledično gibalno oviranostjo v vlogi izvajalcev aktivnosti) udeležencev v programu. Opredelitev vedenjskih in 2.4 komunikacijskih ciljev po načelu 4 - zelo Vedenjski in komunikacijski cilji intervencije so vsebinsko ustrezno SMART. dobro opredeljeni, a niso zapisani v skladu z načelom SMART. Opredelitev strategij, taktik in orodij za Intervencija ustrezno opredeljuje raznovrstna uporabljena orodja in 2.5 doseganje posamičnih vedenjskih in 5 - odlično pristope za doseganje predvidenih vedenjskih in komunikacijskih ciljev, kot komunikacijskih ciljev. so izvajanje interaktivnih delavnic v živo in prek spleta, uporaba slikovnega in video gradiva ter metode mladinskega dela. Kazalniki vrednotenja intervencije so bili v večinskem obsegu dobro vnaprej zastavljeni (doseg socialno-marketinške kampanje; število objav v medijih; bruto vrednost objav; izvedba promocijskih videov; število izvedenih interaktivnih preventivnih prometnih delavnic za mlade, število slušateljev interaktivnih preventivnih delavnic ŠVVVNH za mlade; število vključenih Opredelitev kazalnikov za procesno poškodovancev in mladinskih delavcev; zadovoljstvo udeležencev na 2.6 vrednotenje in vrednotenje 4 - zelo delavnicah ŠVVVNH; zadovoljstvo strokovnih delavcev šol z izvedbo učinkovitosti ter uspešnosti. dobro delavnic ŠVVVNH; sprememba stališč mladih po izvedenih delavnicah ŠVVVNH; vpliv delavnic ŠVVVNH na varno vedenje voznikov), obstajajo pa priložnosti za izboljšave v povezavi z vrednotenjem učinkovitosti ter uspešnosti (kazalniki učinka), ki bi bilo lahko bolj kakovostno opredeljeno oz. bi lahko izkazovalo bolj sistematičen pristop. Kot predlog za bodoče izboljšave kot prilogo prilagamo dokument IRSSV-ja. Opredelitev, kako so bili v intervencijo Intervencija jasno opisuje vključenost vseh predstavnikov ciljnih skupin ter vključeni predstavniki ciljne skupine in različnih sodelujočih deležnikov programa ter načine njihovega drugi deležniki (partnerji, interesne medsebojnega povezovanja (sodelovanje mladostnikov in učiteljev pri nadgradnji delavnic, sodelovanje z Društvom paraplegikov JZ Štajerske, 2.7 skupine, politični odločevalci, mediji ipd.) ter kako je bilo to sodelovanje 5 - odlično sodelovanje v mednarodnem projektu »Module CLOSE-TO«, sodelovanje z načrtovano, vzpostavljeno, župani in občinami oz. njihovimi »Sveti za preventivo in vzgojo v cestnem vzdrževano, ocenjeno in finančno prometu« pri izvedbi oz. financiranju delavnic za otroke in dijake v njihovih podprto. občinah, sodelovanje z občinami z izvedbo delavnic v okviru Evropskega tedna mobilnosti, izvedba delavnic v mladinskih centrih oz. drugih lokacijah 24 v lokalnem okolju, sodelovanje pri vrednotenju s Fakulteto za logistiko Univerze v Mariboru, sodelovanje s sektorjem za krepitev zdravja in preprečevanja odvisnosti (MZ), 126 oglasov v medijih, NIJZ). Opredelitev virov, ki so bili vključeni v pripravo, implementacijo in Viri, ki so bili vključeni v pripravo, implementacijo in vrednotenje 2.8 vrednotenje intervencije, pri čemer 4 - zelo intervencije, so delno opredeljeni oz. delno opisani (človeški viri, poraba in med vire sodijo človeški viri, sistemski, dobro trenutne aktivnosti), vendar obstaja prostor za izboljšave v smislu lažje fizični in finančni viri, prepoznavnost, razvidne segmentacije le-teh. odnosi ter trenutne aktivnosti. Opredelitev optimizacije razpoložljivih Iz pripadajoče projektne dokumentacije je razvidno, da je bila izvedena 2.9 sredstev pri doseganju zastavljenih optimizacija razpoložljivih finančnih sredstev, da se le-ta karseda smotrno ciljev (načrtovani in dejanski stroški 5 - odlično porabljajo in da so stroški primerno ter nedvoumno predstavljeni glede na intervencije). izvedeno delo. Opis in opredelitev vrednotenja na Intervencija ustrezno opisuje in opredeljuje vrednotenje programa, in sicer treh ravneh: aplikativno vrednotenje, (1) aplikativno vrednotenje po izvedbah začetnih delavnic na zasnovi DPJZŠ ki je namenjeno razvoju intervencije in , kjer je bil program vključen v projekt »Module CLOSE-TO« (raziskoval in implementacije; procesno testiral EU pristope k izobraževanju voznikov (sistematični preventivni vrednotenje, ki spremlja instrument za preprečevanje nesreč za mlade voznike), (2) procesno 2.10 implementacijo intervencije in glede 5 - odlično vrednotenje v obliki poročila Evalvacija in dopolnitev delavnic ŠVVVNH_ŠIPK na sprotne rezultate ustrezno prilagaja 2019 - SWOT analiza, predlogi na podlagi analize za izboljšave in (3) izvedbo intervencije; ter vrednotenje vrednotenje uspešnosti in učinkovitost: dokazana učinkovitostna uspešnosti in učinkovitosti intervencije sprememba stališč ter varno vedenje voznikov, dokazana učinkovitost glede na zastavljene cilje, vložene vire, pripovedovanja zgodb ambasadorjev na soočanje s travmo, evalvacijski pa tudi etičnosti. vprašalniki, kratkoročna in dolgoročna analiza (F za logistiko). Učinkovitost glede na stroške (8,83 EUR na slušatelja). Intervencija je v opisu in strukturi deloma pomanjkljivo dokumentirana. Opisu intervencije je priložena Predlagamo, da se za boljšo zadostitev merila 2.11. pripravi krajše gradivo, dokumentacija, ki predstavlja osnovni ki bo vsebovalo jasen opis in strukturo intervencije, način njenega izvajanja 2.11 del intervencije, denimo smernice in 2 - slabo in druge pripadajoče segmente. Marsikatere informacije so bile zapisane že protokoli, vključno z navedbo v nekaterih pripadajočih dokumentih, vendar jih je potrebno zbrati in literature. povzeti v samostojen, strukturiran in uniformen vsebinski opis intervencije, ki bo omogočil njen lažji prenos v druga okolja, skupine, države. Znanstveni dokazi in teoretska utemeljitev intervencije Merilo Točke Komentar Intervencija temelji na znanstvenih Intervencija izkazuje utemeljenost na preverjenih in podprtih dokazanih in preverjenih teorijah znanstvenih pristopih ter na aktualni strokovni literaturi. Program je 3.1 (npr. metaanalizah, sistematičnem 5 - odlično bil zasnovan v Društvu paraplegikov JZ Štajerske (DPJZŠ) ter pregledu literature, študijah naknadno vključen v mednarodni projekt »Module CLOSE-TO« (ki je implicitnega znanja). raziskoval in testiral različne evropske pristope k izobraževanju voznikov). V načrtu so predstavljeni elementi Intervencija temelji na predhodno opravljeni raziskavi, uspešno sledi pristopa (ali tehnike ali načela) v teoretičnim pristopom na področju sprememb vedenj, preko katerih 3.2 okvirih modela spremenljivosti ali vsebinsko sovpada s tremi temeljnimi usmeritvami: (1) Kje se naša intervencijske teorije ali glede na 5 - odlično ciljna skupina nahaja v odnosu do priporočenega vedenja; (2) Zakaj rezultate predhodno opravljene se nahajajo v tej situaciji; (3) Kako predstavnike ciljnih skupin raziskave. motivirati za premik v smeri priporočenega vedenja. Etični vidik Merilo Točke Komentar *Spoštovanje osnovnih etičnih načel – avtonomije (spoštovati pravico posameznikov, da sprejemajo svoje odločitve), »ne škodovati!«, dobronamernosti in pravičnosti (koristi Iz posredovane dokumentacije je jasno razvidno, da je bila intervencija osnovana na upoštevanju vseh etičnih načel spoštovanja pravic 4.1 in tveganja naj bodo pravično razdeljena). DA posameznikov, dobronamernosti in pravičnosti, da pričakovane koristi *Pričakovane koristi presežejo oz. intervencije presegajo oz. odtehtajo potencialno škodo, ter da je bila odtehtajo potencialno škodo. intervencija izvedena pravično oz. sorazmerno s potrebami ciljne skupine. *Intervencija je bila izvedena pravično – sorazmerno s potrebami ciljne skupine. 25 Pravice posameznikov (npr. varstvo Iz priložene dokumentacije je razvidno, da izvajalci/nosilci intervencije 4.2 osebnih podatkov) so zaščitene v potrjujejo, da so osebne podatke udeležencev ter drugih sodelujočih oseb skladu z nacionalno in evropsko DA zbirali in obdelovali v skladu z veljavno nacionalno in evropsko zakonodajo zakonodajo. na področju varovanja osebnih podatkov. Navzkrižje interesov je jasno Nosilec/izvajalec intervencije izjavlja, da ne obstaja nasprotje interesov 4.3 opredeljeno, prav tako so navedeni oziroma ne obstajajo nobene okoliščine, ki bi lahko izkazovale zasebni interes ukrepi za ravnanje ob pojavu navzkrižja DA z drugimi osebami, katerih cilji so oziroma bi lahko bili v nasprotju z interesov. javnozdravstvenimi cilji. Nosilec/izvajalec intervencije izjavlja, da se med aktivnostmi, povezanimi s Med izvajanjem intervencije se ni pripravo, izvajanjem in kasnejšim vrednotenjem intervencije, ni oglaševalo 4.4 oglaševalo določenega izdelka, naprave DA nobenih reklamnih, promocijskih ali drugih izdelkov, naprav ali objavljalo ali katere koli komercialne pobude. kakršnihkoli drugih komercialnih pobud, s katerimi bi njihova organizacija, druga fizična ali pravna oseba pridobila premoženjsko ali nepremoženjsko korist. OSNOVNA MERILA Učinkovitost in uspešnost intervencije – vrednotenje procesa Merilo Točke Komentar V okviru intervencije je bilo izvedeno ustrezno tako zunanje kot tudi notranje vrednotenje procesov. Zunanje vrednotenje v okviru (1) mednarodnega projekta »Module CLOSE –TO«, ki je raziskoval in testiral EU pristope k izobraževanju voznikov; (2) Evalvacije in Izvedeno je bilo notranje ali dopolnitve delavnic ŠVVVNH ŠIPK 2019; (3) zunanje analize zunanje vrednotenje procesov ob medijskih objav (doseg socialno-marketinške kampanje, število 1.1 upoštevanju družbenih in objav v medijih, bruto vrednosti objav, izvedbe promocijskih ekonomskih vidikov ciljne skupine 5 - odlično videov). Notranje vrednotenje: (1) število izvedenih interaktivnih in perspektiv pomembnejših preventivnih prometnih delavnic za mlade, (2) število slušateljev interesnih strani. interaktivnih preventivnih delavnic ŠVVVNH za mlade, (3) število vključenih poškodovancev in mladinskih delavcev; (4) zadovoljstvo udeležencev na delavnicah ŠVVVNH, (5) zadovoljstvo strokovnih delavcev šol z izvedbo delavnic ŠVVVNH, (6) Raziskava odnos do alkohola in prometne varnosti 2017 pred delavnicami. Rezultati vrednotenja (npr. število izvedenih delavnic, število Intervencija izkazuje povezanost rezultatov vrednotenja z izbranimi udeležencev, zadovoljstvo oz. določenimi cilji programa, in sicer preko dokazane 1.2 udeležencev, število medijskih 5 - odlično učinkovitostne spremembe stališč ter varnim vedenjem voznikov objav, število delavnic) so bili (Vpliv predavanj ŠVVVNH na varno vedenje voznikov - vprašalnik povezani z izbranimi/določenimi DBQ) ter dokazano učinkovitostjo aktivnosti pripovedovanja zgodb cilji same intervencije. ambasadorjev na soočanje s travmo. Učinkovitost in uspešnost intervencije – vrednotenje rezultatov Merilo Točke Komentar Ugotovljeni rezultati so najbolj Iz predvidenih ciljev intervencije je razvidno, da so bili ugotovljeni 1.3 ustrezni za intervencijo glede na cilje, teoretične modele in ciljno 5 - odlično rezultati aktivnosti pravilno zastavljeni in potrjujejo njeno skupino. ustreznost. Predstavljeni so bili tudi omejitveni dejavniki. Vrednotenje rezultatov meri razliko med začetno in končno Intervencija je obsegala izvedbo vrednotenja med začetno in končno 1.4 situacijo ter je izvedeno na način, situacijo v obliki anketiranja pred in po izvedenih predavanjih, pri ki je primeren za vrsto intervencije 5 - odlično čemer so z namenom dolgotrajnega vrednotenja izvajali tudi (meri učinke intervencije upošteva anketiranje nekdanjih udeležencev programa. možne pristranosti). Vse izboljšave v kazalnikih, ki smo Intervencija jasno opredeljuje svoje izboljšave v primerjavi jih v intervenciji merili (npr. z izhodiščem programa ter se jo izboljšuje v skladu z aktualnimi 1.5 ciljnem vedenju, ki smo ga 5 - odlično spoznanji in dogajanjem. V Evalvaciji in dopolnitvi delavnic ŠVVVNH poskušali spremeniti), so ustrezno ŠIPK 2019 so bile podane tudi ideje za nadgradnjo aktivnosti, ki so dokumentirane in predstavljene. bile upoštevane v nadaljnjih izvedbah ŠVVVNH osnovna, ŠVVNH plus ter ŠVVVNH ekstra. 26 Glede na vrednotenje procesov in rezultatov ter uporabo finančnih 1.6 Intervencija je bila ocenjena z 4 - zelo sredstev ocenjujemo, da je šlo za dobro porabo sredstev, obstaja pa ekonomskega vidika. dobro še prostor za izboljšanje v smislu podaje ocene stroškovne učinkovitosti. Intervencija ima glede na rezultate raziskovalnega projekta Fakultete za logistiko UM dokazano učinkovitost oz. koristen učinek, vendar obstajajo možnosti za izboljšave, ker je le-ta z vidika obdelave podatkov in ugotavljanja statistične značilnosti razlik pred 1.7 Rezultati ocenjevanja intervencije in po intervenciji delno nezadovoljiv. Predlagamo, da pred izvedbo so pokazali koristen učinek. 3 - dobro vrednotenja pride do posvetovanja s strokovnjaki/raziskovalci v povezavi z izbiro pravilnih kazalnikov, primerjav, primernostjo vprašalnikov ter z metodologi glede ustrezne obdelave pridobljenih podatkov, tudi glede ustreznega merjenja dolgoročnih učinkov intervencije. V intervenciji so spremljali pojav V času izvajanja intervencije niso bili prepoznani oz. odkriti 1.8 nepričakovanih učinkov (tudi 3 - dobro nepričakovani ali negativni učinki le-te, obstaja pa prostor za negativnih) in jih opisali. izboljšave v povezavi z ustreznim spremljanjem oz. obsegu morebitnih tovrstnih učinkov. Vključeni so elementi za spodbujanje procesov opolnomočenja ciljne skupine Intervencija vključuje elemente za spodbujanje procesov opolnomočenja ciljne skupine, saj stremi k opolnomočenju invalidov 1.9 (npr. krepitev zdravstvene pismenosti, zagotavljanje možnosti 5 - odlično (izvajalci delavnic) ter njihovi psihosocialni rehabilitaciji, spremembi za razvijanje ustreznih spretnosti, stališč ter spodbujanju varnega vedenja v prometu pri primarni ciljni znanj in vedenj, socialne opore skupini. ipd.). Zmanjševanje neenakosti v zdravju Merilo Točke Komentar V celotnem procesu izvajanja intervencija dejavno upošteva Intervencija je v celotnem procesu izvajanja pravično dostopna in ustrezne razsežnosti pravičnosti upošteva ustrezne razsežnosti pravičnosti, kar je podprto z nacionalno razširjenostjo po vseh regijah, tudi virtualno izvajanje v 2.1 (npr. starost, spol, socialno-ekonomski status, etnično 5 - odlično času dela na daljavo, izborom okolij, v katerih se dogaja več pripadnost, tip območja prometnih nesreč, vključevanjem lokalnih skupnosti (izvedba v (ruralno/urbano), regijo, mladinskih centrih) ter reintegracijo ranljivih skupin v socialno in pripadnost ranljivi skupini). delovno okolje. Znotraj intervencije je mogoče zaznati prizadevanja za prepoznavanje ranljivih skupin, pojava neenakostih v dostopnosti Intervencija upošteva in dokumentira zmanjševanje neenakosti 2.2 intervencije ter morebitnih drugih tudi glede izbire ciljnih skupin in okolij, v katerih se intervencijo vidikov neenakosti; te ugotovitve 5 - odlično izvaja. Dodatno spodbuja reintegracijo ranljivih skupin v socialno in so dokumentirane in povzete v delovno okolje. poročilih, priporočilih, smernicah ipd. za zmanjšanje ugotovljenih neenakosti v zdravju. 27 Sodelovanje deležnikov pri razvoju in izvajanju intervencije Merilo Točke Komentar Sodelovanje s ciljno skupino in pomembnejšimi deležniki je bilo zagotovljeno v različnih fazah intervencije. K sodelovanju so povabili mlade in učitelje pri nadgradnji delavnic, vzpostavili so sodelovanje Sodelovanje s ciljno skupino in z Društvom paraplegikov, sodelovanje v mednarodnem projektu pomembnejšimi deležniki je bilo »Module CLOSE-TO«, sodelovanje z župani in občinami oz. njihovimi »Sveti za preventivo in vzgojo v cestnem prometu« pri izvedbi oz. 3.1 zagotovljeno v različnih fazah intervencije: 5 - odlično financiranju delavnic za otroke in dijake v njihovih občinah; - načrtovanje in razvoj sodelovanje z občinami z izvedbo delavnic v okviru Evropskega - izvajanje in vrednotenje. tedna mobilnosti, izvedba delavnic v mladinskih centrih oz. drugih lokacijah v lokalnem okolju, sodelovanje pri vrednotenju s Fakulteto za logistiko Univerze v Mariboru, sodelovanje s sektorjem za krepitev zdravja in preprečevanja odvisnosti (MZ), 126 oglasov v medijih, NIJZ. Sodelovanje mladih in učiteljev pri nadgradnji delavnic, sodelovanje z Društvom paraplegikov, sodelovanje v mednarodnem projektu V različnih fazah intervencije – v »Module CLOSE-TO«, sodelovanje z župani in občinami oz. njihovimi fazi načrtovanja, izvajanja in »Sveti za preventivo in vzgojo v cestnem prometu« pri izvedbi oz. vrednotenja – se je med deležniki financiranju delavnic za otroke in dijake v njihove občine; 3.2 vzpostavilo sodelovanje, ki je 5 - odlično sodelovanje z občinami z izvedbo delavnic v okviru Evropskega opisano, trajnostno naravnano in tedna mobilnosti, izvedba delavnic v mladinskih centrih oz. drugih omogoča vzpostavitve formalnih lokacijah v lokalnem okolju, sodelovanje pri vrednotenju s Fakulteto struktur sodelovanja. za logistiko Univerze v Mariboru, sodelovanje s sektorjem za krepitev zdravja in preprečevanja odvisnosti (MZ), 126 oglasov v medijih, NIJZ.) Medsektorsko sodelovanje Merilo Točke Komentar V izvajanje intervencij je bilo vključenih več različnih sektorjev: Sodelovanje s ciljno skupino in zdravje (Ministrstvo za zdravje, NIJZ), šolstvo (Delavnice ŠVVVNH se pomembnejšimi deležniki je bilo v veliki večini izvedejo v OŠ in SŠ v okviru obveznih izbirnih vsebin 4.1 zagotovljeno v različnih fazah ter Dnevov zdravja, prometne varnosti itd.); Urad za mladino RS in intervencije: 5 - odlično Fakulteta za logistiko Univerze v Mariboru vključena v izvajanje - načrtovanje in razvoj vrednotenju delavnic ŠVVVNH (Ministrstvo za izobraževanje, - izvajanje in vrednotenje. znanost in šport); transport (Javna agencija RS za varnost prometa kot pomemben partner in sofinancer pri izvedbi delavnic). V različnih faze intervencije – v fazi načrtovanja, izvajanja in vrednotenja – se je med deležniki Intervencija je zasnovana interdisciplinarno in jo podpirajo ustrezne 4.2 vzpostavilo sodelovanje, ki je 5 - odlično interesne skupine, npr. Ministrstvo za zdravje, Mestne občine in opisano, trajnostno naravnano in gospodarski partnerji (Toyota, Zavarovalnica Triglav, DARS, šole). omogoča vzpostavitve formalnih struktur sodelovanja. Intervencija spodbuja usklajevanje Projekt ne samo, da vključuje različne sektorje, temveč zahteva tudi veliko koordinacije in usklajevanja med različnimi sektorji. Kot 4.3 med sektorji, npr. storitve zdravstvenega in socialnega 5 - odlično primer lahko omenimo sodelovanje med nevladnimi organizacijami sektorja. (No Excuse) in z zdravstvenim sektorjem (NIJZ), ki podpira izvajanje intervencije in znotraj samega šolstva, kjer se je intervencijo izvajajo. 28 DODATNA MERILA Prenosljivost intervencije Merilo Točke Komentar Intervencija uporablja instrumente Priročnik s podrobnim opisom dejavnosti ni bil predložen. 1 - ne Predlagamo njegovo izdelavo, le-ta bo tudi relativno enostavna, ker 1.1 (npr. priročnik s podrobnim opisom dejavnosti), ki omogočajo izpolnjuje Zavod že s pregledom drugih oddanih dokumentov lahko zaobjame ponavljanje/prenos. zahtev vso vsebino, ki bi prišla v poštev pri pripravi tovrstnega kratkega strukturiranega priročnika. Opis intervencije vključuje vse organizacijske elemente, V opisu intervencije niso eksplicitno vključeni vsi predvideni 1.2 opredeljuje omejitve in potrebne ukrepe, ki so bili sprejeti za 2 - slabo elementi tega merila, vendar se jih da zadostno oz. delno razbrati iz premagovanje zakonskih, preostale pripadajoče dokumentacije. upravljavskih, finančnih ovir. Opis intervencije vključuje opis demografskih, psihografskih, Ciljne skupine so jasno opisane ter vsebujejo opredelitev njihovih 1.3 interesnih in drugih značilnosti ciljne populacije ter ukrepe, ki so 5 - odlično različnih značilnosti, kar omogoča dobro razumevanje in predstavlja bili sprejeti za premagovanje potencial za morebiten prenos v druga okolja. osebnih in okoljskih ovir. Intervencija je bila izvajana v realnem okolju, dokler niso nastale Intervencija je bila izvajana v omejitve zaradi epidemije covida-19. Le-tej so se uspeli ustrezno realnem okolju, z jasno prilagoditi, da so kljub temu lahko izvedli intervencijo. 1.4 predstavljeno komunikacijsko 5 - odlično Komunikacijska strategija ni predstavljena neposredno, pač pa strategijo in načrtom diseminacije preko vrednotenja medijskih objav. Diseminacija podatkov ni bila rezultatov. predstavljena neposredno, vendar je bila ustrezno vidna preko drugih medijskih objav in analiz. Intervencija je bila uspešno Intervencija je bila zelo uspešno prenesena iz prvotne ožje zasnove 1.5 prenesena/ponovljena iz pilotne v širše okolje (»Module CLOSE-TO«, izvajanje na nacionalni ravni, faze oz. manjše skupine ali okolja v 5 - odlično prenos intervencije v druge države, tudi uspešen prenos v digitalno širšo skupino oz. okolje. okolje). Izvedba intervencija je bila Izvedba intervencije je bila prilagojena različnim potrebam, še 1.6 prilagojena različnim potrebam, ki 5 - odlično posebej v luči aktualne epidemije covida-19, druge prilagoditve so se pojavile med izvajanjem. glede izvedbe, sprva klasično, nato z uporabo različnih metod mladinskega dela, tudi interaktivnost preko ŠVVVH plus, ekstra. 29 Trajnost intervencije Merilo Točke Komentar Obstajajo institucionalna podpora, Zavod ima zagotovljene finančne vire s strani različnih deležnikov, kot so MZ, NIJZ, Mestne občine ter tudi gospodarskih partnerjev: 2.1 organizacijska in tehnološka struktura ter stabilni človeški viri 5 - odlično Toyota, Zavarovalnica Triglav, DARS. Zaposleni v NVO Zavod vozim: za izvajanje intervencije. Usposabljanje invalidov izvajalcev, usposabljanje mladinskih delavcev. Ob prijavi na razpis za sofinanciranje programov Ministrstva za Navedeno je finančno poročilo, ki zdravje je bila podana ocena finančnih virov; Intervencija ima delno 2.2 opredeljuje vire financiranja 4 - zelo sofinancirane delavnice s strani Svetov za preventivo v cestnem intervencije. dobro prometu slovenskih občin ter posameznih šol; sofinanciranja s strani partnerjev so kratkoročna (po pogodbi), financiranje s strani Ministrstva za zdravje pa je zagotovljeno do konca leta 2022. Nadaljevanje intervencije je bilo zagotovljeno z institucionalnim zasidranjem in/ali lastništvom Institucija, kjer je intervencija zasidrana, je Zavod Vozim, vendar je 2.3 ustreznih interesnih skupin ali 4 - zelo še vedno potrebno prijavljanje na razpise za zagotovitev finančnih skupnosti pri srednjeročnem in dobro sredstev, ki so pogoj za dolgoročno nadaljevanje intervencije. dolgoročnem načrtovanju intervencije. Zagotovljeno je trajno Usposabljanje osebja je zagotovljeno preko t. i. Akademije za 2.4 usposabljanje osebja v smislu 5 - odlično usposabljanje (usposabljanje invalidov izvajalcev, mladinskih znanja, tehnik in pristopov. delavcev). Pripravljena je trajnostna strategija, ki obravnava vrsto vsebinskih dejavnikov (npr. Iz priložene dokumentacije je razvidno, da so izvajalci/nosilci pri 2.5 zdravstvene in socialne politike, 5 - odlično izvedbi intervencije usmerjeni v njen nadaljnji razvoj (Strategija inovacije, kulturne trende in Zavoda VOZIM 2022–2027 s predvidenim razvojem intervencije za splošno gospodarstvo, naslednjih 5 let). epidemiološke trende). Intervencija »Še vedno vozim - vendar ne hodim« je v skupnem seštevku dosegla oceno 89 % (izključitvena merila 27 % od možnih 30 %, osnovna merila 46 % od možnih 50 % in dodatna merila 16 % od možnih 20 %) ter bila prepoznana za primer »dobre prakse«. 3.1.1 Rezultati skladnosti med ocenjevalci za intervencijo ŠVVVNH Skladnost med ocenjevalci je bila pri intervenciji ŠVVVNH znatna na vseh treh ravneh meril. Skladnost je bila znatna ali višja pri vseh elementih z izjemo elementa znanstvenih dokazov in teoretske utemeljitve intervencije (FK 0,17), ki je vključen na ravni izključitvenih meril. To je hkrati tudi element meril, kjer je bila razlika med povprečno in končno razliko največja (0,33) (Preglednica 4). 30 Preglednica 4: Prikaz ocen skladnosti ocenjevalcev na ravni elementov meril po sklopih izključitvenih, osnovnih in dodatnih meril. 0,95 DS FK 0,05 IZ IZ SN PO KO Razlika 1. IZKLJUČITVENA MERILA 58 % 0,47 0,2 0,74 0,06 4,64 4,76 0,12 1 Vsebinska ustreznost intervencije 100 % 1 1 1 0,00 5,00 5,00 0,00 2 Zgradba intervencije (struktura) 55 % 0,43 0,1 0,77 0,10 4,24 4,27 0,03 3 Znanstveni dokazi in teoretska utemeljitev intervencije 33 % 0,17 0,17 0,17 0,00 4,67 5,00 0,33 2. OSNOVNA MERILA 58 % 0,48 0,24 0,72 0,06 4,65 4,84 0,19 1 Učinkovitost in uspešnost intervencije 54 % 0,43 0,08 0,77 0,12 4,54 4,38 -0,17 2 Zmanjševanje neenakosti v zdravju 44 % 0,41 -0,41 1 0,41 4,33 5,00 0,67 3 Sodelovanje deležnikov pri razvoju in izvajanju intervencije 67 % 0,58 -0,23 1 0,43 4,83 5,00 0,17 4 Medsektorsko sodelovanje 78 % 0,72 0,18 1 0,24 4,89 5,00 0,11 3. DODATNA MERILA 64 % 0,55 0,29 0,8 0,08 3,82 4,22 0,40 1 Prenosljivost intervencije 67 % 0,58 0,22 0,95 0,15 3,83 3,83 0,00 2 Trajnost intervencije 60 % 0,5 0,1 0,9 0,18 3,80 4,60 0,80 DS = delež skladnosti, FK = Fleissov koeficient kappa, IZ = interval zaupanja, SN = standardna napaka, PO = povprečna ocena, KO = končna ocena). 3.2 Intervencija »Alkohol = sprememba življenja« »Alkohol = sprememba življenja« je program, usmerjen v preprečevanje prve rabe alkohola in sprejemanje zdravih odločitev predvsem med zadnjo triado osnovnošolcev, s fokusom na devetošolcih. Program prav tako med mladostniki promovira zdrav življenjski slog. V samo izvedbo programa so vključeni mladi aktivisti/mladinski delavci ter mladi invalidi s poškodbo hrbtenjače – poškodovanci zaradi nesreče, ki ji je botroval alkohol ali nespametna odločitev. Zadnji se v program vključujejo z namenom socialne rehabilitacije, pridobivanja kompetenc znanj in veščin s področja mladinskega dela, preventive na področju alkohola ter spodbujanja zdravega življenjskega sloga in sprejemanja zdravih odločitev med mladostniki. Mladi invalidi so skupaj z mladimi aktivisti/mladinskimi delavci soizvajalci delavnic za mladostnike (Kralj in sod., 2018). Podrobnejši opis programa je podan v Priročniku za izvajalce programa, ki je v Prilogi 3. Rezultati celostnega vrednotenja intervencije »Alkohol = sprememba življenja« so predstavljeni v preglednici 5. 31 Preglednica 5: Rezultati vrednotenja intervencije »Alkohol = sprememba življenja«. IZKLJUČITVENA MERILA Vsebinska ustreznost intervencije Merilo Točke Komentar Intervencija dosega zahtevana merila skladnosti z javnozdravstvenimi strategijami, in sicer podpira Resolucijo o Skladnost z javnozdravstvenimi Nacionalnem programu na področju prepovedanih drog 2014–20 in 1.1 strategijami na lokalni, regionalni, 5 - odlično Resolucijo o Nacionalnem programu za mladino 2013–2022. nacionalni ali na evropski ravni. Obenem kot intervencija predstavlja pomemben del celostne alkoholne politike, upošteva podatke o porabi alkohola in stroških zaradi bolezni, povezanih z alkoholom tako na področju Slovenije kot tudi v okviru Evropske unije. Intervencija je kot zgodnja intervencija na področju preprečevanja Intervencija je vzpostavljena kot in zmanjševanja škode zaradi alkohola: (zmanjševanje rabe alkohola, podpora za izvajanje nacionalnih zvišanje starostne meje prve rabe alkohola, višanje socialne 1.2 programov, zakonodaje ali drugih 5 - odlično kompetentnosti, znanja in socialnih veščin in krepitve zdravega predpisov, namenjenih reševanju z življenjskega sloga) uspešno vzpostavljena kot podpora za izvajanje zdravjem povezanih problemov. nacionalnih programov, zakonodaje in drugih predpisov, kot so Zakon o omejevanju porabe alkohola (ZOPA), Zakon o trošarinah (ZTro-1), Zakon o medijih (Zmed) in Zakon o voznikih (ZVoz-1). Zgradba intervencije (struktura) Merilo Točke Komentar Analiza stanja problematike, ki jo Intervencija delno vsebuje predvidene ključne elemente merila. Celovite intervencija naslavlja in temelji na lastne analize stanja ob načrtovanju intervencije analize stanja z jasno opredeljeni metodologiji opredeljeno metodologijo, zbiranjem obstoječih podatkov in dokumentov 2.1 primarnega in/ali sekundarnega 4 - zelo niso bile opravljene, so pa bili uporabljeni podatki, pridobljeni s strani HBSC zbiranja podatkov in analize podatkov dobro in ESPAD ter predhodno pridobljene izkušnje, ki izhajajo iz intervencije ter predstavitev povzetkov analiz (npr. ŠVVNH, ki podpirajo usmeritve intervencije. Poleg tega je področje relativno v SWOT analizi). dobro raziskano ter je bilo na njem do zdaj razvitih že večje število javnozdravstvenih raziskav in intervencij. Segmentacija izbrane populacije (po Intervencija segmentira izbrano populacijo udeležencev programa glede na demografskih, psihografskih, njihove raznolike osnovne demografske, življenjsko-stilne in druge ključne dejavnike (s poudarkom na znanju, socialnih normah in interesih za vsebine, 2.2 življenjsko-stilnih in drugih dejavnikih, 4 - zelo kot so znanje o problemu, stališčih, dobro povezane z alkoholom). Lahko bi bila izvedena na način, ki bi bolj podrobno preteklih vedenjih, ki so relevantni za opredelil specifična vedenja in znanja glede alkohola pri mladih v različnih obravnavani problem). geografskih in/ali kulturnih okoljih (primerjava mestno, primestno, vaško), kar bi lahko pomembno vplivalo na specifiko pristopa intervencije. Intervencija jasno opredeljuje tako primarno skupino (mladostniki v zadnji 2.3 Jasno opredeljena ciljna skupina ali ciljne skupine, kadar je teh več. 5 - odlično triadi OŠ, 13–15 let) kot tudi sekundarno ciljno skupino (ranljive skupine (mladi invalidi), mladi aktivisti). Vedenjska cilja intervencije sta vsebinsko delno ustrezno opredeljena. Prvi cilj (zamik prve rabe alkohola) ima nastavljene podcilje, ki so opredeljeni po načelu SMART, medtem ko je drugi vedenjski cilj (opolnomočenje mladih Opredelitev vedenjskih in izvajalcev) opredeljen preveč splošno oz. nima nastavljenih kazalnikov, ki bi 2.4 komunikacijskih ciljev po načelu 3 - dobro jih bilo mogoče meriti. Podcilji intervencije so merljivi (z vprašalnikoma po SMART. izvedbi intervencij), dosegljivi (glede na izvedeno interno vrednotenje), a ne časovno določeni. Pomanjkljivo pa so opisani komunikacijski cilji intervencije, ki niso ustrezno opredeljeni, kljub temu, da bi bili lahko specifično, merljivo in časovno razdelani po vzoru načela SMART. Intervencija v svojem tehničnem dokumentu ustrezno opredeljuje Opredelitev strategij, taktik in orodij za raznovrstna uporabljena orodja in pristope za doseganje predvidenih ciljev, 2.5 doseganje posamičnih vedenjskih in 5 - odlično kot so predstavitve strokovnih podatkov glede nevarnosti rabe alkohola in komunikacijskih ciljev. prijemov alkoholne industrije, preko rabe mladinskih metod dela (skupinsko delo, štafeta - tekmovanje, kviz, mit-resnica), osebne zgodbe mladega poškodovanca. Kazalniki procesnega vrednotenja intervencije so pravilno zastavljeni Opredelitev kazalnikov za procesno (število izvedenih raziskav med osnovnošolci o odnosu do alkohola in vplivu 2.6 vrednotenje in vrednotenje 3 - dobro alkohola na zdravje, število pripravljenih kompetenčnih modelov z učinkovitosti ter uspešnosti. mikroplanom za izvajalce preventivnih aktivnosti, število pripravljenih priročnikov za izvajalce, število izvedenih paketov delavnic, število slušateljev delavnic in zadovoljstvo udeležencev), obstajajo pa 32 pomanjkljivosti v povezavi z ustreznim vrednotenjem učinkovitosti/uspešnosti – evalvirani so samo takojšnji vplivi oz. učinki: SPREMEMBE STALIŠČ DO ALKOHOLA, manjka ustrezno vrednotenje dolgoročnih ciljev oz. vplivov. Predlagamo tudi razmislek o nastavitvi ustreznih kazalnikov za dolgoročno vrednotenje vplivov. Intervencija dobro opisuje vključenost predstavnikov različnih ciljnih skupin Opredelitev, kako so bili v intervencijo ter različnih sodelujočih deležnikov programa (ciljna skupina mladostnikov vključeni predstavniki ciljne skupine in preko raziskave v letu 2018 ter tudi raziskovalci, MZ (podpora razpisu), NIJZ drugi deležniki (partnerji, interesne (vsebina in vrednotenje), šolstvo (izvedba), Zavarovalnica Triglav d. d. 2.7 skupine, politični odločevalci, mediji 4 - zelo (financiranje), Urad za mladino (Ministrstvo za izobraževanje, znanost in ipd.) ter kako je bilo to sodelovanje dobro šport -financiranje), psiholog (Usposabljanje izvajalcev s področja načrtovano, vzpostavljeno, komunikacije in retorike - javnega nastopanja) in sodelovanje med NVO vzdrževano, ocenjeno in finančno (Zavod vozim, Brez izgovora, Društvo inovativnih pristopov zdravega načina podprto. življenja mladih in invalidov, IMZTR)), medtem ko vključenost nekaterih drugih deležnikov (šole, starši, mediji, politični odločevalci) ni razvidna. Opredelitev virov, ki so bili vključeni v pripravo, implementacijo in Viri, ki so bili vključeni v pripravo, implementacijo in vrednotenje 2.8 vrednotenje intervencije, pri čemer intervencije, so deloma pomanjkljivo opredeljeni/opisani, zaradi česar je iz med vire sodijo človeški viri, sistemski, 3 - dobro dokumentacije težko razbrati ustreznost in vključenost vseh predvidenih fizični in finančni viri, prepoznavnost, sestavin tega merila. odnosi ter trenutne aktivnosti. Opredelitev optimizacije razpoložljivih Iz pripadajočih projektnih dokumentov ter dodatnih finančnih podatkov, ki 2.9 sredstev, pri doseganju zastavljenih jih je Zavod predložil naknadno, so jasno razvidne in segmentirane postavke ciljev (načrtovani in dejanski stroški 5 - odlično upravljanja z razpoložljivimi finančnimi sredstvi za izvedbo intervencije in intervencije). planiranje ter dejanska poraba le-teh. Intervencija deloma ustrezno opisuje in opredeljuje vrednotenje programa. Opis in opredelitev vrednotenja na (1) Aplikativno vrednotenje: pred začetkom intervencije ni bilo izvedeno oz. treh ravneh: aplikativno vrednotenje, izvedba ni razvidna, je pa bila za razvoj intervencije izvedena raziskava ki je namenjeno razvoju intervencije in Značilnosti ciljne populacije preventivne intervencije o alkoholu - znanje, implementacije; procesno socialne norme in interesi za vsebine, povezane z alkoholom. (2) Procesno vrednotenje, ki spremlja vrednotenje: opisani so kazalniki in zapisano je, da so bila pripravljena 2.10 implementacijo intervencije in glede 3 - dobro poročila, vendar so rezultati pomanjkljivo opisani oz. nezadostno na sprotne rezultate ustrezno prilagaja opredeljeni (št. delavnic, udeležencev ipd.). Merjeno je bilo zadovoljstvo izvedbo intervencije ter vrednotenje udeležencev (opisano v evalvacijskih poročilih). (3) Vrednotenje uspešnosti uspešnosti in učinkovitosti intervencije in učinkovitosti: analiza vprašalnikov pred in po intervencijah (2018 in glede na zastavljene cilje, vložene vire, 2019), merjenje sprememb stališč (kratkoročno) ni bilo popolnoma pa tudi etičnosti. usklajeno s cilji intervencije (glavna cilja: zamik prve rabe alkohola in opolnomočenje mladih izvajalcev). Manjka dolgoročno vrednotenje uspešnosti in učinkovitosti intervencije. Opisu intervencije je priložena dokumentacija, ki predstavlja osnovni Intervencija je v opisu in strukturi dobro dokumentirana (predvsem s 2.11 del intervencije, denimo smernice in 4 - zelo pomočjo priročnika za izvajalce »Alkohol = sprememba življenja« in z protokoli, vključno z navedbo dobro dodatnim opisom programa). literature. Znanstveni dokazi in teoretska utemeljitev intervencije Merilo Točke Komentar Intervencija izkazuje utemeljenost na preverjenih in podprtih Intervencija temelji na znanstvenih znanstvenih pristopih ter aktualni strokovni literaturi (metaanaliza, dokazanih in preverjenih teorijah Z zdravjem povezana varna vedenja v šolskem obdobju med 3.1 (npr. metaanalizah, sistematičnem 4 - zelo mladostniki v Sloveniji 2018; Raziskava Značilnosti ciljne populacije pregledu literature, študijah dobro preventivne intervencije o alkoholu: znanje, socialne norme, interesi implicitnega znanja). za vsebine povezane z alkoholom in Principi dobre preventive (zadnji omenjeni raziskavi izvedeni naknadno)). Intervencija daje poudarek metodam mladinskega dela v manjših V načrtu so predstavljeni elementi skupinah z namenom aktivne participacije mladih in večjega pristopa (ali tehnike ali načela) v osebnega pristopa, obenem pa izpostavlja tudi nekatere naknadno 3.2 okvirih modela spremenljivosti ali 4 - zelo razvite pristope (raziskava Značilnosti ciljne populacije preventivne intervencijske teorije ali glede na dobro intervencije o alkoholu: znanje, socialne norme, interesi za vsebine rezultate predhodno opravljene povezane z alkoholom), elementi pristopa pa so predstavljeni v raziskave. Priročniku za izvajalce in Kompetenčnem modelu z mikroplanom, vendar gre prav tako za naknadno pripravljena dokumenta. 33 Etični vidik Merilo Točke Komentar *Spoštovanje osnovnih etičnih načel – avtonomije (spoštovati pravico posameznikov, da sprejemajo svoje odločitve), »ne Iz posredovane dokumentacije je razvidno, da je bila intervencija škodovati!«, dobronamernosti in osnovana na upoštevanju vseh etičnih načel spoštovanja pravic 4.1 pravičnosti (koristi in tveganja naj posameznikov, dobronamernosti in pravičnosti, da pričakovane bodo pravično razdeljeni). DA koristi intervencije presegajo oz. odtehtajo potencialno škodo, ter *Pričakovane koristi presežejo oz. da je bila intervencija izvedena pravično oz. sorazmerno s potrebami odtehtajo potencialno škodo. ciljne skupine. *Intervencija je bila izvedena pravično – sorazmerno s potrebami ciljne skupine. Pravice posameznikov (npr. Iz priložene dokumentacije je razvidno, da izvajalci/nosilci intervencije potrjujejo, da so osebne podatke udeležencev ter 4.2 varstvo osebnih podatkov) so zaščitene v skladu z nacionalno in DA drugih sodelujočih oseb zbirali in obdelovali v skladu z veljavno evropsko zakonodajo. nacionalno in evropsko zakonodajo na področju varovanja osebnih podatkov. Navzkrižje interesov je jasno Nosilec/izvajalec intervencije izjavlja, da ne obstaja nasprotje 4.3 opredeljeno, prav tako so interesov oziroma ne obstajajo nobene okoliščine, ki bi lahko navedeni ukrepi za ravnanje ob DA izkazovale zasebni interes z drugimi osebami, katerih cilji so oziroma pojavu navzkrižja interesov. bi lahko bili v nasprotju z javnozdravstvenimi cilji. Nosilec/izvajalec intervencije izjavlja, da se med aktivnostmi, Med izvajanjem intervencije se ni povezanimi s pripravo, izvajanjem in kasnejšim vrednotenjem 4.4 oglaševalo določenega izdelka, intervencije ni oglaševalo nobenih reklamnih, promocijskih ali naprave ali katere koli komercialne DA drugih izdelkov, naprav ali objavljalo kakršnihkoli drugih pobude. komercialnih pobud, s katerimi bi njihova organizacija, druga fizična ali pravna oseba pridobila premoženjsko ali nepremoženjsko korist. OSNOVNA MERILA Učinkovitost in uspešnost intervencije – vrednotenje procesa Merilo Točke Komentar Izvedeno je bilo notranje ali zunanje vrednotenje procesov ob Iz pripadajoče dokumentacije je razvidno, da je bilo v okviru intervencije izvedeno notranje vrednotenje procesov in 1.1 upoštevanju družbenih in ekonomskih vidikov ciljne skupine 3 - dobro zadovoljstvo udeležencev, a je bilo vrednotenje izvedeno na in perspektiv pomembnejših večinoma nesistematičen način. Dodano vrednost intervencije bi interesnih strani. predstavljala izvedba zunanjega vrednotenja procesov. Intervencija deloma izpolnjuje predvidene cilje procesnega Rezultati vrednotenja (npr. število vrednotenja, a so bili le-ti predstavljeni pomanjkljivo. Iz dokumentov izvedenih delavnic, število so razvidni osnovni podatki, kot so število izvedenih delavnic in udeležencev, zadovoljstvo udeležencev intervencije, nismo pa zasledili podrobnejše vsebine o 1.2 udeležencev, število medijskih 3 - dobro izvedbi delavnic ter jasno predstavljenega načrtovanja in povezave objav, število delavnic) so bili med zastavljenimi cilji ter podcilji intervencije in ali so bili le-ti povezani z izbranimi/določenimi uspešno doseženi. Za v prihodnje predlagamo, da se cilje in podcilje cilji same intervencije. za procesno vrednotenje nastavi na način, kot so bili pravilno zastavljeni za vrednotenje učinkovitosti in uspešnosti intervencije. 34 Učinkovitost in uspešnost intervencije – vrednotenje rezultatov Merilo Točke Komentar Intervencija navkljub dobro zastavljenim oz. izbranim ciljem in podciljem deloma izpolnjuje predvidene elemente merila. Izvedena je bila analiza kratkoročnih sprememb stališč, in sicer pred in po Ugotovljeni rezultati so najbolj intervencijah (v letih 2018 ter 2019), kar sicer ni najbolje usklajeno s 1.3 ustrezni za intervencijo glede na prvotnimi cilji intervencije (1. zamik prve rabe alkohola in 2. cilje, teoretične modele in ciljno 3 - dobro opolnomočenje mladih izvajalcev intervencije). Pri rezultatih je bila skupino. odsotna ustrezna časovnica raziskave za vrednotenje rezultatov. Potrebno bi bilo tudi vrednotenje dolgoročnih ciljev intervencije. Prav tako v evalvacijskih poročilih ni bila izračunana statistična značilnost sprememb. Vrednotenje rezultatov meri Vrednotenje rezultatov intervencije je bilo zastavljeno in izvedeno razliko med začetno in končno glede na potrebe in izzive ter je ustrezno merilo razlike med začetno 1.4 situacijo ter je izvedeno na način, 4 - zelo in končno situacijo, a zgolj na področju kratkoročnih učinkov ki je primeren za vrsto intervencije dobro (spremembah stališč) in ne tudi dolgoročnih učinkov, kar predstavlja (meri učinke intervencije upošteva omejitev pri zadostitvi kriterija merila. Predlagamo, da se v bodoče možne pristranosti). usmerite tudi v vrednotenje dolgoročnih učinkov intervencije. Intervencija delno ustrezno naslavlja predvidene sestavine merila. Iz Vse izboljšave v kazalnikih, ki smo predložene dokumentacije ugotavljamo, da vrednotenje jih v intervenciji merili (npr. dolgoročnih ciljev ni bilo izvedeno oz. je razvidno le vrednotenje 1.5 ciljnem vedenju, ki smo ga 3 - dobro kratkoročnih ciljev intervencije (sprememb stališč glavne ciljne poskušali spremeniti), so ustrezno skupine), a tudi slednje je bilo izvedeno na površinski način in v zelo dokumentirane in predstavljene. omejenem obsegu, ki so mu manjkale tudi ustrezne statistične ugotovitve ter npr. primerjava med izvajanjem delavnic v letih 2018 in 2019. Glede na razvidno in dodatno posredovano dokumentacijo o porabi finančnih sredstev (vključujoč ocen za izvedbo delavnic, stroškovni 1.6 Intervencija je bila ocenjena z 4 - zelo ekonomskega vidika. dobro znesek na učenca, predavatelja ipd.) ocenjujemo, da je šlo za smotrno porabo sredstev, obstaja pa še prostor za izboljšave v smislu podaje ocene stroškovne učinkovitosti. Iz rezultatov intervencije je moč razbrati pozitiven koristen učinek v obliki opaženih sprememb stališč do alkohola ter pozitivnega in 1.7 Rezultati ocenjevanja intervencije motivacijskega delovanja osebnih zgodb na mlade slušatelje. so pokazali koristen učinek. 3 - dobro Rezultati niso bili ovrednoteni z vidika statistične značilnosti, v bodoče se predlaga izboljšanje pristopa tovrstnega poročanja rezultatov. Iz naknadno posredovane dokumentacije je razvidno, da so bili V intervenciji so spremljali pojav pojavi morebitnih nepričakovanih oz. negativnih učinkov spremljani. 1.8 nepričakovanih učinkov (tudi 4 - zelo V bodoče se predlaga bolj dosledno poročanje in več pozornosti pri negativnih) in jih opisali. dobro beleženju tovrstnih (ne)prisotnih učinkov in naj se le-to jasno navede v poročilu. Vključeni so elementi za spodbujanje procesov opolnomočenja ciljne skupine V intervencijo so jasno vključeni elementi za spodbujanje procesov 1.9 (npr. krepitev zdravstvene opolnomočenja za obe glavni ciljni skupini (invalidov in mladinskih pismenosti, zagotavljanje možnosti 5 - odlično delavcev) z znanji iz področja škodljive rabe alkohola, preventive ter za razvijanje ustreznih spretnosti, mladinskih metod dela. znanj in vedenj, socialne opore ipd.). 35 Zmanjševanje neenakosti v zdravju Merilo Točke Komentar V celotnem procesu izvajanja intervencija dejavno upošteva ustrezne razsežnosti pravičnosti Intervencija je od začetka ustrezno upoštevala vidike merila, in sicer z vključevanjem ranljivih skupin (mladostniki) z namenom zamika 2.1 (npr. starost, spol, socialno-ekonomski status, etnično 5 - odlično prve rabe alkohola. Program se je sprva izvajal le v Mestni občini pripadnost, tip območja Ljubljana, nato pa se je razširil nacionalno ter v luči epidemije (ruralno/urbano), regijo, covida-19 tudi v virtualno okolje. pripadnost ranljivi skupini). Znotraj intervencije je mogoče zaznati prizadevanja za prepoznavanje ranljivih skupin, Intervencija z osredotočanjem na ranljivost starejših osnovnošolcev, pojava neenakosti v dostopnosti ki so glavna ciljna skupina, pravilno naslavlja prizadevanja za prepoznavanje ranljivih skupin, priporočamo pa, da se temu merilu 2.2 intervencije ter morebitnih drugih vidikov neenakosti; te ugotovitve 3 - dobro v bodočih intervencijah nameni dodatno pozornost za upoštevanje so dokumentirane in povzete v vidikov neenakosti s tem, da se podrobneje analizira podskupine poročilih, priporočilih, smernicah glede na socialno-ekonomski status, tip območja, pripadnost ranljivi ipd. za zmanjšanje ugotovljenih skupini ipd. neenakosti v zdravju. Sodelovanje deležnikov pri razvoju in izvajanju intervencije Merilo Točke Komentar Sodelovanje s ciljno skupino in pomembnejšimi deležniki je bilo Sodelovanje s ciljno skupino in upoštevano v različnih fazah intervencije. Le-ta je bila izoblikovana pomembnejšimi deležniki je bilo na podlagi rezultatov predhodne raziskave med mladostniki o 3.1 zagotovljeno v različnih fazah odnosu do alkohola in vplivu alkohola na zdravje. Intervencija je bila intervencije: 5 - odlično s sprotnim vrednotenjem dopolnjevana. Povezuje dve različni - načrtovanje in razvoj nevladni organizaciji, mlade aktiviste in mlade invalide v delovanju. - izvajanje in vrednotenje. Izvajalci intervencije so prav tako deležni vsakoletnih izobraževanj za nadgradnjo znanj in kompetenc. Med deležniki se je razvidno vzpostavilo dobro sodelovanje tako v V različnih fazah intervencije – v fazah načrtovanja kot tudi izvajanja in vrednotenja intervencije fazi načrtovanja, izvajanja in (Zavod vozim in Mladinski zavod Brez izgovora so uvodoma pripravili vrednotenja – se je med deležniki raziskavo o značilnostih ciljne populacije, sledilo je usposabljanje 3.2 vzpostavilo sodelovanje, ki je 5 - odlično izvajalcev v okviru Akademije Še vedno vozim (tudi usposabljanje na opisano, trajnostno naravnano in področju komunikacije in javnega nastopanja)). V pregled in omogoča vzpostavitve formalnih nadgradnjo programa je bil vključen še IMZTR, izvedeno je bilo tudi struktur sodelovanja. sodelovanje s šolami in priprava relevantnih dokumentov (kompetenčni model, priročnik). Medsektorsko sodelovanje Merilo Točke Komentar Sodelovanje s ciljno skupino in pomembnejšimi deležniki je bilo Intervencija je vključevala sodelovanje različnih sektorjev: šolstvo (MIZŠ, 4.1 zagotovljeno v različnih fazah osnovne šole za izvajanje delavnic), zdravstveni sektor (MZ, NIJZ) ter intervencije: 5 - odlično nevladne organizacije (Zavod vozim, Brez izgovora, IMZTR, Društvo - načrtovanje in razvoj inovativnih pristopov zdravega načina življenja mladih in invalidov). - izvajanje in vrednotenje. V različnih fazah intervencije, v fazi Intervencija je bila zasnovana interdisciplinarno in jo podpirajo ustrezne načrtovanja, izvajanja in vrednotenja interesne skupine: Ministrstvo za zdravje, Urad za mladino (Ministrstvo za 4.2 se je med deležniki vzpostavilo 4 - zelo izobraževanje, znanost in šport), ustanove na področju izobraževanja (šole), sodelovanje, ki je opisano, trajnostno dobro Zavarovalnica triglav d.d. ipd. Še večjo dodano vrednost bi predstavljalo naravnano in omogoča vzpostavitve vključevanje še katere izmed interesnih skupin, kot so osnovnošolski učitelji, formalnih struktur sodelovanja. starši ipd. Intervencija spodbuja usklajevanje med 4.3 sektorji, npr. storitve zdravstvenega in 4 - zelo Intervencija dobro spodbuja usklajevanje med sektorji, kot so nevladni socialnega sektorja. dobro sektor, izobraževalni sektor (šolstvo) ter zdravstveni sektor. 36 DODATNA MERILA Prenosljivost intervencije Merilo Točke Komentar Intervencija uporablja instrumente, ki omogočajo njeno ponavljanje oz. prenos (Kompetenčni model, priročnik za izvajalce z Intervencija uporablja instrumente mikroplanom za izvajanje delavnic, Akademija za invalide). 1.1 (npr. priročnik s podrobnim 4 - zelo Predlagamo, da v bodoče priročnik pred izdajo pregledajo opisom dejavnosti), ki omogočajo dobro strokovnjaki s področja, saj so bile v njem opažene nekatere napake ponavljanje/prenos. (vsebinske npr. pri opisu jakosti alkoholnih pijač, ter komunikacijske npr. pri načinu predstavljanja trditev glede alkoholne industrije ipd.). Opis intervencije vključuje vse Intervencija delno zadostuje kriterijem merila. Opis intervencije ne organizacijske elemente, vključuje natančnega opisa ovir (pomanjkljivo oz. delno zapisano drugje). Pri upravljavskih ovirah so navedene težave pri usklajevanju 1.2 opredeljuje omejitve in potrebne ukrepe, ki so bili sprejeti za 3 - dobro dveh zavodov s šolami, zaradi česar organizacijo programa sedaj premagovanje zakonskih, Zavod Vozim izvaja sam. Finančno oviro predstavlja težava upravljavskih, finančnih ovir. zagotavljanja dolgoročnega financiranja (s strani MZ), trenutno še v kombinaciji z Uradom za mladino in Zav. Triglav. Opis intervencije vključuje opis Opis intervencije vključuje ustrezen opis demografskih, demografskih, psihografskih, psihografskih interesnih in drugih značilnosti ciljne populacije 1.3 interesnih in drugih značilnosti (dokument Značilnosti ciljne skupine ipd.) ter ukrepe za ciljne populacije ter ukrepe, ki so 5 - odlično premagovanje osebnih in okoljskih ovir. Predlagamo, da je opis bili sprejeti za premagovanje omenjenih značilnosti v bodoče vključen tudi v samem Priročniku za osebnih in okoljskih ovir. izvajalce. Intervencija je bila izvajana v Intervencija je bila izvajana v realnem okolju z vključeno realnem okolju, z jasno komunikacijsko strategijo (Priročnik za izvajalce, promocijski »rol - 1.4 predstavljeno komunikacijsko 4 - zelo up«, promocija intervencije preko različnih komunikacijskih kanalov strategijo in načrtom diseminacije dobro (brošure, mobilni telefoni, e. pošta ipd.)), vendar iz dokumentacije rezultatov. ni razviden sistematičen pristop k diseminaciji rezultatov intervencije. Intervencija je bila uspešno 1.5 prenesena/ponovljena iz pilotne faze oz. manjše skupine ali okolja v 5 - odlično Intervencija je bila uspešno prenešena iz pilotne faze v letih 2016 in 2017 v izvedbo na nacionalni ravni od leta 2017 naprej. širšo skupino oz. okolje. Program so pilotno izvedli 2016 v Mestni občini Ljubljana, ga sproti dopolnjevali (prav tako izvedba v Mestni občini Ljubljana v 2017). Primarna ciljna skupina v Mestni občini Ljubljana so bili 15-letniki oz. dijaki 1. letnikov srednjih šol. Konec 2017 so pozornost usmerili predvsem na osnovnošolce (zadnjo triado) saj se prva raba alkohola Izvedba intervencije je bila zgodi ravno v tem obdobju. Z izvajanjem delavnic intervencij so 1.6 prilagojena različnim potrebam, ki 5 - odlično začeli nacionalno, nadgradili evalvacijske vprašalnike pred in po so se pojavile med izvajanjem. izvedbi delavnic ter izdali priročnik za izvajalce intervencij. Program temelji na izvedbi paketa delavnic za posamezen razred oz. ciljno skupino učencev v šolskem okolju. Paket je več-intervencijski, sestavljen iz intervencije (90 min) in booster intervencije, namenjene utrditvi znanja (45 min, približno 3 tedne po prvi intervenciji). Trajnost intervencije Merilo Točke Komentar Obstajajo institucionalna podpora, Intervencija uživa institucionalno podporo in organizacijsko ter tehnološko 2.1 organizacijska in tehnološka struktura strukturo s stabilnimi človeškimi viri za njeno izvajanje (podpora MZ, Urad za ter stabilni človeški viri za izvajanje 5 - odlično mladino, izobraževalne ustanove. Človeški viri za izvajanje so številni, Zavod intervencije. se je uveljavil kot zavzet koordinator in izvajalec aktivnosti intervencije). Navedeno je finančno poročilo, ki Iz naknadno predloženih dokumentov s strani Zavoda ter obstoječe razpisne 2.2 opredeljuje vire financiranja 5 - odlično dokumentacije je razvidno, da je intervencija imela izdelano oceno finančnih intervencije. virov oz. finančno poročilo z opredelitvijo financiranja (MZ, Urad za mladino, lastna sredstva Zavoda, Zav. Triglav). 37 Nadaljevanje intervencije je bilo zagotovljeno z institucionalnim Intervencija je trenutno dobro institucionalno zasidrana (Zavod Vozim), 2.3 zasidranjem in/ali lastništvom vendar nima zagotovljenega polnega dolgoročnega financiranja, ki bi ustreznih interesnih skupin ali 3 - dobro omogočalo nadaljevanje načrtovanje in izvajanje intervencije (potreba po skupnosti pri srednjeročnem in vnovičnem prijavljanju za razpise ministrstva). dolgoročnem načrtovanju intervencije. Zagotovljeno je trajno usposabljanje 2.4 osebja v smislu znanja, tehnik in 5 - odlično Intervencija zagotavlja trajno usposabljanje osebja (usposabljanje novih pristopov. timov aktivistov, ki izhajajo iz Zavoda Vozim). Pripravljena je trajnostna strategija, ki obravnava vrsto vsebinskih dejavnikov Iz priložene dokumentacije je razvidno, da so izvajalci/nosilci pri izvedbi 2.5 (npr. zdravstvene in socialne politike, 5 - odlično intervencije usmerjeni v njen nadaljnji razvoj (Strategija Zavoda Vozim 2022– inovacije, kulturne trende in splošno 2027 s predvidenim razvojem intervencije za naslednjih 5 let). gospodarstvo, epidemiološke trende). Intervencija »Alkohol = sprememba življenja« je v skupnem seštevku dosegla oceno 80 % (izključitvena merila 24 % od možnih 30 %, osnovna merila 38 % od možnih 50 % in dodatna merila 18 % od možnih 20 %) ter bila prepoznana za primer »dobre prakse«. 3.2.1 Rezultati skladnosti med ocenjevalci za intervencijo »Alkohol = sprememba življenja« Skladnost med ocenjevalci je bila pri intervenciji »Alkohol = sprememba življenja« bila znatna na ravni dodatnih meril in zmerna na ravni izključitvenih ter osnovnih meril. Majhno skladnost meril sta dosegla elementa zgradba intervencije (0,17) na ravni izključitvenih meril in medsektorsko sodelovanje (0,17) na ravni osnovnih meril. Najnižjo vrednost FK smo zabeležili pri elementu učinkovitost in uspešnost intervencije (-0,09). Element trajnosti intervencije na ravni dodatnih meril je po konsenzu ocenjevalcev prejel najbolj spremenjeno oceno. Ta se je povprečno povečala za 1,3 v primerjavi s povprečno samostojno oceno ocenjevalcev (Preglednica 6). Preglednica 6: Prikaz ocen skladnosti ocenjevalcev na ravni elementov meril po sklopih izključitvenih, osnovnih in dodatnih meril. 0,95 DS FK 0,05 IZ IZ SN PO KO Razlika 1. IZKLJUČITVENA MERILA 44 % 0,31 0,07 0,54 0,06 4,2 4,3 0,1 1 Vsebinska ustreznost intervencije 100 % 1 1 1 0,00 5,0 5,0 0,0 2 Zgradba intervencije (struktura) 33 % 0,17 -0,02 0,36 0,06 4,0 3,9 -0,1 3 Znanstveni dokazi in teoretska utemeljitev intervencije 50 % 0,37 -0,85 1 0,65 3,7 4,0 0,3 2. OSNOVNA MERILA 40 % 0,24 0,01 0,48 0,06 4,2 4,3 0,0 1 Učinkovitost in uspešnost intervencije 13 % -0,09 -0,24 0,06 0,05 3,3 3,4 0,1 2 Zmanjševanje neenakosti v zdravju 78 % 0,72 0,18 1 0,24 4,1 4,3 0,2 38 3 Sodelovanje deležnikov pri razvoju in izvajanju intervencije 100 % 1 1 1 0,00 5,0 5,0 0,0 4 Medsektorsko sodelovanje 33 % 0,17 0,17 0,17 0,00 4,6 4,3 -0,2 3. DODATNA MERILA 55 % 0,43 0,16 0,71 0,08 3,8 4,5 0,6 1 Prenosljivost intervencije 67 % 0,58 0,22 0,95 0,15 4,4 4,3 -0,1 2 Trajnost intervencije 40 % 0,25 -0,15 0,65 0,18 3,3 4,6 1,3 DS = delež skladnosti, FK = Fleissov koeficient kappa, IZ = interval zaupanja, SN = standardna napaka, PO = povprečna ocena, KO = končna ocena). 3.3 Intervencija »Heroji furajo v pižamah« »Heroji furajo v pižamah«, iniciativa za manj voženj pod vplivom alkohola se primarno fokusira na področje preventive v cestnem prometu, in sicer na preprečevanje oz. zmanjšanje voženj pod vplivom alkohola in posledično prometnih nesreč, ki se zgodijo zaradi vožnje pod vplivom alkohola. Tako svoje aktivnosti namenja za izboljšanje prometne varnosti, s fokusom na vožnji pod vplivom alkohola, kot enemu najpogostejših vzrokov za nastanek prometnih nesreč, predvsem pri mladih. Njen sekundarni cilj oz. namen pa je tudi promocija zdravja, predvsem zdrav življenjski slog mladih brez škodljivega pitja alkohola. Svoje aktivnosti usmerja na ozaveščanje mladih o škodljivosti in negativnih posledicah pitja alkohola na sploh, saj je v prvi fazi mlade potrebno ozavestiti, kako je alkohol na splošno škodljiv, sploh in pa tudi v kombinaciji z vožnjo. Izvajalci aktivnosti iniciative so tudi poškodovanci, invalidi, ki so se sami poškodovali v prometnih nesrečah, kar pomeni, da intervencija deluje tudi na področju rehabilitacije in reintegracije v socialno in delovno okolje (Rošer, 2018). Podrobnejši opis iniciative je podan v Priročniku »Heroji furajo v pižamah. Varno in zdravo skozi življenje in v prometu.«, ki je v Prilogi 4. Rezultati celostnega vrednotenja intervencije »Heroji furajo v pižamah« so predstavljeni v Preglednici 7. 39 Preglednica 7: Rezultati celostnega vrednotenja intervencije »Heroji furajo v pižamah«. IZKLJUČITVENA MERILA Vsebinska ustreznost intervencije Merilo Točke Komentar Skladnost z javnozdravstvenimi Intervencija dosega zahtevana merila skladnosti z 1.1 strategijami na lokalni, regionalni, javnozdravstvenimi strategijami na nacionalni ravni (Resolucija nacionalni ravni ali na evropski 5 - odlično nacionalnega programa varnosti cestnega prometa 2013–2022, ravni. Resolucija nacionalnega programa za mladino 2013–2022). Intervencija je vzpostavljena kot podpora za izvajanje nacionalnih Intervencija je z naslavljanjem problematične vožnje pod vplivom 1.2 programov, zakonodaje ali drugih 5 - odlično alkohola, prometnih nesreč ter zdravega življenjskega sloga mladih predpisov, namenjenih reševanju z vzpostavljena kot podpora za izvajanje Resolucije nacionalnega zdravjem povezanih problemov. programa varnosti cestnega prometa 2013–2022. Zgradba intervencije (struktura) Merilo Točke Komentar Intervencija vsebuje predvidene ključne elemente analize stanja z Analiza stanja problematike, ki jo opredeljeno metodologijo zbiranja podatkov. V okviru primarne analize intervencija naslavlja in temelji na podatkov sicer ni bila izvedena SWOT analiza, je pa bila opravljena analiza jasno opredeljeni metodologiji stanja na področjih vožnje pod vplivom alkohola in pitja alkohola nasploh 2.1 primarnega in/ali sekundarnega 5 - odlično ter med mladimi (podatki Agencije za varnost prometa, Policije, raziskave Z zbiranja podatkov in analize podatkov zdravjem povezana vedenja v šolskem obdobju med mladostniki v Sloveniji ter predstavitev povzetkov analiz (npr. v letih 2014, 2018). Analiza je vključevala tudi pregled aktivnosti različnih v SWOT analizi). NVO v Sloveniji. Deloma prilagojena SWOT analiza je bila sicer izvedena pri izvedbi ene izmed delavnic s tujimi udeleženci/strokovnjaki. Intervencija utemeljeno opredeljuje razloge za segmentacijo izbrane populacije udeležencev programa glede na njihove raznolike demografske, življenjsko-stilne in druge ključne dejavnike, in sicer z argumentacijo: - Petino vseh prometnih nesreč povzročijo mladi med 18. in 29. letom starosti. - Mladi med 18. in 29. letom povzročijo eno četrtino vseh prometnih Segmentacija izbrane populacije (po nesreč pod vplivom alkohola. Vsaka tretja prometna nesreča s smrtnim demografskih, psihografskih, izidom se zgodi zaradi vožnje pod vplivom alkohola. Od teh vsako četrto povzročijo mladi med 18. in 29. letom starosti. (Podatki za leto 2019; Vir: 2.2 življenjsko-stilnih in drugih dejavnikih, kot so znanje o problemu, stališčih, 5 - odlično Javna agencija RS za varnost prometa, 2020). preteklih vedenjih, ki so relevantni za - Mladi so najpogosteje žrtve prometnih nesreč ob vikendih v t. i. disko obravnavani problem). nesrečah, ki se zgodijo ob vožnji na ali z zabave. - V ruralnih delih Slovenije se možnost za nastanek prometne nesreče pod vplivom alkohola poveča za dvakrat, zaradi odsotnosti alternativnih oblik varnega prevoza (javni prevoz, taksi službe ipd.) (Podatki občin za leto 2018; Vir: Javna agencija RS za varnost prometa, 2020). - Narejena je bila analiza stališč izbrane populacije in poznavanje problema je delno izhajalo iz preteklih intervencij ŠVVVNH in »Alkohol = sprememba življenja«. Intervencija jasno opredeljuje tako primarno skupino (mlade od 15. do 29. leta starosti, razdeljeni v dve skupini (pred in po opravljenim vozniškem 2.3 Jasno opredeljena ciljna skupina ali izpitu)) kot tudi sekundarne ciljne skupine (starši, širša lokalna skupnost – ciljne skupine, kadar je teh več. 5 - odlično lokalni odločevalci, občina, šole, mladinski centri in mladinski delavci ter invalidi, poškodovanci – izvajalci aktivnosti). Posredno je bila v aktivnosti vključena še ena zelo pomembna skupina – mediji. Vedenjski cilji (sprememba stališč mladih do prometne varnosti, njihova sprememba stališč do vožnje pod vplivom alkohola in drugih PAS, sprememba stališč do pitja alkohola, zmanjšanje števila prometnih nesreč pod vplivom alkohola, zmanjšanje škodljivega pitja alkohola med mladimi in Opredelitev vedenjskih in aktivacija lokalnih skupnosti za sprejetje ukrepov za izboljšanje prometne 2.4 komunikacijskih ciljev po načelu 4 - zelo varnosti mladih) intervencije so bili vsebinsko ustrezno opredeljeni, a zgolj SMART. dobro v manjšem obsegu ustrezajo načelom SMART. Komunikacijski cilji intervencije pa so bili večinoma opredeljeni po načelu SMART. Kot predlog za izboljšanje izvajalcem priporočamo, da se v bodoče vse cilje poskusi opredeliti na način, da so časovno omejeni in merljivi (lahko po vzoru načela SMART ali tudi drugače). 40 Intervencija ustrezno opredeljuje raznovrstna uporabljena orodja in pristope za doseganje predvidenih vedenjskih in komunikacijskih ciljev, kot so socialno-marketinška kampanja, izvedba novinarskih konferenc, objave Opredelitev strategij, taktik in orodij za v različnih medijih, povezovanje z deležniki, usposabljanje izvajalcev 2.5 doseganje posamičnih vedenjskih in 5 - odlično (invalidov, poškodovancev v prometu ter prostovoljcev), izvedba fokusnih komunikacijskih ciljev. skupin z mladimi, posveti mladih in lokalnih odločevalcev (strukturirani dialogi), oblikovanje in sprejetje akcijskega načrta, preventivne interaktivne delavnice za mlade in starše, brezplačne vožnje z zabav ter lokalna medijska podpora. Procesni kazalniki vrednotenja intervencije so bili zelo dobro vnaprej Opredelitev kazalnikov za procesno zastavljeni, solidno opredeljeni so bili tudi kazalniki uspešnosti intervencije 2.6 vrednotenje in vrednotenje 4 - zelo (posebej kratkoročni). Obstajajo pa priložnosti za izboljšave v povezavi s učinkovitosti ter uspešnosti. dobro kazalniki učinkovitosti, ki manjkajo oz. niso bili nastavljeni. Ocenjevalci lahko na osnovi porabe sredstev (dokument ocene stroškov) in doseženih ciljev delno sklepamo, da je bila intervencija učinkovita. Opredelitev, kako so bili v intervencijo vključeni predstavniki ciljne skupine in Intervencija jasno opisuje vključenost vseh predstavnikov ciljnih skupin in drugi deležniki (partnerji, interesne različnih sodelujočih deležnikov programa ter načine njihovega medsebojnega povezovanja. Posveti, kjer aktivno sodelujejo mladi (ki z 2.7 skupine, politični odločevalci, mediji ipd.) ter kako je bilo to sodelovanje 5 - odlično uporabo metod mladinskega dela podajo svoje predloge), lokalni načrtovano, vzpostavljeno, odločevalci (občina), nacionalni strokovnjaki (predstavniki NIJZ in AVP), vzdrževano, ocenjeno in finančno lokalni strokovnjaki (policija, gasilci), mladinski center ter ekipa Zavoda podprto. VOZIM. Sodelovanje je bilo dobro načrtovano in vzpostavljeno. Opredelitev virov, ki so bili vključeni v pripravo, implementacijo in Viri, ki so bili vključeni v pripravo, implementacijo in vrednotenje 2.8 vrednotenje intervencije, pri čemer med vire sodijo človeški viri, sistemski, 5 - odlično intervencije, so jasno opredeljeni in opisani. Kljub temu pogrešamo bolj fizični in finančni viri, prepoznavnost, sistematično pripravo želenih podatkov. odnosi ter trenutne aktivnosti. Opredelitev optimizacije razpoložljivih Iz pripadajočih projektnih dokumentov ter dodatnih finančnih podatkov, ki jih je Zavod predložil naknadno, so večinoma razvidne postavke upravljanja 2.9 sredstev, pri doseganju zastavljenih 4 - zelo ciljev (načrtovani in dejanski stroški dobro z razpoložljivimi finančnimi sredstvi za izvedbo intervencije in planiranje ter intervencije). dejanska poraba le-teh. Nejasna pa je poraba sredstev v povezavi z medijskimi objavami. Opis in opredelitev vrednotenja na treh ravneh: aplikativno vrednotenje, Vrednotenje programa je delno opisano. Opisano je aplikativno ki je namenjeno razvoju intervencije in vrednotenje, ki je bilo usmerjeno v pregled literature s področja in pregled implementacije; procesno aktivnosti (podatki Agencije za varnost prometa, Policije in raziskave Z vrednotenje, ki spremlja zdravjem povezana vedenja v šolskem obdobju med mladostniki v Sloveniji 2.10 implementacijo intervencije in glede 3 - dobro 2014, 2018). Opisano je bilo procesno vrednotenje in vrednotenje na sprotne rezultate ustrezno prilagaja kratkoročnih učinkov, vendar je nejasno opisan načrt izvedbo intervencije ter vrednotenje vrednotenja, in sicer kdaj, kako, kolikokrat in kje. Prav tako ni bilo planirano uspešnosti in učinkovitosti intervencije vrednotenje dolgoročnih učinkov in učinkovitosti. Priporočamo glede na zastavljene cilje, vložene vire, predstavitev evalvacijskih aktivnosti in rezultatov na poenoten način, pa tudi etičnosti. najbolje v enem dokumentu. Opisu intervencije je priložena Intervencija je bila v opisu in strukturi solidno dokumentirana (dokument dokumentacija, ki predstavlja osnovni Dodaten opis programa HFVP in priročnik Heroji furajo v pižamah), a obstaja 2.11 del intervencije, denimo smernice in 3 - dobro prostor za izboljšave. Predvsem glede na kompleksnost programa (delo na protokoli, vključno z navedbo več nivojih, večintervencijski pristop in sodelovanje različnih deležnikov) literature. predlagamo pripravo bolj natančnega dokumenta z podrobnejšim opisom aktivnosti, smernicami za delo, literaturo in drugimi pomembnimi elementi. 41 Znanstveni dokazi in teoretska utemeljitev intervencije Merilo Točke Komentar Intervencija temelji na znanstveno Intervencija izkazuje solidno utemeljenost na preverjenih in dokazanih in preverjenih teorijah podprtih znanstvenih pristopih ter aktualni strokovni literaturi (npr. 3.1 (npr. metaanalizah, sistematičnem 4 - zelo viri in sistematični pregled kot podlaga priročnika Heroji furajo v pregledu literature, študijah dobro pižamah), raziskava o učinkovitih pristopih, izvajalci navajajo tudi implicitnega znanja). implicitno znanje v povezavi z mladinsko metodo dela, a niso navedli, od kod to znanje izhaja. V načrtu so predstavljeni elementi Intervencija pomanjkljivo naslavlja predvidene elemente merila. pristopa (ali tehnike ali načela) v Naštetih je sicer več teorij sprememb vedenja, a ni jasno oz. 3.2 okvirih modela spremenljivosti ali razvidno, na kateri(h) intervencija temelji. Predlagamo, da se jasno intervencijske teorije ali glede na 2 - slabo izpostavi, katera teorija je bila uporabljena, oziroma deli katerih rezultate predhodno opravljene teorij so bili uporabljeni v intervenciji in na kakšen način. Poleg tega raziskave. naj bo navedena še literatura. Etični vidik Merilo Točke Komentar *Spoštovanje osnovnih etičnih načel – avtonomije (spoštovati pravico posameznikov, da sprejemajo svoje odločitve), »ne Iz posredovane dokumentacije je razvidno, da je bila intervencija škodovati!«, dobronamernosti in osnovana na upoštevanju vseh etičnih načel spoštovanja pravic 4.1 pravičnosti (koristi in tveganja naj posameznikov, dobronamernosti in pravičnosti, da pričakovane bodo pravično razdeljeni). DA koristi intervencije presegajo oz. odtehtajo potencialno škodo, ter *Pričakovane koristi presežejo oz. da je bila intervencija izvedena pravično oz. sorazmerno s potrebami odtehtajo potencialno škodo. ciljne skupine. *Intervencija je bila izvedena pravično – sorazmerno s potrebami ciljne skupine. Pravice posameznikov (npr. Iz priložene dokumentacije je razvidno, da izvajalci/nosilci intervencije potrjujejo, da so osebne podatke udeležencev ter 4.2 varstvo osebnih podatkov) so zaščitene v skladu z nacionalno in DA drugih sodelujočih oseb zbirali in obdelovali v skladu z veljavno evropsko zakonodajo. nacionalno in evropsko zakonodajo na področju varovanja osebnih podatkov. Navzkrižje interesov je jasno Nosilec/izvajalec intervencije izjavlja, da ne obstaja nasprotje 4.3 opredeljeno, prav tako so interesov oziroma ne obstajajo nobene okoliščine, ki bi lahko navedeni ukrepi za ravnanje ob DA izkazovale zasebni interes z drugimi osebami, katerih cilji so oziroma pojavu navzkrižja interesov. bi lahko bili v nasprotju z javnozdravstvenimi cilji. Nosilec/izvajalec intervencije izjavlja, da se med aktivnostmi, Med izvajanjem intervencije se ni povezanimi s pripravo, izvajanjem in kasnejšim vrednotenjem 4.4 oglaševalo določenega izdelka, intervencije ni oglaševalo nobenih reklamnih, promocijskih ali naprave ali katere koli komercialne DA drugih izdelkov, naprav ali objavljalo kakršnihkoli drugih pobude. komercialnih pobud, s katerimi bi njihova organizacija, druga fizična ali pravna oseba pridobila premoženjsko ali nepremoženjsko korist. 42 OSNOVNA MERILA Učinkovitost in uspešnost intervencije – vrednotenje procesa Merilo Točke Komentar Notranje in zunanje vrednotenje procesov intervencije je bilo Izvedeno je bilo notranje ali izvedeno in je opisano v dokumentu o kazalnikih ter prilogi - zunanje vrednotenje procesov ob vrednotenje programa HFVP, in Evalvacija delavnic online. Obseg izvedenega vrednotenja je delno nejasen, saj zaradi 1.1 upoštevanju družbenih in 4 - zelo ekonomskih vidikov ciljne skupine dobro nesistematičnega pristopa pri prikazovanju rezultatov ni popolnoma in perspektiv pomembnejših jasno, npr. ali se je vrednotenje različnih delavnic izvajalo vedno in interesnih strani. povsod in ali so se medijske objave spremljale samo eno leto ali ves čas. Tudi za ostale kazalnike, ki so predstavljeni v dokumentu, ni jasno, koliko časa so bili spremljani. Rezultati vrednotenja (npr. število izvedenih delavnic, število udeležencev, zadovoljstvo Rezultati procesnega vrednotenja so bili povezani z izbranimi cilji 1.2 udeležencev, število medijskih 5 - odlično same intervencije, in sicer priložena poročila izkazujejo, da je bilo objav, število delavnic) so bili vrednotenje procesa smiselno zastavljeno. povezani z izbranimi/določenimi cilji same intervencije. 43 Učinkovitost in uspešnost intervencije – vrednotenje rezultatov Merilo Točke Komentar Intervencija deloma zadostuje predvidenim elementom merila. Ugotovljeni rezultati so najbolj Dolgoročni cilji niso bili spremljani oz. so bile spremljane samo spremembe stališč, pri čemer gre za kratkoročne učinke. Podobno 1.3 ustrezni za intervencijo glede na cilje, teoretične modele in ciljno 3 - dobro velja tudi za sprejete akcijske načrte, kjer niso bili nastavljeni skupino. dolgoročni kazalniki za vrednotenje rezultatov. Dodatno pozornost bi bilo treba nameniti nastavljanju ciljev ter razlikovanju namena in ciljev. Cilji morajo biti dosegljivi in merljivi. Intervencija ima glede na merilo vidne pomanjkljivosti. Vrednotenje Vrednotenje rezultatov meri rezultatov meri razliko pred in po izvedbi delavnic, vendar zgolj razliko med začetno in končno delno. Primer: Spremljane so bile spremembe stališč mladih do 1.4 situacijo ter je izvedeno na način, vožnje pod vplivom alkohola in škodljivega pitja neposredno po ki je primeren za vrsto intervencije 2 - slabo intervenciji, medtem ko dolgoročni vplivi zmanjšanja števila voženj (meri učinke intervencije upošteva pod vplivom alkohola in nesreč ter zmanjšanja pitja alkohola niso bili možne pristranosti). spremljani. Prav tako morajo biti zaključki vrednotenja podprti s statističnimi analizami, ki prikažejo statistične razlike. Intervencija zgolj delno naslavlja predvidene sestavine merila. Iz Vse izboljšave v kazalnikih, ki smo predložene dokumentacije ugotavljamo, da ni poponoma razvidno jih v intervenciji merili (npr. ali se je spremljanje kazalnikov izvajalo kontinuirano ali samo 1.5 ciljnem vedenju, ki smo ga 2 - slabo občasno, enako tudi glede sprejetih akcijskih načrtov, fokusnih poskušali spremeniti), so ustrezno skupin in spremljanja ter obsega njihovega izvajanja. Dolgoročni dokumentirane in predstavljene. rezultati prav tako niso bili spremljani, pomanjkljivo je razložen tudi preplet z vrednotenjem s ŠVVVNH. Predlagamo, da se že v fazi načrtovanja pripravi načrt vrednotenja celotne intervencije. Intervencija je bila delno ocenjena z ekonomskega vidika, in sicer je bila narejena analiza stroškov, njihova optimizacija ter predstavljen 1.6 Intervencija je bila ocenjena z strošek na izvedbo posameznih delavnic. Manjkajoč element, ki bi v ekonomskega vidika. 3 - dobro celoti zadostil merilu, je izdelava študije, ki bi opredelila še stroškovno učinkovitost (razmerje med stroški in učinki intervencije). Iz rezultatov intervencije je moč razbrati pozitiven oz. koristen učinek (srednje pozitivna sprememba stališč), vendar glede zadoščanja merila obstaja več pomanjkljivosti. Dolgoročni cilji, kot je razvidno iz pripadajoče dokumentacije, niso bili spremljani, temveč so bile spremljane samo spremembe stališč. Potrebno bi bilo spremljati spremembe stališč tudi v daljših časovnih obdobjih (npr. v izbrani občini po 6 mesecih od izvedbe intervencije) in tudi spremembo vedenja. Dodatno bi lahko spremljali število prometnih 1.7 Rezultati ocenjevanja intervencije so pokazali koristen učinek. 3 - dobro nesreč v krajih, kjer so izvajali program v primerjavi s tistimi, kjer aktivnosti niso bile izvajane. Poseben poudarek bi bil na nesrečah, povezanih s pitjem alkohola in pri mladih. Predlagamo tudi spremljanje izvajanja akcijskih načrtov (dodatni obiski na občinah, podatki o prometni varnosti v občini, izvajanje aktivnosti iz akcijskega načrta). Prav tako bi z izdelanim načrtom vrednotenja lahko opredelili, da bo npr. po izvedbi vsake delavnice narejeno vrednotenje sprememb stališč pred/po kot osnova, kar bi omogočalo ustrezno statistično analizo podatkov. Intervencija ni neposredno spremljala pojava negativnih učinkov, je pa bil spremljan njen potek in preko tega tudi spremljanje V intervenciji so spremljali pojav nepričakovanih učinkov. Izvajalci so aktivno spremljali in vrednotili 1.8 nepričakovanih učinkov (tudi 4 - zelo njeno izvajanje ter sproti popravljali oz. izboljševali različne pristope negativnih) in jih opisali. dobro glede na ugotovljene potrebe (kot npr. preoblikovanje iniciative glede na priporočila NIJZ o učinkoviti preventivi), spremembah struktur posvetov (razmerjem med strokovnim in praktičnim) ter prilagajanjem poteka določenih drugih aktivnosti. Vključeni so elementi za V intervencijo so jasno vključeni elementi za spodbujanje procesov 1.9 spodbujanje procesov opolnomočenja ciljnih skupin, in sicer mladih in mladinskih delavcev opolnomočenja ciljne skupine 5 - odlično (opolnomočenje z znanji in vsebinami o prometni varnosti), (npr. krepitev zdravstvene invalidov – poškodovancev (akademija in izvajanje pripadajočih 44 pismenosti, zagotavljanje možnosti aktivnosti, doseganje kompetenc in znanj s področja, psihosocialna za razvijanje ustreznih spretnosti, rehabilitacija ter resocializacija) ter tudi staršev (njihovo aktivno znanj in vedenj, socialne opore vključevanje v vzgojo in skrb za prevoze mladih). ipd.). Zmanjševanje neenakosti v zdravju Merilo Točke Komentar V celotnem procesu izvajanja intervencija dejavno upošteva ustrezne razsežnosti pravičnosti Intervencija je v celotnem procesu izvajanja upoštevala ustrezne razsežnosti pravičnosti, in sicer dejavnike, kot so starost 2.1 (npr. starost, spol, socialno- ekonomski status, etnično 5 - odlično udeležencev, njihova pripadnost kateri izmed ranljivih skupin, tip pripadnost, tip območja območja, na katerem se je intervencija izvajala (ruralno/urbano), (ruralno/urbano), regijo, regija ipd. pripadnost ranljivi skupini). Znotraj intervencije je mogoče zaznati prizadevanja za prepoznavanje ranljivih skupin, pojava neenakostih v dostopnosti Intervencija od izhodišča naslavlja populacijo v neenakem položaju (ciljno skupino mladih v povezavi z nočnim življenjem in prometno 2.2 intervencije ter morebitnih drugih vidikov neenakosti; te ugotovitve 5 - odlično varnostjo, ruralna območja, odsotnost povezav z javnim prometom so dokumentirane in povzete v kot tudi invalidne osebe in poškodovance itd.). Ugotovitve poročilih, priporočilih, smernicah so ustrezno dokumentirane in povzete v poročilih. ipd. za zmanjšanje ugotovljenih neenakosti v zdravju. Sodelovanje deležnikov pri razvoju in izvajanju intervencije Merilo Točke Komentar Sodelovanje s ciljno skupino in pomembnejšimi deležniki je bilo Sodelovanje s ciljno skupino in pomembnejšimi deležniki je bilo 3.1 zagotovljeno v različnih fazah intervencije: 5 - odlično zagotovljeno v vseh različnih fazah intervencije, ki so opredeljene - načrtovanje in razvoj v merilu. - izvajanje in vrednotenje. V različnih fazah intervencije – v fazi načrtovanja, izvajanja in V različnih fazah intervencije se je vzpostavilo trajnostno naravnano vrednotenja – se je med deležniki sodelovanje ter povezovanje med deležniki na lokalnem nivoju 3.2 vzpostavilo sodelovanje, ki je 5 - odlično (lokalni odločevalci, šole, starši, mladinske organizacije, mediji ipd.), opisano, trajnostno naravnano in ki je ne zgolj dobro opisano in predstavljeno, temveč predstavlja omogoča vzpostavitve formalnih primer dobre prakse vzpostavljanja neformalnih struktur struktur sodelovanja. sodelovanja pri izvajanju javnozdravstvenih intervencij. 45 Medsektorsko sodelovanje Merilo Točke Komentar Sodelovanje s ciljno skupino in V izvajanje intervencije je bilo vključenih več različnih sektorjev: pomembnejšimi deležniki je bilo nevladni sektor, zdravstvo (Ministrstvo za zdravje, NIJZ), šolstvo (OŠ 4.1 zagotovljeno v različnih fazah in SŠ pri izvajanju delavnic), javna uprava (lokalni odločevalci), intervencije: 5 - odlično mediji, gospodarstvo (Zavarovalnica Triglav ipd.), transport (Javna - načrtovanje in razvoj agencija RS za varnost prometa), socialno varstvo (mladinske - izvajanje in vrednotenje. organizacije, poškodovanci ipd.). V različnih faze intervencije – v fazi načrtovanja, izvajanja in vrednotenja – se je med deležniki Iz pripadajoče dokumentacije je razvidno, da je bila intervencija 4.2 vzpostavilo sodelovanje, ki je 5 - odlično zasnovana interdisciplinarno ter da jo podpirajo ustrezne interesne opisano, trajnostno naravnano in skupine. omogoča vzpostavitve formalnih struktur sodelovanja. Intervencija spodbuja usklajevanje Intervencija spodbuja usklajevanje med različnimi sektorji, kot so 4.3 med sektorji, npr. storitve zdravstvenega in socialnega 5 - odlično nevladni sektor, izobraževalni sektor (šolstvo), prometni sektor, sektorja. socialnovarstveni sektor ter zdravstveni sektor. DODATNA MERILA Prenosljivost intervencije Merilo Točke Komentar Intervencija uporablja instrumente, kot so »Priročnik Heroji furajo v pižamah«, ki zelo dobro povzamejo problematiko na področju Intervencija uporablja instrumente alkohola in problematiko prometne varnosti, a je opis same 1.1 (npr. priročnik s podrobnim intervencije zelo splošen. Glede na kompleksnost in večnivojnost opisom dejavnosti), ki omogočajo 3 - dobro programa, upoštevajoč tudi večintervencijski pristop in sodelovanje ponavljanje/prenos. različnih deležnikov, bi bilo smiselno pripraviti bolj natančen in sistematičen dokument s podrobnejšim opisom aktivnosti, vključenimi smernicami za delo in dodatno literaturo. Opis intervencije vključuje vse Iz predloženih dokumentov, kot je »Dodaten opis programa HFVP«, organizacijske elemente, so razvidni opis intervencije ter predvideni organizacijski elementi 1.2 opredeljuje omejitve in potrebne 4 - zelo za ustrezno razumevanje same intervencije, a bi dokumentacija ukrepe, ki so bili sprejeti za dobro lahko bila bolj natančno pripravljena ter povzeta. V dokumentu premagovanje zakonskih, »Impressions and Brainstorming« so dodatno opisane tudi nekatere upravljavskih, finančnih ovir. ovire in predlogi za izboljšanje. Opis intervencije vključuje opis demografskih, psihografskih, V pripadajoči dokumentaciji je podan jasen opis demografskih, 1.3 interesnih in drugih značilnosti ciljne populacije ter ukrepe, ki so 5 - odlično interesnih, življenjsko-stilnih in drugih značilnosti ciljne skupine, ki bili sprejeti za premagovanje so relevantne za obravnavani problem intervencije. osebnih in okoljskih ovir. Intervencija je bila izvajana v realnem okolju, z jasno Intervencija je bila izvajana v realnem okolju ter z zelo dobro 1.4 predstavljeno komunikacijsko 4 - zelo komunikacijsko strategijo, medtem ko načrt diseminacije rezultatov strategijo in načrtom diseminacije dobro intervencije ni v celoti predstavljen v priloženi projektni rezultatov. dokumentaciji. Intervencija je bila uspešno Intervencija je bila zelo uspešno prenesena iz prvotne ožje zasnove 1.5 prenesena/ponovljena iz pilotne faze oz. manjše skupine ali okolja v 5 - odlično v širše regionalno okolje, vključujoč s prenosom zasnove izvajanja širšo skupino oz. okolje. intervencije tudi v druge države. Iz naknadno predložene projektne dokumentacije je razvidno, da je Izvedba intervencije je bila bila izvedba intervencije prilagojena različnim potrebam, ki so se 1.6 prilagojena različnim potrebam, ki 5 - odlično pojavile med njenim izvajanjem, in sicer s spremembami strukture so se pojavile med izvajanjem. posvetov – razmerje med strokovnim in praktičnim (fokusne skupine, »brainstorming«). 46 Trajnost intervencije Merilo Točke Komentar Obstajajo institucionalna podpora, Intervencija ima institucionalno podporo in organizacijsko ter 2.1 organizacijska in tehnološka tehnološko strukturo z večinoma stabilnimi človeškimi viri za njeno struktura ter stabilni človeški viri 5 - odlično izvajanje (podpora ministrstva, drugih javnih ustanov, gospodarskih za izvajanje intervencije. partnerjev). Navedeno je finančno poročilo, ki Razvidno je, da ima intervencija opredeljene vire financiranja 2.2 opredeljuje vire financiranja 5 - odlično (finančna struktura, plan za prijavo na MZ, ocenjeni stroški intervencije. intervencije, stroški na posamezno delavnico ipd.). Nadaljevanje intervencije je bilo zagotovljeno z institucionalnim Intervencija je trenutno dobro institucionalno zasidrana (Zavod zasidranjem in/ali lastništvom Vozim ter lastništvo interesnih skupin mladinske mreže MaMa), 2.3 ustreznih interesnih skupin ali 4 - zelo vendar je še vedno potrebno prijavljanje na razpise za zagotovitev skupnosti pri srednjeročnem in dobro finančnih sredstev, ki so pogoj za dolgoročno nadaljevanje dolgoročnem načrtovanju intervencije. intervencije. Intervencija zagotavlja številne pristope k trajnemu usposabljanju Zagotovljeno je trajno osebja (izdelan priročnik, akademija za usposabljanje invalidov 2.4 usposabljanje osebja v smislu 5 - odlično izvajalcev in mladinskih delavcev, aktivno sodelovanje izvajalcev s znanja, tehnik in pristopov. strokovnjaki ter tudi povezanost z drugima dvema izvajanima intervencijama Zavoda: ŠVVVNH in »Alkohol = sprememba življenja«). Pripravljena je trajnostna strategija, ki obravnava vrsto vsebinskih dejavnikov (npr. Iz priložene dokumentacije je razvidno, da so izvajalci/nosilci pri 2.5 zdravstvene in socialne politike, 5 - odlično izvedbi intervencije usmerjeni v njen nadaljnji razvoj (Strategija inovacije, kulturne trende in Zavoda Vozim 2022–2027 s predvidenim razvojem intervencije za splošno gospodarstvo, naslednjih 5 let). epidemiološke trende). Intervencija »Heroji furajo v pižamah« je v skupnem seštevku dosegla oceno 83 % (izključitvena merila 26 % od možnih 30 %, osnovna merila 39 % od možnih 50 % in dodatna merila 18 % od možnih 20 %) ter bila prepoznana za primer »dobre prakse«. 3.3.1 Rezultati skladnosti med ocenjevalci za intervencijo »Heroji furajo v pižamah« Skladnost med ocenjevalci pri intervenciji »Heroji furajo v pižamah« je bila na vseh ravneh meril zmerna. Najnižje vrednosti FK smo zabeležili pri elementih znanstveni dokazi in teoretska utemeljitev intervencije (-0,04) ter učinkovitost in uspešnost intervencije (0,01) (Preglednica 8). Preglednica 8: Prikaz ocen skladnosti ocenjevalcev na ravni elementov meril po sklopih izključitvenih, osnovnih in dodatnih meril. 0,95 DS FK 0,05 IZ IZ SN PO KO Razlika 1. IZKLJUČITVENA MERILA 47 % 0,33 0,07 0,6 0,06 4,35 4,12 -0,23 1 Vsebinska ustreznost intervencije 100 % 1 1 1 0,00 5,00 5,00 0,00 2 Zgradba intervencije (struktura) 42 % 0,28 -0,01 0,57 0,10 4,21 4,36 0,15 47 3 Znanstveni dokazi in teoretska utemeljitev intervencije 17 % -0,04 -0,45 0,37 0,00 3,83 3,00 -0,83 2. OSNOVNA MERILA 50 % 0,37 0,09 0,66 0,06 4,52 4,56 0,04 1 Učinkovitost in uspešnost intervencije 21 % 0,01 -0,3 0,32 0,12 3,54 3,25 -0,29 2 Zmanjševanje neenakosti v zdravju 44 % 0,41 -0,41 1 0,41 4,56 5,00 0,44 3 Sodelovanje deležnikov pri razvoju in izvajanju intervencije 100 % 1 1 1 0,43 5,00 5,00 0,00 4 Medsektorsko sodelovanje 100 % 1 1 1 0,24 5,00 5,00 0,00 3. DODATNA MERILA 42 % 0,28 -0,01 0,57 0,08 4,14 4,57 0,43 1 Prenosljivost intervencije 44 % 0,31 -0,15 0,76 0,15 4,28 4,33 0,06 2 Trajnost intervencije 40 % 0,25 -0,15 0,65 0,18 4,00 4,80 0,80 DS = delež skladnosti, FK = Fleissov koeficient kappa, IZ = interval zaupanja, SN = standardna napaka, PO = povprečna ocena, KO = končna ocena). 3.4 Intervencija »Aktivisti Brez izgovora« Pri programu »Aktivisti Brez izgovora« gre za kompetenčni model, katerega glavni cilj je, da aktivisti, ki se priključijo organizaciji, preko udeležbe na usposabljanjih, izvajanja aktivnosti in sodelovanja na lokalnih projektih v časovnem obdobju treh let pridobivajo različne kompetence. Namen je, da je čim več mladih zmožnih kritično vrednotiti svojo okolico, predlagati rešitve in nato tudi ukrepati, in pa seveda znati pridobljeno znanje prenašati naprej. Lahko bi rekli, da program skuša ustvarjati proaktivne in odgovorne državljane, po drugi strani pa tudi gradi svojo bazo aktivistov, ki izvajajo aktivnosti znotraj organizacije. Program sestoji iz sedmih sezon (ena sezona traja pol leta), namenjen pa je srednješolcem od 1. do 4. letnika. Prva sezona je po novem bolj pripravljalna (Moja kampanja), druga, tretja in četrta so vsebinsko obarvane z različnimi področji (tobak, alkohol, konoplja), od tu naprej pa sezone niso več definirane po tematikah, ampak bolj po vlogah (tutorji, pomočniki, mladinski voditelji v lokalnih enotah), za vsebinsko področje se lahko na tej stopnji aktivisti odločajo sami. Vsako leto potekata tudi zimsko in spomladansko vrednotenje, uvodni vikend ter poletni tabor. Kriterij za napredovanje po sezonah je prisotnost. Po končanem programu imajo aktivisti dve možnosti, in sicer se lahko usposobijo za trenerje osebnih veščin, z organizacijo pa lahko ohranijo stik tudi preko vsebinskega sodelovanja. Kot glavno prednost programa bi izpostavili dejstvo, da gre za program, v katerega so udeleženci vključeni daljše časovno obdobje in to v zelo kritičnih letih svojega odraščanja. Program temelji na medvrstniškem izobraževanju, ki ima med drugim pozitivne učinke tudi na same izvajalce, v tem primeru torej aktiviste. Z udeležbo na usposabljanjih in ostalih dogodkih ter z aktivnim sodelovanjem pri aktivnostih (vodenje medvrstniških delavnic itd.) mladi pridobijo nova znanja ter številne kompetence, ki jim pomagajo na zdravi in odgovorni poti odraščanja. Preko večletne vključenosti v program tako mladi ponotranjijo stališča zdravega življenjskega sloga, postanejo kritični glede sveta okoli sebe in sposobni prevzemati pobude za spremembe. Poleg usvojenih kompetenc in znanja pa program ponuja mladim tudi številne priložnosti za druženje in zabavo v zdravem okolju, kar je pomembno za ohranjanje motivacije in sproščenega vzdušja 48 v organizaciji. Lahko bi rekli, da program združuje prijetno s koristnim, pri čemer so učinki zelo pozitivni. Podrobnejši opis programa je podan v Prilogi 5 »Program Brez izgovora«. Rezultati celostnega vrednotenja intervencije »Aktivisti Brez izgovora« so predstavljeni v Preglednici 9. Preglednica 9: Rezultati celostnega vrednotenja intervencije »Aktivisti Brez izgovora«. IZKLJUČITVENA MERILA Vsebinska ustreznost intervencije Merilo Točke Komentar Intervencija dosega zahtevana merila skladnosti z Skladnost z javnozdravstvenimi javnozdravstvenimi strategijami, in sicer podpira Resolucijo 1.1 strategijami na lokalni, regionalni, nacionalnega programa za mladino 2013–2022, Resolucijo o nacionalni ravni ali na evropski 5 - odlično nacionalnem programu duševnega zdravja 2018−2028, Cilje ravni. trajnostnega razvoja 2030, Strategijo za razvoj Slovenije ter Strategijo razvoja nevladnih organizacij in prostovoljstva. Intervencija je vzpostavljena kot Intervencija je uspešno vzpostavljena kot podpora obstoječi podpora za izvajanje nacionalnih zakonodaji in drugim predpisom, kot so Zakon o omejevanju porabe 1.2 programov, zakonodaje ali drugih 5 - odlično alkohola (ZOPA), Zakon o duševnem zdravju (ZDZdr), Zakon o predpisov, namenjenih reševanju z omejevanju uporabe tobačnih in povezanih izdelkov (ZOUTI) ter zdravjem povezanih problemov. Zakon o proizvodnji in prometu s prepovedanimi drogami (ZPPPD). Zgradba intervencije (struktura) Merilo Točke Komentar Intervencija delno vsebuje predvidene ključne elemente merila. Analiza stanja problematike, ki jo Temelji na raziskavah, ki kažejo stanje na področju zdravja mladih, intervencija naslavlja, temelji na v največji meri pa na raziskavi Z zdravjem povezano vedenje v jasno opredeljeni metodologiji šolskem obdobju (HBSC). Temelji tudi na spoznanjih EMCDDA ( angl. European Monitoring Centre for Drugs and Drug Addiction), ki 2.1 primarnega in/ali sekundarnega zbiranja podatkov in analize 3 - dobro opisujejo smernice učinkovite preventive in veščine, ki jih mladi podatkov ter predstavitev potrebujejo za ohranjanje zdravega življenjskega sloga (ter povzetkov analiz (npr. v SWOT poudarjajo pomen kontinuiranih, daljših intervencij in ne-enkratnih analizi). aktivnosti). Intervencija tako predstavlja povzetke/vire raziskav, vendar ji manjkajo jasno opredeljene metodologije zbiranja podatkov. Intervencija deloma pravilno segmentira izbrano populacijo Segmentacija izbrane populacije udeležencev programa. Intervencija je namenjena celotni (po demografskih, psihografskih, populaciji mladostnikov/mladih v srednjih šolah, ki si želijo aktivno življenjsko-stilnih in drugih spreminjati svet na bolje, predvsem na področju zdravja ter 2.2 dejavnikih, kot so znanje o 3 - dobro trajnostnega razvoja. Program temelji na raziskavah, ki kažejo na problemu, stališčih, preteklih problematike na področju zdravja mladih, ki so pokazale, na katerih vedenjih, ki so relevantni za specifičnih področjih zdravja potrebujejo mladi največ podpore obravnavani problem). (samopodoba, nasilje, zasvojenosti ipd.). Pogrešamo segmentacijo ciljne skupine v smislu raziskovanja lastnosti le-te (podrobnejši zapisi o njihovih stališčih, znanjih ipd.). Intervencija jasno opredeljuje primarno skupino (mlade v srednjih 2.3 Jasno opredeljena ciljna skupina ali ciljne skupine, kadar je teh več. 5 - odlično šolah (od 1. do 4. letnika), ki si želijo aktivno spreminjati svet na bolje predvsem na področju zdravja ter trajnostnega razvoja). Cilji so opredeljeni, vendar ne sledijo načelu SMART: Mlade seznaniti s številnimi sodobnimi problematikami na Opredelitev vedenjskih in področju: • zdravja mladih (nevarnosti alkohola, tobaka in drugih 2.4 komunikacijskih ciljev po načelu 3 - dobro drog ter nekemičnih zasvojenosti, vrstniškega nasilja in stresa ter SMART. samopodobe) in • trajnostnega razvoja (okoljevarstva, onesnaženosti, okoljskih vplivov in ekološkega odtisa do trajnostnega turizma, mobilnosti in drugih globalnih vprašanj). • Mladi pridobijo celostno sliko okoljskih, družbenih in 49 političnih/gospodarstvenih dejavnikov, na katere lahko vplivajo. • Pri mladih razvijati znanje in spretnosti ter vplivati na njihovo vedenje in odnos na področju javnega zdravja, trajnostnega razvoja in aktivnega državljanstva. • Razvijati smiselno mladinsko participacijo ter aktivno državljanstvo v in izven organizacije. • Podpirati delo mladih v lokalnem okolju prek vključenosti v lokalne enote. • Razvijati princip delovanja »mladi za mlade«. • Pri mladih razvijati aktivizem in zagovorništvo za boljšo družbo in okolje. • Pri mladih spodbujati kritično razmišljanje po metodi »Kritiziraj – predlagaj – ukrepaj«. • Razvoj posameznikovih potencialov in osebni pristop do posameznika. • Pozitivne družbene spremembe (prek podpore dobrim idejam in uporabe principov kvalitetne preventive, socialnega marketinga, start-up-ovstva, podjetništva - tako entrepreneurship-a kot tudi intrapreneurship-a). Zgoraj navedeni cilji so zapisani bolj kot namen intervencije, ne pa kot dejanski cilji, ki bi jih lahko tudi smiselno merili. Predlagamo, da se gre v bodoče skozi cilje po načelu SMART ter se jih opredeli na način, ki bo omogočil njihovo merljivost. Opredelitev strategij, taktik in Intervencija v svojem tehničnem dokumentu Priloga – Program 2.5 orodij za doseganje posamičnih Aktivisti ustrezno opredeljuje raznovrstna uporabljena orodja in vedenjskih in komunikacijskih 5 - odlično pristope za doseganje predvidenih vedenjskih in komunikacijskih ciljev. ciljev (kompetenčni model). Pri zadoščanju kriterijev merila obstajajo večje pomanjkljivosti glede nastavljenih kazalnikov vrednotenja. Z izjemo merjenja zadovoljstva udeležencev, kar štejemo v obseg procesnega Opredelitev kazalnikov za 1 - ne vrednotenja, manjkajo še drugi kazalniki, ki vrednotijo proces npr. 2.6 procesno vrednotenje in število izvedenih dogodkov, število udeležencev, število vrednotenje učinkovitosti ter izpolnjuje predavateljev, število medijskih objav itd. Manjkajo kazalniki uspešnosti. zahtev vrednotenja vsebine, s katerimi merimo uspešnost in učinkovitost intervencije, tako kratkoročni kot srednje- in dolgoročni. Priporočamo tudi opredelitev kazalnikov, ki merijo usposobljenost izvajalcev aktivnosti v intervenciji. Intervencija dobro opisuje vključenost predstavnikov različnih Opredelitev, kako so bili v ciljnih skupin ter drugih sodelujočih deležnikov programa. Le-ta intervencijo vključeni predstavniki temelji na medvrstniškem izobraževanju, ki ima med drugim ciljne skupine in drugi deležniki pozitivne učinke tudi na same izvajalce, v tem primeru torej (partnerji, interesne skupine, aktiviste. Z udeležbo na usposabljanjih in ostalih dogodkih ter z 2.7 politični odločevalci, mediji ipd.) 5 - odlično aktivnim sodelovanjem pri aktivnostih (vodenje medvrstniških ter kako je bilo to sodelovanje delavnic itd.) mladi pridobijo nova znanja ter številne kompetence, načrtovano, vzpostavljeno, ki jim pomagajo na zdravi in odgovorni poti odraščanja. Preko vzdrževano, ocenjeno in finančno večletne vključenosti v program tako mladi ponotranjijo stališča podprto. zdravega življenjskega sloga, postanejo kritični glede sveta okoli sebe in sposobni prevzemati pobude za spremembe. Podroben načrt sodelovanja v dokumentu Priloga – Program Aktivisti. Opredelitev virov, ki so bili vključeni v pripravo, Viri, ki so bili vključeni v pripravo, implementacijo in vrednotenje implementacijo in vrednotenje intervencije, so deloma pomanjkljivo opisani. Opredeljeni so človeški viri (opis v Vprašalniku in Prilogi – Program Aktivisti), 2.8 intervencije, pri čemer med vire 4 - zelo sodijo človeški viri, sistemski, dobro finančni viri (vloga za MZ in URSM), fizični viri (tabori, Zoom, fizični in finančni viri, poletne šole, delavnice), sistemski viri (tehnična oprema, dostop do prepoznavnost, odnosi ter baz podatkov ipd.), manj opredeljeni pa so viri: prepoznavnost, trenutne aktivnosti. odnosi ter trenutne aktivnosti. Iz pripadajočih projektnih dokumentov ter dodatnih podatkov, ki Opredelitev optimizacije jih je Mladinska zveza predložila naknadno, so zgolj deloma razpoložljivih sredstev, pri razvidne in segmentirane postavke upravljanja z razpoložljivimi 2.9 doseganju zastavljenih ciljev 2 - slabo finančnimi sredstvi za izvedbo intervencije. Plan porabe sredstev z (načrtovani in dejanski stroški načrtovanimi stroški ter finančnim poročilom je dobro opredeljen v intervencije). projektni dokumentaciji, vendar ni razvidna dejanska poraba in morebitna optimizacija sredstev. 50 Intervencija zgolj deloma ustrezno opisuje in opredeljuje vrednotenje programa. Aplikativno vrednotenje je opisano v Opis in opredelitev vrednotenja na dokumentu Analiza programov. Na osnovi predložene treh ravneh: aplikativno dokumentacije bi težko rekli, da je bilo opravljeno pred pričetkom, vrednotenje, ki je namenjeno kar je namen aplikativnega vrednotenja, saj je ravno najbolj razvoju intervencije in opisano v delu, kjer je bila že izvedena analiza. Dokumentacija implementacije; procesno procesnega vrednotenja je pomanjkljiva, nesistematična in vrednotenje, ki spremlja nesorazmerna z načrtovanimi/izvedenimi aktivnostmi. Dokument 2.10 implementacijo intervencije in Analiza obstoječih programov prav tako le delno predstavlja glede na sprotne rezultate 2 - slabo vrednotenje uspešnosti in predstavlja bolj izhodišča za izboljšave ustrezno prilagaja izvedbo kot pa vrednotenje programa v ožjem pomenu. Pravega intervencije ter vrednotenje vrednotenja učinkovitosti in uspešnosti nismo zasledili. Kot predlog uspešnosti in učinkovitosti za izboljšave v prihodnje predlagamo, da se več časa nameni jasni intervencije glede na zastavljene opredelitvi namenov ter za tem opredelitvi ciljev, slednji pa morajo cilje, vložene vire, pa tudi slediti načelom (npr. SMART, da so specifični, merljivi itd.), ker etičnosti. lahko zgolj na tak način nastavite kazalnike in vrednotite svoj program. V danem programu to je ključni element, ki nam onemogoča ustrezno ocenjevanje vrednotenja. Opisu intervencije je priložena Intervencija je v opisu in strukturi dobro dokumentirana in dokumentacija, ki predstavlja predstavljena (Kompetenčni model – Priloga Program Aktivisti). 2.11 osnovni del intervencije, denimo 2 - slabo Manjkajo gradiva ali reference gradiv, ki se nanašajo na vsebinske smernice in protokoli, vključno z sklope intervencije (izvajane aktivnosti v treh ključnih vsebinskih navedbo literature. sklopih intervencije). Znanstveni dokazi in teoretska utemeljitev intervencije Merilo Točke Komentar Intervencija izkazuje utemeljenost na preverjenih in podprtih znanstvenih pristopih ter aktualni strokovni literaturi. Program je bil Intervencija temelji na znanstvenih razvit postopoma, najprej z namenom organiziranja mednarodnih dokazanih in preverjenih teorijah dogodkov, nato pa se je razširil. Temelji torej na večletnemu delu z 3.1 (npr. metaanalizah, sistematičnem 4 - zelo mladimi in na izkušnjah, pridobljenih skozi delovanje na različnih pregledu literature, študijah dobro nivojih (implicitno znanje). Prav tako temelji na raziskavah (opisano implicitnega znanja). zgoraj) in različnih teorijah sprememb vedenja (opisano spodaj). Intervenciji manjka celostno izvedeno vrednotenje, ki je ključni element smernic EMCDDA. Intervencija zadostuje kriterijem merila glede predstavitve elementov pristopa v okvirih modela spremenljivosti ali intervencijske teorije oz. rezultatov predhodno opravljenih raziskav. Vrstniško izobraževanje in aktiviranje (razvit kompetenčni model za zagotavljanje kvalitete mladinskega dela in lažje spremljanje učinkovitosti programa), teorije, vezane na spreminjanje vedenja in preventivno dejavnost (krepitev varovalnih dejavnikov, kot so samopodoba, socialne veščine, znanje, kritično mišljenje, podporno V načrtu so predstavljeni elementi okolje, življenjske izkušnje, zdravo preživljanje prostega časa), pristopa (ali tehnike ali načela) v teorija zdravstvenih prepričanj (če so posamezniki obveščeni o negativnih posledicah določenega vedenja, bodo to vedenje lahko 3.2 okvirih modela spremenljivosti ali 4 - zelo intervencijske teorije ali glede na dobro racionalno spremenili), teorija upravičene akcije, ki govori o tem, da rezultate predhodno opravljene na posameznikovo vedenjsko namero poleg njegovega odnosa do raziskave. specifičnega vedenja vpliva tudi zaznana družbena norma, modeli socialnega učenja, ki poudarjajo velik vpliv socialnih dejavnikov (mediji, vrstniki, družina) in katerih cilj je sprememba vedenja (npr. socialno-marketinške kampanje), teorija življenjskih veščin, teorija normativnega prepričanja, katere osnovna predpostavka je, da na naše vedenje in interakcijo z drugimi močno vpliva naše prepričanje o tem, kaj je normalno in kaj sprejemljivo. Izvedba intervencije ni bila opisana do te mere, da bi lahko presojali, ali so elementi, ki jih navajajo, vključeni v izvedbo. 51 Etični vidik Merilo Točke Komentar *Spoštovanje osnovnih etičnih načel – avtonomije (spoštovati pravico posameznikov, da Intervencija je bila po naši presoji izvedena pravično, torej sprejemajo svoje odločitve), »ne sorazmerno s potrebami ciljne skupine, ter se je osredotočila na škodovati!«, dobronamernosti in mladostnike/mlade v srednji šoli, ki si želijo aktivno spreminjati svet na bolje predvsem na področju zdravja ter trajnostnega razvoja. 4.1 pravičnosti (koristi in tveganja naj bodo pravično razdeljeni). DA Vprašanje se poraja glede vključevanja tistih mladih, ki spadajo med *Pričakovane koristi presežejo oz. ranljivejši del populacije in se ne vključujejo v tovrstne programe. odtehtajo potencialno škodo. Program prav tako glede na obsežnost in zajem populacije potrebuje *Intervencija je bila izvedena zelo dosledno vodenje, predvsem je potrebna doslednost pravično – sorazmerno s v podajanju vrednot in vsebine. potrebami ciljne skupine. Pravice posameznikov (npr. Iz priložene dokumentacije je razvidno, da izvajalci/nosilci intervencije potrjujejo, da so osebne podatke udeležencev ter 4.2 varstvo osebnih podatkov) so zaščitene v skladu z nacionalno in DA drugih sodelujočih oseb zbirali in obdelovali v skladu z veljavno evropsko zakonodajo. nacionalno in evropsko zakonodajo na področju varovanja osebnih podatkov. Navzkrižje interesov je jasno Nosilec/izvajalec intervencije izjavlja, da ne obstaja nasprotje 4.3 opredeljeno, prav tako so interesov oziroma ne obstajajo nobene okoliščine, ki bi lahko navedeni ukrepi za ravnanje ob DA izkazovale zasebni interes z drugimi osebami, katerih cilji so oziroma pojavu navzkrižja interesov. bi lahko bili v nasprotju z javnozdravstvenimi cilji. Nosilec/izvajalec intervencije izjavlja, da se med aktivnostmi, Med izvajanjem intervencije se ni povezanimi s pripravo, izvajanjem in kasnejšim vrednotenjem 4.4 oglaševalo določenega izdelka, intervencije ni oglaševalo nobenih reklamnih, promocijskih ali naprave ali katere koli komercialne DA drugih izdelkov, naprav ali objavljalo kakršnihkoli drugih pobude. komercialnih pobud, s katerimi bi njihova organizacija, druga fizična ali pravna oseba pridobila premoženjsko ali nepremoženjsko korist. OSNOVNA MERILA Učinkovitost in uspešnost intervencije – vrednotenje procesa Merilo Točke Komentar Izvedeno je bilo notranje vrednotenje programov (vsebine). Pomanjkljivo je procesno vrednotenje, kajti v dokumentaciji je Izvedeno je bilo notranje ali predstavljenih nekaj tabel in predstavitev, kjer rezultati vrednotenja zunanje vrednotenje procesov ob niso povzeti in ustrezno dokumentirani. Pogrešamo pregledno dokumentacijo s številom izvedenih aktivnosti, številom 1.1 upoštevanju družbenih in ekonomskih vidikov ciljne skupine udeležencev ipd. Tudi dokumenta, ki podajata zadovoljstvo in perspektiv pomembnejših udeležencev, zajemata zgolj en dogodek. Število oseb, ki so interesnih strani. odgovarjale na vprašalnik, je zelo majhno. Glede na opis sistema bi bilo mogoče dokaj enostavno nastaviti in spremljati ter povzeti procesne kazalnike. Priporočamo tudi uvedbo sistematičnega vrednotenja aktivnosti, kjer bi preverjali tudi učinek delavnic. Rezultati vrednotenja (npr. število izvedenih delavnic, število Iz predložene dokumentacije ni moč razbrati povezanosti med udeležencev, zadovoljstvo rezultati vrednotenja in procesnimi cilji, ker so cilji, kazalniki, in s tem 1.2 udeležencev, število medijskih vrednotenje, neusklajeni. Priporočamo redno vodenje podatkov o objav, število delavnic) so bili aktivnostih, udeležencih in izvajalcih ter njihovo ustrezno povezani z izbranimi/določenimi dokumentiranje in poročanje. cilji same intervencije. 52 Učinkovitost in uspešnost intervencije – vrednotenje rezultatov Merilo Točke Komentar Dejanskega vrednotenja rezultatov med priloženimi gradivi intervencije ni moč zaslediti. Med le-temi smo pregledali analizo programov, ki je usmerjena bolj v ugotavljanje skladnosti s smernicami EMCDDA, vendar zaznavamo, da niso bile ustrezno Ugotovljeni rezultati so najbolj upoštevane v segmentu vrednotenja. Potrebno bi bilo v izhodišču 1.3 ustrezni za intervencijo glede na dobro zastaviti cilje in nato iz njih izhajajoče kazalnike, ki bi merili cilje, teoretične modele in ciljno kratko-, srednje- in dolgoročne učinke intervencije. Model ima sicer skupino. jasno izdelano hierarhično ureditev, vendar merjenje uspešnosti tega sistema ni sorazmerno. Kot se že sicer ugotavlja v dokumentu analize obstoječih programov, se strinjamo, da je potrebno okrepiti preverjanje pridobljenega znanja in kompetenc mladih, kar bo pripomoglo k merjenju uspešnosti intervencije. Vrednotenje naj bi potekalo kot analiza stanja na podlagi primerjave Vrednotenje rezultatov meri s smernicami EMCDDA, čeprav ugotavljamo, da intervencija ne razliko med začetno in končno izpolnjuje vseh kriterijev, ki jih le-te predpostavljajo. Vrednotenje 1.4 situacijo ter je izvedeno na način, rezultatov, ki bi merilo razliko med začetno in končno situacijo, ni ki je primeren za vrsto intervencije bilo izvedeno. Konkretni rezultati intervencije, merljivi na podlagi (meri učinke intervencije upošteva kazalnikov, niso predstavljeni. Minimalno bi bilo potrebno uvesti možne pristranosti). preverjanje znanja in kompetenc udeležencev, pridobljenih v programih, torej pred in po intervenciji. Vse izboljšave v kazalnikih, ki smo jih v intervenciji merili (npr. Izboljšave v kazalnikih niso bile ustrezno dokumentirane, ker tudi 1.5 ciljnem vedenju, ki smo ga niso bile narejene. V prihodnje priporočamo, da se sledi poskušali spremeniti), so ustrezno predvidenemu pristopu, kot ga opredeljuje merilo. dokumentirane in predstavljene. Intervencija ni bila ocenjena z ekonomskega vidika. Iz pripadajoče 1.6 Intervencija je bila ocenjena z ekonomskega vidika. dokumentacije je sicer razviden Plan porabe sredstev, vendar v njem niso razvidni dejanski stroški kot tudi ne optimizacije. Glede na to, da izvajalci niso naredili vrednotenja učinkov, tega merila ne moremo oceniti. Lahko bi se spremljalo učinke programa 1.7 Rezultati ocenjevanja intervencije so pokazali koristen učinek. na podlagi podatkov HBSC, ob predpostavki, da se intervencija izvaja v zadostnem obsegu oz. zajemu populacije. Kot predlog za bodoče izboljšave prilagamo dokument IRSSV-ja. Kot je razvidno iz dokumenta Smernice za odzivanje v težkih V intervenciji so spremljali pojav situacijah, razumemo, da so nosilci intervencije prepoznali 1.8 nepričakovanih učinkov (tudi nepričakovane učinke/situacije (tudi negativne) in se na njih negativnih) in jih opisali. ustrezno odzvali. Ob tem je bil razvit Priročnik za pomoč v težavnih situacijah, ki bo lahko služil kot koristno orodje, s katerim si mentorji in vodje pomagajo pri pojavu nepričakovanih/negativnih učinkov. Vključeni so elementi za spodbujanje procesov opolnomočenja ciljne skupine Vključeni so elementi za spodbujanje procesov opolnomočenja ciljne skupine (kot osrednji cilj intervencije), kot so zagotavljanje 1.9 (npr. krepitev zdravstvene pismenosti, zagotavljanje možnosti možnosti za razvijanje ustreznih spretnosti, znanj in vedenj, socialne za razvijanje ustreznih spretnosti, opore ipd. Namen kompetenčnega modela je torej popolnoma znanj in vedenj, socialne opore skladen z vsebino tega merila. ipd.). 53 Zmanjševanje neenakosti v zdravju Merilo Točke Komentar Intervencija se izvaja nacionalno in se je osredotočila na mladostnike/mlade v srednji šoli, ki si želijo aktivno spreminjati svet V celotnem procesu izvajanja na bolje predvsem na področju zdravja ter trajnostnega razvoja. intervencija dejavno upošteva Zmožnost zagotavljanja programa v vseh okoljih je omejena z ustrezne razsežnosti pravičnosti zmožnostmi izvajalcev, saj je potreben kadrovski vložek za izvedbo celotne intervencije velik. Ker gre za »opt in« intervencijo, je 2.1 (npr. starost, spol, socialno-ekonomski status, etnično udeležba odvisna od motivacije ciljne skupine. Poraja se še pripadnost, tip območja vprašanje, ali je intervencija dejansko izvedena pravično – kakšno je (ruralno/urbano), regijo, pokritje po celotni državi? Ali so regije/občine enakomerno deležne pripadnost ranljivi skupini). intervencije? Priporočamo previdnost, da se pri izvajanju ne povečuje nepravičnosti ter da se izvajajo prilagoditve intervencije za večje vključevanje marginaliziranih skupin, v kolikor te trenutno v program niso vključene. Znotraj intervencije je mogoče zaznati prizadevanja za prepoznavanje ranljivih skupin, Smernice za odzivanje v težkih situacijah nakazujejo, da se izvajalci pojava neenakostih v dostopnosti zavedajo pomembnosti prilagajanja programa ranljivim skupinam. 2.2 intervencije ter morebitnih drugih Smiselno bi bilo povečati prizadevanja za vključevanje ranljivih vidikov neenakosti; te ugotovitve skupin v program oz. za začetek oceniti, kakšne so značilnosti so dokumentirane in povzete v posameznikov, ki se vključujejo v intervencijo, kako dolgo poročilih, priporočilih, smernicah v intervenciji sodelujejo ipd. ipd. za zmanjšanje ugotovljenih neenakosti v zdravju. Sodelovanje deležnikov pri razvoju in izvajanju intervencije Merilo Točke Komentar Sodelovanje s ciljno skupino in Aktivisti je intervencija, zasnovana za mladostnike, ki jo izvaja pomembnejšimi deležniki je bilo Mladinska zveza. Iz obstoječih dokumentov je razbrati, da program temelji na medvrstniškem izobraževanju in da je ciljna skupina 3.1 zagotovljeno v različnih fazah intervencije: vključena v razvoj, izvajanje in vrednotenje intervencije. Predlagamo - načrtovanje in razvoj razmislek o tem, ali je mogoče vključiti še kakšno skupino - izvajanje in vrednotenje. deležnikov, ki bi na svoj način podprli namen in cilje intervencije (npr. starši, učitelji). V različnih faze intervencije, v fazi načrtovanja, izvajanja in Strukture sodelovanja so jasno opisane v programu intervencije vrednotenja se je med deležniki in zagotavljajo prenos kompetenc za izvajanje intervencije med 3.2 vzpostavilo sodelovanje, ki je generacijami udeležencev. Gre za program, v katerega so opisano, trajnostno naravnano in udeleženci/ciljna skupina vključeni daljše časovno obdobje in so omogoča vzpostavitve formalnih soustvarjalci programa, torej se glede na model da predvidevati, struktur sodelovanja. da ta zagotavlja trajnostno strukturo sodelovanja. 54 Medsektorsko sodelovanje Merilo Točke Komentar Sodelovanje s ciljno skupino in pomembnejšimi deležniki je bilo V izvajanje intervencije sta vključena dva sektorja – Zdravje (MZ, NIJZ) in šolstvo (Urad za mladino) – kar je glede na vrsto intervencije 4.1 zagotovljeno v različnih fazah intervencije: ustrezno. Glede na obseg in vsebino intervencije prostor za - načrtovanje in razvoj nadgradnjo predstavlja soudeležba sektorjev, ki jih naslavljajo preko - izvajanje in vrednotenje. ciljnih kompetenc. V različnih fazah intervencije – v fazi načrtovanja, izvajanja in Intervencija izkazuje interdisciplinarno zasnovanost z vključenostjo vrednotenja – se je med deležniki in podporo slovenskih in mednarodnih NVO s področja delovanja, 4.2 vzpostavilo sodelovanje, ki je sodelovanjem z Uradom za mladino in MZ ter vključenostjo več opisano, trajnostno naravnano in strokovnjakov različnih profilov oz. strok. Delovanje poteka tudi na omogoča vzpostavitve formalnih lokalnem nivoju. Predlagamo premislek o možnosti večjega struktur sodelovanja. vsebinskega sodelovanja z občinami. Intervencija spodbuja usklajevanje Intervencija opolnomoči udeležence s kompetencami, ki so 4.3 med sektorji, npr. storitve potrebne za medsektorsko in interdisciplinarno delo. Delovanje zdravstvenega in socialnega sektorjev se preko vsebine intervencije dopolnjuje in spodbuja sektorja. sodelovanje ter usklajevanje. DODATNA MERILA Prenosljivost intervencije Merilo Točke Komentar Intervencija uporablja instrumente Intervencija uporablja instrumente, ki omogočajo njeno ponavljanje oz. prenos, in sicer predvsem priročnik Aktivisti: kompetenčni model s 1.1 (npr. priročnik s podrobnim opisom dejavnosti), ki omogočajo podrobnim opisom dejavnosti. Priporočamo, da se v bodoče bolje opišejo ponavljanje/prenos. posamezna strokovna področja in da je obvezno uporabljen seznam priporočene literature ter tudi citati znotraj besedila. Opis intervencije vključuje vse Iz pripadajoče dokumentacije intervencije je razviden podroben opis organizacijske elemente, opredeljuje organizacijskih elementov (v priročniku Aktivisti in Analizi obstoječih 1.2 omejitve in potrebne ukrepe, ki so bili programov Brez izgovora), vendar pa je zaradi odsotnosti ustreznega sprejeti za premagovanje zakonskih, vrednotenja težko ocenjevati prilagoditve intervencije, ki so bile (ali ne) upravljavskih, finančnih ovir. izvedene v odziv na prepoznane zakonske, upravljavske ali finančne ovire. Opis intervencije vključuje opis demografskih, psihografskih, interesnih V gradivu je opredeljena ciljna populacija, manjka pa opis dejanskih 1.3 in drugih značilnosti ciljne populacije udeležencev intervencije. Manjkajo ključni elementi, ki so opisani v samem ter ukrepe, ki so bili sprejeti za merilu, kot so npr. osnovni podatki o udeležencih intervencije ter o tem, premagovanje osebnih in okoljskih koliko mladih progami zajemajo. ovir. Intervencija je bila izvajana v realnem okolju, v času epidemije pa razumljivo Intervencija je bila izvajana v realnem z uporabo IKT pristopov. Komunikacijske strategije med gradivom nismo 1.4 okolju, z jasno predstavljeno zasledili, prav tako ne načrtov diseminacije podatkov. Priporočamo, da se v komunikacijsko strategijo in načrtom prihodnje pripravijo načrt diseminacije rezultatov in strategija komunikacije diseminacije rezultatov. (dela ter rezultatov) ter druge medijske dejavnosti z vključevanjem ciljnih skupin. Intervencija se je pričela izvajati leta 2009 in je bila skozi leta nadgrajena na podlagi povratnih informacij udeležencev. Pilotnega izvajanja, kjer bi se Intervencija je bila uspešno načrtno vrednotilo različne vidike intervencije za potrebe širše 1.5 prenesena/ponovljena iz pilotne faze implementacije, ni bilo. Pogrešamo poročilo o obsegu in širitvi intervencije oz. manjše skupine ali okolja v širšo skozi leta delovanja. Predlog za izboljšavo je, da se sistematično, skupino oz. okolje. kontinuirano, transparentno spremlja udeležbo, nacionalno/regionalno/lokalno pokritost programov ter spremembe v vsebini ali izvajanju intervencije. Izvedba intervencije je bila, kot je delno razvidno iz dokumenta Analiza Izvedba intervencije je bila prilagojena programov, prilagojena različnim potrebam ciljne skupine. Manjkajoč je 1.6 različnim potrebam, ki so se pojavile podrobnejši opis teh potreb. Pri tako obsežnem programu bi bila za med izvajanjem. zagotavljanje kakovosti potrebna sistematična, redna analiza z namenom izboljšav in ne le občasna evalvacijska poročila s popisom sprememb v vsebini in izvajanju intervencije. 55 Trajnost intervencije Merilo Točke Komentar Intervencija uživa institucionalno podporo preko NVO Brez izgovora, Obstajajo institucionalna podpora, ki program izvaja že vrsto let. V bodoče priporočamo in poudarjamo potrebo po pozornosti pri zagotavljanju stabilnosti (predvsem 2.1 organizacijska in tehnološka struktura ter stabilni človeški viri človeških virov) glede na kompleksnost programa, ki potrebuje za izvajanje intervencije. kakovostno izvedbo ter izvajalce z razvitimi strokovnimi kompetencami. Priporočamo tudi jasnejšo predstavitev načina upravljanja posameznih intervencij, ki jih izvaja NVO. Finančnega poročila, ki bi zajemalo celoten pregled finančnih virov Navedeno je finančno poročilo, ki ter opredelitev stroškov za izvedbo intervencije, nismo prejeli oz. je 2.2 opredeljuje vire financiranja iz obstoječe dokumentacije vire financiranja moč razbrati le delno. intervencije. Predlagamo, da na Zvezi v bodoče poskrbijo za boljšo administrativno podporo intervencijam ter večjo skrb namenijo pripravi vse potrebne pripadajoče dokumentacije. Nadaljevanje intervencije je bilo Intervencija je s številčnostjo aktivistov, prepoznavnostjo nosilca ter zagotovljeno z institucionalnim povezanostjo z drugimi podobnimi organizacijami in interesnimi zasidranjem in/ali lastništvom skupinami trenutno dobro institucionalno zasidrana (NVO Brez 2.3 ustreznih interesnih skupin ali izgovora) ter je zasnovana na način, da se udeleženci usposabljajo za skupnosti pri srednjeročnem in prihodnje izvajalce intervencije. Obenem pa težavo vseeno dolgoročnem načrtovanju predstavlja odsotnost zagotovljenega polnega dolgoročnega intervencije. financiranja (potreba po vnovičnem prijavljanju na razpise ministrstva). Intervencija zagotavlja trajno usposabljanje osebja v času trajanja programa prek spletnih usposabljanj, delovnih dni, delovnih vikendov, načrtovanja, izvedb in vrednotenja lokalnih pobud, izvajanja vsebinskih projektov ter mednarodnih dogodkov, kjer se Zagotovljeno je trajno seznanijo s temeljnimi vidiki mladinske participacije, trajnostnega 2.4 usposabljanje osebja v smislu razvoja in javnega zdravja ter osvojijo najpomembnejše veščine in znanja, tehnik in pristopov. kompetence za učinkovito prepoznavanje sodobnih problemov. Nadaljnje kompetence so tudi razvijanje kritičnega vrednotenja in ustrezno ukrepanje (program traja 3,5 leta). Razen aktivnosti, ki jih izvedejo v sklopu intervencije, je opis usposabljanja osebja pomanjkljivo zapisan. Predlagamo, da se v bodoče znanja ter kompetence izvajalcev preverja na sistematičen način. Pripravljena je trajnostna strategija, ki obravnava vrsto vsebinskih dejavnikov (npr. Iz dodatno priložene dokumentacije, posredovane s strani 2.5 zdravstvene in socialne politike, Mladinske zveze, je razvidno, da imajo na Zvezi pripravljen strateški inovacije, kulturne trende in načrt, v katerem je zapisana vizija, poslanstvo ter opredeljena splošno gospodarstvo, struktura za doseganje zastavljenih ciljev. epidemiološke trende). Med procesom celostnega vrednotenja intervencije »Aktivisti Brez izgovora« smo ocenjevalci ugotovili, da intervencija ne izpolnjuje enega izmed izključitvenih podmeril, in sicer podmerila 2.6. »Opredelitev kazalnikov za procesno vrednotenje in vrednotenje učinkovitosti ter uspešnosti«. Glede na Izključitvena merila, ki določajo, da so osnovni pogoji za vrednotenje posamezne intervencije to, da intervencija upošteva merila vsebinske ustreznosti in etičnih načel, je oblikovana po ključnih elementih in utemeljena s teorijo in dokazi, intervencije »Aktivisti Brez izgovora« nismo mogli vključiti v proces celostnega vrednotenja za primer dobre prakse. Manjkajo namreč ključni elementi intervencije, kot so opredelitev kazalnikov za procesno vrednotenje in vrednotenje učinkovitosti ter uspešnosti, posledično pa je pomanjkljivo in neustrezno tudi vrednotenje doseženih učinkov intervencije. Zato smo naredili samo opisno vrednotenje intervencije po posameznih skupinah meril, da lahko nosilcem intervencije damo čim bolj natančne napotke za izboljšave. 56 3.4.1 Rezultati skladnosti med ocenjevalci za intervencijo »Aktivisti Brez izgovora« Skladnost med ocenjevalci pri intervenciji »Aktivisti Brez izgovora« je bila znatna na izključitveni in dodatni ravni meril ter zmerna na ravni osnovnih meril. Najnižje vrednosti FK so bile prisotne na ravni osnovnih meril, kjer je bila majhna skladnost zabeležena pri elementu sodelovanj deležnikov pri razvoju in izvajanju intervencije (0,17) (Preglednica 10). Preglednica 10: Prikaz ocen skladnosti ocenjevalcev na ravni elementov meril po sklopih izključitvenih, osnovnih in dodatnih meril. 0,95 DS FK 0,05 IZ IZ SN PO KO Razlika 1. IZKLJUČITVENA MERILA 64 % 0,56 0,3 0,81 0,06 4,38 4,06 -0,32 1 Vsebinska ustreznost intervencije 100 % 1 1 1 0,00 5,00 5,00 0,00 2 Zgradba intervencije (struktura) 58 % 0,47 0,16 0,78 0,09 3,30 3,18 -0,12 3 Znanstveni dokazi in teoretska utemeljitev intervencije 67 % 0,58 -0,23 1 0,43 4,83 4,00 -0,83 2. OSNOVNA MERILA 42 % 0,27 0,08 0,46 0,05 3,47 / / 1 Učinkovitost in uspešnost intervencije 38 % 0,22 -0,02 0,46 0,08 1,83 / / 2 Zmanjševanje neenakosti v zdravju 44 % 0,31 0,41 1 0,17 3,56 / / 3 Sodelovanje deležnikov pri razvoju in izvajanju intervencije 33 % 0,17 0,17 0,17 0,00 4,50 / / 4 Medsektorsko sodelovanje 56 % 0,44 -0,1 0,99 0,31 4,00 / / 3. DODATNA MERILA 55 % 0,43 0,16 0,71 0,08 3,30 / / 1 Prenosljivost intervencije 61 % 0,51 0,07 0,96 0,18 3,00 / / 2 Trajnost intervencije 47 % 0,33 0,01 0,66 0,15 3,60 / / DS = delež skladnosti, FK = Fleissov koeficient kappa, IZ = interval zaupanja, SN = standardna napaka, PO = povprečna ocena, KO = končna ocena). 57 3.5 Intervencija »Martin Krpan« Program »Martin Krpan« je preventivni program, namenjen učencem zadnje triade osnovne šole, ki se osredotoča na krepitev socialnih veščin s primarnim namenom preprečevanja najpogostejših zasvojenosti med mladimi. Program vključuje večkratne intervencije, ki se osredotočajo na učenje socialnih in življenjskih veščin, uporabnih v širokem spektru situacij, poleg tega pa se dotika tudi preventive na področju zasvojenosti z alkoholom in tobakom. Namen programa je, da se preko interaktivnih delavnic mlade opremi s potrebnimi veščinami, s pomočjo katerih se bodo znali soočati z različnimi življenjskimi preizkušnjami, se upreti kajenju in pitju alkohola ter nasploh sprejemati zdrave odločitve. Cilji so določeni za vsako posamezno delavnico posebej, splošen cilj programa pa je zmanjšati pojav različnih zasvojenosti med mladimi. Program je v prvi vrsti namenjen učencem zadnje triade, ki so v časovnem obdobju treh let (druga polovica 7. in 8. ter 9. razreda) deležni 16–25 ur delavnic, v okviru katerih se urijo v različnih socialnih veščinah, pridobivajo nova znanja ter spoznavajo drug drugega. Delavnice potekajo po dogovoru z razrednikom v sklopu pouka. Za učitelje (predvsem razrednike vključenih razredov) pa smo na voljo za individualna posvetovanja ter za predstavitev problematike in možnosti ukrepanja v šolskem okolju. Poleg tega vsa tri leta intenzivno sodelujemo tudi s svetovalnim delavcem na šoli v namene koordinacije in še intenzivnejšega dela z učenci. Program je bil razvit s strani Brez izgovora Slovenija, ki ima dolgoletne izkušnje pri delu z mladimi, predvsem na področjih učenja kritičnega razmišljanja ter ozaveščanja o tematikah, povezanih z zdravjem. Podrobnejši opis programa je podan v Prilogah od 6 do 8 »Martin Krpan – Program za učenje socialnih veščin s primarnim namenom preprečevanja zasvojenosti«. Rezultati celostnega vrednotenja intervencije »Martin Krpan« so predstavljeni v Preglednici 11. Preglednica 11: Rezultati celostnega vrednotenja intervencije »Martin Krpan«. IZKLJUČITVENA MERILA Vsebinska ustreznost intervencije Merilo Točke Komentar Skladnost z javnozdravstvenimi Intervencija dosega zahtevana merila skladnosti z obstoječimi javnozdravstvenimi strategijami in strateškimi dokumenti, ki 1.1 strategijami na lokalni, regionalni, nacionalni ravni ali na evropski 5 - odlično naslavljajo zasvojenost s tobakom, alkoholom in drugimi zdravju ravni. škodljivimi vedenji. Poleg tega naslavlja tudi področje duševnega zdravja oz. socialne in čustvene pismenosti otrok ter mladostnikov. Intervencija je vzpostavljena kot Intervencija je uspešno vzpostavljena kot podpora obstoječi podpora za izvajanje nacionalnih zakonodaji in drugim predpisom, kot so Zakon o omejevanju porabe 1.2 programov, zakonodaje ali drugih 5 - odlično alkohola (ZOPA), Zakon o duševnem zdravju (ZDZdr), Zakon o predpisov, namenjenih reševanju z omejevanju uporabe tobačnih in povezanih izdelkov (ZOUTI) ter zdravjem povezanih problemov. Zakon o proizvodnji in prometu s prepovedanimi drogami (ZPPPD). 58 Zgradba intervencije (struktura) Merilo Točke Komentar Intervencija delno vsebuje predvidene ključne elemente merila. Analiza stanja problematike, ki jo Oblikovana je na podlagi smernic učinkovite preventive, ki so v intervencija naslavlja in temelji na prenovljenem priročniku dobro opisane. Ob tem naslavlja jasno opredeljeni metodologiji najpogostejše zasvojenosti med mladimi, ki pa v gradivih niso 2.1 primarnega in/ali sekundarnega 4 - zelo podrobno analizirane oz. ni podanih virov informacij, na podlagi zbiranja podatkov in analize dobro katerih so avtorji intervencije le-to oblikovali. Ker gre za podatkov ter predstavitev intervencijo, ki deluje po principu univerzalne preventive, bi kot povzetkov analiz (npr. v SWOT priložnost za dodatne prilagoditve programa, v kolikor bo analizi). prepoznana potreba, predlagali izvedbo dodatne analiza stanja problematike (lahko tudi kot SWOT analizo). Program temelji na raziskavah, ki kažejo na problematike na Segmentacija izbrane populacije področju zdravja mladih, ki so pokazale, na katerih specifičnih (po demografskih, psihografskih, področjih zdravja potrebujejo mladi največ podpore (samopodoba, življenjsko-stilnih in drugih nasilje, zasvojenosti ipd.). Iz pripadajočega gradiva je razbrati, da je 2.2 dejavnikih, kot so znanje o 3 - dobro bila intervencija leta 2019 posodobljena na način, da bolje problemu, stališčih, preteklih odgovarja potrebam mladostnikov v zadnji triadi OŠ, vendar vedenjih, ki so relevantni za natančnejše segmentacije izbrane populacije nismo zasledili obravnavani problem). (sklepamo, da je bila v omejenem obsegu narejena v procesu posodobitve intervencije). Intervencija jasno opredeljuje primarno ciljno skupino kot 2.3 Jasno opredeljena ciljna skupina ali ciljne skupine, kadar je teh več. 5 - odlično mladostnike v zadnji triadi OŠ in sekundarne skupine (učitelje, starše in svetovalne delavce v OŠ). Intervencija zgolj delno ustreza kriterijem merila, in sicer so manjkajoči krovni cilji programa, ki bi jih avtorji intervencije lahko povezali z rezultati »učinkovnega vrednotenja«. Dolgoročni cilji programa so opredeljeni kot predvsem spreminjanje stališč mladih Opredelitev vedenjskih in do alkohola, tobaka in drugih zasvojenosti, pridobivanje socialnih 2.4 komunikacijskih ciljev po načelu 3 - dobro veščin za sprejemanje zdravih odločitev ter posledično zmanjšanje SMART. zasvojenosti med mladimi, pa čeprav gre za srednjeročne cilje. Dejanski dolgoročni cilji niso opredeljeni. Kratkoročni cilji so vezani na vsako delavnico posebej. Cilji niso opredeljeni po načelu SMART. Prav tako so opredeljeni samo za eno od ciljnih skupin – mladostnike. Opredelitev strategij, taktik in Intervencija v svojem tehničnem dokumentu - priročniku - vključuje 2.5 orodij za doseganje posamičnih zelo natančen opis oz. podrobno razdelano vsebino delavnic. vedenjskih in komunikacijskih 5 - odlično Predstavljene so tudi taktike in orodja za doseganje zastavljenih ciljev. ciljev. Kazalniki za procesno vrednotenje intervencije (zadovoljstvo, počutje, novo znanje) so nastavljeni za vrednotenje doživljanja Opredelitev kazalnikov za delavnic s strani udeležencev. Priporočamo pripravo kazalnikov za vrednotenje količine izvedenega dela (št. izvedenih delavnic, št. 2.6 procesno vrednotenje in vrednotenje učinkovitosti ter 3 - dobro vključenih šol, št. sodelujočih učencev ipd.). Kazalniki za uspešnosti. vrednotenje uspešnosti (stališča mladih do tobaka in alkohola, socialne spretnosti mladih, počutje v skupini) so ustrezni. Pomanjkljivost predstavlja odsotnost vrednotenja stroškovne učinkovitosti programa. Opredelitev, kako so bili v Intervencija zadovoljivo opisuje vključenost predstavnikov različnih intervencijo vključeni predstavniki ciljnih skupin ter različnih sodelujočih deležnikov programa. ciljne skupine in drugi deležniki Predstavniki ciljne skupine so v intervencijo vključeni s (partnerji, interesne skupine, sodelovanjem v procesnem vrednotenju, na podlagi katerega so 2.7 politični odločevalci, mediji ipd.) 3 - dobro bile leta 2019 izvedene posodobitve intervencije. Dinamika ter kako je bilo to sodelovanje sodelovanja z odločevalci in drugimi relevantnimi deležniki je načrtovano, vzpostavljeno, dodatno opisana v strateškem načrtu organizacije Brez izgovora, vzdrževano, ocenjeno in finančno vendar ni razvidno ali je ta dinamika prisotna samo na ravni podprto. organizacije ali tudi v izvajanju posameznih intervencij. Opredelitev virov, ki so bili Viri, ki so bili vključeni v pripravo, implementacijo in vrednotenje 2.8 vključeni v pripravo, 2 - slabo intervencije, so opisani za celotno intervencijo, vendar so ponekod implementacijo in vrednotenje pomanjkljivo razdelani. Smiselno bi bilo segmentirati potrebe po 59 intervencije, pri čemer med vire virih skladno s strukturo intervencije (npr. opredelitev potreb po sodijo človeški viri, sistemski, delavnici, koliko izvajalcev je potrebnih). Odsoten je opis vstopanja fizični in finančni viri, v šole, ki je za izvedbo intervencije ključnega pomena (npr. kako se prepoznavnost, odnosi ter osnovne šole odločijo, da k sodelovanju povabijo Mladinsko zvezo). trenutne aktivnosti. Opredelitev optimizacije razpoložljivih sredstev, pri Iz naknadno pridobljene dokumentacije so razvidne informacije v 2.9 doseganju zastavljenih ciljev 2 - slabo povezavi z načrtovanimi sredstvi za izvajanje programa ter delno o (načrtovani in dejanski stroški dejanski porabi, medtem ko podatkov o optimizaciji stroškov nismo intervencije). zasledili. Opis in opredelitev vrednotenja na treh ravneh: aplikativno vrednotenje, ki je namenjeno razvoju intervencije in implementacije; procesno Intervencija opisuje in opredeljuje vrednotenje programa. V vrednotenje, ki spremlja njenem opisu so vključene vse tri stopnje vrednotenja – od 2.10 implementacijo intervencije in 4 - zelo aplikativnega (ki sicer ni opisano podrobno), do procesnega in glede na sprotne rezultate dobro vrednotenja uspešnosti oz. »učinkovnega vrednotenja«. Manjkajoč ustrezno prilagaja izvedbo element merila predstavlja neizvedeno vrednotenje učinkovitosti intervencije ter vrednotenje programa glede na zastavljene cilje in vložene vire. uspešnosti in učinkovitosti intervencije glede na zastavljene cilje, vložene vire, pa tudi etičnosti. Opisu intervencije je priložena dokumentacija, ki predstavlja Intervencija vključuje podroben in strukturiran opis vseh izvedenih 2.11 osnovni del intervencije, denimo 5 - odlično delavnic, ki v celoti nudi potrebne informacije za izvedbo. Kot smernice in protokoli, vključno z predlog za izboljšavo priporočamo dodatek strokovnega gradiva oz. navedbo literature. literature, še posebej pri vsebinskem delu opisa intervencije. Znanstveni dokazi in teoretska utemeljitev intervencije Merilo Točke Komentar Intervencija temelji na znanstveno Intervencija izkazuje utemeljenost na preverjenih znanstvenih dokazanih in preverjenih teorijah pristopih ter aktualni strokovni literaturi. Avtorji upoštevajo 3.1 (npr. metaanalizah, sistematičnem 5 - odlično usmeritve Evropskega centra za spremljanje drog in zasvojenosti z pregledu literature, študijah drogami (EMCDDA) in Smernice ter priporočila za delo na področju implicitnega znanja). šolske preventive. V načrtu so predstavljeni elementi pristopa (ali tehnike ali načela) v Intervencija z opisom v uvodnem delu priročnika opredeljuje splošne značilnosti preventivnega dela, ki jih upoštevajo pri izvajanju 3.2 okvirih modela spremenljivosti ali intervencijske teorije ali glede na 5 - odlično programa. Iz slednjih izhajajo posamezne delavnice, ki pa posebej ne rezultate predhodno opravljene izpostavljajo modela sprememb vedenja, na podlagi katerega bi naj raziskave. intervencija oz. delavnica bila učinkovita. 60 Etični vidik Merilo Točke Komentar *Spoštovanje osnovnih etičnih načel – avtonomije (spoštovati pravico posameznikov, da sprejemajo svoje odločitve), »ne Iz posredovane dokumentacije je razvidno, da je bila intervencija škodovati!«, dobronamernosti in osnovana na upoštevanju etičnih načel spoštovanja pravic 4.1 pravičnosti (koristi in tveganja naj posameznikov, dobronamernosti in pravičnosti, da pričakovane bodo pravično razdeljeni). DA koristi intervencije presegajo oz. odtehtajo potencialno škodo, ter *Pričakovane koristi presežejo oz. da je bila intervencija izvedena pravično oz. sorazmerno s potrebami odtehtajo potencialno škodo. ciljne skupine. *Intervencija je bila izvedena pravično – sorazmerno s potrebami ciljne skupine. Pravice posameznikov (npr. Iz priložene dokumentacije je razvidno, da izvajalci/nosilci intervencije potrjujejo, da so osebne podatke udeležencev ter 4.2 varstvo osebnih podatkov) so zaščitene v skladu z nacionalno in DA drugih sodelujočih oseb zbirali in obdelovali v skladu z veljavno evropsko zakonodajo. nacionalno in evropsko zakonodajo na področju varovanja osebnih podatkov. Navzkrižje interesov je jasno Nosilec/izvajalec intervencije izjavlja, da ne obstaja nasprotje 4.3 opredeljeno, prav tako so interesov oziroma ne obstajajo nobene okoliščine, ki bi lahko navedeni ukrepi za ravnanje ob DA izkazovale zasebni interes z drugimi osebami, katerih cilji so oziroma pojavu navzkrižja interesov. bi lahko bili v nasprotju z javnozdravstvenimi cilji. Nosilec/izvajalec intervencije izjavlja, da se med aktivnostmi, Med izvajanjem intervencije se ni povezanimi s pripravo, izvajanjem in kasnejšim vrednotenjem 4.4 oglaševalo določenega izdelka, intervencije ni oglaševalo nobenih reklamnih, promocijskih ali naprave ali katere koli komercialne DA drugih izdelkov, naprav ali objavljalo kakršnihkoli drugih pobude. komercialnih pobud, s katerimi bi njihova organizacija, druga fizična ali pravna oseba pridobila premoženjsko ali nepremoženjsko korist. OSNOVNA MERILA Učinkovitost in uspešnost intervencije – vrednotenje procesa Merilo Točke Komentar Iz pripadajoče dokumentacije je razvidno, da je vrednotenje procesov bilo izvedeno, vendar je bilo slednje dokumentirano na Izvedeno je bilo notranje ali nepopoln način. Pomanjkljivost predstavljajo prikazi zgolj zunanje vrednotenje procesov ob povprečnih ocen sodelujočih za posamezna vprašanja. Smiselno bi bilo dodati še dodatne statistične kazalce, kot je standardni odklon 1.1 upoštevanju družbenih in ekonomskih vidikov ciljne skupine 3 - dobro (ki pove, kakšna je bila razpršenost ocen). Predlagamo, da se v in perspektiv pomembnejših poročilih dopiše tudi število učencev, ki so izpolnili evalvacijski interesnih strani. obrazec, kdaj je bilo vrednotenje izvedeno ipd. Vrednotenje se prav tako ni posluževalo sistematičnega pristopa, zaradi česar ni razvidno, kaj in kdaj je bilo vrednoteno (ter ali je bilo prilagojeno vsaki delavnici posebej). Rezultati vrednotenja (npr. število Intervencija zgolj deloma izpolnjuje predvidene cilje procesnega izvedenih delavnic, število vrednotenja. Slednje je bilo osredotočeno predvsem na zadovoljstvo udeležencev, zadovoljstvo sodelujočih z izvedbo posameznih delavnic oz. za vse delavnice 1.2 udeležencev, število medijskih 2 - slabo skupaj. Preostalih kazalnikov procesa, ki so našteti v merilu, nismo objav, število delavnic) so bili zasledili. Prav tako so delavnice, ki so ocenjene v končnem poročilu povezani z izbranimi/določenimi o vrednotenju, drugačne od obveznih delavnic, kot jih predvideva cilji same intervencije. priročnik (evalvirane niso delavnice Tobak, zasvojenost s spletom itn.). Podobno lahko opazimo v ostalih poročilih o vrednotenju. 61 Učinkovitost in uspešnost intervencije – vrednotenje rezultatov Merilo Točke Komentar Rezultati intervencije so navkljub dobro zastavljenim oz. izbranim ciljem in podciljem nezadostno prikazani. Kazalniki s področja Ugotovljeni rezultati so najbolj čustvenih in socialnih kompetenc so primerni glede na vsebine posameznih delavnic, a bi bilo smiselno preveriti tudi, ali obstajajo 1.3 ustrezni za intervencijo glede na cilje, teoretične modele in ciljno 3 - dobro psihometrično preverjeni vprašalniki, ki bi lahko zagotavljali večjo skupino. natančnost vrednotenja. Od vedenjskih ciljev, ki so postavljeni v intervenciji, je smiselno ovrednoteno vedenje povezano s tobakom in alkoholom. Manjkata zasvojenost s spletom ter konoplja, ki sta obvezni delavnici v 9. razredu. Intervencija obravnava vsebino merila, a z večjimi pomanjkljivostmi. Rezultati vrednotenja sicer prikazujejo razliko med začetno in Vrednotenje rezultatov meri končno situacijo, vendar so prikazana zgolj povprečja in razlike razliko med začetno in končno povprečij. Smiselno bi bilo analize nadgraditi s statističnimi testi in 1.4 situacijo ter je izvedeno na način, vpeljati isto raziskavo v kontrolni skupini, ki ni izpostavljena ki je primeren za vrsto intervencije 2 - slabo intervenciji. Prav tako bi bilo smiselno izvajati vrednotenje po (meri učinke intervencije upošteva zaključku šolskega leta vsakega razreda, saj je obdobje treh let možne pristranosti). izjemno dolgo z razvojnega vidika mladostnika – ali lahko pripisujemo spremembo v kazalniku za cilj iz delavnice, ki je bila izvedena v 7. razredu? Vse izboljšave v kazalnikih, ki smo jih v intervenciji merili (npr. Intervencija delno ustrezno naslavlja predvidene sestavine merila. Iz 1.5 ciljnem vedenju, ki smo ga 3 - dobro predložene dokumentacije ugotavljamo, da so rezultati vrednotenja poskušali spremeniti), so ustrezno predstavljeni in opisani, vendar je njihova interpretacija zaradi dokumentirane in predstavljene. skromne statistične obdelave omejena. Na podlagi dodatno predložene dokumentacije s strani Mladinske 1.6 Intervencija je bila ocenjena z zveze je razviden plan porabe finančnih sredstev programa ter delno ekonomskega vidika. 2 - slabo podatki o porabi, vendar pa intervencija ni bila ocenjena z ekonomskega vidika. Zaradi pomanjkljive zasnove vrednotenja o koristnem učinku intervencije ne moremo sklepati. Rezultati programa sicer ne kažejo, da bi intervencija povzročala škodo. Priporočamo, da se vrednotenje 1.7 Rezultati ocenjevanja intervencije so pokazali koristen učinek. 2 - slabo stališč izvaja po vsaki izvedeni delavnici, vrednotenje dolgoročnih učinkov pa lahko ostane na koncu celotnega sklopa izobraževanja, vendar pa je potrebno vključiti tudi kontrolno skupino, da bi lahko prepoznali učinke same intervencije. Iz dokumentacije je razvidno, da vrednotenje intervencije vključuje vprašanja o stališčih, povezanih s kajenjem tobaka in pitjem V intervenciji so spremljali pojav alkoholnih pijač, ter pogostosti obeh vedenj. Na ta način so 1.8 nepričakovanih učinkov (tudi 4 - zelo prepoznani negativni vzorci v vedenju, kakor tudi stališčih, kar negativnih) in jih opisali. dobro usmerja avtorje intervencije k spremembi vsebin. Kot izboljšavo priporočamo izvedbo kakovostnejšega vrednotenja (opisano zgoraj), kar bi omogočilo bolj zanesljivo sledenje nepričakovanim/negativnim učinkov. Vključeni so elementi za spodbujanje procesov opolnomočenja ciljne skupine V intervencijo so jasno vključeni elementi za spodbujanje procesov 1.9 (npr. krepitev zdravstvene opolnomočenja ciljne skupine. Pomemben delež vsebin v delavnicah pismenosti, zagotavljanje možnosti 5 - odlično je povezan z zdravstveno pismenostjo ter čustvenimi in socialnimi za razvijanje ustreznih spretnosti, kompetencami. znanj in vedenj, socialne opore ipd.). 62 Zmanjševanje neenakosti v zdravju Merilo Točke Komentar V procesu izvajanja intervencija zgolj deloma upošteva elemente razsežnosti pravičnosti. Primarna ciljna skupina je celotna populacija mladostnikov v V celotnem procesu izvajanja zadnji triadi OŠ, sekundarne skupine (učitelji, starši in svetovani delavci v OŠ) intervencija dejavno upošteva ustrezne so tudi upoštevane v celoti (univerzalni pristop). Iz dokumentov ni razvidno razsežnosti pravičnosti (npr. starost, ali so pri izvajanju programa upoštevane druge razsežnosti pravičnosti, ki 2.1 spol, socialno-ekonomski status, 3 - dobro niso vezane na lastnosti ciljne populacije npr. tip območja (ruralno/urbano), etnično pripadnost, tip območja regija. Je pa sama intervencija usmerjena v vsebine oz. naslavlja vedenja, ki (ruralno/urbano), regijo, pripadnost pripomorejo k prepoznavanju ranljivih skupin in zmanjševanju neenakosti. ranljivi skupini). Priporočamo, da se spremlja oz. opiše elemente pravičnosti (npr. starost, spol, socialno-ekonomski status, etnično pripadnost, tip območja (ruralno/urbano), regijo, pripadnost ranljivi skupini. Znotraj intervencije je mogoče zaznati prizadevanja za prepoznavanje ranljivih skupin, pojava neenakosti v dostopnosti intervencije ter morebitnih Intervencija posebnih aktivnih prizadevanj za prepoznavanje ranljivih skupin, 2.2 drugih vidikov neenakosti; te 2 - slabo pojava neenakosti v dostopnosti intervencije ter morebitnih drugih vidikov ugotovitve so dokumentirane in neenakosti ne naslavlja. Gre za univerzalni pristop, znotraj katerega se povzete v poročilih, priporočilih, obravnavajo problematike, ki so pomembne za zmanjševanje neenakosti. smernicah ipd. za zmanjšanje ugotovljenih neenakosti v zdravju. Sodelovanje deležnikov pri razvoju in izvajanju intervencije Merilo Točke Komentar Sodelovanje s ciljno skupino in Sodelovanje s ciljno skupino in pomembnejšimi deležniki je bilo pomembnejšimi deležniki je bilo upoštevano v različnih fazah intervencije. Izvajanje delavnic temelji 3.1 zagotovljeno v različnih fazah 4 - zelo na interaktivnem delu z udeleženci. Prenova intervencije je bila intervencije: dobro narejena na osnovi odgovorov in predlogov za izboljšanje, ki so jih - načrtovanje in razvoj podali udeleženci (sodelovanje v fazi vrednotenja). Pri - izvajanje in vrednotenje. implementaciji so sodelovali tudi starši in učitelji. V različnih fazah intervencije – v fazi načrtovanja, izvajanja in vrednotenja – se je med deležniki Opisano je sodelovanje z razrednikom in šolsko svetovalno službo 3.2 vzpostavilo sodelovanje, ki je 3 - dobro ter starši mladostnikov (razredne ure), a je slednje omejeno opisano, trajnostno naravnano in predvsem na obdobje izvajanja intervencije. Narava intervencije je omogoča vzpostavitve formalnih takšna, da je kontinuirano sodelovanje težje vzpostaviti. struktur sodelovanja. Medsektorsko sodelovanje Merilo Točke Komentar Sodelovanje s ciljno skupino in pomembnejšimi deležniki je bilo Intervencija je vključevala sodelovanje dveh sektorjev, in sicer 4.1 zagotovljeno v različnih fazah 4 - zelo zdravstva ter šolstva. Glede na obravnavane tematike v delavnicah intervencije: dobro bi lahko vključevali tudi predstavnike infrastrukture (varnost v - načrtovanje in razvoj prometu in alkohol). - izvajanje in vrednotenje. V različnih faze intervencije – v fazi Intervencija z večjimi pomanjkljivostmi naslavlja predvidene kriterije načrtovanja, izvajanja in merila. Glede na tematiko bi sicer lahko sklepali, da se v intervencijo vrednotenja – se je med deležniki vključujejo različne skupine, vendar tega neposredno ne vemo, saj 4.2 vzpostavilo sodelovanje, ki je 2 - slabo proces priprave oz. prenove ni opisan dovolj podrobno. opisano, trajnostno naravnano in Priporočamo, da se vsaj v fazi razvoja ali vrednotenja povabi zunanje omogoča vzpostavitve formalnih sodelavce iz ustreznih strokovnih področij in da se to tudi struktur sodelovanja. dokumentira. Intervencija deloma spodbuja usklajevanje med različnimi sektorji, Intervencija spodbuja usklajevanje in sicer na način, da z njenim izvajanjem nevladni sektor vstopa v šolski prostor, ne pa v smislu vključevanja šolskega sektorja v 4.3 med sektorji, npr. storitve zdravstvenega in socialnega 3 - dobro pripravo vsebin ali izvedbe vrednotenja. Poraja se vprašanje glede sektorja. dolgoročnosti tovrstnega sodelovanja (ni razvidno iz dokumentacije). Priporočamo, da se v bodoče sektorje vključuje v različne faze intervencije (ne zgolj fazo izvajanja). 63 DODATNA MERILA Prenosljivost intervencije Merilo Točke Komentar Intervencija uporablja instrumente Intervencija uporablja instrumente, ki omogočajo njeno ponavljanje 1.1 (npr. priročnik s podrobnim opisom dejavnosti), ki omogočajo 5 - odlično oz. prenos. V priročnikih je zelo dobro prestavljen podroben opis ponavljanje/prenos. izvedb delavnic. Opis intervencije vključuje vse organizacijske elemente, Navkljub dobro opisani izvedbi intervencije (v priročnikih) so 1.2 opredeljuje omejitve in potrebne marsikatere podrobnosti drugih pripadajočih organizacijskih ukrepe, ki so bili sprejeti za 2 - slabo elementov izvajanja programa zelo pomanjkljivo opisane (npr. premagovanje zakonskih, proces vstopanja v šole). upravljavskih, finančnih ovir. Intervencija je bila izvajana v realnem okolju, vendar je Opis intervencije vključuje opis komunikacijska strategija predstavljena samo v krovnem strateškem demografskih, psihografskih, načrtu za celotno NVO (v priloženi dokumentaciji načrta 1.3 interesnih in drugih značilnosti diseminacije rezultatov nismo zasledili). Glede na to, da je ciljne populacije ter ukrepe, ki so 2 - slabo intervencija pridobila sredstva preko javnega razpisa Ministrstva za bili sprejeti za premagovanje zdravje, domnevamo, da je več teh elementov predstavljenih v osebnih in okoljskih ovir. razpisni dokumentaciji, ki bi lahko služila za dobro pripravo dokumentov, ki naslavljajo to merilo. Intervencija je bila izvajana v realnem okolju, vendar je Intervencija je bila izvajana v komunikacijska strategija predstavljena samo v krovnem strateškem realnem okolju, z jasno načrtu za celotno NVO (v priloženi dokumentaciji načrta 1.4 predstavljeno komunikacijsko 3 - dobro diseminacije rezultatov nismo zasledili). Glede na to, da je strategijo in načrtom diseminacije intervencija pridobila sredstva preko javnega razpisa Ministrstva za rezultatov. zdravje, domnevamo, da je več teh elementov predstavljenih v razpisni dokumentaciji, ki bi lahko služila za dobro pripravo dokumentov, ki naslavljajo to merilo. Intervencija je bila uspešno Intervencija je bila razvita na podlagi dveh začetnih intervencij ter 1.5 prenesena/ponovljena iz pilotne 4 - zelo faze oz. manjše skupine ali okolja v dobro kasneje prenovljena. Priporočamo, da se razvoj intervencije v širšo skupino oz. okolje. bodoče bolj ustrezno dokumentira (obseg, uspešnost, prenos ipd.). Izvedba intervencije je bila Intervencija je bila leta 2019 prenovljena in posodobljena. Zaradi 1.6 prilagojena različnim potrebam, ki 4 - zelo pomanjkljivega opisa prenove ne moremo oceniti, ali je prenova so se pojavile med izvajanjem. dobro odgovorila na izpostavljene potrebe. 64 Trajnost intervencije Merilo Točke Komentar Iz dokumentacije ni jasno razvidno, ali obstaja institucionalna Obstajajo institucionalna podpora, podpora za izvajanje aktivnosti (intervencija je odvisna od interesa šol oz. izpolnjevanja pogojev javnih razpisov). Organizacijska 2.1 organizacijska in tehnološka struktura ter stabilni človeški viri 3 - dobro struktura in človeški viri so delno opisani, večletna prisotnost NVO v za izvajanje intervencije. preventivnem programu govori v prid stabilnosti. Priporočamo, da se vnaprej pozornost posveča zagotavljanju organizacijske strukture ter stabilnim človeškim virom. Viri financiranja intervencije so opredeljeni v projektni Navedeno je finančno poročilo, ki dokumentaciji (sofinanciranje Ministrstva za zdravje in Mestne 2.2 opredeljuje vire financiranja 3 - dobro občine Ljubljana). Priporočamo pripravo finančnega poročila, ki bo intervencije. zajemalo celotno oz. eno obdobje izvajanja intervencije, v katerem bodo opredeljeni stroški glede na aktivnosti in bo jasno razviden tudi vir financiranja. Nadaljevanje intervencije je bilo zagotovljeno z institucionalnim Intervencijo izvaja organizacija, ki ima vzpostavljene potrebne zasidranjem in/ali lastništvom mehanizme upravljanja tovrstnih intervencij. Smiselno bi bilo v 2.3 ustreznih interesnih skupin ali 3 - dobro pripravo, izvajanje in vrednotenje intervencije povabiti tudi druge skupnosti pri srednjeročnem in interesne skupine (šolske svetovalne delavce ipd.). Priporočamo, da dolgoročnem načrtovanju nosilec z namenom zagotavljanja izvajanja intervencije vzpostavi intervencije. namensko sodelovanje s ključnimi deležniki s šolskega sektorja. Zagotovljeno je trajno 2.4 usposabljanje osebja v smislu 2 - slabo Iz pripadajoče dokumentacije nismo uspeli razbrati, ali je v sklopu znanja, tehnik in pristopov. intervencije zagotovljeno tudi usposabljanje izvajalcev. Pripravljena je trajnostna strategija, ki obravnava vrsto vsebinskih dejavnikov (npr. Pripravljena je trajnostna strategija, ki obravnava vrsto vsebinskih 2.5 zdravstvene in socialne politike, 4 - zelo dejavnikov. Priporočamo, da se na Mladinski zvezi osredotočijo tudi inovacije, kulturne trende in dobro na (mikro) strategijo same intervencije, saj to zagotavlja pogled splošno gospodarstvo, naprej - vizijo. epidemiološke trende). Intervencija »Martin Krpan« je v skupnem seštevku dosegla oceno 65 % (izključitvena merila 23 % od možnih 30 %, osnovna merila 29 % od možnih 50 % in dodatna merila 13 % od možnih 20 %) zato ni bila prepoznana za primer »dobre prakse«. 3.5.1 Rezultati skladnosti med ocenjevalci za intervencijo »Martin Krpan« Skladnost med ocenjevalci pri intervenciji »Martin Krpan« je bila visoka na ravni izključitvenih meril in znatna na ravni osnovnih ter dodatnih meril. Z izjemo elementa učinkovitost in uspešnost intervencije, pri katerem so bili ocenjevalci zmerno skladni, je bila skladnost v vseh ostalih merilih vsaj znatna (Preglednica 12). 65 Preglednica 12: Prikaz ocen skladnosti ocenjevalcev na ravni elementov meril po sklopih izključitvenih, osnovnih in dodatnih meril. 0,95 DS FK 0,05 IZ IZ SN PO KO Razlika 1. IZKLJUČITVENA MERILA 78 % 0,72 0,52 0,93 0,05 4,45 4,52 0,07 1 Vsebinska ustreznost intervencije 100 % 1 1 1 0,00 5,00 5,00 0,00 2 Zgradba intervencije (struktura) 76 % 0,7 0,45 0,95 0,08 3,52 3,55 0,03 3 Znanstveni dokazi in teoretska utemeljitev intervencije 67 % 0,58 -0,23 1 0,43 4,83 5,00 0,17 2. OSNOVNA MERILA 58 % 0,48 0,28 0,68 0,09 0,05 3,11 -0,17 1 Učinkovitost in uspešnost intervencije 50 % 0,37 0,11 0,64 0,09 2,79 2,63 -0,17 2 Zmanjševanje neenakosti v zdravju 78 % 0,72 0,18 1 0,24 3,44 3,33 -0,11 3 Sodelovanje deležnikov pri razvoju in izvajanju intervencije 67 % 0,58 -0,23 1 0,43 3,67 3,50 -0,17 4 Medsektorsko sodelovanje 56 % 0,44 -0,1 0,99 0,31 3,22 3,00 -0,22 3. DODATNA MERILA 61 % 0,51 0,22 0,8 0,09 0,09 3,08 -0,11 1 Prenosljivost intervencije 67 % 0,58 0,22 0,95 0,15 3,39 3,17 -0,22 2 Trajnost intervencije 53 % 0,42 -0,07 0,91 0,22 3,00 3,00 0,00 DS = delež skladnosti, FK = Fleissov koeficient kappa, IZ = interval zaupanja, SN = standardna napaka, PO = povprečna ocena, KO = končna ocena). 3.6 Skladnost med ocenjevalci pri uporabi Meril za vrednotenje intervencij na področju javnega zdravja Skladnost med ocenjevalci je bila pri uporabi Meril za vrednotenje intervencij na področju javnega zdravja znatna (FK 0,43, 95 % IZ: 0,36–0,49, SN 0,004). Če upoštevamo ocene, ki so bile podane pri vseh merilih, je bil delež strinjanja med ocenjevalci 54,1-odstoten. Na ravni izključitvenih meril je bila pri vseh intervencijah najvišja skladnost med ocenjevalci dosežena pri elementu vsebinske ustreznosti intervencije. V vseh primerih je bila podana ocena 5, ki je bila tudi sprejeta končna ocena v pripadajočih merilih. Skladnost med ocenjevalci pri elementu zgradbe intervencije (struktura) je bila znatna. Izstopajo merila od 2.8. do 2.11., kjer je bila skladnost med ocenjevalci majhna. Povprečna končna ocena pri tem elementu meril je bila 3,9, kar je enako kot povprečje povprečnih ocen, ki so jih ocenjevalci podali samostojno. Skladnost ocenjevalcev pri zadnjem elementu na izključitveni ravni meril, znanstvenih dokazih in teoretski utemeljitvi intervencije, je bila zmerna. Povprečje končnih ocen (4,2) je bilo pri zadnjem elementu meril nekoliko nižje od povprečja povprečnih ocen (4,4) (Preglednica 13). 66 Preglednica 13: Prikaz ocen skladnosti ocenjevalcev na ravni posameznih meril pri sklopu izključitvenih meril. IZKLJUČITVENA MERILA DS FK 0,05 IZ 0,95 IZ SN PO KO Razlika 1. Vsebinska ustreznost intervencije 100 % 1 1 1 0,00 5 5 0 Skladnost z javnozdravstvenimi 1.1. strategijami na lokalni, regionalni, 100 % 1 1 1 0,00 5 5 0 nacionalni ravni ali na evropski ravni. Intervencija je vzpostavljena kot podpora za izvajanje nacionalnih 1.2. programov, zakonodaje ali drugih 100 % 1 1 1 0,00 5 5 0 predpisov, namenjenih reševanju z zdravjem povezanih problemov. DS FK 0,05 IZ 0,95 IZ SN PO KO Razlika 2. Zgradba intervencije (struktura) 52,7 % 0,41 0,28 0,54 0,02 3,9 3,9 0 Analiza stanja problematike, ki jo intervencija naslavlja, temelji na jasno opredeljeni metodologiji primarnega 2.1. in/ali sekundarnega zbiranja podatkov 60 % 0,5 0,1 0,9 0,18 4,1 4 -0,1 in analize podatkov ter predstavitev povzetkov analiz (npr. v SWOT analizi). Segmentacija izbrane populacije (po demografskih, psihografskih, 2.2. življenjsko-stilnih in drugih dejavnikih, kot so znanje o problemu, stališčih, 87 % 0,83 0,51 1 0,11 4,1 4 -0,1 preteklih vedenjih, ki so relevantni za obravnavani problem). 2.3. Jasno opredeljena ciljna skupina ali ciljne skupine, kadar je teh več. 73 % 0,67 0,27 1 0,16 4,4 5 0,6 Opredelitev vedenjskih in/ali 2.4. komunikacijskih ciljev po načelu 47 % 0,33 -0,22 0,89 0,25 3,7 3,4 -0,3 SMART. Opredelitev strategij, taktik in orodij 2.5. za doseganje posamičnih vedenjskih 87 % 0,83 0,51 1 0,11 4,9 4,8 -0,1 in komunikacijskih ciljev. Opredelitev kazalnikov za procesno 2.6. vrednotenje in vrednotenje 47 % 0,33 -0,22 0,89 0,25 3,3 3 -0,3 učinkovitosti ter uspešnosti. 67 Opredelitev, kako so bili v intervencijo vključeni predstavniki ciljne skupine in drugi deležniki (partnerji, interesne 2.7. skupine, politični odločevalci, mediji 73 % 0,67 0,27 1 0,16 4,3 4,4 0,1 ipd.) ter kako je bilo to sodelovanje načrtovano, vzpostavljeno, vzdrževano in ocenjeno. Opredelitev virov, ki so bili vključeni v pripravo, implementacijo in vrednotenje intervencije, pri čemer 2.8. med vire sodijo človeški viri, 20 % 0 -0,2 0,2 0,09 3,5 3,6 0,1 sistemski, fizični in finančni viri, prepoznavnost, odnosi ter trenutne aktivnosti. Opredelitev optimizacije razpoložljivih 2.9. sredstev pri doseganju zastavljenih ciljev (načrtovani in dejanski stroški 33 % 0,17 -0,28 0,61 0,20 3,1 3,6 0,5 intervencije). Opis in opredelitev vrednotenja na treh ravneh: aplikativno vrednotenje, ki je namenjeno razvoju intervencije in implementacije; procesno vrednotenje, ki spremlja 2.10. implementacijo intervencije in glede na sprotne rezultate ustrezno 27 % 0,08 -0,08 0,25 0,07 3,5 3,4 -0,1 prilagaja izvedbo intervencije; ter vrednotenje uspešnosti in učinkovitosti intervencije glede na zastavljene cilje, vložene vire, pa tudi etičnosti. Opisu intervencije je priložena dokumentacija, ki predstavlja osnovni 2.11. del intervencije, denimo smernice in 27 % 0,08 -0,08 0,25 0,07 3,5 3,2 -0,3 protokoli, vključno z navedbo literature. DS FK 0,05 IZ 0,95 IZ SN PO KO Razlika 3. Znanstveni dokazi in teoretska utemeljitev intervencije 47 % 0,33 0,03 0,64 0,10 4,4 4,2 0,17 Intervencija temelji na znanstveno dokazanih in preverjenih teorijah 3.1. (npr. metaanalizah, sistematičnem 60 % 0,5 0,1 0,9 0,18 4,5 4,4 -0,1 pregledu literature, študijah implicitnega znanja). V načrtu so predstavljeni elementi pristopa (ali tehnike ali načela) v 3.2. okvirih modela spremenljivosti ali intervencijske teorije ali glede na 33 % 0,17 -0,28 0,61 0,20 4,2 4 -0,2 rezultate predhodno opravljene raziskave. DS = delež skladnosti, FK = Fleissov koeficient kappa, IZ = interval zaupanja, SN = standardna napaka, PO = povprečna ocena, KO = končna ocena). 68 Skladnost pri ocenjevanju meril v elementu sodelovanje deležnikov pri razvoju in izvajanju intervencije na ravnih osnovnih meril je bila visoka. Merila v elementih medsektorsko sodelovanje in zmanjševanje neenakosti v zdravju so bila ocenjena z znatno skladnostjo med ocenjevalcih, merila v elementu učinkovitosti in uspešnosti intervencije pa z majhno skladnostjo. Slednja so prejela tudi najnižjo povprečno končno oceno od vseh elementov meril, in sicer 3,4. Skladnost med ocenjevalci pri treh merilih v istem elementu (1.3., 1.7. in 1.8.) je bila zelo nizka (FK 0,0) oz. takšna, kot bi jo pričakovali, če bi nastala po naključju (Preglednica 14). Preglednica 14: Prikaz ocen skladnosti ocenjevalcev na ravni posameznih meril pri sklopu osnovnih meril. OSNOVNA MERILA 0,95 DS FK 0,05 IZ IZ SN PO KO Razlika 1. Učinkovitost in uspešnost intervencije 35 % 0,19 0,06 0,32 0,02 3,2 3,4 0,2 Izvedeno je bilo notranje ali zunanje 1.1. vrednotenje procesov, kjer so rezultati 47 % 0,33 0,01 0,66 0,15 3,7 3,8 0,1 natančno opisani oz. dokumentirani. Rezultati vrednotenja (npr. število izvedenih delavnic, število udeležencev, zadovoljstvo 1.2. udeležencev, število medijskih objav, število 40 % 0,25 -0,15 0,65 0,18 3,4 3,8 0,4 delavnic) so bili povezani z izbranimi/določenimi cilji same intervencije. Ugotovljeni rezultati so najbolj ustrezni za 1.3. intervencijo glede na cilje, teoretične 20 % 0 -0,2 0,2 0,09 3,1 3,5 0,4 modele in ciljno skupino. Vrednotenje rezultatov meri razliko med začetno in končno situacijo ter je izvedeno 1.4. na način, ki je primeren za vrsto intervencije 47 % 0,33 -0,22 0,89 0,25 3,1 3,3 0,2 (meri učinke intervencije upošteva možne pristranosti). Vse izboljšave v kazalnikih, ki so jih v 1.5. intervenciji merili (npr. ciljnem vedenju), so 53 % 0,42 -0,07 0,91 0,22 3,2 3,3 0,1 ustrezno dokumentirane in predstavljene. 1.6. Intervencija je bila ocenjena z ekonomskega vidika. 33 % 0,17 0,17 0,17 0,00 2,7 3,3 0,6 1.7. Rezultati ocenjevanja intervencije so pokazali koristen učinek. 20 % 0 -0,2 0,2 0,09 3,1 2,8 -0,3 V intervenciji so spremljali pojav 1.8. nepričakovanih učinkov (tudi negativnih) in 20 % 0 -0,49 0,49 0,22 3,3 3,8 0,5 jih opisali. 69 0,95 DS FK 0,05 IZ IZ SN PO KO Razlika 2. Zmanjševanje neenakosti v zdravju 58 % 0,47 0,2 0,74 0,07 4 4,4 0,42 V celotnem procesu izvajanja intervencija dejavno upošteva ustrezne razsežnosti 2.1. pravičnosti (npr. starost, spol, socialno- ekonomski status, etnično pripadnost, tip 27 % 0,08 -0,08 0,25 0,07 4 4,5 0,5 območja (ruralno/urbano), regijo, pripadnost ranljivi skupini). Znotraj intervencije je mogoče zaznati prizadevanja za prepoznavanje ranljivih skupin, pojava neenakosti v dostopnosti 2.2. intervencije ter morebitnih drugih vidikov neenakosti. Te ugotovitve so 47 % 0,33 -0,22 0,89 0,25 3 3,8 0,8 dokumentirane in povzete v poročilih, priporočilih, smernicah ipd. za zmanjšanje ugotovljenih neenakosti v zdravju. Vključeni so elementi za spodbujanje procesov opolnomočenja ciljne skupine 2.3 (npr. krepitev zdravstvene pismenosti, zagotavljanje možnosti za razvijanje 100 % 1 1 1 0,00 5 5 0 ustreznih spretnosti, znanj in vedenj, socialne opore ipd.). 0,95 DS FK 0,05 IZ IZ SN PO KO Razlika 3. Sodelovanje deležnikov pri razvoju in izvajanju intervencije 73 % 0,67 0,4 0,93 0,08 4,6 4,6 3 0,03 Sodelovanje s ciljno skupino in pomembnejšimi deležniki je bilo 3.1. zagotovljeno v različnih fazah intervencije: 87 % 0,83 0,51 1 0,11 4,7 4,8 0,1 - načrtovanje in razvoj; - izvajanje in vrednotenje. V različnih fazah intervencije – v fazi načrtovanja, izvajanja in vrednotenja – se je 3.2. med deležniki vzpostavilo sodelovanje, ki je opisano, trajnostno naravnano in omogoča 60 % 0,5 0,1 0,9 0,18 4,5 4,5 0 vzpostavitve formalnih struktur sodelovanja. 0,95 DS FK 0,05 IZ IZ SN PO KO Razlika 4. Medsektorsko sodelovanje 64 % 0,56 0,34 0,77 0,06 4,3 4,3 0 4.1. V izvajanje intervencije je bilo vključenih več različnih sektorjev. 73 % 0,67 0,27 1 0,16 4,4 4,8 0,4 70 Intervencija je zasnovana interdisciplinarno in jo podpirajo ustrezne interesne skupine 4.2. (npr. poklicna združenja, javne ustanove na področju izobraževanja, zaposlovanja, 73 % 0,67 0,27 1 0,16 4,4 4 -0,4 skupine s področja informacijske in komunikacijske tehnologije itd.). Intervencija spodbuja usklajevanje med 4.3. sektorji, npr. storitve zdravstvenega in 47 % 0,33 0,01 0,66 0,15 4,2 4,3 0,1 socialnega sektorja. DS = delež skladnosti, FK = Fleissov koeficient kappa, IZ = interval zaupanja, SN = standardna napaka, PO = povprečna ocena, KO = končna ocena). Skladnost med ocenjevalci pri ocenjevanju meril na ravni dodatnih meril iz elementa prenosljivosti intervencije je bila znatna, medtem ko je bila skladnost pri elementu trajnost intervencije zmerna. Največ razhajanj med ocenami je torej prisotnih v elementu trajnosti intervencije, kjer opažamo tudi največji razkorak med povprečjem povprečnih ocen in povprečjem končnih ocen (0,7) (Preglednica 15). Preglednica 15: Prikaz ocen skladnosti ocenjevalcev na ravni posameznih meril pri sklopu dodatnih meril. DODATNA MERILA 0,95 DS FK 0,05 IZ IZ SN PO KO Razlika 1. Prenosljivost intervencije 61 % 0,51 0,34 0,68 0,03 3,8 3,9 0,1 Intervencija uporablja instrumente (npr. 1.1. priročnik s podrobnim opisom dejavnosti), ki 60 % 0,5 0,1 0,9 0,18 3,8 3,3 -0,5 omogočajo ponavljanje/prenos. Opis intervencije vključuje vse organizacijske 1.2. elemente, opredeljuje omejitve in potrebne ukrepe, ki so bili sprejeti za premagovanje 47 % 0,33 0,01 0,66 0,15 2,9 2,8 -0,1 zakonskih, upravljavskih, finančnih ovir. Opis intervencije vključuje opis demografskih, 1.3. psihografskih, interesnih in drugih značilnosti ciljne populacije ter ukrepe, ki so bili sprejeti 60 % 0,5 0,1 0,9 0,18 3,7 4,3 0,6 za premagovanje osebnih in okoljskih ovir. Intervencija je bila izvajana v realnem okolju, 1.4. z jasno predstavljeno komunikacijsko 67 % 0,58 0,07 1 0,21 3,7 4 0,3 strategijo in načrtom diseminacije rezultatov. Intervencija je bila uspešno 1.5. prenesena/ponovljena iz pilotne faze oz. manjše skupine ali okolja v širšo skupino oz. 87 % 0,83 0,51 1 0,11 4,3 4,8 0,5 okolje. Izvedba intervencije je bila prilagojena 1.6. različnim potrebam (npr. ciljne populacije), ki 47 % 0,33 -0,22 0,89 0,25 4,2 4,5 0,3 so se pojavile med izvajanjem. 71 0,95 DS FK 0,05 IZ IZ SN PO KO Razlika 2. Trajnost intervencije 48 % 0,35 0,18 0,52 0,03 3,5 4,3 0,7 Obstajajo institucionalna podpora, 2.1. organizacijska in tehnološka struktura ter 47 % 0,33 0,01 0,66 0,15 4,1 4,5 0,4 stabilni človeški viri za izvajanje intervencije. 2.2. Navedeno je finančno poročilo, ki opredeljuje vire financiranja intervencije. 60 % 0,5 0,1 0,9 0,18 3,7 4,3 0,6 Nadaljevanje intervencije je bilo zagotovljeno z institucionalnim zasidranjem in/ali 2.3. lastništvom ustreznih interesnih skupin ali 27 % 0,08 -0,08 0,25 0,07 3,4 3,5 0,1 skupnosti pri srednjeročnem in dolgoročnem načrtovanju intervencije. 2.4. Zagotovljeno je trajno usposabljanje osebja v smislu znanja, tehnik in pristopov. 60 % 0,5 0,1 0,9 0,18 3,9 4,3 0,4 Pripravljena je trajnostna strategija, ki obravnava vrsto vsebinskih dejavnikov (npr. 2.5. zdravstvene in socialne politike, inovacije, 47 % 0,33 -0,22 0,89 0,25 2,5 4,8 2,3 kulturne trende in splošno gospodarstvo, epidemiološke trende). DS = delež skladnosti, FK = Fleissov koeficient kappa, IZ = interval zaupanja, SN = standardna napaka, PO = povprečna ocena, KO = končna ocena). 72 Iz razsevnega diagrama na Sliki 2 je razvidno, da so bili ocenjevalci bolj skladni v svojih ocenah pri merilih, kjer so intervencije prejemale povprečno višje ocene. Ta povezanost je bila statistično značilna (rs = 0.73577, p < 0,0001). Slika 2: Razsevni diagram povprečnih ocen, ki so jih ocenjevalci podali samostojno, ter vrednosti Fleiss kappa za posamezna merila (rs = 0.73577, p < 0,0001). 73 4 RAZPRAVA 4.1 Celostno vrednotenje intervencij Skupino ocenjevalcev smo sestavljali strokovnjaki različnih področij javnega zdravja. Na podlagi priročnika Merila za vrednotenje intervencij na področju javnega zdravja za namen prepoznavanja in izbire primerov dobrih praks (Radoš Krnel in sod., 2020) in iz njih izhajajočega ocenjevalnega lista smo pilotno celostno vrednotili pet intervencij s področja obravnave alkoholne tematike, ki so bili na javnem razpisu sofinancirane s strani Ministrstva za zdravje. V okviru ocenjevalnega lista smo oblikovali merila za doseganje naziva »dobre prakse« (dosežena ocena 80 %) ali celo »najboljše prakse« (dosežena ocena 90 %). Štiri od petih intervencij so zbrale zahtevano število točk pri izključitvenih merilih, katerih namen je bil oceniti ali intervencija izpolnjuje pogoje za celovito vrednotenje. Končne ocene so se gibale od najmanj 65 do največ 89 točk oziroma odstotkov. Povprečna ocena vseh petih intervencij je bila 79 točk, kar je točka manj, kot je potrebno za dosego naziva »dobra praksa«. Tri od ocenjevanih intervencij so dosegle naziv »dobra praksa«. Izločitvena merila obsegajo štiri področja, prvo je namenjeno presoji o vsebinski ustreznosti intervencije. Tu ocenjujemo ujemanje vsebine intervencije s strategijami na področju javnega zdravja ter njihovo podporo ključnim strateškim dokumentom. Ocenjevalci smo enotno prepoznavali, da intervencije delujejo v okviru strateških tem ter da tvorijo pomemben prispevek nevladnih organizacij pri obravnavanju problematike rabe alkohola. Ustrezna vsebinska zgradba intervencije je naslednje področje in mora vsebovati analizo stanja problematike, ki je predmet intervencije. V veliki meri se intervencije opirajo na mednarodne javnozdravstvene raziskave in smernice (raziskave HBSC (2023) in ESPAD (2023) ter smernice učinkovite preventive EMCDDA (2023)), kar kaže kako pomembno je kontinuirano sodelovanje v tovrstnih raziskavah in aktivnostih. Poleg tega pa pri snovanju uporabljajo tudi dostopne podatke drugih javnih inštitucij (npr. podatki Policije, Agencije za varnost prometa). V manjši meri zasledimo lastni razvoj intervencij, ki po navadi temeljijo na predhodnih izkušnjah. Naslednji korak pa bi lahko bilo snovanje intervencij na osnovi bolj poglobljenega lastnega raziskovanja problematike. Snovalci intervencije morajo dobro poznati izbrano populacijo in jasno opredeliti ciljno skupino, kateri je intervencija namenjena. S slednjo aktivnostjo snovalci intervencij niso imeli težav. Poznavanje izbrane populacije, ki ga ustvarjamo z raziskovanjem segmentov njihovih lastnosti je bilo pri treh intervencijah ocenjeno kot zelo dobro oziroma odlično, pri dveh pa dobro, vendar pomanjkljivo. Poleg osnovnih demografskih podatkov bi bilo dobro bolj natančno spoznati lastnosti ciljne populacije, njihova stališča, navade, znanja … To predstavlja polje novih možnosti raziskovanja, posebej zato, ker so vse intervencije opredelile otroke in mladino kot osrednjo ciljno skupino v vseh petih obravnavanih primerih. Ob tem se poraja več vprašanj in pomislekov glede razlogov za tako poenoteno izbiro ključne ciljne skupine v vseh petih intervencijah, saj raba alkohola predstavlja problem celotne populacije vseh starosti in bi bilo smiselno nasloviti tudi druge ciljne skupine, ki trpijo posledice zaradi alkohola. Načelo cilja SMART, v slovenščino prevedeno kot »specifičen, merljiv, dosegljiv, ustrezen in časovno določen«, je nujna začetna točka za uspešno in učinkovito načrtovanje intervencij. Združuje vse kvalitete, ki so potrebne za dobro opredelitev ciljev, ki jih želimo z intervencijo doseči. Rezultati našega ocenjevanja kažejo, da bi to področje potrebovalo bolj poglobljen pristop, tri od petih intervencij so cilje zastavile pomanjkljivo, pri ostalih dveh pa ni bila dosežena najvišja ocena. 74 Snovalci intervencij so se bolje odrezali pri opredelitvi strategij, taktik in orodij za doseganje posamičnih vedenjskih in komunikacijskih ciljev, kar kaže na boljše poznavanje sredstev za doseganje ciljev, slabša pa je natančna in merljiva opredelitev. Tretje področje izključitvenih meril so znanstveni dokazi in teoretska utemeljitev intervencije. Ugotavljamo, da pilotne intervencije temeljijo na znanstvenih dokazanih in preverjenih teorijah (ocene 4 in 5), večina tudi zelo dobro ali odlično predstavi načrtovane elemente pristopa (ali tehnike ali načela). Pomembna je dokumentacija vseh ključnih elementov zgradbe intervencije. V zadnjem, etičnem vidiku intervencij je bilo potrebno potrditi izjave o zaščiti pravice posameznikov (npr. varstvo osebnih podatkov) v skladu z nacionalno in evropsko zakonodajo, o jasni opredelitvi o navzkrižju interesov in navedbi ukrepov za ravnanje ob pojavu navzkrižja interesov ter izjavo, da se med izvajanjem intervencije ni oglaševalo določenega izdelka, naprave ali katere koli komercialne pobude. Ocenjevalci smo poleg tega opredelili in presojali intervencijo glede spoštovanja osnovnih etičnih načel, glede presežka pričakovane koristi nad potencialno škodo ter ali je bila intervencija izvedena pravično – sorazmerno s potrebami ciljne skupine. Pri vseh petih intervencijah so bila etična merila pozitivno ovrednotena oziroma potrjena. Po pregledu intervencij z izločitvenimi merili smo intervencije ocenili z osnovnimi merili. Najobsežnejši sklop osnovnih meril je ocenjeval učinkovitost in uspešnost intervencije. Sledili so še sklopi zmanjševanje neenakosti, sodelovanje deležnikov in medsektorsko sodelovanje. Sklop učinkovitosti in uspešnosti se je izkazal za najbolj problematičnega, že ob pogledu na barvni povzetek je razvidno, da je bilo na tem področju podeljeno največ nižjih ocen celotnih osnovnih meril. Opredelitvi učinkovitosti in uspešnosti sta povezani z končnim vrednotenjem intervencije ter oceno ekonomske učinkovitosti. Oba pojma, vrednotenje in ekonomska učinkovitost, sta, kot kažejo rezultati našega celovitega vrednotenja predhodnih domačih izkušenj in izkušenj, na mednarodni ravni slabo prepoznavna, nezadostno obravnavana in posledično slabo izvedena (Glasgow in sod., 2003). Obenem pa je uspešnost in učinkovitost bistven in najbolj kritičen element presoje ali izvajanje intervencij prinaša koristi, izboljšuje zdravje in ne povzroča škode ter neupravičenih stroškov. Vrednotenje intervencije je lahko notranje ali zunanje, idealno in tisto, ki omogoča večjo objektivnosti in uporabne rezultate, pa je kombinirano vrednotenje. Dve od ocenjevanih intervencij sta izvedli tako notranje kot zunanje vrednotenje, ostale pa le notranje vrednotenje. Ocenjevali smo tako vrednotenje procesa kot vrednotenje rezultatov intervencije. Iz ocen petih intervencij je mogoče povzeti, da vrednotenje procesa poteka manj problematično in običajno je privzeto kot edini način vrednotenja. Pogosto je vrednotenje zadovoljstva udeležencev, ki je sicer pomembno za izvajanje intervencije, vendar predstavlja le en del procesnega in ne vsebinskega vrednotenja. Pomembna opomba se nanaša na pomen sistematičnosti. Pri nekaterih intervencijah se je merilo procesne učinke le npr. eno leto, čeprav je intervencija trajala več let ali pa se je merilo zadovoljstvo udeležencev le pri eni izvedeni delavnici in ne pri vseh ali vsaj več delavnicah. Pomembno je, da se vrednoti na sistematičen način, saj je tako mogoče spremljati različne potrebe različnih skupin udeležencev, potrebe izvajalcev ter druge izzive, ki se pojavijo v teku izvajanja. Ponekod so rezultati prikazani brez statističnih analiz, kar ne omogoča vpogleda v učinkovitost intervencije oziroma je ne dokazuje. Potrebne so vsaj osnovne statistične metode in testi, ki prikazujejo značilnost izmerjenih razlik. Skupna opomba velja za povezanost ciljev in kazalnikov. Povezanost je logična in smiselna, zato je pri vrednotenju nujno dosledno oblikovati kazalnike, ki merijo zastavljene cilje. Da je vrednotenje koristnosti intervencij in njihovo dokumentiranje šibka točka v procesu vrednotenja intervencij, kažejo nizke ocene pri ocenjevanju vrednotenja rezultatov. 75 Zaskrbljujoče je, da so posamezne intervencije pri vprašanju, ali so rezultati ocenjevanja intervencije pokazali koristen učinek, dosegale slabe ocene, ki kažejo na pomanjkljivosti oziroma resno pomanjkljivost intervencij. Odgovorov na vprašanje, zakaj je to podmerilo pomanjkljivo, je več. V osnovi je seveda možno, da intervencija dejansko ne prinaša učinkov. Vendar je pred takim zaključkom potrebno preveriti, kako je bilo opravljeno vrednotenje intervencije. Pogosto se namreč zgodi, da je vrednotenje učinkovitosti in uspešnosti intervencije neustrezno nastavljen in ne omogoča vrednotenja zastavljenih ciljev, poleg tega pa v primeru slabih ocen ne odgovori na vprašanje ali je intervencija manj učinkovita in uspešna zaradi slabe zasnove, slabega načrtovanja, napačno izbrane temeljne teorije ali zaradi same izvedbe intervencije (Rychetnik in sod., 2022). Pomembno je tudi preveriti, kakšni so bili zastavljeni cilji. Kot že rečeno, morajo biti merljivi, dosegljivi, ustrezni in časovno določeni. Že tu odkrijemo kritične točke v procesu načrtovanja intervencije. Iz ciljev sledijo kazalniki, ki podpirajo proces vrednotenja. Kazalniki morajo opisovati tako proces kot željeno spremembo vedenja ali stanja, kar obvezno zahteva vzpostavitev primerjalnega sistema in sistematično časovno spremljanje, po možnosti po principu »primer-kontrola« oziroma »prej-po« (Kobal Tomc in sod., 2019). Tako procesne kot tudi kazalnike rezultatov intervencije je potrebno spremljati sproti ter ob začetku in koncu intervencije ter jih ustrezno dokumentirati. Dokumentacija nam omogoča prikaz učinkovitosti in uspešnosti, hkrati pa nas opozarja na pomembne pomanjkljivosti, nepričakovane ali celo negativne učinke ali potrebne prilagoditve in spremembe. Zmanjševanje neenakosti je področje osnovnih meril, kjer je večina intervencij pridobila odlične ocene. Pri večini smo prepoznavali prizadevanja za različne razsežnosti pravičnosti, ki zagotavljajo čim širšo dostopnost intervencij, tako prostorsko–geografsko kot tudi enaka vključenost različnih segmentov ciljne populacije npr. glede na spol ali socialno-ekonomski položaj. Pomemben element specifično usmerjenega pristopa za zmanjševanje neenakosti je prepoznavanje ranljivih skupin. Intervencija, ki se usmerja k izboljšanju zdravja najranljivejših, ki običajno izkazujejo najslabše stanje zdravja, lahko močno prispeva k izboljšanju kazalnikov zdravja. Tako je tudi pri merilu za zmanjševanje neenakosti bistveno dobro poznavanje ciljne populacije, zato ni odveč ponovno poudariti, da so čas in sredstva namenjena tovrstni analizi pomembna in vredna investicija, ki povečuje potencial intervencije. Prav tako ponovno poudarjamo pomen dokumentiranja in poročanja ugotovitev analiz. Sodelovanje s ciljno skupino in pomembnimi deležniki vpliva na uspešnost in učinkovitost implementacije intervencije, zato to merilo prištevamo k skupini osnovnih meril. Intervencije, ki smo jih pilotno ocenjevali, so v večini izkazovale odlično sodelovanje v vseh fazah. Posebej izpostavljamo pomembnost sodelovanja z otroki in mladostniki, kajti le tako lahko prepoznamo potrebe, načine, navade, na katere lahko vplivamo oziroma glede na prepoznano oblikujemo intervencijo. Starši, učitelji in svetovalne službe ter drugi predstavljajo podporno okolje, ki ga je večina snovalcev dobro prepoznala in vključila v potek intervencij. Sodelovanje omogoča tudi razvoj trajnejših odnosov med različnimi akterji na področju, kar krepi sinergije in gradi formalno mrežo. Pri večini intervencij je zaznati dobro zavedanje in delovanje na tem področju. Večina ocenjevanih intervencij je v izvajanje zelo dobro uspela vključevati več različnih sektorjev in tudi vzpodbujati medsektorsko sodelovanje. Gre za aktivnosti, ki so po navedbi WHO (2012) temeljne komponente delovanja po principu »Zdravje v vseh politikah«, ki prepoznavajo, kot pravi opredelitev Svetovne zdravstvene organizacije, da »zdravje ne nastaja v zdravstvenem sektorju, temveč ga določajo aktivnosti, politike, ki nastajajo tudi v drugih sektorjih. Politike in programi drugih sektorjev, kot so npr. sociala, izobraževanje, kmetijstvo, transport, ekonomija, urbano planiranje…, pomembno vplivajo na zdravje in neenakosti v zdravju«. Prav tako smo večinoma pozitivno ocenili multidisciplinarno sodelovanje, kjer je prepoznano vključevanje in sodelovanje z zunanjimi sodelavci iz različnih ustreznih strokovnih področij. 76 Z medsektorskim in interdisciplinarnim sodelovanjem zaključujemo poglavje osnovnih meril, kjer so bili poleg tega glavni poudarki učinkovitost in uspešnost, zmanjševanje neenakosti ter sodelovanje s ciljno skupino in pomembnimi deležniki. Da bi učinkovito in uspešno intervencijo lahko razširili na druga okolja ter da bi se lahko prenašala iz generacije v generacijo uporabnikov, smo postavili še dodatna merila. Priročniki z opisi intervencij, protokoli ipd. so inštrumenti, ki omogočajo prenosljivost intervencije, kjer je potrebno natančno opisati potek in vsebino intervencije. Nekatere izmed ocenjenih so pripravile kakovostne priročnike, pri drugih smo priporočali dopolnitve in vsebinske preglede strokovnjakov obravnavanega področja. Ena izmed intervencij sicer ni prikazala potrebnega inštrumenta, vendar oblikovanje tega glede na ostala gradiva, ki so jih predstavili, ne bi smelo biti problematično. Znova poudarjamo pomembnost sistematičnosti in dokumentiranja, ki ima na tem mestu funkcijo prenosa in trajnosti intervencije. Ostali vidiki trajnosti, kot so institucionalna podpora, organizacijska in tehnološka struktura, stabilni človeški viri, finančno poročilo, ki opredeljuje vire financiranja intervencije, institucionalno zasidranje in/ali lastništvo ustreznih interesnih skupin ali skupnosti pri srednjeročnem in dolgoročnem načrtovanju intervencije, zagotovljeno trajno usposabljanje osebja v smislu znanja, tehnik in pristopov in trajnostna strategija, so bili relativno dobro ocenjeni. Kot kritično točko smo poudarili problematiko financiranja dela nevladnih organizacij, ki večinoma temelji na prijavah na razpise ministrstev in je zato stabilno in zagotovljeno le za čas trajanja razpisov. Prva, ki smo jo ocenjevali, je intervencija »Še vedno vozim – vendar ne hodim«. Gre za intervencijo, ki deluje na področju preventive ter rehabilitacije in reintegracije. Preventivne prometne delavnice izvajajo invalidi, ki so si v prometnih nezgodah poškodovali hrbtenjačo, in je namenjena mladim, da skozi osebne zgodbe in izkušnje invalidov ozaveščajo pomen varne ter odgovorne vožnje. Delavnice izpostavljajo najpogostejše vzroke za nastanek prometnih nesreč, delujejo na področju razbijanja stereotipov o invalidnosti ter s tem nudijo opolnomočenje in psihosocialno rehabilitacijo invalidom, izvajalcem delavnic. Intervencija je bila odlično ocenjena pri številnih merilih in je dosegla 89 od 100 točk. Posebej izpostavljamo področje vrednotenja, kjer so izvedli tako zunanjo kot notranjo vrednotenje, zastavili so cilje, ki so bili povezani s kazalniki za merjenje učinkovitosti. Vrednotenje ima elemente merjenja učinkovitosti prej/po ter je več nivojsko – meri tako procese, zadovoljstvo udeležencev, kot kratkoročne učinke, loteva pa se tudi merjenja dolgoročnih učinkov. Potrebno bi bilo izboljšati analitične pristope in metodologijo obdelave podatkov, raziskati nadaljnje možnosti ustreznega merjenja dolgoročnih učinkov ter preverjati morebitni pojav nepričakovanih oz. negativnih učinkov intervencije. Ključno priporočilo je priprava priročnika s podrobnim opisom dejavnosti, oziroma gradivo, ki bi vsebovalo jasen opis in strukturo intervencije, način izvajanja idr. Priporočilo poudarja pomen sistematičnega dokumentiranja, ki omogoča lažji prenos intervencije v druga okolja, skupine ali celo države. Druga ocenjevana intervencija, »Alkohol = sprememba življenja«, izhaja iz izkušenj intervencije »Še vedno vozim – vendar ne hodim« ter izvajanj preventivnih programov za mlade v okviru dveh različnih inštitucij. Ozaveščanje zadnje triade osnovnošolcev, predvsem devetošolcev, o škodljivem vplivu alkohola na zdravje in pomenu sprejemanja zdravih odločitev skozi osebne zgodbe mladih ljudi, ki so se poškodovali zaradi alkohola, je primarni namen intervencije, drugi pa je vključevanje, pridobivanje kompetenc, znanj in veščin ter opolnomočenje mladih izvajalcev (invalidov in mladinskih delavcev oz. aktivistov) z znanji s področja rabe alkohola, preventive ter mladinskih metod dela z mladimi. Intervencija dobro pokriva področje analize problematike, ob tem segmentira izbrano populacijo ter jasno opredeljuje ciljno skupino. Neposredni stik z mladimi in že vzpostavljena orodja za merjenje omogočajo še bolj podrobno opredelitev 77 specifičnih vedenj in znanj glede alkohola pri mladih v različnih geografskih in/ali kulturnih okoljih, ki bi lahko pripomogla k oblikovanju intervencije po meri uporabnikov. Intervencija je tudi dobro dokumentirana v priročniku. Vrednotenje je zastavljeno na način prej in po izvajanju intervencije, poleg kratkotrajnih je potrebno meriti tudi dolgotrajne učinke. Spremljali so nepričakovane oz. negativne učinke, kar spodbujamo tudi v prihodnjih izvajanjih, ugotovitve je potrebno ustrezno dokumentirati in poročati. Finančna sredstva so uporabljena smotrno, nadgradnjo bi predstavljala ocena stroškovne učinkovitosti. Intervencija se je širila, sprva je bila izvedena le v mestni občini, kasneje pa tudi nacionalno. Sodelovanje med različnimi strokami in sektorji je bilo zagotovljeno. S primernimi orodji (Kompetenčni model, priročnik za izvajalce z mikroplanom za izvajanje delavnic, Akademija za invalide) omogoča njeno ponavljanje oz. prenos. Pregled strokovnjakov s področja bo vsebine še izboljšal. Prostor za izboljšanje intervencije je predvsem na področju vrednotenja, kjer so procesni kazalniki in kazalniki kratkoročnega vpliva opredeljeni, potrebno pa je vzpostaviti tudi kazalnike dolgoročnega vpliva. Priporočali smo pregled kazalnikov, natančno uskladitev s cilji, sistematičnost in natančnost dokumentiranja ter poglobljena statistična analiza učinkov. Dodano vrednost intervencije bi predstavljala izvedba zunanjega vrednotenja procesov. Kot številnim drugim intervencijam tudi tej ni zagotovljeno dolgotrajno financiranje, kar predstavlja šibko točko v trajnosti izvajanja. »Heroji furajo v pižamah« je intervencija, usmerjena v promocijo, preventivo ter rehabilitacijo in se primarno osredotoča na preprečevanje oz. zmanjšanje voženj pod vplivom alkohola in posledično prometnih nesreč, ki se zgodijo zaradi vožnje pod vplivom alkohola. Promovira zdravje, predvsem zdrav življenjski slog mladih brez pitja alkoholnih pijač. V izvajanje intervencije so vključeni tudi poškodovanci, invalidi, ki so bili poškodovani v prometnih nesrečah, zato deluje tudi na področju rehabilitacije in reintegracije v socialno in delovno okolje. Celostni preventivni model intervencije deluje na več ravneh in obsega aktivnosti, kot so socialno-marketinška kampanja, fokusne skupine z mladimi, posvet mladih, lokalnih odločevalcev in strokovne javnosti, oblikovanje in sprejetje akcijskega načrta, preventivne interaktivne prometne delavnice za mlade in njihove starše, brezplačne varne prevoze mladih ter usposabljanje mladih in invalidov. Ocenjevanje intervencije je pokazalo, da ima ta vzpostavljeno odlično sodelovanje s ciljno skupino, ki bi jo bilo dobro še podrobneje preučiti, predvsem s stališča različnih dejavnikov neenakosti. Intervencija povezuje več sektorjev in različne discipline. Orodje za prenos intervencije je »Priročnik Heroji furajo v pižamah«, ki zelo dobro povzame problematiko na področju preprečevanja in zmanjševanja škode zaradi alkohola in problematiko prometne varnosti. Zaradi kompleksnosti in večnivojnosti programa bi ga bilo smiselno nadgraditi. Omenjena kompleksna in večnivojska struktura intervencije zahteva tudi več strukturiranih zapisov, dokumentacij o posameznih aktivnostih, predvsem pri vrednotenju. Notranje in zunanje vrednotenje je bilo izvedeno, z ustreznimi procesnimi kazalniki, potrebno pa je nadgraditi vrednotenje rezultatov. Izvajalci so med potekom popravljali oz. izboljševali različne pristope glede na ugotovljene potrebe. Ustrezno so obravnavali merila neenakosti v dostopnosti intervencije in zaznavanja ranljivih skupin. »Aktivisti Brez izgovora« je intervencija, ki deluje na področju promocije zdravja mladim. Namenjena je mladim v srednji šoli, ki si želijo aktivno spreminjati svet na bolje predvsem na področju zdravja ter trajnostnega razvoja. Intervencijo sestavljajo tako imenovani Stopenjski aktivacijski projekti, ki vodijo mlade, da se prek spletnih usposabljanj, delovnih dni, delovnih vikendov, načrtovanja, izvedbe in vrednotenja lokalnih pobud, izvajanja vsebinskih projektov ter mednarodnih dogodkov seznanijo s temeljnimi vidiki mladinske participacije, trajnostnega razvoja in javnega zdravja ter osvojijo najpomembnejše veščine in kompetence za učinkovito prepoznavanje sodobnih problemov, njihovo kritično vrednotenje in ustrezno ukrepanje. Gre za večletni kompetenčni model, ki deluje nacionalno, z lokalnimi enotami in omogoča mladostnikom, da po izobraževanju nadaljujejo s prenosom 78 znanja in izkušenj mlajšim. Intervencija žal ni zadostila merilom v točki opredelitve procesnega vrednotenja in vrednotenja učinkovitosti ter uspešnosti, zato ni bila ocenjena. Podali pa smo priporočila predvsem na področju analize potreb in ciljne populacije, opredelitve ciljev, načrtovanja diseminacije in komunikacije, sistematičnega vrednotenja ter dokumentiranja oziroma poročanja. Zadnja ocenjevana v pilotnem projektu je bila intervencija »Martin Krpan«. Deluje na področju promocije zdravja in preventive, namenjena je mladim, učencem zadnje triade. Ti se skozi sklope delavnic urijo v različnih socialnih veščinah, pridobivajo nova znanja ter spoznavajo drug drugega. Delavnice potekajo v sklopu pouka. Osnovni namen je, da preko interaktivnih delavnic mladi dobijo potrebne veščine, s pomočjo katerih se bodo znali soočati z različnimi življenjskimi preizkušnjami, se upreti kajenju in pitju alkoholnih pijač ter sprejemati zdrave odločitve. Intervencija vključuje tudi razrednike učencev sodelujočih razredov, ostale učitelje, svetovalne delavce in potencialno starše. Avtorji so pri načrtovanju upoštevali usmeritve Evropskega centra za spremljanje drog in zasvojenosti z drogami (EMCDDA, 2011) in Smernice ter priporočila za delo na področju šolske preventive (Lee in sod., 2012). V okviru intervencije so razvili priročnike, kjer je zelo dobro predstavljen podroben opis izvedb delavnic ter taktike in orodja za doseganje zastavljenih ciljev. Vzpostavljeno je dobro sodelovanje s ciljno skupino in pomembnimi deležniki, intervencija ima elemente za vzpodbujanje opolnomočenja. Na podlagi povratnih informacij udeležencev je bila že prenovljena. Pripravljena je tudi temeljna trajnostna strategija. Intervencija je na ocenjevanju dosegla 65 od 100 točk. Glavne pomanjkljivosti in iz njih izhajajoča priporočila so bila na področju podrobnejše analize ciljne skupine, zgradbe intervencije, spremljanja neenakosti, doslednosti dokumentiranja ter poročanja. Da bi s pomočjo preventive in zdravljenja do leta 2030 za tretjino zmanjšali prezgodnjo umrljivost zaradi kroničnih nenalezljivih bolezni, kar je eden izmed Ciljev trajnostnega razvoje Združenih narodov, je Evropska komisija leta 2018 vzpostavila ti. evropsko platformo dobrih praks na področju javnega zdravja (European Public Health Best Practice Portal, 2023), ki zbira, ocenjuje in razširja dobre oz. najboljše prakse v evropskem prostoru. Slovenska iniciativa je ena izmed nacionalnih iniciativ v EU, ki vzpostavlja, ali je že vzpostavila, lastne, nacionalne portale dobrih praks. Procesi ocenjevanja, merila, ocenjevalni sistemi različnih držav so si podobni, a se tudi razlikujejo, saj so oblikovani glede na nacionalne razmere, pogoje, možnosti, potrebe, mnenja strokovnjakov (Rossmann in sod., 2023). Naša merila v veliki meri sledijo merilom Evropskega portala, bila so prevedena in prirejena s strani slovenskih strokovnjakov na področju javnega zdravja. Ocenjevalni sistem je podoben, merila so prav tako razdeljena v izključitvena, osnovna in dodatna, podmerila si sledijo. Evropski ocenjevalni sistem ima v vsakem od treh sklopov meril kritično število točk, ki morajo biti dosežene, da je intervencija lahko ocenjena tudi v sledečem sklopu meril. Slovenski ocenjevalni sistem pa npr. za ocenjevanje zahteva, da nobeno od meril v sklopu izključitvenih ni ocenjeno z najslabšo oceno. Naše pilotno ocenjevanje petih intervencij s področja rabe alkohola je poskus oziroma začetek aktivnega delovanja v smeri sistematičnega spremljanja intervencij javnega zdravja. V tem procesu smo dobili vpogled in izkušnje tako v zgradbe in delovanje samih intervencij kot tudi v vrednotenje uporabe meril, ki smo jih posvojili in prilagodili. 79 4.2 Skladnost med ocenjevalci Merila za vrednotenje intervencij na področju javnega zdravja so se izkazala kot koristno orodje za celovito in poglobljeno oceno intervencij ter prepoznavo dobrih praks. V pilotnem vrednotenju so bila merila prvič uporabljena na petih intervencijah v slovenskem prostoru. Kljub temu je bila skupna skladnost ocenjevalcev, če upoštevamo vsa merila pri vseh ovrednotenih intervencijah, znatna. Najnižja ocenjena skladnost ocenjevalcev je bila zabeležena pri merilih, ki so opisovala vidike učinkovitosti in uspešnosti intervencije. Ta merila so bila hkrati tudi med najslabše ocenjenimi. Povezavo med nizkimi ocenami in skladnostjo ocenjevalcev smo prepoznali tudi pri drugih merilih, ki so vključena v orodje. Razlag za tak vzorec je lahko več. Možen vzrok so lahko neustrezno ali nezadostno razmejeni opisi posameznih ocen v navodilih za ocenjevalce. Ker imajo ocene (od 1 do 5) za vsa merila identične opise (npr. »Praksa na splošno dobro obravnava to merilo, vendar obstajajo pomanjkljivosti«) so le-ti dokaj široki in ne izražajo posebnosti posameznega merila, ki bi lahko olajšale ocenjevanje. V tem primeru so lahko odločitve pri merilih, kjer intervencije nimajo vzpostavljenih ustreznih procesov ali izdelkov oz. so ti nižje kakovosti, v večji meri odvisne od individualne presoje ocenjevalca, ki mora opredeliti stopnjo pomanjkljivosti ocenjevanega področja. Po podobnem mehanizmu bi lahko na povezanost skladnosti ocenjevalcev in povprečne ocene vplivali tudi opisi oz. definicije posameznih meril. V primeru, kjer merilo zajema širše področje oz. več procesov intervencije, se mora ocenjevalec odločiti, koliko teže bo namenil posameznemu področju oz. procesu v merilu (Vinko in sod., 2024). Tak primer je recimo merilo 1.3 v sklopu osnovnih meril: »Ugotovljeni rezultati so najbolj ustrezni za intervencijo glede na cilje, teoretične modele in ciljno skupino«. Ocenjevalec mora pri tem merilu oceniti ali so rezultati ustrezni glede na tri različna (a povezana) podpodročja (cilj, teoretični model in ciljna skupina) in koliko prispeva ustreznost posameznega podpodročja k skupni oceni. Možnih kombinacij dejanskega oz. ocenjenega stanja je več in končna odločitev o oceni je sprejeta na podlagi ocenjevalčevega subjektivnega kriterija. Določeni stopnji subjektivne presoje, na primer pri tehtanju pomembnosti različnih uporabljenih meril, se ni mogoče izogniti (Glasgow in sod., 2006). Tudi Ng in De Colombani (2015) sta v svojem sistematičnem pregledu literature ugotovila, da je subjektivnost na različnih stopnjah izbire ali vrednotenja univerzalna značilnost vseh pregledanih virov. Za določena merila smo že ob prvi uporabi prepoznali potrebo po spremembi opisa ali umeščenosti merila v drugi sklop meril. Merila, ki so bila spremenjena, so opisana v Preglednici 16. 80 Preglednica 16: Prikaz sprememb v opisih ali umeščenosti posameznih meril. Prva verzija Opombe Zadnja verzija Izključitvena merila Analiza stanja, ki temelji na jasno opredeljeni Manjša sprememba Analiza stanja problematike, ki jo intervencija naslavlja, metodologiji primarnega in/ali sekundarnega zbiranja temelji na jasno opredeljeni metodologiji primarnega podatkov in analize podatkov ter predstavitev in/ali sekundarnega zbiranja podatkov in analize povzetkov analiz v SWOT analizi. podatkov ter predstavitev povzetkov analiz (npr. v SWOT analizi). Opredelitev vedenjskih in komunikacijskih ciljev po Manjša sprememba Opredelitev vedenjskih in/ali komunikacijskih ciljev po načelu SMART. načelu SMART. Opredelitev, kako so bili v intervencijo vključeni Manjša sprememba Opredelitev, kako so bili v intervencijo vključeni predstavniki ciljne skupine in drugi deležniki (partnerji, predstavniki ciljne skupine in drugi deležniki (partnerji, interesne skupine, politični odločevalci, mediji ipd.) ter interesne skupine, politični odločevalci, mediji ipd.) ter kako je bilo to sodelovanje načrtovano, vzpostavljeno, kako je bilo to sodelovanje načrtovano, vzpostavljeno, vzdrževano, ocenjeno in finančno podprto. vzdrževano in ocenjeno. Spoštovanje osnovnih etičnih načel – avtonomije Manjša sprememba Opredelitev in presoja ocenjevalca glede: 1) spoštovanja (spoštovati pravico posameznikov, da sprejemajo svoje osnovnih etičnih načel – avtonomije (spoštovanje odločitve), »ne škodovati!«, dobronamernosti in pravice posameznikov, da sprejemajo svoje odločitve), pravičnosti (koristi in tveganja naj bodo pravično »ne škodovati!«, dobronamernosti in pravičnosti (koristi razdeljeni). in tveganja naj bodo pravično razdeljeni); 2) pričakovane koristi presežejo oz. odtehtajo potencialno škodo; 3) intervencija je bila izvedena pravično – sorazmerno s potrebami ciljne skupine. Osnovna merila Izvedeno je bilo notranje ali zunanje vrednotenje Manjša sprememba Izvedeno je bilo notranje ali zunanje vrednotenje procesov ob upoštevanju družbenih in ekonomskih procesov, kjer so rezultati natančno opisani oz. vidikov ciljne skupine in perspektiv pomembnejših dokumentirani. interesnih strani. Rezultati vrednotenja (npr. klinični, zdravstveni, Manjša sprememba Rezultati vrednotenja (npr. število izvedenih delavnic, ekonomski) so bili povezani z izbranimi/določenimi cilji število udeležencev, zadovoljstvo udeležencev, število same intervencije. medijskih objav, število delavnic) so bili povezani z izbranimi/določenimi cilji same intervencije. Vrednotenje je bilo izvedeno (glede na potrebe in izzive) Večja sprememba Vrednotenje rezultatov meri razliko med začetno in med začetno in končno situacijo; namen vrednotenja je Sprememba vsebine končno situacijo ter je izvedeno na način, ki je primeren bil ugotoviti, ali se je intervencija izvajala pravično (tj. in premaknjeno iz za vrsto intervencije (meri učinke intervencije upošteva sorazmerno z opredeljenimi potrebami). 1.3 v 1.4 možne pristranosti). Ugotovljeni rezultati so najbolj ustrezni za intervencijo Manjša sprememba Ugotovljeni rezultati so najbolj ustrezni za intervencijo glede na cilje, teoretične modele in ciljno skupino. Merilo premaknjeno glede na cilje, teoretične modele in ciljno skupino. iz 1.4 v 1.3 Vse izboljšave v primerjavi z začetno točko, na primer Večja sprememba Vse izboljšave v kazalnikih, ki so jih v intervenciji merili izhodiščna vrednost glede strukture, procesa in Sprememba vsebine (npr. ciljnem vedenju), so ustrezno dokumentirane in rezultatov na različnih področjih, so dokumentirane in in premaknjeno iz predstavljene. predstavljene. 1.2 v 1.5 Intervencija vsebuje priporočila ali smernice za Večja sprememba Znotraj intervencije je mogoče zaznati prizadevanja za zmanjšanje ugotovljenih neenakosti v zdravju. Sprememba vsebine prepoznavanje ranljivih skupin, pojava neenakosti v dostopnosti intervencije ter morebitnih drugih vidikov neenakosti. Te ugotovitve so dokumentirane in povzete v poročilih, priporočilih, smernicah ipd. za zmanjšanje ugotovljenih neenakosti v zdravju. Intervencija je bila načrtovana, razvita, izvajana in Manjša sprememba Sodelovanje s ciljno skupino in pomembnejšimi deležniki vrednotena v sodelovanju s ciljno skupino in je bilo zagotovljeno v različnih fazah intervencije: pomembnejšimi deležniki. - načrtovanje in razvoj - izvajanje in vrednotenje. Opisani so vzpostavljeni mehanizmi, ki omogočajo Manjša sprememba V različnih fazah intervencije – v fazi načrtovanja, sodelovanje več deležnikov, vključenih v različne faze izvajanja in vrednotenja – se je med deležniki intervencije, tudi v faze načrtovanja, izvajanja in vzpostavilo sodelovanje, ki je opisano, trajnostno vrednotenja intervencije. naravnano in omogoča vzpostavitve formalnih struktur sodelovanja. Vključeni so elementi za spodbujanje procesov Manjša sprememba Vključeni so elementi za spodbujanje procesov opolnomočenja ciljne skupine (npr. krepitev zdravstvene Merilo premaknjeno opolnomočenja ciljne skupine (npr. krepitev zdravstvene pismenosti, zagotavljanje možnosti za razvijanje iz 3.3 v 2.3 pismenosti, zagotavljanje možnosti za razvijanje ustreznih spretnosti, znanj in vedenj, socialne opore ustreznih spretnosti, znanj in vedenj, socialne opore ipd.). ipd.). 81 K neskladnosti med ocenjevalci lahko poleg meril kot orodja za vrednotenje intervencij, prispevajo tudi gradiva, na podlagi katerih so bile intervencije ocenjene. Izvajalci intervencij so informacije o intervenciji podali z izpolnitvijo vprašalnika, ki pokriva z merili ocenjevana področja, ter prilogami, ki obsegajo različna gradiva o pripravi, izvajanju ali vrednotenju intervencije. Predvsem priloge so se med posameznimi intervencijami pomembno razlikovale. Zaradi razlik v preglednosti in obsežnosti priloženih gradiv, so lahko nastale tudi razlike v vrednotenju s strani ocenjevalcev. Končna ocena posameznega ocenjevalca pri izbranem merilu je bila lahko odvisna od prizadevnosti pri pridobivanju potrebnih informacij iz razpoložljive dokumentacije oz. zmožnosti ocenjevalcev, da prepoznajo potrebne informacije v dokumentaciji. S številom ocenjenih intervencij lahko opazimo zmanjševanje razlik med povprečnimi ocenami ocenjevalcev in končno podano oceno pri posameznih merilih, prav tako opažamo manj meril ali elementov meril, pri katerih bi bile dosežene nizke skladnosti ocenjevalcev. Med zadnjima ocenjenima intervencijama je tudi najmanj meril, pri katerih bi bila razlika v oceni med dvema ocenjevalcema večja kot za 2 kategoriji. Iz slednjega lahko sklepamo, da so pomemben dejavnik skladnosti ocenjevanja, sicer pričakovano, tudi izkušnje ocenjevalcev z uporabo meril za vrednotenje javnozdravstvenih intervencij. Zaključimo lahko, da preučevanje skladnosti med ocenjevalci omogoča dragocen vpogled v zanesljivost ocenjevalnega instrumenta ter razkriva področja, pri katerih so opisi oz. definicije posameznih meril nejasni ali premalo natančno definirani, zato predstavljajo točke večjih razhajanj pri ocenjevanju (Vinko in sod., 2024). 82 5 ZAKLJUČEK Javno zdravje je znanost in spretnost preprečevanja bolezni, krepitve zdravja in podaljševanja življenja s pomočjo organiziranih naporov skupnosti, gre torej za aktivnosti za zagotovitev pogojev, v katerih bi ljudje lahko bili zdravi. Eno od glavnih »orodij« tega delovanja so različne javnozdravstvene intervencije. Izvajanje intervencij, ki temeljijo na dokazih in so potrjeno uspešne ter učinkovite pri izboljšanju zdravja posameznika, skupnosti in populacije, je na splošno priznano kot najboljši pristop k reševanju javnozdravstvenih izzivov. Vendar, kot pravi doc. dr. Barbara Domajnko »… v današnjem potrošniško zaznamovanem času se v imenu in z zdravjem vedno bolj trguje, pri čemer se na prostem trgu v ponudbi zdravstvenih produktov in dejavnosti gleda predvsem na finančni interes. Kakovost in učinkovitost intervencij lahko tako hitro postaneta drugotnega pomena, ustrezno ovrednotenje in kakovostna izbira intervencij pa se izmikata tako uporabnikom kot financerjem in strokovnjakom.« Na drugi strani pa razvoj in uporaba ustreznih meril za vrednotenje intervencij na področju javnega zdravja še vedno predstavlja izziv, saj je potrebno upoštevati osredotočenost intervencij na populacijo, kontekstualne dejavnike, razsežnost delovanja in kompleksnost multidisciplinarnih intervencij. Zato smo na Nacionalnem inštitutu za javno zdravje leta 2018 vzpostavili posvetovalno skupino, ki je leta 2020 pripravila Merila za vrednotenje intervencij na področju javnega zdravja z namenom prepoznavanja in izbire primerov dobrih praks in v letu 2023 razvila spletno platformo za izmenjavo primerov dobrih praks. Vrednotenje intervencij ter razpoložljivost in promocija na dokazih temelječih intervencij preko portalov dobrih praks in na spletnih straneh javnozdravstvenih institucij ponuja dragocen vpogled različnim deležnikom na področju javnega zdravja, lahko zmanjša izvajanje manj učinkovitih oziroma uspešnih ali celo škodljivih praks, prepeči možne napake pri razvoju novih intervencij in pomaga pri nadaljnjem izpopolnjevanju že obstoječih. Namen naše raziskave je bil celostno ovrednotiti pet intervencij na področju preprečevanja in zmanjševanja škode zaradi rabe alkohola ter hkrati pilotno preizkusiti že omenjena Merila za vrednotenje intervencij na področju javnega zdravja. Poleg vrednotenja intervencij smo ocenili skladnost med ocenjevalci in s tem pridobili vpogled v zanesljivost Meril kot merskega instrumenta za vrednotenje intervencij. Tri od petih intervencij so zbrale zahtevano število točk za doseganje naziva »dobra praksa«. Četrta je pri ocenjevanju pridobila manj kot 80 od 100 točk, potrebnih za naziv dobre prakse. Ena izmed petih intervencij ni izpolnjevala zahtev izključitvenih meril, ki predstavljajo prvo raven vrednotenja in določijo, ali intervencija izpolnjuje osnovne pogoje za nadaljnje vrednotenje glede na Merila za vrednotenje intervencij s področja javnega zdravja, zato je bilo vrednotenje izvedeno v omejenem obsegu. Pri vseh ocenjevanih intervencijah, še posebej pa pri zadnjih dveh so bila podana priporočila za izboljšanje. Že na samem začetku celostnega vrednotenja petih intervencij smo ocenjevalci ugotavljali, da je eden izmed pomembnih izzivov pri vrednotenju pomanjkljiva dokumentacija, zato smo lastnike intervencij večkrat prosili za dopolnitev ali pojasnitev priloženega gradiva. Predvsem priloge so se med posameznimi intervencijami pomembno razlikovale. Zaradi razlik v preglednosti in obsežnosti priloženih gradiv, so lahko nastale tudi razlike v vrednotenju s strani ocenjevalcev. Končna ocena posameznega ocenjevalca pri izbranem merilu je bila lahko odvisna od prizadevnosti pri pridobivanju potrebnih informacij iz razpoložljive dokumentacije oz. zmožnosti ocenjevalcev, da prepoznajo potrebne informacije v dokumentaciji. To je eno izmed ključnih sporočil za vse organizacije in posameznike, ki delajo na razvoju in/ali izvajanju intervencij, da poskrbijo za sistematičnost dokumentiranja, ki je pomembna ne samo za pregled in vrednotenje intervencije ampak tudi za prenos intervencije v druga okolja ter dolgoročno 83 izvajanje intervencije. Enak pomen imajo priročniki z opisi intervencij, ki naj bi vsebovali natančen opis poteka in vsebine intervencije. Nekatera področja vrednotenja so bila ustrezno obravnavna v skoraj vseh ovrednotenih intervencijah, kot so denimo etični vidik in ujemanje vsebine intervencije s strategijami na področju javnega zdravja ter njihovo podpor ključnim strateškim dokumentom. Ocenjevalci smo enotno prepoznavali, da intervencije delujejo v okviru strateških tem ter da tvorijo pomemben prispevek nevladnih organizacij pri obravnavanju problematike rabe alkohola. Večina ocenjevanih intervencij je v izvajanje zelo dobro uspela vključevati več različnih sektorjev in tudi vzpodbujati medsektorsko sodelovanje ter prispevati k zmanjševanju neenakosti. Pri drugih področjih smo ugotavljali, da je še nekaj prostora za izboljšave. Na primer pri opredelitvi ciljne skupine, ki je načeloma pokazala, da snovalci intervencij dobro poznajo izbrano ciljno skupino, smo opazili, da se snovalci intervencij osredotočajo na samo eno izbrano ciljno skupino, in sicer na otroke in mladino. Ob tem se poraja več vprašanj in pomislekov glede razlogov za tako poenoteno izbiro ključne ciljne skupine v vseh petih intervencijah, saj raba alkohola predstavlja problem celotne populacije vseh starosti in bi bilo smiselno nasloviti tudi druge ciljne skupine, ki trpijo posledice zaradi alkohola. Tudi pri opredelitvi ciljev intervencije smo ocenjevalci ugotavljali, da bi to področje potrebovalo bolj poglobljen pristop, tri od petih intervencij so cilje zastavile pomanjkljivo, pri ostalih dveh pa ni bila dosežena najvišja ocena. Skupna opomba velja tudi za povezanost ciljev in kazalnikov. Povezanost je logična in smiselna, zato je pri vrednotenju nujno dosledno oblikovati kazalnike, ki merijo zastavljene cilje. Snovalci intervencij so se bolje odrezali pri opredelitvi strategij, taktik in orodij za doseganje posamičnih vedenjskih in komunikacijskih ciljev, kar kaže na boljše poznavanje sredstev za doseganje ciljev, slabša pa je natančna in merljiva opredelitev. Sklop učinkovitosti in uspešnosti, ki je najbolj kritičen element presoje ali izvajanje intervencij prinaša koristi, izboljšuje zdravje in ne povzroča škode ter neupravičenih stroškov, se je med vrednotenjem izkazal za najbolj problematičnega. Iz ocen petih intervencij je mogoče povzeti, da je edino vrednotenje procesa potekalo ustrezno in je bilo običajno privzeto kot edini način vrednotenja. Najbolj pogosto je šlo za vrednotenje zadovoljstva udeležencev, ki je sicer pomembno za izvajanje intervencije, vendar predstavlja le en del procesnega in ne vsebinskega vrednotenja. Vrednotenje uspešnosti in učinkovitosti pa je bilo pogosto izvedeno samo v izbranem časovnem obdobju, manjkale pa so statistične analize rezultatov, ki bi pokazale ali so razlike med skupinami bile značilne. Ponekod je bilo vrednotenje učinkovitosti in uspešnosti intervencije neustrezno nastavljeno in ni omogočalo vrednotenja zastavljenih ciljev, cilji pa niso bili povezani z izbranimi kazalniki, ki naj bi opisovali tako proces kot željeno spremembo vedenja ali stanja, kar obvezno zahteva vzpostavitev primerjalnega sistema in sistematično časovno spremljanje, po možnosti po principu »primer-kontrola« oziroma »prej-po«. Tako procesne kot tudi kazalnike rezultatov intervencije je potrebno spremljati sproti ter ob začetku in koncu intervencije ter jih ustrezno dokumentirati. Glede na to, da smo pri celostnem vrednotenju intervencij prvič uporabili Merila za vrednotenje intervencij na področju javnega zdravja, ki so se sicer izkazala kot koristno orodje za celovito in poglobljeno oceno intervencij ter prepoznavo dobrih praks, smo želeli preveriti zanesljivost in učinkovitost izbranega orodja. Kljub potrjeni uporabnosti in pomembnosti instrumentov za vrednotenje intervencij, je namreč raziskav o njihovi učinkovitosti relativno malo. S tem namenom smo ocenili skladnost med ocenjevalci in ugotovili, da je bila skupna skladnost ocenjevalcev, če upoštevamo vsa merila pri vseh ovrednotenih intervencijah, znatna. V tej raziskavi smo tudi ugotovili, da se soglasje med ocenjevalci razlikuje po skupinah podmeril v povezavi z jasnostjo opisov določenega merila in sistema točkovanja, zlasti pri intervencijah, ki so se slabo odrezale ali niso uspešno izpolnile zahtev določenega merila ali skupine meril. Najnižja ocenjena skladnost 84 ocenjevalcev je bila zabeležena pri merilih, ki so opisovala vidike učinkovitosti in uspešnosti intervencije. Ta merila so bila hkrati tudi med najslabše ocenjenimi. Povezavo med nizkimi ocenami in skladnostjo ocenjevalcev smo prepoznali tudi pri drugih merilih, ki so vključena v orodje. Razlag za tak vzorec je lahko več. Možen vzrok so lahko npr. neustrezno ali nezadostno razmejeni opisi posameznih ocen v navodilih za ocenjevalce, nenatančni opisi oz. definicije posameznih meril in/ali skupine meril, neustrezno izpolnjeni vprašalniki in pomanjkljiva dokumentacija. Preučevanje skladnosti med ocenjevalci lahko zagotovi dragocen vpogled v delovanje ocenjevalnega instrumenta in razkrije področja vrednotenja ali skupine določenih meril, ki delujejo neustrezno in jih je treba izboljšati ali prilagoditi ter izboljšanja kakovosti ocenjevalnega instrumenta. Izboljšanje postopka celostnega vrednotenja in izbire dobrih/najboljših praks lahko nato olajša in spodbuja uporabo dokazano učinkovitih in uspešnih praks. Naše pilotno ocenjevanje petih intervencij s področja rabe alkohola je bil zanimiv učni proces, tako za ocenjevalce, kot tudi sodelujoče nevladne organizacije, ki so izkazale pogum in se odločile kot prve predati svoje intervencije v celostno vrednotenje in s tem prispevale tudi k transparentnosti svojega delovanja. Gre za prvi korak delovanja v smeri sistematičnega spremljanja intervencij javnega zdravja. V tem procesu smo dobili vpogled in izkušnje tako v zgradbe in delovanje samih intervencij kot tudi v vrednotenje uporabe meril, ki smo jih posvojili in prilagodili. Zavedamo se, da se s številom ocenjenih intervencij tako proces kot ocenjevalci nadgrajujejo in izboljšujejo. Sedanje in bodoče delovanje je usmerjeno izključno »v izboljševanje kakovosti dela vseh organizacij, ki razvijajo in izvajajo aktivnosti s področja varovanja in krepitve zdravja, preprečevanja bolezni in podaljševanja ter izboljševanje kakovosti življenja«, kot smo zapisali v priročniku Merila za vrednotenje intervencij na področju javnega zdravja za namen prepoznavanja in izbire primerov dobrih praks. 85 6 LITERATURA 1. Abdul ah, M., Krishnan, S. (2014). Al for One: Using Panel Discussion to Improve Proficiency Through Group Work. Procedia - Social and Behavioral Sciences. 123. 225–31. 10.1016/j.sbspro.2014.01.1418. 2. Armstrong, R., Waters, E., Dobbins, M., Anderson, L., Moore, L., Petticrew, M., Clark, R., Pettman, T. L., Burns, C., Moodie, M., Conning, R., & Swinburn, B. (2013). Knowledge translation strategies to improve the use of evidence in public health decision making in local government: intervention design and implementation plan. Implementation science : IS, 8, 121. https://doi.org/10.1186/1748-5908-8-121. 3. Bajt, M., Jeriček Klanšček, H. (2017). Priprava programov promocije zdravja po korakih in evalvacija. Nacionalni inštitut za javno zdravje. Dostopno 7. 8. 2023 na: https://www.dlib.si/stream/URN:NBN:SI:DOC-4JDTQGGY/3803136a-2d84-49b3-b726-67954c1791bb/PDF. 4. Budreviciute, A., Damiati, S., Sabir, D. K., Onder, K., Schul er-Goetzburg, P., Plakys, G., Katileviciute, A., Khoja, S., & Kodzius, R. (2020). Management and Prevention Strategies for Non-communicable Diseases (NCDs) and Their Risk Factors. Frontiers in public health, 8, 574111. https://doi.org/10.3389/fpubh.2020.574111. 5. Campbell, D. M., Redman, S., Jorm, L., Cooke, M., Zwi, A. B., & Rychetnik, L. (2009). Increasing the use of evidence in health policy: practice and views of policy makers and researchers. Australia and New Zealand health policy, 6, 21. https://doi.org/10.1186/1743-8462-6-21. 6. European School Survey project on Alcohol and Other Drugs. Dostopno 3. 1. 2023 na: http://www.espad.org/. 7. Evropski center za spremljanje drog in zasvojenosti z drogami, Brotherhood, A., Sumnal , H. (2011). European drug prevention quality standards: a manual for prevention professionals. EMCDDA Publications Office. Dostopno 7. 8. 2023 na: https://data.europa.eu/doi/10.2810/48879. 8. EMCDDA - European Monitoring Centre for Drugs and Drug Addicition. Best Practice Portal. Dostop 6. 7. 2022 na: https://www.emcdda.europa.eu/best-practice_en. 9. Faggiano, F., Allara, E., Giannotta, F., Molinar, R., Sumnall, H., Wiers, R., Michie, S., Collins, L., & Conrod, P. (2014). Europe needs a central, transparent, and evidence-based approval process for behavioural prevention interventions. PLoS medicine, 11(10), e1001740. https://doi.org/10.1371/journal.pmed.1001740. 10. Gal o, S. A., Schmaling, K. B., Thompson, L. A., & Glisson, S. R. (2021). Grant Review Feedback: Appropriateness and Usefulness. Science and engineering ethics, 27(2), 18. https://doi.org/10.1007/s11948-021-00295-9. 11. Glasgow, R. E., Lichtenstein, E., & Marcus, A. C. (2003). Why don't we see more translation of health promotion research to practice? Rethinking the efficacy-to-effectiveness transition. American journal of public health, 93(8), 1261–7. https://doi.org/10.2105/ajph.93.8.1261. 12. Glasgow, R. E., Klesges, L. M., Dzewaltowski, D. A., Estabrooks, P. A., & Vogt, T. M. (2006). Evaluating the impact of health promotion programs: using the RE-AIM framework to form summary measures for decision making involving complex issues. Health education research, 21(5), 688–94. https://doi.org/10.1093/her/cyl081. 86 13. Health behaviour in school-aged children (HBSC) study. World Health Organization collaborative cross-national survey. Dostopno 3. 1. 2023 na: http://www.hbsc.org/. 14. Kobal Tomc, B., Nagode, M., Kovač, N., et al. (2019). Priročnik za načrtovanje in izvajanje evalvacij. Inštitut RS za socialno varstvo. 15. Kralj, P., Pečlin, L., Šetina, U., Kokole, D. (2018). Alkohol = sprememba življenja. Priročnik za izvajalce programa. VOZIM, Zavod za inovativno izobraževanje. Interno gradivo. 16. Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–74. 17. Lee, J., Talić, S., Košir, M. (2012). Smernice in priporočila za delo na področju šolske preventive. Inštitut za raziskave in razvoj »Utrip«. Dostopno 7. 8. 2023 na: https://www.preventivna-platforma.si/docs/smernice/Smernice_in_priporocila_solska_preventiva_utrip.pdf. 18. Ng, E., & de Colombani, P. (2015). Framework for Selecting Best Practices in Public Health: A Systematic Literature Review. Journal of public health research, 4(3), 577. https://doi.org/10.4081/jphr.2015.577. 19. OECD. (2024) Best practices in public health - OECD. Dostopno 17. 1. 2024, na: https://www.oecd.org/health/best-practice-in-public-health.htm. 20. Oliver, K., Lorenc, T., & Innvær, S. (2014). New directions in evidence-based policy research: a critical analysis of the literature. Health research policy and systems, 12, 34. https://doi.org/10.1186/1478-4505-12-34. 21. Public Health Best Practice Portal. Dostopno 6. 7. 2022 na: https://webgate.ec.europa.eu/dyna/bp-portal/. 22. Radoš Krnel, S., Kamin, T., Jandl, M. et al. (2020). Merila za vrednotenje intervencij na področju javnega zdravja za namen prepoznavanja in izbire primerov dobrih praks. Nacionalni inštitut za javno zdravje. Dostopno 7. 8. 2023 na: https://nijz.si/publikacije/merila-za-vrednotenje-intervencij-na-podrocju-javnega-zdravja-za-namen-prepoznavanja-in-izbire-dobrih-praks/. 23. Randolph, J. (2010). Free-Marginal Multirater Kappa (multirater κfree): An Alternative to Fleiss Fixed-Marginal Multirater Kappa. Advances in Data Analysis and Classification. 4. 24. Rossmann, C., Krnel, S. R., Kylänen, M., Lewtak, K., Tortone, C., Ragazzoni, P., Grasso, M., Maassen, A., Costa, L., & van Dale, D. (2023). Health promotion and disease prevention registries in the EU: a cross country comparison. Archives of public health = Archives belges de sante publique, 81(1), 85. https://doi.org/10.1186/s13690-023-01097-0. 25. Rošer, M. (2018). Priročnik »Heroji furajo v pižamah. Varno in zdravo skozi življenje in v prometu. VOZIM, Zavod za inovativno izobraževanje. Interno gradivo. 26. Rychetnik, L., Frommer, M., Hawe, P., & Shiell, A. (2002). Criteria for evaluating evidence on public health interventions. Journal of epidemiology and community health, 56(2), 119–27. https://doi.org/10.1136/jech.56.2.119. 27. Stepien, M., Keller, I., Takki, M. et al. (2022). European public health best practice portal - process and criteria for best practice assessment. Arch Public Health 80, 131. https://doi.org/10.1186/s13690-022-00892-5. 28. Vinko, M., Lesnik, T., Radoš Krnel, S. (2024). Evaluator's alignment as an important indicator of adequacy of the criteria and assessment procedure for recognizing the good practice in public health. Front. Public Health, 12(1). doi: 10.3389/fpubh.2024.1286509 29. VOZIM, Zavod za inovativno izobraževanje. Dostopno 7. 8. 2023 na: https://www.vozim.si/sl/. 87 30. Quinn, E., Huckel-Schneider, C., Campbell, D., Seale, H., & Milat, A. J. (2014). How can knowledge exchange portals assist in knowledge management for evidence-informed decision making in public health?. BMC public health, 14, 443. https://doi.org/10.1186/1471-2458-14-443. 31. World Health Organization - Regional Office for Europe, European Observatory on Health Systems and Policies, McQueen, David V, Wismar, Matthias, Lin, Vivian. et al. ( 20 ( 12 I ntersecto ral . g overnance for Health in Al Policies: structures, actions and experiences. World Health Organization. Regional Office for Europe. Dostopno 7. 8. 2023 na: https://apps.who.int/iris/handle/10665/326430. 88 STVARNO KAZALO A Aktivisti Brez izgovora 20, 44, 45, 52 Alkohol = sprememba življenja 20, 29, 31, 35, 43 Aplikativno vrednotenje 14, 23, 30, 38, 46, 55, 62 C Celostno vrednotenje 11, 21, 45, 47, 67, 75, 77 D Dobra praksa 10, 11, 12, 19, 28, 35, 41, 43, 59, 67, 75 Dodatna merila 12, 13, 16, 18, 20, 21, 26, 28, 34, 35, 36, 43, 44, 50, 52, 58, 59, 60, 65, 69 E Etični vidiki intervencije 12, 14, 20, 24, 31, 39, 47, 55, 73, 76 Evropska komisija 10, 72 Evropska unija 10, 29 F Fleissov koeficient kappa 19, 28, 36, 44, 53, 60, 62, 64, 66 H Heroji furajo v pižamah 20, 36, 37, 38, 39, 42, 43, 71 I Izključitvena merila 12, 13, 18, 20, 22, 28, 29, 35, 36, 37, 43, 45, 52, 53, 59, 60, 61, 68, Izvajalci intervencije 10, 11, 12, 21, 22, 25, 27, 29, 30, 31, 34, 35, 36, 39, 40, 43, 46, 49, 51, 54, 59, 68, 70, 71, 74 J Javno zdravje 10, 11, 12, 45, 51, 60, 67, 71, 72, 75, 76, 77 Javnozdravstvena strategija 13, 22, 29, 37, 45, 53, 61 K Kazalniki 14, 15, 22, 25, 30, 31, 32, 38, 39, 40, 46, 47, 48, 49, 52, 54, 56, 61, 63, 68, 69, 70, 71, 74, 76 Kakovostna intervencija 11, 22, 51, 70, 75 Krepitev zdravja 10, 11, 12, 15, 23, 26, 29, 75, 77 M Martin Krpan 20, 53, 59, 71 Medsektorsko sodelovanje 11, 12, 16, 21, 26, 28, 34, 35, 36, 41, 44, 50, 52, 58, 60, 62, 64, 68, 69, 76 Merila za vrednotenje 10, 12, 60, 67, 72, 74, 75, 76, 77 Mladinska zveza Brez izgovora Slovenija 19, 33, 38, 50, 51, 54, 57, 59 89 N Načrtovanje intervencije 11, 15, 26, 27, 29, 32, 33, 34, 35, 40, 41, 42, 43, 50, 51, 58, 64, 67, 69, 71, 74 Neenakosti v zdravju 11, 12, 15, 21, 25, 26, 28, 33, 36, 41, 44, 49, 52, 57, 60, 64, 68, 69, 71, 72, 74, 76 Nevladna organizacija 10, 19, 26, 33, 34, 42, 45, 58, 67, 70, 76, 77 Notranje vrednotenje 15, 24, 32, 39, 48, 56, 63, 68, 70, 71, 73 O Oblikovanje politik 11, 16, 28, 29, 35, 43, 52, 59, 66, 69 Osnovna merila 12, 14, 15, 18, 20, 21, 23, 25, 28, 39, 39, 31, 35, 39, 43, 47, 52, 55, 59, 62, 68, 70, 73, 75 P Platforma za izmenjavo dobrih praks 10, 11, 19, 72, 75 Prenosljivost intervencije 16, 21, 27, 28, 34, 36, 42, 44, 50, 52, 58, 60, 65, 70 Procesno vrednotenje 14, 22, 23, 30, 32, 38, 40, 46, 48, 52, 54, 56, 61, 62, 68, 69, 71, 76 Promocija zdravja 10, 36, 71 S Segmentacija populacije 13, 22, 23, 29, 37, 45, 54, 61 Skladnost med ocenjevalci 11, 19, 28, 35, 43, 52, 59, 60, 62, 65, 75, 75, 76 SMART načela 14, 22, 30, 37, 45, 47, 54, 61, 67, 73 Sodelovanje deležnikov 15, 21, 26, 28, 33, 36, 41, 44, 50, 52, 57, 60, 62, 64, 68 Stroškovna učinkovitost 25, 32, 40, 54, 70 SWOT analiza 13, 22, 23, 29, 37, 45, 54, 61, 73 Š Še vedno vozim, vendar ne hodim 20, 21, 22, 28, 33, 70 T Teoretska utemeljenost 14, 20, 23, 28, 31, 36, 39, 43, 47, 52, 55, 60, 62, 68 Trajnost intervencije 11, 13, 16, 21, 26, 27, 28, 33, 34, 35, 36, 41, 43, 45, 50, 53, 59, 60, 65, 70, 71, 74 U Uspešnost intervencije 10, 12, 15, 21, 24, 25, 28, 32, 35, 39, 40, 43, 48, 52, 56, 60, 63, 68, 69 Učinkovitost intervencije 10, 12, 15, 20, 24, 25, 28, 32, 35, 39, 40, 43, 46, 48, 52, 56, 59, 60, 63, 68, 69 V Vrednotenje procesov 15, 23, 24, 25, 30, 32, 38, 39, 40, 46, 47, 48, 55, 56, 63, 68, 73, 76 Vrednotenje rezultatov 15, 25, 32, 40, 48, 56, 63, 68, 71, 73 Vsebinska ustreznost 13, 20, 22, 28, 29, 36, 37, 43, 45, 52, 53, 60, 61 Z Zavod Vozim 19, 21, 27, 28, 30, 33, 34, 35, 38, 43 Zgradba intervencije 13, 20, 22, 28, 29, 35, 36, 37, 43, 45, 52, 53, 60, 61, 67, 68, 72, 77 Znanstveni dokazi 14, 20, 23, 28, 31, 36, 39, 43, 47, 52, 55, 60, 62, 68 Zunanje vrednotenje 11, 24, 32, 39, 48, 56, 58, 63, 68, 69, 70, 71, 73 90 KAZALO PREGLEDNIC Preglednica 1: Število doseženih točk petih intervencij skupno ter glede na posamezen sklop meril. ...... 22 Preglednica 2: Prikaz vseh ocen intervencij po sklopih izključitvenih, osnovnih in dodatnih meril. .......... 22 Preglednica 3: Rezultati celostnega vrednotenja intervencije »Še vedno vozim - vendar ne hodim«. ...... 24 Preglednica 4: Prikaz ocen skladnosti ocenjevalcev na ravni elementov meril po sklopih izključitvenih, osnovnih in dodatnih meril. ........................................................................................................................ 31 Preglednica 5: Rezultati vrednotenja intervencije »Alkohol = sprememba življenja«. ............................... 32 Preglednica 6: Prikaz ocen skladnosti ocenjevalcev na ravni elementov meril po sklopih izključitvenih, osnovnih in dodatnih meril. ........................................................................................................................ 38 Preglednica 7: Rezultati celostnega vrednotenja intervencije »Heroji furajo v pižamah«. ........................ 40 Preglednica 8: Prikaz ocen skladnosti ocenjevalcev na ravni elementov meril po sklopih izključitvenih, osnovnih in dodatnih meril. ........................................................................................................................ 47 Preglednica 9: Rezultati celostnega vrednotenja intervencije »Aktivisti Brez izgovora«. .......................... 49 Preglednica 10: Prikaz ocen skladnosti ocenjevalcev na ravni elementov meril po sklopih izključitvenih, osnovnih in dodatnih meril. ........................................................................................................................ 57 Preglednica 11: Rezultati celostnega vrednotenja intervencije »Martin Krpan«. ...................................... 58 Preglednica 12: Prikaz ocen skladnosti ocenjevalcev na ravni elementov meril po sklopih izključitvenih, osnovnih in dodatnih meril. ........................................................................................................................ 66 Preglednica 13: Prikaz ocen skladnosti ocenjevalcev na ravni posameznih meril pri sklopu izključitvenih meril. ........................................................................................................................................................... 67 Preglednica 14: Prikaz ocen skladnosti ocenjevalcev na ravni posameznih meril pri sklopu osnovnih meril. ..................................................................................................................................................................... 69 Preglednica 15: Prikaz ocen skladnosti ocenjevalcev na ravni posameznih meril pri sklopu dodatnih meril. ..................................................................................................................................................................... 71 Preglednica 16: Prikaz sprememb v opisih ali umeščenosti posameznih meril. ......................................... 81 KAZALO SLIK Slika 1: Shematski prikaz postopka celostnega vrednotenja po metodi panelnih diskusij, prirejeno po Abdul ah in Krishnan (2014) ………………………………………………………………………………………………………. . . . . . .20 Slika 2: Razsevni diagram povprečnih ocen, ki so jih ocenjevalci podali samostojno, ter vrednosti Fleiss kappa za posamezna merila (rs = 0.73577, p < 0,0001) ..............................................................................72 91 7 PRILOGE Priloga 1: Vprašalnik za prijavo vrednotenja intervencij VPRAŠALNIK ZA PRIJAVO INTERVENC Priloga 2: Podroben opis programa Še vedno vozim - vendar ne hodim PRILOGA_dodaten opis programa_SVVV Priloga 3: Priročnik za izvajalce programa Alkohol = sprememba življenja Priročnik za izvajalce Alkohol = s Priloga 4: Priročnik »Heroji furajo v pižamah. Varno in zdravo skozi življenje in v prometu.« Priročnik Heroji furajo v pižamah.pd Priloga 5: »Program Brez izgovora«. Priloga - Program Aktivisti.pdf Priloga 6: »Martin Krpan – Program za učenje socialnih veščin s primarnim namenom preprečevanja zasvojenosti. 7. razred«. Martin Krpan - 7. razred Program za u Priloga 7: »Martin Krpan – Program za učenje socialnih veščin s primarnim namenom preprečevanja zasvojenosti. 8. razred«. Martin Krpan - 8. razred Program za u 92 Priloga 8: »Martin Krpan – Program za učenje socialnih veščin s primarnim namenom preprečevanja zasvojenosti. 9. razred«. Martin Krpan - 9. razred Program za u 93 Document Outline 1 UVOD 2 METODOLOGIJA 2.1 Izključitvena merila 2.2 Osnovna merila 2.3 Dodatna merila 2.4 Skladnost med ocenjevalci 3 REZULTATI 3.1 Intervencija »Še vedno vozim - vendar ne hodim« 3.1.1 Rezultati skladnosti med ocenjevalci za intervencijo ŠVVVNH 3.2 Intervencija »Alkohol = sprememba življenja« 3.2.1 Rezultati skladnosti med ocenjevalci za intervencijo »Alkohol = sprememba življenja« 3.3 Intervencija »Heroji furajo v pižamah« 3.3.1 Rezultati skladnosti med ocenjevalci za intervencijo »Heroji furajo v pižamah« 3.4 Intervencija »Aktivisti Brez izgovora« 3.4.1 Rezultati skladnosti med ocenjevalci za intervencijo »Aktivisti Brez izgovora« 3.5 Intervencija »Martin Krpan« 3.5.1 Rezultati skladnosti med ocenjevalci za intervencijo »Martin Krpan« 3.6 Skladnost med ocenjevalci pri uporabi Meril za vrednotenje intervencij na področju javnega zdravja 4 RAZPRAVA 4.1 Celostno vrednotenje intervencij 4.2 Skladnost med ocenjevalci 5 ZAKLJUČEK 6 LITERATURA STVARNO KAZALO 7 PRILOGE