PRIMERNOST POSTOPKOV IN UČINKI IZPELJANIH EKSPERTNIH ZUNANJIH E VALVACIJ V IZObRAžEVANJU OdRASLIH Avtorice dr. Tanja Možina, Sonja Klemenčič, Jasmina Orešnik Cunja SAMOEVALVACIJSKA ŠTUDIJA PRIMERNOST POSTOPKOV IN UČINKI EKSPERTNIH ZUNANJIH EVALVACIJ V IZObRAžEVANJU OdRASLIH Izdal: Andragoški center Slovenije Avtorice samoevalvacijskega poročila: dr. Tanja Možina, Sonja Klemenčič, Jasmina Orešnik Cunja Sodelavke ACS, ki so sodelovale pri pripravi in izpeljavi samoevalvacije: mag. Karmen Rajar, Aleksandra Radojc Jezikovni pregled: Besedilo ni lektorirano. Objava (elektronska izdaja): spletna stran: https://kakovost.acs.si/doc/N-1282-1.pdf Kraj in čas izdaje: Ljubljana 2018 Izpeljavo samoevalvacije je omogočilo Ministrstvo za izobraževanje, znanost in šport. Kataložni zapis o publikaciji (CIP) pripravili v Narodni in univerzitetni knjižnici v Ljubljani COBISS.SI-ID=297241600 ISBN 978-961-6851-74-9 (pdf ) PRIMERNOST POSTOPKOV IN UČINKI IZPELJANIH EKSPERTNIH ZUNANJIH E VALVACIJ V IZObRAžEVANJU OdRASLIH Avtorice dr. Tanja Možina, Sonja Klemenčič, Jasmina Orešnik Cunja KAZALO 1 UVOd 9 2 PREdSTAVITEV EKSPERTNIH ZUNANJIH EVALVACIJ V IZObRAžEVANJU OdRASLIH 13 3 METOdOLOGIJA 21 3.1 TEMELJNI NAMEN SAMOEVALVACIJE 22 3.2 VSEBINSKI SKLOPI 22 3.3 ZAJETI SUBJEKTI 24 3.4 UPORABLJENE METODE, OBLIKOVANJE INSTRUMENTARIJA 25 3.5 TESTIRANJE INSTRUMENTARIJA 26 3.6 ZAJEM ANKETIRANCEV V SAMOEVALVACIJO 27 3.7 ZBIRANJE PODATKOV 28 3.8 ODZIV ZAJETIH V ANKETIRANJE 28 3.9 METODE, UPORABLJENE PRI ANALIZI PODATKOV 29 4 IZIdI SAMOEVALVACIJE 31 4.1 PRIPRAVE NA IZVEDBO EKSPERTNIH ZUNANJIH EVALVACIJ 32 4.1.1 Izbor in usposobljenost ekspertnih zunanjih evalvatorjev 33 4.1.2 Navodila in pripomočki za izpeljavo ekspertnih zunanjih evalvacij 48 4.1.3 Animacija organizacij, ki izvajajo izobraževanje odraslih, za sodelovanje v ekspertnih zunanjih evalvacijah 75 4.2 IZPELJAVA EKSPERTNIH ZUNANJIH EVALVACIJ 81 4.2.1 Organizacijski potek ekspertnih zunanjih evalvacij 81 4.2.2 Vsebinski potek ekspertnih zunanjih evalvacij 93 4.3 UGOTOVIT VE EKSPERTNIH ZUNANJIH EVALVACIJ 116 4.3.1 Postopek sprejemanja odločitev v ekspertni zunanji evalvaciji 116 4.3.2 Posredovanje ugotovitev ekspertnih zunanjih evalvacij 121 4.3.3 Ugotovitve ekspertnih zunanjih evalvacij 143 4.3.3.1 Notranji sistem kakovosti 144 4.3.3.2 Podpora udeležencem pri izobraževanju in učenju 159 4.3.3.3 Razvojna usmerjenost organizacije, ki izobražuje odrasle 173 4.4 UČINKI IN NADALJNJI RAZVOJ IZPELJANIH EKSPERTNIH ZUNANJIH EVALVACIJ 186 4.4.1 Učinki izpeljanih ekspertnih zunanjih evalvacij 186 4.4.2 Nadaljnji razvoj ekspertnih zunanjih evalvacij v izobraževanju odraslih 222 5. TEMELJNE UGOTOVITVE SAMOEVALVACIJE 237 5.1 PRIPRAVE NA IZVEDBO EKSPERTNIH ZUNANJIH EVALVACIJ 238 5.1.1 Izbor in usposobljenost ekspertnih zunanjih evalvatorjev 238 5.1.1.1 Bistvene ugotovitve samoevalvacijske študije v zvezi z izborom in usposobljenostjo ekspertnih zunanjih evalvatorjev 238 5.1.1.2 Predlogi za nadaljnji razvoj v zvezi z izborom in usposobljenostjo ekspertnih zunanjih evalvatorjev 240 5.1.2 Navodila in pripomočki za izpeljavo ekspertnih zunanjih evalvacij 240 5.1.2.1 Bistvene ugotovitve samoevalvacijske študije o navodilih in pripomočkih za izpeljavo ekspertnih zunanjih evalvacij 240 5.1.2.2 Predlogi za nadaljnji razvoj o navodilih in pripomočkih za izpeljavo ekspertnih zunanjih evalvacij 242 5.1.3 Animacija organizacij, ki izvajajo izobraževanje odraslih, za sodelovanje v ekspertnih zunanjih evalvacijah 243 5.1.3.1 Bistvene ugotovitve samoevalvacijske študije v zvezi z animacijo organizacij, ki se ukvarjajo z izobraževanjem odraslih, za sodelovanje v ekspertnih zunanjih evalvacijah 243 5.1.3.2 Predlogi za nadaljnji razvoj v zvezi z animacijo organizacij, ki se ukvarjajo z izobraževanjem odraslih, za sodelovanje v ekspertnih zunanjih evalvacijah 244 5.2 IZVEDBA EKSPERTNIH ZUNANJIH EVALVACIJ 245 5.2.1 Organizacijski potek ekspertnih zunanjih evalvacij 245 5.2.1.1 Bistvene ugotovitve samoevalvacijske študije v zvezi z organizacijskim potekom ekspertnih zunanjih evalvacij 245 5.2.1.2 Predlogi za nadaljnji razvoj v zvezi z organizacijskim potekom ekspertnih zunanjih evalvacij 5.2.2 Vsebinski potek ekspertnih zunanjih evalvacij 5.2.2.1 Bistvene ugotovitve samoevalvacijske študije o vsebinskem poteku ekspertnih zunanjih evalvacij 247 5.2.2.2 Predlogi za nadaljnji razvoj o vsebinskem poteku ekspertnih zunanjih evalvacij 248 5.3 UGOTOVIT VE EKSPERTNIH ZUNANJIH EVALVACIJ 249 5.3.1 Postopek sprejemanja odločitev v ekspertni zunanji evalvaciji 249 5.3.1.1 Bistvene ugotovitve samoevalvacijske študije v zvezi s postopkom sprejemanja odločitev v ekspertni zunanji evalvaciji 249 5.3.1.2 Predlogi za nadaljnji razvoj v zvezi s postopkom sprejemanja odločitev v ekspertni zunanji evalvaciji 249 5.3.2 Posredovanje ugotovitev ekspertne zunanje evalvacije 249 5.3.2.1 Bistvene ugotovitve samoevalvacijske študije v zvezi s posredovanjem ugotovitev ekspertne zunanje evalvacije 249 5.3.2.2 Predlogi za nadaljnji razvoj v zvezi s posredovanjem ugotovitev ekspertne zunanje evalvacije 251 5.3.3 Ugotovitve ekspertne zunanje evalvacije 251 5.3.3.1 Bistvene ugotovitve samoevalvacijske študije o ugotovitvah ekspertnih zunanjih evalvacij 251 5.3.3.2 Predlogi za nadaljnji razvoj ob ugotovitvah ekspertnih zunanjih evalvacij 259 5.4 UČINKI IN NADALJNJI RAZVOJ EKSPERTNIH ZUNANJIH EVALVACIJ 268 5.4.1 Učinki izpeljanih ekspertnih zunanjih evalvacij 268 5.4.1.1 Bistvene ugotovitve samoevalvacijske študije v zvezi z učinki izpeljanih ekspertnih zunanjih evalvacij 268 5.4.1.2 Predlogi za nadaljnji razvoj v zvezi z učinki izpeljanih ekspertnih zunanjih evalvacij 271 5.4.2 Nadaljnji razvoj ekspertnih zunanjih evalvacij v izobraževanju odraslih 271 5.4.2.1 Bistvene ugotovitve samoevalvacijske študije o nadaljnjem razvoju ekspertnih zunanjih evalvacij v izobraževanju odraslih 271 5.4.2.2 Predlogi za nadaljnji razvoj ekspertnih zunanjih evalvacij v izobraževanju odraslih 273 6. LITERATURA IN VIRI 275 7. PRILOGE 279 8 1 UVOd 9 Andragoški center Slovenije (v nadaljevanju tudi ACS) sistematično razvija pristope za presojanje in razvijanje kakovosti v izobraževanju odraslih že vse od ustanovitve leta 1991. V prvem obdobju, ko so nastajali in se v prakso vpeljevali novi razvojni projekti in novi izobraževalni programi, so hkrati z njimi nastajala tudi orodja za spremljanje in vrednotenje teh novosti v praksi. Konec 90-ih let pa je dozorela odločitev, da bi bilo potrebno z raziskovalnim in razvojnim delom, kasneje pa tudi s sistematičnim izobraževanjem osebja, spodbuditi razvoj notranjih sistemov kakovosti v izobraževalnih organizacijah, ki izobražujejo odrasle. Od leta 2000, pa vse do danes smo:  razvili in vpeljali v prakso model za samoevalvacijo Ponudimo odraslim kakovostno izobraževanje – POKI (v nadaljevanju tudi samo POKI),  zasnovali sistematično zbirko področij in kazalnikov kakovosti izobraževanja odraslih,  vzpostavili omrežje svetovalcev za kakovost v izobraževanju odraslih,  razvili strokovno literaturo, priročnike, učna gradiva o presojanju in razvijanju kakovosti,  razvili različne IKT1 aplikacije v podporo procesom samoevalvacije,  razvili različne programe temeljnega usposabljanja in spopolnjevanja osebja, ki v praksi izobraževanja odraslih izvaja postopke presojanja in razvijanja kakovosti itd. Po nekajletnem razvojnem delu za uveljavljanje samoevalvacije smo se začeli intenzivneje ukvarjati tudi z vprašanji razvoja zunanje presoje kakovosti izobraževanja odraslih. Za oblikovanje strokovnih podlag za načrtovanje nadaljnjega razvoja zunanjega presojanja kakovosti smo izvedli raziskavo in leta 2008 objavili izide v publikaciji Razvoj kakovosti izobraževanja odraslih.2 Ugotovitve so nas prepričale, da je potrebno namenjati več pozornosti zunanjim spodbudam na področju kakovosti v izobraževanju odraslih. Pristop ekspertnih zunanjih evalvacij smo v letu 2011 razvili kot nadgradnjo oz. dopolnitev dveh spodbud ACS: Zelenega znaka kakovosti in Priznanj Andragoškega centra Slovenije za razvijanje kakovosti v izobraževanju odraslih (Možina idr. 2013). V nadaljevanju navajamo pomembne mejnike pri razvoju ekspertnih zunanjih evalvacij (v nadaljevanju tudi EZE) v izobraževanju odraslih: 2011 Razvili smo strokovno zasnovo (koncept in metodologijo) ekspertne zunanje evalvacije v izobraževanju odraslih. Razvili smo merila za dve področji, ki sta predmet ekspertnih zunanjih evalvacij in sicer za: notranji sistem kakovosti in podpora udeležencem pri učenju in izobraževanju. 1 IKT = informacijsko komunikacijska tehnologija. 2 Možina, T., Klemenčič, S. (2008). Razvoj kakovosti izobraževanja odraslih – Notranje in zunanje presojanje kakovosti. Ljubljana: Andragoški center Slovenije. Dostopno tudi na: https://kakovost.acs.si/razvoj_podrocja/publiciranje/index.php?id=464. (Pridobljeno: 20. 10. 2017). Razvili smo Program temeljnega usposabljanja za ekspertne zunanje evalvatorje. 2012 Usposobili smo prvo skupino ekspertnih zunanjih evalvatorjev. Pilotno smo izpeljali ekspertno zunanjo evalvacijo v dveh izobraževalnih organizacijah za odrasle. 2013 Izpeljali smo spopolnjevanje za delujoče ekspertne zunanje evalvatorje. Vzpostavili smo spletno stran ekspertnih zunanjih evalvacij v izobraževanju odraslih (https://kakovost.acs.si/ekspertna_zunanja_evalvacija/). Pripravili in izdali smo promocijsko brošuro Ekspertna zunanja evalvacija izobraževanja odraslih.3 Ekspertne zunanje evalvacije smo izpeljali v treh izobraževalnih organizacijah. 2014 Razvili smo etični kodeks ekspertnih zunanjih evalvatorjev. Usposobili smo nove ekspertne zunanje evalvatorje. Izpeljali smo spopolnjevanje za delujoče ekspertne zunanje evalvatorje. Ekspertne zunanje evalvacije smo izpeljali v treh izobraževalnih organizacijah. 2015 Razvili smo merila za novo področje, ki je predmet presoje pri ekspertnih zunanjih evalvacijah in sicer razvojna naravnanost izobraževalne organizacije. Razvili smo IKT aplikacijo EZE4 in 5 za spletno pripravo in oddajo samoocene izobraževalne organizacije. 3 Možina, T., Klemenčič, S., Jurič Rajh, A., Orešnik Cunja, J. (2013). Ekspertna zunanja evalvacija izobraževanja odraslih. Ljubljana: Andragoški center Slovenije. Publikacija je dostopna tudi na: https://kakovost.acs.si/ekspertna_zunanja_evalvacija/. 4 Računalniška aplikacija je nastala na ACS prav za potrebe izvajanja ekspertne zunanje evalvacije. Evalvirani organizaciji omogoča, da pripravi samooceno na evalviranih področjih, pri tem jo vodi od merila do merila. Pri vsakem merilu ima organizacija možnost, da se samooceni, podrobneje pojasni, kaj in kako dela ter priloži dokazila oz. dokumentacijo o svojem delu. Tako nastane računalniška verzija samoocene, ki jo kasneje uporabljajo ekspertni zunanji evalvatorji, ko pregledujejo samooceno posamezne organizacije. 5 EZE = kratica za ekspertno zunanjo evalvacijo. Izpeljali smo spopolnjevanje za delujoče ekspertne zunanje evalvatorje. Ekspertne zunanje evalvacije smo izpeljali v treh izobraževalnih organizacijah. Izpeljali smo spopolnjevanje za delujoče ekspertne zunanje evalvatorje. Ekspertne zunanje evalvacije smo izpeljali v dveh izobraževalnih organizacijah. V obdobju od 2012 do 2016 se je v ekspertne zunanje evalvacije na področju izobraževanja odraslih vključilo 13 izobraževalnih organizacij. Ves ta čas smo izpeljavo ekspertnih zunanjih evalvacij spremljali in po vsakoletni zaključni evalvacijski delavnici z vsemi sodelujočimi pristop in metodologijo dopolnjevali ter nadgrajevali. Po petih letih pilotne vpeljave ekspertnih zunanjih evalvacij v prakso izobraževanja odraslih smo presodili, da je to dovolj dolgo obdobje, da se na tej točki razvoja zaustavimo ter ovrednotimo primernosti postopkov ekspertne zunanje evalvacije, predvsem pa učinkov, ki so jih te imele v izobraževalnih organizacijah, ki so v njih sodelovale. Želeli pa smo tudi, da opravimo premislek o vlogi, prihodnjem razvoju in umeščanju te vrste zunanjih evalvacij v sistem izobraževanja odraslih v Sloveniji. Zato smo v letu 2017 zasnovali samoevalvacijsko študijo z naslovom Primernost postopkov in učinki ekspertnih zunanjih evalvacij na področju izobraževanja odraslih v obdobju 2012 do 2016. Izide izpeljane samoevalvacije ter predloge za nadaljnji razvoj in umeščanje ekspertnih zunanjih evalvacij v sistem izobraževanja odraslih predstavljamo v nadaljevanju. 2 PREdSTAVITEV EKSPERTNIH ZUNANJIH EVALVACIJ V IZObRAžEVANJU OdRASLIH 13 Samoevalvacija, ki je pred vami, zajema celoten proces izpeljave ekspertnih zunanjih evalvacij, ki so doslej potekale v omrežju izobraževalcev odraslih in jih je vodil ter izpeljal Andragoški center Slovenije (v nadaljevanju tudi: ACS). Za razumevanje zbranih podatkov in izidov v tem poglavju opisujemo temeljna izhodišča, procese, načine izpeljave ekspertnih zunanjih evalvacij, kakor so potekale od prve izvedbe pa do leta 2016, ko so bile doslej izpeljane zadnje. Večina besedila je povzeta po besedilu, objavljenem v publikaciji Ekspertna zunanja evalvacija izobraževanja odraslih, ki jo je izdal Andragoški center Slovenije (Možina idr. 2013). Andragoški center Slovenije se je proti koncu devetdesetih let odločil, da bo v izobraževalnih organizacijah, ki izvajajo izobraževanje odraslih, spodbudil bolj načrtno delo za kakovost tega izobraževanja. Razlogov za to je bilo več, med njimi ta, da takih pristopov v Sloveniji niti v izobraževanju odraslih, niti v izobraževanju nasploh (še) ni bilo veliko, medtem ko so primerjalne države Evropske unije večinoma že imele vpeljane različne sisteme za presojanje in razvijanje kakovosti. Kot drugo naj navedemo željo ACS, da bi v izobraževalnih organizacijah na ta način spodbudil več razvojnega dela, ki bi temeljilo na realni presoji dosežene kakovosti in načrtnemu delu za doseganje še večje kakovosti. Pomembno pa je na to odločitev vplivalo tudi včasih prisotno mnenje, da je izobraževanje odraslih lažja pot do pridobitve izobrazbe (potrdila, spričevala), kar je mogoče zanikati zgolj z dobrimi in primerljivi rezultati izobraževanja. Ti in še drugi razlogi so bili vzrok, da je ACS spodbudil uvajanje samoevalvacije v organizacije, ki izvajajo izobraževanje odraslih. Razvil je poseben model samoevalvacije, poimenovan POKI (Ponudimo odraslim kakovostno izobraževanje). Ta model je imel velik vpliv v celotnem izobraževanju odraslih; veliko organizacij ga je začelo uporabljati, večino tistih pa, ki ga niso, pa so začele uporabljati druge pristope ali pa vsaj del teh pristopov, tako da danes skoraj ne srečamo več izobraževalne organizacije, ki izvaja izobraževanje odraslih, ki ne bi na tak ali drugačen način vsaj deloma načrtno skrbela za svojo kakovost. ACS pa je po tej fazi presodil, da je potrebno na področju sistematičnega dela za razvoj kakovosti narediti še kaj, da bi bil nadaljnji razvoj omogočen vsem tistim, ki si želijo dosegati še več. Zato je razvil in vpeljal še več pristopov, ki so spodbujali nadaljnji razvoj notranjih sistemov kakovosti v izobraževalnih organizacijah (npr. vzpostavitev vloge svetovalca za kakovost v izobraževanju odraslih, Zeleni znak kakovosti, priznanja za razvoj kakovosti v izobraževanju odraslih itd.). Intenzivneje pa se je začel ukvarjati tudi z vprašanji razvoja zunanje presoje kakovosti izobraževanja odraslih. Tako je bil leta 2011 razvit koncept ekspertne zunanje evalvacije v izobraževanju odraslih, že naslednjega leta pa je bila usposobljena prva skupina ekspertnih zunanjih evalvatorjev in izpeljani prvi dve pilotni ekspertni zunanji evalvaciji v izobraževalnih organizacijah. V naslednjih letih so bile nato ekspertne zunanje evalvacije vsako leto izpeljane brez prekinitve do leta 2016. Ekspertna zunanja evalvacija je ena od oblik zunanjih evalvacij, ki jo je za področje izobraževanja odraslih razvil ACS, omogoča pa ekspertno zunanje potrjevanje kakovosti na izbranih področjih. Gradi na notranji evalvaciji, ki jo uvodoma opravi izobraževalna organizacija sama. Rezultat ekspertne zunanje evalvacije je, da izobraževalna organizacija pridobi kakovostno povratno informacijo o tem, kje je že dobra, kje pa se kažejo možnosti za njen nadaljnji razvoj. Predmet ekspertne zunanje evalvacije v izobraževanju odraslih, ki jo izvaja ACS, so bila v obravnavanem obdobju tri vsebinska področja, pri čemer je eno področje obvezno, ostala pa so izbirna. Prvo, obvezno področje, je notranji sistem presojanja in razvijanja kakovosti. Ekspertna zunanja evalvacija namreč gradi na notranjem sistemu kakovosti, ki izobraževalni organizaciji omogoča, da sama presoja in skrbi za kakovost ter njen razvoj. Presoja se:  Umeščenost notranjega sistema kakovosti v dejavnost izobraževalne organizacije. Predmet proučevanja je, kako so ti procesi umeščeni v temeljne strateške dokumente izobraževalne organizacije in ali se o tem razpravlja na andragoških zborih. Presoja se, ali je zagotovljeno osebje, ki izpeljuje obravnavane procese, kako je poskrbljeno za njihovo usposobljenost in kakšna podpora (denarna in druga) je zagotovljena delovanju notranjega sistema kakovosti.  Kako in kje ima izobraževalna organizacija opredeljeno, kaj je za njih kakovost? Presoja se, na kakšne načine so bili v izobraževalni organizaciji opravljeni premisleki o kakovosti, izraženi v temeljnem poslanstvu, viziji in vrednotah, kakšne možnosti imajo zaposleni in druge pomembne interesne skupine za sodelovanje v pogovorih o opredelitvi kakovosti in ali ima izobraževalna organizacija opredeljene temeljne standarde kakovosti delovanja.  Ali izobraževalna organizacija načrtno pristopa k presojanju (merjenju, ugotavljanju) kakovosti? Presoja se, ali so v presojanje vključene različne interesne skupine, kako se pri presoji uporabljajo raznolike metode, ki so ustrezne za različne skupine. Prav tako je predmet presoje, kaj se zgodi z izidi, ki jih izobraževalna organizacija pridobi v procesu presoje kakovosti.  Kako izobraževalna organizacija načrtno pristopa k načrtovanju, vpeljevanju izboljšav in razvojnih aktivnosti? Pri tem ekspertne zunanje evalvatorje še posebej zanima, koliko je pri tem sistematična in na kakšne načine se spremlja vpeljevanje izboljšav ter njihovo učinkovitost. Drugi dve področji, od katerih izobraževalna organizacija za ekspertno zunanjo evalvacijo izbere eno, sta podpora udeležencem pri izobraževanju in razvojna usmerjenost izobraževalne organizacije. Področje podpore udeležencem pri izobraževanju je pomembno v različnih oblikah izobraževanja, v različnih tipih organizacij, ki izobražujejo odrasle ter kot raziskave kažejo, je tudi ključno za uspešnost odraslih, ki so vključeni v izobraževanje. Odrasli potrebujejo ustrezno podporo, ki jim je dostopna v različnih oblikah, da izobraževanje uspešno zaključijo. V ekspertni zunanji evalvaciji se presoja:  Ali je zagotovljena raznovrstnost podpore pri izobraževanju in učenju, ki jo izobraževalna organizacija nudi odraslim udeležencem, ali je ta podpora dostopna vsem, ali so odrasli o teh oblikah podpore informirani, pa tudi to, ali organizacija seznanja udeležence o podpori, ki jo lahko nudi sama, pa tudi o podpori, ki jo nudijo druge organizacije v okolju?  Učna podpora: ali izobraževalna organizacija ugotavlja potrebe po učni podpori, ali tako podporo organizira, ali organizira različne oblike učne podpore, ali so zagotovljene konzultacije in/ali mentorstvo?  Kakšna svetovalna podpora je zagotovljena udeležencem ob vpisu v izobraževalne programe, ob začetku izobraževanja, med njim in ob zaključku?  Kakšno svetovalno podporo v izobraževalni organizaciji dobijo udeleženci za samostojno in organizirano samostojno učenje in če organizacija zagotavlja pogoje za organizirano samostojno učenje?  Kakšno podporo nudi izobraževalna organizacija posamezniku pri odpravljanju ovir za izobraževanje (osebnih, situacijskih, institucionalnih)? Zadnji dve leti izvajanja ekspertne zunanje evalvacije pa so sodelujoče izobraževalne organizacije imele možnost izbrati še področje razvojna usmerjenost izobraževalne organizacije. Taka usmerjenost izobraževalne organizacije je namreč edina pot, da organizacija nudi svojim uporabnikom in partnerjem sodobno ter kakovostno znanje in da ga zna ponuditi na različne načine, ki jih omogoča ter zahteva sodoben način izobraževanja. Na tem področju se presoja:  Razvojno strategijo izobraževalne organizacije, ki se odraža v viziji razvoja in razvojnih strateških dokumentih.  Pogoje, ki jih organizacija zagotavlja za uresničevanje razvojne strategije, kot so pogoji za usposabljanje in razvoj osebja, notranja organiziranost, ki omogoča pretok znanja in izkušenj, uveljavljanje spodbud za razvojno delo.  Razvojne dosežke, ki jih je organizacija že dosegla in s tem dokazala, da je tudi dejansko razvojno naravnana: razviti novi izobraževalni programi, nove izobraževalne dejavnosti, razvite in uvedene nove metode in/ali pristopi, razviti novi učbeniki, učna gradiva, drugi učni viri, uspešno sodelovanje v nacionalnih in mednarodnih projektih in/ali dejavnostih, sodelovanje v različnih organih, ki so namenjeni razvoju izobraževanja odraslih, aktivno sodelovanje na domačih in mednarodnih konferencah, strokovnih posvetih ipd. Presoja se tudi, ali tudi drugi organizacijo vidijo kot razvojni dejavnik okolja ali stroke, pa tudi to, če je organizacija že prejela kakšne nagrade ali priznanja za razvojno delo. Ekspertno zunanjo evalvacijo izvajajo ekspertni zunanji evalvatorji, ki so strokovnjaki za področje izobraževanja odraslih, notranje in zunanje evalvacije kakovosti ter za druga vsebinska področja, ki so predmet ekspertne zunanje evalvacije. Izbrani so bili na podlagi javnega povabila ACS. Kandidirajo lahko tisti, ki imajo univerzitetno in pedagoško-andragoško izobrazbo ter vsaj sedem let delovnih izkušenj v izobraževanju odraslih. Poleg tega morajo poznati značilnosti, organiziranost in delovanje različnih vrst izobraževalnih organizacij za odrasle, imeti izkušnje z notranjim ali zunanjim presojanjem kakovosti, še posebej na področju izobraževanja odraslih, imeti andragoško znanje in izkušnje s področja podpore odraslim udeležencem pri izobraževanju ter obvladati delo z IKT orodji. Hkrati so se morali kandidati že predhodno usposabljati za delo pri presojanju in razvijanju kakovosti v izobraževalni organizaciji, pri čemer so imeli prednost tisti, ki so se usposabljali za presojanje in razvijanje kakovosti v izobraževanju odraslih. Izbrani kandidati morajo uspešno opraviti temeljno usposabljanje za ekspertne zunanje evalvatorje na ACS. Ko posamezni ekspertni zunanji evalvator nato še uspešno sodeluje pri vsaj eni ekspertni zunanji evalvaciji, ga ACS vpiše v register ekspertnih zunanjih evalvatorjev (https://kakovost.acs.si/ekspertna_zunanja_evalvacija/register_evalvatorjev/ ). Od leta 2014 ekspertni zunanji evalvatorji tudi podpišejo Izjavo6 o sprejemanju in spoštovanju Etičnega kodeksa ekspertnih zunanjih evalvatorjev7, ki jih zavezuje k etičnemu ravnanju v vseh postopkih načrtovanja in izpeljav ekspertnih zunanjih evalvacij. Ekspertna zunanja evalvacija se izvaja v izobraževalnih organizacijah, ki izvajajo izobraževanje odraslih in ki se za to prostovoljno odločijo ter se prijavijo na javno povabilo ACS. Gre za tiste organizacije, ki si želijo pridobiti zunanji, ekspertni pogled na kakovost določenih področij v njihovi organizaciji. Doslej je ekspertna zunanja evalvacija potekala v trinajstih izobraževalnih organizacijah. Ekspertna zunanja evalvacija mora biti natančno vodena in koordinirana po korakih, saj verodostojnost postopka izpeljave lahko odločilno vpliva na to, kako je evalvacija sprejeta med zaposlenimi v izobraževalni organizaciji. Sprejetost vpliva na ukrepe, kaj organizacija po izpeljani zunanji evalvaciji stori – ali poročilo o ekspertni zunanji evalvaciji samo vzame na znanje ali pa se na podlagi ugotovitev loti načrtovanja in vpeljave izboljšav. Postopek je naslednji: 1. ACS imenuje skupino ekspertnih zunanjih evalvatorjev, ki bo izpeljala ekspertno zunanjo evalvacijo v določeni izobraževalni organizaciji, ki se je odzvala na povabilo ACS in je bila tudi izbrana za izvedbo evalvacije. Ekspertni zunanji evalvatorji namreč vedno delujejo v skupini, ki je sestavljena iz strokovnjakov s specialističnimi strokovnimi znanji z vsebinskih področij, ki so predmet ekspertne zunanje evalvacije in strokovnjakov, ki prihajajo iz prakse izobraževanja odraslih. En član skupine je vedno tudi predstavnik ACS. V skupini ločimo dve vlogi – vlogo ekspertnega zunanjega evalvatorja in koordinatorja skupine. Koordinator opravlja enake naloge kot vsi drugi ekspertni zunanji evalvatorji, hkrati pa koordinira celotno načrtovanje in izpeljavo ekspertne zunanje evalvacije v organizaciji, za katero je zadolžen. 2. Izobraževalna organizacija, ki je bila izbrana za izvedbo ekspertne zunanje evalvacije, določi svojega sodelavca, ki bo opravljal vlogo koordinatorja v organizaciji in bo vezni člen med ACS in izobraževalno organizacijo. Zagotovi pa tudi sodelovanje zaposlenih pri pripravi in izpeljavi ekspertne zunanje evalvacije. Odloči se, katero področje naj bo poleg obveznega (notranji sistem kakovosti), predmet ekspertne zunanje evalvacije v njeni organizaciji. 3. ACS za sodelujoče izobraževalne organizacije organizira informativno-izobraževalno srečanje, ki je namenjeno pripravi organizacij na ekspertno zunanjo evalvacijo. Na njem so obravnavana izhodišča, namen in potek ekspertne zunanje evalvacije, predmet presoje v ekspertni zunanji evalvaciji ter obrazložitev, kako organizacija pripravi samooceno kakovosti na izbranih področjih. 6 Izjava o sprejemanju in spoštovanju etičnega kodeksa zunanjih evalvatorjev (2014). Interno gradivo. Ljubljana: Andragoški center Slovenije. 7 Etični kodeks ekspertnih zunanjih evalvatorjev (2014). Interno gradivo. Ljubljana: Andragoški center Slovenije. 4. ACS za ekspertne zunanje evalvatorje pred izvedbo evalvacije organizira spopolnjevanje in pripravo na izvedbo evalvacije. 5. Priprava samoocene na izbranih področjih za ekspertno presojo v izobraževalni organizaciji. Samoocena je osrednji dokument, ki ga pripravi izobraževalna organizacija, v njem pa opiše in z dokazili podkrepi doseganje opredeljenih meril kakovosti na področjih, ki so predmet ekspertne zunanje evalvacije. Organizacija ima za pripravo samoocene na voljo vsaj dva meseca, pri pripravi si pomaga z vodilom, ki ga je pripravil ACS (v zadnjih dveh letih je to posebna spletna aplikacija, ki organizaciji omogoča, da samooceno pripravijo in oddajo preko spleta - v nadaljevanju tudi: spletna aplikacija EZE). 6. Samoocena izobraževalne organizacije je izhodišče za delo ekspertnih zunanjih evalvatorjev. Samooceno ovrednoti vsak evalvator zase, nato koordinator združi ocene evalvatorjev, uskladi vprašanja za pogovore in pripravi opomnik z vprašanji za pogovore. Na podlagi podatkov in informacij, ki so jih evalvatorji prebrali v samooceni, se odločijo, s kom se želijo pogovarjati na obisku v izobraževalni organizaciji. 7. Izvedba obiska v izobraževalni organizaciji. Namen obiska v izobraževalni organizaciji je potrditev pravilnega razumevanja samoocene, ki jo je pripravila izobraževalna organizacija. S pomočjo pogovorov z zaposlenimi in zunanjimi sodelavci ekspertni zunanji evalvatorji pridobijo dodatna pojasnila in informacije, s pomočjo katerih lahko bolje razumejo zapise in utemeljitve, ki jih je izobraževalna organizacija vključila v samooceno. Obisk traja en dan, urnik obiska se natančno predvidi vnaprej, sestavljen je iz pogovorov z različnimi sogovorniki, ogleda organizacije, vmesnih pogovorov ekspertnih zunanjih evalvatorjev in dajanja povratne informacije ob koncu obiska. 8. Povratna informacija ob koncu obiska. Ob koncu obiska ekspertni zunanji evalvatorji izobraževalni organizaciji dajo prvo povratno informacijo o ugotovljenih ključnih dobrih in šibkih točkah presoje kakovosti na izbranih dveh področjih ter prve predloge za izboljšave. Pogovor ob zaključku obiska omogoča konstruktivno izmenjavo mnenj, dajanje dodatnih pojasnil, dodatno razumevanje stanja v organizaciji oz. sklepov evalvatorjev. 9. Osnutek poročila o ekspertni zunanji evalvaciji. Poročilo o ekspertni zunanji evalvaciji je končni dokument celotnega postopka, zato njegova priprava poteka zelo skrbno, v več fazah. Pri pripravi osnutka poročila sodelujejo vsi ekspertni zunanji evalvatorji, do skupnih sklepov in priporočil pridejo na podlagi pogovorov in usklajevanja. Osnutek poročila je skupek ovrednotenja samoocene izobraževalne organizacije, ki jo je skupina ekspertnih zunanjih evalvatorjev na podlagi posamičnih ovrednotenj uskladila že pred obiskom, pogovorov s predstavniki zaposlenih in zunanjih sodelavcev med obiskom, ugotovitev z ogleda prostorov in opreme izobraževalne organizacije ter vpogleda v dodatno dokumentacijo, ki je bil opravljen med obiskom evalvatorjev v izobraževalni organizaciji. 10. Povratna informacija izobraževalne organizacije o osnutku poročila o ekspertni zunanji evalvaciji. Ko so evalvatorji usklajeni, se osnutek poročila o ekspertni zunanji evalvaciji pošlje izobraževalni organizaciji. Ta lahko o njem oblikuje svoje mnenje in sporoči sugestije, predloge, označi mesta, kjer po njenem mnenju ekspertni zunanji evalvatorji niso pravilno razumeli informacij in podatkov iz samoocene in pogovorov. Ta korak, ko se izobraževalno organizacijo vključi v oblikovanje končnega poročila o ekspertni zunanji evalvaciji, je eden ključnih za to, da bi organizacija končno poročilo sprejela kot dokument, ki jim je v pomoč pri razvoju kakovosti njihove izobraževalne organizacije, in na podlagi predlaganih izboljšav čim prej začela z uresničevanjem načrtovanih izboljšav. 11. Končno poročilo o ekspertni zunanji evalvaciji. Poročilo o ekspertni zunanji evalvaciji postane končno, ko ekspertni zunanji evalvatorji pregledajo in v kolikor je mogoče, upoštevajo morebitne pripombe organizacije. Lastnik izidov, ki so prikazani v končnem poročilu o ekspertni zunanji evalvaciji, je izobraževalna organizacija. Ta se sama odloči, ali bo poročilo javno objavila ali pa ga bo uporabila zgolj v namene lastnega razvoja kakovosti. 12. Evalvacijska delavnica ob zaključku ekspertne zunanje evalvacije. Po zaključku ekspertnih zunanjih evalvacij v določenem letu je organizirana evalvacijska delavnica, na kateri sodelujejo vsi sodelujoči v tem letu - ekspertni zunanji evalvatorji, vključene izobraževalne organizacije in ACS. Ugotovitve razprave, ki so izid strukturirane izmenjave izkušenj ekspertnih zunanjih evalvatorjev in direktorja oz. ravnatelja ter koordinatorja evalvacij v organizaciji, so namenjene dopolnitvi in razvoju modela ekspertne zunanje evalvacije v izobraževanju odraslih. 3 METOdOLOGIJA 21 V tem poglavju predstavljamo metodologijo, ki je bila uporabljena pri izpeljavi samoevalvacijske študije o primernosti postopkov in učinkov izpeljanih ekspertnih zunanjih evalvacij v obdobju od 2012 do 2016. 3.1 TEMELJNI NAMEN SAMOEVALVACIJE Temeljni namen samoevalvacije je bil ugotoviti, kakšne učinke so ekspertne zunanje evalvacije prinesle izobraževalnim organizacijam, ki so v njih sodelovale. Ker smo v obravnavanem obdobju razvili in preizkušali novo metodologijo za izpeljavo teh vrst evalvacij, smo želeli s samoevalvacijo tudi ugotoviti in ovrednotiti primernost postopkov ter pripomočkov, ki smo jih pri tem uporabljali. 3.2 VSEbINSKI SKLOPI Z namenom, da bi pridobili celovit vpogled v obravnavano tematiko, smo opredelili temeljne vsebinske sklope z evalvacijskimi vprašanji, ki so predstavljena v spodnji preglednici. Pripravili smo tudi podrobnejši samoevalvacijski načrt, ki ga prilagamo v prilogi 1. Preglednica 1: Temeljni vsebinski sklopi in samoevalvacijska vprašanja VSEbINSKI SKLOPI SAMOEVALVACIJSKA VPRAŠANJA PRIPRAVE NA IZVEdbO EKSPERTNIH ZUNANJIH EVALVACIJ Izbor in usposobljenost ekspertnih zunanjih evalvatorjev • Ali je bil način izbora ekspertnih zunanjih evalvatorjev primeren? • Ali je bil izbor ekspertnih zunanjih evalvatorjev z vidika izobrazbe, izkušenj, delovnega statusa in drugih kriterijev primeren? • Ali je bilo usposabljanje ekspertnih zunanjih evalvatorjev (začetno in nadaljevalno) zadostno? Navodila in pripomočki za izpeljavo ekspertnih zunanjih evalvacij • Ali so bila sodelujočim organizacijam zagotovljena primerna navodila in pripomočki za sodelovanje v ekspertni zunanji evalvaciji? • Ali so bila ekspertnim zunanjim evalvatorjem zagotovljena primerna navodila in pripomočki za izpeljavo ekspertne zunanje evalvacije? Animacija organizacij, ki izvajajo izobraževanje odraslih, za sodelovanje v ekspertnih zunanjih evalvacijah • Kakšni so bili razlogi, ki so organizacijo, ki izvaja izobraževanje odraslih, navedli k odločitvi za sodelovanje v ekspertni zunanji evalvaciji? • Ali so bile organizaciji, ki izvaja izobraževanje odraslih, pri odločanju za ekspertno zunanjo evalvacijo na razpolago zadostne informacije? Organizacijski potek ekspertnih zunanjih evalvacij • Ali je bil letni razpored poteka ekspertne zunanje evalvacije primeren? Nadaljevanje preglednice s prejšnje strani Nadaljevanje preglednice s prejšnje strani VSEbINSKI SKLOPI SAMOEVALVACIJSKA VPRAŠANJA IZVEdbA ZUNANJIH EVALVACIJ Organizacijski potek ekspertnih zunanjih evalvacij • Ali je bil dnevni razpored poteka ekspertne zunanje evalvacije primeren? • Ali je primerno, da ekspertna zunanja evalvacija poteka po naslednjih vsebinskih fazah: priprava samoocene, ocena samoocene, pridobivanje informacij na licu mesta, priprava predloga poročila o izvedeni evalvaciji, vpogled organizacije v predlog poročila, končno poročilo? • Ali je bilo vsebinsko sodelovanje organizacij v ekspertni zunanji evalvaciji primerno z vidika ekspertnih zunanjih evalvatorjev (izbor sodelujočih, njihova informiranost, pripravljenost za posredovanje informacij, možnost ogledov, posredovana dopolnilna gradiva ipd.)? • Ali je bilo vsebinsko sodelovanje ekspertnih zunanjih evalvatorjev v ekspertni zunanji evalvaciji primerno z vidika sodelujočih organizacij (postopanje evalvatorjev, njihova pripravljenost na evalvacijo, upoštevanje informacij, spoštovanje ipd.)? UGOTOVITVE EKSPERTNIH ZUNANJIH EVALVACIJ Postopek sprejemanja odločitev v ekspertni zunanji evalvaciji • Ali je primerno, da se odločitve o ugotovitvah ekspertne zunanje evalvacije sprejemajo v treh fazah: ocena samoocene, pridobivanje informacij na licu mesta, končna združena ocena? Posredovanje ugotovitev ekspertne zunanje evalvacije • Ali je način posredovanja ugotovitev ekspertne zunanje evalvacije primeren? Ugotovitve ekspertne zunanje evalvacije • Kakšno vlogo ima tabelarični pregled izpolnjevanja meril v ekspertni zunanji evalvaciji? • Katere dobre točke, ki se nanašajo na notranji sistem kakovosti, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? • Katere šibke točke, ki se nanašajo na notranji sistem kakovosti, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? • Katera priporočila za nadaljnji razvoj, ki se nanašajo na notranji sistem kakovosti, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? • Katere dobre točke, ki se nanašajo na podporo odraslim udeležencem pri izobraževanju, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? • Katere šibke točke, ki se nanašajo na podporo odraslim udeležencem pri izobraževanju, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? • Katera priporočila za nadaljnji razvoj, ki se nanašajo na podporo odraslim udeležencem pri izobraževanju, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? VSEbINSKI SKLOPI SAMOEVALVACIJSKA VPRAŠANJA Ugotovitve ekspertne zunanje evalvacije • Katere dobre točke, ki se nanašajo na razvojno usmerjenost organizacij, ki izvajajo izobraževanje odraslih, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? • Katere šibke točke, ki se nanašajo na razvojno usmerjenost organizacij, ki izvajajo izobraževanje odraslih, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? • Katera priporočila za nadaljnji razvoj, ki se nanašajo na razvojno usmerjenost organizacij, ki izvajajo izobraževanje odraslih, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? UČINKI IN NAdALJNJI RAZVOJ EKSPERTNIH ZUNANJIH EVALVACIJ Učinki izpeljanih ekspertnih zunanjih evalvacij • Kakšne učinke na sploh ima izpeljana ekspertna zunanja evalvacija v sodelujočih organizacijah? • Kakšne učinke ima pregled ugotovljenih dobrih točk v ekspertni zunanji evalvaciji? • Kakšne učinke ima pregled ugotovljenih šibkih točk v ekspertni zunanji evalvaciji? • Kakšne učinke imajo predlogi za izboljšave v ekspertni zunanji evalvaciji? • Kakšne učinke ima izpeljana ekspertna zunanja evalvacija v sodelujočih organizacijah (npr. na izpolnjevanje meril za pridobitev Zelenega znaka kakovosti ACS), na razvoj stroke in na izobraževalni sistem? Nadaljnji razvoj ekspertnih zunanjih evalvacij v izobraževanju odraslih • Kakšna naj bi bila vloga in razvoj ekspertnih zunanjih evalvacij v izobraževanju odraslih v prihodnje? Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. 3.3 ZAJETI SUbJEKTI V samoevalvacijo smo vključili naslednje subjekte: Preglednica 2: Subjekti, vključeni v samoevalvacijo VKLJUČENI SUbJEKTI 1 direktorji oz. ravnatelji sodelujočih izobraževalnih organizacij 2 koordinatorji ekspertnih zunanjih evalvacij iz sodelujočih izobraževalnih organizacij 3 ekspertni zunanji evalvatorji Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. 3.4 UPORAbLJENE METOdE, ObLIKOVANJE INSTRUMENTARIJA Metoda anketiranja Mnenja in stališča posameznih subjektov do obravnavanih vprašanj smo zbirali z metodo spletnega anketiranja. V ta namen smo na Andragoškem centru Slovenije razvili naslednje anketne vprašalnike: Preglednica 3: Anketni vprašalniki ZAJETI SUbJEKTI 1 Anketa za direktorje oz. ravnatelje 2 Anketa za koordinatorje ekspertnih zunanjih evalvacij iz izobraževalnih organizacij 3 Anketa za ekspertne zunanje evalvatorje Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Spletne anketne vprašalnike smo pripravili v spletnem orodju 1KA8 . Metoda analize dokumentacije Pomemben del samoevalvacije je predstavljala tudi analiza različne dokumentacije, ki je bila uporabljena v dosedanjih izpeljavah ekspertne zunanje evalvacije. Seznam dokumentacije, ki smo jo uporabili in analizirali v samoevalvacijski študiji, je razviden iz priloge 2. 8 1KA je odprtokodna aplikacija za spletno anketiranje Centra za družboslovno informatiko na Fakulteti za družbene vede v Ljubljani. 3.5 TESTIRANJE INSTRUMENTARIJA Spletne vprašalnike smo testirali v obdobju od 17. do 26. junija 2017. Kot je prikazano v naslednji preglednici, smo bili pri testiranju pozorni tako na vsebinske kot na tehnične vidike. Preglednica 4: Opomnik za testiranje anketnega vprašalnika TESTIRANJE ANKETNEGA VPRAŠALNIKA – OPOMNIK ZA VREdNOTENJE VSEbINSKI VIdIKI TESTIRANJA Ali so bila vsa vprašanja razumljiva? Ali so bili vsi pojmi v vprašalniku jasni? Ali ste imeli pri odgovoru na katero izmed vprašanj težave? Ali so bili vsi ponujeni odgovori razumljivi? Ali so bili na voljo vsi odgovori, ki so jih vprašanja zastavljala? Ali se vam je zdela struktura vprašalnika logična? Ali menite, da je vrstni red vprašanj logičen? Ali so bila navodila o izpolnjevanju vprašalnika jasna? Kaj menite o dolžini vprašalnika? Kakšno je vaše splošno mnenje o vsebini vprašalnika? Ali imate kakšen predlog, kako bi vsebinsko izboljšati vprašalnik? TEHNIČNI VIdIKI TESTIRANJA Ali se pri vprašanjih z več možnimi odgovori ob določenem odgovoru »skrijejo« tisti odgovori, ki v kombinaciji z izbranim odgovorom niso primerni? Ali je pri odgovorih, kjer ima anketiranec možnost, da sam kaj napiše, dovolj prostora za odgovor? Ali je povsod pravilno nameščena funkcija obveznosti odgovora? Ali je kje kakšna tipkarska/slovnična napaka? Ali je kje kakšna oblikovna napaka (velikost črk npr. pri vseh vprašanjih ali navodilih ni enaka ipd.) Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Po opravljenem testiranju smo vprašalnike nekoliko dopolnili, in sicer tako vsebinsko kot tehnično. Anketa za direktorje oz. ravnatelje je objavljena v prilogi 3, anketa za koordinatorje ekspertnih zunanjih evalvacij iz izobraževalnih organizacij v prilogi 4 in anketa za ekspertne zunanje evalvatorje v prilogi 5. 3.6 ZAJEM ANKETIRANCEV V SAMOEVALVACIJO Kot je razvidno iz naslednje preglednice, je v obdobju od 2012 do 2016 v ekspertnih zunanjih evalvacijah sodelovalo 13 izobraževalnih organizacij. Preglednica 5: Izobraževalne organizacije, v katerih je od leta 2012 do 2016 potekala ekspertna zunanja evalvacija LETO SOdELUJOČE IZObRAžEVALNE ORGANIZACIJE 2012 1 Ljudska univerza Murska Sobota 2 Ljudska univerza Šentjur 3 Srednja zdravstvena šola Celje 2013 4 Srednja šola za kozmetiko, farmacijo in zdravstvo Ljubljana 5 Razvojno izobraževalni center Novo mesto 6 Center za dopisno izobraževanje Univerzum, Ljubljana 2014 7 Zavod za izobraževanje in kulturo Črnomelj 8 Zasavska ljudska univerza Trbovlje 9 Center za izobraževanje in kulturo Trebnje 2015 10 Invel, Inkubator za razvoj podjetništva, d.o.o., Velenje 11 Ljudska univerza zavod za kulturo in izobraževanje Slovenska Bistrica 2016 12 Javni zavod Cene Štupar – center za izobraževanje Ljubljana 13 Ljudska univerza Kranj – center za izobraževanje in kulturo Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Glede na to, da se je Ljudska univerza Šentjur v obdobju, ko smo izpeljevali samoevalvacijo, združila z Razvojno agencijo Kozjansko, zamenjalo pa se je tudi osebje Ljudske univerze Šentjur, ki je sodelovalo pri ekspertni zunanji evalvaciji, te izobraževalne organizacije nismo vključili v samoevalvacijo. V samoevalvacijo smo tako vključili direktorje oz. ravnatelje in koordinatorje ekspertnih zunanjih evalvacij iz dvanajstih izobraževalnih organizacij, ki so v obdobju 2012 do 2016 sodelovale v ekspertnih zunanjih evalvacijah ter ekspertne zunanje evalvatorje. Skupaj je bilo v samoevalvacijo zajetih 34 oseb. Naslednja preglednica prikazuje zajete v anketiranje glede na vrsto subjektov. Preglednica 6: Zajem anketirancev po vrstah subjektov SUbJEKT ŠTEVILO ZAJETIH V ANKETIRANJE direktorji oz. ravnatelji sodelujočih izobraževalnih organizacij 129 koordinatorji ekspertnih zunanjih evalvacij iz sodelujočih izobraževalnih organizacij 1110 ekspertni zunanji evalvatorji 1111 SKUPAJ 34 Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. 3.7 ZbIRANJE POdATKOV Spletno anketiranje je potekalo od 27. junija do 31. julija 2017. 9 V eni izobraževalni organizaciji sta osebi, ki sta v obdobju, ko je izobraževalna organizacija sodelovala v ekspertni zunanji evalvaciji, opravljali vlogo direktorja in koordinatorja ekspertne zunanje evalvacije, v času, ko je potekala samoevalvacija, zamenjali svoji vlogi. Upoštevajoč vlogo, ki sta jo imela v ekspertni zunanji evalvaciji, smo zato novega direktorja prosili, da izpolni anketo za koordinatorja ekspertne zunanje evalvacije, prejšnjo direktorico pa, da izpolni anketo za direktorja. 10 V eni izobraževalni organizaciji je oseba, ki je v obdobju, ko smo izpeljevali ekspertno zunanjo evalvacijo, opravljala vlogo koordinatorja evalvacije v organizaciji, v času, ko smo izpeljevali samoevalvacijo, opravljala vlogo direktorja izobraževalne organizacije. To osebno smo prosili naj izpolni anketo za direktorja, saj smo presodili, da bo na ta način lahko odgovorila tudi na vprašanja, povezana z koordinacijo evalvacije v organizaciji. Ankete za koordinatorja pa v to organizacijo nismo poslali. 11 V času izpeljave ekspertnih zunanjih evalvacij se je za opravljanje vloge ekspertnega zunanjega evalvatorja usposobilo 13 oseb. Dve usposobljeni ekspertni zunanji evalvatorici v zadnjih izpeljavah evalvacij (2015, 2016) nista več sodelovali, zato ju nismo vključili v anketiranje. 3.8 OdZIV ZAJETIH V ANKETIRANJE Spodnja preglednica prikazuje odziv zajetih v anketiranje. Preglednica 7: Odziv anketirancev po vrstah subjektov SUbJEKT ŠTEVILO ZAJETIH V ANKETIRANJE ŠTEVILO TISTIH, KI SO ANKETO IZPOLNILI V CELOTI OdSTOTEK IZPOLNJENIH ANKET GLEdE NA ŠTEVILO ZAJETIH Direktorji oz. ravnatelji sodelujočih izobraževalnih organizacij 12 9 75,0 Koordinatorji ekspertnih zunanjih evalvacij iz sodelujočih izobraževalnih organizacij 11 9 81,8 Ekspertni zunanji evalvatorji 11 11 100,0 SKUPAJ 34 29 85,2 Vir: Baza zbranih podatkov iz anket o ekspertni zunanji evalvaciji - 2017, arhiv Andragoškega centra Slovenije. Od skupaj 34 zajetih se je na anketiranje odzvalo 29 oseb, to so osebe, ki so anketo izpolnile v celoti. Odziv predstavlja 85,2 odstotka od vseh zajetih v anketiranje. 3.9 METOdE, UPORAbLJENE PRI ANALIZI POdATKOV Po zaključenem spletnem anketiranju smo v spletnem orodju 1KA najprej opravili pregled vseh anket v bazi podatkov za posamični subjekt in iz baze izločili nepopolno izpolnjene ankete. S tem je bila pripravljena končna baza podatkov. Pripravili smo sumarni izpis vseh spremenljivk v preglednicah, ki je vseboval absolutne in relativne frekvenčne porazdelitve odgovorov. Kjer je bilo možnih več odgovorov, smo izračunali odstotek glede na osebe in odstotek glede na odgovore. 4 IZIdI SAMOEVALVACIJE 31 4.1 PRIPRAVE NA IZVEdbO EKSPERTNIH ZUNANJIH EVALVACIJ Ekspertna zunanja evalvacija kot zahtevna strokovno-razvojna naloga zahteva primerne priprave nasploh in priprave na izvedbo vsakokratne zunanje evalvacije. Ko govorimo o pripravah nasploh, nimamo v mislih opredelitve ciljev ekspertnih zunanjih evalvacij, njene metodologije, določitve področij, ki se bodo evalvirala s pomočjo kazalnikov in meril, pač pa tiste priprave, ki sledijo tej fazi in jih je potrebno opraviti, da je sploh mogoče pristopiti k izvajanju evalvacij. Med osrednje take priprave sodijo:  priprava kriterijev za izbor ekspertnih zunanjih evalvatorjev,  pridobitev ustreznih kandidatov za ekspertne zunanje evalvatorje,  usposabljanje ekspertnih zunanjih evalvatorjev,  priprava pisnih navodil ekspertnim zunanjim evalvatorjem za delo v vseh fazah izpeljave ekspertne zunanje evalvacije,  priprava vodil, obrazcev, ki jih ekspertni zunanji evalvatorji uporabljajo pri različnih fazah izpeljave ekspertne zunanje evalvacije,  priprava informacij za organizacije o ekspertni zunanji evalvaciji, ki jih potrebujejo pri odločanju za ekspertno zunanjo evalvacijo,  priprava besedil javnih razpisov oz. pozivov organizacijam za vključitev v ekspertne zunanje evalvacije,  priprava pisnih navodil organizacijam, v katerih bo potekala ekspertna zunanja evalvacija, o vseh opravilih, ki jih morajo opraviti in o njihovi vlogi,  priprava vodil, obrazcev za organizacije, v katerih bo potekala ekspertna zunanja evalvacija,  priprava računalniške aplikacije EZE za pripravo in pregled samoocene, ki jo uporabljajo tako sodelujoče izobraževalne organizacije kot ekspertni zunanji evalvatorji. Priprave na izvedbo vsakokratne zunanje evalvacije pa obsegajo:  spopolnjevanje ekspertnih zunanjih evalvatorjev, njihova seznanitev z organizacijami, ki bodo evalvirane in organizacijski dogovori v zvezi z izpeljavo ekspertne zunanje evalvacije,  prireditev pisnih navodil ekspertnim zunanjim evalvatorjem za delo v vseh fazah izpeljave ekspertne zunanje evalvacije v posamezni organizaciji, ki bo evalvirana,  prireditev vodil, obrazcev, ki jih ekspertni zunanji evalvatorji uporabljajo pri različnih fazah izpeljave ekspertne zunanje evalvacije, za delo v posamezni organizaciji, ki bo evalvirana,  prireditev informacij za organizacije o ekspertni zunanji evalvaciji, ki jih potrebujejo pri odločanju za ekspertno zunanjo evalvacijo v konkretnem časovnem obdobju,  prireditev besedila javnega razpisa oz. poziva organizacijam za vključitev v ekspertne zunanje evalvacije v konkretnem časovnem obdobju,  prireditev pisnih navodil izbranim organizacijam, v katerih bo potekala ekspertna zunanja evalvacija, o vseh opravilih, ki jih morajo opraviti in o njihovi vlogi,  prireditev vodil, obrazcev za izbrane organizacije, v katerih bo potekala ekspertna zunanja evalvacija,  prireditev računalniške aplikacije EZE za pripravo in pregled samoocene v izobraže valni organizaciji, v kateri bo potekala ekspertna zunanja evalvacija. Priprave na izvedbo ekspertnih zunanjih evalvacij je v obdobju od pilotne uvedbe naloge v letu 2012 pa do zadnjih dveh izpeljanih evalvacij v letu 2016 v vsebinskem in organizacijskem smislu kot nosilec naloge ves čas izvajanja zunanjih evalvacij vodil in koordiniral Andragoški center Slovenije. Svoj delež pa so pri pripravah dodali tudi ekspertni zunanji evalvatorji ter organizacije, ki so sodelovale v ekspertnih zunanjih evalvacijah v obdobju od 2012 do 2016, zlasti na evalvacijskih delavnicah, ki so izvedene vsako leto po izpeljanih evalvacijah, na katerih so ovrednotili tudi postopke, navodila, pripomočke, ki so jih imeli na voljo ves čas poteka evalvacij. S samoevalvacijo smo proučili naslednje tri ključne korake priprav na izvedbo ekspertnih zunanjih evalvacij:  izbor in usposobitev ter spopolnjevanja ekspertnih zunanjih evalvatorjev za sodelovanje v ekspertnih zunanjih evalvacijah,  priprava navodil in pripomočkov za izpeljavo ekspertnih zunanjih evalvacij ter usposobitev ekspertnih zunanjih evalvatorjev ter sodelujočih organizacij za njihovo uporabo,  animacija organizacij, ki izvajajo izobraževanje odraslih, za sodelovanje v eks pertnih zunanjih evalvacijah. V nadaljevanju si bomo ogledali izide anketiranja po posameznih vsebinskih sklopih. Najprej si bomo ogledali izide anketiranja evalvatorjev ter tudi direktorjev organizacij, ki so sodelovale v ekspertnih zunanjih evalvacijah, o izboru in usposobljenosti ekspertnih zunanjih evalvatorjev. 4.1.1 Izbor in usposobljenost ekspertnih zunanjih evalvatorjev Evalvacijo v ekspertni zunanji evalvaciji Andragoškega centra Slovenije izpelje skupina ekspertnih zunanjih evalvatorjev, ki je sestavljena iz praviloma enega predstavnika ACS in zunanjih sodelavcev. Zapisali smo že, da so to strokovnjaki, ki imajo ekspertna znanja s področja izobraževanja odraslih, notranje in zunanje evalvacije kakovosti ter drugih vsebinskih področij, ki so lahko predmet ekspertne zunanje evalvacije. Ker ekspertni zunanji evalvatorji delujejo v skupinah evalvatorjev, lahko svoja znanja komplementarno dopolnjujejo. Ker so ekspertni zunanji evalvatorji ključni nosilci ekspertnih zunanjih evalvacij, smo v evalvaciji poseben sklop vprašanj namenili presoji načina njihovega izbora ter presoji ustreznosti njihovega usposabljanja za priprave na delo v vlogi ekspertnih zunanjih evalvatorjev. PRIMERNOST NAČINA IZbORA EKSPERTNIH ZUNANJIH EVALVATORJEV Preden si bomo ogledali mnenja anketiranih direktorjev oz. ravnateljev sodelujočih organizacij ter mnenja evalvatorjev o dosedanjem načinu izbora ekspertnih zunanjih evalvatorjev, pojasnimo, kako je ACS v obdobju od 2012 do 2016 izbral zunanje ekspertne evalvatorje, ki so v tej vlogi sodelovali pri izpeljavi ekspertnih zunanjih evalvacij v izobraževanju odraslih. Ekspertne zunanje evalvatorje je ACS v obdobju od 2012 do 2016 večinoma pridobil in izbral na podlagi prejetih prijav na »Javno povabilo strokovnjakom s področja izobraževanja odraslih za sodelovanje pri nalogi v vlogi ekspertnih zunanjih evalvatorjev« (priloga 6), ki smo ga 8. marca 2012 objavili v glasilu ACS e-Novičke. Povabilo smo z elektronsko pošto 12. marca 2012 poslali tudi neposredno nekaterim strokovnjakom-praktikom s področja izobraževanja odraslih z vabilom, če bi se želeli preizkusiti v vlogi ekspertnih zunanjih evalvatorjev in sodelovati v ekspertnih zunanjih evalvacijah ACS. Vabilo smo poslali praktikom, ki so se v preteklosti na ACS udeleževali usposabljanj s področja presojanja in razvijanja kakovosti (večinoma usposabljanj za vpeljavo modela samoevalvacije POKI v organizacije, ki izobražujejo odrasle). Skupaj z objavo povabila smo napovedali tudi izvedbo posebnega programa usposabljanja za pripravo in izvajanje ekspertnih zunanjih evalvacij ACS. Spodnja preglednica prikazuje vse dosedanje načine pridobivanja ekspertnih zunanjih evalvatorjev v obdobju od 2012 do 2016 – skupaj s podatki o času in načinu objave za sodelovanje v vlogi evalvatorja. Preglednica 8: Načini pridobivanja ekspertnih zunanjih evalvatorjev za sodelovanje pri ekspertni zunanji evalvaciji v izobraževanju odraslih ČAS IN NAČIN ObJAVE POVAbILA ZA SOdELOVANJE Razpis za izbor ekspertnih zunanjih evalvatorjev, 2012 • E-novičke ACS, februar 2012 (najava razpisa »Pilotna vpeljava ekspertnih zunanjih evalvacij v izobraževanje odraslih«). • E-novičke ACS, 8. marec 2012 (objava razpisa »Javno povabilo za sodelovanje v pilotnem projektu Ekspertna zunanja evalvacija v izobraževanju odraslih v vlogi ekspertnih zunanjih evalvatorjev«). • E-pošta ACS strokovnjakom praktikom s področja izobraževanja odraslih, 12. marec 2012: • Povabilo za sodelovanje v projektu Ekspertna zunanja evalvacija v izobraževanju odraslih; • Obrazec Prijava za sodelovanje v pilotnem projektu ekspertna zunanja evalvacija v izobraževanju odraslih v vlogi ekspertnih zunanjih evalvatorjev. Povabilo k sodelovanju v • E-pošta ACS dvema strokovnjakinjama s področja izobraže drugi fazi dopolnjevanja vanja odraslih), 6. maj 2014: skupine evalvatorjev, • Povabilo k sodelovanju v drugi fazi dopolnjevanja skupine 2014 evalvatorjev. Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Na podlagi 19 prejetih prijav na razpis za izbor ekspertnih zunanjih evalvatorjev v letu 2012 je posebej imenovana komisija ACS pregledala prijave, ovrednotila izpolnjevanje pogojev in izbrala šest strokovnjakov s področja izobraževanja odraslih (praktiki iz različnih izobraževalnih organizacij). Izbrani strokovnjaki so se kasneje uspešno usposobili za ekspertne zunanje evalvatorje in na tej podlagi tudi sodelovali v ekspertnih zunanjih evalvacijah izobraževanja odraslih v vlogi ekspertnih zunanjih evalvatorjev. Tako smo v letu 2012 usposobili prvo skupino ekspertnih zunanjih evalvatorjev, ki so v letu 2012 tudi sodelovali pri izpeljavi prvih dveh ekspertnih zunanjih evalvacij. Kasneje se je pokazala potreba, da bi število delujočih ekspertnih zunanjih evalvatorjev povečali. Tako sta bili k sodelovanju na podlagi referenc neposredno povabljeni še dve strokovnjakinji s področja izobraževanja odraslih, ki sta že sodelovali projektih ACS s področja kakovosti in sta tudi že imeli izkušnje z različnimi načini zunanjega presojanja kakovosti. Obe strokovnjakinji iz prakse sta se odzvali povabilu in se v istem letu udeležili tako temeljnega kot tudi nadaljnjega usposabljanja (spopolnjevanja) za izvedbo ekspertnih zunanjih evalvacij. Če povzamemo, v obdobju od pilotne uvedbe ekspertnih zunanjih evalvacij v letu 2012 do zadnje izvedbe ekspertnih zunanjih evalvacij v letu 2016 je ACS ekspertne zunanje evalvatorje k sodelovanju večinoma pridobil na podlagi javnega razpisa v letu 2012, nekaj med njimi pa jih je bilo dve leti kasneje na podlagi njihovih referenc na področju izobraževanja odraslih tudi osebno povabljenih k sodelovanju. Sedaj pa si oglejmo izide anketiranja v zvezi z načinom izbora ekspertnih zunanjih evalvatorjev. Kaj menijo o dosedanjem načinu izbora ekspertnih zunanjih evalvatorjev, smo vprašali direktorje oz. ravnatelje organizacij, ki so v letih od 2012 do 2016 sodelovale v ekspertnih zunanjih evalvacijah. Na vprašanje je odgovarjalo devet direktorjev oz. ravnateljev, izbrali so lahko en ponujeni odgovor. Preglednica 9: Mnenja direktorjev oz. ravnateljev o dosedanjem načinu izbora ekspertnih zunanjih evalvatorjev (N=9) FREKVENCA OdSTOTEK Nimam mnenja. 0 0,0 O tem naj odloča nosilec ekspertnih zunanjih evalvacij (ACS). 2 22,2 Primerno se mi zdi, da se ekspertne zunanje evalvatorje pridobi na podlagi javnega razpisa z opredeljenimi kriteriji. 2 22,2 Primerno se mi zdi, da se ekspertne zunanje evalvatorje pridobi na podlagi osebnega povabila na podlagi referenc posameznika. 1 11,1 Primeren se mi zdi dosedanji način izbora ( javni razpis in/ ali povabilo). 4 44,5 Po mojem mnenju bi moral biti izbor ekspertnih zunanjih evalvatorjev naslednji: 0 0,0 SKUPAJ 9 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. Sodelujoči direktorji oz. ravnatelji organizacij, ki so sodelovale v ekspertnih zunanjih evalvacijah, so se precej različno izrekali o dosedanjem načinu izbora ekspertnih zunanjih evalvatorjev. Štirim direktorjem (skoraj polovici vseh, ki so sodelovali v anketiranju) se zdi dosedanji način izbora ( javni razpis in/ali povabilo) primeren, dva direktorja pa sta mnenja, da naj o izboru evalvatorjev odloča ACS kot nosilec naloge. Slednji odgovor bi zato po vsebini oz. strinjanju z dosedanjimi načini izbora lahko šteli k prejšnjemu in ugotovimo lahko, da večina direktorjev oz. ravnateljev do sedaj uporabljena načina izbora evalvatorjev ocenjuje kot primeren. Dva direktorja oz. ravnatelja pa menita, da je primerno, da ACS ekspertne zunanje evalvatorje pridobi na podlagi javnega razpisa z opredeljenimi kriteriji, en pa, da se naj ekspertne zunanje evalvatorje pridobiva samo z osebnim povabilom na podlagi referenc posameznika. Raznovrstnost dobljenih odgovorov direktorjev oz. ravnateljev je sicer velika, a vendarle lahko ugotovimo, da se večina strinja z do sedaj uporabljenimi načini izbora ekspertnih zunanjih evalvatorjev. Odgovori evalvatorjev na enako vprašanje so bolj enotni, kot je razvidno iz spodnje preglednice. Na vprašanje je odgovarjalo enajst evalvatorjev, ki so prav tako lahko izbrali po en odgovor. Preglednica 10: Mnenja evalvatorjev o dosedanjem načinu izbora ekspertnih zunanjih evalvatorjev (N=11) FREKVENCA OdSTOTEK Nimam mnenja. 0 0,0 O tem naj odloča nosilec ekspertnih zunanjih evalvacij (ACS). 0 0,0 Primerno se mi zdi, da se ekspertne zunanje evalvatorje pridobi na podlagi javnega razpisa z opredeljenimi kriteriji. 0 0,0 Primerno se mi zdi, da se ekspertne zunanje evalvatorje pridobi na podlagi osebnega povabila na podlagi referenc posameznika. 1 9,1 Primeren se mi zdi dosedanji način izbora ( javni razpis in/ ali povabilo). 9 81,8 Po mojem mnenju bi moral biti izbor ekspertnih zunanjih evalvatorjev naslednji: 1 9,1 SKUPAJ 11 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Evalvatorji večinoma (devet od enajstih sodelujočih) menijo, da je bil dosedanji način izbora evalvatorjev primeren. En evalvator pa je izbral odgovor »Drugo.« in zapisal:  V obeh primerih bi moral biti način izbora evalvatorjev enak: ali obakrat z javnim razpisom, ali obakrat z osebnim povabilom. Slednji evalvator torej ocenjuje, da bi ACS moral tudi v primeru dopolnjevanja skupine evalvatorjev v letu 2014 uporabiti javni razpis kot primeren način oz. da bi ob začetku vpeljave naloge vse evalvatorje pridobil na podlagi povabila strokovnjakom z ustreznimi referencami. Če povzamemo mnenja obojih, največji delež anketiranih direktorjev oz. ravnateljev ter evalvatorjev meni, da je bil dosedanji način izbora evalvatorjev – torej, kombinacija javnega razpisa in povabila k sodelovanju na podlagi referenc – primeren. PRIMERNOST IZbORA EKSPERTNIH ZUNANJIH EVALVATORJEV Z VIdIKA ZAHTEVANE IZObRAZbE, IZKUŠENJ, dELOVNEGA STATUSA IN dRUGIH KRITERIJEV Še bolj kot način izbora ekspertnih zunanjih evalvatorjev so pomembni kriteriji, ki so bili določeni za tiste, ki naj bi postali evalvatorji. Upoštevati je treba, da že poimenovanje vloge, ki jo bodo opravljali, predpostavlja, da je ne more opravljati kdorkoli. Če se vloga imenuje »ekspertni zunanji evalvator«, je prav gotovo ne more opravljati nekdo, ki ni ekspert, strokovnjak. Predpostavlja se, da odlično pozna vsebino, ki jo bo presojal, da mu to odličnost pripisujejo tudi tisti, ki bodo evalvirani. Samo poimenovanje nakazuje tudi to, da je ta oseba poleg tega tudi evalvator, da ima torej odlično znanje o evalvacijah, da jih lahko suvereno izpeljuje. Te zahtevne predpostavke so bile v letu 2012 na ACS operacionalizirane v t.i. splošnih in posebnih pogojih, ki jih mora izpolnjevati kandidat za ekspertnega zunanjega evalvatorja (Možina idr. 2013, str. 23). Splošni pogoji so tisti, ki so objektivno merljivi z dokazili, nanašajo pa se predvsem na izobrazbo in obseg delovnih izkušenj. Tako je zahtevano, da ima kandidat za ekspertnega zunanjega evalvatorja univerzitetno izobrazbo, pedagoško-andragoško izobrazbo ter vsaj sedem let delovnih izkušenj v izobraževanju odraslih. Zahtevana izobrazba je primerljiva oz. enaka s pogoji, ki jih morajo izpolnjevati strokovni delavci na področju izobraževanja odraslih. Obseg delovnih izkušenj v izobraževanju odraslih pa predpostavlja, da je posameznik v tem času osebno preskusil različne vrste dela v izobraževanju odraslih ter toliko različnih situacij in komunikacij, da ima zadostno podlago, ki mu bo pomagala pri presoji. Ti pogoji se v obdobju od 2012 do 2016 niso spreminjali. Posebni pogoji pa se usmerjajo v poznavanje in izkušnje s področja izobraževanja odraslih, poznavanje notranje in zunanje evalvacije kakovosti in poznavanje področij, ki so lahko predmet ekspertne zunanje evalvacije. Konkretno so posebni pogoji za kandidata za ekspertnega zunanjega evalvatorja opredeljeni takole (Možina idr. 2013, str. 23):  pozna značilnosti, organiziranost in delovanje različnih vrst izobraževalnih organi zacij za odrasle,  se je usposabljal za delo pri presojanju in razvijanju kakovosti v izobraževalni orga nizaciji, kar je dokazljivo z listinami; prednost imajo kandidati, ki so se usposabljali za presojanje in razvijanje kakovosti v izobraževanju odraslih,  ima izkušnje z notranjim ali zunanjim presojanjem kakovosti, še posebej na področju izobraževanja odraslih,  ima andragoško znanje in izkušnje s področja podpore odraslim udeležencem pri izobraževanju,  obvlada informacijsko-komunikacijska orodja,  pridobi soglasje svojega direktorja oz. ravnatelja, da se bo lahko udeležil usposablja nja za ekspertne zunanje evalvatorje in v skladu z načrtom projekta opravil vsaj eno ekspertno zunanjo evalvacijo v izbrani izobraževalni organizaciji. V samoevalvaciji smo od direktorjev oz. ravnateljev organizacij, ki so se vključile v ekspertno zunanjo evalvacijo, želeli pridobiti njihovo mnenje o primernosti načina izbora ekspertnih zunanjih evalvatorjev z vidika njihove izobrazbe, delovnih izkušenj, delovnega statusa ter drugih kriterijev. Preglednica 11: Ocena direktorjev oz. ravnateljev o primernosti izobrazbenih pogojev za kandidate za ekspertne zunanje evalvatorje, ki so morali po dosedanjih pravilih imeti univerzitetno izobrazbo, pedagoškoandragoško izobrazbo in pet let delovnih izkušenj v izobraževanju odraslih (N=9) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Nimam mnenja. 0 0,0 0,0 O tem naj odloča nosilec ekspertnih zunanjih evalvacij (ACS). 2 8,0 22,2 Nujno je, da imajo evalvatorji vsaj univerzitetno izobrazbo. 6 24,0 66,7 Stopnja izobrazbe za to vlogo ni pomembna. 0 0,0 0,0 Za to vlogo bi morala biti določena tudi vrsta izobrazbe. 1 4,0 11,1 Vrsta izobrazbe za to vlogo ni pomembna. 2 8,0 22,2 Evalvator mora imeti pedagoško-andragoško izobrazbo. 5 20,0 55,6 Pedagoško-andragoška izobrazba za to vlogo ni pomembna. 0 0,0 0,0 Za to vlogo je pomembno, da imajo evalvatorji vsaj 5 let delovnih izkušenj v izobraževanju odraslih. 7 28,0 77,8 Delovne izkušnje v izobraževanju odraslih za to vlogo niso pomembne. 0 0,0 0,0 Po mojem mnenju bi morali biti za evalvatorje zahtevani (še) naslednji pogoji: 2 8,0 22,2 SKUPAJ 25 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. Anketirani direktorji oz. ravnatelji, sodelovalo jih je devet, so lahko izbrali več odgovorov na vprašanje. Kot je razvidno, so poleg nekaj splošnih odgovorov imeli možnost, da se opredelijo do vseh temeljnih kriterijev, ki se uporabljajo za kandidate za ekspertne zunanje evalvatorje (stopnja in vrsta izobrazbe, pedagoško-andragoška izobrazba, delovne izkušnje). Glede izobrazbe direktorji oz. ravnatelji menijo, da je za ekspertnega zunanjega evalvatorja ta nujna, in sicer, da ima vsaj univerzitetno izobrazbo – tako sta se opredelili dve tretjini vseh sodelujočih. S tem so potrdili razmišljanje ACS, da morajo biti evalvatorji po izobrazbi vsaj primerljivi s strokovnim in vodstvenim osebjem, ki dela v izobraževanju odraslih. Zanimivo pa je, da se jim vrsta izobrazbe ne zdi tako pomembna; verjetno tudi zato, ker v izobraževanju odraslih delujejo strokovnjaki z zelo različnih področij in bi težko rekli, da prevladuje samo ena vrsta izobrazbe. Več kot polovica direktorjev oz. ravnateljev pa je izpostavila (tudi) nujnost pedagoško-andragoške izobrazbe kot pogoja za opravljanje vloge ekspertnega zunanjega evalvatorja. Tudi ta odgovor je pričakovan, morebiti smo pričakovali še več takih odgovorov. Pedagoško-andragoška izobrazba je namreč v izobraževanju standard za zaposlene, takšne so tudi zakonske zahteve. Morebiti je na nekatere odgovore vplivalo tudi dejstvo, da so bila doslej evalvirana področja, ki ne zadevajo samo izvedbe izobraževalnega procesa, pa se je anketiranim zdelo, da bi ta izobrazba ne prispevala veliko h kakovosti presojanja evalvatorjev. Največ (tri četrtine oz. 78 odstotkov) direktorjev oz. ravnateljev je izbralo odgovor, da je za to vlogo zelo pomembno, da imajo evalvatorji vsaj pet let delovnih izkušenj v izobraževanju odraslih. ACS je ta pogoj sicer postavil še nekoliko više, in sicer smo opredelili, da mora ekspertni zunanji evalvator imeti sedem let delovnih izkušenj. Očitno je, da se direktorjem oz. ravnateljem zdijo delovne izkušnje najpomembnejše, celo bolj kot izobrazba, kajti poznavanje področja izobraževanja odraslih je bistvenega pomena, ko evalvator presoja doseganje posameznih meril s presojo ustreznosti dokazil, zlasti pa, ko pripravlja tudi predloge možnih načinov za odpravo pomanjkljivosti oz. predlogov za nadaljnji razvoj. Kako pomembne se zdijo direktorjem oz. ravnateljem delovne izkušnje, bomo videli tudi v nadaljevanju samoevalvacijske študije, ko so nekateri posebej poudarili, kako pomembno je, da evalvator pozna prakso in ne samo teorije, da mora dobro poznati okoliščine, v katerih deluje organizacija ipd. Mnenju, da je praksa zelo pomembna, lahko pritrdimo tudi sami, saj evalvator z bogatimi izkušnjami lažje razume različne informacije, ki jih dobi, lažje vrednoti njihov pomen v kontekstu evalvacije, tudi lažje zazna dejansko stanje v organizaciji v primerjavi s tistim, kar je nekje zapisanega ali predstavljenega. Seveda pa brez znanja, in to temeljitega, ter strokovne razgledanosti ne more biti dober evalvator, četudi ima bogato prakso v izobraževanju odraslih. Dva direktorja oz. ravnatelja menita, da naj o izobrazbenih, delovnih in drugih pogojih za izbor ekspertnih zunanjih evalvatorjev odloča kar ACS kot nosilec naloge. Dva direktorja oz. ravnatelja pa sta izbrala odgovor, da bi morali biti zahtevani še drugi pogoji za ekspertne zunanje evalvatorje. Takole sta zapisala svoji razmišljanji:  Ključno je dobro poznavanje celotnega področja izobraževanja odraslih, njegove forma tivne urejenosti in delovanja v praksi, tako javnega kot tudi privatnega sektorja.  Evalvator mora imeti izkušnje s področja kakovosti (presojanja in vpeljevanja izboljšav, poznavanje sistema kakovosti Ponudimo odraslim kakovostno izobraževanje POKI). Iz zgornjih zapisov lahko razberemo dva poudarka: prvi je poudarek o potrebi po širini poznavanja področja izobraževanja odraslih tako v teoriji kot v praksi, drugi pa je poudarek na poznavanju in izkušnjah na področju kakovosti izobraževanja odraslih, ki naj bi jih imel ekspertni zunanji evalvator. Oba direktorja oz. ravnatelja sta s svojima zapisoma torej razmišljala tudi o vsebini delovnih izkušenj kandidata za ekspertnega zunanjega evalvatorja. V zvezi z izborom ekspertnih zunanjih evalvatorjev smo direktorje oz. ravnatelje organizacij vprašali tudi, če menijo, da bi ob obstoječih evalvatorjih pri nalogi morali sodelovati na primer tudi predstavniki kakšnih drugih ustanov. Kaj smo imeli v mislih? Morebiti bi kot eksperti lahko sodelovali npr. strokovnjaki iz drugih nacionalnih zavodov, strokovnjaki s fakultet, strokovnjaki za kakovost iz gospodarstva ali drugih dejavnosti ipd. To bi nedvomno doprineslo k raznolikosti pogledov na evalvirane teme, morebiti tudi večjo objektivnost, saj bi šlo za strokovnjake, ki praviloma ne bi tako dobro poznali organizacij na področju izobraževanja odraslih, hkrati pa bi to lahko bila tudi velika pomanjkljivost, saj bi področje premalo poznali in bi težko presojali. Vseeno nas je zanimalo, kaj o tem menijo anketiranci. Na vprašanje je odgovarjalo devet direktorjev oz. ravnateljev, izbrali so lahko en odgovor. Poglejmo si njihova mnenja. Preglednica 12: Mnenja direktorjev oz. ravnateljev o tem, ali bi v ekspertni zunanji evalvaciji izobraževanja odraslih morali poleg evalvatorjev, ki jih izbere ACS, sodelovati tudi predstavniki kakšnih drugih ustanov (N=9) FREKVENCA OdSTOTEK Nimam mnenja. 0 0,0 O tem naj odloča nosilec ekspertnih zunanjih evalvacij (ACS). 5 55,6 Ne. 3 33,3 Da, predstavniki: 1 11,1 SKUPAJ 9 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. Dobra polovica direktorjev oz. ravnateljev meni, da naj o tem odloča ACS kot nosilec ekspertnih zunanjih evalvacij, trije direktorji oz. ravnatelji pa menijo, da ni potrebe, da bi sodelovali tudi predstavniki kakšnih drugih ustanov. Le en direktor oz. ravnatelj pa je na vprašanje odgovoril pritrdilno, torej, da bi morali sodelovati še predstavniki drugih ustanov, in sicer je zapisal:  Da, morda bi bilo zanimivo in koristno vključiti strokovnjake za marketing, trženje, sple tno promocijo in še kaj, ki ne bi bili iz naše stroke (andragoške) in bi lahko neobremenjeno svetovali. Slednji predlog je sicer zanimiv, vendar pa ga z vidika trenutno opredeljenih področij presoje v ekspertni zunanji evalvaciji (notranji sistem kakovosti, podpora posameznikom pri izobraževanju, razvojna naravnanost izobraževalne organizacije) ne moremo upoštevati kot vsebinsko primernega za širitev trenutnega nabora ekspertnih zunanjih evalvatorjev. Predlog o vključitvi strokovnjakov za marketing, trženje, spletno promocijo ipd. pa bi prišel v poštev v primeru, ko bi v ekspertni zunanji evalvaciji opredelili novo vsebinsko področje – na primer promocijo izobraževanja odraslih ali animacijo odraslih za izobraževanje. USTREZNOST IN ZAdOSTNOST USPOSAbLJANJA EKSPERTNIH ZUNANJIH EVALVATORJEV Naslednji sklop vprašanj smo namenili presoji usposabljanja ekspertnih zunanjih evalvatorjev, ki ga izvaja ACS. Preden si pogledamo odgovore anketiranih v zvezi s tem, si najprej poglejmo, katera usposabljanja je ACS sploh razvil in izpeljal v obdobju od 2012 do 2016. Za ustrezno pripravo in izvedbo ekspertnih zunanjih evalvacij smo na ACS pripravili posebno temeljno usposabljanje za ekspertne zunanje evalvatorje (posebej zasnovan program usposabljanja), nato pa vsako leto še nadaljevalna usposabljanja oz. spopolnjevanja, ki so bila namenjena na primer obravnavi novosti in sprememb v zvezi s področji presoje ekspertne zunanje evalvacije, kazalnikom in merilom, uporabi pisnih pripomočkov in kasneje spletne aplikacije v podporo izpeljavi ekspertne zunanje evalvacije (pregled in ovrednotenje samoocene organizacije), etičnemu ravnanju ekspertnih zunanjih evalvatorjev v različnih situacijah (razčiščevanja situacij iz prakse ipd.) ter seveda tudi organizacijskim dogovorom za izpeljavo ekspertnih zunanjih evalvacij v posameznem letu. V spodnji preglednici so prikazana vsa doslej izpeljana usposabljanja za ekspertne zunanje evalvatorje – temeljno in spopolnjevanja. Preglednica 13: Pregled izvedb temeljnega in nadaljevalnih usposabljanj ekspertnih zunanjih evalvatorjev IME PROGRAMA dATUM IZPELJAVE Temeljno Temeljni program usposabljanja za 25. in 26. 9. 2012 usposabljanje ekspertne zunanje evalvatorje 2. 9. 2014 Spopolnjevanje ekspertnih zunanjih evalvatorjev 2013 26. 9. 2013 Nadaljevalno usposabljanje oz. spopolnjevanje Spopolnjevanje ekspertnih zunanjih evalvatorjev 2014 4. 9. 2014 Spopolnjevanje ekspertnih zunanjih evalvatorjev 2015 3. 9. 2015 Spopolnjevanje ekspertnih zunanjih evalvatorjev 2016 2. 9. 2016 Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Ekspertni zunanji evalvatorji se najprej udeležijo temeljnega usposabljanja za ekspertne zunanje evalvatorje. Namen tega usposabljanja je temeljita priprava ekspertnih zunanjih evalvatorjev na uspešno izvedbo ekspertnih zunanjih evalvacij v izobraževalnih organizacijah. V Temeljnem programu usposabljanja za ekspertne zunanje evalvatorje se udeleženci seznanijo s konceptom in izhodišči ekspertne zunanje evalvacije, ozavestijo njen pomen kot ene izmed oblik zunanjega presojanja kakovosti, usposobijo se za vodenje procesa in postopkov, seznanijo se s področji in merili kakovosti, ki so predmet ekspertne zunanje evalvacije, usposobijo se za pripravo poročila o ekspertni zunanji evalvaciji ter ozavestijo odgovornost in zahtevnost vloge in nalog ekspertnih zunanjih evalvatorjev ( Temeljni program usposabljanja za ekspertne zunanje evalvatorje, 2012, 201612). Posebej naj še omenimo, da udeleženci v okviru programa opravijo pregled in ovrednotenje samoocene izmišljene izobraževalne organizacije. Sledi priprava primernih vprašanj za razgovore na obisku izobraževalne organizacije ter s pomočjo igre vlog tudi simulacija izpeljave obiska v izobraževalni organizaciji. Usposabljanje je organizirano po vsebinskih sklopih in temah ter v urah razdeljeno tako: Preglednica 14: Pregled vsebinskih sklopov in tem Temeljnega programa usposabljanja za ekspertne zunanje evalvatorje TEME TRAJANJE V PEdAGOŠKIH URAH 1. SKLOP: USPOSAbLJANJE ZA EKSPERTNE ZUNANJE EVALVATORJE Predstavitev ekspertne zunanje evalvacije 2 Predstavitev kazalnikov in meril za ekspertno zunanjo evalvacijo 3 Pregled samoocene organizacije in priprava na intervjuje 3 Priprava in izpeljava obiska v organizaciji 1 Poročilo o ekspertni zunanji evalvaciji 1 Naloge in odgovornosti ekspertnih zunanjih evalvatorjev 2 2. SKLOP: PRAKTIČNO dELO Praktično delo pri izvedbi ekspertne zunanje evalvacije 24 3. SKLOP: EVALVACIJA EKSPERTNIH ZUNANJIH EVALVACIJ Evalvacijska delavnica o ekspertnih zunanjih evalvacijah 4 SKUPAJ 40 Vir: Temeljni program usposabljanja za ekspertne zunanje evalvatorje 2016, stran 8. Andragoški center Slovenije. Iz preglednice je razvidno, da program traja 40 pedagoških ur, od katerih je 12 ur namenjeno organiziranemu izobraževanju v učni skupini, 24 ur obsega praktično delo evalvatorjev pri izvedbi ekspertne zunanje evalvacije (eden od pogojev za dokončanje programa je namreč sodelovanje pri izpeljavi najmanj ene ekspertne zunanje evalvacije), 4 ure pa so namenjene sodelovanju evalvatorjev na zaključni evalvacijski delavnici (tudi pogoj za dokončanje programa). Prvo temeljno usposabljanje za ekspertne zunanje evalvatorje smo izvedli septembra 2012, drugo pa prav tako septembra 2014. Nadaljevalno usposabljanje oz. spopolnjevanje za ekspertne zunanje evalvatorje smo doslej izpeljali štirikrat, in sicer vedno v začetku septembra, tik preden se je v posameznem letu začela faza pregleda in ovrednotenja samoocen organizacij, ki so tisto leto sodelovale v ekspertni zunanji evalvaciji. 12 V letu 2016 je bil Temeljni program za usposabljanje ekspertnih zunanjih evalvatorjev prenovljen. V spodnji preglednici so prikazane ključne teme, ki so bile obravnavane v okviru izpeljanih spopolnjevanj za ekspertne zunanje evalvatorje od leta 2013 do leta 2016, ki smo jih povzeli iz urnikov posameznih spopolnjevanj: Preglednica 15: Pregled obravnavanih tem na izpeljanih spopolnjevanjih za ekspertne zunanje evalvatorje od leta 2013 do leta 2016  LETO TEME 2013 • Dogajanje na področju kakovosti v letu 2013 (obravnava novosti in sprememb na področju kakovosti v izobraževanju odraslih v tekočem letu). • Vsebinska priprava na ekspertne zunanje evalvacije (obravnava primerov v zvezi z doseganjem posameznih meril; razprava o primernem odzivu v posameznih fazah izpeljave evalvacij). • Potek ekspertnih zunanjih evalvacij v letu 2013 (skupaj z napotki in dogovori za izpeljavo ekspertnih zunanjih evalvacij v letu 2013). • Etični kodeks ekspertnih zunanjih evalvatorjev (obravnava zasnove etičnega kodeksa ekspertnih zunanjih evalvatorjev). • Potrdilo o opravljeni ekspertni zunanji evalvaciji za organizacijo (razmislek o vlogi potrdila o opravljeni ekspertni zunanji evalvaciji za organizacijo). 2014 • Dogajanje na področju kakovosti v letu 2014 (obravnava novosti in sprememb na področju kakovosti v izobraževanju odraslih v tekočem letu). • Področja presoje – povezava z zbirko Kazalniki kakovosti izobraževanja odraslih (obravnava meril in kazalnikov ekspertne zunanje evalvacije). • Vsebinska priprava na ekspertne zunanje evalvacije (obravnava primerov in razprava). • Etični kodeks ekspertnih zunanjih evalvatorjev (obravnava ter podpis etičnega kodeksa ekspertnih zunanjih evalvatorjev). • Potek ekspertnih zunanjih evalvacij v letu 2014 (skupaj z napotki in dogovori za izpeljavo ekspertnih zunanjih evalvacij v letu 2014). 2015 • Dogajanje na področju kakovosti v letu 2015 (obravnava novosti in sprememb na področju kakovosti v izobraževanju odraslih v tekočem letu). • Področja, kazalniki in merila presoje (seznanitev s prenovljenimi merili in kazalniki dosedanjih dveh področij: notranji sistem kakovosti in podpora udeležencem pri izobraževanju; obravnava novega izbirnega področja zunanje evalvacije – razvojna usmerjenost organizacije, ki izobražuje odrasle). • Predstavitev aplikacije EZE za evalvatorje ter praktično delo za usposobitev evalvatorjev za uporabo novo razvite aplikacije v pomoč pri pregledu in ovrednotenju samoocene organizacije. • Potek ekspertnih zunanjih evalvacij v letu 2015 (skupaj z napotki in dogovori za izpeljavo ekspertnih zunanjih evalvacij v letu 2015). 2016 • Dogajanje na področju kakovosti v letu 2016 (obravnava novosti in sprememb na področju kakovosti v izobraževanju odraslih v tekočem letu). • Področja, kazalniki in merila presoje – spremembe in dopolnitve kazalnikov: delo na primerih. • Potek ekspertnih zunanjih evalvacij v letu 2016 (skupaj z napotki in dogovori za izpeljavo ekspertnih zunanjih evalvacij v letu 2016). • Osvežitev dela z aplikacijo EZE za evalvatorje in predstavitev dopolnitev aplikacije. Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Kot je razvidno iz zgornjega pregleda obravnavanih tem na spopolnjevanjih za ekspertne zunanje evalvatorje, je ACS doslej vedno dajal poudarek obravnavi kazalnikov in meril za presojo kakovosti za področja, ki so predmet ekspertne zunanje evalvacije. Velika pozornost je namenjena tudi obravnavi konkretnih primerov v zvezi s presojo ustreznosti dokazil za doseganje posameznih meril. Posebno mesto v spopolnjevanju je dobil tudi etični kodeks, ki obravnava različne vidike etičnega ravnanja evalvatorjev pri opravljanju njihovega dela. Na vseh spopolnjevanjih se obravnavajo tudi organizacijski napotki in dogovori o poteku ekspertne zunanje evalvacije v posameznem letu, vključno s časovno razporeditvijo posameznih faz ekspertne zunanje evalvacije. Sedaj pa si poglejmo izide samoevalvacije. Zbrali smo mnenja anketiranih ekspertnih zunanjih evalvatorjev o zadostnosti temeljnega in nadaljevalnega usposabljanja za njihovo delo. Evalvatorjem smo najprej zastavili splošno vprašanje o potrebnosti tega usposabljanja. spopolnjevanjih, ki jih za njih organizira Andragoški center Slovenije (N=11) Preglednica 16: Mnenja ekspertnih zunanjih evalvatorjev o temeljnem in nadaljevalnih FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Temeljno in nadaljevalna usposabljanja za ekspertne zunanje evalvatorje niso potrebna. 0 0,0 0,0 Temeljno usposabljanje za ekspertne zunanje evalvatorje ni potrebno. 0 0,0 0,0 Temeljno usposabljanje za ekspertne zunanje evalvatorje ni potrebno v primeru, če so se ti že udeležili usposabljanja pri kakšni drugi inštituciji. 0 0,0 0,0 Temeljno usposabljanje se mi zdi nujno. 7 28,0 63,6 Nadaljevalna usposabljanja za ekspertne zunanje evalvatorje niso potrebna. 0 0,0 0,0 Nadaljevalna spopolnjevanja so potrebna, da razčiščujemo situacije iz prakse in se seznanimo z novostmi. 9 36,0 81,8 Menim, da so potrebna tako temeljno kot nadaljevalna usposabljanja. 8 32,0 72,7 Drugo. 1 4,0 9,1 SKUPAJ 25 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Evalvatorji so lahko izbrali več odgovorov. Odgovori so bili sestavljeni tako, da smo jih najprej na splošno vprašali, kaj menijo o potrebnosti temeljnega usposabljanja in/ali nadaljevalnega spopolnjevanja, nato pa smo jih posebej vprašali, kaj menijo o temeljnem usposabljanju in kaj menijo o spopolnjevanjih. Izidi kažejo, da velika večina ekspertnih zunanjih evalvatorjev meni, da so potrebna tako temeljno kot spopolnjevanja. Tako se je izrecno izreklo osem evalvatorjev; prav nihče pa ni izbral odgovora, da temeljno usposabljanje in spopolnjevanja za ekspertne zunanje evalvatorje niso potrebna. Očitno je, da je bila odločitev ACS, da poskrbi za temeljno usposabljanje evalvatorjev in za njihovo stalno spopolnjevanje, zelo primerna in tako prakso kaže obdržati tudi v prihodnje. Nekaj manjših razlik sicer lahko zaznamo. Tako sta se o tem, da je temeljno usposabljanje nujno, izrekli nekaj manj kot dve tretjini vprašanih, čeprav je res, da pa nihče ni zapisal, da temeljno usposabljanje ni nujno in da moramo pri tem upoštevati tudi zelo pogosto izbran odgovor, da so potrebna tako temeljno usposabljanje kot nadaljevalna spopolnjevanja. Največ anketirancev pa je izbralo odgovor, da so »nadaljevalna spopolnjevanja potrebna, da razčiščujemo situacije iz prakse in se seznanimo z novostmi«, kar kaže na nesporno potrebo evalvatorjev, da stalno opravljajo meta evalvacije svojega dela in so v stiku z najnovejšimi dogajanji, ki zadevajo njihovo delo. En evalvator je izbral (tudi) odgovor »Drugo.« in pojasnil:  Nadaljevalna spopolnjevanja se mi zdijo nujna tudi z vidika osvežitve meril za presojo. Tako je opozoril še na tretjo dimenzijo spopolnjevanja, to je osvežitveno spopolnjevanje evalvatorjev o merilih, njihovem vrednotenju, dokazilih, kar je tudi zelo pomembno, saj se evalvacije dogajajo v časovnih intervalih, vmes pa evalvatorji te vloge ne opravljajo in je pomembno, da ponovno ozavestijo, osvežijo svoje poznavanje temeljnega orodja, ki ga uporabljajo pri svojem delu, to je meril za presojanje pri posameznem kazalniku. Dobljeni izidi so razveseljivi, saj potrjujejo pravilnost odločitve ACS, da za tako strokovno zahtevno nalogo, ki poleg ekspertnega znanja s področja presojanja in razvijanja kakovosti (izobraževanja odraslih) vključuje tudi dimenzijo etike, sprejemanja odločitev s konsenzom v skupini evalvatorjev itd., pripravi ustrezno teoretično-praktično temeljno usposabljanje za evalvatorje, temu pa sledijo letna spopolnjevanja, ki so namenjena zlasti osvežitvi poznavanja kazalnikov in meril ter obravnavi konkretnih primerov iz prakse, seveda pa tudi konkretnim dogovorom za izpeljavo ekspertne zunanje evalvacije v posameznem letu. Kako pa so evalvatorji ocenili vsebine usposabljanja, ki so jih bili deležni? Njihove odgovore prikazujemo v preglednici. Preglednica 17: Mnenja evalvatorjev o vsebinah usposabljanja (temeljnega in nadaljevalnih), ki jih za njih organizira Andragoški center Slovenije (N=11) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Vsebine so neprimerne, ne dajo zadostnega znanja za opravljanje te vloge. 0 0,0 0,0 Vsebine so deloma primerne, nekatere teme bi lahko izpustili, nekatere druge pa dodali. 0 0,0 0,0 Vsebine so primerne, nudijo zadostno znanje za opravljanje te vloge. 10 71,4 90,9 Drugo. 4 28,6 36,4 SKUPAJ / 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Evalvatorji so lahko izbrali več odgovorov. Nihče izmed evalvatorjev ni izbral odgovora, da so vsebine temeljnega usposabljanja in spopolnjevanj neprimerne, ker ne dajejo zadostnega znanja za opravljanje te vloge. Prav tako tudi ni nihče izbral odgovora, da so vsebine deloma primerne in da bi bilo potrebno spremeniti nekatere teme. Velika večina evalvatorjev (deset od enajstih) meni, da so obravnavane vsebine na usposabljanjih primerne in nudijo zadostno znanje za opravljanje vloge ekspertnega zunanjega evalvatorja. ( Tudi) odgovor »Drugo.« so izbrali štirje evalvatorji. Takole so pojasnili svoja stališča v zvezi z vsebinami usposabljanja, ki jih je za njih izpeljal ACS:  Zlasti nadaljevalna usposabljanja bi bilo po moje potrebno v prihodnje še nadgrajevati, zlasti z vidika poenotenja ocenjevanja meril in tako imenovane mehke teme: neodvisno ocenjevanje, razreševanje konfliktov, sporočanje slabših rezultatov, delo s težavnimi sogovorniki ipd.  Mogoče še več časa namenjenega obravnavi primerov iz dosedanje prakse. Na primerih se mi zdi, da se da veliko naučiti.  Vsebine so primerne, če so dodane na solidno temeljno znanje.  Zdi se mi zelo dobro, da vsebine nadaljevalnih usposabljanj vključujejo vse novosti in nas, ekspertne evalvatorje, seznanijo z vsemi dilemami, ki so se pojavile pri dosedanjih evalvacijah ter da se o teh dilemah razpravlja in poskuša najti najprimernejšo rešitev. Iz teh zapisov lahko razberemo sporočila posameznih evalvatorjev, da bi si želeli še več spopolnjevanj in pogovorov o usklajevanju ocenjevanja posameznih meril, kako zagotoviti čim bolj neodvisno ocenjevanje, pa tudi še več obravnav konkretnih primerov iz dosedanje prakse. Tem temam smo na dosedanjih spopolnjevanjih sicer namenjali posebno pozornost, izidi anketiranja pa kažejo, da evalvatorji potrebujejo še več usposabljanja in pogovorov o teh temah tudi v prihodnje. En evalvator pa je opozoril tudi na potrebo po usposabljanju o učinkoviti komunikaciji - kako razreševati konflikte, kako sporočiti slabše izide, kako voditi pogovore ob obisku ekspertnih zunanjih evalvatorjev, če je v skupini sogovornik, ki zavira komunikacijo ipd. To so prav gotovo teme, ki jim kaže v prihodnje posvetiti še več pozornosti kot doslej, saj se dokaj pogosto pojavljajo v praktičnem delu evalvatorjev. Zanimalo pa nas je tudi mnenje evalvatorjev o evalvacijski delavnici, ki jo ACS organizira vsako leto po zaključku celotnega postopka izpeljave ekspertnih zunanjih evalvacij v organizacijah, ki izobražujejo odrasle. Evalvacijske delavnice se udeležijo tako evalvatorji, ki so sodelovali v ekspertnih zunanjih evalvacijah, kot tudi predstavniki organizacij, v katerih je potekala evalvacija. Preglednica 18: Mnenja evalvatorjev o evalvacijski delavnici, ki je organizirana po izpeljani ekspertni zunanji evalvaciji (N=11) FREKVENCA OdSTOTEK Evalvacijska delavnica je nepotrebna. 0 0,0 Evalvacijska delavnica je po mojem mnenju sicer dobrodošla, šlo bi pa tudi brez nje. 1 9,1 Evalvacijska delavnica je nujna, saj na njej ovrednotimo izpeljani proces in se iz izkušenj drugih tudi učimo. 9 81,8 Drugo. 1 9,1 SKUPAJ 11 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Evalvatorji so imeli možnost, da izberejo enega izmed ponujenih odgovorov. Velika večina evalvatorjev (devet od enajstih) o evalvacijski delavnici, ki je organizirana po izpeljani ekspertni zunanji evalvaciji, meni, da je le-ta nujna, saj na njej poteka ovrednotenje celotnega poteka procesa ekspertne zunanje evalvacije. Ob tem poteka tudi učenje s pomočjo izmenjave izkušenj z drugimi evalvatorji. Tem odgovorom lahko pridružimo tudi odgovor enega evalvatorja, ki je izbral odgovor »Drugo.« in ga takole pojasnil:  Evalvacijska delavnica je dobrodošla, saj omogoči vpogled v izkušnje tistih skupin, v katerih sicer nismo sodelovali. Odgovor evalvatorja se nanaša na prenos izkušenj pri obravnavi dilem/vprašanj, pa tudi dobrih izkušenj, pridobljenih v izpeljanih ekspertnih zunanjih evalvacijah v skupini vseh evalvatorjev, saj vsak evalvator v posameznem letu sodeluje le v eni ekspertni zunanji evalvaciji, torej pri presoji doseganja kazalnikov in meril le v eni organizaciji, ki izobražuje odrasle. Samo en evalvator meni, da je evalvacijska delavnica sicer dobrodošla, da pa bi šlo tudi brez nje. Podobno kot pri prejšnjih vprašanjih je tudi pri tem torej opaziti naklonjenost večine sodelujočih evalvatorjev, da se ohrani praksa, da se na ACS po izpeljani ekspertni zunanji evalvaciji organizira skupna evalvacijska delavnica. Če strnemo vse ugotovitve v zvezi z usposabljanjem in spopolnjevanjem ekspertnih zunanjih evalvatorjev, je samoevalvacija pokazala, da je ACS doslej pripravil in organiziral temeljno usposabljanje in nadaljnja spopolnjevanja s primernimi vsebinami, ki evalvatorje opremijo z zadostnimi znanji za izpeljavo ekspertnih zunanjih evalvacij. Evalvatorji so tako temeljno usposabljanje kot letna spopolnjevanja večinsko opredelili kot nujno potrebna za njihovo delo. Z vidika vsebin za spopolnjevanja predlagajo poglobljeno obravnavo kazalnikov in meril za presojo v ekspertni zunanji evalvaciji, pa tudi še več obravnav konkretnih primerov iz dosedanje prakse ter obravnavo in razčiščevanje dilem, ki se pojavijo ob ovrednotenju posamezne evalvirane organizacije. Evalvatorji menijo, da je po izpeljani ekspertni zunanji evalvaciji nujno izpeljati tudi evalvacijsko delavnico za ovrednotenje izpeljanega procesa v posamezni organizaciji. 4.1.2 Navodila in pripomočki za izpeljavo ekspertnih zunanjih evalvacij Nadaljujemo z obravnavo navodil in pripomočkov, ki jih je Andragoški center Slovenije razvil v podporo ekspertnim zunanjim evalvatorjem in organizacijam, ki izobražujejo odrasle, ki so se odločile za sodelovanje v ekspertnih zunanjih evalvacijah. ACS za izpeljavo ekspertnih zunanjih evalvacij vsako leto, ko se izpeljuje ekspertna zunanja evalvacija, pripravi vse potrebne pripomočke, predloge dokumentov in usmeritve oz. navodila, ki so ekspertnim zunanjim evalvatorjem in organizacijam, ki sodelujejo v zunanji evalvaciji, v pomoč pri sodelovanju v ekspertnih zunanjih evalvacijah. S samoevalvacijo smo v zvezi s tem želeli pridobiti odgovore na dve ključni vprašanji:  Ali so bila sodelujočim organizacijam zagotovljena primerna navodila in pripo močki za sodelovanje v ekspertni zunanji evalvaciji?  Ali so bila ekspertnim zunanjim evalvatorjem zagotovljena primerna navodila in pripomočki za izpeljavo ekspertne zunanje evalvacije? Najprej si poglejmo ustreznost primernih navodil in pripomočkov, ki jih je ACS pripravil za potrebe sodelovanja organizacij v ekspertnih zunanjih evalvacijah. PRIMERNOST NAVOdIL IN PRIPOMOČKOV ZA SOdELOVANJE ORGANIZACIJ V EKSPERTNI ZUNANJI EVALVACIJI Organizacije morajo biti za uspešno sodelovanje v ekspertni zunanji evalvaciji ustrezno informirane o samem poteku ekspertnih zunanjih evalvacij. Najprej se organizacije pripravijo na ekspertno zunanjo evalvacijo, in sicer tako, da se udeležijo informativno-izobraževalnega srečanja na ACS, na katerem poleg informacij o namenu ekspertnih zunanjih evalvacij prejmejo tudi natančne informacije o poteku evalvacije, nato pa sledi priprava samoocene organizacije. V ta namen organizacije ravno tako na usposabljanju na ACS prejmejo ustrezna navodila in pripomočke, ki jih vodijo pri pripravi njihove samoocene. Najprej prikazujemo seznam, s katerimi gradivi in pripomočki ACS na informativno-izobraževalnem srečanju sploh »opremi« sodelujoče organizacije v podporo za njihovo sodelovanje v ekspertni zunanjih evalvaciji. Preglednica 19: Pregled gradiv, pripomočkov in navodil za delo sodelujočih organizacij v ekspertnih zunanjih evalvacijah SEZNAM GRAdIV ZA ORGANIZACIJE IZROČKI PREdSTAVITEV NA SREČANJU NA ACS 1. Predstavitev ekspertne zunanje evalvacije 2. Predstavitev kazalnikov in meril za področje Notranji sistem kakovosti 3. Predstavitev kazalnikov in meril za področje Podpora udeležencem pri izobraževanju 4. Predstavitev kazalnikov in meril za področje Razvojna naravnanost organizacije 5. Priprava samoocene organizacije, ki izobražuje odrasle 6. Predstavitev spletne aplikacije za pripravo samoocene organizacije 7. Praktično delo pri pripravi samoocene organizacije 8. Potek ekspertne zunanje evalvacije (s podrobnejšimi navodili o poteku posamezne faze) PRIPOMOČKI ZA dELO 9. Seznam kazalnikov in meril za vsako od področij, ki so predmet presoje (glej prilogo 7) 10. Vodilo za pripravo samoocene organizacije 11. Samoocena – primer Mali Log (gre za primer izpolnjene samoocene izmišljene organizacije) 12. Geslo za dostop do aplikacije EZE za vnos samoocene in dokazil 13. Primer urnika obiska evalvatorjev v organizaciji 14. Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v posameznem letu 15. Po zaključenem srečanju na ACS organizacije prejmejo zapisane dogovore srečanja Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. V zvezi s potekom ekspertne zunanje evalvacije je na informativno-izobraževalnem srečanju organizacijam natančno pojasnjen potek ekspertne zunanje evalvacije po spodnji she-mi, ki ponazarja posamezne faze pri izpeljavi ekspertne zunanje evalvacije v organizaciji. Slika 1: Potek ekspertne zunanje evalvacije Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. V samoevalvaciji smo vprašanja v zvezi s primernostjo obstoječih navodil in praktičnih pripomočkov za sodelovanje organizacij v ekspertni zunanji evalvaciji zastavili tako direktorjem oz. ravnateljem kot koordinatorjem ekspertne zunanje evalvacije iz sodelujočih organizacij. Večino vprašanj smo sicer namenili koordinatorjem, saj je njihovo delo koordinacija priprave samoocene izobraževalne organizacije, organizacija obiska sku-pine evalvatorjev v organizaciji ter vse drugo, kar je v organizaciji potrebno postoriti v zvezi z ekspertno zunanjo evalvacijo. Oni so tisti, ki morajo dobro poznati posamezne faze evalvacije in opravila, ki jih je potrebno pri tem opraviti, zato je njihovo mnenje, ali so za to svojo vlogo dobili primerna navodila in pripomočke, zelo pomembno. Informacije, navodila in pripomočki na uvodnem srečanju organizacij, v katerih bo potekala ekspertna zunanja evalvacija, na Andragoškem centru Slovenije Kot smo že zapisali, ACS pred začetkom izpeljave ekspertne zunanje evalvacije organizira informativno-izobraževalno srečanje s predstavniki organizacij, ki so bile izbrane za sodelovanje v ekspertni zunanji evalvaciji izobraževanja odraslih. Na tem srečanju poleg informacij o namenu ekspertnih zunanjih evalvacij organizacije prejmejo tudi natančne informacije o poteku evalvacije, vsa potrebna gradiva (npr. seznam kazalnikov in meril za presojo v ekspertni zunanji evalvaciji, vodilo za pripravo samoocene organizacije, primer urnika obiska evalvatorjev ipd.), nato pa sledi priprava samoocene organizacije. Menimo, da je to najbolj ustrezen način za posredovanje kar največ informacij sodelujočim organizacijam, pa tudi priložnost, da se razčistijo morebitne dileme v zvezi s potekom izpeljave ekspertne zunanje evalvacije. Poglejmo si teme, ki jih skupaj s predstavniki sodelujočih organizacij (direktor oz. ravnatelj in koordinator iz vsake organizacije) obravnavamo na informativno-izobraževalnem srečanju na ACS13: 1. predstavitev ekspertne zunanje evalvacije, 2. predstavitev kazalnikov in meril za področje notranji sistem kakovosti, 3. predstavitev kazalnikov in meril za področje podpora udeležencem pri izobraževanju, 4. predstavitev kazalnikov in meril za področje razvojna naravnanost organizacije, 5. priprava samoocene organizacije, ki izobražuje odrasle, 6. predstavitev spletne aplikacije za pripravo samoocene organizacije, 7. praktično delo pri pripravi samoocene organizacije, 8. potek ekspertne zunanje evalvacije. O tem, kako koristno je uvodno srečanje na ACS z vidika pridobivanja potrebnih informacij o poteku ekspertne zunanje evalvacije, smo vprašali direktorje oz. ravnatelje iz sodelujočih organizacij. Preglednica 20: Mnenja direktorjev oz. ravnateljev o tem, ali jim je uvodno srečanje na Andragoškem centru Slovenije pomagalo pri pridobivanju potrebnih informacij o poteku ekspertne zunanje evalvacije (N=9) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Uvodnega srečanja se nisem udeležil, zato tega ne morem ocenjevati. 2 16,7 22,2 Ne, vse potrebne informacije bi lahko pridobil pisno in/ali po telefonu. 0 0,0 0,0 Ne, informacije niso bile zadostne, saj nisem pridobil prave predstave, kako bo ekspertna zunanja evalvacija potekala. 0 0,0 0,0 Da, dobil sem koristne informacije o tem, kako bo potekala ekspertna zunanja evalvacija. 6 50,0 66,7 Da, imel sem priložnost, da razčistim dileme, ki sem jih imel pred začetkom izvajanja ekspertne zunanje evalvacije. 4 33,3 44,4 Drugo. 0 0,0 0,0 SKUPAJ 12 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. 13 Povzeto po urnikih izobraževalnih srečanj s sodelujočimi organizacijami v ekspertni zunanji evalvaciji v obdobju od 2012 do 2016. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Direktorji oz. ravnatelji so lahko izbrali več odgovorov. Dva direktorja oz. ravnatelja, ki sta sodelovala v anketiranju, nista mogla oceniti uvodnega srečanja, ker se ga nista udeležila. Dve tretjini direktorjev oz. ravnateljev, ki so lahko ocenili uvodno srečanje s sodelujočimi organizacijami na ACS, sporočata, da so na srečanju prejeli koristne informacije o poteku ekspertne zunanje evalvacije. Slaba polovica pa jih je (tudi) izbralo odgovor, da so na informativno-izobraževalnem srečanju imeli priložnost razčistiti dileme, ki so jih imeli pred začetkom izvajanja ekspertne zunanje evalvacije. Glede na pozitivne ocene uvodnega srečanja ni presenetljivo, da prav vsi anketirani direktorji oz. ravnatelji tudi priporočajo, da ACS v prihodnje obdrži uvodno srečanje s sodelujočimi organizacijami, ki ga izpelje kot predpriprave na izvedbo ekspertne zunanje evalvacije v posamezni organizaciji. V nadaljevanju smo tudi koordinatorje iz organizacij vprašali o koristnosti uvodnega srečanja na ACS z vidika pridobitve potrebnih informacij o tem, kako sploh potekajo ekspertne zunanje evalvacije. srečanje na Andragoškem centru Slovenije pomagalo pri pridobivanju potrebnih informacij o poteku ekspertne zunanje evalvacije (N=9) Preglednica 21: Odgovori koordinatorjev iz organizacij na vprašanje, ali jim je uvodno FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Uvodnega srečanja se nisem udeležil, zato tega ne morem ocenjevati. 0 0,0 0,0 Ne, vse potrebne informacije bi lahko pridobil pisno in/ali po telefonu. 0 0,0 0,0 Ne, informacije niso bile zadostne, saj nisem pridobil prave predstave, kako bo ekspertna zunanja evalvacija potekala. 1 7,7 11,1 Da, dobil sem koristne informacije o tem, kako bo potekala ekspertna zunanja evalvacija. 4 30,8 44,4 Da, imel sem priložnost, da razčistim dileme, ki sem jih imel pred začetkom izvajanja ekspertne zunanje evalvacije. 7 53,8 77,8 Drugo. 1 7,7 11,1 SKUPAJ 13 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za koordinatorje ekspertne zunanje evalvacije v evalviranih organizacijah - 2017, arhiv Andragoškega centra Slovenije. Pri tem vprašanju so koordinatorji lahko izbrali več odgovorov. Koordinatorji so povečini (sedem koordinatorjev oz. več kot tri četrtine anketirancev) sporočili, da jim je uvodno srečanje na ACS pomagalo pri pridobivanju potrebnih informacij o poteku ekspertne zunanje evalvacije, hkrati pa so imeli še priložnost, da na njem razčistijo dileme, ki so jih morebiti imeli pred začetkom izvajanja ekspertne zunanje evalvacije. Štirje koordinatorji so sporočili, da so na uvodnem srečanju dobili koristne informacije o tem, kako bo potekala ekspertna zunanja evalvacija. Enkrat pa je bil izbran (tudi) odgovor »Drugo.« – koordinatorica, ki ga je izbrala, je posebej izpostavila možnost pridobivanja podatkov v zvezi s potekom ekspertne zunanje evalvacije po telefonu, kar razumemo kot pohvalo, saj je razumljivo, da se koordinatorjem kasneje, ko se začnejo ukvarjati s praktičnim delom, odpirajo še dodatna vprašanja:  Na ACS so bili dostopni tudi naknadno, na dodatna vprašanja sem dobila odgovore tudi po telefonu. Samo en koordinator je sporočil, da informacije na uvodnem srečanju niso bile zadostne in da na tej podlagi ni dobil prave predstave, kako bo ekspertna zunanja evalvacija potekala. Čeprav gre le za eno mnenje, pa ga ne kaže spregledati, saj pripoveduje o tem, da je treba v prihodnje razmisliti še o kakšnem drugem načinu, drugi vsebini usposabljanja na uvodnem srečanju za organizacije. Na njem je informacij veliko, zato je mogoče, da vsi sodelujoči, zlasti tisti, ki so »novinci« na področju sistematičnega dela za razvoj kakovosti, ne dobijo dobrega uvida v to, kako bo ekspertna evalvacija potekala, kaj vse bo treba v zvezi z njo narediti in kaj bo organizaciji prinesla. Ena izmed možnosti bi bil lahko pogovor z organizacijami, pri katerih je že potekala ekspertna zunanja evalvacija. Vsekakor je treba v prihodnje o temah in metodah usposabljanja na uvodnem srečanju ponovno razmisliti. Koordinatorje smo vprašali o smiselnosti ohranitve uvodnega srečanja za organizacije, ki bodo sodelovale v prihodnjih evalvacijah. Preglednica 22: Odgovori koordinatorjev iz organizacij na vprašanje, ali bi priporočili, da se uvodno srečanje z organizacijami, ki so pred ekspertno zunanjo evalvacijo, obdrži (N=9) FREKVENCA OdSTOTEK Ne. 0 0,0 Vseeno je. 2 22,2 Da. 7 77,8 SKUPAJ 9 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za koordinatorje ekspertne zunanje evalvacije v evalviranih organizacijah - 2017, arhiv Andragoškega centra Slovenije. Večina koordinatorjev je sporočila, da naj se v prihodnje uvodno srečanje z organizacijami, ki pričenjajo s postopkom ekspertne zunanje evalvacije, ohrani. Dva koordinatorja pa sta mnenja, da je vseeno, ali se uvodno srečanje z organizacijami, ki so se odločile za sodelovanje v ekspertnih zunanjih evalvacijah, organizira ali ne. Ti dve mnenji sta sicer v manjšini, vseeno pa se sprašujemo, na kakšen način bi bilo mogoče v tem primeru organizacijam posredovati zadostne informacije. Dvomimo, da bi bilo to mogoče zgolj z besedilnimi zapisi, pa če bi bili še tako obsežni in podrobni. Edina možnost, ki se odpira in bi bila mogoče učinkovita, je priprava video usposabljanja, ki bi organizacije vodilo od koraka do koraka. Vsekakor izziv za razmišljanje v prihodnje! Če združeno pogledamo odgovore koordinatorjev na obe vprašanji v zvezi z uvodnim srečanjem z organizacijami, ki bodo v tekočem letu sodelovale v ekspertni zunanji evalvaciji, smo z dobljenimi povratnimi informacijami na splošno lahko zadovoljni. Koordinatorji so v večinskem deležu sporočili, da je uvodno srečanje na ACS dobrodošlo – tudi zato, ker omogoča razčiščevanje morebitnih dilem, ki so jih predstavniki organizacij, ki so se odločile za sodelovanje v ekspertni zunanji evalvaciji, imeli pred začetkom izvajanja ekspertne zunanje evalvacije. Večina jih ob morebitnem nadaljnjem izvajanju ekspertnih zunanjih evalvacij zato priporoča, da se uvodno srečanje obdrži tudi v prihodnje. Informacije, navodila in pripomočki v zvezi s pripravo samoocene organizacije Na uvodnem srečanju na Andragoškem centru Slovenije se koordinatorji in direktorji oz. ravnatelji sodelujočih organizacij seznanijo, da organizacija najprej pripravi samooceno na področjih, ki bodo evalvirana in priloži ustrezna dokazila. Samooceno pripravijo na podlagi vodila, ki jih vodi po posameznih merilih, da lahko organizacija na čim bolj sistematičen in jasen način opiše ter dokaže, kako dosega posamezna merila. Z metodologijo izpolnjevanja vodila organizacije posebej natančno seznanimo. Organizacije v obliki gradiva prejmejo prazno vodilo za pripravo samoocene z naborom področij, sklopov, kazalnikov in meril za področji, ki so predmet presoje v primeru posamezne organizacije. Na uvodnem srečanju organizacije posebej informiramo, da je na samooceni velik poudarek, saj predstavlja podlago za ekspertno zunanjo evalvacijo, za obisk evalvatorjev v organizaciji (razgovori z različnimi subjekti), zato naj bi bila pripravljena tako, da lahko evalvatorji dobijo čim boljši vpogled v stanje na izbranih področjih presoje v organizaciji. Od leta 2015 je organizacijam za pripravo in oddajo samoocene organizacije na voljo spletna aplikacija za pripravo samoocene organizacije, ki je ta del priprav na ekspertno zunanjo evalvacijo še poenostavila, saj organizacije odtlej lahko dokazila prilagajo v elektronski obliki in ni več potrebno prilagati številnih dokazil v papirni obliki. Slika 2: Spletna aplikacija EZE za pripravo samoocene organizacije – delovno polje za vnos samoocene organizacije na ravni posameznega merila Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Poglejmo si, kaj so nam v samoevalvaciji sporočili koordinatorji ekspertne zunanje evalvacije iz sodelujočih organizacij v zvezi z navodili ACS za pripravo samoocene. Imeli so možnost izbire enega odgovora. Preglednica 23: Odgovori koordinatorjev na vprašanje, ali so bila navodila za pripravo samoocene z dokazili primerna (N=9) FREKVENCA OdSTOTEK Ne, sploh mi ni bilo jasno, kaj moramo pripraviti. 0 0,0 Deloma, načelno sem vedel, kaj naj bi pripravili, a marsikaj mi še ni bilo jasnega. 3 33,3 Da, navodila so bila povsem jasna, vedel sem, kaj bo treba pripraviti. 6 66,7 SKUPAJ 9 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za koordinatorje ekspertne zunanje evalvacije v evalviranih organizacijah - 2017, arhiv Andragoškega centa Slovenije. Iz odgovorov koordinatorjev lahko razberemo, da je večina (dve tretjini koordinatorjev) navodila ocenila za povsem jasna in da so natančno vedeli, kaj bo potrebno pripraviti v fazi priprave samoocene organizacije. Ni pa tako razveseljiv izid, da je tretjina koordinatorjev navodila za pripravo samoocene z dokazili ocenila kot delno primerna – načelno so sicer vedeli, kaj je potrebno pripraviti, a je ostalo še marsikaj nejasnega. Na informativno-izobraževalnem srečanju je precejšen poudarek namenjen tudi predstavitvi vodila za pripravo samoocene organizacije ter spletni aplikaciji, ki je od leta 2015 temu v podporo. Glede na dobljene izide anketiranja koordinatorjev sodelujočih organizacij pa bi v prihodnje veljalo še temeljiteje razmisliti, na kakšen način navodila za pripravo samoocene organizacije predstaviti še bolj natančno, še konkretneje in jasneje. Informacije, navodila in pripomočki v zvezi z obiskom ekspertnih zunanjih evalvatorjev v izobraževalni organizaciji Naslednja faza – torej po oddaji samoocene organizacije – je priprava na obisk skupine ekspertnih zunanjih evalvatorjev v organizaciji. Po oddaji samoocene koordinator sku-pine evalvatorjev iz ACS začne pripravljati obisk ekspertnih zunanjih evalvatorjev v organizaciji, pri čemer koordinator iz sodelujoče organizacije sodeluje s koordinatorjem skupine evalvatorjev. To je druga vsebinsko zahtevna faza za organizacijo. Po lastni presoji morajo v organizaciji izbrati sogovornike, ki jih iz različnih ciljnih skupin predlagajo evalvatorji. Izbrati morajo osebe, ki poznajo organizacijo, ki bodo vedele kaj povedati v zvezi z evalviranimi področji, ki so komunikativne in objektivne. Seznaniti jih morajo z namenom evalvacije in njihovo vlogo pri tem. Zato je v tej fazi pomembno, da imajo v organizacijah dobra navodila, kako naj opravijo to nalogo. Gre pa pri tem, seveda, tudi za operativno organizacijo obiska. Koordinator v organizaciji skupaj z direktorjem oz. ravnateljem k sodelovanju na obisku povabi predvidene predstavnike zaposlenih in zunanjih sodelavcev, udeležencev, zunanjih partnerjev (Možina idr. 2013, str. 35). Obisk mora potekati brez zapletov, saj je vsebinsko zelo zahteven tako za organizacijo kot evalvatorje, zato je dobra organizacija pri tem nujna. Za jasnejšo predstavo o poteku obiska v organizaciji koordinator organizacije primer urnika obiska evalvatorjev prejme že na informativno-izobraževalnem srečanju na ACS. Slika 3: Primer urnika obiska skupine ekspertnih zunanjih evalvatorjev v organizaciji ČAS TRAJANJE KAJ SOdELUJOČI IZ IZObRAžEVALNE ORGANIZACIJE 9.00 – 9.30 30 minut Priprave ekspertnih zunanjih evalvatorjev na izvedbo pogovorov / 9.30 – 9.45 15 minut Uvodni pogovor z vsemi, ki bodo sodelovali pri pogovorih • direktor oz. ravnatelj • vodja skupine za kakovost • član skupine za kakovost • vodja projektov • drugi intervjuvanci 9.45 – 11.15 90 minut Pogovor z direktorjem/ ravnateljem • direktor oz. ravnatelj Pogovor z vodjo in člani skupine za kakovost • vodja skupine za kakovost • člani skupine za kakovost 11.15 – 11.45 30 minut Pogovor evalvatorjev in odmor / 11.45 – 13.15 90 minut Pogovor z organizatorjem/vodjo izobraževanja • vodja izobraževanja • organizator izobraževanja Pogovor z učitelji • učitelj 1 • učitelj 2 • učitelj 3 13.15 – 14.15 60 minut Pogovor evalvatorjev in odmor za kosilo / 14.15 – 15.30 75 minut Pogovor z udeleženci • udeleženec 1 • udeleženec 2 • udeleženec 3 Ogled organizacije/šole • vodja skupine za kakovost/koordinator ekspertne zunanje evalvacije 15.30 – 16.15 45 minut Priprava prve povratne informacije / 16.15 – 17.00 45 minut Prva povratna informacija in pogovor o izpeljanem obisku ekspertnih zunanjih evalvatorjev • direktor oz. ravnatelj • vodja skupine za kakovost • člani skupine za kakovost • vodja projektov • drugi intervjuvanci Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Poglejmo si sedaj dobljene podatke samoevalvacije v zvezi z navodili o poteku obiska za koordinatorje v organizaciji. Koordinatorji (bilo jih je devet) so lahko izbrali enega izmed ponujenih odgovorov. Preglednica 24: Odgovori koordinatorjev iz organizacij na vprašanje, ali so dobili dovolj jasna navodila, kako naj bi potekal obisk in kaj morajo pripraviti v zvezi z njim (N=9) FREKVENCA OdSTOTEK Ne, navodila niso bila dovolj jasna. 0 0,0 Navodila so bila jasna le deloma, zato sem moral dodatne informacije poiskati pri koordinatorju z ACS. 1 11,1 Da, navodila so bila dovolj jasna. 8 88,9 SKUPAJ 9 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za koordinatorje ekspertne zunanje evalvacije v evalviranih organizacijah - 2017, arhiv Andragoškega centra Slovenije. Velika večina koordinatorjev (osem od devetih) je navodila o poteku obiska in vlogi koordinatorja v organizaciji pri pripravi obiska ocenila kot dovolj jasna, kar je dober podatek. Dosedanja navodila koordinatorjem so primerna, seveda pa je treba imeti v mislih tudi to, da za enega koordinatorja niso bila zadostna in zato kaže razmišljati, kako bi navodila še izboljšali. Koordinatorji v sodelujočih organizacijah, ki smo jih vprašali o primernosti navodil in pripomočkov za delo organizacije v ekspertnih zunanjih evalvacijah, so nam z anketiranjem sporočili, da so v veliki meri z njimi zadovoljni. Zadovoljni so tudi z navodili za pripravo obiska ekspertnih zunanjih evalvatorjev v organizaciji. V primerih, ko niso imeli dovolj informacij, so se nekateri koordinatorji obrnili na ACS, kjer so pridobili potrebne dodatne informacije. Prav zato pa sta bili, med drugim, vzpostavljeni vlogi koordinatorjev v organizaciji in v skupini evalvatorjev, da se morebitne nejasnosti še razčistijo in verjetno potreba po teh stikih nikoli ne bo zamrla. PRIMERNOST NAVOdIL IN PRIPOMOČKOV ZA dELO EKSPERTNIH ZUNANJIH EVALVATORJEV ZA IZPELJAVO EKSPERTNE ZUNANJE EVALVACIJE S samoevalvacijo smo seveda želeli pridobiti tudi mnenja ekspertnih zunanjih evalvatorjev, ključnih strokovnjakov za izvedbo ekspertnih zunanjih evalvacij, ali ocenjujejo, da so jim bila zagotovljena ustrezna navodila in pripomočki, instrumenti, potrebni za izpeljavo ekspertnih zunanjih evalvacij. Informacije, navodila in pripomočki na temeljnem usposabljanju ter nadaljevalnih spopolnjevanjih za ekspertne zunanje evalvatorje Najprej prikazujemo seznam gradiv in pripomočkov, ki jih ekspertni zunanji evalvatorji prejmejo na temeljnem usposabljanju ter na nadaljnjih spopolnjevanjih za njihovo delo v ekspertni zunanji evalvaciji. Preglednica 25: Pregled gradiv, pripomočkov in navodil za delo ekspertnih zunanjih evalvatorjev v ekspertnih zunanjih evalvacijah SEZNAM GRAdIV S TEMELJNEGA USPOSAbLJANJA ZA EKSPERTNE ZUNANJE EVALVATORJE (2012, 2014) IZROČKI PREdSTAVITEV PREdAVATELJIC 1. Predstavitev ekspertne zunanje evalvacije 2. Področja presoje ekspertne zunanje evalvacije in merila za presojo 3. Pregled samoocene izobraževalne organizacije, njeno ovrednotenje ter priprava vprašanj, ki se presojajo na obisku izobraževalne organizacije 4. Organizacija in priprava obiska v izobraževalni organizaciji 5. Izpeljava obiska v izobraževalni organizaciji 6. Priprava končnega poročila o ekspertni zunanji evalvaciji 7. Navodila za igro vlog – priprave na izvedbo obiska izobraževalne organizacije PRIPOMOČKI ZA dELO 8. Seznam kazalnikov in meril za vsako od področij, ki so predmet presoje 9. Vodilo za pripravo samoocene organizacije 10. Samoocena – primer Mali Log (gre za primer izpolnjene samoocene izmišljene organizacije) 11. Pripomoček za pregled in ovrednotenje samoocene izobraževalne organizacije 12. Časovni potek priprave in izpeljave ekspertne zunanje evalvacije 13. Primer urnika obiska 14. Poročilo o ekspertni zunanji evalvaciji (struktura poročila) Primer: SEZNAM GRAdIV S SPOPOLNJEVANJA ZA EKSPERTNE ZUNANJE EVALVATORJE (2016) IZROČKI PREdSTAVITEV PREdAVATELJIC 15. Dogajanje na področju kakovosti 2016 16. Področja, kazalniki in merila presoje – spremembe in dopolnitve kazalnikov 17. Potek ekspertnih zunanjih evalvacij v letu 2016 18. Predstavitev dopolnitev aplikacije EZE za pregled in ovrednotenje samoocen organizacij PRIPOMOČKI ZA dELO 19. Seznam kazalnikov in meril za vsako od področij, ki so predmet presoje 20. Pripomoček za pregled in ovrednotenje samoocene izobraževalne organizacije 21. Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v letu 2016 22. Primer urnika obiska Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Posebej velja še omeniti, da smo v letih 2013 in 2014 z ekspertnimi zunanjimi evalvatorji na spopolnjevanjih obravnavali in sprejeli tudi Etični kodeks ekspertnih zunanjih evalvatorjev14, ki so ga evalvatorji v letu 2014 tudi podpisali. S tem so se zavezali, da bodo pri svojem delu ekspertnega zunanjega evalvatorja ravnali etično in izjavili, da opredeljena etična načela v celoti sprejemajo in se zavezujejo k njihovemu uveljavljanju. Evalvatorje smo vprašali, kako so bili zadovoljni z navodili in dogovori, ki so jih dobili za njihovo delo. Na vprašanje je odgovarjajo vseh enajst sodelujočih evalvatorjev, lahko pa so izbrali več ponujenih odgovorov. 14 Etični kodeks ekspertnih zunanjih evalvatorjev (2014). Interno gradivo. Ljubljana: Andragoški center Slovenije. Preglednica 26: Mnenja evalvatorjev o navodilih in dogovorih za izpeljavo evalvacije, ki so jih prejeli na spopolnjevanju Andragoškega centra Slovenije (N=11) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Navodila in dogovori pred začetkom vsakokratne evalvacije niso potrebna, ker le-te potekajo po dogovorjenem načinu, ki smo ga spoznali na temeljnem usposabljanju. 0 0,0 0,0 Vse potrebne informacije o poteku in organizaciji pred začetkom vsakokratne evalvacije bi lahko pridobil pisno in/ali po telefonu. 0 0,0 0,0 Nujno je, da bi pred začetkom vsakokratne evalvacije dobili konkretne informacije o tem, kako bo potekala ekspertna zunanja evalvacija, vendar to ni zagotovljeno v zadostni meri. 0 0,0 0,0 Pred začetkom vsakokratne evalvacije dobim kakovostne konkretne informacije o tem, kako bo potekala ekspertna zunanja evalvacija. 10 23,8 90,9 Nujno je, da bi pred začetkom izvajanja ekspertne zunanje evalvacije razčistili dileme, ki jih imamo, vendar to ni zagotovljeno v zadostni meri. 1 2,4 9,1 Pred začetkom vsakokratnega izvajanja ekspertne zunanje evalvacije razčistimo dileme, ki jih imamo in to se mi zdi dobro. 9 21,4 81,8 Pred začetkom vsakokratne evalvacije bi morali osvežiti znanje, ki smo ga pridobili v preteklih letih, vendar to ni zagotovljeno v zadostni meri. 0 0,0 0,0 Pred začetkom vsakokratne evalvacije je dobro poskrbljeno za osvežitev znanja, ki smo si ga pridobili v preteklih letih. 11 26,2 100 Pred začetkom vsakokratne evalvacije bi se morali (ponovno) pogovoriti o merilih, ki jih uporabljamo pri vrednotenju, in o morebitnih novostih, vendar to ni zagotovljeno. 1 2,4 9,1 Pred začetkom vsakokratne evalvacije je dobro to, da se (ponovno) pogovorimo o merilih, ki jih bomo uporabljali pri vrednotenju in o morebitnih novostih. 10 23,8 90,9 Drugo. 0 0,0 0,0 SKUPAJ 42 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Odgovori pri vprašanju so bili strukturirani v štiri sklope. V prvem sklopu smo evalvatorjem omogočili, da se izrečejo na splošno o navodilih in dogovorih pred začetkom vsakokratne evalvacije. Nihče ni ocenil, da te informacije in navodila niso potrebna ali pa da bi jih lahko dobili zgolj v pisni obliki. Kar deset od enajstih evalvatorjev je ocenilo, da pred začetkom vsakokratne evalvacije dobijo kakovostne in konkretne informacije o tem, kako bo potekala ekspertna zunanja evalvacija, medtem ko se en evalvator o tem ni izrekel. V drugem sklopu odgovorov so evalvatorji imeli možnost, da se izrečejo o tem, ali imajo pred začetkom vsakokratnega izvajanja ekspertne zunanje evalvacije priložnost razčistiti dileme, ki jih imajo v zvezi z njo. Pozitivno se je o tem izreklo devet evalvatorjev, eden se sploh ni izrekel, eden pa meni, da to ni zagotovljeno v zadostni meri. Čeprav gre za mnenje le enega evalvatorja, pa opozorila ne kaže spregledati. Zelo pomembno je namreč, da evalvatorji enotno razumejo merila, da natančno vedo, kako ocenjevati dokazila za izpolnjevanje meril, da vedo, kako voditi pogovore, da znajo ravnati v različnih komunikacijskih situacijah. Nujno je, da se pred začetkom izvajanja evalvacije vse dileme v zvezi s temi in podobnimi vprašanji razčistijo tako, da vsi evalvatorji dosežejo čim bolj poenoteno razumevanje posameznih pojavov in so kasneje suvereni v svojem ravnanju. Zato bo treba v prihodnje prav o razčiščevanju dilem evalvatorjev na spopolnjevanjih še spregovoriti. V tretjem sklopu odgovorov so se evalvatorji izrekali o tem, ali je bilo pred začetkom vsakokratne evalvacije dobro poskrbljeno za osvežitev znanja. Prav vsi so to potrdili. V zadnjem sklopu pa smo evalvatorjem dali možnost, da povedo, ali imajo zadostne možnosti, da se pred začetkom vsakokratne evalvacije lahko pogovorijo o merilih, ki jih uporabljajo pri vrednotenju, in o morebitnih novostih v zvezi z njimi. Deset evalvatorjev je potrdilo, da je ta možnost zagotovljena v zadostni meri, en evalvator pa meni, da to ni zagotovljeno. Informacije, navodila in pripomočki v zvezi s pripravo samoocene organizacije Pred začetkom vsakokratne evalvacije se z evalvatorji dogovorimo, na kakšen način se ocenjuje samooceno organizacije. Evalvatorji v ta namen na spopolnjevanju prejmejo pregled področij s kazalniki in merili, ki se v tistem letu evalvirajo v posameznih organizacijah, obrazec, s pomočjo katerega ocenjujejo samooceno, organizacijska navodila, kako poteka ocenjevanje doseganja posameznih meril ter kako si sledijo nadaljnje faze evalvacije. Ključen pripomoček evalvatorjev pri njihovem delu je »Pripomoček za pregled in ovrednotenje samoocene organizacije, ki izobražuje odrasle«. Z njim vsak posamezen evalvator oceni, ali organizacija, ki izobražuje odrasle, dosega posamezno merilo, zapiše vprašanja za vodene pogovore na obisku v organizaciji, ki izobražuje odrasle, skupaj s podatkom, kateremu subjektu so namenjena posamezna vprašanja ter zapiše skupno oceno za posamezno področje, ki je predmet presoje. Pri tem se izhajajoč iz doseganja posameznih meril zapišejo ugotovljene dobre točke, šibke točke ter možne izboljšave za vsak posamezen sklop, ki je del posameznega področja kakovosti, ki je predmet presoje. Zapiše se tudi splošna, celovita ocena dobrih in šibkih točk organizacije ter celovit pregled možnih predlogov za izboljšave, ki zadevajo razvitost vsakega posameznega področja kakovosti, ki je predmet presoje. Slika 4: Izsek iz pripomočka za pregled in ovrednotenje samoocene organizacije, ki izobražuje odrasle SKLOP 4 RAZVIJANJE KAKOVOSTI Zap. št. KAZALNIK Št. merila MERILO Ali organizacija, ki izobražuje odrasle, dosega merilo? VPRAŠANJA ZA VODENE POGOVORE NA OBISKU V ORGANIZACIJI, KI IZOBRAŽUJE ODRASLE (in komu so namenjena) DA DELNO NE NI PODATKA 14 Načrtnost in sistematičnost pri načrtovanju razvojnih ukrepov 1.4.1.1 Organizacija, ki izobražuje odrasle, v rednih časovnih obdobjih pripravi pisni akcijski načrt za vpeljevanje izboljšav, iz katerega je razvidno, da je pripravljen na podlagi izpeljane samoevalvacije. 15 Vpeljevanje izboljšav 1.4.2.1 V zadnjih treh koledarskih letih je organizacija, ki izobražuje odrasle, vpeljala različne izboljšave kakovosti, ki so izhajale iz ugotovitev samoevalvacije in so bile začrtane v pisnemu akcijskemu načrtu za razvoj kakovosti. 16 Spremljanje učinkov vpeljevanja izboljšav 1.4.3.1 Organizacija, ki izobražuje odrasle, ima vpeljane načine spremljanja učinkov vpeljevanja izboljšav, opredeljenih v akcijskih načrtih za vpeljevanje izboljšav in razvoja kakovosti. Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Za ocenjevanje samoocen organizacij imajo evalvatorji od leta 2015 na voljo tudi posebno spletno aplikacijo, s pomočjo katere pregledujejo opise, podatke in dokazila posamezne organizacije. Aplikacija omogoča, da več evalvatorjev hkrati pregleduje samooceno organizacije in njena dokazila, kar v prvih treh letih izvajanja ekspertnih zunanjih evalvacij, ko so organizacije dokazila pošiljala še v papirni obliki, brez razmnoževanja obsežne dokumentacije, ni bilo možno. Slika 5: Pogled na delovno polje evalvatorja za ovrednotenje ocene samoocene organizacije v spletni aplikaciji EZE po posameznih merilih Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. S samoevalvacijo smo želeli pridobiti mnenja evalvatorjev o tem, kako ocenjujejo primernost pripomočkov in navodil za pripravo ovrednotenja samoocene organizacije. Prikazana so v spodnji preglednici, evalvatorji so lahko izbrali en odgovor. Preglednica 27: Odgovori evalvatorjev na vprašanje o primernosti pripomočkov za delo in navodil za pripravo ocene samoocene (N=11) FREKVENCA OdSTOTEK Ne, niti navodila niti pripomočki niso primerni. 0 0,0 Navodila so primerna, pripomočki pa ne. 0 0,0 Navodila so primerna, pripomočki pa deloma. 0 0,0 Pripomočki so primerni, navodila pa ne. 0 0,0 Pripomočki so primerni, navodila pa deloma. 0 0,0 Tako navodila kot pripomočki so deloma primerni. 0 0,0 Tako navodila kot pripomočki so primerni, jasno vem, kaj bo treba pripraviti in po kakšnem postopku. 11 100,0 Drugo. 0 0,0 SKUPAJ 11 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Obstoječe pripomočke za delo in navodila za pripravo ocene samoocene so prav vsi sodelujoči evalvatorji ocenili kot primerne, saj evalvatorji z njihovo pomočjo dobijo jasno predstavo o tem, kaj je potrebno pripraviti v fazi ovrednotenja ocene samoocene organizacije in na kakšen način se to opravi. Pri ovrednotenju ocene samoocene organizacije je presoja dokazil, ki jih organizacija priloži samooceni, da podkrepi doseganje meril, pogosto zelo zahteven vidik dela ekspertnega zunanjega evalvatorja. Pogosto se na primer zgodi, da so dokazila organizacije pomanjkljiva in jih evalvator zaradi nepoznavanja konkretnih situacij v organizaciji težko razume z vidika doseganja posameznega merila, lahko pa v nekaterih primerih dokazila tudi ustvarijo dvom v resničnost določenih navedb organizacije. Zato je obravnavi presojanja ustreznosti dokazil za doseganje posameznih meril namenjeno veliko pozornosti v okviru letnih spolnjevanj ekspertnih zunanjih evalvatorjev; v zvezi s tem se običajno odpre podrobnejša razprava in deljenje strokovnih mnenj ter izkušenj med evalvatorji. Evalvatorje smo v anketi v zvezi s presojo dokazil prosili, da ocenijo navodila v zvezi z ocenjevanjem dokazil, ki so jih prejeli pred začetkom vsakokratne evalvacije; izbrali so lahko enega izmed ponujenih odgovorov. Preglednica 28: Mnenja evalvatorjev o primernosti navodil v zvezi z ocenjevanjem dokazil, ki so jih prejeli pred začetkom vsakokratne evalvacije primerna (N=11) FREKVENCA OdSTOTEK Ne, sploh mi ni bilo jasno, kako naj bi ocenjeval posamezna dokazila. 0 0,0 Deloma, načelno sem vedel, kako naj bi ocenjeval dokazila, a marsikaj mi še ni bilo jasnega. 2 18,2 Da, navodila v zvezi z ocenjevanjem dokazil so bila povsem jasna. 8 72,7 Drugo. 1 9,1 SKUPAJ 11 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Primernost navodil v zvezi z ocenjevanjem dokazil so anketirani evalvatorji večinoma ocenili dobro (osem od enajstih), saj so se odločili za odgovor, da so jim bila prejeta navodila povsem jasna. Dva evalvatorja pa sta dala povratno informacija, da so jima bila navodila deloma jasna, da sta načeloma vedela, kako je potrebno ocenjevati dokazila, da pa jima marsikaj še ni bilo jasno. En evalvator je izbral odgovor »Drugo.« in ga dodatno pojasnil:  Navodila v zvezi z ocenjevanjem dokazil so bila jasna. Se pa pri ocenjevanju dejanskih dokazil posamične organizacije zgodi, da naletimo na dileme, na katere v predhodnih evalvacijah nismo, in se je potrebno zato v skupini evalvatorjev pogovoriti in uskladiti o čisto novih situacijah in primerih. Zato pa je zelo pomembno, da o takšnih primerih razpravljamo, se pogovorimo in uskladimo na naslednjem spopolnjevanju, pred izpeljavo naslednjih evalvacij. Iz tega odgovora sicer lahko razberemo, da so bila tudi temu evalvatorju navodila v zvezi z ocenjevanjem dokazil jasna, opozoril pa je na dileme, ki se pojavljajo pri vrednotenju dokazil. Dokazila, ki jih prilagajo evalvirane organizacije, seveda niso bila pripravljena z namenom, da bodo dokazovala izpolnjevanje meril evalvacije, pač pa nastajajo ob različnem delu v organizaciji. Nekatera so bolj primerna za ocenjevanje, druga manj, iz nekaterih pa je sploh težko ugotoviti, kako so povezana z določenim merilom. Prav gotovo vseh teh različnih situacij ni mogoče urediti zgolj z navodili, pač pa je zelo pomembno, da je zagotovljen pogovor evalvatorjev, med samim potekom evalvacije in po njegovem zaključku, na katerem se obravnavajo različni pogledi na določeno dokazilo, išče skupno odločitev na podlagi tehtanja argumentov za in proti. Ne moremo reči, da v sedanjem načinu izpeljave evalvacije te možnosti niso zagotovljene, saj se skupina evalvatorjev med potekom evalvacije v določeni organizaciji neprestano posvetuje in to v vseh fazah, na koncu pa je vedno izpeljana tudi evalvacijska delavnica. Koristnost takega načina dela potrjuje tudi ta samoevalvacija; ne glede na to pa je potrebno v prihodnje razmišljati, kako bi lahko še izboljšali procese ocenjevanja v evalvacijski skupini in na sploh v celotnem postopku načrtovanja in izpeljave evalvacij. Informacije, navodila in pripomočki v zvezi s pripravo evalvacijskega instrumentarija Fazi priprave in uskladitve ocene samoocene organizacije, ki sodeluje v ekspertni zunanji evalvaciji, sledi priprava in usklajevanje vprašalnikov ter opomnikov za obiske evalvatorjev v organizacijah. Potrebno je namreč pripraviti vprašanja za različne subjekte, za katere se je skupina evalvatorjev odločila, da želi z njimi opraviti pogovor. Prav tako je potrebno pripraviti opomnike za pregled dodatne dokumentacije in oglede prostorov ter opreme, če se je skupina evalvatorjev tako odločila. Namen vprašanj in opomnikov je pridobiti dodatna pojasnila in informacije v zvezi z doseganjem posameznih meril, pa tudi pridobiti odgovore na morebitna vprašanja, ki so se evalvatorjem porodila ob pregledu samoocene organizacije in njenih dokazil. Pogovori in ogledi so namenjeni tudi razjasnitvi morebitnih dilem ali nerazumevanju dokazil ipd. Sam potek priprave instrumentarija za izvedbo obiska pa poteka v več fazah. Omenili smo že, da v zadnjih letih15 priprava ocene samoocene evalvirane organizacije poteka tako, da prvi osnutek pripravi koordinator skupine evalvatorjev – ta osnutek vsebuje tudi predlog subjektov, s katerimi naj bi potekal pogovor ob obisku ter ogledov dodatne dokumentacije, prostorov in opreme in tudi predlog vprašanj za posamezni subjekt oz. opomnik za oglede. V naslednji fazi koordinator tak zapis pošlje vsem evalvatorjem v skupini s pisnimi navodili, kakšna je nato njihova naloga. Primer takega navodila je naslednji: 15 V začetnih letih je oblikovanje instrumentarija potekalo tako, da je vsak evalvator sam pripravil vprašanja za posamezni subjekt, koordinator skupine evalvatorjev pa je na tej podlagi oblikoval enoten instrumentarij. Tak način se ni izkazal kot primeren, ker so evalvatorji napisali zelo veliko enakih ali podobnih vprašanj, nastali so zelo dolgi vprašalniki, ki jih je bilo nato zelo težko oblikovati do sprejemljive vsebine in dolžine. Zapisala sem tudi predlog, s kom bi se na obisku pogovarjali. Za izbrane subjekte sem pripravila predlog vprašanj. Tokrat sem poskušala biti disciplinirana že v tej fazi, da jih nisem napisala preveč. A že s temi, ki sem jih sama zapisala, smo na zgornji meji možnega števila vprašanj, tako da poglejte, če se vam zdijo katera vprašanja odvečna in predlagajte črtanje. Dodajte pa, seveda, svoja vprašanja. Zdaj ste na vrsti ve. Prosim vas, da:  pregledate, katere subjekte sem izbrala jaz in presodite, ali je to v redu ali ne; če ni, v oceni črtajte subjekt in vsa vprašanja, ki so mu namenjena ali pa dodajte nov subjekt in vprašanja, ki bi mu ga namenile;  preglejte vprašanja, ki sem jih pripravila za posamezen subjekt. Če se vam zdi kakšno vprašanje odveč, ga črtajte oz. predlagajte dodatno, če menite, da bi ga potrebovali. Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Ko vsak posamezni evalvator pregleda predlog koordinatorja skupine evalvatorjev in zapiše vse svoje pripombe, predloge in spremembe, vse skupaj vrne koordinatorju. Ta pripravi pregled vseh prispelih predlogov in skupen predlog, kako naj bi izgledale končne verzije teh dokumentov. Oboje ponovno pošlje evalvatorjem s prošnjo, da se do tega predloga izrečejo. Navodila v zvezi s tem so taka: Najprej najlepša hvala za vse poslane dopolnitve, pripombe, črtanja… na gradivo, ki sem ga vam poslala! Jaz sem do zdaj uspela vnesti vse predloge, ki zadevajo notranji sistem kakovosti. To sem naredila tako kot običajno – v združen dokument sem z različnimi barvami vnesla vse, kar ste pripravile, brez da bi v to kakorkoli posegla. Pri zmanjševanju števila vprašanj mi niste prav pomagale, ker jih je še več, kot sem jih že jaz pripravila. No, na koncu bom pač morala črtati nekaj vprašanj, da jih bomo imele neko razumno število. Sem pa vesela vseh drugih dopolnitev (no, tudi dodatnih vprašanj sem vesela, saj ste z nekaterimi opozorile na vidike, na katere jaz nisem bila tako pozorna). Pošiljam vam tudi dopolnjena vprašanja za vse subjekte v zvezi z notranjim sistemom kakovosti, kjer so vnesena vaša dopolnila. To je še vedno bolj informativne narave, saj npr. še nisem združevala vprašanj za direktorico in komisijo za kakovost, kakor smo se vmes dogovorile, da bomo izpeljale pogovor. Ste pa vse želele, da se pogovarjamo tudi z udeleženci in bomo tako naredile; hkrati pa je z vašimi dopolnitvami sedaj tudi zanje dovolj vprašanj. V besedila vprašanj za posamezne subjekte ni treba zaenkrat vnašati nobenih sprememb. Vse to vam dajem v presojo in vas prosim, če mi lahko najkasneje do …, sporočite, kako se vam zdi, če se strinjate oz. bi predlagale kakšno spremembo itd., kje sem kaj spregledala, tako da bi do konca tedna imele to delo končano. Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Po tej fazi evalvatorji gradiva ponovno pregledajo in koordinatorju skupine posredujejo svoje mnenje. Ta oblikuje predlog zadnje verzije instrumentarija in ga ponovno pošlje v pregled evalvatorjem z naslednjimi navodili: Sama sem se lotila priprave predlogov naših vprašalnikov. Odločila sem se, da vam bom vsakega poslala v potrditev posebej, da ne bo naenkrat toliko besedil. Najprej sem se loti-la najtežjega – združila sem vprašanja za direktorico o kakovosti in vprašanja za komisijo za kakovost. Tako je nastal vprašalnik s 87 vprašanji. Od teh se jih sicer dobra tretjina ponavljala, a ko sem te črtala, jih je še vedno ostalo odločno preveč. Potem sem se lotila črtanja in to je bilo prav mučno, ker se mi je toliko vprašanj zdelo zanimivih. Poskušala sem narediti tako, da se vprašanje res nanaša na merilo in ni z njim le nekoliko povezano, pustila sem vprašanja, ki naj bi nam razčistila dileme, ki jih še imamo. Tako mi je ostalo 33 vprašanj, kar je še vedno precej, če računamo, da bomo imele še kar veliko ljudi pred seboj in bo verjetno vsakdo hotel kaj povedati. Je zgornja meja, pa še tu sem v dilemi, če bomo prišle skozi (odvisno od komunikativnosti skupine). Zdaj pa prošnja za vas: vprašalnik za komisijo za kakovost vam pošiljam v dveh različicah. Vprašalnik z oznako predlog 1 je vprašalnik z vsemi vprašanji, ki smo jih pripravile. Vprašalnik z oznako predlog 1 a pa je vprašalnik po mojem črtanju vprašanj. Prosim te, da pregledaš oba vprašalnika in mi sporočiš:  katerega vprašanja iz daljše različice vprašalnika absolutno ne bi smela črtati in pre dlagaš, da ga ponovno vključimo,  katero vprašanje iz krajše različice lahko pogrešamo,  ali imaš na splošno kakšen predlog, mnenje, pripombo na ta vprašalnik. Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Faza oblikovanja instrumentarija se zaključi tako, da koordinator skupine evalvatorjev pregleda še zadnje pripombe in oblikuje čistopis predloga posameznega inštrumentarija, ki pa ga še vedno da v potrditev vsem evalvatorjem z naslednjimi navodili: Najprej najlepša hvala za ustvarjalno sodelovanje pri pripravi končnih verzij vprašalnikov ves pretekli teden! Tako kot sem vas prosila, ste mi med tednom postopoma vračale pregledane vprašalnike, tako da sem lahko kaj že sproti vnašala in popravljala. Hvala za vse pripombe in opozorila na napake! Skoraj vse vaše vsebinske pripombe sem upoštevala – črtanje enega vprašanja, dodajanje vprašanj, zamenjava vrstnega reda vprašanj, izboljšanje besedila… Vmes smo se tudi o kakšni stvari še usklajevale – če nismo bile enotne, sem tu povzela večinsko stališče. Skratka, bilo je delovno cel teden in upam, da so nastali vprašalniki, ki nam bodo pomagali odkrivati tančice nejasnosti. Končne verzije vprašalnikov nisem delala s funkcijo »sledi spremembam«, ker pač nekje moramo zaključiti z delom. Ampak – ne glede na to pa imate do torka zvečer čas, da jih še enkrat skrbno preberete in uveljavljate še kak popravek, če je nujen in utemeljen. Od srede zjutraj popravki v vprašalnike niso več možni. Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Celoten proces oblikovanja instrumentarija poteka torej zelo strukturirano po posameznih fazah in z navodili, kaj naj posamezni evalvator naredi v posamezni fazi. Ta proces je izpeljanka tistega, v zvezi s čimer evalvatorji dobijo znanje in informacije tudi na uvodnem usposabljanju in vsakoletnih spopolnjevanjih. Poglejmo si ocene evalvatorjev o tej fazi priprav na izvedbo ekspertne zunanje evalvacije. Sodelujoči evalvatorji so lahko izbrali en odgovor. Preglednica 29: Odgovori evalvatorjev na vprašanje v zvezi z jasnostjo navodil za pripravo in usklajevanje vprašalnikov za obiske (N=11) FREKVENCA OdSTOTEK Ne. 0 0,0 Da. 11 100,0 Drugo. 0 0,0 SKUPAJ 11 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Prav vseh enajst evalvatorjev je izbralo odgovor, da so navodila, ki jih prejmejo od ACS oz. koordinatorja skupine ekspertnih zunanjih evalvatorjev v zvezi s pripravo in usklajevanjem vprašalnikov za izpeljavo obiskov v organizacijah, povsem jasna. Izidov smo veseli, saj je bila strukturiranju postopkov oblikovanja instrumentarija evalvacije, oblikovanju navodil za posamezno fazo in usposabljanju v zvezi z njimi posvečena velika pozornost. Poleg ocene samoocene je namreč to bistveni del evalvacije – če niso izbrani pravi subjekti za pogovor in če zanje nimamo ustreznih vprašanj, je lahko ogrožena kakovost izvedbe evalvacije v celoti. Zato kaže tak način oblikovanja instrumentarija obdržati tudi v prihodnje. Informacije, navodila in pripomočki v zvezi s pripravo in izvedbo obiska v izobraževalni organizaciji Ko so izbrani subjekti, ko je odločeno, kaj bi si evalvatorji želeli ogledati v organizaciji in ko so pripravljeni vprašalniki za pogovore ter opomniki za oglede, sledi izvedba samega obiska. ACS pred obiskom pripravi ustrezne dokumente in navodila za izpeljavo obiska, in sicer:  Uskladi urnik obiska s koordinatorjem evalvacije v organizaciji, pa tudi s posameznimi evalvatorji.  Pripravi in uskladi predlog razdelitve vlog na obisku (konkretno delo posameznega ekspertnega zunanjega evalvatorja na obisku). Tako je pri nekem intervjuju en evalvator izpraševalec, drugi pa beleži odgovore in spremlja, ali odgovori potrjujejo predhodne ugotovitve evalvatorjev v oceni samoocene. Evalvatorji so o tej vlogi pisno seznanjeni, dobijo tudi navodila za izpeljavo intervjujev ter pripravo zapisov.  Tudi za vsebinske priprave posameznega evalvatorja na delo na obisku so pripravljena navodila, ki jih pred obiskom vsem evalvatorjem posreduje koordinator evalvatorjev: kako pregledati vsebine ocene samoocene, kako temeljito pregledati vprašanja za pogovore, na katerih sodeluje posamezen evalvator in tudi vprašanja za druge pogovore, katere so ključne dileme, ki jih je potrebno razrešiti na obisku, kakšna je vloga evalvatorja pri posredovanju prve povratne informacije ob zaključku obiska in kako se nanjo pripraviti.  Koordinator skupine evalvatorjev da tudi organizacijske napotke za izpraševalce in zapisnikarje na pogovorih. V ponazoritev, kako potekajo priprave na obisk evalvatorjev v organizaciji, prikazujemo izsek iz navodil koordinatorice skupine ekspertnih zunanjih evalvatoric za pripravo na obisk: Pozdravljene! Tako, zdaj pa še podrobni urnik, kakor sem vam obljubila včeraj. V njem sem predvidela, kdo bi sodeloval na posameznih pogovorih, kdo bi pogovor vodil in kdo bi ugotovitve zapisoval. Ker niste izrazile glede pogovorov nobenih posebnih želja, sem to naredila po svoji presoji. Imamo 6 intervjujev, 7 zapisnikov in 4 evalvatorice. Povsem enakih obremenitev zato ni mogoče narediti - tako nekatere evalvatorice vodimo dva pogovora, druge enega, nekatere pripravijo dva zapisnika, druge enega… Gledala sem tudi, da vse sodelujemo z vsemi evalvatoricami, da torej ni stalnih ekip. Vsekakor pa vas prosim, da skrbno preberete vprašalnik, kjer boste spraševalec ali zapisnikar in si še enkrat ogledate samooceno tam, kjer smo postavljale vprašanja, da bi bile povsem suverene v pogovorih in da bi nas sogovorniki ne speljali kam drugam, pač pa ostanemo pri tistem, kar nas posebej zanima. Poglejte si tudi predlog naših dobrih, šibkih točk in predlogov, na katera se nanašajo vprašanja, ker imamo veliko zabeležk, kaj moramo na obisku še ugotoviti. Če se bo le dalo, lepo prosim, da se držimo urnikov pogovorov, da se nam ne bo kje zalomilo. Bomo pač kakšno vprašanje izpustile, če ne bo šlo, le toliko moramo paziti, da to ni kakšno vprašanje, ki razčiščuje ključne dileme. Vprašanja, ki pa jih bomo postavile, pa poskušajmo razčistiti do konca, da bomo povsem prepričane, da lahko postavimo neko trditev. Zato bo mogoče potrebno tudi kakšno podvprašanje. Pozorne bomo morale biti na to, ali sogovorniki sploh razumejo vprašanje – verjetno jim bomo morale kakšno zadevo še bolj »po ljudsko« pojasniti. Zapisujemo si vse, bomo že kasneje naredile selekcijo – bolje je zapisati več, saj je moja izkušnja, da ker sprejemamo toliko informacij, marsikatera gre v pozabo, če ne bi bilo zapisov. Pa še nekaj o zaključku: zdi se mi, da je prav, da bi si malo porazdelile vlogo. Tako sem predvidela, da za vsako področje ena pove dobre točke, druga pa sočasno predstavi šibke točke in tudi naše predloge, kako jih odpraviti. Ker je ugotovitev veliko, se bomo še pred obiskom dogovorile, da povzamemo bistvene ugotovitve, kakšne bolj podrobne, obrobne, pa morebiti izpustimo. Kaj o vsem menite? Zdaj je mogoč še vsak predlog. Vesela bi bila, če lahko tudi urnik pogledate do petka do konca dneva, da je še to za nami ta teden. Koordinatorica skupine ekspertnih zunanjih evalvatoric Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. S samoevalvacijo smo zbrali mnenja evalvatorjev o informacijah in navodilih, ki jih dobijo v zvezi s samo izvedbo obiska skupine evalvatorjev v organizaciji (potek obiska, delitve vlog med člani skupine evalvatorjev). Sodelujoči evalvatorji so lahko izbrali en odgovor. Preglednica 30: Odgovori evalvatorjev na vprašanje o jasnosti navodil v zvezi s potekom obiska v evalvirani organizaciji (N=11) FREKVENCA OdSTOTEK Ne, navodila niso dovolj jasna. 0 0,0 Navodila so jasna le deloma, zato moram dodatne informacije poiskati pri koordinatorju z ACS. 0 0,0 Da, navodila so povsem jasna. 11 100,0 Drugo. 0 0,0 SKUPAJ 11 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Odgovori evalvatorjev so razveseljujoči – prav vsi so se odločili za odgovor, da so navodila, ki jih prejmejo od ACS oz. koordinatorja skupine ekspertnih zunanjih evalvatorjev v zvezi s potekom evalvacijskega obiska, povsem jasna. Evalvatorji pred samo izvedbo obiska torej natančno vedo, kaj je pred obiskom potrebno še pripraviti ter kakšna bo njihova vloga na obisku. Informacije, navodila in pripomočki v zvezi s pripravo zapisnikov z ugotovitvami z obiska evalvatorjev v izobraževalni organizaciji Po izpeljanem obisku v evalvirani organizaciji se najprej pripravijo zapisniki vseh izpeljanih pogovorov in ogledov. Ta faza poteka tako, da evalvator, zapisnikar posameznega pogovora ali ogleda, najprej uredi svoj zapis, nato pa ga v branje in morebitne dopolnitve pošlje še ekspertnemu zunanjemu evalvatorju, ki je vodil pogovor oz. sodeloval pri ogledu. Mnenja evalvatorjev v zvezi z navodili ACS za pripravo zapisnikov so prikazana v spodnji preglednici. Preglednica 31: Odgovori evalvatorjev na vprašanje o tem, ali dobijo dovolj jasna navodila, kaj morajo narediti v zvezi z zapisniki (N=11) FREKVENCA OdSTOTEK Ne, navodila niso dovolj jasna. 0 0,0 Navodila so jasna le deloma, zato moram dodatne informacije poiskati pri koordinatorju z ACS. 0 0,0 Da, navodila so povsem jasna. 11 100,0 Drugo. 0 0,0 SKUPAJ 11 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Prav vsi evalvatorji so bili znova mnenja, da so navodila, ki jih dobijo od ACS v zvezi z navodili za pripravo zapisnikov, povsem jasna, kar pomeni, da naj se sedanji način posredovanja navodil ohrani tudi v prihodnje. Informacije, navodila in pripomočki v zvezi s pripravo poročila o izvedeni samoevalvaciji Ob zaključku ekspertne zunanje evalvacije se pripravi poročilo o izvedeni ekspertni zunanji evalvaciji, in sicer v dveh fazah:  skupina ekspertnih zunanjih evalvatorjev najprej pripravi predlog poročila, ki ga pošlje na vpogled evalvirani organizaciji in nato še  končno poročilo o izvedeni ekspertni zunanji evalvaciji v organizaciji, ki izobražuje odrasle. Delo ekspertne skupine evalvatorjev je organizirano tako, da koordinator skupine najprej pripravi osnutek poročila. V ta namen je ACS pripravil vodilo, ki sestavljavce poročila vodi, kako naj ga pripravijo. Vodilo tako usmerja evalvatorje, da v poročilo vnesejo naslednje informacije, opise in ugotovitve: Uvod Metodologija  metoda ekspertne zunanje evalvacije  področji ekspertne zunanje evalvacije  postopek ekspertne zunanje evalvacije Ugotovitve in predlogi  področje, ki je bilo evalvirano  sklop, ki je bil evalviran v okviru evalviranega področja  tabelarični pregled doseganja meril v okviru sklopa pri evalviranem področju  ugotovljene dobre točke, ki so bile zaznane v okviru sklopa pri evalviranem področju  ugotovljene šibke točke, ki so bile zaznane v okviru sklopa pri evalviranem področju  predlogi za razvoj v okviru sklopa pri evalviranem področju  naslednji sklop, ki je bil evalviran v okviru evalviranega področja  naslednje področje, ki je bilo evalvirano Zaključek Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Ko koordinator s pomočjo tega vodila pripravi osnutek poročila, ga pošlje v pregled in dopolnitev vsem ostalim evalvatorjem v skupini. Pri tem jim za delo posreduje navodila, eden izmed primerov je naslednji: Pred vami je osnutek poročila EZE. Osnutek poročila je narejen po obrazcu, kakor ga uporabljamo že vsa leta. V njega sem vnesla vse, kar smo imele pripravljenega že pred obiskom, nato pa to dopolnila/spremenila z ugotovitvami po obisku. Kaj vas prosim: 1. V tabele sem vnesla kljukice, kakor smo se dogovorile pri zadnjem usklajevanju. Prosim, preverite, če je vnos pravilen. 2. Četudi smo od prejšnje do sedanje faze ponekod spremenile položaj kljukice, v dobrih in šibkih točkah ter predlogih za razvoj nisem vedno (včasih pa) spreminjala besedila, ker se mi je zdelo, da je še vedno primerno, kljub drugačni oceni. Preverite, če se tudi vam zdi tako. 3. V besedila dobrih in šibkih točk ter predloge za razvoj sem vnesla kar veliko tistega, kar smo izvedele na obisku. Prosim vas, da zlasti z vidika pogovorov, kjer ste same sodelovale, pogledate, če sem zajela vse, kar je pomembno in če sem zapisala pravilno. 4. Vsebinsko presodite konsistentnost naših zapisov pri posameznem merilu – kaj smo ugotovile o nečem dobrega, kaj je šibkega in kaj predlagamo. Se to ujema, je smiselno? 5. Prosim, da preberete besedilo v celoti – tudi tisto, kar je morebiti nastalo že prej, saj zdaj presojamo celoto, ki jo bo … prvič dobil na vpogled. Kaj smo na posameznem področju oz. podpodročju ocenile kot dobro, kaj kot slabo in kaj predlagamo – je to dovolj povedno, usmerjevalno, smo zadele bistvo, se bodo iz tega lahko orientirali, kam naj usmerijo svoje bodoče ravnanje? 6. Prosim, da preverite tudi prilogo na koncu – podrobni urnik – ali so vpisani sogovorniki, ki so bili dejansko na pogovoru? 7. Prosim tudi za popravke morebitnih slovničnih in tipkarskih napak. Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Evalvatorji po teh navodilih pripravijo svoje predloge dopolnitve osnutka poročila in jih pošljejo koordinatorju skupine evalvatorjev. Če so pripombe in predlogi taki, da si ne nasprotujejo, jih koordinator vnese v poročilo in tako nastane predlog poročila, ki ga skupina evalvatorjev pošlje evalvirani organizaciji na vpogled. Če pa so si pripombe in predlogi nasprotujoči, koordinator izvede toliko krogov usklajevanja, kot je potrebno, da skupina doseže konsenz . Koordinator tudi v tem primeru evalvatorjem da usmeritvena navodila, kaj naj bi posameznik pripravil, razmislil; pogosto navede tudi različne argumente za ali proti nekemu stališču, tako da se evalvatorji lažje odločajo. Ko je predlog poročila v skupini evalvatorjev usklajen, ga koordinator pošlje evalvirani organizaciji z namenom, da ta ugotovi, ali so evalvatorji razumeli njihove določene informacije in gradiva in ali so res dali vsa dokazila, predstavili vse argumente, ki bi lahko vplivali na končno besedilo poročila. Če evalvirana organizacija takih dopolnil nima, predlog poročila postane končno poročilo in s tem je delo evalvatorjev v tej organizaciji zaključeno. Če pa evalvirana organizacija meni, da niso bili upoštevani vsi argumenti in vse informacije niso bile primerno razumljene, o tem obvesti koordinatorja skupine evalvatorjev. Skupina evalvatorjev mora proučiti dodatne argumente evalvirane organizacije in se odločiti, katere bo upoštevala, katere bo upoštevala delno, katerih pa sploh ne in za to opredeliti svoje argumente. Delo vodi koordinator skupine in ga z navodili usmerja tako, da evalvatorji dosežejo kompromis, če in kako bodo na podlagi argumentov evalvirane organizacije spremenili končno poročilo. Prav tako koordinator pripravi osnutek pisma evalvirani organizaciji, v katerem opiše, katere njihove dodatne argumente je skupina evalvatorjev sprejela, katerih pa ne, in kakšni so argumenti za eno in drugo. Osnutek pisma z navodili koordinator posreduje vsem evalvatorjem in vodi postopek usklajevanja, dokler ni pismo v taki obliki, da se vsi strinjajo, da se ga pošlje evalvirani organizaciji. Tudi priprava poročila o izvedeni evalvaciji je torej dokaj strukturiran in natančno voden postopek. Poglejmo si ocene evalvatorjev v zvezi z navodili, ki jih prejmejo ob pripravi predloga poročila in končnega poročila o ekspertni zunanji evalvaciji za organizacijo, ki je sodelovala v evalvaciji. Preglednica 32: Odgovori evalvatorjev na vprašanje o jasnosti navodil, kaj morajo narediti v zvezi z osnutkom in predlogom poročila, ki gre na vpogled evalvirani organizaciji in kaj v zvezi s končnim poročilom (N=11) FREKVENCA OdSTOTEK Ne, navodila niso dovolj jasna. 0 0,0 Navodila so jasna le deloma, zato moram dodatne informacije poiskati pri koordinatorju z ACS. 0 0,0 Da, navodila so povsem jasna. 11 100,0 Drugo. 0 0,0 SKUPAJ 11 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Tudi v primeru navodil ACS oz. koordinatorja skupine ekspertnih zunanjih evalvatorjev za pripravo osnutka, predloga in končnega poročila o ekspertni zunanji evalvaciji za evalvirano organizacijo so se vsi sodelujoči evalvatorji izrekli, da so bila le-ta povsem jasna. Če povzamemo izide, je samoevalvacija v zvezi z zagotavljanjem primernih navodil in pripomočkov za izpeljavo ekspertne zunanje evalvacije za delo ekspertnih zunanjih evalvatorjev pokazala, da so evalvatorji posamezna navodila, z izjemo navodil in dogovorov za ocenjevanje dokazil, prav vsi ocenili kot povsem jasna in da so natančno vedeli, kaj morajo v posamezni fazi opraviti. Izidov smo zelo veseli, saj smo pripravi inštrumentarija in pripomočkov za delo evalvatorjev na ACS posvetili posebno pozornost. Zato bi kazalo v prihodnje, če se bodo take evalvacije še izvajale, tak način dela evalvatorjev z navodili za njihovo delo v posameznih fazah izpeljave evalvacije še uporabljati. Še več pozornosti pa je treba nameniti ocenjevanju dokazil pri posameznem merilu – tako pri spopolnjevanju evalvatorjev kot pri načrtovanju evalvacijskih pogovorov. 4.1.3 Animacija organizacij, ki izvajajo izobraževanje odraslih, za sodelovanje v ekspertnih zunanjih evalvacijah Zadnji sklop, ki smo ga umestili v poglavje o pripravah na izvedbo ekspertnih zunanjih evalvacij, zadeva aktivnosti, ki jih je ACS zasnoval in izvajal z namenom pridobivanja organizacij za njihovo sodelovanje v ekspertnih zunanjih evalvacijah. Z namenom, da bi ACS organizacije, ki izvajajo izobraževanje odraslih spodbudil, da se odločijo za ekspertno zunanjo evalvacijo, jih na različne načine informira, kaj to je, kaj bi ekspertna zunanja evalvacija prinesla organizaciji, kakšna bi bila njena vloga pri tem, kako evalvacija sploh poteka. Te informacije posreduje organizacijam na različne načine:  preko posebne spletne strani na spletišču ACS,  z brošuro, ki opisuje cilje in potek ekspertne zunanje evalvacije,  z različnimi prispevki v e-Novičkah ACS,  z vsakoletnim razpisom za vključitev v ekspertno zunanjo evalvacijo, ki vsebuje tudi natančnejše informacije o tem, kaj to je in kakšni so pogoji sodelovanja,  z neposrednimi vabili izobraževalnim organizacijam za sodelovanje preko elektron ske pošte,  z informiranjem predstavnikov organizacij, ki se na ACS udeležujejo usposabljanj ali spopolnjevanj s področja presojanja in razvijanja kakovosti (npr. na spopolnjevanjih svetovalcev za kakovost ipd.). Na spletni strani https://kakovost.acs.si/ekspertna_zunanja_evalvacija/ ACS objavlja splošne informacije o tem, kaj je ekspertna zunanja evalvacija, kdo na ACS razvija to dejavnost in skrbi za izvajanje evalvacij, kako se je ta projekt razvijal in kateri so bili dosedanji njegovi pomembni mejniki, kaj trenutno poteka v zvezi z ekspertnimi zunanjimi evalvacijami. Predstavljen je namen ekspertne zunanje evalvacije, katera področja je mogoče evalvirati in kakšen je potek ekspertne zunanje evalvacije. Objavljen je tudi register vseh ekspertnih zunanjih evalvatorjev z njihovo predstavitvijo (izobrazba in delovne izkušnje, dosedanje sodelovanja pri ekspertnih zunanjih evalvacijah); viden je tudi etični kodeks s podpisom posameznega evalvatorja. Spletna stran vsebuje tudi opis načina vstopanja v projekt in opis usposabljanja, ki ga ACS nudi organizacijam ter evalvatorjem. Predstavljene pa so tudi organizacije, v katerih so doslej že potekale ekspertne zunanje evalvacije. Gre torej za celovit vpogled v vsa pomembna vprašanja, ki zadevajo ekspertne zunanje evalvacije, čeprav so informacije, seveda, prirejene mediju in ne prinašajo vseh podrobnosti. So pa vsekakor tako obsežne in informativne, da zadostujejo osnovnim informacijam organizacijam o tem, da se take evalvacije izvajajo, kakšne vrste evalvacij so to in dajejo dokaj natančno predstavo o tem, kako potekajo in kaj organizacije s tem pridobijo. Gre torej za sporočila informativne narave, ki so organizacijam, ki izvajajo izobraževanje odraslih, lahko v pomoč pri odločanju, ali bi se odločile, da bi evalvacije potekale tudi pri njih. ACS je v letu 2013 izdal tudi pisno brošuro Ekspertna zunanja evalvacija izobraževanja odraslih. Brošura zajema ključne informacije o tem, kako so se ekspertne zunanje evalvacije na ACS razvile, kakšen namen imajo, kdo so nosilci, kako potekajo, kaj se presoja, kako se dejavnosti spremljajo ipd. Tudi ta brošura je torej namenjena posredovanju ključnih informacij o projektu za vse, ki bi želeli v njem sodelovati ali se z njim seznaniti. Brošura je dostopna tudi na spletu (http://kakovost.acs.si/doc/N-1032-1.pdf ). Pomembno vlogo pri informiranju organizacij o ekspertni zunanji evalvaciji imajo tudi e-Novičke, spletno glasilo ACS (https://enovicke.acs.si/), ki ga, med drugim, dobijo vsi izvajalci izobraževanja odraslih v Sloveniji. Prinašajo splošne informacije o tem, da se ekspertna zunanja evalvacija izvaja, da poteka usposabljanje evalvatorjev ali organizacij v zvezi z njo, predstavlja opise izvedenih evalvacij ipd. Natančnejše informacije o tem so v e-Novičkah objavljene, kadar ACS vabi nove izobraževalne organizacije, da se odločijo za izvajanje ekspertne zunanje evalvacije. Tako so bile vsako leto od leta 2012 do leta 2016 v mesecu februarju najprej objavljene napovedi javnega povabila za sodelovanje organizacij v ekspertni zunanji evalvaciji. Kasneje pa je ACS v e-Novičkah objavil pet javnih povabil organizacijam v za sodelovanje v ekspertni zunanji evalvaciji:  marec 2012: http://arhiv.acs.si/e-novicke/2012/marec.pdf,  marec 2013: http://arhiv.acs.si/e-novicke/2013/marec.pdf,  marec 2014: http://arhiv.acs.si/e-novicke/2014/marec.pdf,  marec 2015: http://arhiv.acs.si/e-novicke/2015/marec.pdf,  marec 2016: http://arhiv.acs.si//e-novicke/2016/marec.pdf. Glasilo e-Novičke torej predstavljajo pomembni informativni medij, ki organizacijam, ki izvajajo izobraževanje odraslih, omogoča, da se dobro informirajo o ekspertnih zunanjih evalvacijah in dobijo različne informacije, ki jim pomagajo pri odločanju, ali bi se odločile zanjo ali ne. Seveda celo vrsto najpomembnejših informacij o sodelovanju vsebuje vsakoletni razpis za vključitev v ekspertno zunanjo evalvacijo. Ta natančno določa pogoje sodelovanja, opis postopkov in predvidene izide, ki jih po zaključeni evalvaciji dobi organizacija. Za to, da bi se organizacije lažje odločile za sodelovanje v ekspertni zunanji evalvaciji, so v vsakoletnem javnem povabilu organizacijam za sodelovanje opredeljene naslednje temeljne informacije (glej tudi prilogo 8):  namen ekspertne zunanje evalvacije,  področja kakovosti, ki so predmet ekspertne zunanje evalvacije,  potek ekspertne zunanje evalvacije (opredeljeni so posamezni koraki izpeljave evalvacije),  uporaba in lastništvo izidov ekspertne zunanje evalvacije,  čas izvedbe ekspertne zunanje evalvacije,  porazdelitev odgovornosti vključenih v ekspertno zunanjo evalvacijo,  pogoji za prijavo organizacij,  potrdilo o sodelovanju v razvojnem projektu ter  kritje stroškov. Če pogledamo še nekoliko konkretneje, ACS v javnem povabilu organizacijam za sodelovanje v ekspertnih zunanjih evalvacijah le-te informira, da sodelujoča organizacija kot izid sodelovanja pridobi kakovostno povratno informacijo, in sicer na naslednji način: »Na podlagi pregleda samoocene in opravljenih pogovorov v organizaciji skupina ekspertnih zunanjih evalvatorjev opravi končno ovrednotenje doseganja opredeljenih meril kakovosti, ki je zajeto v končno poročilo o ekspertni zunanji evalvaciji. Vključi tudi predloge za izboljšave in razvoj kakovosti.« Javno povabilo opredeljuje tudi lastništvo rezultatov: »Lastnik rezultatov, ki so prikazani v končnem poročilu o ekspertni zunanji evalvaciji, je organizacija. Ta se sama odloči, na kakšen način bo poročilo uporabila za namen lastnega razvoja kakovosti in ali ga bo javno objavila.« V javnem povabilu je še navedeno, da sodelavci, ki sodelujejo pri izpeljavi ekspertne zunanje evalvacije v svoji organizaciji, prejmejo potrdilo ACS o sodelovanju v enoletnem razvojnem projektu, čeprav dvomimo, da bi bilo ravno slednje lahko razlog za odločitev organizacije za sodelovanje v ekspertni zunanji evalvaciji. Razpis je objavljen preko različnih medijev:  spletna stran Andragoškega centra Slovenije (www.acs.si),  spletna stran Razvijanje kakovosti izobraževanja odraslih (https://kakovost.acs.si/ekspertna_zunanja_evalvacija/): ključne informacije v zvezi z nalogo in potekom ekspertnih zunanjih evalvacij ter o tem, kaj organizacija pridobi s sodelovanjem v projektu, so organizacijam že od samega začetka projekta na voljo na spletni strani o razvijanju kakovosti izobraževanja odraslih, na posebni spletni podstrani o Ekspertni zunanji evalvaciji izobraževanja odraslih,  e-Novičke, mesec marec (https://enovicke.acs.si/). Pomemben promocijski in informativni kanal pa je tudi e-pošta z neposrednimi vabili izobraževalnim organizacijam za sodelovanje. Običajno je naslovljena na več kot 200 naslovov, izobraževalne organizacije pa so tako neposredno obveščene, da Andragoški center Slovenije v sodelovanju z Ministrstvom za izobraževanje, znanost in šport v določenem letu načrtuje izpeljavo ekspertnih zunanjih evalvacij, da so namenjene ekspertnemu zunanjemu potrjevanju kakovosti izobraževanja odraslih na izbranih področjih kakovosti. V samoevalvaciji smo si v zvezi z animacijo organizacij, ki izvajajo izobraževanje odraslih, za sodelovanje v ekspertnih zunanjih evalvacijah zastavili naslednja vprašanja:  Kakšni so bili razlogi, ki so organizacijo, ki izvaja izobraževanje odraslih, navedli k odločitvi za sodelovanje v ekspertni zunanji evalvaciji?  Ali so bile organizaciji, ki izvaja izobraževanje odraslih, pri odločanju za ekspertno zunanjo evalvacijo na razpolago zadostne informacije? RAZLOGI ORGANIZACIJ ZA SOdELOVANJE V EKSPERTNI ZUNANJI EVALVACIJI Kot smo že pisali, je ACS ekspertno zunanjo evalvacijo v izobraževanju odraslih razvil kot spodbudo za sistematično in načrtno delo organizacij, ki izobražujejo odrasle, na področju presojanja in razvijanja kakovosti. Z vidika ACS zato kot možne razloge, da se organizacija odloči za sodelovanje v takšni evalvaciji, vidimo zlasti v tem, da organizacija v procesu izpeljave te evalvacije dobi zunanjo potrditev kakovosti na izbranih področjih presoje, da je spodbujena k ohranjanju že doseženih standardov kakovosti kot tudi k uvajanju izboljšav, pa tudi, da ob zaključku ekspertne zunanje evalvacije pridobi kakovostno povratno informacijo o tem, kje je že dobra, kje pa se kažejo možnosti za njen nadaljnji razvoj (glej Možina idr. 2013). Sedaj pa si poglejmo pridobljena mnenja anketiranih o tem, kakšni so bili razlogi, ki so organizacijo, ki izvaja izobraževanje odraslih, navedli k odločitvi za sodelovanje v ekspertni zunanji evalvaciji. O tem smo vprašali direktorje oz. ravnatelje sodelujočih organizacij, imeli so možnost izbire več ponujenih odgovorov. Preglednica 33: Odgovori direktorjev oz. ravnateljev na vprašanje o tem, kakšni so bili razlogi, da so se odločili za sodelovanje v ekspertni zunanji evalvaciji izobraževanja odraslih (N=9) FREKVENCA OdSTOTEK GLEdE NA Od GOVORE OdSTOTEK GLEdE NA OSEbE Zanimalo nas je strokovno mnenje drugih o kakovosti našega dela. 9 30,0 100,0 Radi bi dobili kakšno spodbudo za nadaljnji razvoj. 7 23,4 77,8 Razpis se nam je zdel zanimiv, čeprav nismo natančno vedeli, kaj naj pričakujemo. 1 3,3 11,1 Zaupamo ACS-ju in če nam je nekaj ponudil, se nam je zdelo, da bo to za nas koristno. 1 3,3 11,1 Uspešna ekspertna zunanja evalvacija se nam zdi konkurenčna prednost pred tistimi, ki tega nimajo. 6 20,0 66,7 Mogoče bo sodelovanje v ekspertni zunanji evalvaciji za nas prednost na javnih razpisih. 2 6,7 22,2 Sodelovanje so nam priporočili iz nam podobne organizacije, s katero sodelujemo. 1 3,3 11,1 K sodelovanju nas je spodbudil ACS. 2 6,7 22,2 Drugo. 1 3,3 11,1 SKUPAJ 30 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. Dobili smo precej raznovrstne odgovore. Prav vsi direktorji oz. ravnatelji, ki so odgovarjali na anketo, so izbrali odgovor, da je bila med razlogi za vključitev v ekspertno zunanjo evalvacijo želja po pridobitvi strokovnega mnenja drugih o kakovosti njihovega dela. Njihov drugi najpogostejši odgovor je bil, da so pri tem videli priložnost, da bi v evalvaciji prejeli spodbude za nadaljnji razvoj (sedem direktorjev oz. ravnateljev). Dve tretjini direktorjev oz. ravnateljev pa sta v uspešni ekspertni zunanji evalvaciji prepoznali konkurenčno prednost pred tistimi, ki take potrditve od zunaj nimajo. Zlasti prva dva odgovora po pogostosti kažeta na notranjo motivacijo izobraževalnih organizacij, da se kakovostno razvijajo in pri tem »izkoristijo« možnosti, ki jim jih za to daje ekspertna zunanja evalvacija – da s pomočjo zunanjega vpogleda sami ponovno ovrednotijo svoja ravnanja in se na tej podlagi razvijajo. Ostali ponujeni odgovori so bili izbrani manj pogosto – izbral jih je le eden ali največ dva direktorja oz. ravnatelja. Tako sta na primer dva izbrala odgovor, da jih je k sodelovanju spodbudil ACS. Odgovora ne presenečata, saj je ACS kot nosilec naloge ob pilotni vpeljavi naloge Ekspertna zunanja evalvacija (obdobje 2012-2013) z namenom, da se pilotno nalogo sploh lahko implementira v praksi, res neposredno spodbudil nekaj organizacij iz omrežja organizacij, ki izobražujejo odrasle, k prijavi na javno povabilo za sodelovanje v ekspertnih zunanjih evalvacijah. Zanimivo, eden od direktorjev oz. ravnateljev je z anketo sporočil, da so se za sodelovanje v ekspertni zunanji evalvaciji odločili na podlagi priporočil iz njim podobne organizacije, s katero sodelujejo. Sklepamo, da je organizaciji priporočilo za sodelovanje prenesla organizacija, ki je v preteklosti že sodelovala v ekspertni zunanji evalvaciji in je bila zadovoljna z njenimi učinki, kar je za ACS kot nosilca naloge razveseljiv podatek. Tako kolegialno sodelovanje med organizacijami, ki izobražujejo odrasle, tudi med sabo konkurenčnimi, je zelo dobrodošlo in odpira možnosti za nadaljnji razvoj. Veseli nas tudi zaupanje organizacij v naše strokovno delo, saj je eden od direktorjev oz. ravnateljev izbral (tudi) odgovor, da organizacija zaupa ACS in v primeru, da jim le-ta ponudi neko sodelovanje, se nanj odzovejo, ker vedo, da bo zanje koristno. Eden od direktorjev je izbral odgovor »Drugo.« in svoj odgovor pojasnil takole:  S sodelovanjem smo pripomogli k razvoju tega področja. Predvidevamo, da je omenjeni direktor oz. ravnatelj s tem pojasnilom mislil na razvoj tega področja v svoji organizaciji (in ne na razvoj tega področja na nacionalni ravni), kar pa je še vedno razveseljujoč podatek, saj je namen ekspertne zunanje evalvacije ravno to: »spodbuda za razvoj kakovosti v izobraževalni organizaciji« (Možina idr. 2013, str. 11). Na podlagi predstavljenih odgovorov lahko povzamemo, da so se organizacije za sodelovanje v ekspertni zunanji evalvaciji najpogosteje odločale iz strokovnih razlogov (strokovno mnenje drugih o kakovosti dela, želja po predlogih za spodbude za nadaljnje delo in razvoj), pa tudi zaradi želje po konkurenčni prednosti pred organizacijami, ki še niso sodelovale v ekspertnih zunanjih evalvacijah. ZAdOSTNOST INFORMACIJ PRI OdLOČANJU ORGANIZACIJ ZA SOdELOVANJE V EKSPERTNI ZUNANJI EVALVACIJI Da bi preverili primernost vseh opisanih načinov in vsebin informiranja organizacij o možnosti sodelovanja v ekspertni zunanji evalvaciji, smo z anketiranjem pridobili mnenja direktorjev oz. ravnateljev sodelujočih organizacij o tem. Najprej prikazujemo njihove odgovore o tem, ali so jim bile pri odločanju za ekspertno zunanjo evalvacijo na razpolago zadostne informacije. Direktorje oz. ravnatelje smo s tem vprašanjem prosili, da na tristopenjski lestvici (informacij ni bilo, informacije so bile pomanjkljive, informacije so bile zadostne) ocenijo zadostnost informacij ob njihovem odločanju za sodelovanje v ekspertni zunanji evalvaciji izobraževanja odraslih. Preglednica 34: Odgovori direktorjev oz. ravnateljev na vprašanje, ali so ob odločanju za sodelovanje v ekspertni zunanji evalvaciji izobraževanja odraslih imeli na razpolago zadostne informacije (N=9) INFORMACIJ O TEM NI bILO INFORMACIJE SO bILE POMANJKLJIVE INFORMACIJE SO bILE ZAdOSTNE SKUPAJ FREKVENCA SKUPAJ OdSTO TEK FREK OdSTO FREK OdSTO FREK OdSTO VENCA TEK VENCA TEK VENCA TEK Kaj bo organizacija pridobila s sodelovanjem v ekspertni zunanji evalvaciji. 0 0,0 1 11,1 8 88,9 9 100,0 Kako bo ekspertna zunanja evalvacija potekala. 0 0,0 0 0,0 9 100,0 9 100,0 Kdo iz organizacije sodeluje pri izvedbi ekspertne zunanje evalvacije. 0 0,0 0 0,0 9 100,0 9 100,0 Koliko časa poteka ekspertna zunanja evalvacija. 0 0,0 0 0,0 9 100,0 9 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. Prav vsi anketirani direktorji oz. ravnatelji so za zadnje tri ponujene odgovore ocenili, da so imeli zadostne informacije, ko so se odločali za sodelovanje v ekspertni zunanji evalvaciji. Imeli so torej zadostne informacije o poteku in časovnem trajanju ekspertne zunanje evalvacije ter tudi o tem, kdo vse iz njihove organizacije bo sodeloval pri izvedbi ekspertne zunanje evalvacije. Z vidika tega, kaj bo organizacija pridobila s sodelovanjem v ekspertni zunanji evalvaciji, pa izidi anketiranja kažejo, da eden izmed direktorjev oz. ravnateljev ocenjuje, da je imel pomanjkljive informacije o tem, kaj bo organizacija pridobila s sodelovanjem v ekspertni zunanji evalvaciji. Prav natančno ni mogoče ugotoviti, kaj točno se je zdelo temu direktorju ali ravnatelju pomanjkljivo, morebiti gre za drugačno predstavo o tem, na kakšen način bodo predstavljeni, opisani izidi evalvacije, morebiti je pričakoval še bolj natančne usmeritve za delo, lahko pa tudi to, kakšen vpliv bodo imeli izidi na nastopanje organizacije v različnih zunanjih procesih (npr. vpliv evalvacije na pridobitev nekih javnih sredstev ipd.). Čeprav gre za eno samo mnenje, pa ga pri nadaljnjem razvoju projekta ne kaže pozabiti in razmisliti o še dodatnih načinih sporočanja organizacijam, kaj jim prinaša ekspertna zunanja evalvacija. Seveda pa smo z izidi lahko na splošno zadovoljni. 4.2 IZPELJAVA EKSPERTNIH ZUNANJIH EVALVACIJ 4.2.1 Organizacijski potek ekspertnih zunanjih evalvacij Ekspertne zunanje evalvacije so vsako leto potekale po določeni organizacijski shemi, značilnosti katere določata letni razpored poteka evalvacije in dnevni potek obiska v izobraževalni organizaciji. Vsebinsko pa razpored aktivnosti zajema vse tiste aktivnosti, ki so bile zapisane v uvodnem poglavju s predstavitvijo ekspertnih zunanjih evalvacij. Letni razpored poteka ekspertne zunanje evalvacije je močno odvisen od tega, kdaj financer dejavnosti, to je Ministrstvo za izobraževanje, znanost in šport, sprejme sklep, da bo v okviru letnega programa dela ACS financiral tudi izvedbo ekspertnih zunanjih evalvacij. Šele takrat lahko ACS objavi javno povabilo izobraževalnim organizacijam, da se odločijo za to, da bi bila ekspertna zunanja evalvacija izpeljana pri njih. Tako so bili ti razpisi doslej objavljeni takole: Preglednica 35: Pregled časa objave povabil ACS izobraževalnim organizacijam, da se odločijo za izvedbo ekspertne zunanje evalvacije pri njih ČAS ObJAVE POVAbILA ORGANIZACIJAM Leto 2012 8. marec 2012 Leto 2013 18. marec 2013 Leto 2014 31. marec 2014 Leto 2015 27. februar 2015 Leto 2016 1. marec 2016 Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Čas, ko je sprejeta odločitev financerja o financiranju ekspertne zunanje evalvacije, pomembno določa celoten letni razpored vseh aktivnosti, ki so potrebne za njeno izpeljavo. Želja tako ACS kot sodelujočih organizacij je namreč, da se aktivnosti zaključijo v koledarskem letu, ko se posamezna ekspertna zunanja evalvacija začne, to pa povzroči, da je za izpeljavo vseh aktivnosti, ki so potrebne, toliko manj časa, kot ga je porabljenega v »čakanju« na odločitev financerja. Iz preglednice je razvidno, da je bil obseg tega časa doslej vedno od dva do tri mesece, k temu pa je potrebno prišteti še čas, ki ga imajo na voljo izobraževalne organizacije, da se odločijo, ali se bodo prijavile za izvajanje ekspertne zunanje evalvacije pri njih. Za celotno izvedbo tako ostane le kakih osem mesecev, med njimi pa vsaj eden odpade še za počitnice oz. letni dopust. V nadaljevanju prikazujemo temeljne letne časovne mejnike, kakor so bile izpeljane ekspertne zunanje evalvacije po letih oz. kakor so bili določeni letni razporedi poteka ekspertnih zunanjih evalvacij: Preglednica 36: Letni razpored bistvenih faz izpeljave ekspertnih zunanjih evalvacij po letih 2012 2013 2014 2015 2016 Prvo srečanje izobraževalnih organizacij, v katerih bo izpeljana evalvacija 20. junij 22. maj 22. maj 13. maj 5. maj Izobraževalna organizacija pripravi samooceno do 10. septembra do 10. septembra do 14. avgusta do 30. junija 15. julij Usposabljanje ekspertnih zunanjih evalvatorjev in priprave na izvedbo 25. september 26. september 4. september 3. september 2. september Ekspertni zunanji evalvatorji naredijo prvi pregled samoocene 10. oktober 14. oktober 29. september 28. september 26. september Organizacijske priprave obiska evalvatorjev v september september september izobraževalni organizaciji (tako v skupini evalvatorjev oktober oktober ter nekaj dni v ter nekaj dni v ter nekaj dni v kot v izobraževalni oktobru oktobru oktobru organizaciji) Obisk evalvatorjev v izobraževalni organizaciji 25. oktober 22., 24. oktober 8., 10. oktober 13., 15. oktober 12., 13. oktober Ekspertni zunanji evalvatorji pripravijo do 28. do 18. do 4. do 13. do 22. predlog poročila o izvedeni novembra novembra novembra novembra novembra ekspertni zunanji evalvaciji Organizacija pregleda predlog poročila in o njem oblikuje svoje mnenje do 6. decembra do 27. novembra do 14. novembra do 18. novembra do 29. novembra Priprava končnega poročila o izvedeni ekspertni zunanji evalvaciji do 10. decembra do 5. decembra do 21. novembra do 27. novembra do 7. decembra Evalvacijska delavnica ekspertnih zunanjih 14. 10. 11. 16. 14. evalvatorjev in sodelujočih december december december december december izobraževalnih organizacij Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Vpogled v to preglednico pokaže, da je v dosedanjih letih izvajanja ekspertne zunanje evalvacije uspelo, da se je celoten potek podaljšal za več kot en mesec (začetek se je premaknil od 20. junija na začetek maja, konec pa vedno ostaja okrog sredine decembra). To je povzročilo najprej spremembo v času, ki ga ima izobraževalna organizacija za pripravo samoocene. Tako je bil v začetnih obdobjih rok za to fazo začetek septembra, kasneje pa se premaknil na konec junija oz. sredino julija. Sam premik sicer ni toliko povezan s spremembo ocene, koliko časa organizacija potrebuje za pripravo samoocene, bolj gre za preskušanje, ali je bolje, da ima organizacija čas za pripravo samoocene tudi med letnimi dopusti, ali pa je bolje, da je to opravljeno pred tem, ko večina zaposlenih dopustuje. Izkušnje so v zadnjih letih nakazovale, da je vendarle bolje, če je ta faza v izobraževalnih organizacijah opravljena pred glavnimi letnimi dopusti. V jesenskem delu poteka evalvacije je opazna približno mesec dni trajajoča razlika med izvedbo usposabljanja za evalvatorje, ki pomeni pravzaprav njihov vsebinski začetek dela. To je omogočilo, da se je podaljšal čas, ki ga imajo ekspertni zunanji evalvatorji za prvi pregled samoocene, kar je vsekakor dobro, saj je ta pregled eden izmed temeljnih procesov, ki je opravljen v ekspertni zunanji evalvaciji. Ta del procesa bistveno vpliva na končno poročilo o izvedeni evalvaciji, hkrati pa je odločilen za to, na kaj bodo evalvatorji posebej pozorni ob obisku v organizaciji in s kom bodo imeli pogovore. Sami obiski so bili v vseh primerih izpeljani v oktobru, med časom njihove izvedbe ni bistvenih razlik. Zanimivo pa je opazovanje, kako se je gibal obseg časa, ki so ga ekspertni zunanji evalvatorji imeli za pripravo predloga poročila o izvedeni ekspertni zunanji evalvaciji. Če je bilo ob prvi izvedbi na razpolago nekaj več kot mesec dni, se je ta čas v naslednjih treh letih zmanjšal na mesec ali celo manj. Šele v zadnjem opazovanem letu se je čas ponovno podaljšal na več kot mesec dni. Ker gre v tem primeru za drugo vsebinsko zelo pomembno fazo dela ekspertnih zunanjih evalvatorjev, ki predstavlja pravzaprav oblikovanje skoraj dokončnega poročila, ki postane dokument izpeljane ekspertne zunanje evalvacije, bi se verjetno morali vprašati, zakaj se je v nekaterih letih obseg razpoložljivega časa za to fazo skrajševal in če je zadnje podaljšanje rezultat izkušenj, da je vendarle treba za to nameniti več časa. Čas, ki je namenjen organizaciji, da pregleda predlog poročila o izpeljani ekspertni zunanji evalvaciji, je bil vseskozi razmeroma kratek. Časa je verjetno dovolj v primerih, ko organizacija nima resnejših pripomb na to poročilo. Kadar pa jih ima, pa je vprašanje, če je dovolj časa za pripravo tehtnejših ugovorov, pa tudi za usklajevanje o pripombah s skupino zunanjih ekspertnih evalvatorjev. Verjetno je na odločitev o obsegu razpoložljivega časa pomembno vplivala želja, da se proces zaključi v koledarskem letu in se ob zaključku izpelje še evalvacijska delavnica z vsemi sodelujočimi, kar se je doslej vedno dogajalo sredi decembra, ko je tako delavnico sploh še mogoče izpeljati. To je izhodišče, ki ga je potrebno upoštevati, ko v nadaljevanju prikazujemo odgovore, ali se sodelujočim zdi letni razpored poteka ekspertne zunanje evalvacije primeren. O tem smo povprašali tako koordinatorje ekspertne zunanje evalvacije iz sodelujočih organizacij kot tudi ekspertne zunanje evalvatorje, tiste torej, na katere tak ali drugačen letni razpored poteka ekspertne zunanje evalvacije, ki ga opredeli Andragoški center Slovenije, najbolj vpliva. Pa si poglejmo najprej stališča koordinatorjev ekspertne zunanje evalvacije iz sodelujočih organizacij. Na vprašanje je odgovarjalo devet koordinatorjev, prosili pa smo jih, da ob vsaki trditvi izberejo odgovor, ki odraža njihovo stališče. Preglednica 37: Odgovori koordinatorjev iz organizacij na vprašanje, kako ocenjujejo letni razpored poteka ekspertne zunanje evalvacije (N=9) NEPRIMERNO dELOMA PRIMERNO PRIMERNO SKUPAJ FREKVENCA SKUPAJ OdSTO TEK FREKVENCA OdSTO TEK FREKVENCA OdSTO TEK FREKVENCA OdSTO TEK Mesec, v katerem je bilo organizirano uvodno srečanje. 0 0,0 2 22,2 7 77,8 9 100,0 Obdobje, v katerem je potekala priprava samoocene. 0 0,0 4 44,4 5 55,6 9 100,0 Obseg časa, ki je bil namenjen pripravi samoocene. 0 0,0 1 11,1 8 88,9 9 100,0 Datum obiska. 0 0,0 1 11,1 8 88,9 9 100,0 Čas, ki je bil na razpolago za pregled predloga končnega poročila o ugotovitvah ekspertne zunanje evalvacije. 0 0,0 1 11,1 8 88,9 9 100,0 Datum zaključne evalvacijske delavnice. 0 0,0 1 11,1 8 88,9 9 100,0 Celoten obseg časa poteka ekspertne zunanje evalvacije. 0 0,0 1 11,1 8 88,9 9 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za koordinatorje ekspertne zunanje evalvacije v evalviranih organizacijah - 2017, arhiv Andragoškega centra Slovenije. Na prvi pogled lahko ugotovimo, da med koordinatorji ni nikogar, ki bi se mu zdela letna razporeditev opravil izrazito neprimerna. Razen enega anketiranca vsi ostali menijo, da je bil primeren obseg časa, ki je bil namenjen pripravi samoocene, datum obiska, čas, ki so ga imeli na razpolago za pregled predloga končnega poročila o ugotovitvah, datum zaključne evalvacijske delavnice in sploh celoten obseg časa poteka ekspertne zunanje evalvacije. Tu nas je še najbolj v dobrem pomenu presenetilo to, da večina sodi, da so imeli dovolj časa za pripravo samoocene, saj je to za izobraževalno organizacijo zelo zahtevno delo in pričakovali smo, da bo tu več opozoril na premalo časa. No, pa temu očitno ni tako. Povsem drugačno pa je mnenje o obdobju, v katerem je potekala priprava samooce ne – to se zdi le deloma primerno skoraj polovici anketiranih. Čeprav je že Andragoški center sam pri načrtovanju letnega razpora preizkušal več različic, kdaj bi izobraževalne organizacije pripravljale samooceno, je očitno to še vedno problem, za katerega pa je vprašanje, če je mogoče najti boljšo rešitev, če ga določata dva mejnika – da se celoten proces ekspertne zunanje evalvacije lahko prične šele po odobritvi financerja za izpeljavo naloge in da je proces zaključen v koledarskem letu. Očitno pa je, da je po mnenju vprašanih zaključek enega šolskega leta in začetek novega, od katerih oba prinaša številne aktivnosti v izobraževalne organizacije, precej neprimeren za pripravo samoocene. Čeprav ne tako izrazito, pa so anketiranci kot manj primerno označili tudi obdobje, ko je organizirano uvodno srečanje za izobraževalne organizacije. Kot je razvidno iz preglednice, je bilo razen enkrat, ko je bilo junija, doslej to srečanje organizirano vedno maja, in sklepamo lahko, da so tudi ta mnenja povezana z zaključkom šolskega leta in opravili v zvezi z njim. Te ugotovitve nam potrjujejo tudi zapisi, ki so jih naredili anketiranci – vse tiste, ki so pri eni trditvi v prejšnjem vprašanju izbrali odgovor »Neprimerno.« ali »Deloma primerno.«, smo namreč prosili, da svoj odgovor pojasnijo. Takole so napisali:  Po našem mnenju je bilo vse zelo dobro organizirano in pripravljeno.  Vse je bilo primerno.  Pri določenih delih samoocene bi ob rednem delu potrebovali malce več časa.  Dokumentacijo za samoevalvacijo smo pripravljali preko poletja in še v septembru, če se prav spomnim. Jaz sem zadolžena za pripravo letnega poročila o realizaciji LDN ter za izobraževanje odraslih in vse je potekalo sočasno. Zaradi velike obremenitve v tem času sem (le zase) menila, da bi lažje pripravila dokumentacijo od srede oktobra dalje.  Uvodno srečanje je bilo v maju, kar ni bil ravno primeren čas. Prav tako priprava samoocene, ki jo je bilo potrebno narediti do 30. junija. V tem času se stvari zaključujejo, je poklicna matura, potrebno je delati spričevala, razne evalvacije in poročila. Za pripravo samoocene je potrebno imeti osebo, ki dobro pozna organizacijo, je pa ta oseba v tem obdobju najbolj zaposlena.  Predlagam, da bi se v prihodnje izvajala evalvacija od jeseni dalje in da se ne izvaja ob zaključku šolskega leta ter v poletnih mesecih (priprava samoocene). Sicer pa je bilo časovno zaporedje nalog v redu, vse od priprave do zaključne delavnice.  Obdobje, v katerem je potekala priprava samoocene, je za nas najbolj obremenjeni čas leta, saj na vseh področjih zaključujemo šolsko leto. Če odmislimo prvi dve mnenji, ki le potrjujeta odgovor dveh anketirancev, da je bil letni razpored evalvacije primeren, vsa ostala potrjujejo, kar smo že navedli – da čas od maja do zaključka poletja ni prav primeren za tisto, kar morajo v zvezi z ekspertno zunanjo evalvacijo narediti v izobraževalni organizaciji. Dva anketiranca predlagata, da bi bilo zanje lažje, če bi ta opravila lahko opravljali jeseni. Ni mogoče oporekati, da bi bilo za izobraževalne organizacije verjetno bolje, če bi se proces ekspertne zunanje evalvacije pričel pozno jeseni, vendar s tem naletimo na zagato, da bi se celoten proces zavlekel v naslednje koledarsko leto, kar pa je z vidika letnega financiranja, kot se je ta aktivnost financirala doslej, skoraj nemogoče, saj morajo biti pogodbeno dogovorjene naloge zaključene do konca koledarskega leta. Vsekakor je to eno izmed vprašanj, ki jih je potrebno ponovno dobro premisliti pri nadaljnjem načrtovanju ekspertnih zunanjih evalvacij. Kot smo že zapisali, smo podobno vprašanje zastavili tudi ekspertnim zunanjim evalvatorjem. Vprašanje se od vprašanja koordinatorjem iz izobraževalnih organizacij razlikuje v tem, da ima sicer nekaj enakih trditev, ki se nanašajo na aktivnosti, ki jih opravljajo oboji, zajete pa so tudi aktivnosti, ki jih opravljajo samo ekspertni zunanji evalvatorji, izobraževalne organizacije pa ne. Tudi ekspertni zunanji evalvatorji so svoje mnenje morali povedati pri vsakem zapisu v vprašanju. Na vprašanje je odgovarjalo enajst ekspertnih zunanjih evalvatorjev. Preglednica 38: Odgovori evalvatorjev na vprašanje o tem, kako ocenjujejo letni razpored poteka ekspertne zunanje evalvacije (N=11) NEPRIMERNO dELOMA PRIMERNO PRIMERNO SKUPAJ FREKVENCA SKUPAJ OdSTO TEK FREKVENCA OdSTO TEK FREKVENCA OdSTO TEK FREKVENCA OdSTO TEK Obdobje v letu, v katerem je organizirano vsakoletno spopolnjevanje. 0 0,0 1 9,1 10 90,9 11 100,0 Obseg časa, ki je namenjen oceni samoocene. 0 0,0 1 9,1 10 90,9 11 100,0 Obdobje v letu, v katerem poteka ocenjevanje samoocene. 0 0,0 1 9,1 10 90,9 11 100,0 Obseg časa, ki je namenjen pripravi vprašalnikov. 0 0,0 1 9,1 10 90,9 11 100,0 Obdobje v letu, v katerem poteka priprava vprašalnikov. 0 0,0 1 9,1 10 90,9 11 100,0 Obdobje v letu, v katerem poteka obisk. 0 0,0 1 9,1 10 90,9 11 100,0 Obseg časa, ki je na razpolago za pripravo zapisnikov. 0 0,0 0 0,0 11 100,0 11 100,0 Obseg časa, ki je na razpolago za pripravo predloga končnega poročila o ugotovitvah ekspertne zunanje evalvacije. 0 0,0 1 9,1 10 90,9 11 100,0 Obseg časa, ki je na razpolago za pripravo končnega poročila o ugotovitvah ekspertne zunanje evalvacije. 0 0,0 0 0,0 11 100,0 11 100,0 Obdobje v letu, ko je organizirana zaključna evalvacijska delavnica. 0 0,0 2 18,2 9 81,8 11 100,0 Celoten obseg časa poteka ekspertne zunanje evalvacije. 0 0,0 2 18,2 8 81,8 11 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Tudi v tem primeru ni bilo nikogar, ki bi ocenjeval, da je letni razpored ekspertne zunanje evalvacije neprimeren, pri večini trditev je kar deset od enajstih vprašanih ocenilo, da je razpored primeren. Le v dveh primerih sta dva vprašana ocenila, da je le delno primerno »obdobje v letu, ko je organizirana zaključna evalvacijska delavnica.« in »celoten obseg časa poteka ekspertne zunanje evalvacije.« Tako lahko na splošno ocenimo, da je zadovoljstvo ekspertnih zunanjih evalvatorjev z letnim razporedom razmeroma dobra, seveda pa kaže upoštevati tudi njihova opozorila:  Zdi se mi, da bi delo evalvatorjev lažje izpeljali v maju in juniju, ko se šolsko leto zaključuje in ne jeseni, ko se začenja in je zelo veliko rednega dela na organizacijah.  Gre za zelo osebno oceno. V tem času imam veliko drugih obveznosti, ki jih zato težje uskladim. Ker je napoved tega termina dovolj zgodaj, po navadi uspem uskladiti tudi termin delavnice.  Menim, da je zlasti v fazi ocene samoocene včasih premalo časa, saj gre za zelo zahtevno fazo, celo najzahtevnejšo. Verjetno bi bilo bolje, da bi se celotna izpeljava začela prej, ne šele maja ali junija, čeprav so za to na ACS objektivni razlogi (financer prej ne potrdi naloge). To, kar naredimo v tej fazi, predstavlja ogrodje celotnega končnega poročila - če to ni pripravljeno v redu, se utegne zgoditi, da se problemi pojavljajo ves čas v nadaljevanju. In v tej fazi se takoj nato pripravljajo tudi vprašalniki - če zanje nimamo dovolj časa, se lahko zgodi, da imamo nekakovostne informacije na pogovorih. Skratka, »navijam« za to, da bi začetno fazo ocenjevanja samoocene vsaj nekoliko podaljšali.  Glede časa za pripravo predloga končnega poročila: čas je objektivno omejen, če pa bi bilo mogoče, bi si želela več časa za to aktivnost. Glede organizirane zaključne evalvacijske delavnice: konec leta je poln aktivnosti in včasih so problem prosti termini. Iz teh izjav lahko povzamemo, da si ekspertni zunanji evalvatorji želijo, da bi celoten proces evalvacije potekal več časa, da bi bilo tako za posamezne faze, zlasti najzahtevnejše (prva ocena samoocene, predlog zaključnega poročila o izpeljani evalvaciji), več časa. Eno opozorilo pa se nanaša tudi na to, da bi delo ekspertnih zunanjih evalvatorjev potekalo bolj zgodaj pomladi, kar pa je, kot smo že omenili, vsaj pri sedanjem načinu financiranja, nemogoče. Če primerjamo stališča koordinatorjev iz izobraževalnih organizacij in ekspertnih zunanjih evalvatorjev, potem lahko ugotovimo, da se večini obojih zdi letni razpored opravil v ekspertni zunanji evalvaciji sicer primeren, največ je opozoril koordinatorjev, da je manj primeren čas, ko se pripravlja samoocena. Oboji, tako koordinatorji kot evalvatorji, opozarjajo na to, da bi bilo nekatera opravila bolje opravljati v drugem času leta, ko ni toliko drugih, rednih opravil. Tako si koordinatorji želijo, da bi priprava samoocene potekala v pozni jeseni, ekspertni zunanji evalvatorji pa bi delo raje opravljali v zgodnji pomladi. Upoštevanje obeh želja bi bilo mogoče, če bi financiranje izvedbe evalvacije potekalo v obdobju šolskega in ne koledarskega leta, kot je primer sedaj. Nekaj mnenj obojih je tudi, da bi za posamezna opravila potrebovali več časa (priprava samoocene, prvi pregled samoocene, priprava poročila o izvedeni ekspertni zunanji evalvaciji). Oba subjekta, torej koordinatorje ekspertnih zunanjih evalvacij iz izobraževalnih organizacij in ekspertne zunanje evalvatorje smo povprašali tudi o tem, kaj menijo o dnevnem razporedu obiska, ko ekspertni zunanji evalvatorji obiščejo izobraževalno organizacijo in se pogovarjajo s sodelavci te organizacije, si ogledajo prostore in morebiti še kakšno dokumentacijo, da bi še bolj utrdili svoje mnenje, ki so si ga oblikovali ob prebiranju samoocene in si pridobili še dodatne informacije, ki nato vplivajo na njihovo končno stališče. Pregled dokumentacije kaže, da so bili dosedanji dnevni poteki obiskov skoraj enaki v vseh trinajstih evalviranih organizacijah. Vsi so potekali en dan, od 9. do 17. ure (le v enem primeru od 10. do 17. ure, v enem od 9. do 17.15 ure in v enem od 9. do 16.30 ure). V povprečju so torej obiski trajali nekaj manj kot 8 ur (7,8 ure). Razporeditev in obseg časa, namenjenega posameznim aktivnostim v okviru teh ur sta bila, seveda, odvisna od tega, s kako različnimi subjekti so se ekspertni zunanji evalvatorji želeli pogovarjati, ali so si želeli ogledati tudi prostore in ali so si želeli ogledati tudi dodatno dokumentacijo, ki jo izobraževalna organizacija ni priložila samoevalvaciji. Ne glede na to pa so v dnevnih razporedih vseh doslej izvedenih obiskov neke stalnice: Preglednica 39: Pregled običajnega dnevnega razporeda obiska ekspertnih zunanjih evalvatorjev v evalvirani organizaciji AKTIVNOST TRA JANJE OPIS AKTIVNOSTI Priprave ekspertnih zunanjih evalvatoric na izvedbo pogovorov 30 minut Priprave so vedno na začetku obiska, evalvatorice jih opravijo same, brez prisotnosti sodelavcev izobraževalne organizacije. Namen teh priprav je, da evalvatorice pripravijo vse, da pogovori v nadaljevanju potekajo brez zapletov (potrebna dokumentacija, IKT podpora ipd.), uskladijo še zadnje dogovore. Uvodni pogovor z vsemi, ki bodo sodelovali pri pogovorih 15 minut Ta pogovor je namenjen pojasnitvi namena obiska, predstavitvi poteka dela in morebitnim vprašanjem. Na njem naj bi sodelovali vsi, ki kasneje sodelujejo na intervjujih, vendar je prisotnost vseh včasih težko zagotoviti, praviloma pa sodeluje direktor oz. ravnatelj izobraževalne organizacije, koordinator evalvacije in kdo ali vsi iz komisije za kakovost. Intervjuji, ogledi dokumentacije, ogledi prostorov 75 do 90 minut Čas je odvisen od tega, kakšna aktivnost je v tem sklopu predvidena. Med intervjuvanci so brez izjeme direktor oz. ravnatelj organizacije in člani komisije za kakovost, skoraj vedno pa tudi učitelji, strokovni sodelavci organizacije in udeleženci izobraževanja. Vedno sočasno potekata dva intervjuja (ali pa intervju in kakšen ogled), v ta namen se skupina evalvatorjev razdeli na dva dela, tako da lahko sočasno potekata dve aktivnosti. Ogled dokumentacije in prostorov poteka ob prisotnosti predstavnika organizacije. Pogovor evalvatoric in odmor 15 do 30 minut Po prvem intervjuju (ali ogledu) si evalvatorji med seboj izmenjajo informacije in hkrati že zabeležijo kaj, kar bi bilo potrebno sporočiti ob zaključku obiska. Intervjuji, ogledi dokumentacije, ogledi prostorov 75 do 90 minut Podobno kot prej. Pogovor evalvatoric in odmor za kosilo 60 minut V času glavnega dnevnega odmora si evalvatorice ponovno izmenjajo informacije in pripravijo sporočila za zaključni del obiska, ki jih je mogoče narediti na podlagi že opravljenih pogovorov in ogledov. Intervjuji, ogledi dokumentacije, ogledi prostorov 75 do 90 minut Podobno kot prej. Priprava prve povratne informacije 45 minut Po zaključenih pogovorih in ogledih ekspertni zunanji evalvatorji pripravijo prvo povratno informacijo. Ta obsega ugotovljene dobre stvari, ki jih organizacija že dosega na opazovanih področjih kakovosti, pregled ugotovljenih šibkih točk, pa tudi nekatera priporočila za nadaljnji razvoj, ki jih evalvatorji lahko dajo izobraževalni organizaciji. Prva povratna informacija in pogovor o izpeljanem obisku 45 minut Ekspertni zunanji evalvatorji ustno predstavijo ugotovitve in to je prva povratna informacija, ki jo v postopku ekspertne zunanje evalvacije dobi izobraževalna organizacija. Temu sledi razprava. Ekspertni zunanji evalvatorji tudi povedo, kako bodo potekale nadaljnje faze evalvacije. Na pogovorih lahko sodelujejo vsi, ki so sodelovali na pogovorih, organizacija pa se lahko odloči, da sodelujejo le izbrane osebe. Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Ko smo koordinatorje iz izobraževalnih organizacij vprašali, kako ocenjujejo dnevni razpored obiska, so odgovorili tako, kot kaže spodnja preglednica. Anketiranci, bilo jih je devet, so imeli možnost, da izberejo več ponujenih odgovorov. Preglednica 40: Odgovori koordinatorjev iz organizacij na vprašanje o tem, kako ocenjujejo dnevni razpored obiska ekspertnih zunanjih evalvatorjev v njihovih organizacijah (N=9) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Razpored obiska je bil prenatrpan. 0 0,0 0,0 Razpored obiska je bil glede na vsebino primeren. 9 90,0 100,0 Obisk bi moral trajati manj časa. 0 0,0 0,0 Obisk bi moral trajati več kot en dan. 0 0,0 0,0 Drugo. 1 10,0 11,1 SKUPAJ 10 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za koordinatorje ekspertne zunanje evalvacije v evalviranih organizacijah - 2017, arhiv Andragoškega centra Slovenije. Zanimivo je, da se je vseh devet anketirancev odločilo za enak odgovor, in sicer »Razpored obiska je bil glede na vsebino primeren.« Očitno je, da je odločitev organizatorjev obiska, to je skupine ekspertnih zunanjih evalvatorjev, ki so posamezno organizacijo obiskali, da uporabljajo ustaljen vzorec razporeditev aktivnosti, primeren. Verjetno pa k tako enotni oceni prispeva tudi dejstvo, da je urnik obiska vedno usklajen tudi s koordinatorjem evalvacije iz izobraževalne organizacije. Le en vprašani se je odločil tudi za odgovor »Drugo.« in ta odgovor pojasnil takole:  Ekspertna zunanja evalvacija (obisk) je bil izveden v enem dnevu, kar je meni zelo ustrezalo, saj bi težko našla prostor, učitelje... Vse sem organizirala v enem dnevu, vsi smo bili na to pripravljeni in vse je potekalo brez težav. Edino eno stvar bi poudarila: ker sta para evalvatorjev počela različne stvari, bi bilo smiselno vnaprej izraziti željo, da bi imela popolnoma na voljo (vsaj občasno) dva prostora. Tako sta dve evalvatorici del svojega dela opravili, žal, na hodniku, ker nismo našli prazne učilnice... Čeprav gre zgolj za eno tako opozorilo, pa naj pojasnimo, da je ta zapis nekoliko nenavaden, saj izobraževalna organizacija vedno vnaprej dobi razpored dela, iz katerega je razvidno tudi to, da nekatere aktivnosti potekajo sočasno, hkrati pa so koordinatorji iz organizacij zaprošeni, da vnaprej povedo, v katerih prostorih bodo potekale posamezne aktivnosti. Zato ni prav jasno, zakaj je v tem primeru prišlo do opisanega zapleta. Povsem enako vprašanje smo zastavili tudi ekspertnim zunanjim evalvatorjem. Tudi ti so imeli možnost, da izberejo več odgovorov, na vprašanje jih je odgovarjalo enajst. Preglednica 41: Odgovori evalvatorjev na vprašanje o tem, kako na splošno ocenjujejo dnevni razpored obiska ekspertnih zunanjih evalvatorjev v izobraževalni organizaciji (N=11) FREKVENCA OdSTOTEK GLEdE NA Od GOVORE OdSTOTEK GLEdE NA OSEbE Razpored obiska je vsebinsko prenatrpan. 0 0,0 0,0 Razpored obiska je glede na vsebino primeren. 11 68,8 100,0 Obisk bi moral trajati manj časa. 0 0,0 0,0 Obisk bi moral trajati več kot en dan. 2 12,4 18,2 Drugo. 3 18,8 27,3 SKUPAJ 16 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Kot je razvidno, pa je pri teh odgovorih nekaj razlik. Kar se tiče razporeda obiska glede na vsebino, se vsem ekspertnim zunanjim evalvatorjem zdi primeren. Razlike pa so pri oceni trajanja obiska. Dva anketiranca sta se odločila za odgovor »Obisk bi moral trajati več kot en dan.«, trije odgovori pod »Drugo.« pa pripovedujejo povsem isto (v nekaterih primerih gre pojasnila anketirancev, ki sta izbrala prejšnji odgovor):  Vem, da je organizacijsko in časovno skoraj nemogoče, da bi obisk trajal več kot en dan, a sem vseeno izbrala ta odgovor, ker mislim, da bi bilo dobro, če bi nam bilo to omogočeno - bolj v miru in z razmislekom bi lahko pripravili ustno informacijo, ki jo damo evalvirani organizaciji, več bi se lahko pogovarjali. No, glede na dane razmere je pa tako, kot je, dobro.  Predlagam, da bi poskusili z dvodnevnimi obiski, pri čemer bi bilo izpeljanih enako število razgovorov kot doslej, da bi na tak način po vsakem opravljenem pogovoru lahko evalvatorji imeli več časa za izmenjavo pridobljenih informacij med seboj. Trajanje obiska v urah po dnevu bi zato seveda bilo krajše (zato bi posamezen dan bil nekoliko manj naporen) in za povratne informacije ob zaključku bi ostalo več časa, kar tudi menim, da bi bilo dobro. Predlagam tudi, da si prostore organizacije in dodatno dokumentacijo ogledajo vsi evalvatorji v skupini.  Razmišljam, da bi bilo morda smiselno, če bi glede na obseg in število izobraževalnih aktivnosti, programov, dejavnosti…, ki jih evalvirana organizacija izvaja, obisk organizirali v dveh zaporednih dnevih. Svoje razmišljanje utemeljujem z izkušnjami iz dosedanjih evalvacij - predvsem s tistim delom, ki je namenjen povratnim informacijami, ki je v primeru enodnevnega obiska organiziran relativno pozno popoldne, ko so utrujeni predstavniki izobraževalne organizacije in tudi mi ekspertni evalvatorji. Zgodi se tudi, da se tega sestanka ne udeležijo vsi, ki bi se ga morali. Dobiti prvo povratno informacijo je za presojano organizacijo pomembno, zato je dobro, da je za to aktivnost na voljo dovolj časa. Tudi za nas, evalvatorje, je dobro, da vidimo reakcijo posameznikov, vključenih v proces evalviranja, njihovo utemeljevanje in argumentiranje v primeru nestrinjanja z ugotovljenimi pomanjkljivostmi oziroma šibkimi točkami. Če bi obisk v organizaciji organizirali v dveh dneh, bi imeli več časa za izvedbo posameznih aktivnosti in bi bilo mogoče manj naporno za vse sodelujoče. Obisk bi sicer trajal dva dni, a dnevna prisotnost evalvatorjev v organizaciji, bi ne bila od 9.00 do 17.00 ali mogoče še dlje. Koordinator in evalvatorji bi imeli več časa za pripravo prve povratne informacije. Ekspertni zunanji evalvatorji torej opozarjajo na problem trajanja celotnega obiska, nekateri predlagajo, da bi trajal dva dni in to utemeljujejo predvsem s tem, da bi bilo več časa za pripravo prve povratne informacije in pogovor ob njej. Opozarjajo pa tudi na preutrujenost tako ekspertnih zunanjih evalvatorjev kot sodelavcev izobraževalne organizacije, saj je obisk res vsebinsko intenziven in časovno dolg. Ideja vsekakor ni slaba in ji je mogoče na podlagi argumentov, ki so jih napisali anketiranci, takoj pritegniti. Vendar je treba ob tem vedeti, da skupino ekspertnih zunanjih evalvatorjev vedno sestavljajo vsaj štirje evalvatorji, pogosto pa še več, od teh pa je večina zaposlenih v drugih, različnih organizacijah. Že organizacija njihove enodnevne odsotnosti je zahtevna, vprašanje pa je, če bi sploh uspelo sestaviti skupine evalvatorjev v primeru, da bi obisk trajal dalj časa. Pomisliti je potrebno še na razmere v evalviranih izobraževalnih organizacijah. Ker gre povečini za manjše organizacije, so ob obisku vpleteni tako rekoč vsi zaposleni in tako je njihov delovni proces ta dan prav gotovo zelo moten. Vprašanje je, kako bi sprejeli odločitev, da bi obisk evalvatorjev trajal več dni. Če primerjamo izide, ki smo jih v zvezi z dnevnim razporedom obiska v okviru ekspertne zunanje evalvacije dobili z anketiranjem obeh subjektov, lahko ugotovimo, da tako koordinatorji ekspertne zunanje evalvacije iz izobraževalnih organizacij kot ekspertni zunanji evalvatorji sodijo, da je dnevni razpored aktivnosti primeren. Nekateri ekspertni zunanji evalvatorji (ne večina) pa poleg tega opozarjajo na problem, da obisk traja samo en dan, zaradi česar vseh aktivnosti ni mogoče opraviti tako poglobljeno, kot bi si želeli; zlasti to velja za pripravo prve ustne povratne informacije o ugotovitvah, ki jo dajo ob koncu obiska. V razmislek dajejo idejo, da bi obisk trajal dva dni. 4.2.2 Vsebinski potek ekspertnih zunanjih evalvacij V uvodnem poglavju s predstavitvijo ekspertne zunanje evalvacije smo že navedli, da ta poteka po več vsebinskih fazah: priprava samoocene, ocena samoocene, pridobivanje informacij na licu mesta (obisk izobraževalne organizacije), prva ustna informacija o ugotovitvah evalvatorjev ob koncu obiska v organizaciji, priprava predloga poročila o izvedeni evalvaciji, vpogled organizacije v predlog poročila, končno poročilo. Zanimalo nas je, kako tak vsebinski potek ocenjujejo tako v izobraževalnih organizacijah kot ekspertni zunanji evalvatorji sami – ali se jim zdi, da bi morala evalvacija vsebinsko potekati kako drugače, ali pa se jim tak način zdi primeren. Najprej nas je zanimalo, kako različni subjekti ocenjujejo tisto fazo, ko izobraževalna organizacija pripravi samooceno, v kateri sama predstavi (opisno in z dokazili), kakšno raven kakovosti že dosegajo na izbranih področjih in v zvezi z merili kakovosti, ki jih ta področja vsebujejo. Tako smo o tem povprašali direktorje oz. ravnatelje izobraževalnih organizacij, v katerih so potekale ekspertne zunanje evalvacije. V anketiranju je sodelovalo devet direktorjev oz. ravnateljev, imeli pa so možnost izbire več odgovorov. Preglednica 42: Odgovori direktorjev oz. ravnateljev na vprašanje o tem, kako ocenjujejo to, da so na začetku ekspertne zunanje evalvacije morali pripraviti samooceno na področjih, ki so bila kasneje evalvirana (N=9) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE O tem nimam mnenja, to je bilo pač od nas zahtevano. 0 0,0 0,0 Ne vidim prave koristi od tega dela, vzelo pa nam je veliko časa. 0 0,0 0,0 Vse, kar smo morali opisati v samooceni, je zapisano že v drugih dokumentih organizacije in bi si to lahko ekspertni zunanji evalvatorji ogledali. 0 0,0 0,0 Vse, kar smo morali opisati v samooceni, bi lahko povedali na razgovorih z ekspertnimi zunanjimi evalvatorji. 0 0,0 0,0 Priprava samoocene je tudi nam pomagala, da smo tudi mi sami dobili boljši vpogled v raven kakovosti na področjih, ki so bila evalvirana. 8 26,7 88,9 S pripravo samoocene smo ekspertnim zunanjim evalvatorjem lahko bolj natančno in celovito prikazali, kaj vse delamo in kakšno raven kakovosti dosegamo na področjih, ki so bila evalvirana. 5 16,7 55,6 Priprava samoocene je pripomogla k temu, da smo zbrali vse dokumente, ki so pomembni za vpogled v raven kakovosti na področjih, ki so bila evalvirana. 3 10,0 33,3 Proces priprave samoocene je v organizaciji sprožil izmenjavo informacij med sodelavci o delu na področju kakovosti. 7 23,3 77,8 Priprava samoocene nam je že v tej fazi ekspertne zunanje evalvacije jasneje pokazala, kje so naše prednosti, kje pa še nismo naredili dovolj. 7 23,3 77,8 Drugo. (Prosimo, pojasnite.) 0 0,0 0,0 SKUPAJ 30 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. Prvo, kar lahko ugotovimo, je, da ni bilo prav nobenega odklonilnega stališča direktorjev oz. ravnateljev o tem, da se na začetku evalvacije pripravlja samoocena. Še bolj kot to, da samoocena omogoča, da so lahko »ekspertnim zunanjim evalvatorjem bolj natančno in celovito prikazali, kaj vse delajo in kakšno raven kakovosti dosegajo na področjih, ki so bila evalvirana«, so poudarili, da izdelava samoocene sproža neke notranje premike: »Priprava samoocene je tudi nam pomagala, da smo tudi mi sami dobili boljši vpogled v raven kakovosti na področjih, ki so bila evalvirana.«; »Proces priprave samoocene je v organizaciji sprožil izmenjavo informacij med sodelavci o delu na področju kakovosti.«; »Priprava samoocene nam je že v tej fazi ekspertne zunanje evalvacije jasneje pokazala, kje so naše prednosti, kje pa še nismo naredili dovolj.« Skratka, za evalvirano organizacijo priprava samoocene predstavlja neke vrsto samoevalvacijo, ob pripravi katere prihaja do sodelovanja med zaposlenimi in izmenjave informacij, do česar morebiti drugače sploh ne bi prišlo, organizacija pa dobi natančnejši vpogled v doseženo raven svoje kakovosti na evalviranih področjih, saj jo pri pripravi samoocene vodijo dokaj natančna merila kakovosti in usmeritve, kako naj samooceno izdela. Vse to se dogaja že pred »posegom« ekspertnih zunanjih evalvatorjev. Veseli nas lahko, da direktorji oz. ravnatelji na ta način ocenjujejo pripravo samoocene, saj je ne vidijo kot zgolj neko dodatno delo zaradi nekoga od zunaj, pač pa vidijo v njej kakovostni učinek za celotno organizacijo. Enako vprašanje v zvezi s pripravo samoocene smo postavili tudi koordinatorjem ekspertne zunanje evalvacije iz izobraževalnih organizacij. Oni so bili verjetno operativno bolj vpleteni v pripravo samoocene, zato nas je zanimalo, ali se bodo njihove ocene v čem razlikovale od ocen direktorjev oz. ravnateljev. Na vprašanje je odgovarjalo devet koordinatorjev, ki so prav tako imeli možnost izbire več odgovorov. Preglednica 43: Odgovori koordinatorjev iz organizacij na vprašanje o tem, kako ocenjujejo to, da so na začetku ekspertne zunanje evalvacije morali pripraviti samooceno na področjih, ki so bila kasneje evalvirana (N=9) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE O tem nimam mnenja, to je bilo pač od nas zahtevano. 0 0,0 0,0 Ne vidim prave koristi od tega dela, vzelo pa nam je veliko časa. 0 0,0 0,0 Vse, kar smo morali opisati v samooceni, je zapisano že v drugih dokumentih organizacije in bi si to lahko ekspertni zunanji evalvatorji ogledali. 0 0,0 0,0 Vse, kar smo morali opisati v samooceni, bi lahko povedali na razgovorih z ekspertnimi zunanjimi evalvatorji. 1 3,0 11,1 Priprava samoocene je tudi nam pomagala, da smo tudi mi sami dobili boljši vpogled v raven kakovosti na področjih, ki so bila evalvirana. 8 24,2 88,9 S pripravo samoocene smo ekspertnim zunanjim evalvatorjem lahko bolj natančno in celovito prikazali, kaj vse delamo in kakšno raven kakovosti dosegamo na področjih, ki so bila evalvirana. 6 18,2 66,7 Priprava samoocene je pripomogla k temu, da smo zbrali vse dokumente, ki so pomembni za vpogled v raven kakovosti na področjih, ki so bila evalvirana. 5 15,2 55,6 Proces priprave samoocene je v organizaciji sprožil izmenjavo informacij med sodelavci o delu na področju kakovosti. 6 18,2 66,7 Priprava samoocene nam je že v tej fazi ekspertne zunanje evalvacije jasneje pokazala, kje so naše prednosti, kje pa še nismo naredili dovolj. 6 18,2 66,7 Drugo. 1 3,0 11,1 SKUPAJ 33 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za koordinatorje ekspertne zunanje evalvacije v evalviranih organizacijah - 2017, arhiv Andragoškega centra Slovenije. Tako kot smo predvidevali, je minimalno razliko v odgovorih res mogoče zaznati. En koordinator za razliko od direktorjev oz. ravnateljev meni, da samoocene ne bi bilo potrebno pripravljati, ker bi vse lahko povedali na razgovorih z ekspertnimi zunanjimi evalvatorji. Če se spomnimo prejšnjih ocen v zvezi s potekom obiska, ko so nekateri evalvatorji ocenjevali, da je že ob pripravljeni samooceni premalo časa ob enodnevnem obisku, potem se vprašajmo, kako bi bilo, če bi morali evalvatorji pregledovati vse dokumente na licu mesta, ker je eno izmed pomembnih pravil ekspertne zunanje evalvacije, da ni dovolj zgolj »pripovedovanje o dosežkih«, pač pa se preverja tudi dokumentacija, dejstva. V takem primeru niti dva dneva še zdaleč ne bi bila dovolj. Sicer pa tudi tu večina koordinatorjev meni, da je »priprava samoocene tudi njim pomagala, da so tudi sami dobili boljši vpogled v raven kakovosti na področjih, ki so bila evalvirana.« Tako so njihova stališča zelo podobna stališčem direktorjev oz. ravnateljev, kar velja tudi za tiste odgovore, ki govorijo o tem, da je priprava samoocene sama po sebi pozitivna za organizacijo, saj si tako »vzame čas«, da natančneje oceni raven kakovosti na področjih, ki so predmet evalvacije, kar verjetno ne bi naredila, vsaj ne takrat in ne tako natančno. Omeniti pa je treba tudi pojasnilo, ki ga je en anketiranec dal pod odgovor »Drugo.«; morebiti gre za istega anketiranca, ki je ocenil, da priprava samoocene ni potrebna, lahko pa tudi ne. Takole je zapisal:  Zunanji evalvatorji so bili negativno nastrojeni, iskali so pomanjkljivosti in niso nam dali konkretnih napotkov, kaj bi lahko izboljšali. Bolj »pametničenje« kot pa resno poglobljeno izkušeno mnenje. Niso imeli realnega vpogleda v delovanje naše organizacije in niso upoštevali specifik, ki so zelo pomembne. Vse bi moralo biti po istem vzorcu, kar pa pri našem delovanju ni mogoče. Najprej je treba ugotoviti, da se izjava ne nanaša na vprašanje, saj vprašanje sprašuje o mnenju v zvezi s pripravo samoocene, torej o fazi, ko ekspertni zunanji evalvatorji niti ustno niti pisno še ne dajejo nobenih ocen. Očitno gre za mnenje o ustni povratni informaciji, ki jo dajo ekspertni zunanji evalvatorji ob koncu obiska ali pa za pisno poročilo (ali pa za oboje). Iz izjave veje razočaranje nad ugotovitvami zunanje evalvacije, ki je povsem legitimno. Težko bi se izognili ugibanju, da prihaja tako mnenje iz organizacije, ki v ekspertni zunanji evalvaciji ni bila najbolje ocenjena, kar pa niti ni tako pomembno. Pomembno je to, da ocene ekspertnih zunanjih evalvatorjev vedno nastajajo v celotni skupini s konsenzom, kar traja včasih zelo dolgo časa, da evalvatorji najdejo skupno oceno in njeno utemeljitev. Očitno je, da so se v primeru te organizacije tako uskladili. Glede na njihovo strokovnost, raznoliko sestavo in izkušnje z zunanjimi evalvacijami (ne samo v izobraževanju odraslih) bi zelo težko pristali na oceno, da so povsem zgrešili pri oceni. Očitno so bili neki dovolj tehtni in objektivni pokazatelji, ki so tako oceno narekovali; včasih nekih pojavov, procesov sami, pri izvajanju samoevalvacije, sploh ne zaznamo, zato je za razvoj kakovosti tako pomembno, da samoevalvacijo občasno soočimo tudi z nekim zunanjim vpogledom, kar ekspertna zunanja evalvacija nedvomno je. Seveda pa ne bi brez pomisleka zagovarjali prav vsake ocene te skupine evalvatorjev – mogoče je, da kakšna ocena ni povsem na mestu in da določenega pojava nekdo drug ne bi videl nekoliko drugače; prav gotovo pa gre za nianse in posamične pojave, vsekakor pa ne za celotno oceno te organizacije. Težko bi tudi soglašali z oceno, da »so bili zunanji evalvatorji negativno nastrojeni, iskali so pomanjkljivosti in niso dali konkretnih napotkov, kaj bi lahko izboljšali«. Prav vsaka doslej izvedena ekspertna zunanja evalvacija je izpeljana tako, da evalvatorji konkretno naštejejo številne dobre točke, ki so jih zaznali pri pregledu organizacije, torej tudi v tem primeru niso bili zgolj »negativno nastrojeni«, če je s tem mišljeno naštevanje šibkih točk, kar pa je tudi del vsake ekspertne zunanje evalvacije. Ekspertni zunanji evalvatorji ne iščejo pomanjkljivosti organizacije, za presojo imajo natančno opredeljena merila in presojajo samo tisto, kar v merilih piše – ali to organizacija ima, izvaja… ali ne. In če tega ni ali organizacija nečesa ne izvaja, to zapišejo med šibke točke. Povsem nerazumljiv je tudi tisti del zgornje povedi, ki govori o tem, da evalvatorji organizaciji niso dali konkretnih napotkov, saj vedno zapišejo celo vrsto povsem konkretnih predlogov za nadaljnji razvoj organizacije. Če pa skupina evalvatorjev v resnici »ni imela realnega vpogleda v delovanje organizacije«, je to bolj pomanjkljivost te organizacije, da ni znala, zmogla, hotela evalvatorjem prikazati teh razmer. Če so priporočila evalvatorjev razumljena kot »vse bi moralo biti po istem vzorcu, kar pa pri našem delovanju ni mogoče«, pa je treba povedati, da ekspertna zunanja evalvacija temelji na standardih kakovosti, ki niso nastali slučajno, pač pa so plod dolgoletnega študijskega in praktičnega dela ACS na področju kakovosti izobraževanja odraslih z upoštevanjem tudi raziskovalnih ugotovitev ter praktičnih izkušenj izobraževalnih sistemov v primerljivih državah Evropske unije. Tako so priporočila evalvatorjev na nek način res enotna – usmerjena so k temu, da bi se izobraževalna organizacija lahko približevala splošno priznanim standardom kakovosti. Nazadnje pa je treba povedati to, s čimer so vse evalvirane organizacije seznanjenje že ob samem začetku procesa, da so izidi evalvacije njihova last in da jih nihče ne sili, da jih kakorkoli upoštevajo. Pri tem mnenju smo se zaustavili nekoliko več časa, ker je na nek način dragoceno, saj omogoča pojasnitev nekaterih dejstev, ki jih morebiti ob drugih ocenah ne bi bilo potrebno pojasnjevati in jih tudi ne bomo, ko bomo obravnavali izide samoevalvacije, ki zadevajo vprašanja, ki so bila sprožena s tem mnenjem. Ne glede na to mnenje pa lahko tako iz ocen direktorjev oz. ravnateljev kot ocen koordinatorjev na splošno povzamemo zelo pozitiven odnos do tega, da organizacija na začetku ekspertne zunanje evalvacije pripravlja samooceno, ki je kasneje pomemben element zunanje evalvacije. Zato ne presenečajo odgovori direktorjev oz. ravnateljev in koordinatorjev, ko smo jih vprašali, ali bi priporočili, da priprava samoocene ostane izhodiščna točka ekspertne zunanje evalvacije. Vseh devet direktorjev oz. ravnateljev je namreč odgovorilo pritrdilno, medtem ko jih je med devetimi koordinatorji iz organizacij prav tako menilo osem, eden pa je izjavil, da je vseeno, torej, da samoocene niti ne bi priporočil niti je ne bi odsvetoval. Da bi bila slika popolna, smo podobno vprašanje zastavili tudi ekspertnim zunanjim evalvatorjem, saj je samoocena za njih zelo pomemben dokument, na podlagi katerega si ustvarijo prvo podobo evalvirane organizacije in je izhodišče za načrtovanje obiska v organizaciji. Zaradi tega, ker oni, seveda, samoocene ne pripravljajo, pač pa jo uporabljajo, so bili pri tem vprašanju zanje ponujeni drugačni odgovori, kot je bilo to v primeru direktorjev oz. ravnateljev in koordinatorjev iz izobraževalnih organizacij. Na vprašanje je odgovarjalo enajst ekspertnih zunanjih evalvatorjev, imeli pa so možnost, da izberejo več odgovorov. Preglednica 44: Odgovori evalvatorjev na vprašanje o tem, kako ocenjujejo to, da organizacija na začetku ekspertne zunanje evalvacije pripravi samooceno na področjih, ki so kasneje evalvirana (N=11) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE O tem nimam mnenja, to je tako načrtovano na Andragoškem centru Slovenije. 0 0,0 0,0 Ne vidim prave koristi od tega, ocenjevanje samoocene pa nam vzame veliko časa. 0 0,0 0,0 Vse, kar je opisano v samooceni, je zapisano že v drugih dokumentih organizacije in bi si to lahko ogledali tam. 0 0,0 0,0 Vse, kar piše v samooceni, bi lahko izvedeli na razgovorih v organizaciji. 0 0,0 0,0 Samoocena nam pomaga, da dobimo boljši vpogled v raven kakovosti na področjih, ki so evalvirana. 9 26,5 81,8 Samoocena natančno in celovito prikaže, kaj vse delajo v organizaciji in kakšno raven kakovosti dosegajo na področjih, ki so evalvirana. 5 14,7 45,5 Priprava samoocene pripomore k temu, da se zberejo vsi dokumenti, ki so pomembni za vpogled v raven kakovosti na področjih, ki so evalvirana. 10 29,4 90,9 Samoocena nam že v tej fazi ekspertne zunanje evalvacije jasneje pokaže, kje so prednosti organizacije, kje pa še niso naredili dovolj. 8 23,5 72,7 Drugo. 2 5,9 18,2 SKUPAJ 34 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Preden komentiramo te podatke, naj navedemo še, kaj sta pojasnila tista dva anketiranca, ki sta izbrala (tudi) odgovor »Drugo.«:  Samoocena nam da že dokaj dober vpogled v delovanje izobraževalne organizacije na področju kakovosti. Iz nje se že da izluščiti marsikatero dobro oz. šibko točko, pa tudi že oblikovati osnutek predlogov za izboljšave. Hkrati pa vpogled v samooceno organizacije evalvatorjem odpre marsikatero vprašanje oz. potrebo po dodatnih pojasnilih.  Samoocena ponudi tudi organizaciji dovolj možnosti, da že v tej fazi sami oceni svoje prednosti in pomanjkljivosti in da pripravi vsa potrebna dokazila. Razvidno je, da tudi med evalvatorji ni nikogar, ki bi menil, da samoocena ni potrebna. Najpogosteje so evalvatorji izbrali odgovor, da samoocena prispeva k temu, da se zberejo vsi dokumenti, ki so pomembni za njihov vpogled v evalvirano organizacijo. To potrjuje to, kar smo že napisali, da namreč ocena evalvatorjev ne izhaja zgolj iz opisa ali pripovedi, kaj se v organizaciji dogaja oz. kakšna kakovost se zagotavlja, pač pa močno temelji na pregledu dejstev, dokumentacije. Evalvatorjem je samoocena dragocena, ker vsebuje kopico dokumentov, dokazil, s pomočjo katerih lažje bolj objektivno ocenijo stanje. To potrjuje tudi drugi odgovor po pogostosti, to je, da evalvatorjem samoocena »pomaga, da dobijo boljši vpogled v raven kakovosti na področjih, ki so evalvirana.«, ali pa odgovor, da evalvatorji že v tej fazi dobijo vpogled v dobre in šibke točke v izobraževalni organizaciji na evalviranih področjih. Še najmanjkrat so evalvatorji izbrali odgovor, da »samoocena natančno in celovito prikaže, kaj vse delajo v organizaciji in kakšno raven kakovosti dosegajo na področjih, ki so evalvirana«, kar pove, kako evalvatorji cenijo tudi obisk v organizaciji, saj jim samoocena ne zadostuje za celovit vpogled v raven kakovosti organizacije. Zaradi teh izidov tudi ne presenečajo odgovori evalvatorjev, ko smo jih povprašali, ali bi priporočili, da priprava samoocene ostane izhodiščna točka ekspertne zunanje evalvacije. Vseh enajst, ki jih je odgovarjalo na to vprašanje, je temu pritrdilo. Naslednji sklop vprašanj se nanaša na obisk v izobraževalni organizaciji, ki ga ekspertni zunanji evalvatorji opravijo po pregledu samoocene, iz katere si pridobijo prve vtise, kakšna je kakovost izobraževalne organizacije na izbranih področjih. Vendar ti vtisi niso dovolj – da bi bila ocena čim bolj objektivna in verodostojna, so potrebni še pogovori z različnimi subjekti, v katerih se razčistijo morebitne nejasnosti, pridobijo dodatne informacije, osvetlijo določena ravnanja, procesi ipd. V pogovore je vedno vključenih več subjektov, ki določene pojave osvetljujejo z vidika svojega položaja v organizaciji, svojih predstav in razumevanja, to pa evalvatorjem pomaga pri pridobitvi objektivnejše podobe. Obiski pa so namenjeni tudi vpogledu v dokumentacijo, na katero se sklicuje samoocena, pa tudi v dokumentacijo, ki samooceni ni bila priložena, pa evalvatorji menijo, da bi jim pomagala osvetliti določeno vprašanje. Zelo pogosto si evalvatorji ogledajo tudi prostore in opremo organizacije, zlasti tiste, kjer poteka izobraževalni proces, saj je to tudi pokazatelj kakovosti in skrbi za udeležence izobraževanja ter zaposlene, četudi predmet zunanje evalvacije niso prostori in oprema. Zanimalo nas je, kako vlogo obiska v ekspertni zunanji evalvaciji vidijo različni subjekti, ali se jim zdi potrebna in primerna, ali pa jim je to le »odvečno opravilo«, ki po njihovem mnenju ne doprinese kaj dosti h kakovosti izvedene ekspertne zunanje evalvacije. O tem smo tako povprašali direktorje oz. ravnatelje doslej evalviranih izobraževalnih organizacij. Na vprašanje jih je odgovarjalo devet, imeli pa so možnost izbire že vnaprej ponujenih odgovorov, pri tem pa so lahko izbrali več odgovorov. 100 Preglednica 45: Odgovori direktorjev oz. ravnateljev na vprašanje o tem, kako ocenjujejo, da so jih ekspertni zunanji evalvatorji osebno obiskali, se pogovarjali z njimi in njihovimi sodelavci (N=9) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE O tem nimam mnenja, to je bilo pač od nas pričakovano. 0 0,0 0,0 Ne vidim prave koristi od tega obiska, vzelo pa nam je veliko časa. 0 0,0 0,0 Vse smo že zapisali v samooceni, zato obisk ni bil potreben. 0 0,0 0,0 Ekspertni zunanji evalvatorji so si oceno o nas oblikovali že pred obiskom in jo kljub našim dodatnim argumentom niso spremenili, zato ne vidim prave koristi od obiska. 0 0,0 0,0 To, da so nas ekspertni zunanji evalvatorji osebno obiskali, se mi zdi zelo dragoceno, saj smo lahko obširneje pojasnili naše procese in rezultate dela, kar v samooceni ni mogoče. 7 28,0 77,8 To, da so nas ekspertni zunanji evalvatorji osebno obiskali, se mi zdi zelo dragoceno, saj smo lahko razčistili nekatere nejasnosti, ki so jih ekspertni zunanji evalvatorji imeli ob prebiranju naše samoocene in pregledu dokumentov. 7 28,0 77,8 Obisk ekspertnih zunanjih evalvatorjev je v organizaciji sprožil več razmislekov o naši kakovosti, tudi pri tistih, ki o tem do takrat še niso dovolj zavzeto razmišljali in tako tudi delovali. 5 20,0 55,6 Sodelavci so sodelovanje na razgovorih ob obisku sprejeli kot priznanje in izraz zaupanja. 6 24,0 66,7 Drugo. 0 0,0 0,0 SKUPAJ 25 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. Nobeden izmed sodelujočih direktorjev oz. ravnateljev ni ocenil, da je obisk neprimeren ali nepotreben. Veliki večini se zdi obisk dragocen, saj »so lahko obširneje pojasnili procese in rezultate dela, kar v samooceni ni mogoče« ali pa so se »lahko razčistile nekatere nejasnosti, ki so jih ekspertni zunanji evalvatorji imeli ob prebiranju samoocene in pregledu dokumentov«. Več kot polovica direktorjev oz. ravnateljev ocenjuje, da ima obisk tudi vpliv na nekatere notranje procese oz. razmere – obisk je sprožil razmisleke pri sodelavcih organizacije o doseženi ravni kakovosti, so pa tisti, ki so bili izbrani za sodelovanje na razgovorih, to sprejeli tudi kot posebno priznanje ter izraz zaupanja vodstva, da so 101 lahko predstavljali organizacijo. Na podlagi teh izidov tudi ni presenetljivo, da je vseh devet ravnateljev oz. direktorjev na izrecno vprašanje priporočilo, da se tudi v prihodnje v ekspertni zunanji evalvaciji izpeljuje obiske v evalviranih organizacijah. Prav enako vprašanje smo postavili tudi koordinatorjem ekspertne zunanje evalvacije iz izobraževalnih organizacij. Tudi ti so imeli možnost izbrati več vnaprej ponujenih odgovorov, na vprašanje jih je odgovarjalo devet. Preglednica 46: Odgovori koordinatorjev iz organizacij na vprašanje o tem, kako ocenjujejo to, da so jih ekspertni zunanji evalvatorji osebno obiskali, se pogovarjali z njimi in njihovimi sodelavci (N=9) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE O tem nimam mnenja, to je bilo pač od nas pričakovano. 0 0,0 0,0 Ne vidim prave koristi od tega obiska, vzelo pa nam je veliko časa. 0 0,0 0,0 Vse smo že zapisali v samooceni, zato obisk ni bil potreben. 0 0,0 0,0 Ekspertni zunanji evalvatorji so si oceno o nas oblikovali že pred obiskom in jo kljub našim dodatnim argumentom niso spremenili, zato ne vidim prave koristi od obiska. 1 4,0 11,1 To, da so nas ekspertni zunanji evalvatorji osebno obiskali, se mi zdi zelo dragoceno, saj smo lahko obširneje pojasnili naše procese in rezultate dela, kar v samooceni ni mogoče. 7 28,0 77,8 To, da so nas ekspertni zunanji evalvatorji osebno obiskali, se mi zdi zelo dragoceno, saj smo lahko razčistili nekatere nejasnosti, ki so jih ekspertni zunanji evalvatorji imeli ob prebiranju naše samoocene in pregledu dokumentov. 6 24,0 66,7 Obisk ekspertnih zunanjih evalvatorjev je v organizaciji sprožil več razmislekov o naši kakovosti, tudi pri tistih, ki o tem do takrat še niso dovolj zavzeto razmišljali in tako tudi delovali. 5 20,0 55,6 Mnogi sodelavci so sodelovanje na razgovorih ob obisku sprejeli kot priznanje in izraz zaupanja. 6 24,0 66,7 Drugo. 0 0,0 0,0 SKUPAJ 25 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za koordinatorje ekspertne zunanje evalvacije v evalviranih organizacijah - 2017, arhiv Andragoškega centra Slovenije. 102 Koordinatorji so odgovarjali zelo podobno kot direktorji oz. ravnatelji. Izjema je en koordinator, ki je izbral odgovor, da so si »ekspertni zunanji evalvatorji oceno o nas oblikovali že pred obiskom in jo kljub našim dodatnim argumentom niso spremenili, zato ne vidim prave koristi od obiska«. Ker se med anketiranimi koordinatorji pri zelo veliko vprašanjih, o čemer smo že pisali in še bomo, pojavlja eno izrazito odklonilno stališče do izvedene ekspertne zunanje evalvacije, si drznemo sklepati, da gre za enega in istega koordinatorja, ki ima, očitno, slabe izkušnje oz. slabo mnenje o tej evalvaciji. Četudi temu ni tako, bi v vsakem primeru kazalo povedati, da je res, da si evalvatorji osnovno mnenje ustvarijo že ob prebiranju samoocene. Na obisku iščejo še dodatne pokazatelje, argumente, ki to njihovo oceno utrdijo ali ovržejo. Res je tudi, da včasih dodatni argumenti niso zadostni in evalvatorji svoje prvotne ocene ne spremenijo. To je pač njihova temeljna ekspertna pravica, pa tudi dolžnost. Verjetno pa evalvatorji z veliko večjo gotovostjo, prepričanostjo oblikujejo tako oceno, saj vedo, da so organizaciji dali priložnost, da določene pojave še drugače osvetli; in če argumentov za to, da bi oceno spremenili, pač ni, je tudi ne spremenijo. Iz odgovorov drugih koordinatorjev je mogoče sklepati, da tako vlogo obiskov tudi poznajo in sprejemajo. To potrjujejo tudi njihovi odgovori na izrecno vprašanje, ali bi priporočili, da se tudi v prihodnje v ekspertni zunanji evalvaciji izpeljuje obiske v evalviranih organizacijah. Od devetih koordinatorjev, ki so odgovarjali na to vprašanje, jih je temu pritrdilo osem, enemu pa je vseeno, ali obiski so ali ne. Seveda je zanimivo tudi to, kako pa obiske ocenjujejo ekspertni zunanji evalvatorji. Takole je odgovorilo enajst evalvatorjev, ki je odgovarjalo na to vprašanje in imelo možnost, da izbere več vnaprej ponujenih odgovorov: Preglednica 47: Odgovori evalvatorjev na vprašanje, kako ocenjujejo to, da osebno obiščejo evalvirano organizacijo, se pogovarjajo z njenimi sodelavci (N=11) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE O tem nimam mnenja, to je tako načrtovano na Andragoškem centru Slovenije. 0 0,0 0,0 Ne vidim prave koristi od tega obiska, vzame nam veliko časa. 0 0,0 0,0 Vse je že zapisano v samooceni, zato obisk ni potreben. 0 0,0 0,0 To, da osebno obiščemo organizacijo, se mi zdi zelo dragoceno, saj nam organizacija lahko obširneje pojasni svoje procese in rezultate dela, kar v samooceni ni mogoče. 11 44,0 100,0 To, da osebno obiščemo organizacijo, se mi zdi zelo dragoceno, saj lahko razčistimo morebitne nejasnosti, ki jih imamo ob prebiranju samoocene in pregledu dokumentov. 11 44,0 100,0 Drugo. 3 12,0 27,3 SKUPAJ 25 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. 103 Trije evalvatorji so izbrali (tudi) odgovor »Drugo.« in to izbiro pojasnili takole:  Obisk v izobraževalni organizaciji se mi zdi pomemben tudi z vidika tega, da evalvatorji spoznajo okolje, ki ga evalvirajo, in ljudi, strokovne sodelavce, ki v tej organizaciji delujejo. S tem ko evalvatorji obiščejo izobraževalno organizacijo, na nek način izrazijo tudi spoštovanje do opravljenega dela te organizacije. Pokažejo, da jih to, kar v izobraževalni organizaciji delajo, zanima, da je pomembno. Evalvatorji imajo s tem možnost, da prisluhnejo ljudem, strokovnim delavcem, udeležencem, partnerjem in ne ostanejo samo na ravni pregledovanja in ocenjevanja dokumentacije.  Ne samo, da se mi zdi dragoceno, nujno je, da obiščemo organizacijo - brez tega bi bile ocene včasih neprimerne, nepravilne.  Obisk se mi zdi za tako obliko zunanje evalvacije, ki je kvalitativno zastavljena, nujen. Prikazani podatki skorajda ne potrebujejo komentarja, nesporno je, da vsi ekspertni zunanji evalvatorji vidijo v organizaciji obiska evalvirane organizacije veliko prednost in tudi nujnost. Zato tudi vsi, brez izjeme, sporočajo, da bi priporočili, da se tudi v prihodnje v ekspertni zunanji evalvaciji izpeljuje obiske v evalviranih organizacijah. V tem poglavju smo obravnavali vsebinski potek ekspertnih zunanjih evalvacij in smo ga doslej osvetlili zlasti na tistih točkah, ki pomembno določajo ta potek (samoocena, obisk organizacije). Na koncu tega poglavja pa predstavljamo še odgovore različnih subjektov o nekaterih drugih vidikih izpeljave medsebojnega sodelovanja med evalvirano izobraževalno organizacijo in ekspertnimi zunanjimi evalvatorji, tudi o odnosih med njimi. Tako smo direktorjem oz. ravnateljem izobraževalnih organizacij, v katerih je potekala ekspertna zunanja evalvacija, zastavili vprašanje, ali je bilo vsebinsko sodelovanje ekspertnih zunanjih evalvatorjev primerno z vidika njihovih organizacij. Posebej smo jih prosili, da imajo ob odgovarjanju na to vprašanje v mislih postopanje evalvatorjev v celotnem procesu evalvacije, njihovo strokovno in organizacijsko pripravljenost na izpeljavo evalvacije, upoštevanje informacij, ki so jih dobili, spoštovanje organizacije in sogovornikov ter drugo, kar se je morebiti dogajalo med evalvacijo. Seveda je lahko posamezen direktor oz. ravnatelj odgovarjal na to vprašanje na podlagi lastne izkušnje s skupino evalvatorjev, ki je evalvirala njegovo organizacijo, tako da združeni podatki, ki jih prikazujemo v nadaljevanju, ne govorijo vedno o istih evalvatorjih, ker so bile v različnih organizacijah pač različne skupine evalvatorjev. Vsekakor pa nam dajo neko splošno oceno teh odnosov. Ravnatelji oz. direktorji so pri vprašanju imeli na voljo več odgovorov, pri vsakem so morali označiti, ali se jim je zdelo nekaj primerno, deloma primerno ali neprimerno. Odgovarjalo je devet ravnateljev oz. direktorjev. 104 Preglednica 48: Odgovori direktorjev oz. ravnateljev na vprašanje o tem, kako na splošno ocenjujejo sodelovanje ekspertnih zunanjih evalvatorjev z njimi (N=9) NEPRIMERNO dELOMA PRIMERNO PRIMERNO SKUPAJ FREKVENCA SKUPAJ OdSTO TEK FREKVENCA OdSTO TEK FREKVENCA OdSTO TEK FREKVENCA OdSTO TEK Splošen odnos ekspertnih zunanjih evalvatorjev do vas. 0 0,0 0 0,0 9 100,0 9 100,0 Strokovnost ekspertnih zunanjih evalvatorjev. 0 0,0 1 11,1 8 88,9 9 100,0 Seznanjenost ekspertnih zunanjih evalvatorjev z vašo organizacijo. 0 0,0 1 11,1 8 88,9 9 100,0 Natančnost pri proučevanju vaše samoocene in dokazil. 0 0,0 1 11,1 8 88,9 9 100,0 Upoštevanje informacij, ki ste jim jih posredovali. 0 0,0 1 11,1 8 88,9 9 100,0 Upoštevanje vaših argumentov. 0 0,0 1 11,1 8 88,9 9 100,0 Njihova pripravljenost na pogovore. 0 0,0 1 11,1 8 88,9 9 100,0 Njihovo spoštovanje sogovornikov. 0 0,0 1 11,1 8 88,9 9 100,0 Njihova neodvisnost, objektivnost pri evalviranju. 0 0,0 1 11,1 8 88,9 9 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. Podatki kažejo, da se je osmim od devetih ravnateljev oz. direktorjev zdel odnos ekspertnih evalvatorjev do njih primeren in to v vseh raznolikostih, ki so jih imeli na voljo za ocenjevanje: strokovnost, informiranost, natančnost, upoštevanje informacij in argumentov, spoštovanje sogovornikov, pripravljenost ter njihova objektivnost. Ti izidi kažejo, da direktorji oz. ravnatelji menijo, da v veliki večini primerov evalvatorji delujejo v skladu z vsemi strokovnimi in etičnimi standardi, ki jih določa ekspertna zunanja evalvacija, ki jo izvaja ACS. 105 Seveda pa ne kaže spregledati tudi mnenja enega direktorja oz. ravnatelja, ki pa je splošen odnos evalvatorjev do organizacije sicer ocenil kot primeren, potem pa pri vseh ostalih kategorijah označil, da je šlo za manj primerno ravnanje. Iz tega je težko ugotavljati, na čem temelji njegova ocena o primernosti odnosa, če je nato vse ostale kategorije ocenil kot manj primerne. Vsekakor pa gre za opozorilo, da ta odnos vedno ni sprejet kot najboljši, kar je izhodišče za nadaljnje usposabljanje ekspertnih zunanjih evalvatorjev in evalvacijske pogovore po izvedenih evalvacijah. Ker smo želeli še natančneje izvedeti, kako ravnatelji oz. direktorji ocenjujejo te odnose, smo jih prosili še, da nam še sami napišejo kaj o tem, če se jim zdi pomembno. Večina (8 od 9 oseb) se je odločila, da svojo izkušnjo sodelovanja z evalvatorji še natančneje opiše:  Izobraževanje odraslih je področje, ki je na področju spremljanja kakovosti šibko predvsem z vidika ustreznosti modelov in pristopov. Zaradi svoje specifike sicer odlični modeli spremljanja kakovosti ne ponujajo jasne informacije o kakovosti izobraževanja odraslih, zato zelo spodbujamo razvoj modela(ov) spremljanja kakovosti na področju izobraževanja odraslih. Ker je razvojna dejavnost ena od ključnih v organizacijah za izobraževanje odraslih, je spremljanje kakovosti le-te zelo pomembno in nujno. Zunanja ekspertna evalvacija je zato dragocena informacija vsaki organizaciji o njeni kakovosti na področju izobraževanja odraslih (tudi razvojni), zato jo zelo pozdravljamo in želimo, da se v tej smeri izvaja in razvija.  So strokovni in imajo primerne osebnostne lastnosti.  Ekspertne zunanje evalvatorice so bile zelo strokovne, svoje delo so opravile zelo natančno, na obisk so bile zelo dobro pripravljene. Sam obisk je potekal po načrtih. Njihova povratna informacija je bila strokovna, natančna in argumentirana. Z obiskom smo bili zelo zadovoljni.  Zunanji evalvatorji so bili odlični. Evalvirani smo se ob njih čutili varno.  Ekspertni zunanji evalvatorji, ki so nas obiskali v naši organizaciji, so bili zelo dobro izbrani, strokovni, komunikativni in korektni, doprinesli so k širšemu razmišljanju in pestrosti uvidov v naše delovanje na področju kakovosti.  Kadar ima organizacija pomisleke pri izbiri določenega evalvatorja in ga ne izbere, bi morali to upoštevati, saj to lahko vpliva na kakovost izvedenega procesa.  Zavzeto in dobro so opravili svoje delo. Pomembno je, da ima organizacija možnost vpliva na izbor evalvatorjev, saj se na ta način poveča zaupanje v njihovo mnenje.  Pozdravljamo, da smo imeli možnost vplivati na izbor ekspertnih evalvatorjev. Vsa pohvala njihovemu delu. Iz teh opisov veje na splošno veliko zadovoljstvo tistih direktorjev oz. ravnateljev, ki so odgovarjali na to vprašanje, to pa je večina. Poudarjali so različne pozitivne vrline evalvatorjev, zlasti njihovo strokovnost, natančnost, korektnost, zavzetost ipd. Zanimivo je, da sta dva direktorja oz. ravnatelja izpostavila kot pozitivno tudi možnost, da lahko organizacija vpliva na izbor evalvatorjev. Ko so organizacije ob začetku ekspertne zunanje evalvacije seznanjene z listo delujočih ekspertnih evalvatorjev, imajo namreč možnost, da povedo, da si ne želijo, da bi v skupini evalvatorjev za njihovo organizacijo sodeloval nekdo s te liste. ACS je namreč predvidel, da morda nekdo ne bi bil zaželen, ker prihaja iz konkurenčne organizacije, ker je morebiti zunanji sodelavec te organizacije ali pa ker mu organizacija preprosto ne zaupa. Očitno je bila taka odločitev ACS tehtna. Zato je ne 106 razumljiva izjava enega izmed direktorjev oz. ravnateljev, ki je zapisal: »Kadar ima organizacija pomisleke pri izbiri določenega evalvatorja in ga ne izbere, bi morali to upoštevati, saj to lahko vpliva na kakovost izvedenega procesa.« Primerov, ko bi organizacija odklonila sodelovanje enega ali več evalvatorjev in tega ACS ne bi upošteval, namreč ni bilo. Samo ugibamo lahko, ali je bilo v tem primeru morebiti tako, da je direktor oz. ravnatelj presodil, da kakšen evalvator ni primeren, koordinator iz te organizacije, ki pa je bil zadolžen za stike z ACS, pa te informacije ni posredoval ACS? In če je bilo tako, kako to, da organizacija ni odreagirala takrat, ko je dobila pisno informacijo o tem, kako bo pri njih potekal obisk, v njej pa so vedno poimensko navedeni evalvatorji, ki bodo opravljali ekspertno zunanjo evalvacijo in bi torej organizacija morala videti, da je v skupini tudi evalvator, ki je nezaželen? Vprašanja, na katera na podlagi izidov anketiranja ni mogoče odgovoriti, vsekakor pa tako pozitivna kot negativna mnenja o možnosti sodelovanja organizacije pri izboru evalvatorjev kažejo, da je potrebno s tako prakso nadaljevati tudi v prihodnje. Za osvetlitev, kako je organizacija po oblikovanju skupine evalvatorjev zanjo informirana o sestavi skupine in tudi o tem, da (še vedno) lahko sestavi ugovarja, navajamo pismo koordinatorice skupine ekspertnih evalvatorjev koordinatorju v izobraževalni organizaciji (gre za tipsko osnovo pisma, ki se uporablja v vseh primerih): 16 Oglašam se vam kot koordinatorica skupine ekspertnih zunanjih evalvatoric, ki bomo izpeljale celotno ekspertno zunanjo evalvacijo vaše organizacije. V skupini so še …16 Pred dnevi smo se vse evalvatorice sestale in se dogovorile za nadaljnji potek našega dela. Skupina evalvatoric sedaj pripravlja ugotovitve, ki se nanašajo na vašo samooceno na izbranih področjih ekspertne zunanje evalvacije in vse potrebno za obisk vaše organizacije. Imamo pa dve vprašanji: Zanima nas, ali imate do sestave skupine zunanjih ekspertnih evalvatoric kakršnekoli zadržke, zaradi katerih sodite, da ekspertna zunanja evalvacija ne bi bila primerna, uspešna? Če je temu tako, vas prosimo, da nam to nemudoma sporočite, ker so se procesi presojanja že pričeli, da jih lahko še zaustavimo. Sicer pa smo že upoštevali vaše želje glede ekspertnih zunanjih evalvatoric, za katere ste menili, da bi bile manj primerne za sodelovanje z vami. Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije Povsem enaka vprašanja v zvezi z odnosi med organizacijo in ekspertnimi zunanjimi evalvatorji smo zastavili tudi koordinatorjem ekspertne zunanje evalvacije iz teh organizacij. Zato tudi v tem primeru veljajo enaka izhodišča, kot smo jih predstavili pred predstavitvijo izidov anketiranja direktorjev oz. ravnateljev. Koordinatorji pa so odnose z evalvatorji ocenili takole: 16 V originalu pisma so navedena imena in priimki evalvatoric, vendar jih tu zaradi zagotavljanja anonimnosti ne navajamo. 107 Preglednica 49: Odgovori koordinatorjev iz organizacij na vprašanje o tem, kako na splošno ocenjujejo sodelovanje ekspertnih zunanjih evalvatorjev z njimi (N=9) NEPRIMERNO dELOMA PRIMERNO PRIMERNO SKUPAJ FREKVENCA SKUPAJ OdSTO TEK FREKVENCA OdSTO TEK FREKVENCA OdSTO TEK FREKVENCA OdSTO TEK Splošen odnos ekspertnih zunanjih evalvatorjev do vas. 1 11,1 0 0,0 8 88,9 9 100,0 Strokovnost ekspertnih zunanjih evalvatorjev. 0 0,0 1 11,1 8 88,9 9 100,0 Seznanjenost ekspertnih zunanjih evalvatorjev z vašo organizacijo. 1 11,1 1 11,1 7 77,8 9 100,0 Natančnost pri proučevanju vaše samoocene in dokazil. 0 0,0 2 22,2 7 77,8 9 100,0 Upoštevanje informacij, ki ste jim jih posredovali. 0 0,0 1 11,1 8 88,9 9 100,0 Upoštevanje vaših argumentov. 0 0,0 2 22,2 7 77,8 9 100,0 Njihova pripravljenost na pogovore. 0 0,0 1 11,1 8 88,9 9 100,0 Njihovo spoštovanje sogovornikov. 1 11,1 0 0,0 8 88,9 9 100,0 Njihova neodvisnost, objektivnost pri evalviranju. 1 11,1 0 0,0 8 88,9 9 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za koordinatorje ekspertne zunanje evalvacije v evalviranih organizacijah - 2017, arhiv Andragoškega centra Slovenije. Že na prvi pogled se ti izidi razlikujejo od mnenj direktorjev oz. ravnateljev. Omenili smo že, da so koordinatorji več in bolj vsebinsko vpleteni v celoten proces, zato njihovi odgovori temeljijo na več stikih z evalvatorji (zlasti stikih s koordinatorjem skupine evalvatorjev), pa tudi na vsebinskem in organizacijskem sodelovanju, ki poteka z evalvatorji ves čas poteka ekspertne zunanje evalvacije. Če je bilo med direktorji oz. ravnatelji osem takih, ki so se jim vse dimenzije sodelovanja z evalvatorji zdele primerne, le enemu pa ne v celoti, je med koordinatorji takih šest, kar predstavlja še vedno dve tretjini. 108 To potrjujejo tudi izjave koordinatorjev, ki so jih zapisali, ko smo jih, tako kot direktorje oz. ravnatelje, prosili, da nam še sami napišejo kaj o teh odnosih, če se jim to zdi pomembno. Sedem od devetih koordinatorjev se je odločilo, da svojo izkušnjo sodelovanja z evalvatorji še natančneje opišejo, tu navajamo štiri mnenja, ostala pa bomo prikazali v nadaljevanju:  Bila je zelo prijetna izkušnja, pa tudi koristna, zato jo priporočam tudi drugim organizaci jam.  Vsi so bili zelo dobro pripravljeni, obisk je bil zelo konstruktiven in praktičen. Zelo smo bili zadovoljni.  Zelo profesionalna ekipa, prijaznost, dostopnost evalvatorjev za vprašanja.  Sodelovanje je bilo res korektno in profesionalno. Posebej pa kaže proučiti, kaj sporočajo ostali trije koordinatorji. Eden med njimi je vse dimenzije sodelovanja z evalvatorji ocenil kot primerne, manj primerno se mu zdi le upoštevanje argumentov. Ta kategorija, upoštevanje argumentov, se lahko nanaša na različne točke v procesu evalvacije: opisne utemeljitve doseganja posameznega merila v samooceni, dokumentacijo, ki je priložena samooceni in naj bi dokazovala doseganje merila, upoštevanje ustnih argumentov na razgovorih, upoštevanje dodatnih argumentov in ugovorov, ki jih da organizacija ob prebiranju predloga poročila o izvedeni ekspertni zunanji evalvaciji. Ocena koordinatorja se lahko nanaša na vse te točke ali zgolj eno od njih. Verjetno največje nezadovoljstvo povzroča končno poročilo, če je v njem zapisano nekaj, kar se organizaciji zdi, da je drugače in ocenjuje, da je to zato, ker niso bili upoštevani vsi argumenti. Mnenje koordinatorja kaže upoštevati na dva načina: še več pozornosti je treba posvetiti usposabljanju evalvatorjev v zvezi s tem, kako presojati v primerih, ko se mnenja evalvatorjev in organizacije izrazito razlikujejo oz. na sploh, kako presojati argumente. Drugo pa je, da je potrebno evalvatorje še bolje usposobiti za pojasnjevanje situacij, ko jih argumenti organizacije ne prepričajo – kako organizaciji pojasniti, zakaj so njihove ocene drugačne, pa tudi na kakšen način svojo odločitev sporočati. Seveda pa tudi to ne bo zadostno v vseh primerih – vedno obstaja možnost, da se organizacija z mnenjem evalvatorjev v vsakem primeru ne bo strinjala in bo menila, da pač niso bili upoštevani njeni argumenti. Tako je tudi v spodnjem primeru. En koordinator je namreč dopisal:  Ekspertna zunanja evalvacija je bila pozitivna izkušnja. Bila je zelo korektno izpeljana, čeprav se z določenimi ocenami nismo strinjali. In tudi o tem smo že pisali v tej študiji: ekspertni zunanji evalvatorji o določenih pojavih oz. procesih izdelajo svoje ekspertno mnenje, temelječe na znanju in izkušnjah. Izidi evalvacije pa so last organizacije. Če se z njimi v celoti ali delno ne strinja, bo pač v nadaljevanju ravnala po svoji presoji, to je njena pravica in odgovornost. Drugi koordinator iz te skupine je vse druge dimenzije sodelovanja z evalvatorji ocenil kot primerne, manj primerna se mu je zdela seznanjenost ekspertnih zunanjih evalvatorjev z njihovo organizacijo ter natančnost pri proučevanju samoocene in dokazil. Tudi o tem, koliko so ekspertni zunanji evalvatorji seznanjeni z organizacijo, smo že pisali. Tu gre za deljeno odgovornost – organizacija naj bi v samooceni in spremljajočih dokumentih čim bolj podrobno seznanila evalvatorje z vsem, kar je pomembno za njihovo delo. 109 Seveda pa je odgovornost evalvatorjev, da vse to natančno proučijo in razmislijo, kako določene razmere vplivajo na organizacijo. Praksa njihovega dela je pokazala, da postorijo še več – proučujejo tudi druge vire (spletne in druge javno dostopne informacije), da bi si lahko oblikovali čim bolj popolno sliko o organizaciji. Seveda pa vsega ni mogoče dobiti v različnih javnih objavah; za te informacije je zadolžena izobraževalna organizacija sama. Pa še nekaj je treba povedati: merila, ki vodijo evalvatorje pri delu, so zelo jasna in evalvator nima pravice, da bi bil pri neki organizaciji, ki morda dela v zapletenejših razmerah, manj prizanesljiv in bi doseganje merila ocenil kot primerno, češ da je razumljivo, da ga zaradi teh in onih razlogov ne more dosegati v celoti. Vprašanja kakovosti niso take narave – nekaj je kakovostnega ali pa ne. Seveda je mogoče pri nekaterih merilih upoštevati izhodiščne razmere in napredek, ki je bil dosežen v nekem časovnem obdobju in ta napredek oceniti kot kakovosten. Toda to dopuščajo samo nekatera merila. Očitno so se v procesu ekspertne zunanje evalvacije vse pomanjkljivosti, ki jih je navedel anketiranec, odpravile in razrešile, saj je anketiranec na koncu ankete zapisal:  Zadovoljni smo, da smo sodelovali v zunanji ekspertni evalvaciji. Je koristila našemu delu in pomagala do boljših rezultatov. Hvala. Tretji koordinator ni kot primerne ocenil niti ene kategorije. Kot deloma primerne je ocenil strokovnost evalvatorjev, natančnost pri proučevanju samoocene in dokazil, upoštevanje informacij, upoštevanje argumentov in pripravljenost na pogovore. Kot neprimerno pa je ocenil splošen odnos evalvatorjev do njih, seznanjenost evalvatorjev z njihovo organizacijo, spoštovanje sogovornikov in njihovo neodvisnost, objektivnost pri evalviranju. K temu je treba dodati še to, kar je isti anketiranec še dopisal:  Zunanji evalvatorji so imeli že izdelano mnenje in so samo iskali potrditev njihove teorije s hlinjeno prijaznostjo. Vidno je bilo, da niso enakovredni, da so pod velikim vplivov enega izmed njih, ki je, predvidevam, reševal osebne zamere na strokovnem področju. Zelo nestrokovno, neprimerno in neprofesionalno. Ob komentiranju te izjave, je treba povedati, da gre za koordinatorja, o izjavah katerega smo v tej študiji že pisali ob vprašanjih samoocene in še bomo, saj skozi njegovo celotno anketo veje zelo odklonilen odnos do ekspertne zunanje evalvacije, ali bolje, do ekspertnih zunanjih evalvatorjev. Ker niti drugi koordinatorji, niti direktorji niso izražali tako negativnih stališč do posameznih postopkov v ekspertni zunanji evalvaciji, niti do ekspertnih zunanjih evalvatorjev, to mnenje sicer prikazujemo in ga obravnavamo, vendar z upoštevanjem tega, da gre za zgolj en tak izrazito odklonilen primer, ki z načinom posredovanja sporočil kaže predvsem na jezo in užaljenost tega pisca ter njegovo nezmožnost racionalnega sprejemanja izidov ekspertne zunanje evalvacije, ki mu niso všeč ali so drugačni, kot jih je pričakoval. Na tem mestu ne bomo ponavljali tistega, kar smo že zapisali malo prej, koliko in v katerih primerih lahko evalvatorji upoštevajo razmere, v katerih deluje organizacija pri ocenjevanju doseganja posameznih meril v ekspertni zunanji evalvaciji. V zvezi z natančnostjo pri proučevanju samoocene in dokazil res lahko prihaja do razmer, ko sodelavci organizacije menijo, da so v samooceni dobro opisali in z dokumenti pojasnili nek pojav ali ravnanje, tega pa evalvatorji niso prepoznali v zadostni meri. Zato pa ekspertna zunanja 110 evalvacija kot obvezen sestavni del postopka vsebuje obisk v izobraževalni organizaciji, kjer se lahko take pomanjkljivosti odpravijo z dodatnimi pojasnili sogovornikov. Tudi o upoštevanju argumentov smo že pisali – ekspertni zunanji evalvatorji imajo dolžnost, da vsak argument zelo natančno proučijo in o njem razmislijo, imajo pa tudi strokovno diskrecijsko pravico in dolžnost, da odločijo v skladu s strokovno doktrino, ki jo zastopajo. Če nek argument (ali več njih) organizacije ni bil sprejet, to ekspertni zunanji evalvatorji na primeren način zapišejo v poročilu in odgovoru na morebitne ugovore organizacije, vendar to ne pomeni, da argumenta niso upoštevali, pomeni, da ni bil zadosten ali primeren, da bi lahko spremenili svoje mnenje. To, da pridejo zunanji evalvatorji na obisk z že izdelanim mnenjem o določenih pojavih, je njihova dolžnost. Zato izobraževalna organizacija pripravi samooceno in zbere dokumentacijo, ki jo pojasnjuje in dokazuje, evalvatorji pa jo morajo natančno proučiti ter na njeni podlagi že razmisliti, ali organizacija določeno merilo izpolnjuje ali ne, ali pa iz samoocene organizacije take ocene še ni mogoče dati. S tako oceno, ki je tudi že zapisana, pridejo evalvatorji na obisk v organizacijo. Za vsa merila, kjer ocena še ni bila mogoča, pa tudi za merila, kjer so na podlagi samoocene ocenili, da jih organizacija ne dosega, evalvatorji vnaprej pripravijo vprašanja za razgovore z različnimi subjekti, da bi ocenili, ali njihova prvotna ocena drži ali ne. Vedno, vsaj v dosedanji praksi, se dogaja, da skupina evalvatorjev po obisku del svojih ocen pri posameznih merilih spremeni, ker je na podlagi pogovorov in ogleda dodatne dokumentacije ter prostorov organizacije ugotovila, da je stanje drugačno. Tak je pač postopek sprejemanja odločitev v ekspertni zunanji evalvaciji, o katerem bomo v nadaljevanju še govorili. Naj se zaustavimo le še pri oceni o strokovnosti in izjavi, da evalvatorji niso bili enakovredni, češ da so bili pod vplivom enega izmed njih. Še enkrat naj poudarimo, da se vse odločitve v skupini evalvatorjev sprejemajo s konsenzom – v vsaki fazi vsak ekspertni zunanji evalvator pisno izrazi svoje mnenje o določenem pojavu. Ko pride do razlik v mnenjih, se izvede usklajevanje med evalvatorji; če je potrebno, tudi »v več krogih«, vse dokler ni enotnega mnenja in šele takrat to mnenje skupina predstavi organizaciji. Za vse postopke usklajevanja med evalvatorji obstaja pisna dokumentacija v arhivu ACS. Podobno vprašanje kot direktorjem oz. ravnateljem ter koordinatorjem smo zastavili tudi ekspertnim zunanjim evalvatorjem. Tudi njih smo vprašali, ali je bilo z njihovega vidika vsebinsko sodelovanje organizacij v ekspertni zunanji evalvaciji primerno (izbor sodelujočih na razgovorih ob obisku organizacije, njihova informiranost, pripravljenost za posredovanje informacij, možnost ogledov, posredovanje dodatnih gradiv ipd.). Na vprašanje je odgovarjalo vseh enajst evalvatorjev, ki so sodelovali pri anketiranju, imeli pa so možnost, da se opredelijo pri vsakem od ponujenih odgovorov, hkrati pa tudi, da še kaj sporočijo v zvezi s temi ocenami. Povedati je treba, da je doslej vsak evalvator sodeloval v ekspertni zunanji evalvaciji več izobraževalnih organizacij. Zato smo jih prosili, da ocenjujejo na splošno, na podlagi sodelovanja z vsemi organizacijami, v katerih so izvajali evalvacijo. Seveda smo predvidevali, da bo to njihova bolj splošna ocena oz. vtis evalvatorjev, ker so se razmere prav gotovo razlikovale od organizacije do organizacije. 111 Preglednica 50: Odgovori evalvatorjev na vprašanje o tem, kako ocenjujejo sodelovanje evalviranih organizacij z njimi, pri čemer so upoštevali večinske razmere v vseh doslej evalviranih organizacijah sodelavci (N=11) NEPRIMERNO dELOMA PRIMERNO PRIMERNO SKUPAJ FREKVENCA SKUPAJ OdSTO TEK FREKVENCA OdSTO TEK FREKVENCA OdSTO TEK FREKVENCA OdSTO TEK Splošen odnos vodstva organizacije do vas. 0 0,0 0 0,0 11 100,0 11 100,0 Splošen odnos drugih sodelavcev organizacije do vas. 0 0,0 0 0,0 11 100,0 11 100,0 Izbor vaših sogovornikov. 0 0,0 3 27,3 8 72,7 11 100,0 Informiranost vaših sogovornikov o namenu evalvacije in njihovi vlogi. 0 0,0 4 36,4 7 63,6 11 100,0 Pripravljenost vaših sogovornikov za odkrite pogovore. 0 0,0 2 18,2 9 81,8 11 100,0 Pripravljenost organizacije za ogled dodatnih dokazil, prostorov in opreme. 0 0,0 0 0,0 11 100,0 11 100,0 Spoštovanje evalvatorjev. 0 0,0 0 0,0 11 100,0 11 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Preden komentiramo te izide, prikazujemo še dodatna pojasnila, ki so nam jih o sodelovanju zapisali nekateri od evalvatorjev, takih je bilo šest:  Ocenjujem, da so obiski res potrebni in imajo vsaj zame veliko vrednost. Papir veliko prenese, živa beseda in razgovor pa prineseta včasih še kaj dodatnega, kar je bilo v samooceni prezrto ali premalo poudarjeno. Vsekakor se mi je do sedaj to moje mnenje še vedno potrdilo.  Informiranost sogovornikov: sogovorniki včasih ne vedo dobro, zakaj potekajo razgovori oz. jih ne znajo umestiti v širše delovanje organizacije, tak osebni občutek sem dobila v nekaj primerih.  Izbira sogovornikov: včasih se zgodi, da izbrani sogovorniki niso najprimernejši (odpovedi v zadnjem dnevu, zamenjave), vendar so to višje sile, na to ne more vplivati niti organizacija, v kateri se izvaja ekspertna zunanja evalvacija. Edino kadar so za razgovore 112 izbrani zunanji sodelavci, ki z organizacijo še ne sodelujejo dosti časa ali pa udeleženci, ki imajo v tej organizaciji za sabo samo kakšen mesec izobraževanja, v teh primerih bi se recimo lahko organizaciji še posebej predlagalo, da naj bo bolj pozorna tudi na te vidike pri izbiri sogovornikov.  Do sedaj smo bili v organizacijah, kjer smo bili vedno lepo sprejeti, tako da lahko dam evalviranim organizacijam same pohvale.  Sodelovanje vseh sodelujočih v evalviranih organizacijah do sedaj je bilo zelo dobro. Njihova pripravljenost povedati, pokazati, pojasniti... velika. Sem bila v vseh organizacijah zadovoljna. Edino, kar sem opazila, če primerjam vse izvedene evalvacije do sedaj, je bilo, da moji sogovorniki niso bili enako dobro informirani o namenu evalvacije in svoji vlogi v tem procesu v vseh izobraževalnih organizacijah, kjer sem opravljala razgovore.  Na splošno lahko rečem, da so prav vse organizacije oz. njihova vodstva, koordinatorji, in zaposleni obisk evalvatorjev v izobraževalni organizaciji vzeli zelo resno. V vseh organizacijah so bili na obisk dobro pripravljeni. Prav v vseh organizacijah, ki sem jih kot evalvator obiskala, je bilo čutiti, da vodstvo podpira sodelovanje organizacije v ekspertni zunanji evalvaciji. Pojasniti moram še, zakaj sem ocenila izbor sogovornikov z deloma primerno. V večini primerov je bil izbor sogovornikov primeren. Tu pa tam pa se je zgodilo, da so v organizaciji izbrali kakšnega sogovornika, ki je premalo poznal tematiko, ki ni bil veliko ali skoraj nič udeležen pri delu za kakovost, pa naj gre za člana komisije za kakovost, učitelja ali koga drugega. V takšnih primerih smo bili v zadregi evalvatorji, ki smo se morali potruditi, da se tak posameznik na razgovoru ni slabo počutil, ko smo mu zastavljali vprašanja na temo, ki jo je premalo poznal, da bi lahko zares sodeloval v pogovoru. Gotovo pa je bil v zadregi tudi tak posameznik, ko je ugotovil, da bo težko odgovarjal na naša vprašanja. Zato menim, da moramo biti v prihodnje na usposabljanjih za izobraževalne organizacije še bolj pozorni, ko jim svetujemo, koga vključiti v pogovore.  Težko je pri prejšnjem vprašanju ocenjevati, ker so primeri različni. Povečini je odnos evalvirane organizacije do evalvatorjev zelo dober, se pa posamezni primeri razlikujejo drug od drugega. Tako nekatera vodstva pričakujejo, da jih bomo zelo dobro ocenili, če se to v kakšnem primeru ne zgodi, vsi ne odreagirajo primerno (dolgi in povečini neutemeljeni ugovori). Na drugi strani pa sem večkrat doživela prijetno presenečenje, ko smo organizaciji sporočili tudi njene dobre stvari - te organizacije so se ocene bale oz. so pričakovale, da bomo odkrivali zgolj pomanjkljivosti. Zdi se mi tudi, da včasih izbor sogovornikov ni prav dober, saj izberejo zgolj tiste, ki so v dobrih odnosih z organizacijo in tako izvemo le dobre stvari. No, na drugi strani pa sem imela tudi primere, ko sploh niso vedeli za kaj gre, tako da je res težko dati enotno oceno. Prva ugotovitev je, da ekspertni zunanji evalvatorji niti ene od ponujenih kategorij niso ocenili kot neprimerne, pač pa so večino kategorij ocenili kot primerne. Tako so zelo dobro ocenili splošen odnos vodstva in drugih sodelavcev organizacije do njih, tudi spoštovanje do njih in njihovega dela ter pripravljenost organizacije za ogled dodatnih dokazil, prostorov in opreme. Opozarjajo sicer, da je težko dati enotno oceno, ker se primer od primera razlikuje, vendar poudarjajo, kako lepo so bili sprejeti, da so čutili, da so se v organizacijah na njihov obisk resno pripravili in bili zavzeti, da jim res dobro prikažejo svoje delo ter rezultate. Tak odnos je razumljiv, saj se organizacija prostovoljno odloči za 113 sodelovanje v ekspertni zunanji evalvaciji in razume, da je obisk pomembna sestavina tega postopka, ki organizaciji omogoča, da se res celovito predstavi. Nekateri ekspertni zunanji evalvatorji pa so kot manj primerno ocenili izbor sogovornikov in njihovo informiranost o namenu evalvacije ter njihovi vlogi, pa tudi pripravljenost sogovornikov za odkrite pogovore. Tisti, ki so ob tem vprašanju napisali še svoj komentar, so še dodatno pojasnili, da »sogovorniki včasih ne vedo dobro, zakaj potekajo razgovori«, včasih sodelujejo taki, ki z organizacijo še ne sodelujejo dosti časa in jo zato premalo poznajo ipd. Zato so se evalvatorji in sogovorniki znašli v neprijetnem položaju, saj evalvatorji niso mogli zastavljati vprašanj, ki bi jih želeli razčistiti, sogovorniki pa so se počutili neprijetno, ko so zaznali, da naj bi odgovarjali nekaj, o čemer ne vedo dovolj. Očitno je, da tu obstaja nek problem, o katerem bo potrebno v prihodnje ponovno razmisliti. Doslej je bila praksa taka, da ko ekspertni zunanji evalvatorji proučijo samooceno, določijo s katerimi subjekti bi se želeli pogovarjati v organizaciji: vodstvom, komisijo za kakovost, učitelji, strokovnimi sodelavci, udeleženci izobraževanja… To sporočijo organizaciji in ji tudi predlagajo, koliko takih sogovornikov naj izbere. Organizacije dobijo tudi splošne napotke, da naj bodo to sogovorniki, ki organizacijo dobro poznajo, ki delajo na določenem področju (npr. izvajajo formalne izobraževalne programe ali neformalno izobraževanje), ali pa so udeleženci daljših izobraževalnih programov, saj le-ti praviloma nekoliko bolje poznajo organizacijo. Poimenski izbor sogovornikov pa opravi izobraževalna organizacija in na ta izbor evalvatorji nimajo nobenega vpliva. Evalvatorji pred obiskom tudi prosijo organizacijo, da predvidene sogovornike seznani z namenom ekspertne zunanje evalvacije, prav tako s samooceno, ki so jo pripravili, saj so vsa vprašanja na razgovorih povezana z njo in spremljajočo dokumentacijo. V ilustracijo navajamo del tipskega pisma, ki ga dobi organizacija, ko se pričnejo dogovori za organizacijo obiska: 114 Vašo samooceno z vsemi prilogami smo vse ekspertne zunanje evalvatorice temeljito pregledale in si zabeležile vprašanja, s katerimi bi rade še natančneje razjasnile nekatere vaše zapise oz. si pridobile informacije, ki bi nam osvetlile določene stvari, ki zadevajo vaš sistem kakovosti oz. načine podpore, ki jih nudite vašim udeležencem izobraževanja. Vsebina pogovorov ob našem obisku bodo torej vprašanja, ki smo jih oblikovale na ta način. Vprašanj vam ne bomo posredovali vnaprej, povemo pa naj, da se nanašajo izključno na merila ekspertne zunanje evalvacije in poročila oz. zapise, ki jih vsebuje vaša samoocena, torej nič takega, kar bi vas lahko presenetilo ali zahtevalo od vas nekaj drugega kot ste že pripravili ali pregledali v času priprave samoocene. Na podlagi pripravljenih vprašanj smo oblikovale naš predlog sodelujočih in poteka obiska. Pogovor želimo opraviti z naslednjimi osebami:  z direktorjem,  z naslednjimi člani komisije za kakovost: s predsednico, z eno članico komisije po vaši izbiri, z zunanjim članom, s predstavnico udeležencev (pogovor bo skupinski),  s strokovnimi delavci: dve vodji/organizatorja izobraževanja po vaši izbiri, vodja ISIO17, mentor/svetovalec iz središča za samostojno učenje in organizator učne pomoči (pri tem pogovoru ne sodelujejo tisti, ki bodo na pogovoru s komisijo za kakovost - tudi to bo skupinski pogovor),  s štirimi zunanjimi učitelji po vaši izbiri, pri čemer je zaželeno, da sta dva učitelja formalnega izobraževanja, dva pa učitelja/mentorja neformalnega izobraževanja, nihče pa ni član skupine za kakovost,  s štirimi do petimi udeleženci vaših programov po vaši izbiri, pri čemer je zaželeno, da so nekateri iz formalnih programov, drugi pa iz neformalnih (predlagamo, da so to udeleženci iz lanskega leta, ker predvidevamo, da vas tisti, ki so se vpisali šele letos, premalo poznajo). Prosimo vas, da sami (ob možnem upoštevanju naših želja) izberete organizatorje izobraževanja, učitelje, svetovalce, mentorje in udeležence vaših programov, ki bodo sodelovali na pogovorih, njihovo področje dela oz. poučevanja oz. za udeležence programe, ki so jih obiskovali pri vas, in nam te podatke tudi sporočite takoj, ko jih boste imeli, najkasneje pa do datuma, navedenega spodaj. Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. O izboru sogovornikov teče beseda tudi na uvodnem srečanju z izobraževalnimi organizacijami, vendar očitno vse to še vedno ni dovolj in je potrebno razmisliti še o kakšni rešitvi. Na drugi strani je pa tudi res, da je za evalvatorje precej informativna tudi na primer situacija, ko je v samooceni zapisano, kako vsi zaposleni sodelujejo v različnih procesih presojanja in razvijanja kakovosti, nekateri sogovorniki v pogovorih pa potem o tem nič ne vedo. 17 ISIO = Informativno-svetovalna dejavnost v izobraževanju odraslih oz. svetovalna središča ISIO. 115 4.3 UGOTOVITVE EKSPERTNIH ZUNANJIH EVALVACIJ V prejšnjem poglavju smo se ukvarjali z vprašanjem poteka procesa ekspertne zunanje evalvacije z vidika vsebine, zlasti o samooceni kot enem izmed dveh bistvenih elementov, na podlagi katerega se oblikujejo odločitve in o obisku v izobraževalni organizaciji, ki je drugi bistveni element za sprejemanje odločitev. V tem poglavju pa se bomo ukvarjali z odločitvami o ugotovitvah ekspertnih zunanjih evalvacij. Obravnavali bomo postopke, ki vodijo do sprejema končnih ugotovitev, analizirali bomo ugotovitve iz dosedanjih izvedenih ekspertnih zunanjih evalvacij, ukvarjali pa se bomo tudi z načini posredovanja ugotovitev. 4.3.1 Postopek sprejemanja odločitev v ekspertni zunanji evalvaciji Ekspertni zunanji evalvatorji sprejemajo odločitve v več fazah:  Ocena samoocene. Ekspertni zunanji evalvatorji najprej ocenjujejo samooceno s priloženo dokumentacijo, ki jo pripravi izobraževalna organizacija, ki želi biti evalvirana. V prejšnjih poglavjih smo že opisali, da izobraževalna organizacija ob začetku evalvacije dobi natančna navodila, kako naj pripravi samooceno, kaj naj ta vsebuje in katere dokumente naj priloži kot dokazila za izpolnjevanje meril, ki jih vsebuje ekspertna zunanja evalvacija. Tudi za pregled samoocene imajo ekspertni zunanji evalvatorji na voljo posebno vodilo, ki jim pomaga, da vsak opis in dokazila v zvezi s posameznim merilom v samooceni pregledajo ter postavijo prvo oceno, ali organizacija to merilo dosega ali ne, ali pa na podlagi dokumentov še ne morejo oblikovati nobene ocene (o tem vodilu smo natančneje že govorili v poglavju o pripomočkih, ki jih imajo organizacije za pripravo samoocene in evalvatorji za njeno ocenjevanje). Vodilo omogoča ekspertnim evalvatorjem, da na podlagi tako oblikovane ocene predlagajo, s katerim subjektom bi se po njihovem kazalo pogovarjati v organizaciji v času obiska. Zapišejo pa tudi, če bi si želeli ogledati še kakšno dodatno dokumentacijo in/ali prostore ter opremo. Vodilo nato usmerja evalvatorje, da ob oceni določenega pojava z različnimi merili na koncu povzamejo, kaj se jim zdi dobrega, kakovostnega v delovanju organizacije v zvezi s tem (dobre točke), v čem vidijo šibke točke ter kaj bi kazalo organizaciji predlagati za nadaljnji razvoj. Sam postopek oblikovanja ocene samoocene se je v času izvedb dosedanjih evalvacij enkrat precej spremenil. Ob prvih evalvacijah je vsak evalvator sam pregledal samooceno in dokazila, označil v vodilu, ali sodi, da organizacija merilo dosega ali ne, napisal predlog subjektov, s katerim bi se po njegovem morali pogovarjati na obisku organizacije, za vsak subjekt je predlagal vprašanja, oblikoval pa je tudi predlog, katere dokumente, prostore in opremo bi si po njegovem morali na obisku še ogledati. Zapisal je tudi, katera so po njegovem opažena dobra ravnanja organizacije na opazovanih področjih, katere šibke točke je opazil in kaj bi predlagal organizaciji, da bi lahko izboljšala svoje ravnanje ali dosegla nov razvojni preboj. Vsi evalvatorji so 116 tako izpolnjeno vodilo posredovali koordinatorju skupine, ki je na podlagi vsega prejetega gradiva izdelal delovni osnutek skupnega dokumenta. Delovni osnutek ocene samoocene je nato znova posredoval posameznim evalvatorjem, ki so nato oblikovali soglašanje s tako pripravljenim dokumentom ali pa predlagali njegove dopolnitve. Če so bile potrebne nove uskladitve, je koordinator poskrbel za to in tako je s konsenzom prišlo do osnutka ocene samoocene, ki je podlaga za načrtovanje obiska v organizaciji. Izkazalo se je, da je ta postopek dokaj neracionalen, saj so bila izpolnjena vodila posameznih evalvatorjev sicer vsebinsko zelo podobna, vendar je bilo zaradi različnih stilov pisanja kar zahtevno vse vsebine združevati v eno besedilo. Hkrati je po navadi za en subjekt z združevanjem nastalo veliko preveč vprašanj, mnoga pa so si bila vsebinsko zelo podobna. Vse to usklajevanje je skupini vzelo veliko časa in dela, ni pa doprineslo k bistvenejši kakovosti izdelave osnutka ocene samoocene. Zato je bila leta 2014 sprejeta odločitev o drugačnem postopku priprave ocene samoocene. Dogovorjeno je bilo, da najprej koordinator skupine evalvatorjev s pomočjo vodila pripravi delovni osnutek ocene samoocene, tako da označi v vodilu, ali sodi, da organizacija merilo dosega ali ne, napiše predlog subjektov, s katerim bi se po njegovem morali pogovarjati na obisku organizacije, in za vsak subjekt predlaga vprašanja. Oblikuje pa tudi predlog, katere dokumente, prostore in opremo bi si po njegovem morali na obisku še ogledati. Zapiše tudi, katera so po njegovem opažena dobra ravnanja organizacije na opazovanih področjih, katere šibke točke je opazil in kaj bi predlagal organizaciji, da bi lahko izboljšala svoje ravnanje ali dosegla nov razvojni napredek. Tako pripravljen delovni osnutek koordinator evalvatorjev pošlje posameznemu evalvatorju, ki na podlagi študija samoocene in spremljajoče dokumentacije pregleda pripravljen delovni osnutek ocene samoocene ter vanj zapiše svoje dodatne predloge, opombe, s čim se ne strinja in zakaj, kakšne spremembe predlaga. Tako dopolnjen delovni osnutek ocene samoocene vsak evalvator pošlje koordinatorju skupine, ki nato pripravi dopolnjen skupni delovni osnutek, iz katerega je razvidno, v čem se skupina strinja, kje pa so razhajanja. O teh razhajanjih potem poteka usklajevanje, dokler skupina ni soglasna in tako oblikuje osnutek ocene samoocene, ki je tudi v tem primeru izhodišče za načrtovanje obiska v evalvirani organizaciji. V tej fazi ima torej skupina evalvatorjev pripravljeno: prvo oceno doseganja posameznih meril na podlagi samoocene, nabor ugotovljenih dobrih in malo manj primernih ravnanj organizacije, nabor možnih predlogov za nadaljnji razvoj organizacije, izbrane subjekte, s katerimi se želi pogovarjati v organizaciji, seznam vprašanj za posamezen subjekt, seznam dodatne dokumentacije, prostorov in opreme, ki si jo želi ogledati na obisku.  Obisk izobraževalne organizacije. Sledi obisk izobraževalne organizacije, ko ekspertni zunanji evalvatorji na podlagi pogovorov s sodelavci organizacije, ogledov dokumentacije in prostorov potrdijo, dopolnijo in/ali spremenijo svoje prvotne ocene. Pred odhodom na obisk evalvatorji pripravijo vprašalnike za vodenje poglobljenih intervjujev in posebna vodila za zapisovanje tega, kar povedo sogovorniki. Razdelijo si vloge – po navadi sta na posameznem intervjuju dva evalvatorja, eden vodi pogovor, drugi pa ga natančno spremlja in zapisuje izjave; če je potrebno, tudi sam 117 zastavi kakšno vprašanje. Obisk poteka po zelo strukturiranemu urniku. V intervjujih evalvatorji sprašujejo po vnaprej pripravljenih vprašanjih, še posebej so pozorni na vprašanja, ki zadevajo tisto, o čemer so si bili evalvatorji že prej soglasni, da samoocena organizacije ne opisuje v zadostni meri, da bi lahko natančno ocenili razmere ali pa tisto, za kar vedo, da si v skupini niso soglasni in bi radi natančneje osvetlili vse razmere in dejstva pred končnim odločanjem. Seveda pa se intervjuji včasih tudi deloma prilagodijo, če evalvatorji iz pogovorov zaznajo, da jim sogovorniki lahko povedo še kaj, na kar prej niso bili tako pozorni oz. je pomembno za sprejemanje odločitev. Ob ogledih dokumentacije, prostorov in opreme pa imajo evalvatorji tudi vnaprej pripravljena vodila, v katerih je zapisano, kaj natančno si bodo ogledali, preverili. Po vsakem izpeljanem intervjuju ali ogledu se skupina evalvatorjev za kratek čas sestane in posamezni evalvatorji poročajo o svojih ugotovitvah. Že takrat si v osnutku ocene samoocene označijo, kje bi določene zapise kazalo spremeniti ali dopolniti. Po vseh opravljenih intervjujih in ogledih ima skupina evalvatorjev nekoliko daljši sestanek, na katerem združi vse ugotovitve, zabeleži morebitne potrebne spremembe in/ali dopolnitve osnutka ocene samoocene ter se dogovori, katera ustna sporočila bo dala evalvirani organizaciji ob zaključku obiska. Ta sporočila vedno vsebujejo niz dobrih stvari, ki so jih evalvatorji zaznali v ravnanju in dosežkih evalvirane organizacije, nekaj šibkih točk, ki so jih zaznali in nekaj predlogov, kako bi te šibke točke po njihovem lahko odpravili oz. dosegali višje ravni kakovosti. To je druga faza v postopku sprejemanja odločitev v ekspertni zunanji evalvaciji. Izidi te faze so ustno predstavljeni ob koncu obiska in to je prvič, ko evalvirana organizacija izve za izide evalvacije.  Oblikovanje predloga poročila o izvedeni ekspertni zunanji evalvaciji. Tretja faza v postopku sprejemanja odločitev vsebuje ponovni razmislek ob predloženi samooceni in izidih obiska v izobraževalni organizaciji ter oblikovanje predloga poročila o izvedeni ekspertni zunanji evalvaciji. Po obisku vsak evalvator, ki je bil za to zadolžen, najprej naredi zapisnik intervjuja ali ogleda, ki ga je spremljal in ta zapisnik posreduje koordinatorju skupine, ta pa poskrbi, da vse zapisnike dobijo vsi evalvatorji. Koordinator nato v posebno vodilo za oblikovanje poročila o izvedeni ekspertni evalvaciji zapiše ugotovitve, ki temeljijo na osnutku ocene samoocene, opravljenih pogovorov in ogledov. Tako nastane osnutek poročila, ki vsebuje opis postopka izvedene ekspertne zunanje evalvacije, tabelarični pregled ocen doseganja posameznih meril (merilo je doseženo, merilo je delno doseženo, merilo ni doseženo), opis dobrih ravnanj in dosežkov organizacije na opazovanih področjih, opis šibkih točk, ki bi jih kazalo odpraviti in predlog mogočih ravnanj organizacije v prihodnje, da bi se na teh področjih še izboljšala in odpravila pomanjkljivosti. Osnutek poročila koordinator skupine pošlje vsem evalvatorjem, ki ga na podlagi lastnih opažanj in razmislekov nato dopolnijo ali pa predlagajo spremembe. Ko koordinator prejme zapise vseh evalvatorjev, osnutek poročila dopolni z njihovimi predlogi; če pa se ti predlogi razhajajo, izvede usklajevanje. Ko so vsa vprašanja usklajena, koordinator zapiše v osnutek poročila še usklajena stališča in s tem je oblikovan predlog poročila o izvedeni ekspertni zunanji evalvaciji. 118  Proučitev morebitnih dodatnih argumentov in dokazil izobraževalne organizacije. Predlog poročila o izvedeni ekspertni zunanji evalvaciji koordinator skupine evalvatorjev pošlje koordinatorju iz izobraževalne organizacije s prošnjo, da ga v organizaciji proučijo in oblikujejo mnenje, ali sodijo, da je bilo v ekspertni zunanji evalvaciji upoštevano vse, kar kaže na doseženo raven njene kakovosti na opazovanih področjih. Če temu ni tako, lahko organizacija v tej fazi skupini evalvatorjev posreduje dodatna dokazila, argumente in pojasnila, če meni, da evalvatorji česa niso upoštevali ali dobro razumeli. Ne more pa organizacija v tej fazi ugovarjati oceni evalvatorjev, nanjo lahko vpliva samo s predložitvijo dodatnega gradiva ali argumentov. Če ima organizacija take dopolnitve, jih skupina pretehta in oblikuje o njih mnenje ter na tej podlagi dopolni ali spremeni predlog poročila, če je taka njena odločitev. V vsakem primeru izobraževalni organizaciji pisno sporoči, katere argumente in dokazila je upoštevala in zakaj, pa tudi katerih ni mogla upoštevati in zakaj ne. To je torej četrta, a tudi zadnja, faza v postopku sprejemanja odločitev v ekspertni zunanji evalvaciji. V dosedanjih ekspertnih zunanjih evalvacijah je dodatne predloge k predlogu poročila o izvedeni ekspertni zunanji evalvaciji posredovalo pet organizacij.  Končno poročilo o izvedeni ekspertni zunanji evalvaciji. Ko je izpeljana četrta faza sprejemanja odločitev v skupini evalvatorjev, koordinator skupine pripravi končno poročilo o izvedeni ekspertni zunanji evalvaciji. To poročilo je vsebinsko enako predlogu poročila, če organizacija v četrti fazi ni predložila dodatnih gradiv ali argumentov oz. se je s predlogom strinjala. Če pa je želela, da skupina evalvatorjev prouči še dodatne predloge, se končno poročilo vsebinsko razlikuje od predloga, v kolikor so bile take odločitve sprejete v skupini evalvatorjev v četrti fazi. Opis postopka sprejemanja odločitev nam pomaga pri vrednotenju izidov, ki smo jih dobili pri anketiranju različnih subjektov. Tako smo koordinatorje iz izobraževalnih organizacij povprašali, kako ocenjujejo postopek sprejemanja odločitev v ekspertni zunanji evalvaciji – priprava ocene samoocene, ocena informacij, pridobljenih ob obisku (pogovori in ogledi), ter končna, združena ocena v poročilu. Na vprašanje je odgovarjalo vseh devet sodelujočih koordinatorjev, izbrali pa so lahko en odgovor. 119 Preglednica 51: Odgovori koordinatorjev iz izobraževalnih organizacij na vprašanje, kako ocenjujejo postopek sprejemanja odločitev v ekspertni zunanji evalvaciji: ocena samoocene, ocena informacij, pridobljenih ob obisku (pogovori in ogledi), ter končna, združena ocena v poročilu (N=9) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Tak postopek ne doprinese k natančnejšim ugotovitvam, dovolj bi bila samo ocena samoocene. 0 0,0 0,0 Tak postopek ne doprinese k natančnejšim ugotovitvam, dovolj bi bila samo ocena ugotovitev, ki jih evalvatorji dobijo s pogovori ob obisku. 0 0,0 0,0 Tak postopek veliko doprinese k natančnejšim ugotovitvam, saj je izpolnjevanje meril vsestransko proučeno. 8 88,9 88,9 Drugo. 1 11,1 11,1 SKUPAJ 9 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za koordinatorje ekspertne zunanje evalvacije v evalviranih organizacijah - 2017, arhiv Andragoškega centra Slovenije. Koordinator, ki je izbral odgovor »Drugo.«, je svoj odgovor pojasnil takole:  Postopek je v redu, samo izpeljati ga morajo strokovno strokovni posamezniki, profesionalno in ne z nekimi vnaprej zamišljenimi idejami, kako bi moralo biti. Strokovnjaki, ki sicer delajo na terenu, so bili pod prevelikim vplivom teoretikov, ki idealizirajo in ne živijo v realnem svetu. Ti izidi nam govorijo, da prav vsi koordinatorji soglašajo s postopkom, kako se v ekspertni zunanji evalvaciji postopoma oblikujejo končne odločitve; soglašajo s tem, da za končne odločitve ni uporabljen samo en način ocenjevanja, pač pa kombinacija več faz, ki tako doprinesejo h končnemu, bolj objektivnemu izidu. S komentarja enega izmed koordinatorja pa se ne bomo ukvarjali, ker se ne nanaša na postopek in ker gre za istega koordinatorja, ki smo ga v tem poročilu že večkrat omenili, ki je svoj odklonilen odnos do izpeljane evalvacije pač opisal skoraj pri vsakem vprašanju, pa če je bilo to vsebinsko povezano z vprašanjem ali pa ne. Povsem enako vprašanje smo zastavili tudi ekspertnim zunanjim evalvatorjem. Na vprašanje je odgovarjalo enajst evalvatorjev, imeli pa so možnost izbire enega odgovora. 120 Preglednica 52: Odgovori evalvatorjev na vprašanje o tem, kako ocenjujejo postopek sprejemanja odločitev v ekspertni zunanji evalvaciji: ocena samoocene, ocena informacij, pridobljenih ob obisku (pogovori in ogledi), ter končna, združena ocena v poročilu (N=11) FREKVENCA OdSTOTEK Tak postopek ne doprinese k natančnejšim ugotovitvam, dovolj bi bila samo ocena samoocene. 0 0,0 Tak postopek ne doprinese k natančnejšim ugotovitvam, dovolj bi bila samo ocena ugotovitev, ki jih dobimo na pogovorih. 0 0,0 Tak postopek veliko doprinese k natančnejšim ugotovitvam, saj je izpolnjevanje meril vsestransko proučeno. 11 100,0 Drugo. 0 0,0 SKUPAJ 11 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Kot je razvidno, tudi med ekspertnimi zunanjimi evalvatorji ni bilo nikogar, ki se mu postopek sprejemanja odločitev, kakor je zastavljen sedaj, ne bi ocenjeval kot zelo primernega. Očitno je, da se je v dosedanji praksi izvajanja ekspertnih zunanjih evalvacij oblikoval postopek sprejemanja odločitev, ki ustreza tako evalviranim organizacijam kot evalvatorjem. Oboji ocenjujejo, da tak postopek doprinese k natančnejšim ugotovitvam in da je na ta način doseganje meril vsestransko proučeno. To pa pomeni, da kaže tudi v prihodnje, v kolikor se bodo take evalvacije še izpeljevale, ohraniti ta postopek, dokler se ne pojavijo nove razmere ali ugotovitve, ki bi narekovale spremembo. 4.3.2 Posredovanje ugotovitev ekspertnih zunanjih evalvacij Že v poglavju, v katerem smo opisovali postopek sprejemanja odločitev v ekspertni zunanji evalvaciji, smo ob tem postopku navajali, kdaj, v katerih fazah ekspertni zunanji evalvatorji izobraževalni organizaciji posredujejo delne ali končne ugotovitve. Če na kratko povzamemo:  Prvo informacijo o ugotovitvah evalvatorjev izobraževalna organizacija dobi ustno ob zaključku obiska skupine evalvatorjev v izobraževalni organizaciji.  Drugo informacijo izobraževalna organizacija dobi pisno s prejemom predloga poročila o izvedeni ekspertni zunanji evalvaciji.  Tretjo in zadnjo informacijo pa izobraževalna organizacija dobi s prejemom končnega poročila o izvedeni ekspertni zunanji evalvaciji in s pisno utemeljitvijo, kaj so evalvatorji upoštevali in kaj ne z argumentacijo, če je organizacija na predlog poročila predložila dodatne argumente. 121 Ta pregled zajema časovno dimenzijo oblikovanja ugotovitev ekspertne zunanje evalvacije, ki pa ji kaže dodati še vsebinski vidik – na kakšen vsebinski način so izobraževalnim organizacijam posredovane ugotovitve in to v vseh prej opisanih fazah. Tako organizacija prejme:  informacijo o tem, ali določeno merilo izpolnjuje ali ne, ali pa ga izpeljuje samo delno; ta pregled je prikazan v obliki tabele, ki vsebuje merila, ki so se presojala in oznako o doseganju merila,  opis vseh dobrih stvari, ravnanj, ki jih ima organizacija v zvezi z evalviranimi merili, t.i. dobre točke,  opis slabših ravnanj, neizpolnjevanja meril deloma ali v celoti, t.i. šibke točke,  predloge, kako bi po mnenju evalvatorjev lahko organizacija v bodoče ravnala, da bi ohranila in krepila svoje dobre dosežke, delala razvojne preboje in odpravljala pomanjkljivosti. V nadaljevanju prikazujemo nekaj primerov iz prakse, ki ilustrirajo opisane načine posredovanja ugotovitev v ekspertni zunanji evalvaciji. Slika 6: Primer tabelaričnega pregleda izpolnjevanja meril iz poročila o ugotovitvah ekspertne zunanje evalvacije KAZALNIK MERILO dOSEGANJE MERILA dA dELNO NE Umeščenost notranjih procesov kakovosti v temeljne strateške dokumente Izobraževalna organizacija ima v svojih letnih delovnih načrtih poglavje o kakovosti.  Izobraževalna organizacija ima v svojih letnih poročilih poglavje o kakovosti.  Zapisan notranji sistem kakovosti (Listina o kakovosti) Izobraževalna organizacija ima listino o kakovosti ali drug primerljiv dokument, v katerem je opisan notranji sistem kakovosti, ki ga uporablja.  Obravnava vprašanj kakovosti na andragoških zborih Zaposleni vsaj enkrat na leto na andragoškem zboru razpravljajo o kakovosti izobraževanja odraslih.  Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. 122 Slika 7: Primer opisa dobrih točk iz poročila o izvedeni ekspertni zunanji evalvaciji UGOTOVLJENE dObRE TOČKE … Tako ste tudi postopoma začeli oblikovati svoj notranji sistem kakovosti, ki ga za sedaj določajo naslednje sestavine: 1. 2. 3. 4. 5. Imate Listino kakovosti, ki opisuje, katere elemente notranjega sistema že imate pri opredeljevanju, presojanju in razvijanju kakovosti vašega dela. V svojih letnih delovnih načrtih in letnih poročilih imate poglavje o kakovosti. Imate komisijo za kakovost. Iz letnih poročil o delu te komisije je razvidno, da komisija redno spodbuja presojanje in razvijanje kakovosti na različnih področjih, ki zadevajo izobraževalni proces, pogoje za njegov kakovostni potek in učinke izobraževanja. Iz zapisnikov, ki zajemajo obdobje od leta 2008, je razvidno, da gre za stalno in dokaj sistematično delo komisije. Poročila komisije o opravljenem delu so kakovostna, prikazujejo sistematično delo tako na področju presojanja kakovosti kot njenega razvijanja. … Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Slika 8: Primer opisa šibkih točk iz poročila o izvedeni ekspertni zunanji evalvaciji UGOTOVLJENE ŠIbKE TOČKE … V nadaljevanju pa še nekaj ugotovitev v zvezi z različnimi elementi notranjega sistema kakovosti: 1. 2. 3. 4. Poglavje o kakovosti je v letnih poročilih vsebinsko šibko. Ni enostavno razvidna ugotovitev, ali so bila postavljena merila v letnem delovnem načrtu dosežena ali ne, ni neke vrednostne ocene doseženega. Zaznali smo, da komisije za kakovost še niste polno umestili v svoj notranji sistem kakovosti. Marsikatera razprava ali odločanje o vprašanjih kakovosti se zgodi na drugih mestih, kar je včasih tudi razumljivo, ne pa vedno. Hkrati pa se je pokazalo, da o nekaterih vidikih kakovosti ne razpravlja in/ali odloča nihče, kar bi lahko sicer opravila komisija za kakovost. Sestava komisije za kakovost, zlasti njeni zunanji člani, ni povsem v skladu z intenco zakonodaje, pa tudi z vidika vsebinskih razlogov, zlasti ko gre za predstavnika uporabnikov storitev, gospodarstva. ... Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. 123 Slika 9: Primer predlogov za izboljšave iz poročila o izvedeni ekspertni zunanji evalvaciji PREdLOGI ZA IZbOLJŠAVE … Na področju opredeljevanja kakovosti vam predlagamo naslednje izboljšave: 1. 2. Predlagamo vam, da razmislite o tem, da bi pripravili Izjavo o kakovosti. To je dokument, v katerem bi zapisali, katere standarde kakovosti zagotavljate svojim udeležencem, zaposlenim, podjetjem, ustanovam in organizacijam, ki k vam usmerjajo zaposlene na izobraževanje ipd. Dobro je, če znamo predstaviti povsem konkretno, kakšno kakovost zagotavljamo, kaj je odlika naše organizacije. Izhodišče za to že imate zapisano v nekaterih vaših promocijskih gradivih, kjer imate zapisanih nekaj izjav, kar je lahko vaš standard kakovosti. Prav tako imate nekatere standarde zapisane v akcijskih načrtih za razvoj kakovosti za zadnja tri leta. Priprava Izjave pa vas bo spodbudila, da boste razmislili o opredelitvi standardov še na drugih področjih vašega dela. Pri tem pa naj vas ne vodi zgolj želja, da bi do takega dokumenta prišli, pač pa temeljit razmislek, kaj ste sposobni in pripravljeni nuditi čisto vsakemu vašemu udeležencu, zaposlenemu ali partnerju v vsakem primeru. Zapisana izjava vas namreč obvezuje – če boste nekaj zapisali, ne pa tudi uresničevali, bo to imelo za vas negativne posledice. Več o pripravi Izjave in njeni vlogi si lahko preberete v publikaciji: Možina, T. in Klemenčič, S. (2012): Mozaik kakovosti: priporočila za vzpostavitev in razvoj notranjega sistema kakovosti v izobraževalni organizaciji. Ljubljana: Andragoški center Slovenije. Vabimo vas tudi, da si za zgled ogledate kakšen primer izjave o kakovosti v vam podobnih organizacijah (nekaj primerov: http://www.bic-lj.si/mic/index.php/predstavitev/kakovost/izjava-o-kakovosti, http://www.azm-lu.si/images/datoteke/Izjava_o_kakovosti_ISIO_MBa.pdf, http://www.lu-skofjaloka.si/o-nas/izjava-o-kakovosti/). ... Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Vse anketirane subjekte smo povprašali, kako ocenjujejo različne načine posredovanja ugotovitev ekspertne zunanje evalvacije. Najprej smo se zaustavili pri vprašanju, kako sodelujoči ocenjujejo to, da izobraževalna organizacija prvo informacijo o ugotovitvah evalvacije dobi ustno na zaključku obiska. Tako vprašanje smo najprej zastavili direktorjem oz. ravnateljem evalviranih organizacij. Na to vprašanje jih je odgovarjalo devet, imeli pa so možnost izbire več odgovorov. 124 Preglednica 53: Odgovori direktorjev oz. ravnateljev na vprašanje, kaj si mislijo o tem, da so prve ugotovitve ekspertni zunanji evalvatorji posredovali ustno na zaključnem srečanju ob obisku (N=9) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Tak način ni primeren, ker smo bili po celodnevnem obisku preveč utrujeni, da bi lahko zbrano poslušali posredovane informacije. 0 0,0 0,0 Tak način ni primeren, ker so bili ekspertni zunanji evalvatorji preveč pod vtisom posameznih razgovorov na obisku in posredovana informacija ni bila celovita. 0 0,0 0,0 Tak način ni primeren, ker na zaključnem srečanju sodelujejo vsi intervjuvanci, posredovane informacije pa so take narave, da je bolje, če jih dobi ožji krog sodelavcev. 0 0,0 0,0 Tak način ni primeren, ker je ustno posredovanje tolikih informacij preobsežno in ne daje pravega učinka. 0 0,0 0,0 V redu je, da takoj po zaključku obiska dobimo prve informacije, kakšne so ugotovitve ekspertnih zunanjih evalvatorjev, četudi informacije takrat niso tako podrobne kot v kasnejšem pisnem poročilu. 8 29,6 88,9 V redu je, da sodelujoči na razgovorih, zlasti zaposleni, dobijo neposredno informacijo o ugotovitvah, še posebej zato, ker so poudarjeni tudi naši dobri dosežki, ne samo tisto, kjer se moramo še izboljšati. 5 18,6 55,6 To je nekakšen zaključek večmesečnega dela in primerno je, da takoj dobimo temeljne informacije o ugotovitvah. 3 11,1 33,3 Po večmesečnem poteku ekspertne zunanje evalvacije je to prvi odziv, ki ga dobi organizacija o svoji kakovosti in prav je, da se to zgodi na dan obiska, saj se na nek način sprostijo tako naša pričakovanja kot bojazni. 3 11,1 33,3 Prav je, da organizacija temeljne informacije o ugotovitvah dobi ob zaključku obiska, saj lahko o njih razmisli do prejema pisnega poročila in je zato tudi pisno poročilo na nek način drugače sprejeto kot bi bilo morebiti sicer. 7 25,9 77,8 Drugo. 1 3,7 11,1 SKUPAJ 27 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. 125 Tisti anketiranec, ki se je odločil (tudi) za odgovor »Drugo.«, je svojo izbiro še dodatno pojasnil:  Prav je, da je sprotna informacija podana takoj po zaključenem obisku iz skoraj vseh zgoraj navedenih razlogov, predvsem pa komunikacijsko - človeških. Takoj lahko opazimo, da se nikomur od sodelujočih tak način posredovanja prve informacije ne zdi neprimeren. Nasprotno, vsem direktorjem oz. ravnateljem se zdi, da je to primerno ali celo nujno. Najpogosteje so izbrali odgovor, da je »dobro, da takrat dobijo prve informacije, četudi informacije takrat niso tako podrobne kot v kasnejšem pisnem poročilu«, pa tudi zato, ker tak način omogoča, da »o informacijah razmislijo do prejema pisnega poročila, zaradi česar je to na nek način drugače sprejeto kot bi bilo morebiti sicer«. Pritrditi kaže tudi tistemu ravnatelju oz. direktorju, ki je zapisal, da je to pomembno tudi s komunikacijsko – človeških razlogov. Če se evalvatorji ves dan pogovarjajo z različnimi sodelavci in ob nobenem razgovoru ne »razkrijejo« svojih stališč, potem bi bilo res nenavadno, da bi kar odšli, brez da bi dali neko povratno informacijo. S tem bi se ustvarjal nepotreben »zid« med njimi in sodelavci organizacije; na nek način pa bi tak način pokazal tudi na strah evalvatorjev, da svoje ocene sogovornikom predstavijo »iz oči v oči«, pač pa bi v zvezi z ugotovitvami komunicirali samo pisno. Direktorje oz. ravnatelje smo vprašali tudi, ali bi priporočili, da se tudi v prihodnje v ekspertni zunanji evalvaciji ohrani posredovanje prve ustne informacije o ugotovitvah v evalviranih organizacijah in vseh devet jih je temu pritrdilo. Seveda nas je zanimalo, kaj pa o tem menijo koordinatorji ekspertne zunanje evalvacije iz organizacij in tudi njim smo zastavili enako vprašanje kot direktorjem oz. ravnateljem. Na to vprašanje jih je odgovarjalo devet, imeli pa so prav tako možnost izbire več odgovorov. 126 Preglednica 54: Odgovori koordinatorjev iz organizacij na vprašanje o načinih posredovanja ugotovitev ekspertne zunanje evalvacije, in sicer kaj menijo o tem, da prve ugotovitve ekspertni zunanji evalvatorji posredujejo ustno na zaključnem srečanju ob obisku (N=9) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Tak način ni primeren, ker smo bili po celodnevnem obisku preveč utrujeni, da bi lahko zbrano poslušali posredovane informacije. 0 0,0 0,0 Tak način ni primeren, ker so bili ekspertni zunanji evalvatorji preveč pod vtisom posameznih razgovorov na obisku in posredovana informacija ni bila celovita. 0 0,0 0,0 Tak način ni primeren, ker na zaključnem srečanju sodelujejo vsi intervjuvanci, posredovane informacije pa so take narave, da je bolje, če jih dobi ožji krog sodelavcev. 0 0,0 0,0 Tak način ni primeren, ker je ustno posredovanje tolikih informacij preobsežno in ne daje pravega učinka. 1 4,0 11,1 V redu je, da takoj po zaključku obiska dobimo prve informacije, kakšne so ugotovitve ekspertnih zunanjih evalvatorjev, četudi informacije takrat niso tako podrobne kot v kasnejšem pisnem poročilu. 7 28,0 77,8 V redu je, da sodelujoči na razgovorih, zlasti zaposleni, dobijo neposredno informacijo o ugotovitvah, še posebej zato, ker so poudarjeni tudi naši dobri dosežki, ne samo tisto, kjer se moramo še izboljšati. 7 28,0 77,8 To je nekakšen zaključek večmesečnega dela in primerno je, da takoj dobimo temeljne informacije o ugotovitvah. 3 12,0 33,3 Po večmesečnem poteku ekspertne zunanje evalvacije je to prvi odziv, ki ga dobi organizacija o svoji kakovosti in prav je, da se to zgodi na dan obiska, saj se na nek način sprostijo tako naša pričakovanja kot bojazni. 3 12,0 33,3 Prav je, da organizacija temeljne informacije o ugotovitvah dobi ob zaključku obiska, saj lahko o njih razmisli do prejema pisnega poročila in je zato tudi pisno poročilo na nek način drugače sprejeto kot bi bilo morebiti sicer. 2 8,0 22,2 Drugo. 2 8,0 22,2 SKUPAJ 25 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za koordinatorje ekspertne zunanje evalvacije v evalviranih organizacijah - 2017, arhiv Andragoškega centra Slovenije. 127 Tista dva koordinatorja, ki sta izbrala (tudi) odgovor »Drugo.«, sta še zapisala:  Če bi res izpostavili dobre dosežke, bi bilo fajn.  Ugotovitve bi se lahko posredovale v ožjem krogu. Je pa kljub temu bilo v redu, da so bili prisotni nekateri drugi zaposleni, da so lahko informacijo predali sodelavcem v strokov nih aktivih ter da so lahko še kaj pokomentirali. Tu pa enotnost v mnenjih ni več tako velika, čeprav sta le dva odgovora taka, ki kažeta na neodobravanje, da se po zaključku obiska prvič ustno predstavijo ugotovitve evalvatorjev. Dve osebi, ali pa morebiti ena, ki je izbrala dva odgovora, menita, da je »ustno posredovanje tolikih informacij preobsežno in ne daje pravega učinka« ter da »dobri dosežki v teh informacijah niso predstavljeni«. Mnenju, da je ustno posredovanje številnih informacij morebiti neučinkovito, je mogoče deloma pritrditi. Res je, da je informacij ogromno in da so strokovno zahtevnejše za razumevanje, saj evalvatorji predstavijo dobre in šibke točke ter predloge za razvoj prav pri vseh merilih, ki jih vsebuje evalvacija, teh pa ni tako malo. Če bi se evalvatorji pri tej informaciji izognili pojasnjevanju vseh teh dimenzij, bi lahko dali le neko splošno oceno, da je organizacija dobra ali manj dobra, pri čemer pa bi brez konkretnih navedb organizacija lahko dobila napačen vtis o ugotovitvah. Hkrati je potrebno povedati, da evalvacija ni »kramljanje«, opisovanje nekih vtisov, pač pa dokaj eksakten proces z opredeljenimi merili. In to je treba upoštevati tudi pri podajanju ustne informacije. Ker je ta očitno dobrodošla pri večini anketiranih, ne kaže razmišljati o njenem ukinjanju, pač pa o tem, kako vseeno tako zahtevno vsebino v prihodnje predstaviti ustno na boljši način. Mnenje anketiranca o tem, da dobri dosežki na obisku niso bili predstavljeni, pa je nerazumljivo, saj vse informacije, ki jih dajejo evalvatorji, pa naj gre za ustne ali pisne, vsebujejo tako dobre kot šibke točke in predloge za razvoj in to brez izjeme. Prav tako v doslej izpeljanih ekspertnih zunanjih evalvacijah ni bilo niti ene organizacije, kjer evalvatorji ne bi opazili tudi dobrih rešitev in ravnanj, kar je vse tudi zabeleženo, zato trditev anketiranca ne drži, zakaj pa je to zapisal, pa iz njegove izjave ni mogoče ugotoviti. Vsi ostali odgovori soglašajo s tem, da je ustna informacija evalvatorjev po zaključku obiska dobrodošla. Najpogosteje so anketirani poudarili, da je dobro, »da dobijo prve informacije, kakšne so ugotovitve ekspertnih zunanjih evalvatorjev, četudi informacije takrat niso tako podrobne kot v kasnejšem pisnem poročilu« (tako so menili tudi direktorji oz. ravnatelji). Enako pogosto so koordinatorji izbrali odgovor, da je dobro, »da sodelujoči na razgovorih, zlasti zaposleni, dobijo neposredno informacijo o ugotovitvah, še posebej zato, ker so poudarjeni tudi dobri dosežki, ne samo tisto, kjer se morajo še izboljšati«. Za razliko od mnenja, ki smo ga obravnavali malo prej, ti koordinatorji sporočajo, da je dobro, da dobijo povratne informacije in to tudi o dobrih dosežkih. Vseh devet koordinatorjev, tako kot direktorji oz. ravnatelji, priporoča, da se tudi v prihodnje v ekspertni zunanji evalvaciji ohrani posredovanje prve ustne informacije o ugotovitvah v evalviranih organizacijah. Zelo podobno vprašanje smo postavili tudi ekspertnim zunanjim evalvatorjem. Tudi njih smo vprašali o tem, kaj menijo o ustni povratni informaciji ob zaključku obiska, seveda pa smo jim glede na njihovo vlogo na razpolago dali nekoliko drugačne odgovore. Na vprašanje je odgovarjalo vseh enajst sodelujočih evalvatorjev, lahko pa so izbrali več možnih odgovorov. 128 Preglednica 55: Odgovori evalvatorjev na vprašanje o načinih posredovanja ugotovitev ekspertne zunanje evalvacije, in sicer kaj menijo o tem, da prve ugotovitve ekspertni zunanji evalvatorji posredujejo ustno na zaključnem srečanju ob obisku (N=11) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Tak način ni primeren, ker smo po celodnevnem obisku preveč utrujeni, da bi lahko zbrano posredovali informacije. 0 0,0 0,0 Tak način ni primeren, ker imamo po celodnevnih razgovorih premalo časa, da bi lahko celovito presodili pridobljene informacije. 0 0,0 0,0 Tak način ni primeren, ker so po celodnevnem obisku sodelavci organizacije preveč utrujeni, da bi lahko zbrano poslušali informacije. 0 0,0 0,0 Tak način ni primeren, ker smo morebiti preveč pod vtisom posameznih razgovorov na obisku in posredovana informacija ni celovita. 0 0,0 0,0 Tak način ni primeren, ker je ustno posredovanje tolikih informacij preobsežno in ne daje pravega učinka. 0 0,0 0,0 V redu je, da takoj po zaključku obiska posredujemo prve informacije, kakšne so ugotovitve, četudi informacije takrat niso tako podrobne kot v kasnejšem pisnem poročilu. 8 19,0 72,7 V redu je, da sodelujoči na razgovorih, zlasti zaposleni, dobijo neposredno informacijo o ugotovitvah, še posebej zato, ker so poudarjeni tudi dobri dosežki, ne samo šibke točke. 8 19,0 72,7 To je nekakšen zaključek večmesečnega dela in primerno je, da takrat takoj posredujemo temeljne informacije o ugotovitvah. 7 16,8 63,6 Po večmesečnem poteku ekspertne zunanje evalvacije je to prvi odziv, ki ga dobi organizacija o svoji kakovosti in prav je, da se to zgodi na dan obiska, saj se na nek način sprostijo tako njihova pričakovanja kot bojazni. 9 21,4 81,8 Prav je, da organizacija temeljne informacije o ugotovitvah dobi ob zaključku obiska, saj lahko o njih razmisli do prejema pisnega poročila in je zato tudi pisno poročilo na nek način drugače sprejeto, kot bi bilo morebiti sicer. 8 19,0 72,7 Drugo. 2 4,8 18,2 SKUPAJ 42 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. 129 Dva izmed evalvatorjev sta izbrala tudi odgovor »Drugo.« in svojo izbiro pojasnila takole:  Res pa je tudi, da smo evalvatorji in še bolj zaposleni utrujeni od celotnega dneva, zato bi morala biti povratna informacija kratka in zajeti samo nekatere elemente evalvacije (tiste, o katerih smo poenoteni že na evalvaciji).  Ob vseh pozitivnih stvareh, ki se mi zdijo v zvezi z ustnim posredovanjem ugotovitev, pa želim povedati, da je časa za pripravo teh informacij malo in zlasti v primerih, ko se od prejo še nove dileme, ali pa so ugotovitve razgovorov zelo različne od ugotovitev iz ocene samoocene, je težko tako na hitro oblikovati kakovostno povratno informacijo. Vsi evalvatorji, brez izjeme, podpirajo zamisel, da se ob koncu evalvacijskega obiska evalvirani organizaciji posreduje prva ustna informacija o ugotovitvah evalvacije. Evalvatorji so izbrali v skoraj enakem razmerju vse ponujene odgovore, ki govorijo o koristih take informacije, bistvenih razlik med odločanjem za možne odgovore ni. Še najmanjkrat (sedemkrat) so izbrali odgovor, da je to »nekakšen zaključek večmesečnega dela in primerno je, da takrat takoj posredujejo temeljne informacije o ugotovitvah«, saj zanje obisk res ni zaključek dela, pač pa jih čaka še zahtevno delo pri oblikovanju poročila o izvedeni evalvaciji. Oba evalvatorja, ki sta ob tem vprašanju dodala še nekaj misli, opozarjata na probleme, ki so bili dejansko zaznani ob dosedanjem oblikovanju prve povratne informacije. Prvi je ta, da obstaja dilema, kaj narediti takrat, ko evalvatorji ob oblikovanju ocene samoocene še niso mogli sprejeti odločitve o oceni določenega pojava, take dileme pa se pojavljajo tudi po opravljenih razgovorih; na hitro, v času, ki je na voljo do posredovanja prve povratne informacije, tudi ni mogoče izpeljati poglobljenega razgovora evalvatorjev o tem, kako se odločiti. V takih primerih je res najbolje, da se o taki ali drugačni oceni oz. o dilemah na zaključnem srečanju ne govori, pač pa se odločitve z utemeljitvijo o tem zapišejo v poročilo. Oba evalvatorja pišeta tudi o kratkem času za pripravo ustne povratne informacije. Čeprav je ta na podlagi samoocene pripravljena že vnaprej, pa jo je potrebno po opravljenih pogovorih pregledati in ugotoviti, kje ocene držijo, predvsem pa spremeniti tam, kjer je bilo nedvoumno ugotovljeno, da so razmere drugačne, kot je bilo ugotovljeno zgolj na podlagi zapisov. Za to pa je slaba ura časa, kolikor ga je bilo na voljo doslej, ob bolj zahtevnih vprašanjih, res malo, še zlasti če upoštevamo obseg kazalnikov oz. meril, ki se presojajo na obeh področjih, ki so predmet evalvacije, pa tudi utrujenost evalvatorjev po opravljenih intervjujih in ogledih. Spomnimo naj, da je s podobno argumentacijo nekaj evalvatorjev predlagalo, da bi se čas obiska v organizaciji podaljšal na dva dneva, o čemer smo v tej študiji že pisali. Tam smo tudi razpravljali o dilemah, ki na eni strani govorijo v prid taki rešitvi, na drugi strani pa je ne podpirajo. En evalvator tudi navaja, naj bi bila povratna informacija kratka. Tudi o tem smo že pisali. Prav na kratko o številnih merilih, ki jih vsebuje evalvacija, ni mogoče govoriti, zato ker pri vsakem izpostavimo tako dobre kot šibke točke ter predloge za razvoj, pa še vsaj kratko utemeljitev, na podlagi česa je bila oblikovana določena ocena. Mogoče bi kazalo razmišljati, da ob koncu obiska ne bi predstavljali predlogov za razvoj. 130 Tako kot direktorji oz. ravnatelji in koordinatorji iz evalviranih organizacij tudi prav vsi evalvatorji priporočajo, da se tudi v prihodnje v ekspertni zunanji evalvaciji ohrani posredovanje prve ustne informacije o ugotovitvah v evalviranih organizacijah. Naslednji sklop vprašanj, ki smo jih namenili vsem trem subjektom, so vprašanja o tem, kaj menijo o tem, da organizacija v nadaljevanju dobi predlog pisnega poročila o izvedeni ekspertni zunanji evalvaciji z namenom, da ekspertnim zunanjim evalvatorjem posreduje še morebitne dodatne argumente ali razčisti nejasnosti. Direktorji oz. ravnatelji, bilo jih je devet, so med možnimi odgovori (lahko so jih izbrali več), izbrali naslednje: Preglednica 56: Odgovori direktorjev oz. ravnateljev na vprašanje, kaj menijo o tem, da ustnemu poročilu o ugotovitvah sledi predlog pisnega poročila, ki ga organizacija dobi z namenom, da ekspertnim zunanjim evalvatorjem posreduje še morebitne dodatne argumente ali razčisti nejasnosti (N=9) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE To se mi zdi nepotrebno, saj so ekspertni zunanji evalvatorji že dobili vse informacije, ki jih potrebujejo, na njihove interpretacije pa ne moremo vplivati. 0 0,0 0,0 To se mi zdi nepotrebno, saj ekspertni zunanji evalvatorji ne upoštevajo dodatnih informacij in ostajajo pri svojih ocenah. 0 0,0 0,0 To se mi zdi nepotrebno, saj imajo ekspertni zunanji evalvatorji pač svoje mnenje, mi pa že vemo, kako je v resnici. 0 0,0 0,0 To se mi zdi nepotrebno, poročilo je pač tako kot je, na nas pa je, da ga čim bolje izkoristimo za naš nadaljnji razvoj. 0 0,0 0,0 To se mi zdi dobro, saj tako lahko dodamo še kakšen argument, če vidimo, da bi bilo to za sprejem končnih zaključkov dobro. 5 26,3 55,6 To se mi zdi dobro, saj tako lahko razčistimo še kakšno nejasnost, če vidimo, da bi bilo to za sprejem končnih zaključkov dobro. 7 36,8 77,8 To se mi zdi dobro, saj smo na ta način lahko vplivali na vsebino končnega poročila. 1 5,3 51,1 To se mi zdi dobro, saj se na ta način ohranja partnerski odnos v ekspertni zunanji evalvaciji med našo organizacijo in Andragoškim centrom Slovenije. 6 31,6 66,7 Drugo. 0 0,0 0,0 SKUPAJ 19 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. 131 Najprej lahko ugotovimo, da se nobenemu izmed direktorjev oz. ravnateljev ta faza v oblikovanju ugotovitev ekspertne zunanje evalvacije ne zdi nepotrebna. Vsi vidijo v tem nekaj pozitivnega, najpogosteje menijo, da »tako lahko razčistimo še kakšno nejasnost, če vidimo, da bi bilo to za sprejem končnih zaključkov dobro«. Zanimivo je tudi, da so se dokaj pogosto odločili tudi za odgovor, da gre pri tem tudi za ohranjanje partnerskega odnosa med izobraževalno organizacijo in ACS kot nosilcem ekspertnih zunanjih evalvacij. Ta odgovor je razveseljiv, saj se je ACS vedno zavzemal, da bi se tudi pri ekspertni zunanji evalvaciji z organizacijami vzpostavil partnerski odnos. Ekspertna zunanja evalvacija predstavlja pomoč organizaciji za njen nadaljnji razvoj. ACS ceni take organizacije, ki tudi na ta način želijo krepiti kakovost izobraževanja odraslih v Sloveniji, hkrati pa mu organizacije v postopkih izvajanja ekspertne zunanje evalvacije, ne nazadnje tudi z do-brim odzivom na to anketiranje, pomagajo razvijati in izboljševati pristope k zunanjim evalvacijam. Če so vodstva sodelujočih izobraževalnih organizacij tako izpostavila pomen partnerskih odnosov, se nam zdi to res dobro. Potrebno pa se je zaustaviti še pri odgovoru, ki je bil izbran samo enkrat, to je »To se mi zdi dobro, saj smo na ta način lahko vplivali na vsebino končnega poročila.« Predvidevamo lahko, da se direktorji oz. ravnatelji tistih organizacij, ki niso predlagali dopolnitev poročila, ker so se z njim strinjali, za ta odgovor niso odločali. Preostane nam torej pet organizacij, ki so na predlog poročila napisale svoje dopolnitve, pri čemer ne vemo, če je vseh pet tudi sodelovalo v anketiranju18. Vsekakor predvidevamo, da jih je bilo nekaj takih in če je samo eden ocenil, da je lahko vplival na vsebino končnega poročila, se je potrebno vprašati, zakaj je tako. V arhivu, ki ga hrani ACS, je mogoče ugotoviti, da ni niti enega primera, ko skupina evalvatoric ni upoštevala dodatnih argumentov organizacij, če so ti bili ustrezni; organizacije so torej lahko vplivale na končno poročilo. Seveda pa je iz poslanih predlogov organizacij in odgovorov skupine evalvatoric mogoče ugotoviti tudi, da so organizacije poslale tudi ugovore in dokazila, ki jih ni bilo mogoče upoštevati, ker niso zadoščala merilom evalvacije. Vsak tak primer so evalvatorice tudi zelo obsežno obrazložile, da bi organizaciji predstavile, zakaj njihovi argumenti niso ustrezni in jih ni mogoče upoštevati. To, da se je samo en direktor oz. ravnatelj odločil za odgovor, da so lahko vplivali na končno besedila poročila, morebiti pomeni, da so ostali direktorji oz. ravnatelji kljub obsežnim pojasnilom še vedno menili, da bi se poročilo moralo spremeniti. Če je temu tako, kaže v prihodnje razmisliti, kako še bolje argumentirati odločitve evalvatorjev, kako prikazati dobre in manj dobre prakse, kako še bolje pojasniti merila v evalvaciji ipd. Glede na prikazane izide v prejšnji preglednici ni čudno, da vseh devet direktorjev oz. ravnateljev priporoča, da se tudi v prihodnje v ekspertni zunanji evalvaciji ohrani posredovanje predloga poročila o ugotovitvah organizaciji na vpogled in morebiten odziv. Tako kot že večkrat prej, smo tudi v tem primeru enako vprašanje zastavili koordinatorjem ekspertne zunanje evalvacije iz izobraževalnih organizacij. Na vprašanje jih je odgovarjalo devet, lahko so izbrali več ponujenih odgovorov. Izidi so naslednji: 18 Kot smo pojasnili v poglavju o metodologiji, je bilo anketiranje izpeljano v 12 izobraževalnih organizacijah, ki so sodelovale v ekspertnih zunanjih evalvacijah, na vprašanje pa je odgovarjalo 9 ravnateljev oz. direktorjev, pri čemer ni mogoče ugotoviti, ali so to direktorji oz. ravnatelji iz vseh tistih petih organizacij, ki so oblikovale pripombe na predlog poročila. 132 o tem, da ustnemu poročilu o ugotovitvah sledi predlog pisnega poročila, ki ga organizacija dobi z namenom, da ekspertnim zunanjim evalvatorjem posreduje še morebitne dodatne argumente ali razčisti nejasnosti (N=9) Preglednica 57: Odgovori koordinatorjev iz organizacij na vprašanje, kaj menijo FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE To se mi zdi nepotrebno, saj so ekspertni zunanji evalvatorji že dobili vse informacije, ki jih potrebujejo, na njihove interpretacije pa ne moremo vplivati. 0 0,0 0,0 To se mi zdi nepotrebno, saj ekspertni zunanji evalvatorji ne upoštevajo dodatnih informacij in ostajajo pri svojih ocenah. 0 0,0 0,0 To se mi zdi nepotrebno, saj imajo ekspertni zunanji evalvatorji pač svoje mnenje, mi pa že vemo, kako je v resnici. 0 0,0 0,0 To se mi zdi nepotrebno, poročilo je pač tako kot je, na nas pa je, da ga čim bolje izkoristimo za naš nadaljnji razvoj. 0 0,0 0,0 To se mi zdi dobro, saj tako lahko dodamo še kakšen argument, če vidimo, da bi bilo to za sprejem končnih zaključkov dobro. 6 23,2 66,7 To se mi zdi dobro, saj tako lahko razčistimo še kakšno nejasnost, če vidimo, da bi bilo to za sprejem končnih zaključkov dobro. 9 34,6 100,0 To se mi zdi dobro, saj smo na ta način lahko vplivali na vsebino končnega poročila. 5 19,2 55,6 To se mi zdi dobro, saj se na ta način ohranja partnerski odnos v ekspertni zunanji evalvaciji med našo organizacijo in Andragoškim centrom Slovenije. 5 19,2 55,6 Drugo. 1 3,8 11,1 SKUPAJ 26 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za koordinatorje ekspertne zunanje evalvacije v evalviranih organizacijah - 2017, arhiv Andragoškega centra Slovenije. Koordinator, ki je izbral (tudi) odgovor »Drugo.«, je pripisal:  Če bi naši argumenti bili ustrezno upoštevani, bi bilo še boljše. En koordinator in ker je to pomembno z vidika opazovanja vseh izidov te samoevalvacije, naj povemo, da gre za koordinatorja, ki je pri vseh vprašanjih, torej tudi pri tem, izrazil negativno stališče do izpeljane evalvacije v njihovi organizaciji, očitno meni, da argu 133 menti, ki jih je navedla organizacija, niso bili upoštevani. Ker kaj več ni pojasnil, kaj več o tem tudi ni mogoče napisati. Vsekakor tudi med koordinatorji, tako kot med direktorji oz. ravnatelji, ni nikogar, ki bi se mu zdel ta korak v postopku posredovanja ugotovitev nepotreben. Njihovi odgovori so se približno razporedili, izjema je le odgovor, ki so ga izbrali prav vsi, to je, da se jim »zdi dobro, saj tako lahko razčistijo še kakšno nejasnost, če vidijo, da bi bilo to za sprejem končnih zaključkov dobro«. Ta izbira, ki je skoraj tako pogosta tudi pri direktorjih oz. ravnateljih, torej potrjuje, da je dobro, da smo v postopkih ekspertne zunanje evalvacije določili tudi to fazo in da organizacija ne dobi kar takoj končnega poročila o izvedeni evalvaciji. Zanimivo pa je, za razliko od direktorjev oz. ravnateljev, da več kot polovica vprašanih koordinatorjev to fazo vidi kot fazo, ko so »na ta način lahko vplivali na vsebino končnega poročila«. Očitno so koordinatorji v več primerih zaznali, da so imeli v tej fazi možnost, da še kaj pojasnijo in da so evalvatorji njihova pojasnila tudi upoštevali. Razlike med mnenji direktorjev oz. ravnateljev in koordinatorjev si sicer ne znamo natančno razlagati, morebiti je to zato, ker so koordinatorji tisti, ki so bolj operativno vpeti v evalvacijo; verjetno so oni tisti, ki so natančneje prebirali predlog poročila, razmišljali o možnih dodatnih dokazilih in argumentih in tudi natančneje preučili odgovore evalvatorjev, tako tiste, zakaj je bil nek dodaten argument upoštevan, kot tiste, zakaj ni mogel biti. Vseh devet koordinatorjev priporoča, da se tudi v prihodnje v ekspertni zunanji evalvaciji ohrani posredovanje predloga poročila o ugotovitvah organizaciji na vpogled in morebiten odziv. Seveda smo tudi evalvatorje vprašali, kaj menijo o tej fazi posredovanja končnih ugotovitev ekspertne zunanje evalvacije. Na vprašanje jih je odgovorilo vseh enajst, imeli pa so možnost izbire več odgovorov. 134 Preglednica 58: Odgovori evalvatorjev na vprašanje, kaj menijo o tem, da ustnemu poročilu o ugotovitvah sledi predlog pisnega poročila z namenom, da organizacija ekspertnim zunanjim evalvatorjem posreduje še morebitne dodatne argumente ali razčisti nejasnosti (N=11) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE To se mi zdi nepotrebno, saj smo ekspertni zunanji evalvatorji že dobili vse informacije, ki jih potrebujemo, na naše interpretacije pa organizacija ne more vplivati. 0 0,0 0,0 To se mi zdi dobro, saj tako lahko dobimo še kakšen argument, in presodimo, ali je to pomembno za sprejem končnih zaključkov. 5 22,8 45,5 To se mi zdi dobro, saj tako lahko razčistimo še kakšno nejasnost, in presodimo, ali je to pomembno za sprejem končnih zaključkov. 7 31,8 63,6 To se mi zdi dobro, saj se na ta način ohranja partnerski odnos, ki je značilen za ekspertno zunanjo evalvacijo, kakor jo doslej izvaja Andragoški center Slovenije. 9 40,9 81,8 Drugo. 1 4,5 9,1 SKUPAJ 22 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Vsi ekspertni zunanji evalvatorji soglašajo, da je ta faza potrebna in koristna. Zelo poudarjajo pomen takega načina sodelovanja za ohranjanje partnerskega odnosa med evalvirano organizacijo in evalvatorji, ki ga razumemo tako, kot smo že opisali: ne zaradi neke »domačijskosti«, pač pa zaradi razvijanja in ohranjanja strokovnega sodelovanja, na eni strani evalvatorjev, ki organizaciji ponudijo svoje znanje in predstavijo svoj pogled na razmere in pojave, na drugi strani organizacije, ki sodeluje pri razvoju pristopov k napredku kakovosti izobraževanja odraslih. Tak pristop pa se evalvatorjem zdi pomemben tudi zaradi možnosti, da razčistijo še kakšne nejasnosti in pridobijo še kakšen argument, ki utrdi njihovo končno odločitev. Tisti evalvator, ki je izbral (tudi) odgovor »Drugo.«, je tako zapisal:  To se mi zdi dobro tudi zato, ker bi se res lahko zgodilo, da bi evalvatorji, čeprav smo dobro proučili samooceno organizacije in dobili dodatne informacije na obisku, kaj spregledali, si kakšno stvar nepravilno interpretirali, bi kaj drugače razumeli, kot so nam sodelujoči na pogovorih povedali. Zato je prav, da ima organizacija možnost, da nam v primeru, da meni, da se je zgodilo kaj od tega, posreduje dodatna dokazila oz. dodatna pojasnila, ki so nam lahko v pomoč, da še enkrat ovrednotimo našo oceno in jo, če se izkaže, da je to potrebno, tudi spremenimo. Pojasnilo tega evalvatorja lepo povzame razloge, zaradi katerih se ja ACS ob snovanju naloge tudi odločil za tak način sodelovanja z organizacijo v fazi priprave končnega poročila o izvedeni ekspertni zunanji evalvaciji v organizaciji. 135 Na podlagi že zapisanega ni težko predvideti, da je vseh enajst ekspertnih zunanjih evalvatorjev izjavilo, da priporočajo, da se tudi v prihodnje v ekspertni zunanji evalvaciji ohrani posredovanje predloga poročila o ugotovitvah organizaciji na vpogled in morebiten odziv. Naslednji sklop vprašanj pa se je nanašal na vsebinske načine posredovanja ugotovitev ekspertne zunanje evalvacije, to je na tabelarični pregled izpolnjevanja meril, ugotovljene dobre in šibke točke ter predloge za nadaljnji razvoj. Najprej smo vse tri subjekte vprašali, kaj menijo o tabelaričnem pregledu doseganja meril, ki je sestavni del poročila o izvedeni evalvaciji. Ta pregled pove, ali izobraževalna organizacija merilo dosega ali ne, ali pa ga dosega delno. Omogoča nek hiter vpogled v ugotovitve, čeprav je to zelo »nenatančno orodje«, saj ne omogoča poglobljenega uvida v doseženo raven kakovosti, ne pokaže na nianse v okviru neke ocene. Pri oceni, da organizacija merilo dosega, so lahko velike razlike – od tega, da neka organizacija merilo dosega zgolj v minimalnem obsegu, do tega, da gre za organizacijo, ki je pri nekem merilu že ogromno dosegla in se lahko pohvali z izjemnimi dosežki. Te informacije lahko dajo le kvalitativne (opisne) ocene, ki so tudi sestavni del poročila. Vendar se pri opisnih oz. kvalitativnih ocenah pogosto zgodi, da jih ljudje sicer preberejo, a na koncu želijo vseeno vedeti, ali neko merilo (oceno) dosegajo ali ne19. Nekak približen odgovor na to, bolj blizu kvantitativnemu ocenjevanju, pa je prav omenjeni tabelarični pregled. Direktorji oz. ravnatelji imajo v zvezi s tabelaričnim pregledom doseganja meril naslednje mnenje (na vprašanje jih je odgovarjalo devet, lahko pa so izbrali več odgovorov): Preglednica 59: Odgovori direktorjev oz. ravnateljev na vprašanje o tem, kaj menijo o tabelaričnem pregledu doseganja meril pri posameznih kazalnikih (N=9) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Nimam mnenja. 0 0,0 0,0 Tabelarični pregled doseganja meril ne pove veliko, zato ni potreben. 0 0,0 0,0 Tabelarični pregled doseganja meril je dober pokazatelj ugotovitev, ki so kasneje v poročilu podrobneje predstavljena. 7 58,3 77,8 Tabelarični pregled doseganja meril je za nas bistvena informacija, saj pove, katero merilo dosegamo, katero ne in katero deloma. 5 41,7 55,6 Drugo. 0 0,0 0,0 SKUPAJ 12 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. 19 Spomnimo se na primer opisnega ocenjevanja iz osnovne šole, kjer so starši pogosto »protestirali«, da iz obsežnih opisnih ocen ne morejo ugotoviti, ali njihov otrok nekaj zna ali ne in so zahtevali številčne ocene. 136 Nihče od direktorjev oz. ravnateljev ne sodi, da bi bil tabelarični pregled nepotreben, kakor smo tudi predvidevali. So pa bolj poudarili, da je to dober pokazatelj kvalitativnih ugotovitev in manj, da je to zanje bistvena informacija, kar daje vedeti, da večina pojmuje tabelarični pregled le bolj kot informativni element, ne pa kot bistvo ugotovitev ekspertne zunanje evalvacije, kar tudi ustreza resnici. Enako vprašanje smo zastavili tudi koordinatorjem ekspertne zunanje evalvacije iz izobraževalnih organizacij. Na vprašanje je odgovarjalo devet koordinatorjev, izbrali pa so lahko več odgovorov. o tabelaričnem pregledu doseganja meril pri posameznih kazalnikih (N=9) Preglednica 60: Odgovori koordinatorjev iz organizacij na vprašanje o tem, kaj menijo FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Nimam mnenja. 0 0,0 0,0 Tabelarični pregled doseganja meril ne pove veliko, zato ni potreben. 1 7,6 11,1 Tabelarični pregled doseganja meril je dober pokazatelj ugotovitev, ki so kasneje v poročilu podrobneje predstavljena. 6 46,2 66,7 Tabelarični pregled doseganja meril je za nas bistvena informacija, saj pove, katero merilo dosegamo, katero ne in katero deloma. 6 46,2 66,7 Drugo. 0 0,0 0,0 SKUPAJ 13 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za koordinatorje - 2017, arhiv Andragoškega centra Slovenije. Tudi pri koordinatorjih večina odgovorov sporoča, da je tabelaričen pregled dobrodošel, pri čemer je razmerje med odgovori, ki podpirajo tabelarični pregled, povsem enako. Koordinatorji torej v večji meri kot direktorji oz. ravnatelji vidijo tabelarični pregled kot bistveno sestavino poročila o izvedeni ekspertni zunanji evalvaciji. Je pa tudi res, da se je en koordinator odločil tudi za odgovor, da tabelarični pregled ni potreben, ker ne pove veliko. Bilo bi dobro, če bi ta koordinator še kaj pojasnil v zvezi s svojo odločitvijo; ker pa tega ni storil, pa lahko ostanemo samo pri interpretaciji, ki jo ponuja izbrani odgovor, torej, da tabelarični pregled ne omogoča podrobnejšega uvida v kakovost neke organizacije. In še ekspertni zunanji evalvatorji, na vprašanje jih je odgovarjalo enajst, oni pa so imeli možnost izbrati zgolj en odgovor: 137 Preglednica 61: Odgovori evalvatorjev na vprašanje o tem, kaj menijo o tabelaričnem pregledu doseganja meril pri posameznih kazalnikih (N=11) FREKVENCA OdSTOTEK Nimam mnenja. 0 0,0 Tabelarični pregled doseganja meril ne pove veliko, zato ni potreben. 0 0,0 Tabelarični pregled doseganja meril je dober pokazatelj ugotovitev, ki so kasneje v poročilu podrobneje predstavljena. 11 100,0 Drugo. 0 0,0 SKUPAJ 11 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Tudi ekspertni zunanji evalvatorji soglašajo, in to enotno, da poročilo o izvedeni ekspertni zunanji evalvaciji vsebuje tabelarični pregled izpolnjevanja meril, seveda ne kot edini element, pač pa kot pokazatelj tistega, kar je nato v poročilu opisno podrobno predstavljeno. V nadaljevanju smo vse tri subjekte vprašali, kaj menijo o opisnih prikazih ugotovitev ekspertne zunanje evalvacije, ki je izražena s pregledom dobrih in šibkih točk ter s predlogi za možen nadaljnji razvoj. Pregled dobrih točk je opis ugotovitev, katera ravnanja, procese in dosežke so opazili evalvatorji v zvezi z merili, ki jih vodijo pri njihovem delu. Večinoma so te dobre točke tudi opisane in vsebujejo utemeljitve, zakaj so po mnenju evalvatorjev to dobre točke, razen v primerih, ko merilo zahteva samo ugotovitev, ali organizacija nekaj ima ali ne. Šibke točke predstavljajo ugotovitve evalvatorjev o tem, katera ravnanja, procesi, pomanjkanje dosežkov v zvezi z opredeljenimi merili so taki, da jih ni mogoče oceniti kot dobre, uspešne ali pa jih celo sploh ni. Tudi v tem primeru so šibke točke opisane, predstavljeni so argumenti, zakaj so evalvatorji oblikovali tako mnenje. Predlogi za nadaljnji razvoj so prav tako podrobno opisani, nanašajo pa se na ugotovljene šibke točke ali pa na splošna vprašanja razvoja kakovosti izobraževanja odraslih, pri čemer so napisani v obliki priporočil, ki jih organizacija lahko upošteva ali pa ne in niso obligatorne narave. Kaj menijo o pregledu dobrih točk v poročilu o izvedeni evalvaciji, smo vprašali vse tri subjekte. V spodnji preglednici najprej združeno prikazujemo izide tako za direktorje oz. ravnatelje kot za koordinatorje evalvacije iz izobraževalnih organizacij. Na vprašanje je odgovarjalo devet direktorjev oz. ravnateljev in devet koordinatorjev iz izobraževalnih organizacij, imeli pa so možnost izbire enega odgovora. 138 Preglednica 62: Odgovori direktorjev oz. ravnateljev in koordinatorjev iz izobraževalnih organizacij na vprašanje, kaj menijo o tem, da končno poročilo vsebuje pregled dobrih točk, ki so bile zaznane pri evalvaciji na posameznih evalviranih področjih (N direktorji oz. ravnatelji=9, N koordinatorji=9) dIREKTORJI OZ. RAVNATELJI KOORdINATORJI FREKVENCA OdSTOTEK FREKVENCA OdSTOTEK Pregled dobrih točk obremenjuje poročilo, ki je zato daljše, bistveno je tisto, kjer se moramo še izboljšati. 0 0,0 0 0,0 Pregled dobrih točk je dobrodošel, saj nam sporoča, kaj delamo dobro in moramo še naprej ohranjati. 9 100,0 8 88,9 Drugo. 0 0,0 1 11,1 SKUPAJ 9 100,0 9 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje in koordinatorje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. Oboji sodijo, da je opisni pregled dobrih točk dobrodošel, direktorji oz. ravnatelji tako menijo soglasno, medtem ko med koordinatorji tako meni večina, le eden je izbral odgovor »Drugo.« ter pripisal:  Itak prebereš vse večkrat, da sploh veš, kaj bi radi povedali. Pripombo koordinatorja razumemo kot sporočilo, da je besedilo poročila zahtevno, s čimer se je mogoče strinjati, saj gre za dokaj zahtevna vprašanja in nevešč bralec ima z njihovim razumevanjem prav gotovo težave. Evalvatorji se, seveda, trudijo, da sporočila napišejo razumljivo, vendar morajo pri svojem delu uporabljati celo vrsto strokovnih terminov (npr. področje, kazalnik, merilo, standard kakovosti, Listina kakovosti, Izjava o kakovosti in še mnogo drugih), ki jih ni mogoče »prevesti« v bolj poljudne opise, saj bi s tem poročilo izgubilo na strokovni verodostojnosti. Ker pa se za zunanjo evalvacijo večinoma odločajo izobraževalne organizacije, ki imajo že razvite notranje sisteme kakovosti in so se za to morale predhodno usposabljati, povečini z razumevanjem ni težav. Razumemo pa, da je to lahko drugače v drugih organizacijah – verjetno bo treba v prihodnje biti na take primere še bolj pozoren; ob tem, da so temeljna vprašanje organizacijam že zdaj pojasnjena na uvodnem srečanju, bo potrebno prav za take organizacije poiskati še kakšne druge načine seznanjanja z vprašanji kakovosti. Tako kot v primeru dobrih točk, tudi v primeru odnosa do šibkih točk prikazujemo združene izide za direktorje oz. ravnatelje izobraževalnih organizacij in njihove koordinatorje. Tudi v tem primeru je na vprašanje odgovarjalo devet direktorjev oz. ravnateljev in devet koordinatorjev iz izobraževalnih organizacij, imeli pa so možnost izbire enega odgovora. 139 Preglednica 63: Odgovori direktorjev oz. ravnateljev in koordinatorjev iz izobraževalnih organizacij na vprašanje, kaj menijo o tem, da končno poročilo vsebuje pregled šibkih točk, ki so bile zaznane pri evalvaciji na posameznih evalviranih področjih (N direktorji oz. ravnatelji=9, N koordinatorji=9) dIREKTORJI OZ. RAVNATELJI KOORdINATORJI FREKVENCA OdSTOTEK FREKVENCA OdSTOTEK Pregled šibkih točk je prepodroben in ne daje usmeritev, česa naj se najprej lotimo. 1 11,1 0 0,0 Pregled šibkih točk je dobrodošel, saj nam daje usmeritve, kje se moramo še izboljšati in kam moramo usmeriti svoje aktivnosti. 8 88,9 8 88,9 Drugo. 0 0,0 1 11,1 SKUPAJ 9 100,0 9 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje in koordinatorje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. Med direktorji oz. ravnatelji večina meni, da je pregled šibkih točk zanje dobrodošel kot neka usmeritev, na katerih področjih se bi kazalo ali se morajo izboljšati, le en direktor oz. ravnatelj pa meni, da bi bilo bolje, če bi pregled vseboval samo glavne točke, kjer so opazne pomanjkljivosti (pregled se mu zdi prepodroben) in pa usmeritve, česa se naj najprej lotijo. Z vidika evalvatorjev se zdi to, da bi organizaciji »narekovali«, česa naj se najprej lotijo, precej neprimerno ravnanje, ki ga, vsaj po dosedanjih izkušnjah, organizacije niti ne bi dobro sprejele. Zaupati gre organizacijam, njihovemu vodstvu in komisijam za kakovost, da lahko sami presodijo, po kakšnem vrstnem redu se bodo lotili odpravljanja posameznih pomanjkljivosti. Postavljanje prioritet in načrtov dela je v marsičem odvisen od razmer v organizaciji, okoliščin, v katerih deluje, kadrovskih in drugih zmogljivosti. Koordinatorji pa so se tudi pri tem vprašanju odločali povsem enako kot pri prejšnjem. Vsem, razen enemu, se zdi pregled šibkih točk dobro izhodišče za razmisleke, kje se morajo izboljšati in kam usmeriti aktivnosti. Koordinator, ki je izbral odgovor »Drugo.« po izjavi, ki jo je zapisal, temu tudi ne nasprotuje, zapisal pa je:  Isto, kot pri prejšnjem. Če se spomnimo, zapisal je »Itak prebereš vse večkrat, da sploh veš, kaj bi radi povedali.« S tem se strinjamo, komentar pa je enak, kot smo ga že zapisali pri njegovem prejšnjem odgovoru. Potem pa smo direktorjem oz. ravnateljem in koordinatorjem evalvacij iz organizacij postavili še vprašanje, kaj menijo o predlogih za razvoj, ki jih zapišejo evalvatorji v poročilo o izvedeni evalvaciji. Tudi v tem primeru je odgovarjalo devet direktorjev oz. ravnateljev ter devet koordinatorjev, izbrali pa so lahko en odgovor. 140 Preglednica 64: Odgovori direktorjev oz. ravnateljev in koordinatorjev na vprašanje, kaj menijo o tem, da končno poročilo vsebuje predloge za izboljšave (N direktorji oz. ravnatelji=9, N koordinatorji=9) dIREKTORJI OZ. RAVNATELJI KOORdINATORJI FREKVENCA OdSTOTEK FREKVENCA OdSTOTEK Predlogi za izboljšave niso uporabni, ker zunanji ekspertni evalvatorji premalo poznajo razmere v naši organizaciji in njenem okolju. 0 0,0 1 11,1 Predlogi za izboljšave so dobrodošli, saj nam dovolj konkretno povedo, kaj kaže vpeljati, narediti, da bi dosegli še boljše rezultate pri svojem delu za kakovost izobraževanja odraslih. 8 88,9 8 88,9 Drugo. 1 11,1 0 0,0 SKUPAJ 9 100,0 9 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje in koordinatorje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. Direktor oz. ravnatelj, ki je izbral odgovor »Drugo.«, je dopisal:  Nekateri predlogi so bili dobri in uporabni, večina pa neprimerna in je izražala premalo poznavanje organizacije. Če opazujemo vse odgovore, lahko ugotovimo, da so tudi v tem primeru podobni kot pri prejšnjih dveh vprašanjih. Osem direktorjev oz. ravnateljev in prav toliko koordinatorjev meni, da so predlogi za izboljšave dobrodošli, so dovolj konkretni in pomagajo pri razmišljanju, kaj postoriti v prihodnje. En direktor oz. ravnatelj in en koordinator pa sta sicer izbrala različna odgovora, a sporočila isto – predlogi zanje niso bili primerni (vsaj ne vsi), ker so evalvatorji premalo poznali razmere v organizaciji in njenem okolju. Večkrat smo že zapisali, da so predlogi, ki jih dajo evalvatorji, res predlogi – so neko izhodišče za razmišljanje organizacije, kaj bi bilo mogoče dobro narediti na določenem področju, organizacija pa se nato odloča, ali bo tak predlog sprejela in ga skušala primerno vpeljati v svojo prakso, ali pa ga bo zavrnila in naredila nekaj drugega ali pa sploh nič. Glede na merila, ki jih vsebuje ekspertna zunanja evalvacija, pa bi težko pritrdili, da je bila večina predlogov skupine evalvatorjev neprimerna, saj gre zlasti pri izgradnji notranjega sistema kakovosti za stvari, ki jih je mogoče na primeren način, a ob enotnih izhodiščih, vpeljati v vsaki organizaciji. Nekaj primerov: če organizacija nima Listine kakovosti in evalvatorji predlagajo, da si jo pripravi, če organizacija ne načrtuje letnih aktivnosti za razvoj kakovosti in če v poročilih ne poroča, kaj od tega je uresničila in evalvatorji predlagajo, da organizacija to začne bolj sistematično delati, če se na andragoških zborih ne pogovarjajo o kakovosti in evalvatorji predlagajo, 141 da bi tudi te teme uvrščali na seje itd., bi težko soglašali, da so razmere v organizaciji ali zunaj nje take, da se tega ne da storiti. Mogoče pa se je strinjati, da prav vsi predlogi za organizacijo morebiti niso primerni. Evalvatorji jih dajo v svoji dobri strokovni veri, organizacija pa presodi, ali jih lahko uresniči ali ne oz. ali sploh želi narediti kakšne premike na določenem področju. Seveda smo tudi evalvatorje povprašali o tem, kaj si mislijo o dobrih in šibkih točkah, ki jih opišejo v poročilu, in o predlogih za razvoj. Njim v zvezi s tem nismo postavili več vprašanj, pač pa smo v enem vprašanju združili vse te dimenzije. Vseh enajst sodelujočih evalvatorjev je odgovorilo takole, imeli pa so možnost izbirati med več ponujenimi odgovori: poročilo vsebuje pregled dobrih in šibkih točk ter predloge za izboljšave (N=11) Preglednica 65: Odgovori evalvatorjev na vprašanje, kaj menijo o tem, da končno FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Pregled dobrih točk obremenjuje poročilo, ki je zato daljše, bistveno je tisto, kjer se mora organizacija še izboljšati. 0 0,0 0,0 Pregled šibkih točk je prepodroben in ne daje usmeritev, česa naj se organizacija najprej loti. 0 0,0 0,0 Predlogi za izboljšave niso uporabni, ker premalo poznamo razmere v posamezni organizaciji in njenem okolju. 0 0,0 0,0 Pregled dobrih točk je dobrodošel, saj organizaciji sporoča, kaj dela dobro in mora še naprej ohranjati. 11 33,3 100,0 Pregled šibkih točk je dobrodošel, saj organizaciji daje usmeritve, kje se mora še izboljšati in kam mora usmeriti svoje aktivnosti. 10 30,4 90,9 Predlogi za izboljšave so dobrodošli, saj dovolj konkretno povedo, kaj kaže vpeljati, narediti, da bi v organizaciji dosegli še boljše rezultate pri njihovem delu za kakovost izobraževanja odraslih. 11 33,3 100,0 Drugo. 1 3,0 9,1 SKUPAJ 33 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. 142 Evalvatorica, ki je izbrala odgovor »Drugo.«, je zapisala:  Meni je dosedanji sestav končnega poročila všeč in res ne bi spreminjala tega dela. Kot je razvidno, evalvatorji v celoti podpirajo sedanji način oblikovanja poročila z njegovimi bistvenimi sestavinami. 4.3.3 Ugotovitve ekspertnih zunanjih evalvacij V tem poglavju predstavljamo kvalitativni pregled in analizo ključnih vsebinskih ugotovitev, ki izhajajo iz doslej opravljenih ekspertnih zunanjih evalvacij. Glede na to, da smo v študijo vključili 12 izobraževalnih organizacij, v katerih je bila doslej opravljena ekspertna zunanja evalvacija, ugotovitev, ki jih prestavljamo v nadaljevanju, ne moremo posploševati na vse izvajalce izobraževanja odraslih. Lahko pa nam služijo kot študije primerov, ki nam bodo v pomoč pri premisleku, katere rešitve, ki smo jih doslej, tako z nacionalne kot z izvajalske ravni, uvedli v prakso izobraževanja odraslih, so se v praksi uveljavile, katere pa mogoče ne. Ugotovitve so nam lahko v pomoč tudi pri premisleku, kam usmeriti prihodnji razvoj, ko gre za področja, ki smo jih doslej presojali v ekspertnih zunanjih evalvacijah. Kot smo opisali že v enem od prejšnjih poglavij, je poročilo o izpeljani ekspertni zunanji evalvaciji, ki ga je dobila posamična izobraževalna organizacija, vsebovalo:  informacijo o tem, ali določeno merilo izpolnjuje ali ne, ali pa ga izpeljuje samo delno; ta pregled je izobraževalna organizacija dobila v obliki preglednice, ki vsebuje merila, ki so se presojala, in z oznako o doseganju merila,  opis vseh dobrih stvari, ravnanj, ki jih ima organizacija v zvezi z evalviranimi merili, t.i. dobre točke,  opis slabših ravnanj, neizpolnjevanja meril deloma ali v celoti, t.i. šibke točke,  predloge, kako bi po mnenju evalvatorjev lahko v bodoče ravnala, da bi ohranila in krepila svoje dobre dosežke, delala razvojne preboje in odpravljala pomanjkljivosti. Analizo, ki jo predstavljamo v nadaljevanju, smo pripravili tako, da smo za vsako vsebinsko področje pripravili zbirni pregled doseganja meril za vse sodelujoče izobraževalne organizacije. Za prikaz smo uporabili enako preglednico, kot so jo dobile izobraževalne organizacije v zaključnem poročilu. Pri pripravi skupnega pregleda smo naleteli na nekaj metodoloških zadreg, saj so se nekatera merila z leti spreminjala. Pri takšnih merilih smo v preglednici zapisali opombo, v koliko izobraževalnih organizacijah je bilo merilo uporabljeno in v katerih letih. Skupnemu pregledu doseganja meril, sledi kvalitativni povzetek ključnih ugotovitev s komentarji. Da vsebinskih zapisov, ki so jih pripravili ekspertni zunanji evalvatorji, ne bi preveč okrnili in jim odvzeli sporočilnosti, njihovih zapisov nismo kategorizirali ali kako drugače statistično obdelali, pač pa spodnji pregled predstavlja povzetek vsebinskih sporočil, ki so jih evalvatorji zapisali izobraževalnim organizacijam. Kvalitativni pregled pri posameznem vsebinskem poglavju prikazujemo po naslednjih sklopih:  splošne ugotovitve in dobre točke,  šibke točke,  predlogi za izboljšave. 143 4.3.3.1 NOTRANJI SISTEM KAKOVOSTI Področje Notranji sistem kakovosti je, v skladu z metodologijo ekspertne zunanje evalvacije, obvezno področje presoje. S pomočjo natančneje opredeljenih vsebinskih sklopov in njim pripadajočih meril so ekspertni zunanji evalvatorji presojali:  do kakšne mere in na kakšne načine je notranji sistem kakovosti že umeščen v dejavnost izobraževalne organizacije,  kako so v notranji sistem kakovosti umeščeni premisleki o tem, kako izobraževalna organizacija kakovost opredeljuje,  kakšne načine notranjega presojanja kakovosti je izobraževalna organizacija že vpeljala v svoj notranji sistem kakovosti in  kako uporablja izide notranjih presoj kakovosti na načrtovanje ukrepov za ohranjanje in razvoj kakovosti. V nadaljevanju po posameznih sklopih prikazujemo skupne ugotovitve za vse zajete izobraževalne organizacije. UMEŠČENOST NOTRANJEGA SISTEMA KAKOVOSTI V dE JAVNOST IZObRAžEVALNE ORGANIZACIJE V tem sklopu so ekspertni zunanji evalvatorji presojali, na kakšen način izobraževalna organizacija umešča notranji sistem kakovosti v dejavnost izobraževalne organizacije. Zanimalo jih je, ali so ti procesi umeščeni v temeljne strateške dokumente organizacije in ali ima organizacija svoj notranji sistem kakovosti tudi zapisan in predstavljen. Pomembno vprašanje je bilo tudi, ali zaposleni in zunanji sodelavci o vprašanjih kakovosti razpravljajo na andragoških zborih oz. drugih enakovrednih organih. Presojali so, ali organizacija zagotavlja osebje, ki izpeljuje obravnavane procese, kako skrbi za njihovo usposobljenost in kakšno podporo (finančno in drugo) daje delovanju notranjega sistema kakovosti. Iz spodnje preglednice je razvidno doseganje meril v vseh dvanajstih izobraževalnih organizacijah, ki smo jih vključili v to študijo. 144 Preglednica 66: Pregled doseganja meril za vsebinski sklop Umeščenost notranjega sistema kakovosti v dejavnost izobraževalne organizacije KAZALNIK MERILO dOSEGANJE MERILA ŠTEVILO ORGANIZACIJ dA dELNO NE SKUPAJ Umeščenost notranjih procesov kakovosti v temeljne strateške dokumente Organizacija, ki izobražuje odrasle, ima v svojih letnih delovnih načrtih poglavje o kakovosti. 9 2 1 12 Organizacija, ki izobražuje odrasle, v letnem delovnem načrtu v poglavju o kakovosti načrtuje letne aktivnosti na tem področju. 3 1 1 5*20 Organizacija, ki izobražuje odrasle, ima v svojih letnih poročilih poglavje o kakovosti. 9 2 1 12 Organizacija, ki izobražuje odrasle, v letnem delovnem poročilu v poglavju o kakovosti poroča o doseganju načrtovanih letnih aktivnosti na tem področju. 3 1 1 5* Zapisan notranji sistem kakovosti (Listina o kakovosti) Organizacija, ki izobražuje odrasle, ima listino o kakovosti ali drug primerljiv dokument, v katerem je opisan notranji sistem kakovosti, ki ga uporablja. Dokument vsebuje vsaj naslednje elemente: kako je opredeljena kakovost v organizaciji, kako se presoja, kako pogosto, kdo to počne in kako se uporabljajo rezultati presoj. 9 1 2 12 Listina o kakovosti oz. drug primerljiv dokument, v katerem je opisan notranji sistem kakovosti, je objavljen na spletni strani oz. v drugih virih javnega obveščanja. 9 0 3 12 Obravnava Zaposleni vsaj enkrat na leto na vprašanj andragoškem zboru ali drugem kakovosti na enakovrednem organu izobraževalcev 6 5 1 12 andragoških v organizaciji razpravljajo o kakovosti zborih izobraževanja odraslih. Skupina/ komisija za kakovost/ svetovalec za kakovost Organizacija, ki izobražuje odrasle, ima skupino/komisijo za kakovost. 12 0 0 12 Organizacija, ki izobražuje odrasle ima usposobljenega svetovalca za kakovost ali drugo osebo, ki koordinira in svetuje drugim pri načrtovanju in izpeljevanju aktivnosti na področju kakovosti ter ima za to ekspertno znanje. 3 3 6 12 Vir: Poročila o izpeljanih ekspertnih zunanjih evalvacijah v sodelujočih izobraževalnih organizacijah. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. 20 Povsod, kjer je število označeno z zvezdico, to pomeni, da gre za merilo, ki smo vpeljali v letu 2015, zato smo njegovo doseganje presojali zgolj v petih od dvanajstih organizacij, ki smo jih vključili v evalvacijo. 145 Splošne ugotovitve in dobre točke v zvezi z umeščenostjo notranjega sistema kakovosti v dejavnost izobraževalne organizacije Za večino izobraževalnih organizacij, ki so doslej sodelovale v ekspertnih zunanjih evalvacijah, so ekspertni zunanji evalvatorji ugotavljali da:  so doslej v lastno dejavnost že vpeljale različne aktivnosti, namenjene presojanju in razvijanju kakovosti,  imajo dejavnosti s področja kakovosti umeščene v temeljne strateške dokumente organizacije (letni delovni načrt, letno poročilo o delu, druge strateške dokumente) in s tem izkazujejo, da so te aktivnosti že postale redni del dejavnosti organizacije in ne ostajajo zgolj na ravni različnih projektov,  imajo listino o kakovosti oz. drug primerljiv dokument, v katerem so opisani elementi notranjega sistema kakovosti, ki so jih organizacije doslej že vpeljale,  imajo vzpostavljeno komisijo za kakovost,  dejavnosti s področja kakovosti predstavljajo na spletnih straneh izobraževalne organizacije ter v drugih virih javnega obveščanja. Izobraževalne organizacije se razlikujejo po tem:  koliko so doslej že uspele različne aktivnosti s področja kakovosti povezati v celovit, pregleden in učinkovit notranji sistem kakovosti,  ali in koliko so doslej v aktivnosti za kakovost že uspele pritegniti ne zgolj članov komisij za kakovost, pač pa tudi ostale zaposlene in zunanje sodelavce,  koliko so doslej že vložile v usposabljanje svojih zaposlenih in zunanjih sodelavcev za delo na področju kakovosti,  ali imajo v organizaciji osebo, ki opravlja vlogo svetovalca za kakovost izobraževanja odraslih. Šibke točke v zvezi z umeščenostjo notranjega sistema kakovosti v dejavnost izobraževalne organizacije V skladu z metodologijo ekspertne zunanje evalvacije ekspertni zunanji evalvatorji niso presojali zgolj tega, ali določen gradnik/proces v notranjem sistemu kakovosti že obstaja, pač pa so se poglobili tudi v bolj kvalitativno presojo. V nadaljevanju prikazujemo povzetek pomanjkljivosti oz. šibkih točk, ki so jih zunanji evalvatorji ugotavljali pri presoji umeščenosti notranjega sistema kakovosti v dejavnost izobraževalne organizacije.  Vsebinski pregled poglavij o kakovosti v letnih delovnih načrtih in letnih poročilih o delu pokaže na razlike med organizacijami. Če so zunanji evalvatorji iz dokumentov nekaterih organizacij lahko natančno in jasno razbrali, kaj so si v obravnavanih letih začrtale, da bodo na področju kakovosti počele in tudi to, kaj so izpeljale, pa pri drugih ni bilo tako. Ugotavljali so, da je šlo v primerih nekaterih organizacij le za splošne opise in usmeritve, iz katerih ni mogoče razbrati, kaj natančno si je organizacija začrtala, da bo v obravnavanem letu naredila pri skrbi za lastno kakovost ter kaj je v tem letu tudi dejansko storila. Iz nekaterih primerov je bilo razvidno, da so izobraževalne organizacije poglavje o kakovosti v letne strateške dokumente vključile zgolj »instrumentalno«, saj je primerjava dokumentov za več let pokazala, da se v večini pojavljajo 146 isti zapisi, ki se zgolj ponovijo oz. prepišejo v dokument za naslednje leto. V nekaterih primerih ni bilo mogoče primerjati načrtovanih ciljev in njihove realizacije.  Ena izmed šibkih točk, ki so jo ekspertni zunanji evalvatorji ugotavljali prav v vseh evalviranih organizacijah je, da na andragoških zborih oz. njim primerljivih organih sicer potekajo obravnave vprašanj kakovosti, vendar se zdi, kot da gre bolj za predstavitve določenih tem o kakovosti, ne pa tudi zares za sprožanje razprav o teh vprašanjih. Sodelujoči na andragoških zborih so v pasivni vlogi, poslušajo poročila, ki jih pripravijo člani komisij za kakovost, svetovalec za kakovost ali direktor/ravnatelj, imajo tudi (načelno) možnost, da kaj komentirajo ali dajo kakšne svoje predloge. Premalo pa je aktivnosti, ki bi bile usmerjene v to, da bi učitelje in strokovne delavce, ki se udeležujejo andragoških zborov, spodbudile za bolj aktivno sodelovanje pri obravnavi različnih vprašanj kakovosti.  Ekspertni zunanji evalvatorji so v nekaterih primerih ugotavljali, da čeprav ima organizacija formalno oblikovano komisijo za kakovost, vsebina in organizacija njenega dela pogosto nista dorečeni. Delo in odgovornosti med člani komisije niso jasno in enakovredno porazdeljene. Sestajanje komisije za kakovost v marsikateri organizaciji ni redno, komisija nima preglednega letnega načrta dela. Ugotavljali so tudi, da je delo komisije za kakovost pogosto nesistematično dokumentirano.  Večina organizacij je med člani komisije za kakovost vključila tudi zunanje sodelavce, partnerje (npr. zunanji učitelji, predstavniki delodajalcev, predstavniki zavoda za zaposlovanje itd.). Pokazalo pa se je, da so ti člani v številnih primerih, člani le »na papirju«, v komisijah za kakovost pa dejansko niso aktivni.  Čeprav je izobraževalna organizacija oblikovala listino kakovosti oz. njej primerljiv dokument, v katerem predstavlja svoj notranji sistem kakovosti, so zunanji evalvatorji ob pogovorih z zaposlenimi in zunanjimi sodelavci večkrat zasledili, da le ti s tem dokumentom niso seznanjeni in da ga ne uporabljajo pri svojem delu. Pokazalo se je, da je dokument nastal v ožji skupini, npr. v komisiji za kakovost ali pa ga je pripravil svetovalec za kakovost, ni pa zaživel v kolektivu.  Za številne od evalviranih organizacij so ekspertni zunanji evalvatorji ugotovili, da so se sistematičnega dela na področju kakovosti lotile že kar nekaj let nazaj. S pomočjo spodbud, ki jim jih je prineslo sodelovanje v različnih projektih, so v lastno delo že vpeljale različne elemente notranjega sistema kakovosti. Šibka točka, ki so jo evalvatorji v teh primerih zaznali, pa je, da jim teh različnih elementov doslej še ni uspelo povezati v notranje koherenten sistem. To v primerih nekaterih izobraževalnih organizacij povzroča zmedo pri zaposlenih, ki sicer vedo, da ima organizacija vzpostavljen notranji sistem kakovosti, ampak pogosto sami še ne vidijo svojega mesta v njem. Oz. obratno, čeprav opravljajo številne aktivnosti, povezane s presojanjem in razvijanjem kakovosti, zaradi razdrobljenosti teh aktivnosti v njih ne uvidijo jasnega sistema, ki bi jim pomagal, da bi bilo njihovo delo bolj sistematično ter povezano in bi prinašalo večje učinke.  Ena izmed pomembnih spodbud, da so si izobraževalne organizacije oblikovale spletne strani o kakovosti, je bilo njihovo sodelovanje v projektu POKI. Vendar se v nekaterih primerih pokaže, da organizacije po zaključku sodelovanja v tem projektu niso več skrbele za posodabljanje vsebin oz. niso več objavljale nobenih novosti. Tako so na teh spletnih straneh objavljene (zelo) zastarele in nepopolne informacije. 147 Predlogi za izboljšave v zvezi z umeščenostjo notranjega sistema kakovosti v dejavnost izobraževalne organizacije V nadaljevanju navajamo povzetek predlogov za izboljšave, ki so jih ekspertni zunanji evalvatorji zapisali sodelujočim izobraževalnim organizacijam.  Izobraževalne organizacije, pri katerih so ocenili, da so doslej aktivnosti s področja kakovosti v svoje strateške dokumente umeščale zgolj »instrumentalno«, so ekspertni zunanji evalvatorji spodbudili k bolj vsebinskem načrtovanju in umeščanju teh aktivnosti.  Tistim organizacijam, pri katerih so ugotovili, da so doslej v lastno prakso že vpeljale številne aktivnosti s področja kakovosti, da pa te še niso povezane v koherenten sistem, so ekspertni zunanji evalvatorji priporočili, naj v naslednji fazi razvoja storijo prav to: naj poskušajo številne razpršene aktivnosti in razpršeno osebje, ki se s tem področjem v izobraževalni organizaciji že ukvarja, povezati v sistem, ki bo imel jasno strukturo in vsebino.  S tem povezano je bilo še drugo sporočilo, ki so ga ekspertni zunanji evalvatorji zapisali nekaterim organizacijam, namreč, naj si pripravijo pregleden, jasen in preprost prikaz notranjega sistema kakovosti, ki bo namenjen splošni javnosti, v pomoč pa bo tudi zaposlenim in zunanjim sodelavcem pri opredeljevanju, razumevanju in udejanjanju svojega mesta v tem sistemu.  Kar nekaj priporočil ekspertnih zunanjih evalvatorjev se je nanašalo na jasnejšo opredelitev vloge komisije za kakovost v notranjem sistemu kakovosti izobraževalne organizacije. Priporočila so se nanašala na bolj jasne opredelitve nalog, načinov delovanja ter spremljanje udejanjanja začrtanih aktivnosti v komisijah za kakovost. Pogosto je bilo komisijam za kakovost priporočeno tudi, naj bolj sistematično dokumentirajo svoje delo.  Prav vsem organizacijam je bilo priporočeno naj v prihodnje uporabijo več aktivnih pristopov, s pomočjo katerih bodo dosegle bolj aktivno vključevanje zaposlenih in zunanjih sodelavcev v razprave o kakovosti izobraževanja odraslih.  Glede na to, da so danes spletne strani izobraževalne organizacije za različne javnosti pomemben vir informacij, so ekspertni zunanji evalvatorji organizacijam posredovali tudi priporočila o tem, kako izboljšati informacije o lastnem notranjem sistemu kakovosti na spletnih straneh. OPREdEL JEVANJE KAKOVOSTI Prikaz ugotovitev nadaljujemo s sklopom, v katerem so ekspertni zunanji evalvatorji presojali, ali in na kakšne načine je izobraževalna organizacija doslej že opravila premisleke o kakovosti svojega dela, ki so izraženi v temeljnem poslanstvu, viziji in vrednotah organizacije. Pri tem jih je še posebej zanimalo, kakšne načine imajo vpeljane za vključevanje zaposlenih in drugih pomembnih interesnih skupin v pogovore o opredelitvah kakovosti. Presojali so tudi, ali ima izobraževalna organizacija opredeljene temeljne standarde kakovosti svojega delovanja. 148 Preglednica 67: Pregled doseganja meril za vsebinski sklop Opredeljevanje kakovosti KAZALNIK MERILO dOSEGANJE MERILA ŠTEVILO ORGANIZACIJ dA dELNO NE SKUPAJ Vizija, poslanstvo in vrednote organizacije, ki izobražuje odrasle Organizacija, ki izobražuje odrasle, ima izoblikovano vizijo, poslanstvo in vrednote. 11 1 0 12 Vizijo, poslanstvo in vrednote organizacija, ki izobražuje odrasle, uveljavlja v javni rabi (npr. na spletnih straneh in/ali v zgibankah, drugem gradivu ipd.). 11 0 1 12 Izjava o kakovosti (opredeljeni standardi kakovosti) Organizacija, ki izobražuje odrasle, ima Izjavo o kakovosti ali drug podoben dokument, v katerem opredeljuje temeljne standarde kakovosti, ki jih zagotavlja svojim udeležencem. 5 4 3 12 Sodelovanje zaposlenih in zunanjih sodelavcev pri opredeljevanju kakovosti Organizacija, ki izobražuje odrasle, ima vpeljane načine, ki omogočajo vključevanje zaposlenih in drugih pomembnih interesnih skupin v pogovore o temeljnem poslanstvu, viziji in vrednotah izobraževalne organizacije ter o standardih kakovosti, ki jih zagotavlja. 2 9 1 12 Vir: Poročila o izpeljanih ekspertnih zunanjih evalvacijah v sodelujočih izobraževalnih organizacijah. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Splošne ugotovitve in dobre točke v zvezi s sklopom opredeljevanje kakovosti Za večino izobraževalnih organizacij, ki so doslej sodelovale v ekspertnih zunanjih evalvacijah, so ekspertni zunanji evalvatorji ugotavljali, da so doslej že precej pozornosti posvetile temeljnim premislekom o tem, zakaj obstajajo, kaj je temeljni namen njihovega delovanja, kakšne cilje želijo doseči v daljšem obdobju in kakšne vrednote naj vodijo njihove delovanje. To se kaže v tem, da:  imajo oblikovano vizijo, poslanstvo in vrednote in jih tudi uveljavljajo v javni rabi (npr. na spletnih straneh in/ali v zgibankah, drugem gradivu ipd.),  so doslej vsaj deloma že vpeljale načine, ki omogočajo zaposlenim in drugim pomembnim interesnim skupinam vključevanje v pogovore o temeljnem poslanstvu, viziji in vrednotah ter standardih kakovosti, ki jih zagotavljajo. Izobraževalne organizacije se razlikujejo po tem:  ali so doslej že oblikovale izjavo o kakovosti ali drug primerljiv dokument, v katerem so opredelile temeljne standarde kakovosti, ki jih zagotavljajo svojim udeležencem,  koliko izjave o poslanstvu, viziji, vrednotah, standardih kakovosti zares »živijo« med zaposlenimi in zunanjimi sodelavci, 149  koliko so doslej v razprave o poslanstvu, viziji in vrednotah vključevale zaposlene, zunanje sodelavce, udeležence, partnerje. Medtem ko so nekatere opravile temeljite pogovore o teh, za izobraževalno organizacijo ključnih vprašanjih, so v drugih ti zapisi nastali v ožjih skupinah, npr. v komisiji za kakovost ali v vodstvu organizacije in jih zaposleni ter zunanji sodelavci sploh ne poznajo. Šibke točke v zvezi s sklopom opredeljevanje kakovosti V nadaljevanju povzemamo šibke točke, ki so jih v povezavi s procesi opredeljevanja kakovosti, ugotavljali ekspertni zunanji evalvatorji.  Nekatere izobraževalne organizacije so v temeljne premisleke o poslanstvu, viziji in vrednotah premalo vključevale zaposlene, zunanje sodelavce, udeležence in partnerje. Še posebej, ko gre za zunanje partnerje, so ekspertni zunanji evalvatorji pogrešali bolj vsebinske pogovore organizacije z njimi o temeljnem poslanstvu, viziji in vrednotah.  Ekspertni zunanji evalvatorji so premajhno sodelovanje omenjenih skupin utemeljevali kot pomanjkljivost predvsem zaradi nevarnosti, da v organizaciji vsi skupaj ne bodo v resnici delovali za to, da bi uresničevali zapisano poslanstvo in se približevali viziji, pač pa bodo (so) to le zapisani stavki, ki jih ima organizacija zapisane iz povsem drugih razlogov, ne pa zato, da bi usmerjale njeno delo.  Izobraževalne organizacije imajo v večini opredeljene vrednote lastnega delovanja, vendar pa v nekaterih organizacijah teh vrednot nimajo tudi opisanih, da bi bilo iz opisov razvidno sporočilo, kako v organizaciji razumejo posamezno vrednoto.  V nekaterih izobraževalnih organizacijah ekspertnim zunanjim evalvatorjem ni uspelo razbrati, kateri so temeljni standardi kakovosti, ki jih le-te zagotavljajo odraslim, zaposlenim, partnerjem.  V nekaterih organizacijah pa so sicer imeli lepo zapisano Izjavo o kakovosti, iz katere je bilo mogoče razbrati temeljne standarde kakovosti, vendar se je v pogovorih s strokovnimi sodelavci, učitelji, zunanjimi sodelavci izkazalo, da le-ti vsebine Izjave o kakovosti ne poznajo.  V primerih nekaterih srednjih šol oz. šolskih centrov, za katere je značilno, da izvajajo tako izobraževanje mladine kot izobraževanje odraslih, so imeli zunanji evalvatorji težave ugotoviti, kako se v temeljne strateške premisleke o poslanstvu, viziji, vrednotah, umešča izobraževanje odraslih. Čeprav je bilo iz teh zapisov mogoče razumeti, da gre za usmeritve, ki veljajo tako za izobraževanje mladine kot za izobraževanje odraslih, pa so se npr. pri opredeljevanju vrednot pojavljali samo zapis »skupaj z dijaki in starši si prizadevamo za…« Predlogi za izboljšave v zvezi s sklopom opredeljevanje kakovosti V nadaljevanju povzemamo predloge za izboljšave, ki so jih izobraževalnim organizacijam zapisali ekspertni zunanji evalvatorji.  Izobraževalnim organizacijam, ki izobražujejo tako mladino kot odrasle, so ekspertni zunanji evalvatorji priporočili, da naj bodo pri oblikovanju poslanstva, vizije in vrednot ter pri obveščanju javnosti pozorne, kako sporočajo, da je izobraževanje mladine in izobraževanje odraslih enakovreden del dejavnosti, ki jo opravljajo. 150  Izobraževalnim organizacijam, ki so sicer imele zapisane, ne pa tudi opisane, vrednote, so ekspertni zunanji evalvatorji svetovali, naj jih tudi opišejo. Priporočili so še, da naj pri oblikovanju zapisov tega, kaj posamezna vrednota pomeni, sodelujejo vsi zaposleni. Tak proces opisa vrednot namreč omogoči, da se zaposleni poenotijo v razumevanju posamezne vrednote oz. se lahko pogovorijo o morebitnih razlikah v njenem razumevanju.  Tam, kjer so ekspertni zunanji evalvatorji ugotavljali, da izobraževalne organizacije že imajo tako ali drugače zapisane standarde kakovosti na različnih mestih, so organizacijam svetovali, naj le te povzamejo v skupno Izjavo o kakovosti. Pri tem so še priporočili, da naj izjava povzema temeljne standarde kakovosti, takšne, s katerimi se lahko identificirajo vsi zaposleni in so blizu tudi zunanjim sodelavcem in partnerjem.  Priporočila ekspertnih zunanjih evalvatorjev so se nanašala tudi na to, da naj izobraževalne organizacije vzpostavijo bolj sistematične načine vključevanja notranjih in zunanjih interesnih skupin v oblikovanje temeljnih strateških dejavnikov razvoja kakovosti v izobraževalni organizaciji (npr. pogovori o viziji, poslanstvu in vrednotah, temeljnih standardih kakovosti, obravnavi vprašanj kakovosti na andragoških zborih in drugih pomembnih organih organizacije). Pripravljene aktivnosti za spodbujanje in vključevanje teh skupin naj bodo dinamične, aktivne, npr. v obliki delavnic, vodenih razprav, fokusnih skupin, z uporabo skupinskega dela ipd.  Še posebej so ekspertni zunanji evalvatorji organizacijam priporočali, da v prihodnje v proces (pre)oblikovanja vizije, poslanstva in vrednot v večji meri vključijo tudi predstavnike delodajalcev za vse poklice, za katere izvajajo izobraževalne programe.  Ekspertni zunanji evalvatorji so izobraževalnim organizacijam tudi priporočali, da naj v prihodnje v spremljanje, kako se opredeljeno poslanstvo, vizija in vrednote udejanjajo, bolj vključujejo tudi predstavnike udeležencev izobraževanja odraslih. PRESOJANJE KAKOVOSTI V tem sklopu so ekspertni zunanji evalvatorji presojali, ali izobraževalna organizacija načrtno pristopa k presojanju (merjenju, ugotavljanju) kakovosti. Zanimalo jih je, ali v presojanje kakovosti vključuje različne interesne skupine in če pri tem uporablja raznolike metode presojanja, ki so ustrezne za različne skupine. Ugotavljali so tudi, kaj izobraževalna organizacija stori z izidi, ki jih v procesih presoj kakovosti pridobi. 151 Preglednica 68: Pregled doseganja meril za vsebinski sklop Presojanje kakovosti KAZALNIK MERILO dOSEGANJE MERILA ŠTEVILO ORGANIZACIJ dA dELNO NE SKUPAJ Načrtnost in sistematičnost pri presojanju kakovosti Organizacija, ki izobražuje odrasle, v rednih časovnih obdobjih načrtno izvaja različne oblike notranjega presojanja kakovosti (npr. spremljanje, samoevalvacijo, druge oblike, s katerimi presoja/ugotavlja doseženo raven kakovosti). 7 4 1 12 Vključenost različnih interesnih skupin v presojanje kakovosti V presojanje kakovosti so vključene različne notranje interesne skupine (npr. udeleženci, učitelji, vodstvo, idr.). 7 4 1 12 V presojanje kakovosti so vključene različne zunanje interesne skupine (npr. podjetja, zavod za zaposlovanje, obrtna zbornica, gospodarska zbornica, drugi dejavniki v lokalnem okolju). 0 7 5 12 Uporaba različnih metod pri izpeljavi presojanja kakovosti Organizacija, ki izobražuje odrasle, uporablja kvalitativne in kvantitativne metode za presojanje kakovosti. 8 4 0 12 Organizacija, ki izobražuje odrasle, ima vpeljane načine spremljanja in vrednotenja kakovosti dela z udeleženci pred in ob vstopu v izobraževanje ter ukrepanje na podlagi ugotovitev. 0 2 3 5*21 Organizacija, ki izobražuje odrasle, Spremljanje ima vpeljane načine spremljanja in kakovosti vrednotenja kakovosti dela z udeleženci 4 1 0 5* različnih med potekom izobraževalnega procesa vidikov delovanja organizacije, ki izobražuje odrasle ter ukrepanja na podlagi ugotovitev. Izobraževalna organizacija ima vpeljane načine sprotnega spremljanja dela z udeleženci ob vstopu v izobraževalni program in med potekom izobraževalnega procesa. 0 5 2 7**22 Organizacija, ki izobražuje odrasle, ima vpeljane načine spremljanja in vrednotenja rezultatov izobraževanja ter ukrepanja na podlagi ugotovitev. 2 2 1 5* 21 Povsod, kjer je število označeno z zvezdico, to pomeni, da gre za merilo, ki smo vpeljali v letu 2015, zato smo njegovo doseganje presojali zgolj v petih od dvanajstih organizacij, ki smo jih vključili v evalvacijo. 22 Povsod, kjer je število označeno z dvema zvezdicama, to pomeni, da gre za merilo, ki smo vpeljali v letu 2014, zato smo njegovo doseganje presojali v sedmih od dvanajstih organizacij, ki smo jih vključili v evalvacijo. 152 Nadaljevanje preglednice s prejšnje strani KAZALNIK MERILO dOSEGANJE MERILA ŠTEVILO ORGANIZACIJ dA dELNO NE SKUPAJ Spremljanje kakovosti različnih vidikov delovanja organizacije, ki izobražuje odrasle (nadaljevanje) Izobraževalna organizacija ima vpeljane načine spremljanja rezultatov in učinkov izobraževanja. 3 4 0 7**23 Samoevalvacija Organizacija, ki izobražuje odrasle, v rednih časovnih obdobjih sistematično in načrtno izvaja poglobljeno samoevalvacijo, pri kateri je razvidno, da gre za načrtovan proces, metodološko izpeljano presojanje, pisno interpretacijo rezultatov in načrtovanja ukrepov na podlagi ugotovitev samoevalvacije. 7 1 4 12 Samoevalvacijsko poročilo/ poročilo o kakovosti Organizacija, ki izobražuje odrasle, v rednih časovnih obdobjih pripravi samoevalvacijsko poročilo/poročilo o kakovosti. 2 2 1 5*24 O rezultatih samoevalvacije organizacija, ki izobražuje odrasle, opravi pogovor v kolektivu. 4 5 3 12 Vir: Poročila o izpeljanih ekspertnih zunanjih evalvacijah v sodelujočih izobraževalnih organizacijah. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Splošne ugotovitve in dobre točke v zvezi s presojanjem kakovosti Za večino izobraževalnih organizacij, ki so doslej sodelovale v ekspertnih zunanjih evalvacijah, so zunanji evalvatorji ugotavljali, da so doslej v svoje notranje sisteme kakovosti že vpeljale različne oblike notranjega presojanja kakovosti. To se kaže v naslednjem:  v prav vseh sodelujočih organizacijah se je uveljavilo sprotno spremljanje zadovoljstva udeležencev,  v večini organizacij so vsaj do določene mere v notranje presojanje kakovosti vključene notranje interesne skupine (strokovni delavci, učitelji…),  izobraževalne organizacije v večini uporabljajo vsaj kakšno kvantitativno metodo za zbiranje podatkov in informacij, povečuje pa se tudi uporaba kvalitativnih metod, čeprav to ne velja za vse evalvirane organizacije, 23 Povsod, kjer je število označeno z dvema zvezdicama, to pomeni, da gre za merilo, ki smo vpeljali v letu 2014, zato smo njegovo doseganje presojali v sedmih od dvanajstih organizacij, ki smo jih vključili v evalvacijo. 24 Povsod, kjer je število označeno z zvezdico, to pomeni, da gre za merilo, ki smo vpeljali v letu 2015, zato smo njegovo doseganje presojali zgolj v petih od dvanajstih organizacij, ki smo jih vključili v evalvacijo. 153  za večino organizacij velja, da so doslej v notranje presojanje kakovosti premalo vključevale zunanje interesne skupine (delodajalce, dejavnike v lokalnem okolju ipd.),  za večino organizacij po eni strani lahko ugotovimo, da so doslej že vpeljale načine za spremljanje in presojanje kakovosti izobraževalnih procesov, po drugi strani pa, da premalo pozornosti namenjajo presojanju kakovosti vstopnega dela z udeleženci in spremljanju ter vrednotenju kakovosti izidov in učinkov lastne dejavnosti. Izobraževalne organizacije se razlikujejo po tem:  koliko je redno spremljanje zadovoljstva udeležencev sistematično in kaj storijo z izidi,  po razširjenosti in poglobljenosti uporabe različnih kvantitativnih in kvalitativnih metod pri spremljanju in presojanju kakovosti,  po razvitosti in uporabi različnih instrumentov za spremljanje in presojanje ter razvijanje kakovosti,  po metodološkem znanju, ki vpliva na izbor in uporabo različnih metod ter obdelavo in uporabo izidov,  ali poleg rednih spremljav v določenih obdobjih izvajajo tudi poglobljeno samoevalvacijo in kakšna je kakovost poglobljenih samoevalvacij,  na kakšne načine in kako učinkovito načrtujejo in izpeljujejo pogovore z zaposlenimi in zunanjimi sodelavci o izidih rednih spremljav in poglobljenih samoevalvacij. Šibke točke v zvezi s presojanjem kakovosti V nadaljevanju povzemamo pomanjkljivosti oz. šibke točke, ki so jih pri procesih presojanja kakovosti ugotavljali ekspertni zunanji evalvatorji.  V večini izobraževalnih organizacij so ekspertni zunanji evalvatorji ugotavljali, da doslej v procese presojanja kakovosti niso na dovolj sistematičen način vključevali zunanjih interesnih skupin (npr. delodajalcev, zbornic, predstavnikov lokalnega okolja, zavoda za zaposlovanje, nevladnih organizacij idr.).  Ugotavljali so tudi, da nekatere izobraževalne organizacije uporabljajo le kvantitativne metode (vprašalnike, ocene, prisotnost ipd.) za presojanje kakovosti.  Za večino izobraževalnih organizacij so ugotovili tudi, da še niso razvile sistematičnih načinov za spremljanje kakovosti vstopnega dela z udeleženci.  Ko gre za sprotno spremljanje zadovoljstva udeležencev med in ob koncu izobraževanja, so ekspertni zunanji evalvatorji za nekatere organizacije ugotavljali, da se na ta način pridobljeni podatki in informacije premalo sistematično analizirajo, predstavijo ter uporabijo kot osnova za načrtovanje in vpeljave izboljšav.  Če so nekatere izobraževalne organizacije že dobro vpeljale načine spremljanja izidov (to še posebej velja za formalno izobraževanje, npr. poklicno maturo ipd.), pa so za druge ekspertni zunanji evalvatorji ugotavljali, da so spremljave na tem področju še preveč stihijske, nenačrtne, brez jasnih metodologij, nepovezane. Pogosto se izidi spremljajo po posameznih programih, projektih, ni pa celovitega sistema, ki bi omogočal spremljave izidov na ravni izobraževalne organizacije.  Še bolj to velja za spremljanje in vrednotenje učinkov izobraževanja odraslih. Ekspertni zunanji evalvatorji so namreč ugotavljali, da izobraževalne organizacije, če izvzamemo nekatere primere, ki so jih evalvatorji zasledili na projektni ravni, še nimajo 154 vpeljanega sistematičnega spremljanja učinkov izobraževalne dejavnosti (npr. prehodnost v druge programe, zaposljivost, vpliv na trg dela, socialna vključenost idr.).  Čeprav nekatere izobraževalne organizacije menijo, da poleg sprotnih spremljav izvajajo tudi poglobljeno samoevalvacijo, so ekspertni zunanji evalvatorji ob pregledu dokumentacije in v pogovorih v kolektivih v nekaterih primerih ugotavljali, da v resnici ne gre za poglobljene samoevalvacije, pač pa nekatere organizacije ostajajo zgolj na ravni rednih spremljav kakovosti.  Ena izmed šibkih točk pri izpeljavah poglobljenih samoevalvacij je kakovost načrtovanja samoevalvacij: od tega, da izobraževalna organizacija poglobljene samoevalvacije sistematično ne načrtuje, do tega, da sicer ima samoevalvacijski načrt, vendar je ta vsebinsko in metodološko pomanjkljivo pripravljen, to pa se kasneje pozna tudi pri kakovosti izpeljane samoevalvacije.  Naslednja šibka točka se je pokazala pri kakovosti pripravljenih samoevalvacijskih poročil. Nekatera so bila vsebinsko in metodološko šibka. V nekaterih primerih so k samooceni, ki so jo pripravili v organizaciji, sicer priložili dokument, ki so mu rekli samoevalvacijsko poročilo, vendar so ekspertni zunanji evalvatorji ocenili, da je šlo bolj za poročilo rednega spremljanja kakovosti oz. poročilo o delu komisije za kakovost in ne za poročilo, ki bi zajemalo izide opravljene poglobljene samoevalvacije.  Če so po eni strani ekspertni zunanji evalvatorji sicer ugotavljali, da v izobraževalnih organizacijah v večini predstavljajo izide sprotnih spremljav in poglobljenih samoevalvacij na andragoških zborih in podobnih strokovnih srečanjih z učitelji in strokovnimi sodelavci, pa so kot šibko točko navajali, da večinoma o izidih ni skupne razprave. Predstavitve so bolj enosmerne. Predlogi za izboljšave v zvezi s presojanjem kakovosti V nadaljevanju povzemamo predloge za izboljšave, ki so jih v zvezi s procesi presojanja kakovosti ekspertni zunanji evalvatorji zapisali izobraževalnim organizacijam.  Kjer so presodili, da so bile doslej v procese presojanja kakovosti bolj šibko vključene notranje interesne skupine, so ekspertni zunanji evalvatorji priporočili, da naj v prihodnje te skupine v večji meri vključijo v te procese. V teh primerih gre za organizatorje izobraževanja, druge strokovne delavce, druge zaposlene in predavatelje (ne glede na to, ali so v organizaciji zaposleni ali ne). Vsak od teh namreč s svojim delom oblikuje kakovost dela organizacije in zato je prav, da ima priložnost, da presoja kakovost (in daje predloge za njen razvoj), hkrati pa je presojano tudi njegovo delo.  Večini izobraževalnih organizacij so ekspertni zunanji evalvatorji zapisali podobno priporočilo, ko gre za zunanje interesne skupine. Organizacijam so svetovali, naj postane vključevanje zunanjih interesnih skupin v procese presojanja kakovosti bolj sistematično. Pripravljene aktivnosti za spodbujanje vključevanja teh skupin naj bodo dinamične, aktivne, npr. v obliki delavnic, vodenih razprav, fokusnih skupin, z uporabo skupinskega dela ipd.  Ekspertni zunanji evalvatorji so izobraževalne organizacije spodbudili, da naj v notranje procese kakovosti vpeljejo več kvalitativnih metod. Te namreč omogočajo bolj poglobljen vpogled v posamezne pojave in so učinkovita dopolnitev kvantitativnim metodam (npr. fokusne skupine, metoda zgledovanja, intervjuji, opazovanje ipd.). 155  Glede na to, da se je v večini evalviranih primerov pokazalo, da izobraževalne organizacije še nimajo vpeljanega spremljanja kakovosti dela z udeleženci ob vstopu v program, so ekspertni zunanji evalvatorji organizaciji svetovali naj razmislijo, katere vidike bi npr. redno spremljali z načrtovanjem in poročanjem v letnem delovnem načrtu (npr. število opravljenih uvodnih pogovorov glede na vse vpisane, število izdelanih in redno spremljanih osebnih izobraževalnih načrtov po posameznih programih, število individualnih obravnav ob začetku izobraževanja itd.), katere pa bi občasno uvrstili med predmet samoevalvacije (npr. kakovost vodil za opravljanje uvodnih pogovorov, kakovost opravljenih uvodnih pogovorov, kakovost prenosa informacij, pridobljenih na uvodnih pogovorih, do učiteljev itd.).  Podobna priporočila so ekspertni zunanji evalvatorji pogosto zapisali, ko gre za presojanja kakovosti rezultatov in učinkov izobraževanja. Izobraževalnim organizacijam so svetovali, naj vpeljejo bolj sistematične načine za spremljanje rezultatov in učinkov izobraževanja oz. naj tiste, ki jih že uporabljajo, nadgradijo in izboljšajo. Priporočili so, naj ugotavljajo in spremljajo uspešnost udeležencev, osip, prehodnost, zaposljivost, socialno vključenost, osebni napredek ipd. Predlagali so, da po določenem časovnem obdobju (npr. z zunanjimi partnerji – zavod za zaposlovanje ipd.) preverijo uspešnost tistih, ki so zaključili izobraževanje pri njih.  Ko gre za ugotavljanje zadovoljstva udeležencev ob zaključku izobraževanja, so ekspertni zunanji evalvatorji nekaterim organizacijam priporočili, naj te sisteme izboljšajo in jih naredijo bolj učinkovite, saj jim bodo le tako prinašali dodano vrednost in ne bodo pomenili zgolj »dela zaradi dela samega«.  Izobraževalnim organizacijam, ki doslej niso izvajale poglobljene samoevalvacije, so ekspertni zunanji evalvatorji priporočili, naj najprej premislijo in opredelijo mesto, ki ga imajo poglobljene samoevalvacije v njihovem notranjem sistemu kakovosti in s tem razjasnijo ločnico med sprotnimi spremljavami in poglobljenimi samoevalvacijami.  V primerih, ko so ugotavljali pomanjkljivosti pri načrtovanju poglobljenih samoevalvacij, so ekspertni zunanji evalvatorji izobraževalnim organizacijam priporočili, naj pred izvedbo pripravijo jasen samoevalvacijski načrt, v katerem si opredelijo področja in kazalnike, pri katerih bodo izpeljevale samoevalvacijo, metode, subjekte.  Številna priporočila zunanjih evalvatorjev so se nanašala na pripravo in izpeljavo pogovorov o izidih samoevalvacije v kolektivu. Izobraževalnim organizacijam so svetovali, da naj v prihodnje te pogovore pripravijo in izpeljejo bolj načrtno. Predvsem pa naj uporabijo več metod za aktivno vključevanje sodelujočih v pogovore o izidih in v premisleke o potrebnih ukrepih za izboljšave tam, kjer so samoevalvacije, pa tudi sprotne spremljave pokazale, da so le ti potrebni. Ob tem naj bodo v izobraževalnih organizacijah pozorni tudi na dokumentiranje teh procesov, da po opravljenih razpravah ostanejo zapisi ključnih predlogov, idej, mnenj sodelujočih. RAZVIJANJE KAKOVOSTI V zadnjem sklopu tega področja so ekspertni zunanji evalvatorji presojali, ali v izobraževalni organizaciji načrtno pristopajo k načrtovanju in vpeljevanju ukrepov za ohranjanje in razvoj kakovosti. Pri tem jih je zanimalo, koliko so pri tem sistematični in na kakšne načine vpeljevanje izboljšav spremljajo. 156 Preglednica 69: Pregled doseganja meril za vsebinski sklop Razvijanje kakovosti KAZALNIK MERILO dOSEGANJE MERILA – ŠTEVILO ORGANIZACIJ dA dELNO NE SKUPAJ Načrtnost in sistematičnost pri načrtovanju razvojnih ukrepov Organizacija, ki izobražuje odrasle, v rednih časovnih obdobjih pripravi pisni akcijski načrt za vpeljevanje izboljšav, iz katerega je razvidno, da je pripravljen na podlagi izpeljane samoevalvacije. 7 2 3 12 Vpeljevanje izboljšav V zadnjih treh koledarskih letih je organizacija, ki izobražuje odrasle, vpeljala različne izboljšave kakovosti, ki so izhajale iz ugotovitev samoevalvacije in so bile začrtane v pisnem akcijskem načrtu za razvoj kakovosti. 2 2 1 5*25 V zadnjih dveh koledarskih letih je izobraževalna organizacija vpeljala različne izboljšave kakovosti, ki so izhajale iz ugotovitev samoevalvacije in so bile začrtane v pisnem akcijskem načrtu za razvoj kakovosti. 4 2 1 7**26 Spremljanje učinkov vpeljevanja izboljšav Organizacija, ki izobražuje odrasle, ima vpeljane načine spremljanja učinkov vpeljevanja izboljšav, opredeljenih v akcijskih načrtih za vpeljevanje izboljšav in razvoja kakovosti. 0 2 3 5* Izobraževalna organizacija ima vpeljane načine sprotnega spremljanja vpeljevanja izboljšav in izvajanja potrebnih korektivnih ukrepov. 4 2 1 7** Vir: Poročila o izpeljanih ekspertnih zunanjih evalvacijah v sodelujočih izobraževalnih organizacijah. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Splošne ugotovitve in dobre točke v zvezi z razvijanjem kakovosti Za več kot polovico izobraževalnih organizacij, ki so doslej sodelovale v ekspertnih zunanjih evalvacijah, so ekspertni zunanji evalvatorji ugotavljali, da so doslej že vpeljale sistematične načine za načrtovanje in vpeljavo izboljšav in razvojnih ukrepov, ki izhajajo iz izidov sprotnih spremljav in poglobljenih samoevalvacij. To se kaže v tem, da:  v rednih časovnih obdobjih pripravijo pisni akcijski načrt za vpeljevanje izboljšav, iz katerega je razvidno, da je pripravljen na podlagi poglobljene samoevalvacije oz. sprotnih spremljav kakovosti, 25 Povsod, kjer je število označeno z zvezdico, to pomeni, da gre za merilo, ki smo vpeljali v letu 2015, zato smo njegovo doseganje presojali zgolj v petih od dvanajstih organizacij, ki smo jih vključili v evalvacijo. 26 Povsod, kjer je število označeno z dvema zvezdicama, to pomeni, da gre za merilo, ki smo vpeljali v letu 2014, zato smo njegovo doseganje presojali v sedmih od dvanajstih organizacij, ki smo jih vključili v evalvacijo. 157  da so v določenem obdobju vpeljale različne izboljšave kakovosti, ki so izhajale iz ugotovitev samoevalvacije in so bile začrtane v pisnem akcijskem načrtu za razvoj kakovosti, s tem pa so procesi presojanja kakovosti v organizaciji zares dobili smisel in prinesli dodano vrednost,  da imajo vpeljane načine sprotnega spremljanja uvajanja izboljšav in potrebnih korektivnih ukrepov. Šibke točke v zvezi z razvijanjem kakovosti Ekspertni zunanji evalvatorji so pri presoji procesov razvijanja kakovosti ugotavljali šibke točke, ki jih povzemamo v nadaljevanju.  Pri nekaterih izobraževalnih organizacijah so ekspertni zunanji evalvatorji ugotavljali, da načrtovanje ukrepov za uvajanje izboljšav še ni dovolj sistematično.  Pregled akcijskih načrtov za uvajanje izboljšav je ponekod pokazal na vsebinske in metodološke pomanjkljivosti. Tako so bile na primer začrtane akcije presplošno zapisane, niso omogočale merljivosti, iz njih ni bilo dovolj razvidno, kakšno dodano vrednost prinašajo v organizacijo.  Zunanji evalvatorji pogosto niso našli povezav med začrtanimi akcijami in ugotovitvami sprotnih spremljav oz. poglobljenih samoevalvacij.  Tako iz akcijskih načrtov kot iz pogovorov v kolektivih so ekspertni zunanji evalvatorji ponekod kot šibko točko zaznavali, da odgovornost za realizacijo predvidenih ukrepov vse prepogosto ostaja zgolj na članih komisije za kakovost ali svetovalcu za kakovost. V te aktivnosti so premalo vključeni drugi strokovni delavci in učitelji.  Nekatere organizacije še niso vpeljale sistematičnih načinov za spremljanje učinkov vpeljanih izboljšav kakovosti. Predlogi za izboljšave v zvezi z razvijanjem kakovosti V nadaljevanju povzemamo predloge za izboljšave, ki so jih izobraževalnim organizacijam zapisali ekspertni zunanji evalvatorji.  Izobraževalnim organizacijam, pri katerih so ugotovili, da doslej še niso vzpostavile sistematičnih načinov za načrtovanje in vpeljavo ukrepov za ohranjanje in izboljšave kakovosti, ki bi izhajale iz spremljav in samoevalvacij kakovosti, so ekspertni zunanji evalvatorji priporočili, naj uvedejo prakso, da bodo za določeno časovno obdobje pripravljale načrte za razvoj kakovosti. Načrti naj izhajajo iz ugotovitev izpeljane poglobljene samoevalvacije ali drugih načinov presojanja kakovosti.  Izobraževalnim organizacijam, ki tega še nimajo, so ekspertni zunanji evalvatorji priporočili, naj razmislijo, kako bodo spremljali uresničevanje vpeljanih izboljšav.  Priporočili so tudi, da naj na koncu sledi ovrednotenje uvedenih izboljšav. Pri tem je po njihovem mnenju pomembno, da tiste, ki jih izboljšave zadevajo (na primer udeležence ali učitelje), povprašamo, kako so z njimi zadovoljni, ali so izboljšale njihovo delo, jim pomagajo ipd. S tem je zaključen krog kakovosti (načrtuj-izpelji-presodi-ukrepaj) in je organizacija pripravljena za vstop v novega. 158 4.3.3.2 PODPORA UDELEŽENCEM PRI IZOBRAŽEVANJU IN UČENJU Področje Podpora udeležencem pri izobraževanju in učenju je, v skladu z metodologijo ekspertne zunanje evalvacije, izbirno področje presoje. V obravnavanem obdobju si je to področje izbralo 9 od 12 izobraževalnih organizacij. S pomočjo natančneje opredeljenih vsebinskih sklopov in njim pripadajočih meril so ekspertni zunanji evalvatorji pri tem področju presojali:  v kolikšni meri je v izobraževalni organizaciji poskrbljeno za raznovrstnost in dostopnost podpore posamezniku pri izobraževanju in učenju,  kakšno učno podporo izobraževalna organizacija nudi posamezniku,  kako je v izobraževalni organizaciji poskrbljeno za svetovalno podporo posa mezniku,  kako izobraževalna organizacija skrbi za podporo posamezniku pri samostojnem učenju,  ali in kako izobraževalna organizacija posamezniku nudi podporo pri odpravljanju ovir pri izobraževanju. V nadaljevanju po posameznih sklopih prikazujemo skupne ugotovitve za vse zajete izobraževalne organizacije. RAZNOVRSTNOST IN dOSTOPNOST POdPORE POSAMEZNIKU PRI IZObRAžEVANJU IN UČENJU TER UČNA POdPORA POSAMEZNIKU Pri tem sklopu so ekspertni zunanji evalvatorji presojali, ali izobraževalna organizacija udeležencem nudi raznovrstno podporo pri izobraževanju in učenju ter kakšne vrste učne podpore nudi odraslim udeležencem. 159 Preglednica 70: Pregled doseganja meril za vsebinski sklop Raznovrstnost in dostopnost podpore posamezniku pri izobraževanju in učenju ter učna podpora posamezniku KAZALNIK MERILO dOSEGANJE MERILA – ŠTEVILO ORGANIZACIJ dA dELNO NE SKUPAJ Organizacija, ki izobražuje odrasle, udeležencem nudi raznovrstno podporo pri izobraževanju in učenju (različne oblike podpore, usposabljanje za samostojno učenje, različne oblike svetovanja, pomoč pri odpravi ovir, povezanih z izobraževanjem, pomoč pri pridobivanju podpore v drugih institucijah, prilagojeno podporo ciljnim skupinam in vrstam izobraževanja). 2 0 0 2***27 Raznovrstnost in dostopnost podpore posamezniku pri izobraževanju in učenju Izobraževalna organizacija udeležencem nudi različne oblike podpore pri učenju (učna pomoč, središče za samostojno učenje, svetovalno delo, informacijski kotiček itd.). 5 2 0 7**28 Organizacija, ki izobražuje odrasle, skrbi za dostopnost raznovrstne podpore posamezniku pri učenju in izobraževanju (npr. s prilagojenim časom, z zagotavljanjem prostora ipd.). 2 0 0 2*** Organizacija, ki izobražuje odrasle, zagotavlja informiranost posameznikov o oblikah podpore v organizaciji pri učenju in izobraževanju (različni načini in vrste obveščanja). 9 0 0 9 Organizacija, ki izobražuje odrasle, zagotavlja informiranost posameznikov o oblikah podpore zunaj organizacije pri učenju in izobraževanju (različni načini in vrste obveščanja). 6 2 1 9 27 Povsod, kjer je število označeno s tremi zvezdicami, to pomeni, da gre za merilo, ki smo vpeljali v letu 2015, zato smo njegovo doseganje presojali v dveh od devetih organizacij, pri katerih je bilo v evalvacijo vključeno tudi to področje. 28 Povsod, kjer je število označeno z dvema zvezdicama, to pomeni, da gre za merilo, ki smo vpeljali v letu 2014, zato smo njegovo doseganje presojali v sedmih od devetih organizacij, pri katerih je bilo v evalvacijo vključeno tudi to področje. 160 Nadaljevanje preglednice s prejšnje strani KAZALNIK MERILO dOSEGANJE MERILA ŠTEVILO ORGANIZACIJ dA dELNO NE SKUPAJ Organizacija, ki izobražuje odrasle, načrtno ugotavlja potrebe po učni pomoči in usmerja udeležence vanjo. 1 1 0 2*** Organizacija, ki izobražuje odrasle, organizira različne oblike učne pomoči (za odpravljanje psiholoških ovir v zvezi z izobraževanjem, za spoznavanje primernih učnih strategij ter metod učenja, za uporabo različnih učnih virov, z organizacijo dodatnih predavanj, z razvijanjem temeljnih pismenosti, pomembnih za nadaljnje izobraževanje ipd.) 1 1 0 2*** Učna podpora posamezniku Izobraževalna organizacija nudi učno pomoč udeležencem pri spoznavanju različnih učnih metod, vključno z e-učenjem. 5 1 1 7** Izobraževalna organizacija nudi učno pomoč udeležencem pri posameznih predmetih/modulih/temah. 4 3 0 7** Organizacija, ki izobražuje odrasle, udeležencem nudi konzultacije (govorilne ure) in/ali mentorstvo, pri čemer je razvidno, da gre za vnaprej načrtovano dejavnost, da je ta prostorsko in časovno dostopna in so z njo udeleženci seznanjeni. 5 3 1 9 Vir: Poročila o izpeljanih ekspertnih zunanjih evalvacijah v sodelujočih izobraževalnih organizacijah. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Splošne ugotovitve in dobre točke v zvezi z raznovrstnostjo in dostopnostjo podpore posamezniku pri izobraževanju in učenju ter učno podporo posamezniku Za večino izobraževalnih organizacij, ki so doslej sodelovale v ekspertnih zunanjih evalvacijah in so si kot izbirno področje izbrale področje podpora udeležencem pri izobraževanju in učenju, so ekspertni zunanji evalvatorji ugotavljali, da so doslej že razvile raznovrstno podporo udeležencem pri izobraževanju in učenju. To so utemeljevali s tem, da udeležencem nudijo:  različne oblike podpore pri učenju (učna pomoč, središče za samostojno učenje, informiranje in svetovanje itd.),  skrbijo za dostopnost raznovrstne podpore posamezniku pri učenju in izobraževanju (npr. s prilagojenim časom, z zagotavljanjem prostora ipd.), 161  zagotavljajo informiranost posameznikov o oblikah podpore v organizaciji pri učenju in izobraževanju (različni načini in vrste obveščanja),  nudijo učno pomoč udeležencem pri spoznavanju različnih učnih metod, vključno z e-učenjem. Izobraževalne organizacije so se razlikovale po tem:  koliko oblik učne pomoči so že uspele vpeljati v lastno prakso ter kako razširjene med udeleženci in poglobljene so te oblike,  kako načrtno ugotavljajo potrebe po učni pomoči in usmerjajo udeležence vanjo,  ali zagotavljajo zgolj informiranost posameznikov o oblikah podpore v organizaciji pri učenju in izobraževanju ali pa tudi o tistih oblikah podpore, ki jih udeleženci lahko dobijo zunaj izobraževalne organizacije, v okolju,  ali in kako nudijo učno pomoč udeležencem pri posameznih predmetih/modulih/ temah,  ali in kako nudijo konzultacije (govorilne ure) in/ali mentorstvo, pri čemer je razvidno, da gre za vnaprej načrtovano dejavnost, da je ta prostorsko in časovno dostopna in so z njo udeleženci seznanjeni. Šibke točke v zvezi z raznovrstnostjo in dostopnostjo podpore posamezniku pri izobraževanju in učenju ter učno podporo posamezniku Ekspertni zunanji evalvatorji so pri tem sklopu ugotavljali šibke točke, ki jih povzemamo v nadaljevanju.  Čeprav so ekspertni zunanji evalvatorji ugotavljali, da izobraževalne organizacije svojim udeležencem večinoma že nudijo različne oblike podpore pri učenju, so ponekod hkrati ugotavljali tudi, da je ta dostopna le v dopoldanskih urah (npr. govorilne ure, knjižnica, svetovanje ipd.). Čeprav imajo organizacije različne oblike podpore, je odraslim lahko zaradi tega nedosegljiva.  Ponekod udeležence o možnosti podpore pri njihovem učenju in izobraževanju večinoma informirajo le ustno, ob pričetku izobraževanja, ne pa tudi kasneje, med izobraževanjem, ko bi učno pomoč potrebovali.  Ekspertni zunanji evalvatorji so tudi ugotavljali, da nekatere izobraževalne organizacije na spletnih straneh nimajo posebej predstavljenih informacij o oblikah podpore, ki jih udeležencem nudijo pri učenju in izobraževanju.  Pogosta šibka točka je tudi ta, da v izobraževalnih organizacijah udeležence premalo informirajo o različnih (brezplačnih) podporah izven izobraževalne organizacije.  V nekaterih primerih so ekspertni zunanji evalvatorji ugotavljali, da tisto, čemur v izobraževalni organizaciji rečejo konzultacije, pravzaprav to niso, pač pa so bolj nekakšna individualna oblika izobraževanja, kjer se udeleženci srečajo z učiteljem enkrat ob začetku izpeljave predmeta, pa potem še enkrat ali nekajkrat vmes.  Pri konzultacijah za posamezne predmete so ekspertni zunanji evalvatorji zasledili tudi primer, ko so le te za udeležence v individualnih organizacijskih modelih organizirane le občasno, glede na potrebe posameznika, niso pa konzultacije del učiteljevih obveznosti. Konzultacije so organizirane na individualni ravni in ko je ugotovljena potreba, ne gre za sistematičen in načrtnem pristop, ki bi bil v izobraževalno organi 162 zacijo vpeljan kot ena izmed oblik podpore, ki je dostopna vsem in so udeleženci o njej vnaprej informirani, vedo, kako lahko do nje dostopajo itd.  V nekaterih izobraževalnih organizacijah udeležencem ne nudijo poglobljene učne pomoči.  V nekaterih izobraževalnih organizacijah doslej niso organizirali pomoči udeležencem pri spoznavanju z različnimi učnimi metodami, npr. učenje o tem, kako so učiti ali pa ta ni bila organizirana načrtno in sistematično, še ni del sistema podpore udeležencem pri učenju in izobraževanju. Predlogi za izboljšave v zvezi z raznovrstnostjo in dostopnostjo podpore posamezniku pri izobraževanju in učenju ter učno podporo posamezniku V nadaljevanju povzemamo predloge za izboljšave, ki so jih izobraževalnim organizacijam zapisali ekspertni zunanji evalvatorji.  V primerih, kjer je zunanja evalvacija pokazala, da so doslej v organizacijah že razvili različne oblike podpore udeležencem pri izobraževanju, so ekspertni zunanji evalvatorji priporočili, da organizacija v prihodnje vse te oblike podpore udeležencem poveže v celovit model/pristop. Organizacijam so priporočili, naj ta pristop tudi opišejo, to bo namreč omogočilo, da bo organizacija vse te oblike podpore svojim udeležencem ali drugim zainteresiranim lahko predstavila pregledno in na enem mestu kot celovit pristop podpore odraslim pri izobraževanju in učenju, ki je pomemben del dejavnosti organizacije.  Ekspertni zunanji evalvatorji so izobraževalnim organizacijam priporočali, da naj informiranost posameznikov o oblikah podpore pri učenju in izobraževanju izboljšajo tako, da uporabijo različne načine in vrste obveščanja. Informiranje lahko izboljšajo s predstavitvijo možnosti v posebnih zloženkah o posamezni vrsti podpore, z informacijami na spletnih straneh, SMS sporočili, posebnimi e-obvestili ali e-glasili, ki jih lahko pošljejo neposredno na e-naslove udeležencev, z informacijami na oglasni deski, z informiranjem udeležencev preko Facebook-a ipd.  Ekspertni zunanji evalvatorji so organizacijam, ki doslej informacij o oblikah učne podpore niso objavljale na spletnih straneh, priporočili, naj to storijo. Na spletni strani naj na kratko predstavijo različne oblike svetovanja in strokovne podpore, ki jih nudijo udeležencem pred vključitvijo v izobraževanje, med izobraževanjem in po zaključku izobraževanja v organizaciji ter kdaj in kje so vse te oblike podpore dostopne.  Priporočili so tudi, da naj organizacije na spletni strani in v drugih sredstvih obveščanja predstavijo tudi podporo, ki je njihovim udeležencem na voljo izven njihove organizacije.  Glede nudenja učne pomoči udeležencem so ekspertni zunanji evalvatorji izobraževalnim organizacijam priporočali, naj vzpostavijo sistem rednega ugotavljanja potreb po učni pomoči. Opredelijo naj, kako bodo ugotavljali potrebe po učni pomoči, kako bodo analizirali obseg in vrsto potreb udeležencev po učni pomoči, kdo bo udeležence usmerjal v učno pomoč, ki je na voljo v organizaciji ali zunaj nje.  Izobraževalnim organizacijam so priporočali naj razmislijo o možnostih, da za primere (programe, predmete…), kjer udeleženci običajno potrebujejo največ učne pomoči, usposobijo strokovne delavce ali mentorje, ki bi lahko tovrstno dodatno učno pomoč udeležencem nudili v času vključenosti v izobraževanje. 163 SVETOVALNA POdPORA Pri tem sklopu so ekspertni zunanji evalvatorji presojali, kakšne oblike informiranja in svetovanja izobraževalna organizacija nudi udeležencem ob vstopu v izobraževanje, med izobraževanjem in ob koncu izobraževanja. Zanimalo jih je tudi, kako v izobraževalni organizaciji poteka načrtovanje osebne izobraževalne poti posameznika. Preglednica 71: Pregled doseganja meril za vsebinski sklop Svetovalna podpora posamezniku KAZALNIK MERILO dOSEGANJE MERILA ŠTEVILO ORGANIZACIJ dA dELNO NE SKUPAJ Svetovalna podpora posamezniku Organizacija, ki izobražuje odrasle, nudi odraslim svetovanje pred vpisom in ob vpisu. 7 1 1 9 Kadar se posameznik vpisuje v formalne programe ali daljše programe neformalnega izobraževanja, organizacija z njim opravi uvodni pogovor. 2 0 0 2***29 Izobraževalna organizacija z vsakim udeležencem ob vstopu v izobraževanje opravi uvodni pogovor. 6 1 0 7**30 Zapis uvodnih pogovorov učitelji in drugi izvajalci izobraževanja uporabijo pri načrtovanju posameznikove izobraževalne poti. 0 2 0 2*** Kadar se posameznik vpisuje v formalne programe ali daljše programe neformalnega izobraževanja, organizacija v sodelovanju z njim pripravi osebni izobraževalni načrt. 2 0 0 2*** Izobraževalna organizacija za vsakega udeleženca pripravi osebni izobraževalni načrt. 1 6 0 7** Osebni izobraževalni načrt se uporablja pri spremljanju posameznikove izobraževalne poti. 1 0 1 2*** 29 Povsod, kjer je število označeno s tremi zvezdicami, to pomeni, da gre za merilo, ki smo vpeljali v letu 2015, zato smo njegovo doseganje presojali v dveh od devetih organizacij, pri katerih je bilo v evalvacijo vključeno tudi to področje. 30 Povsod, kjer je število označeno z dvema zvezdicama, to pomeni, da gre za merilo, ki smo vpeljali v letu 2014, zato smo njegovo doseganje presojali v sedmih od devetih organizacij, pri katerih je bilo v evalvacijo vključeno tudi to področje. 164 Nadaljevanje preglednice s prejšnje strani KAZALNIK MERILO dOSEGANJE MERILA ŠTEVILO ORGANIZACIJ dA dELNO NE SKUPAJ Svetovalna podpora posamezniku (nadaljevanje) Organizacija, ki izobražuje odrasle, nudi udeležencem med izobraževanjem svetovalno pomoč, če jo ti potrebujejo. 8 1 0 9 Ob zaključku izobraževanja je udeležencem na voljo informiranje in svetovanje v zvezi z možnostmi nadaljnjega izobraževanja. 2 0 0 2*** Vir: Poročila o izpeljanih ekspertnih zunanjih evalvacijah v sodelujočih izobraževalnih organizacijah. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Splošne ugotovitve in dobre točke v zvezi s svetovalno podporo (splošno, uvodni pogovori, osebni izobraževalni načrt, načini svetovanja) Za večino izobraževalnih organizacij, ki so doslej sodelovale v ekspertnih zunanjih evalvacijah in so si kot izbirno področje izbrale področje podpora udeležencem pri izobraževanju in učenju, so ekspertni zunanji evalvatorji ugotavljali, da so doslej že razvile različne oblike svetovanja udeležencem. To so utemeljevali s tem, da udeležencem nudijo:  svetovanje udeležencem pred vpisom in ob vpisu,  ob vstopu v izobraževanje opravijo uvodni pogovor z udeleženci,  svetovalno pomoč med izobraževanjem, če jo ti potrebujejo. Izobraževalne organizacije so se razlikovale po:  razširjenosti in poglobljenosti svetovalnega dela, ki ga nudijo udeležencem,  kakovosti opravljenih uvodnih pogovorov in po tem, kako uporabijo izide uvodnih pogovorov za načrtovanje izobraževanja,  po kakovosti individualnega dela z udeleženci, ko gre za načrtovanje in spremljanje individualne osebne poti posameznika. Šibke točke v zvezi s svetovalno podporo (splošno, uvodni pogovori, osebni izobraževalni načrt, načini svetovanja) Kar nekaj šibkih točk, ki so jih ekspertni zunanji evalvatorji zabeležili pri tem področju, je povezanih z opravljanjem uvodnih pogovorov. Povzamemo jih lahko v naslednjih točkah:  Še posebej, ko so se udeleženci vpisovali v neformalne izobraževalne programe, so ekspertni zunanji evalvatorji zasledili primere, ko so v organizaciji pogovore z njimi opravili le ustno - bodisi s posameznikom, večkrat pa s skupino, kjer so ugotavljali želje in pričakovanja udeležencev. V takšnih primerih so ekspertni zunanji elevatorji izrazili mnenje, da taka skupinska uvodna srečanja z udeleženci niso individualizirana v tolikšni meri, da bi si pridobili vse podatke o posamezniku in da bi posameznik imel možnost izraziti svoje želje in pričakovanja, ki jih strokovni delavci, ki so z njimi 165 pogovor opravili, kasneje upoštevajo pri izvedbenem načrtovanju za skupino in posameznika.  V večini primerov imajo v izobraževalnih organizacijah že pripravljene opomnike za izpeljavo uvodnih pogovorov, ki so jim pri izpeljavi teh pogovorov v pomoč. Vendar so ekspertni zunanji evalvatorji v nekaterih primerih ugotavljali, da so le-ti strokovnega delavca sicer usmerjali, da udeležencu posreduje potrebne informacije o vpisu in poteku izobraževanja, manjkrat pa tudi v to, da bi si od udeleženca pridobili podatke o morebitnih situacijskih in institucionalnih ovirah, ki bi lahko ovirale posameznika pri izobraževanju.  Ekspertni zunanji evalvatorji so še ugotavljali, da so zapisi nekaterih uvodnih pogovorov, ki so jih imeli priložnost videti, vsebinsko skromni. Iz vsebine je bilo razvidno, da gre bolj za informiranje kandidatov o prihodnjem izobraževanju in v zvezi s tem posredovanih informacij, ni pa vsebine, ki bi omogočala ugotavljanje izobraževalne poti posameznika, njegovih potreb in pričakovanj, ovir, ki bodo morebiti vplivale na izobraževanje ipd. Takšni uvodni pogovori so neuporabni za načrtovanje izvedbenega kurikula in osebnih izobraževanih načrtov, kar naj bi bil njegov namen.  Prav iz tega izhaja naslednja šibka točka, ki so jo tudi evidentirali ekspertni zunanji evalvatorji v nekaterih izobraževalnih organizacijah. Kaže se v tem, da se podatki in informacije, ki jih strokovni delavci pridobijo v uvodnih pogovorih, kasneje ne analizirajo in ne uporabijo pri načrtovanju izobraževanja za posameznika. Predvsem pa ti podatki zelo poredko pridejo do učiteljev.  Ekspertni zunanji evalvatorji v nekaterih organizacijah niso zasledili, da bi na podlagi opravljenih uvodnih pogovorov pripravili analizo učne skupine in jo posredovali oz. predstavili učiteljem, ki bodo poučevali v določenem programu. V nekaterih organizacijah so v zvezi s tem razložili, da je temu tako, ker pri njih izpeljujejo individualni organizacijski model in ne skupinskega. Vendar so zunanji evalvatorji v zvezi s tem menili, da tudi v primeru, ko organizacija izpeljuje individualni organizacijski model, izvaja določen delež usposabljanja, ki se ga udeležuje skupina. V teh primerih je tudi pri individualnem organizacijskem modelu pomembno, da se naredi analiza učne skupine in učitelje na ta način pripravi na točno določeno skupino udeležencev. Ko gre za šibke točke pri pripravi in uporabi osebnih izobraževalnih načrtov, so zunanji evalvatorji ugotavljali naslednje šibke točke:  Osebni izobraževalni načrti se ne pripravljajo za različne oblike neformalnega izobraževanja. V pogovorih je bilo odstrtih kar nekaj razlogov, ki govorijo v prid temu, da njihova priprava tudi ni smiselna, ko gre za kratke programe. Ekspertni zunanji evalvatorji pa so organizacijam v zvezi s tem priporočali, naj opravijo premislek, če lahko to posplošijo čisto na vse neformalno izobraževanje, še posebej na daljše programe neformalnega izobraževanja, namenjene ranljivim skupinam.  Čeprav se osebni izobraževalni načrti pripravijo, so v nekaterih izobraževalnih organizacijah kasneje premalo uporabljeni kot pripomoček za spremljanje udeležencev med izobraževanjem.  Opazna je bila razlika med kakovostjo izpolnjenih osebnih izobraževalnih načrtov – nekateri so zelo dobri, drugi pa komaj zadostijo formalnosti.  Za večino izobraževalnih organizacij so ekspertni zunanji evalvatorji ugotavljali, da učitelji ne sodelujejo pri pripravi in spremljavi osebnih izobraževalnih načrtov udele 166 žencev. Presodili so, da je vloga učiteljev pri pripravi in spremljanju osebnih izobraževalnih načrtov premajhna, saj so to instrumenti, ki lahko nastanejo kakovostno le v sodelovanju z učitelji in ki jih brez učiteljev težko spremljamo in vrednotimo.  Ekspertni zunanji evalvatorji so ugotavljali, da v večini izobraževalnih organizacij, kjer izvajajo osnovno šolo za odrasle, osebnih izobraževalnih načrtov ne pripravljajo. Res je, da za razliko od formalnega poklicnega in strokovnega izobraževanja, kjer izvajalcem pripravo osebnih izobraževalnih načrtov nalaga zakonodaja, v osnovni šoli za odrasle ti niso obvezni. Vendar pa so zunanji evalvatorji v zvezi s tem menili, da bi, posebej zato, ker gre v tem programu za zelo zahtevno ciljno skupino odraslih, oz. je ta ciljna skupina zelo heterogena, veljalo razmisliti o morebitnih pozitivnih učinkih vpeljave osebnih izobraževalnih načrtov v osnovno šolo za odrasle. Pri presoji različnih načinov svetovanja med izobraževanjem so ekspertni zunanji evalvatorji med šibkimi točkami v nekaterih izobraževalnih organizacijah izpostavili, da:  za namene poglobljenega svetovanja ne uporabljajo svetovalnih pripomočkov. Pojasnili so, da s tem mislijo na načrtne oblike poglobljenega svetovanja, ki so potrebne, ko udeleženci med izobraževanjem naletijo na učne težave. Gre za tematike, kot so: kako načrtovati učenje, kako izboljšati spomin, kako se učiti iz pisnega gradiva, kako delati zapiske, analiza učnih tipov, krepitev zmožnosti za uporabo različnih metod in tehnik učenja. Predlogi za izboljšave v zvezi s svetovalno podporo (splošno, uvodni pogovori, osebni izobraževalni načrt, načini svetovanja) V pomoč pri izboljšanju priprave in izpeljave uvodnih pogovorov ter uporabe dobljenih podatkov in informacij za načrtovanje izobraževanja za posameznika in skupino, so ekspertni zunanji evalvatorji priporočali naslednje:  Izobraževalnim organizacijam, ki doslej za opravljanje uvodnih pogovorov niso uporabljale zato vnaprej pripravljenih instrumentov (opomnikov ipd.), so priporočili naj si le-te pripravijo.  Priporočili so tudi, da naj bodo instrumenti za izpeljavo uvodnih pogovorov pripravljeni tako, da bodo strokovnega delavca vodili, da od udeležencev pridobi podatke o njegovem predhodnem uspešno zaključenem in nezaključenem izobraževanju, jih povpraša o morebitnih posebnosti iz predhodnega formalnega izobraževanja, delovnih izkušnjah (formalnih in neformalnih), znanjih, ki so si jih pridobili v neformalnem izobraževanju, o interesih, hobijih, prostočasnih dejavnostih. Le na ta način si strokovni delavec res lahko pridobi vse podatke, potrebne za načrtovanje izobraževanja, prilagojenega potrebam posameznika.  Ko gre za skupinske oblike izobraževanja, so ekspertni zunanji evalvatorji izobraževalnim organizacijam priporočili, naj ugotovitve iz uvodnih pogovorov bolje izkoristijo kot orodje za načrtovanje izvedbenih kurikulov.  Da pa bi to lahko dosegli, so ekspertni zunanji evalvatorji organizacijam, ki tega še nimajo, priporočali, da organizirajo usposabljanje učiteljev o načrtovanju izvedbenih kurikulov ter naj jih pritegnejo že pri pripravi protokolov za izpeljavo uvodnih pogovorov. 167  Priporočili so še, naj se v organizaciji dogovorijo, na kakšen način bodo izidi uvodnih pogovorov dostopni učiteljem. Dobro poznavanje posameznika, okoliščin, v katerih se izobražuje, je namreč pogoj za dobro načrtovanje posameznikove izobraževalne poti, kar predstavlja eno osrednjih točk podpore posamezniku pri izobraževanju. Za izboljšanje učinkovitosti priprave in uporabe osebnih izobraževalnih načrtov so ekspertni zunanji evalvatorji izobraževalnim organizacijam priporočali naslednje:  Izobraževalnim organizacijam, v katerih so ugotovili, da doslej v nobenem primeru niso pripravljene osebnih izobraževalnih načrtov v programih neformalnega izobraževanja, so priporočili, da v prihodnje osebni izobraževalni načrt pripravljajo tudi v daljših programih neformalnega izobraževanja, posebej v tistih, ki so namenjeni ranljivim skupinam odraslih. Osebni izobraževalni načrt lahko namreč igra pomembno vlogo pri izobraževanju manj izobraženih, manj motiviranih udeležencev, prav tako pa tudi tistih, ki potrebujejo individualni pristop glede na svoje predznanje oz. zmožnosti.  Še posebej so k tovrstnemu premisleku in ravnanju zunanji evalvatorji spodbudili strokovne delavce v tistih organizacijah, ki izvajajo osnovno šolo za odrasle.  Ekspertni zunanji evalvatorji so izobraževalnim organizacijam priporočili, da še jasneje definirajo načine spremljanja udejanjanja osebnih izobraževalnih načrtov, da bo ta instrument še bolj zaživel v vlogi svetovalnega pripomočka za spremljanje udeleženčeve izobraževalne poti in v podporo pri doseganju njegovih učnih ciljev. Izobraževalnim organizacijam, ki te prakse še nimajo, so predlagali, da uvedejo nekoliko bolj sistematično beleženje sprememb med izobraževalnim procesom z namenom spremljanja uresničevanja osebnih izobraževalnih načrtov.  Kjer so ugotavljali, da so instrumenti za pripravo osebnega izobraževalnega načrta pomanjkljive kakovosti, so zunanji evalvatorji predlagali njihovo nadgradnjo, pri tem pa organizacijam priporočili, naj preverijo, ali so vanje vključene vsebine o ovirah udeležencev pri izobraževanju ter različnih oblikah učne podpore, ki jih udeleženec potrebuje.  Ponekod so predlagali tudi, da se pripomoček za pripravo osebnega izobraževalnega načrta za odrasle nadgradi tako, da bi omogočal tudi spremljanje realizacije začrtanih obveznosti in prostor za morebitne dogovore o ukrepih, če bi se udeležencu kje med izobraževanjem pojavile težave. Ko gre za zagotavljanje poglobljenega svetovalnega dela med izobraževanjem, so zunanji evalvatorji izobraževalnim organizacijam zapisali naslednje predloge:  V izobraževalnih organizacijah naj v prihodnje strokovno še poglobijo načine svetovalnega dela z udeleženci med izobraževanjem. Pri tem so še posebej poudarili načrtno uporabo različnih svetovalnih pripomočkov. Na področju izobraževanja odraslih jih je namreč razvitih že kar nekaj in so tudi javno dostopni.  V kolikor izobraževalne organizacije v svojih sredinah še nimajo oz. nimajo dovolj strokovnih delavcev, ki so si že pridobili specialistična znanja s tega področja, so le-te spodbudili, naj okrepijo znanje svojih strokovnih delavcev na področju poglobljenega svetovalnega dela. 168 POdPORA POSAMEZNIKU PRI SAMOSTOJNEM UČENJU, PRI OdPRAVLJANJU OVIR PRI IZObRAžEVANJU, TUTORSTVO/MENTORSTVO Pri tem sklopu so ekspertni zunanji evalvatorji presojali, kakšne oblike in vsebine pod-pore posamezniku izobraževalna organizacija nudi posamezniku pri samostojnemu učenju. Zanimalo jih je tudi, na kakšne načine organizacija posamezniku pomaga pri odpravljanju ovir pri izobraževanju ter, če je doslej že uvedla mentorstvo oz. tutorstvo kot obliko podpore posamezniku pri učenju in izobraževanju. Preglednica 72: Pregled doseganja meril za vsebinski sklop Podpora posamezniku pri samostojnem učenju, pri odpravljanju ovir pri izobraževanju, tutorstvo/ mentorstvo KAZALNIK MERILO dOSEGANJE MERILA ŠTEVILO ORGANIZACIJ dA dELNO NE SKUPAJ Organizacija, ki izobražuje odrasle, udeležence usposablja za samostojno učenje. 2 0 0 2***31 Izobraževalna organizacija udeležence spodbuja k samostojnemu učenju. 6 1 0 7**32 Podpora posamezniku pri samostojnem učenju Organizacija, ki izobražuje odrasle, udeležence spodbuja in usposablja za organizirano samostojno učenje ter jim zagotavlja ustrezno svetovalno in mentorsko pomoč. 1 1 0 2*** Izobraževalna organizacija zagotavlja ustrezno svetovalno in mentorsko pomoč udeležencem pri organiziranem samostojnem učenju. 5 2 0 7** Izobraževalna organizacija nudi udeležencem možnosti za samostojno učenje in organizirano samostojno učenje z zagotavljanjem ustreznih prostorov, učnih virov in možnosti za dostop do učnih virov. 2 0 0 2*** 31 Povsod, kjer je število označeno s tremi zvezdicami, to pomeni, da gre za merilo, ki smo vpeljali v letu 2015, zato smo njegovo doseganje presojali v dveh od devetih organizacij, pri katerih je bilo v evalvacijo vključeno tudi to področje. 32 Povsod, kjer je število označeno z dvema zvezdicama, to pomeni, da gre za merilo, ki smo vpeljali v letu 2014, zato smo njegovo doseganje presojali v sedmih od devetih organizacij, pri katerih je bilo v evalvacijo vključeno tudi to področje. 169 Nadaljevanje preglednice s prejšnje strani KAZALNIK MERILO dOSEGANJE MERILA ŠTEVILO ORGANIZACIJ dA dELNO NE SKUPAJ Podpora posamezniku pri samostojnem učenju (nadaljevanje) Izobraževalna organizacija nudi udeležencem možnosti za organizirano samostojno učenje. 5 2 0 7** Izobraževalna organizacija udeležencem nudi gradiva za samostojno učenje. 4 2 1 7** Podpora posamezniku pri odpravljanju ovir pri izobraževanju Organizacija, ki izobražuje odrasle, aktivno pomaga posameznikom pri odpravljanju situacijskih ovir, povezanih z njihovim izobraževanjem (denarne, druge socialne razmere, družinske obveznosti, različne oviranosti, delovne zadolžitve ipd.). 2 0 0 2 Organizacija, ki izobražuje odrasle, aktivno pomaga posameznikom pri odpravljanju institucionalnih ovir, povezanih z njihovim izobraževanjem (slaba dokumentacijska pismenost, problemi v zvezi s priznavanjem znanja, drugi problemi, ki jih posameznik doživlja zaradi pravil in načina izobraževanja v organizaciji). 2 0 0 2 Tutorstvo/ mentorstvo Izobraževalna organizacija nudi udeležencem podporo v obliki tutorstva/ mentorstva udeleženca udeležencu. 0 1 8 9 Izobraževalna organizacija zagotavlja podporo udeležencem v obliki tutorstva/ mentorstva učitelja udeležencu. 0 2 7 9 Vir: Poročila o izpeljanih ekspertnih zunanjih evalvacijah v sodelujočih izobraževalnih organizacijah. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Splošne ugotovitve in dobre točke v zvezi s podporo posamezniku pri samostojnem učenju, pri odpravljanju ovir pri izobraževanju, tutorstvom/ mentorstvom Za večino izobraževalnih organizacij, ki so doslej sodelovale v ekspertnih zunanjih evalvacijah in so si kot izbirno področje izbrale področje Podpora udeležencem pri izobraževanju in učenju, so ekspertni zunanji evalvatorji ugotavljali, da so doslej že razvile različne oblike podpore udeležencem pri samostojnem učenju. To so utemeljevali s tem, da:  udeležence spodbujajo in usposabljajo za organizirano samostojno učenje ter jim zagotavljajo ustrezno svetovalno in mentorsko pomoč,  posameznikom aktivno pomagajo pri odpravljanju situacijskih ovir, povezanih z nji hovim izobraževanjem (denarne, druge socialne razmere, družinske obveznosti, raz lične oviranosti, delovne zadolžitve ipd.), 170  posameznikom pomagajo pri odpravljanju institucionalnih ovir, povezanih z njihovim izobraževanjem (slaba dokumentacijska pismenost, problemi v zvezi s priznavanjem znanja, drugi problemi, ki jih posameznik doživlja zaradi pravil in načina izobraževanja v organizaciji). Izobraževalne organizacije so se razlikovale po:  možnostih, ki jih udeležencem nudijo za samostojno učenje,  po gradivih, ki jih udeležencem nudijo za samostojno učenje. Šibke točke v zvezi s podporo posamezniku pri samostojnem učenju, pri odpravljanju ovir pri izobraževanju, tutorstvom/mentorstvom Ekspertni zunanji evalvatorji so zabeležili kar nekaj šibkih točk, povezanih z organiziranim samostojnim učenjem, podporo udeležencem pri odpravljanju ovir v izobraževanju ter mentorstvom/tutorstvom. Povzamemo jih lahko takole:  Ekspertni zunanji evalvatorji so v pogovorih z zaposlenimi v izobraževalnih organizacijah ugotavljali, da se je vloga središča za samostojno učenje v primerjavi s preteklimi leti spremenila (udeležencem računalniki in internet niso več tako nedostopni ipd.), da pa se središča s svojo dejavnostjo povsod niso dovolj hitro in ustrezno prilagodila tem spremembam.  Na nekaterih srednjih šolah, ki so sodelovale v ekspertnih zunanjih evalvacijah, so zunanji evalvatorji ugotavljali, da čeprav so na šolah uredili nekaj prostorov (šolska avla, knjižnica idr.), ki jih lahko tudi odrasli uporabijo za samostojno učenje, pa na šolah nimajo posebej urejenega središča za samostojno učenje – posebnega prostora, ki bi bil namenjen organiziranemu samostojnemu učenju, bi bil opremljen z učnimi gradivi, multimedijskimi gradivi in drugimi učnimi viri, ki bi jih lahko odrasli uporabljali za učenje. Pri samostojnem učenju ni na razpolago osebja, ki bi bilo posebej usposobljeno za svetovanje in mentorstvo udeležencu.  Ekspertni zunanji evalvatorji so v nekaterih organizacijah, ki so središče za samostojno učenje imele, ugotavljali, da to za odrasle ni vedno ustrezno dostopno.  Kot šibko točko so izpostavljali tudi učna gradiva, do katerih imajo udeleženci do-stop v središču za samostojno učenje. Ocenjevali so, da je prav na tej točki še veliko možnosti za nadaljnji razvoj, kar bi v prihodnje omogočilo še boljšo izkoriščenost središča v podporo tistemu delu učenja, ki ga morajo udeleženci opraviti sami.  Vpogled v učna gradiva za samostojno učenje je pogosto pokazal, da jim primanjkuje elementov, ki naj jih zajemajo gradiva za samostojno učenje, kot so: motivacijski uvod z navodili udeležencem, kako pristopiti k učenju, kako preštudirati gradivo, kje lahko najdejo še dodatno razlago, pojasnila, snov za utrjevanje, povezave na spletne vire itd.  V primerih, ko v izobraževalnih organizacijah pripravo učnih gradiv za udeležence prepuščajo učiteljem in njihovi avtonomiji, so ekspertni zunanji evalvatorji ugotavljali, da večinoma nimajo nekih skupnih pravil, v katerih bi opredelili standard kakovosti, kako naj bodo učna gradiva, ki ga udeleženci uporabljajo za samostojno učenje, pripravljena.  Ob analizi vodil za vodenje in zapis uvodnih pogovorov z udeleženci so zunanji evalvatorji ponekod ugotavljali, da v organizaciji niso predvideli, da bi od udeležencev že 171 na začetku njihovega izobraževanja pridobili podatke o tem, katere morebitne situacijske in institucionalne ovire bi lahko ovirale posameznika v zvezi z izobraževanjem.  Ekspertni zunanji evalvatorji so za prav vse evalvirane organizacije ugotavljali, da nimajo formalno razvitega in vzpostavljenega mentorstva/tutorstva med učitelji in udeleženci.  Ugotavljali so tudi, da v izobraževalnih organizacijah doslej niso na sistematičen način pristopali k temu, da bi na organiziran način spodbudili udeležence k medsebojni pomoči pri učenju. Kjer so se takšne oblike razvile, je šlo bolj za spontano povezovanje udeležencev oz. za posamične spodbude učiteljev. Predlogi za izboljšave v zvezi s podporo posamezniku pri samostojnem učenju, pri odpravljanju ovir pri izobraževanju, tutorstvom/mentorstvom V pomoč pri izboljšanju dejavnosti, povezanih z organiziranim samostojnim učenjem, podporo udeležencem pri odpravljanju ovir v izobraževanju ter mentorstvom/tutorstvom, so zunanji evalvatorji priporočali naslednje:  V primerih, ko se je pokazalo, da se središča za samostojno učenje niso dovolj hitro in ustrezno prilagodila potrebam sodobnega časa, so ekspertni zunanji evalvatorji organizacijam priporočili, naj tudi same opravijo analizo delovanja središč ter na tej podlagi zastavijo ustrezne razvojne korake, takšne, da bo središče za samostojno učenje še bolj zaživelo kot komplementarna oblika neformalnega izobraževanja, ki udeležencem omogoča, da se lahko samostojno učijo in na tak način lažje premagujejo morebitne ovire med njihovim izobraževanjem, ne glede na to, ali gre za udeležence formalnega ali neformalnega izobraževanja.  V primerih, ko so evalvatorji ugotavljali, da udeleženci niso dovolj obveščeni o možnostih za organizirano samostojno učenje, so izobraževalnim organizacijam priporočili, da naj pripravijo kratko informacijo – zgibanko ali podobno – o podpori posamezniku pri samostojnem učenju (kdo, kje in na kakšen način organizacija nudi pomoč pri samostojnem učenju).  Ekspertni zunanji evalvatorji so izobraževalnim organizacijam tudi priporočali, naj okrepijo povezave središča za samostojno učenje s svetovalnim središčem ISIO ter dejavnostjo učne pomoči v organizaciji. Tako bodo še bolj jasno razvidna prizadevanja organizacije, da ponudbo različnih oblik podpore med seboj dopolnjuje glede na potrebe udeležencev.  V povezavi z učnimi gradivi, ki jih organizacija nudi udeležencem pri samostojnem učenju, so ekspertni zunanji evalvatorji nekaterim organizacijam priporočili, da naj v eni izmed prihodnjih samoevalvacij opravijo presojo ustreznosti in zadostnosti učnih gradiv, ki jih nudijo svojim udeležencem.  Izobraževalnim organizacijam, ki tega še nimajo, so ekspertni zunanji evalvatorji priporočili, da naj udeležencem postopoma omogočijo dostop do učnih gradiv in drugih učnih virov za samostojno učenje tudi prek spletnih učilnic oz. drugih oblik spletnega dostopa do učnih gradiv.  Organizacijam, ki doslej niso pripravile skupnih pravil, ki zajemajo standarde kakovosti, kakšna naj bodo učna gradiva in drugi učni viri, ki jih pripravljajo učitelji in so namenjena samostojnemu učenju udeležencev, so ekspertni zunanji evalvatorji priporočili, naj takšna pravila pripravijo. V zvezi s tem so še priporočili, da naj, preden se 172 lotijo priprave takšnih pravil, opravijo zgledovalni obisk v kateri izmed izobraževalnih organizacij, ki so standarde kakovosti za pripravo učnih gradiv že oblikovale.  Organizacijam so tudi priporočili, da za učitelje organizirajo kakšno usposabljanje, namenjeno pripravi učnih gradiv za odrasle, s poudarkom na učnih gradivih in drugih učnih virih za samostojno učenje.  V primerih, ko so zasledili pomanjkljivosti, so ekspertni zunanji evalvatorji izobraževalni organizaciji priporočili, da naj v vodila za vodenje in zapis uvodnih pogovorov z udeleženci dodajo vsebinski sklop za zapis podatkov in informacij o tem, katere morebitne situacijske in institucionalne ovire bi lahko ovirale posameznika v zvezi z izobraževanjem.  Ekspertni zunanji evalvatorji so izobraževalnim organizacijam priporočili, da naj kot eno izmed možnih oblik podpore udeležencem pri njihovem izobraževanju in učenju pripravijo in ponudijo odraslim udeležencem možnosti mentorstva, in sicer tako z mentorstvom udeleženec–udeleženec kot učitelj–udeleženec.  Izobraževalne organizacije so spodbudili k premisleku o temu, v katerih programih bi bilo smiselno vpeljati mentorstvo/tutorstvo. Svoje priporočilo so utemeljili s tem, da nekateri udeleženci potrebujejo več kot drugi in je morda ključ do njihovega uspeha v individualnem delu z njimi, pa naj bo to individualno delo učitelja, njegovega sovrstnika ali nekoga drugega, ki mu lahko pomaga. 4.3.3.3 RAZVOJNA USMERJENOST ORGANIZACIJE, KI IZOBRAŽUJE ODRASLE Področje Razvojna usmerjenost organizacije, ki izobražuje odrasle, je v skladu z metodologijo ekspertne zunanje evalvacije izbirno področje presoje. To področje smo prvič uporabili šele v letu 2015. Zato je razumljivo, da si ga je doslej izbralo le manjše število organizacij, in sicer 3 od 12 izobraževalnih organizacij, ki so zajete v to študijo. Glede na majhno število organizacij, ki so bile doslej evalvirane v skladu z merili, ki jih zajema to področje, lahko ugotovitve v tem sklopu predstavimo zgolj kot študije primerov, kot primere, ki so nam lahko v pomoč pri nadaljnjem razvoju tega področja, predvsem pa tudi strokovne podpore (izobraževanja, svetovanja) izobraževalnim organizacijam. S pomočjo natančneje opredeljenih vsebinskih sklopov in njim pripadajočih meril so ekspertni zunanji evalvatorji pri tem področju presojali:  Ali ima izobraževalna organizacija oblikovano razvojno strategijo oz. dolgoročne strateške usmeritve delovanja?  Na kakšne načine zagotavlja pogoje za udejanjanje dolgoročnih razvojnih usmeritev?  Kakšni so njeni razvojni dosežki? V nadaljevanju po posameznih sklopih prikazujemo skupne ugotovitve za vse zajete izobraževalne organizacije. 173 RAZVOJNA STRATEGIJA ORGANIZACIJE V tem sklopu so ekspertni zunanji evalvatorji presojali, ali ima izobraževalna organizacija opredeljeno vizijo razvoja in razvojne strateške dokumente, ki opredeljujejo njen prihodnji razvoj. Preglednica 73: Pregled doseganja meril za vsebinski sklop Razvojna strategija organizacije KAZALNIK MERILO dOSEGANJE MERILA ŠTEVILO ORGANIZACIJ dA dELNO NE SKUPAJ Vizija razvoja Organizacija, ki izobražuje odrasle, ima opredeljeno vizijo, ki odraža dolgoročno razvojno usmerjenost. 1 2 0 3 Organizacija, ki izobražuje odrasle, v rednih časovnih presledkih preverja uresničevanje vizije. 0 2 1 3 Organizacija, ki izobražuje odrasle, ima razvojni strateški dokument, ki opredeljuje njen prihodnji razvoj. 1 1 1 3 Razvojni strateški dokumenti Organizacija, ki izobražuje odrasle, ima druge razvojne dokumente, ki podpirajo doseganje ciljev, opredeljenih v razvojnem strateškem dokumentu (npr. kadrovski plan, plan investicij, plan promocije, plan partnerskega povezovanje ipd.) 0 1 2 3 Vir: Poročila o izpeljanih ekspertnih zunanjih evalvacijah v sodelujočih izobraževalnih organizacijah. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Splošne ugotovitve in dobre točke v zvezi z razvojno strategijo organizacije Ekspertni zunanji evalvatorji so v evalviranih organizacijah ugotovili, da:  imajo vsaj deloma ali v celoti opredeljeno vizijo razvoja, ki odraža dolgoročno razvojno naravnanost,  v dveh obravnavanih organizacijah so imeli vsaj deloma ali v celoti opredeljen razvojni strateški dokument, ki opredeljuje prihodnji razvoj organizaciji,  v eni izmed obravnavanih organizacij, so imeli vsaj deloma opredeljene tudi druge razvojne dokumente, ki podpirajo doseganje ciljev, opredeljenih v razvojnem strateškem dokumentu (npr. kadrovski plan, plan investicij, plan promocije, plan partnerskega povezovanja ipd.),  v dveh organizacijah so imeli vsaj v zametkih opredeljene tudi načine za redno preverjanje uresničevanja vizije. 174 Šibke točke v zvezi z razvojno strategijo organizacije V evalviranih primerih so ekspertni zunanji evalvatorji zaznali kar nekaj šibkih točk oz. možnosti za nadaljnji razvoj, ki jih povzemamo v nadaljevanju:  Nekatere vizije so bile take, da niso nakazovale izzivov za prihodnost, saj so bile zapisane tako, da so organizacije vse, kar je bilo v njih zapisanega, že dosegale.  V nekaterih primerih so organizacije kot strateški razvojni dokument predstavile dolgoročno vizijo razvoja organizacije, obvezen dokument, ki ga pripravi kandidat za delovno mesto direktorja. Kot tak predstavlja strategijo razvoja, ki jo zagovarja kandidat za direktorja in kasneje direktor, v kolikor je potrjen. Ni bilo pa razvidno, koliko so bili kasneje s tem dokumentom seznanjeni zaposleni, ali so morebiti ta dokument kasneje s konsenzom skupaj dopolnjevali in ga tudi skupaj dogovorili, da bi o njem lahko govorili tudi kot o strategiji organizacije.  Predstavljeni razvojni strateški dokumenti so bili pripravljeni na precej splošni ravni. Opredeljenim strateškim ciljem v večini niso sledili bolj konkretizirani predlogi ukrepov, ki bi sicer še vedno ostajali na strateški ravni, vendar bolj nakazali smer udejanjanja strateških ciljev. Šele opredeljeni ukrepi in pričakovani izidi pa omogočajo tudi spremljanje, koliko se opredeljeni strateški cilji uresničujejo.  Razen v enem primeru, ekspertni zunanji evalvatorji niso zasledili, da bi izobraževalna organizacija poleg letnega delovnega načrta imela druge razvojne načrte, ki bi podpirali uresničevanje strateških ciljev na različnih vsebinskih področjih (npr. načrt promocije, načrt partnerskega sodelovanja, načrt usposabljanja in razvoja kadrov ipd.). Menili so, da obstaja nevarnost, da se na teh področjih organizacija preveč naslanja zgolj na dnevne potrebe, ne vpeljuje pa ukrepov, ki bodo postopoma pripeljali do opredeljenih strateških ciljev. Hkrati so nekateri cilji taki, da jih je skoraj nemogoče uresničiti, če jih ne načrtujemo za več let in letno delujemo tako, da bi se jim približali (npr. kadrovski razvoj, kakovost, razvojno delo).  Ekspertni zunanji evalvatorji so ugotavljali, da operativni letni načrti dela sicer jasno opredeljujejo naloge, s katerimi bo izobraževalna organizacija v tekočem letu udejanjala temeljne letne cilje, vendar pa so pogrešali natančnejšo opredelitev kazalnikov uspešnosti oz. pričakovanih izidov pri posameznih nalogah.  Po mnenju ekspertnih zunanjih evalvatorjev so izobraževalne organizacije v ocenah, ki jih dajejo vsako leto v poslovnem načrtu in poslovnem poročilu, objektivno poročale o razmerah, v katerih je danes izobraževanje odraslih, še posebej javna služba. Strinjali so se, da je izziv včasih že to, da take organizacije v lokalnem okolju sploh obstanejo. Vseeno pa so opozorili, da včasih besedila izražajo malo preveč odvisnosti od razmer: kaj dela oz. bo storila država, kako je v lokalni skupnosti ipd., manj pa, kaj bo izobraževalna organizacija sama storila za to, da bo uspešno delovala v razmerah, kakršne pač so. Predlogi za izboljšave v zvezi z razvojno strategijo organizacije V pomoč pri izboljšanju strateškega razvojnega načrtovanja v izobraževalnih organizacijah, so ekspertni zunanji evalvatorji izobraževalnim organizacijam priporočali naslednje:  Kjer se je to izkazalo za smiselno in potrebno, so ekspertni zunanji evalvatorji izobraževalni organizaciji predlagali, da izpelje aktivnosti, namenjene prenovi poslanstva, 175 vizije in vrednot. Svetovali so, naj organizacija v te premisleke vključi tako zaposlene, kot zunanje sodelavce – učitelje in partnerje.  Predlagali so tudi dopolnitev razvojnih strateških dokumentov z opredelitvijo ukrepov in pričakovanih izidov pri posameznem strateškem cilju.  Izobraževalne organizacije so ekspertni zunanji evalvatorji spodbudili k premisleku o potrebi po pripravi področnih razvojnih načrtov, ki bi podpirale uresničevanje strateških ciljev na različnih vsebinskih področjih (npr. načrt razvoja kadrov, načrt promocije, načrt partnerskega sodelovanja, načrt vpeljave e-učenja v izobraževalno dejavnost idr.).  V primerih, ko je šlo za majhne organizacije, so bili ekspertni zunanji evalvatorji mnenja, da je primerno, da ne pripravlja veliko različnih razvojnih dokumentov, pač pa načrtovanje razvojnih vprašanj združuje v poslovnih načrtih. To, kar so v takšnem primeru predlagali, pa je, da so ustrezna poglavja naravnana bolj razvojno in povezana z dolgoročnimi strateškimi cilji. Opozorili so namreč, da imajo poslovni načrti omejen domet, obravnavajo le obdobje enega leta. Vsa vprašanja, ki jih je treba razvojno domisliti, pa niso tako kratkoročna.  Da bi izobraževalne organizacije dosegle boljšo povezanost dolgoročnih in kratkoročnih razvojnih načrtov, so ekspertni zunanji evalvatorji priporočili, naj se v letnih poslovnih načrtih v uvodu »naslonijo« na opredeljene strateške cilje in povedo, kaj bodo v nekem letu naredile za udejanjanje strateških ciljev. Tako bo organizacija zagotovila razvojni lok: vizija-strategija-operativno načrtovanje. Temu sledi naslednji proces, to je operativno poročanje -koliko in kako je/bo z delom v nekem časovno omejenem trenutku izobraževalna organizacija prispevala k uresničevanju strategije in posledično vizije.  Ekspertni zunanji evalvatorji so priporočili, da naj se v organizaciji vzpostavi oz. ohrani praksa, da se na andragoških zborih ali drugih ustreznih organih in dogodkih z zaposlenimi in zunanjimi sodelavci opravljajo pogovori o viziji, njeni aktualnosti in morebitni potrebi po njeni spremembi. Občasni pogovori o viziji bodo namreč v pomoč, da jo bo tako vodstvo kot zaposleni sprejelo kot svoje resnično vodilo in tudi merilo za bolj celovit vpogled v svoje delovanje ali pa zaznalo potrebo po njeni spremembi.  Ko gre za razvojni strateški dokument, ki je bil pripravljen ob imenovanju kandidata za direktorja, so ekspertni zunanji evalvatorji predlagali, da naj ga v izobraževalni organizaciji uporabijo kot izhodišče za oblikovanje razvojnega strateškega dokumenta organizacije. Tako bo ta dokument postal last vseh, bolj ga bodo ponotranjili in sprejeli kot smernico za delo. Dokument naj sprejme svet izobraževalne organizacije. POGOJI ZA URESNIČEVANJE RAZVOJNE STRATEGIJE ORGANIZACIJE V tem sklopu so ekspertni zunanji evalvatorji presojali pogoje, ki v izobraževalni organizaciji prispevajo k uresničevanju razvojne strategije. Razvojne strategije namreč ostajajo mrtve črke na papirju, če niso zagotovljeni pogoji za razvojno delo. Zanimalo jih je, kako organizacija skrbi za usposobljenost osebja za razvojno delo, kako je za razvojno delo organizirana in kakšne vrste spodbud za razvojno delo je doslej že vpeljala. 176 Preglednica 74: Pregled doseganja meril za vsebinski sklop Pogoji za uresničevanje razvojne strategije organizacije KAZALNIK MERILO dOSEGANJE MERILA ŠTEVILO ORGANIZACIJ dA dELNO NE SKUPAJ Usposobljenost za razvojno delo Organizacija, ki izobražuje odrasle, za svoje zaposlene pripravlja načrt osebnega razvoja ali njim podobne dokumente, s katerimi opredeljuje strokovni razvoj vsakega posameznika. 0 1 2 3 Organizacija, ki izobražuje odrasle, načrtuje strokovno spopolnjevanje osebja, ki sodeluje pri izobraževanju odraslih. 1 2 0 3 Organizacija, ki izobražuje odrasle, zagotavlja pogoje za spopolnjevanje osebja, ki sodeluje pri izobraževanju odraslih. 3 0 0 3 Organiziranost za razvojno delo Organizacija, ki izobražuje odrasle, načrtno skrbi za prenos znanja in izkušenj med osebjem, ki sodeluje pri izobraževanju odraslih (npr. mentorstvo starejših mlajšim, izobraževalna srečanja itd.). 0 3 0 3 Organizacija, ki izobražuje odrasle, ima organizirane strokovne aktive. 2 1 0 3 Strokovni aktivi obravnavajo razvojna vprašanja s področja dela, za katera so organizirani. 0 2 1 3 Organizacija, ki izobražuje odrasle, ima oblikovane še druge organizacijske oblike, s pomočjo katerih v organizaciji obravnavajo razvojna vprašanja (delovne skupine, interni strokovni posveti, razvojni ali projektni timi itd.). 1 1 1 3 Spodbude za razvojno delo Organizacija, ki izobražuje odrasle, informira zaposlene in zunanje sodelavce o možnostih razvojnega dela v organizaciji in zunaj nje. 2 1 0 3 Organizacija, ki izobražuje odrasle, na različne načine motivira zaposlene in zunanje sodelavce za razvojno delo v organizaciji. 1 1 1 3 Organizacija, ki izobražuje odrasle, na različne načine motivira zaposlene in zunanje sodelavce za razvojno delo v stroki, na nacionalni ravni in širše. 1 0 2 3 Organizacija, ki izobražuje odrasle, spremlja razvojno delo svojih sodelavcev in jih primerno promovira. 1 0 2 3 Organizacija, ki izobražuje odrasle, na različne načine nagrajuje zaposlene in zunanje sodelavce za dosežke pri razvojnem delu. 1 0 2 3 Vir: Poročila o izpeljanih ekspertnih zunanjih evalvacijah v sodelujočih izobraževalnih organizacijah. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. 177 Splošne ugotovitve in dobre točke v zvezi s pogoji za uresničevanje razvojne strategije organizacije V izobraževalnih organizacijah, ki so doslej sodelovale pri evalvaciji na področju Razvojna naravnanost organizacije, so ekspertni zunanji evalvatorji na splošno ugotovili naslednje:  Organizacije za svoje zaposlene sicer v večini ne pripravljajo načrtov osebnega razvoja ali njim podobnih dokumentov, s katerimi bi se opredelilo strokovni razvoj vsakega posameznika, vendar kljub temu vsaj delno ali v celoti načrtujejo strokovno spopolnjevanje ter zagotavljajo pogoje za spopolnjevanje osebja, ki sodeluje pri izobraževanju odraslih.  Ko gre za organiziranost za razvojno delo, so zunanji evalvatorji ugotovili, da organizacije vsaj deloma načrtno skrbijo za prenos znanja in izkušenj med osebjem, ki sodeluje pri izobraževanju odraslih.  Ugotovili so tudi, da so izobraževalne organizacije doslej že vzpostavile načine, s pomočjo katerih informirajo zaposlene in zunanje sodelavce o možnostih razvojnega dela v organizaciji ali izven nje. Izobraževalne organizacije so se razlikovale po naslednjem:  Ko gre za delovanje strokovnih aktivov oz. drugih organizacijskih oblik, s pomočjo katerih se v organizacijah obravnavajo razvojna vprašanja (npr. delovne skupine, interni strokovni posveti, razvojni ali projektni timi itd.), so ekspertni zunanji evalvatorji zaznali razlike. Te so se kazale v tem, ali so imele organizacije vzpostavljene samo strokovne aktive ali pa tudi nekatere druge organizacijske oblike. Razlike so bile tudi v aktivnosti strokovnih aktivov. Skupna ugotovitev pa je bila, da se bodisi strokovni aktivi bodisi drugi organi le deloma ukvarjajo z razvojnimi vprašanji za področja, za katera so organizirani.  Organizacije so se razlikovale v tem, ali so že vpeljale načine, s katerimi motivirajo zaposlene in zunanje sodelavce za razvojno delo v organizaciji ter v stroki, na nacionalni ravni ali širše.  Le v eni od treh organizacij so ekspertni zunanji evalvatorji zaznali načine, kako organizacija spremlja razvojno delo sodelavcev in ga tudi promovira. Šibke točke v zvezi s pogoji za uresničevanje razvojne strategije organizacije V nadaljevanju povzemamo šibke točke, ki so jih ekspertni zunanji evalvatorji zabeležili v obravnavanih primerih:  Ekspertni zunanji evalvatorji so ugotovili, da v organizacijah za zaposlene ne pripravljajo načrtov osebnega razvoja, s katerimi bi opredelili strokovni razvoj vsakega posameznika. V enem primeru so zunanji evalvatorji zapisali, da imajo zaposleni sicer priložnost, da predstavijo videnje svojega poklicnega in osebnega razvoja v prihodnje, vendar pa organizacija v preveliki meri odgovornost za ta razvoj prepušča zgolj posamezniku, brez da bi poskušala na tak ali drugačen način njegove želje podpreti, jih omejiti, če je potrebno, v okvire možnosti. Po mnenju zunanjih evalvatorjev bi bil tak dogovor lahko skupno dogovorjeni načrt osebnega razvoja posameznega zaposlenega, za uresničitev katerega sta soodgovorna tako zaposleni kot organizacija. 178  Zunanji evalvatorji so ob tem poudarili, da ta ocena velja zlasti za poklicni in osebni razvoj zaposlenih v celoti, boljše pa so ocenili možnosti strokovnega spopolnjevanja zaposlenih, ki pa so tudi v večji meri bolj prepuščene (brezplačnim) možnostim kot nekemu načrtnemu usmerjanju posameznikov v tiste programe, ki več prispevajo k njihovim poklicnim in splošnim kompetencam.  Čeprav so ekspertni zunanji evalvatorji zaznali, da zaposleni, ki so se udeležili usposabljanj, na kolegiju ali drugih oblikah srečevanja zaposlenih informirajo o tem, kaj so bile teme usposabljanj, pa niso zaznali drugih, bolj poglobljenih in načrtovanih oblik prenosa znanja. To še posebej velja za prenos znanja med zaposlenimi in zunanjimi sodelavci.  V vseh treh obravnavanih primerih imajo v organizacijah organiziranih nekaj strokovnih aktivov, vendar so ekspertni zunanji evalvatorji ugotovili kar nekaj pomanjkljivosti v zvezi z njihovim delovanjem. Za nekatere so ugotovili, da se pretežno ne sestajajo, se sestajajo le enkrat letno ali pa jih celo nadomesti andragoški zbor. Nekateri sodelavci sploh ne vedo, da so strokovni aktivi organizirani.  Ekspertni zunanji evalvatorji so opozorili tudi na premalo načrtno informiranje zaposlenih in zunanjih sodelavcev o možnostih sodelovanja v različnih oblikah razvojnega dela v organizaciji.  Še bolj pa to velja za informiranje sodelavcev, da bi in kje bi lahko razvojno delovali zunaj organizacije (v omrežjih, na strokovni ravni). Predlogi za izboljšave v zvezi s pogoji za uresničevanje razvojne strategije organizacije Ekspertni zunanji evalvatorji so izobraževalnim organizacijam priporočili naslednje:  Predlagali so, da za vsakega zaposlenega izdelajo načrt osebnega strokovnega razvoja, ki naj zajema tudi načrt potrebnih usposabljanj in spopolnjevanj za posameznika. K njegovi pripravi naj povabijo tudi zaposlenega.  Vsaj enkrat letno (npr. na letnem razgovoru) naj skupaj z zaposlenimi ocenijo uresničevanje načrta osebnega strokovnega razvoja.  Priporočili so, da se vsaj enkrat letno na andragoškem zboru ali ob kakšni drugi podobni priložnosti v organizaciji pogovorijo o potrebah zunanjih sodelavcev po usposabljanju.  Priporočili so tudi pripravo srednjeročnega načrta stalnega strokovnega spopolnjevanja za zaposlene in tiste zunanje sodelavce, ki v večjem obsegu sodelujejo z organizacijo. Ta naj opredeli, kako bo organizacija zaposlenim in zunanjim sodelavcem v določenem časovnem obdobju zagotovila usposabljanje in/ali spopolnjevanje na področjih, ki so še posebno pomembna za zagotavljanje kakovosti izobraževanja odraslih.  Ekspertni zunanji evalvatorji so prispevali kar nekaj priporočil, povezanih s spodbujanjem prenosa znanja med zaposlenimi. Menili so, da je potrebno aktivnosti načrtovati in izpeljati bolj načrtno, usmerjeno. Organizacije so spodbudili, da uvedejo srečanja zaposlenih, ki so namenjena prav prenosu znanja in informacij, na katerih bo npr. nekdo poročal o novostih, ki jih je slišal na nekem seminarju, nekdo o strokovni knjigi, ki jo je prebral ipd.  Priporočili so tudi, da naj organizacije z namenom spodbujanja prenosa znanja in izkušenj med zaposlenimi, pa tudi med zunanjimi sodelavci, organizirajo izobraževal 179 na srečanja andragoških delavcev v organizaciji – zaposlenih in zunanjih sodelavcev. Takšna srečanja naj bodo načrtna, v začetku leta si npr. organizacija lahko začrta, da bo v tekočem letu izpeljala dve ali več tovrstnih srečanj. Določiti je potrebno osebo, ki bo odgovorna za načrtovanje, organizacijo in izpeljavo tovrstnih srečanj, ki naj bodo tematsko naravnana.  Priporočili so srečanja med učitelji, ki v organizaciji že dolgo poučujejo odrasle in tistimi, ki so šele začetniki na tem področju, z namenom prenašanje znanja in izkušenj.  Organizacijam, v katerih delujejo delovne skupine, so ekspertni zunanji evalvatorji priporočili, da dosežke delovnih skupin redno in načrtno predstavljajo kolektivu, pri tem pa je potrebno misliti tudi na zunanje sodelavce, prav tako pa na delo tistih sodelavcev, ki veliko prispevajo k uspehu dela teh skupin.  Organizacijam, v katerih strokovni aktivi niso dovolj aktivni ali pa sploh ne delujejo, so ekspertni zunanji evalvatorji priporočili, da je potrebno načrtno spodbuditi njihovo aktivno delo. Menili so namreč, da zgolj srečanja učiteljev na andragoških zborih ne morejo nadomestiti poglobljene obravnave vsebinskih vprašanj, ki jih lahko obravnavajo učitelji določenega programa na strokovnih aktivih.  V zvezi z delovanjem strokovnih aktivov so ekspertni zunanji evalvatorji še predlagali, da organizacija poišče nekaj svojih najboljših zunanjih sodelavcev in jih primerno motivira, da bi vodili strokovne aktive na svojem področju dela tako, da bi se le-ti sestajali večkrat letno in sproti obravnavali strokovna vprašanja, ki zadevajo izobraževanje odraslih v organizaciji in na področju, za katerega bi delovali. Pobudo za vsebinske teme naj prevzamejo člani strokovnih aktivov sami, čeprav je razumljivo, da morajo včasih nekatere novosti predstavljati tudi tisti, ki so v organizaciji zaposleni.  Ekspertni zunanji evalvatorji so organizacijam priporočili naj izboljšajo informiranje zaposlenih in zunanjih sodelavcev o možnostih dela v razvojnih timih, projektnih skupinah in morebitnih drugih oblikah razvojnega dela, saj bodo na ta način morebiti odkrili dobre razvojne sodelavce, zaposleni in zunanji sodelavci pa bodo vedeli, da jim take priložnosti organizacija daje in jih pri tem spodbuja. To organizacija lahko naredi z enostavno elektronsko pošto, objavo povabila na spletu, predvsem pa tudi z osebnimi povabili k sodelovanju ipd.  Vodstvom izobraževalnih organizacij so tudi predlagali, da začnejo načrtno izvajati motivacijske ukrepe, ki bodo priznanje za že dobro opravljeno razvojno delo, hkrati pa tudi spodbuda za tako delo še vnaprej in tudi pri drugih sodelavcih. Pri tem so pojasnili, da nimajo v mislih oblik motivacije, ki bi zahtevala večja sredstva, pač pa da obstaja cela vrsta takih, ki zahtevajo le malo več pozornosti. Nekaj takih primerov: pohvala dobrega razvojnega dosežka, in tistih, ki so k temu prispevali, objava kratke novičke o nekem razvojnem dosežku posameznika na Facebooku ali drugi spletni strani, objava razvojne sodelavke meseca na oglasni deski, pisna zahvala direktorice zaposlenemu ob nekem razvojnem dosežku ipd. RAZVOJNI dOSEžKI V tem sklopu so ekspertni zunanji evalvatorji presojali, ali ima organizacija ob opredeljeni strategiji in ukrepih za njeno uresničevanje že oprijemljive razvojne dosežke, ki kažejo, da je razvojna naravnanost organizacije učinkovita. Kot vidik te učinkovitosti so presojali, koliko je izobraževalna organizacija dejavna pri razvoju novih izobraževalnih programov in dejavnosti za odrasle. Zanimalo jih je, ali so v organizaciji v zadnjem obdobju 180 razvili in v prakso uvedli nove metode učenja ali drugega dela z odraslimi, pripravili nove učbenike, učna gradiva in druge učne vire. Presojali so, kakšno je sodelovanje zaposlenih in zunanjih sodelavcev v domačih in mednarodnih projektih in dejavnostih, povezanih z izobraževanjem odraslih ter sodelovanje v organih, namenjenih razvoju izobraževanja odraslih. Zanimalo jih je tudi sodelovanje na mednarodnih in domačih konferencah, posvetih in podobnih srečanjih. Presojali so, kako se organizacija umešča v razvojne plane drugih na panožni, lokalni, regionalni, nacionalni ravni. Analizirali so tudi, kako organizacija zaposlene in zunanje sodelavce nagrajuje za razvojno delo. Preglednica 75: Pregled doseganja meril za vsebinski sklop Razvojni dosežki KAZALNIK MERILO dOSEGANJE MERILA ŠTEVILO ORGANIZACIJ dA dELNO NE SKUPAJ Razvoj novih izobraževalnih programov Organizacija, ki izobražuje odrasle, je v zadnjih petih letih razvila lastne nove izobraževalne programe, ki jih še vedno izvaja. 2 1 0 3 Razvoj novih izobraževalnih dejavnosti Organizacija, ki izobražuje odrasle, je v zadnjih petih letih razvila lastne nove izobraževalne dejavnosti, ki jih še vedno izvaja. 1 1 1 3 Razvoj in uvajanje novih Organizacija, ki izobražuje odrasle, je v metod in/ali pristopov v zadnjih treh letih v svojo prakso uvedla nove metode učenja in/ali drugega dela 1 2 0 3 izobraževanje z odraslimi. odraslih Razvoj novih učbenikov, učnih gradiv, drugih učnih virov Organizacija, ki izobražuje odrasle, je v zadnjih treh letih razvila nove učbenike, učna gradiva ali druge učne vire. 2 1 0 3 Sodelovanje v nacionalnih in mednarodnih projektih in/ ali dejavnostih, povezanih z izobraževanjem odraslih Organizacija, ki izobražuje odrasle, je v zadnjih treh letih aktivno sodelovala v nacionalnih projektnih in/ali dejavnostih, povezanih z izobraževanjem odraslih, pri čemer aktivno sodelovanje izkazuje z lastnim prispevkom v teh projektih. 3 0 0 3 Organizacija, ki izobražuje odrasle, je v zadnjih treh letih aktivno sodelovala v mednarodnih projektnih in/ali dejavnostih, povezanih z 2 1 0 3 izobraževanjem odraslih, pri čemer aktivno sodelovanje izkazuje z lastnim prispevkom v teh projektih. 181 (nadaljevanje preglednice s prejšnje strani) KAZALNIK MERILO dOSEGANJE MERILA ŠTEVILO ORGANIZACIJ dA dELNO NE SKUPAJ Sodelovanje v različnih organih, ki so namenjeni razvoju izobraževanja odraslih Zaposleni in zunanji sodelavci organizacije, ki izobražuje odrasle, sodelujejo v različnih organih na panožni, lokalni, regionalni ali nacionalni ravni, ki se ukvarjajo z vprašanji razvoja izobraževanja odraslih. 0 2 0 233 Zaposleni in zunanji sodelavci organizacije, ki izobražuje odrasle, sodelujejo v organih izven organizacije, ki se ukvarjajo z vprašanji razvoja izobraževanja odraslih. 0 1 0 134 Aktivno sodelovanje na domačih in mednarodnih konferencah, strokovnih posvetih ipd., namenjenih vprašanjem izobraževanja odraslih Zaposleni in zunanji sodelavci organizacije, ki izobražuje odrasle, so v zadnjih treh letih aktivno sodelovali na domačih konferencah, strokovnih posvetih ipd. 2 1 0 3 Zaposleni in zunanji sodelavci organizacije, ki izobražuje odrasle, so v zadnjih treh letih aktivno sodelovali na mednarodnih konferencah, strokovnih posvetih ipd. 3 0 0 3 Umeščenost v razvojne plane drugih na panožni, lokalni, regionalni, nacionalni ravni Organizacija, ki izobražuje odrasle, je prepoznana kot pomemben razvojni dejavnik in je v tej vlogi umeščena v veljavne razvojne plane na panožni, regionalni ali nacionalni ravni. 1 1 0 235 Organizacija, ki izobražuje odrasle, je prepoznana kot pomemben razvojni dejavnik in je v tej vlogi umeščena v veljavne razvojne plane drugih. 1 0 0 136 33 Merilo smo uporabili prvič v letu 2015, ko sta bili z njim evalvirani 2 organizaciji, ki sta si izbrali to področje, v letu 2016 pa smo ga nekoliko spremenili. 34 Merilo smo uporabili prvič v letu 2016, z njim je bila evalvirana 1 organizacija, ki si je v letu 2016 izbrala to področje. Gre sicer za prenovljeno merilo, ki smo ga prvič uporabili v letu 2015. 35 Merilo smo uporabili prvič v letu 2015, ko sta bili z njim evalvirani 2 organizaciji, ki sta si izbrali to področje, v letu 2016 pa smo ga nekoliko spremenili. 36 Merilo smo uporabili prvič v letu 2016, z njim je bila evalvirana 1 organizacija, ki si je v letu 2016 izbrala to področje. Gre sicer za prenovljeno merilo, ki smo ga prvič uporabili v letu 2015. 182 Nadaljevanje preglednice s prejšnje strani KAZALNIK MERILO dOSEGANJE MERILA ŠTEVILO ORGANIZACIJ dA dELNO NE SKUPAJ Nagrade, priznanja za razvojno delo Organizacija, ki izobražuje odrasle, ali njeni zaposleni oz. zunanji sodelavci, so v zadnjih petih letih prejeli priznanje (nagrado) za razvojno delo na področju izobraževanja odraslih na panožni, lokalni, regionalni, nacionalni ali mednarodni ravni. 1 1 0 237 Organizacija, ki izobražuje odrasle, ali njeni zaposleni oz. zunanji sodelavci, so v zadnjih petih letih prejeli priznanje (nagrado) za razvojno delo na področju izobraževanja odraslih. 0 0 1 138 Vir: Poročila o izpeljanih ekspertnih zunanjih evalvacijah v sodelujočih izobraževalnih organizacijah. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Splošne ugotovitve in dobre točke v zvezi z razvojnimi dosežki Za obravnavane primere izobraževalnih organizacij, ki so doslej sodelovale pri evalvaciji na področju Razvojna naravnanost organizacije, so ekspertni zunanji evalvatorji v tem sklopu na splošno ugotovili, da so izobraževalne organizacije:  v celoti ali deloma razvile lastne nove izobraževalne programe in izobraževalne dejavnosti, ki jih še vedno izvajajo,  v celoti ali deloma uvedle v svojo izobraževalno prakso nove metode učenja in/ali drugega dela z odraslimi ter nove učbenike, učna gradiva ali drug učne vire,  aktivno sodelovale v nacionalnih ali/in mednarodnih projektih in/ali dejavnostih, povezanih z izobraževanjem odraslih, pri čemer so izkazale tudi lastni prispevek v teh projektih,  omogočile, da so zaposleni in zunanji sodelavci deloma sodelovali v različnih organih zunaj organizacije, ki se ukvarjajo z vprašanji razvoja izobraževanja odraslih,  bile prepoznane kot pomemben razvojni dejavnik in bile v tej vlogi umeščene v veljavne razvojne plane drugih,  pri njih nekateri zaposleni oz. zunanji sodelavci prejeli priznanje (nagrado) za razvojno delo na področju izobraževanja odraslih. 37 Merilo smo uporabili prvič v letu 2015, ko sta bili z njim evalvirani 2 organizaciji, ki sta si izbrali to področje, v letu 2016 pa smo ga nekoliko spremenili. 38 Merilo smo uporabili prvič v letu 2016, z njim je bila evalvirana 1 organizacija, ki si je v letu 2016 izbrala to področje. Gre sicer za prenovljeno merilo, ki smo ga prvič uporabili v letu 2015. 183 Šibke točke v zvezi z razvojnimi dosežki Evalvatorji so v tem sklopu izpostavili naslednje šibke točke oz. pomanjkljivosti:  Pri proučevanju novo nastalih izobraževalnih programov (ali programov, katerih soavtorji so zaposleni iz evalvirane izobraževalne organizacije), so ekspertni zunanji evalvatorji v primerih nekaterih programov ugotavljali, da so bili programi, ki so jih dobili na vpogled, oblikovani na način, ki ni v skladu s strokovno doktrino. Predvsem so jim manjkale nekatere sestavine, to pa je pustilo vtis, da so nastali na hitro, brez tehtnih strokovnih premislekov (in morebiti tudi ustreznega znanja).  V nekem primeru, ko je izobraževalna organizacija sicer dokazala, da je v obravnavanem obdobju razvila nova učna gradiva, so evalvatorji ob vsebinskem pregledu teh učnih gradiv ugotovili, da so le ta neprilagojena odraslim in osnovnim didaktičnim načelom.  Ekspertni zunanji evalvatorji so opozorili tudi na primer, ko so ugotovili, da učitelji sicer pripravljajo različna učna gradiva, vendar so le-ta v nekaterih primerih pojmovana bolj kot »interna zadeva« posameznega učitelja, zato so pripravljena na način, kakor se zdi primeren posameznemu učitelju, torej ne nujno v skladu s smernicami, ki jih je izobraževalna organizacija sicer pripravila. Ob tem so ugotovili, da vsi učitelji niti ne poznajo smernic za pripravo učnih gradiv; ali pa jih pojmujejo zgolj kot neke vrste »tehnično navodilo«, torej nekaj, za kar bo že organizacija poskrbela, avtor pa s tem nima prav veliko opravka.  Prav tako so ekspertni zunanji evalvatorji ugotovili, da se zaposleni v obravnavanih primerih, z izjemo vodilnih, premalo vključujejo v različne organe izven izobraževalne organizacije, ki obravnavajo razvojna vprašanja, prav tako premalo sodelujejo na različnih domačih in mednarodnih konferencah in strokovnih posvetih. Predlogi za izboljšave v zvezi z razvojnimi dosežki Ekspertni zunanji evalvatorji so izobraževalnim organizacijam priporočili naslednje:  Vodstvom izobraževalnih organizacij so ekspertni zunanji evalvatorji priporočili, naj motivirajo svoje zaposlene, pa tudi zunanje sodelavce, da proučujejo izobraževalne potrebe ter oblikujejo nove neformalne izobraževalne programe. Če bo vodstvo sporočalo, da je to zaželeno in če bo za tako delo zagotovilo ugodne okoliščine (čas za tako delo, usposabljanje ipd.), bo organizacija prav gotovo prišla do dobrih rezultatov. S tem pa bo pospeševala razvoj na svojem temeljnem področju dela in dosegla tudi primeren odziv odraslih iz okolja. Organizacija pa s tem ne bo več zgolj multiplikatorica izvajanja izobraževalnih programov, ki jih razvijajo drugi, pač pa bo (še v večji meri) imela lastne programe, prilagojene potrebam, morebiti pa bo lahko postala tudi referenčni center za druge.  Organizacijam, ki so v zadnjem obdobju razvile nove izobraževalne programe, so ekspertni zunanji evalvatorji predlagali, da oblikujejo načrt dolgoročnega umeščanja teh programov v dejavnost organizacije ter v različne vsebinske in finančne sheme na regionalni in nacionalni ravni. Na ta način bodo organizacije bolj načrtno in manj stihijsko prispevale k trajnosti lastnih razvojnih dosežkov.  Organizacije so ekspertni zunanji evalvatorji spodbudili, da razmislijo o kakšni razvojni ideji, katere cilj bi bil v nekaj prihodnjih letih razviti dejavnost, ki je še ni v Sloveniji 184 ali pa tako, ki sicer je, pa jo bo organizacija prilagodila potrebam lokalnega okolja. To so svetovali tudi z vidika ekonomskih pogojev delovanja organizacije. Po mnenju evalvatorjev bo organizacija bolj močna, če bo načrtno gojila razvojno klimo in se znala razvojno odzivati na okoliščine, na katere sama nima vpliva (npr. zmanjšano financiranje določenih programov, nezanimanje za določene programe…).  Pomen razvoja podpornih dejavnosti kot so npr. svetovanje, učna pomoč, organizirano samostojno učenje ipd., so organizacije večinoma že same zapisale med strateške cilje razvoja organizacije. Tudi ekspertni zunanji evalvatorji so priporočili, da organizacije v prihodnjih letih okrepijo razvojno delo na tem področju.  V zvezi z učbeniki in drugimi učnimi gradivi, ki jih bo organizacija pripravljala v prihodnje, so ekspertni zunanji evalvatorji priporočili, da naj skrbno pretehta, kakšna ponudba učbenikov in učnih gradiv že obstaja in se odloči za pripravo novih le v primerih, ko gre res za neko novost, pomanjkanje na tržišču ipd.  Če naj bodo učbeniki oz. druga učna gradiva v resnici razvojni dosežek organizacije, so ekspertni zunanji evalvatorji priporočili vsaj dvoje: naj organizacija pripravljavce usposobi za pisanje učbenikov in drugih učnih gradiv ( jih pošlje na usposabljanje, zagotovi jim primerno gradivo), sama pa napiše kratka navodila, kako se v organizaciji pripravljajo učbeniki in druga učna gradiva (opredeli standarde kakovosti, ki jih bo zahtevala od avtorjev).  Ekspertni zunanji evalvatorji so organizacijam priporočili, naj poskušajo še druge sodelavce, ki tako doslej niso delovali, uvesti v delo v kakšen nacionalni projekt izobraževanja odraslih. Zanje bo to prav gotovo strokovni izziv, a strokovnjaki morajo vedno imeti tudi kakšen zahtevnejši izziv pred seboj, da strokovno rastejo, to pa se bo organizaciji s povečano strokovno razgledanostjo, samozavestjo, informiranostjo itd. prav gotovo obrestovalo tudi pri njeni dejavnosti.  Izobraževalne organizacije so tudi spodbudili, da nadaljujejo s prakso sodelovanja v mednarodnih projektih. Na ta način si ustvarjajo priložnosti za pretok znanja in izkušenj iz drugih okolij, ki so marsikdaj lahko razvojni izziv za njihovo delo – kako razviti nekaj, kar uporabljajo partnerji v drugih državah in to prilagoditi potrebam ter možnostim lastnega okolja.  Vodstvom izobraževalnih organizacij so ekspertni zunanji evalvatorji priporočili, da v naslednjih letih načrtno poskrbijo, da bo kdo od njihovih zaposlenih sodelavcev začel razvojno delovati v kakšnem izmed organov, ki se ukvarjajo z razvojem izobraževanja odraslih, pa naj gre za lokalno, regionalno, nacionalno ali mednarodno raven. Delo v takšnih organih ima namreč po njihovem mnenju, povratni učinek tudi na organizacijo – njeni sodelavci na ta način pridobijo nove kompetence za razvojno delo, novo znanje in morda tudi večjo motivacijo za tako delo, vse to pa prinašajo v kolektiv, kar ima neposreden ali posreden učinek na kakovost delovanja organizacije. 185 4.4 UČINKI IN NAdALJNJI RAZVOJ IZPELJANIH EKSPERTNIH ZUNANJIH EVALVACIJ V tem poglavju se bomo ukvarjali z dvema vprašanjema – zanimalo nas bo, ali imajo ekspertne zunanje evalvacije sploh kakšen učinek v evalviranih organizacijah ali pa je to zgolj neka »epizoda« v razvoju organizacije, ki ne poseže bistveno v njeno jedro; stvari se dogajajo naprej tako kot bi se sicer ali pa pod vplivom povsem drugih dogodkov in razmer. Drugo vprašanje, ki je s tem močno povezano, pa je vprašanje nadaljnjega razvoja ekspertnih zunanjih evalvacij. Če imajo te dobre učinke v organizacijah, potem kaže razmišljati, da bi ekspertne zunanje evalvacije izvajali tudi v prihodnje, ne nujno prav v taki obliki kot doslej, a vendarle tako, da bi njene izsledke organizacije lahko dobro uporabljale pri načrtovanju in delovanju za nadaljnji razvoj. Če pa pravih učinkov ekspertnih zunanjih evalvacij v izobraževalnih organizacijah ni, potem jih ne kaže več izvajati, pač pa poiskati druge načine za spodbujanje izobraževalnih organizacij za sistematično delo pri razvoju lastne kakovosti. 4.4.1 Učinki izpeljanih ekspertnih zunanjih evalvacij Kot izhodišče v razpravo je treba spomniti, kakšna je narava ekspertnih zunanjih evalvacij, ki jih izvaja ACS in ki so predstavljene v tem poročilu. Če spomnimo, da je »poglavitni namen zunanjega presojanja kakovosti izkazovanje odgovornosti za kakovost ali nadzor nad doseženo kakovostjo« (Možina 2010, str. 129), potem je nedvomno, da v teh evalvacijah ne gre za zunanji nadzor, pač pa predvsem za izkazovanje odgovornosti za lastno kakovost tistih izobraževalnih organizacij, ki se odločajo za tako evalvacijo. V tem primeru je »ekspertna zunanja evalvacija usmerjena predvsem razvojno, s svojimi ugotovitvami izobraževalnim organizacijam pomaga pri načrtovanju izboljšav in razvoja« (Možina 2010, str. 131). Izidi so last izobraževalne organizacije, do njih imajo odgovornost, pa tudi pravico – izide lahko po lastni presoji uporabijo v celoti ali deloma, lahko pa jih tudi zavržejo. Povsem prostovoljno se tudi lahko odločajo, komu bodo te izide predstavili ali pa jih ne bodo predstavili nikomur. Tu sicer naletimo na dilemo, ki se pojavlja tako v strokovnih razpravah kot v praksi ne samo pri nas, pač pa tudi v drugih državah, ali izkazovanje odgovornosti za kakovost ne nosi s seboj tudi dimenzije javnih predstavitev izidov, saj gre za odgovornost javnih organizacij za izobraževanje odraslih za kakovost, tudi za pravico javnosti o obveščenosti o kakovosti teh organizacij. Ekspertne zunanje evalvacije, kakor jih je doslej izvajal ACS, lastništvo izidov v celoti prepuščajo organizacijam, s tem pa se še povečuje odgovornost izobraževalnih organizacij do izidov ekspertne zunanje evalvacije in učinkov, ki jih ta ima ali jih nima. Odgovornost je izražena v tem, da organizacija sama, a odgovorno in z vsem svojim razpoložljivim znanjem presodi, kaj izidi ekspertne zunanje evalvacije pripovedujejo o njeni kakovosti, katere ukrepe in ravnanja kaže na njihovi podlagi uvesti v njeno delovanje ter nato te načrte tudi uresničevati. Pri tem so ji lahko v pomoč priporočila ekspertnih zunanjih evalvatorjev, ni pa to nujno; bistvena odgovornost organizacije je, da se sooči z ugotovitvami o doseženi ravni kakovosti in da na tej podlagi ukrepa, kakor pač sama presodi. Največja stopnja 186 neodgovornosti bi bila, če bi organizacija pri vseh tistih ugotovitvah ekspertne zunanje evalvacije, ki ji niso pogodu, ravnala »nikalno«, to je, da bi utemeljevala (sama zase, saj od zunaj na to nima nihče vpliva), da so vse ugotovitve evalvatorjev napačne in da ji zato ni potrebno ničesar storiti. Seveda je mogoče, da je kakšna ugotovitev evalvatorjev zaradi različnih razlogov neprimerna ali nepopolna, ne more pa to veljati za večino ugotovitev, saj so evalvatorji preskušeni strokovnjaki z večletno prakso pri presojanju različnih pojavov v izobraževanju (odraslih). Če bi do primerov neutemeljenega »zanikanja« izidov ekspertne zunanje evalvacije prišlo, o čemer bomo jasneje izvedeli iz prikaza izidov v nadaljevanju, lahko gre za posebne učinke izvedenih ekspertnih zunanjih evalvacij, ki mejijo na samozadostnost organizacije ali celo »samopoveličevanje«, ki pa jih ta študija ni merila, lahko jih bomo le opazovali, če se bodo pojavili. Pri presojanju učinkov ekspertne zunanje evalvacije je treba imeti v mislih tudi pristope, ki so jo do te evalvacije imele različne organizacije. Nekatere so vanjo vstopale dokaj nesamozavestno in z nekim strahom, kaj bo evalvacija odkrila. Ko so od evalvatorjev dobile tudi nekaj ali mnogo pozitivnih odzivov, so bile prijetno presenečene. Po navadi so zato tudi dobro sprejemale bolj kritične ocene. To so bili sicer takojšnji učinki, vprašanje pa je, kakšen dolgoročni učinek pa je imelo dejstvo, da so mislili, da so slabi, pa jih evalvatorji niso tako ocenili – ali jih je to spodbudilo, da so se želeli izboljšati še na slabših področjih, ali pa jih je to »uspavalo«, češ, saj smo boljši, kot smo mislili, zdaj se pa ni treba tako truditi. Drug skrajni pristop predstavljajo organizacije, ki so imele o sebi zelo dobro samopodobo in so v zunanji evalvaciji samo iskale potrditev. Če izidi evalvacije tega niso potrdili v celoti, četudi so bile v nekaterih primerih ocene evalvatorjev pri večini meril sicer zelo dobre, so te organizacije včasih reagirale zaprepaščeno, užaljeno in/ali jezno. Tudi v tem primeru gre za takojšnje učinke, od zrelosti organizacije pa je odvisno, ali so znale te takojšnje reakcije »predelati« in so po racionalnem razmisleku sprejele izide evalvacije ter primerno ukrepale, ali pa so ostale v fazi zanikanja izidov. Najboljše takojšnje učinke so imele tiste organizacije, ki so v evalvacijo vstopale z realnimi pričakovanji in z zavedanjem, da imajo nekatere dobre izide, imajo pa tudi pomanjkljivosti. Izide evalvacije so sprejele kot več ali manj pričakovane in kot izhodišče za svoje delovanje; pri njih ni bila potrebna faza »čustvenega predelovanja« izidov. Preden si ogledamo pridobljene podatke iz anketiranja, spomnimo, da so vse dosedanje ekspertne zunanje evalvacije, ki jih je izvajal ACS, kot predmet opazovanja imele dve področji. Eno področje je bilo stalno v vseh evalvacijah, to je razvitost notranjega sistema kakovosti v organizaciji, ki izobražuje odrasle. Drugo področje pa je bilo v začetku podpora posamezniku pri njegovem izobraževanju, kasneje, ko se je evalviranim področjem pridružila še razvojna naravnanost izobraževalne organizacije, pa sta bili to izbirni področji, izobraževalna organizacija se je sama odločala, katero od teh dveh področij poleg notranjega sistema kakovosti želi evalvirati. Razlogov, da je bilo področje notranji sistem kakovosti v vseh evalvacijah predmet presojanja, je več. Poglavitni je ta, da se je v zadnjih letih v Sloveniji razvilo več pristopov za presojanje kakovosti izobraževanja in številne izobraževalne organizacije so preskušale ta ali oni pristop. S tako pridobljenim znanjem in izkušnjami pa naj bi bile sposobne, da z ravni izvajanja različnih, velikokrat med seboj nepovezanih, projektov ali posameznih ukrepov v zvezi s kakovostjo, preidejo k celovitejšemu pristopu, kako bodo same oblikovale svoj lastni pristop, svoj notranji sistem kakovosti, ki bo celovit, povezan in učinkovit. Ekspertna zunanja evalva 187 cija ima na eni strani namen presoditi, koliko so ti notranji sistemi kakovosti v izobraževalnih organizacijah za odrasle že razviti, na drugi strani pa naj bi imela tudi izobraževalni namen, saj z opredeljenimi kazalniki in merili kaže organizaciji, kako bi morala svoj notranji sistem izgrajevati. Drug tak namen pa je bil prav gotovo, ne glede na to, ali gre za izobraževalno organizacijo, ki se je že preskušala z različnimi modeli presojanja in razvijanja kakovosti ali pa še z nobenim, da spodbudi zavestno delo na področju kakovosti; predvsem z vidika odgovornosti do udeležencev izobraževanja je prav vsaka izobraževalna organizacija dolžna, da zagotovi primerno raven kakovosti svojega dela, ki pa ga brez usmerjenega, načrtnega dela ni mogoče doseči. Tudi v tem primeru naj bi bila ekspertna zunanja evalvacija izobraževalnim organizacijam v pomoč, da presodijo, katera ravnanja so že primerna, kaj pa morajo v svojo prakso še uvesti ali kako spremeniti dosedanja ravnanja. Kakovost podpore posamezniku pri izobraževanju v današnjem načinu pridobivanja znanja postaja vse bolj pomembna, saj učitelj ni več edini vir znanja, zato pa posameznik potrebuje večjo podporo, da zna poiskati in izbrati različne vire, jih ovrednotiti in uporabiti, ob tem pa postaja vloga samostojnega učenja vse bolj pomembna. Če ob tem pomislimo še na »klasične« potrebe posameznika po podpori pri učenju (motivacija, ovire, s katerimi se srečuje pri izobraževanju, nepoznavanje učnih metod, učne težave ipd.), potem je nedvomno, da je to področje tisto, ki razlikuje odlične organizacije od tistih, ki pomena podpore posamezniku še niso ozavestile in odgovornost za učenje prepuščajo zgolj posamezniku. Tudi v tem primeru je bila zamišljena dvojna vloga ekspertne zunanje evalvacije – da organizaciji pomaga pri presoji, katere vidike podpore posamezniku pri učenju ima že dobro razvite, katere pa bi kazalo načrtovati in izpeljevati bolje; druga vloga pa je, s pomočjo kazalnikov in meril, ki jih vsebuje, v usposabljanju organizacij za razumevanje celovite in sistematične podpore posamezniku pri učenju. V zadnjih letih izvajanja ekspertnih zunanjih evalvacij se je tema dvema področjema pridružilo še novo izbirno področje, to je razvojna usmerjenost izobraževalnih organizacij. Izobraževalne organizacije za odrasle so že od nekdaj bolj kot šole za mladino in odrasle odvisne od lastne sposobnosti proučevanja izobraževalnih potreb ter razvijanja izobraževalnih programov in dejavnosti. Temu se v zadnjih letih pridružuje še premik od klasičnega izvajanja izobraževalnih programov k projektnemu delu ter širjenje delovanja iz ožjih lokalnih ali nacionalnega okolja v mednarodno okolje. Tako delovanje pa zahteva posebne pristope, posebno znanje in izkušnje, tudi drugačno organizacijo dela. Z ekspertnimi zunanjimi evalvacijami naj bi sprožali razmišljanje izobraževalnih organizacij, kako kakovostno delovati v spremenjenih okoliščinah in to načrtno, z neko vizijo in posledičnim ravnanjem, ki organizacijo kljub zahtevnim razmeram usmerjeno vodi h kakovostnemu delu tudi v takih razmerah. Vse opisano izhaja iz pričakovanih učinkov, ki si jih je zastavil ACS ob načrtovanju izpeljevanja ekspertnih zunanjih evalvacij in v nadaljevanju si bomo ogledali, koliko je mogoče iz splošnih ugotovitev za vse organizacije sklepati, da so taki učinki evalvacij res zaznani. Pri presojanju učinkov pa je treba imeti v mislih tudi to, da so ekspertne zunanje evalvacije v sodelujočih izobraževalnih organizacijah potekale v različnem času, v nekaterih v letu 2012 in v nekaterih v letu 2016. Ker v tej študiji nismo obravnavali posameznih primerov, ta časovna dimenzija ni vidna, vsekakor pa je prisotna, lahko pa ima več vplivov. Organizacije, v katerih je ekspertna zunanja evalvacija potekala že pred več leti, so imele možnost, da v svojo prakso vpeljejo korenitejše spremembe, ki zahtevajo tudi več časa, medtem ko tiste, 188 kjer je evalvacija potekala v zadnjih letih, takih sprememb morebiti še niso mogle uvesti. Hkrati je mogoče v organizacijah, kjer je evalvacija potekala pred več leti, motivacija po evalvaciji že upadla in ni več pripomoček pri njenem delovanju; imajo pa te organizacije možnost, da že evalvirajo učinke morebitnih sprememb, ki so jih uvedle na podlagi ekspertne zunanje evalvacije, medtem ko tega druge organizacije še nimajo. Prvi sklop vprašanj, ki smo jih namenili sodelujočim v anketiranju, je povezan z njihovo oceno splošnih učinkov ekspertne zunanje evalvacije. Zanimalo nas je, kako na splošno ocenjujejo te učinke, ali so kakšni učinki sploh bili, še posebej smo jih vprašali, če so bili po njihovem ti učinki pozitivni ali negativni. Direktorji oz. ravnatelji, odgovarjalo jih je devet, imeli pa so možnost izbire več odgovorov, so odgovarjali takole: Preglednica 76: Odgovori direktorjev oz. ravnateljev na vprašanje o tem, kako bi na splošno ocenili učinke izpeljane zunanje evalvacije pri njih (N=9) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Bistvenega vpliva na naše delo ni imela, delamo to, kar smo že sami načrtovali. 0 0,0 0,0 Naša pričakovanja o tem, kaj nam bo prinesla ekspertna zunanja evalvacija, se niso uresničila, rezultati niso zelo uporabni. 0 0,0 0,0 Ekspertna zunanja evalvacija je vplivala, da smo na nekaterih področjih malo prilagodili svoje delovanje, v glavnem pa delamo tako, kot smo že prej sami načrtovali. 0 0,0 0,0 Naša pričakovanja o tem, kaj nam bo prinesla ekspertna zunanja evalvacija, so se uresničila le delno. 1 8,3 11,1 Ekspertna zunanja evalvacija je kar pomembno vplivala na naše delovanje, okrepili smo nekatere svoje dobre točke, deloma pa smo že pristopili k odpravljanju šibkih točk, tudi s pomočjo usmeritev, ki smo jih dobili. 3 25,0 33,3 Ekspertna zunanja evalvacija je zelo pomembno vplivala na naše delovanje, okrepili smo svoje dobre točke, načrtno smo pristopili k odpravljanju šibkih točk, tudi s pomočjo usmeritev, ki smo jih dobili. 2 16,7 22,2 Naša pričakovanja o tem, kaj nam bo prinesla ekspertna zunanja evalvacija, so se v celoti uresničila. 3 25,0 33,3 Drugo. 3 25,0 33,3 SKUPAJ 12 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. 189 Trije direktorji oz. ravnatelji so se odločili (tudi) za odgovor »Drugo.« in svojo izbiro utemeljili tako:  Zunanja ekspertna evalvacija je pri zaposlenih pripomogla k večji osveščenosti o pome- nu in zainteresiranosti za delovanje na področju kakovosti.  Prav bi bilo, da se upošteva pri javnih razpisih Ministrstva za izobraževanje, znanost in šport skrb za kakovost v organizaciji za izobraževanje odraslih s poudarkom na sodelo vanju v zunanji evalvaciji.  Deloma smo z zastavljenimi cilji nadaljevali tudi na ta način, da smo upoštevali pripom be zunanje ekspertne evalvacije, načeloma pa je bila izkušnja za nas tako negativna, da smo večje spremembe na tem področju odložili za eno leto in se jih nato lotili na popol noma drugačen način. Osem odgovorov pove, da je ekspertna zunanja evalvacija pomembno ali celo zelo pomembno vplivala na delo evalviranih izobraževalnih organizacij na področju kakovosti, kar je vsekakor zelo razveseljiv izid. Ti sodelujoči so izbrali odgovore, da so na njihovo delo učinkovale tako zaznane dobre kot šibke točke. Med vnaprej ponujenimi odgovori je le en direktor oz. ravnatelj izbral odgovor »Naša pričakovanja o tem, kaj nam bo prinesla ekspertna zunanja evalvacija, so se uresničila le delno.« Ta odgovor nam sicer že sam po sebi nekaj pove, še bolje bi bilo, če bi ta anketiranec svojo izbiro tudi pojasnil, česar pa ni storil. Odgovor tako težko komentiramo, saj bi ga lahko le, če bi imeli podatke o tem, kakšna pričakovanja so v tej organizaciji imeli. Nekoliko natančnejši je bil zapis direktorja oz. ravnatelja, ki je pri vprašanju zapisal, da je bila za njih izkušnja z ekspertno zunanjo evalvacijo tako negativna, da so celo odložili uvajanje večjih sprememb v zvezi s kakovostjo za eno leto. Iz zapisanega tudi izvemo, da so lahko le deloma upoštevali priporočila evalvatorjev, večino stvari pa so začeli po do-ločenem času spreminjati, vendar na drugačen način, kot so jim to priporočili evalvatorji. Tudi v tem primeru ne vemo, zakaj je bila zanje izkušnja z evalvacijo tako negativna, le sklepamo lahko, da so bile njene ugotovitve v nasprotju s predstavo organizacije o delu in dosežkih na področju kakovosti. Očitno pa je, da so po določenem času le uporabljali (tudi) izsledke evalvacije, saj so navedli, da so se sprememb lotili na povsem drugačen način – sklepamo lahko, da so se vsaj deloma z ugotovitvami strinjali, niso se pa strinjali s priporočili, kako ravnati v prihodnje. Po začetnem negativnem učinku lahko sklepamo, da je tudi v tem primeru šlo za nek pozitiven učinek v organizaciji, saj je začela uvajati spremembe, pri čemer ni tako pomembno, da priporočil evalvatorjev ni upoštevala, pomembno je, da je spremembe uvajala. Enako vprašanje smo zastavili tudi koordinatorjem evalvacije iz izobraževalnih organizacij. Tudi oni so imeli možnost izbire več odgovorov, odgovarjalo pa jih je devet, in sicer takole: 190 Preglednica 77: Odgovori koordinatorjev iz organizacij na vprašanje o tem, kako bi na splošno ocenili učinke izpeljane zunanje evalvacije pri njih (N=9) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Bistvenega vpliva na naše delo ni imela, delamo to, kar smo že sami načrtovali. 0 0,0 0,0 Naša pričakovanja o tem, kaj nam bo prinesla ekspertna zunanja evalvacija, se niso uresničila, rezultati niso zelo uporabni. 0 0,0 0,0 Ekspertna zunanja evalvacija je vplivala, da smo na nekaterih področjih malo prilagodili svoje delovanje, v glavnem pa delamo tako, kot smo že prej sami načrtovali. 1 9,1 11,1 Naša pričakovanja o tem, kaj nam bo prinesla ekspertna zunanja evalvacija, so se uresničila le delno. 1 9,1 11,1 Ekspertna zunanja evalvacija je kar pomembno vplivala na naše delovanje, okrepili smo nekatere svoje dobre točke, deloma pa smo že pristopili k odpravljanju šibkih točk, tudi s pomočjo usmeritev, ki smo jih dobili. 6 54,5 66,7 Ekspertna zunanja evalvacija je zelo pomembno vplivala na naše delovanje, okrepili smo svoje dobre točke, načrtno smo pristopili k odpravljanju šibkih točk, tudi s pomočjo usmeritev, ki smo jih dobili. 1 9,1 11,1 Naša pričakovanja o tem, kaj nam bo prinesla ekspertna zunanja evalvacija, so se v celoti uresničila. 2 18,2 22,2 Drugo. 0 0,0 0,0 SKUPAJ 11 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za koordinatorje ekspertne zunanje evalvacije v evalviranih organizacijah - 2017, arhiv Andragoškega centra Slovenije. Takoj lahko ugotovimo, da so odgovori koordinatorjev bolj osredinjeni okrog odgovora, da je ekspertna zunanja evalvacija kar pomembno vplivala na delovanje organizacije in da deloma že uresničujejo predlagane usmeritve. Ostale odgovore, ki potrjujejo primernost oz. pomemben vpliv ekspertne zunanje evalvacije na njihovo organizacijo, sta izbrala le po en ali dva anketiranca. Vseeno je med koordinatorji približno enak delež tistih, ki splošne učinke ocenjujejo pozitivno, kot je to primer pri direktorjih oz. ravnateljih. Dva odgovora pa tudi v tem primeru kažeta na ne največje zadovoljstvo z izpeljano ekspertno zunanjo evalvacijo. Iz mnenj teh dveh koordinatorjev lahko razberemo, da so se njihova pričakovanja uresničila le delno, sporočata pa tudi, da je evalvacija le malo vplivala na njihovo delovanje, v glavnem pa delajo tako, kot so že prej sami načrtovali. 191 To lahko razumemo, kot da so se ugotovitve in predlogi evalvacije ujemali z vedenjem in načrtovanjem te organizacije, lahko pa se je organizacija le deloma strinjala z ugotovitvami evalvatorjev in zato predlogov ni upoštevala. Ta ocena je nekoliko podobna oceni direktorja oz. ravnatelja iz ene organizacije, o kateri smo pisali maloprej. Ne vemo, če gre za direktorja oz. ravnatelja in koordinatorja iz iste organizacije, nekako logična pa se nam zdi ta povezava, kar pa niti ni tako pomembno, saj tudi v primeru, da gre za dve različni organizaciji, to ni tako velik delež, da bi lahko dvomili o pozitivnih učinkih ekspertne zunanje evalvacije nasploh, različna mnenja pa niso nepričakovana in so za nadaljnje delo pri razvoju ekspertnih zunanjih evalvacij celo dobrodošla, saj izzivajo k razmišljanju. V nadaljevanju smo tako direktorje oz. ravnatelje kot koordinatorje vprašali, ali so poleg že opisanih zaznali še kakšne druge splošne učinke ekspertnih zunanjih evalvacij. Ponudili smo jim niz možnih odgovorov, pri čemer so bili nekateri bolj povezani z vprašanji kakovosti, drugi pa le posredno. Na vprašanje je odgovarjalo devet direktorjev oz. ravnateljev evalviranih organizacij ter prav toliko koordinatorjev, izbirali pa so lahko več odgovorov. 192 Preglednica 78: Odgovori direktorjev oz. ravnateljev in koordinatorjev iz organizacij na vprašanje, ali opažajo še kakšne druge splošne pozitivne učinke izpeljane ekspertne zunanje evalvacije (N direktorji oz. ravnatelji=9, N koordinatorji=9) dIREKTORJI OZ. RAVNATELJI KOORdINATORJI FREK VENCA OdSTO TEK GLE dE NA OdGO VORE OdSTO TEK GLE dE NA OSEbE FREK VENCA OdSTO TEK GLE dE NA OdGO VORE OdSTO TEK GLE dE NA OSEbE Smo bolj samozavestni glede kakovosti svojega dela. 3 10,3 33,3 5 14,3 55,6 Še bolj zagnano delamo na področju kakovosti. 3 10,3 33,3 3 8,6 33,3 Večkrat se pogovarjamo o kakovosti. 5 17,3 55,6 6 17,1 66,7 Usposabljamo se za delo na področju kakovosti. 5 17,3 55,6 5 14,3 55,6 Bolje smo se organizirali za delo na področju kakovosti. 4 13,8 44,4 5 14,3 55,6 Bolje smo uredili dokumentacijo v zvezi z našim delom na področju kakovosti. 4 13,8 44,4 6 17,1 66,7 Vzpostavili smo dobre delovne stike z nekaterimi drugimi organizacijami, v katerih je tudi potekala ekspertna zunanja evalvacija. 0 0,0 0,0 1 2,9 11,1 Vzpostavili smo dobre delovne stike z nekaterimi drugimi organizacijami, ki veliko delajo na področju razvoja kakovosti. 2 6,9 22,2 2 5,7 22,2 Vključili smo se v nacionalne in/ali mednarodne projekte o kakovosti. 2 6,9 22,2 2 5,7 22,2 Nič od tega. 0 0,0 0,0 0 0,0 0,0 Drugo. 1 3,4 11,1 0 0,0 0,0 SKUPAJ 29 100,0 / 35 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje in koordinatorje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. 193 Direktor oz. ravnatelj, ki je izbral (tudi) odgovor »Drugo.«, je še pripisal:  V organizaciji smo imenovali svetovalca za kakovost (sistemizirano delovno mesto), ki se načrtno ukvarja s tem področjem. Kot je razvidno, oboji, tako direktorji oz. ravnatelji kot koordinatorji, opažajo, da ima izpeljana ekspertna zunanja evalvacija kar nekaj pozitivnih učinkov; prav nihče ni izjavil, da ni prav nobenih takih učinkov. Oboji poudarjajo, da se po ekspertni zunanji evalvaciji več pogovarjajo o kakovosti in se usposabljajo za delo na tem področju. Koordinatorji so ob tem dokaj pogosto poročali, da so bolj samozavestni o kakovosti svojega dela in da so se na tem področju bolje organizirali. Taka opažanja so vsekakor razveseljiva, saj pomeni, da imajo ekspertne zunanje evalvacije tudi nek širši vpliv na organizacijo, ne zgolj na področjih, ki so bila evalvirana. In če je to vlaganje v znanje za bolj sistematično in kakovostno delo na področju presojanja in razvijanja kakovosti, je to odlično. Prav tako se nam zdi primerno, da se organizacije, ki so dosegle dobre izide v evalvaciji, počutijo bolj samozavestne glede svojih dosežkov, predvsem pa je dobro, da se zavedajo svoje sposobnosti, da znajo delati dobro; to spoznanje jih bo, upamo, vodilo tudi k delu na področju kakovosti v prihodnje. Pomembno je tudi, da se sodelavci v organizaciji pogovarjajo o kakovosti, saj je bilo v nekaterih organizacijah opazno, da vsak učitelj pri svojem delu ravna glede na svoje znanje in zavedanje o pomenu kakovosti, skoraj nikoli pa se o tem ne pogovarja z drugimi, zato ne (z)ve, kako se s tem vprašanji spopadajo drugi, kakšne metode in načine uporabljajo, kakšni so njihovi dosežki, da ne govorimo o tem, da se skupaj ne dogovarjajo, kaj bi bilo potrebno storiti in kako. Če je ekspertna zunanja evalvacija spremenila te razmere, potem je to velik dosežek. Zaustaviti pa se moramo še ob dokaj pogostem sporočilu koordinatorjev, da se jim zdi pozitivno, da so po izpeljani ekspertni zunanji evalvaciji bolje uredili dokumentacijo v zvezi s kakovostjo. To je dobro, če so ob procesu evalvacije spoznali vsebinske razloge, zakaj je treba včasih tudi kaj zapisati. V mislih imamo predvsem načrte v zvezi s kakovostjo, poročanje o izidih, skupne dogovore o kakovostnem ravnanju, poročanje o samoevalvacijah oz. različnih oblikah presojanja kakovosti ipd. Če gre za take primere in če so koordinatorji mislili na to, ko poročajo o boljšem urejanju dokumentacije, potem gre res za pozitivne premike. Včasih pa smo naleteli na mnenje, da v organizaciji sicer delajo dobro, le zapisanega tega nimajo, zato pa so bili slabo ocenjeni pri določenem merilu. Občutek, da so v ekspertni zunanji evalvaciji pomembni zgolj pisni dokumenti, ni pravilen. Res je, da so organizacije zaprošene, da samooceni, ki je izhodišče za ocenjevanje, priložijo čim več razpoložljivih dokumentov, saj imajo evalvatorji tako že pred obiskom možnost, da si ustvarijo natančnejšo sliko o organizaciji. Vendar evalvatorji izpolnjevanje meril vedno preverijo tudi na obisku; če pisnih dokumentov ni, se o določenem vprašanju več pogovarjajo z različnimi subjekti, da si lahko ustvarijo mnenje o določenem vprašanju. In še več – preverijo tudi zapisano, saj se je večkrat zgodilo, da je bilo na papirju nekaj zapisanega, pa se je izkazalo, da to ne odraža stanja, ravni kakovosti (če odmislimo sicer redke primere, ko se je izkazalo, da je organizacija prav zaradi evalvacije pripravila kak dokument in ga priložila samooceni). Zapisi so torej le pripomočki v evalvaciji, niso pa odločujoči pri vrednotenju. Zato bi bilo zelo zgrešeno, če bi ekspertna zunanja evalvacija dajala vtis, da je nekdo kakovosten, če ima veliko pisne dokumentacije. 194 Podobno kot za pozitivne učinke smo direktorje oz. ravnatelje in koordinatorje vprašali, če so zaznali tudi kakšne negativne učinke izvedenih ekspertnih zunanjih evalvacij. Na vprašanje je odgovarjalo devet direktorjev oz. ravnateljev evalviranih organizacij ter prav toliko koordinatorjev, izbirali pa so lahko več odgovorov. Preglednica 79: Odgovori direktorjev oz. ravnateljev in koordinatorjev na vprašanje, ali opažajo tudi kakšne negativne učinke izpeljane ekspertne zunanje evalvacije (N direktorji oz. ravnatelji=9, N koordinatorji=9) dIREKTORJI OZ. RAVNATELJI KOORdINATORJI FREK VENCA OdSTO TEK GLE dE NA OdGO VORE OdSTO TEK GLE dE NA OSEbE FREK VENCA OdSTO TEK GLE dE NA OdGO VORE OdSTO TEK GLE dE NA OSEbE Smo zaskrbljeni, koliko dela nas še čaka pri razvoju kakovosti. 1 7,7 11,1 2 20,0 22,2 Ni nam vseeno, ker nismo dosegli prav dobrih rezultatov, to nas demotivira. 0 0,0 0,0 0 0,0 0,0 Razočarani smo, naša predstava o naši kakovosti je drugačna. 0 0,0 0,0 1 10,0 11,1 Rezultati niso dobro vplivali na odnose v kolektivu. 0 0,0 0,0 0 0,0 0,0 Rezultati niso dobro vplivali na odnose med vodstvom in zaposlenimi. 0 0,0 0,0 0 0,0 0,0 Rezultati niso dobro vplivali na odnose v komisiji za kakovost. 0 0,0 0,0 0 0,0 0,0 Postali smo negotovi, kaj bi pravzaprav morali narediti na področju kakovosti. 1 7,7 11,1 1 10,0 11,1 Nič od tega. 7 53,8 77,8 6 60,0 66,7 Drugo. 4 30,8 44,4 0 0,0 0,0 SKUPAJ 13 100,0 / 10 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje in koordinatorje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. 195 Trije od štirih direktorjev oz. ravnateljev, ki so izbrali (tudi) odgovor »Drugo.«, so zapisali:  Negativnih učinkov ne opažamo.  Zunanja evalvacija ni imela negativnih učinkov.  Nismo opazili negativnih učinkov. Kot je razvidno iz prikazanih izidov, tako večina direktorjev oz. ravnateljev kot koordinatorjev ni opazila nobenega negativnega učinka izpeljane ekspertne zunanje evalvacije, kar je zelo razveseljivo, saj je takrat, ko nekdo od zunaj presoja naše delo, mogoče pričakovati, da bi to lahko imelo tudi kakšne negativne učinke, zlasti če ocene niso take, kot smo jih pričakovali: jeza, zanikanje, omalovaževanje sposobnosti in znanja tistih, ki so take ocene dali, prerekanje, zakaj je kdo v kolektivu kriv za ne najboljše ocene ipd. Če teh pojavov v večji meri ni, potem to kaže na primernost načina sporočanja ekspertnih zunanjih evalvatorjev tudi o takih ugotovitvah in tudi na zrelost sodelujočih organizacij. Le posamezniki sporočajo, da so zaskrbljeni, koliko dela jih še čaka na področju kakovosti; če gre za organizacije, kjer so evalvatorji zaznali več pomanjkljivosti, je to tudi razumljiva reakcija. Vendar delo pri razvoju kakovosti nikoli ne poteka »na horuk«, na hitro, pač pa postopoma, s preskušanjem določenih rešitev in s postopnim vključevanjem vseh zaposlenih, ki jih neka rešitev zadeva. Vsako hitenje in vpeljevanje »tisoč« sprememb na enkrat ne bi dalo pravih izidov. Zato upamo, da je v teh organizacijah skrb, koliko dela jih še čaka, »pozitivna«: imajo predstavo, kaj vse je treba postoriti, vendar bodo to počeli postopoma in premišljeno. Po en direktor oz. ravnatelj ter koordinator sporočata tudi, da so postali negotovi, kaj bi pravzaprav morali narediti na področju kakovosti. To je na videz paradoksalna izjava, saj ekspertna zunanja evalvacija da dokaj natančne usmeritve, kaj bi bilo po mnenju evalvatorjev potrebno postoriti. Morebiti si bi v organizaciji želeli, kakor je nekdo napisal v anketi in smo o tem že pisali, da bi evalvatorji napisali nekakšen »vrstni red«, kaj storiti najprej in kaj kasneje. Odgovornosti za presojo kako, po kakšnem zaporedju naj bi se uvajale določene spremembe, ne more in ne sme prevzeti nihče zunaj organizacije, tudi ekspertni zunanji evalvatorji ne, ker take odločitve temeljijo na temeljiti presoji, kaj sploh narediti. Ker ni mogoče natančno ugotoviti, za katero (kateri) organizaciji gre, je lahko samo na splošno zapisati, da je v takem primeru vedno najbolje pridobiti novo, bolj celovito znanje o delu na področju kakovosti in morebiti izpeljati enega ali več zgledovalnih obiskov v organizacijah, ki v Sloveniji prednjačijo po izidih glede sistematičnih in celovitih pristopov v zvezi z razvijanjem kakovosti. Odgovor na vprašanje, kaj sploh narediti na področju kakovosti, bo organizaciji (organizacijama) tako prav gotovo bolj jasen. En koordinator je zapisal, da so razočarani, ker je njihova predstava o njihovi kakovosti drugačna. To izjavo smo že srečali in o njej tudi pisali. Morebiti kaže samo zapisati, da je za upati, da ta organizacija ne bo »pestovala svojega razočaranja« in tega vzela kot izgovor, da ne bi (več, bolje) delala na področju kakovosti. S takimi občutki se je dobro spopasti tako, da jih sicer dopustimo, da so izraženi, a se kmalu s pogovori z zaposlenimi od te faze počasi premaknemo k preusmeritvi pozornosti na racionalno razmišljanje, kaj od izjav evalvatorjev pa le drži in kako ukrepati. Pri tem ni nujno upoštevati nasvetov evalvatorjev, če so ti nasveti »čustveno obremenjeni« z vidika tistih, ki naj bi jih upoštevali, pač pa poiskati druge rešitve, ki bodo spreminjale slabše delovanje ali razmere. 196 Po vprašanjih, ki so na splošno spraševala o učinkih izvedenih ekspertnih zunanjih evalvacij, smo anketirancem zastavili še vprašanja o konkretnih ugotovitvah evalvacij in njihovih učinkih. Prvo vprašanje se je nanašalo na to, kakšne učinke je imel pregled ugotovljenih dobrih točk v ekspertni zunanji evalvaciji. Vprašanje smo namenili vsem trem subjektom, direktorji oz. ravnatelji in koordinatorji so nanj odgovorili, kot je prikazano spodaj, pri tem so oboji imeli možnost izbire več ponujenih odgovorov: Preglednica 80: Odgovori direktorjev oz. ravnateljev in koordinatorjev na vprašanje, kakšne učinke je imel v njihovi organizaciji pregled ugotovljenih dobrih točk iz poročila o izpeljani ekspertni zunanji evalvaciji (N direktorji oz. ravnatelji=9, N koordinatorji=9) dIREKTORJI OZ. RAVNATELJI KOORdINATORJI FREK VENCA OdSTOTEK GLEdE NA OdGOVO RE OdSTOTEK GLEdE NA OSEbE FREK VENCA OdSTOTEK GLEdE NA OdGOVO RE OdSTOTEK GLEdE NA OSEbE Veseli smo, da so jih ekspertni zunanji evalvatorji zaznali in na teh področjih 3 23,1 33,3 7 29,2 77,8 delamo še naprej tako kot doslej. Analizirali smo, katera naša ravnanja so privedla do dobrih 0 0,0 0,0 5 20,8 55,6 rezultatov in smo jih še okrepili. O ugotovljenih dobrih točkah smo se pogovorili v kolektivu in dali 2 15,4 22,2 4 16,7 44,4 priznanje tistim, ki so prispevali k takim ocenam. O ugotovljenih dobrih točkah smo se pogovorili v kolektivu in usmerili vse zaposlene in 8 61,5 88,9 8 33,3 88,9 zunanje sodelavce, da ravnajo tako, da jih ohranimo in še razvijemo. Drugo. 0 0,0 0,0 0 0,0 0,0 SKUPAJ 13 100,0 / 24 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje in koordinatorje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. 197 Direktorji oz. ravnatelji vidijo največji učinek v tem, da so jim bile ugotovljene dobre točke izhodišče za pogovor v kolektivu in usmeritve »zaposlenih in zunanjih sodelavcev, da ravnajo tako, da jih ohranijo in še razvijejo«. To je tudi temeljni namen teh sporočil, saj pomagajo ozaveščati organizacijo, da dobro dela na področju kakovosti, tudi o tem, kaj je do dobrih izidov doprineslo, saj je to pomembno s tega vidika, da lahko zavestno ohranjamo in krepimo taka ravnanja. Zato smo lahko veseli, da ne samo direktorji oz. ravnatelji, temveč tudi skoraj vsi koordinatorji v tem vidijo zelo velik učinek v tem, da evalvacija zaznava tudi dobre stvari in ravnanja, ki so tega privedla. Enako pomembno pa se nam zdi tudi to, da je večina koordinatorjev sporočila, da so veseli, da so bile ugotovljene tudi dobre stvari. Pisali smo že o tem, da so nekateri imeli napačne predstave o tem, da bo evalvacija ugotavljala samo šibke ali napačne stvari. Ko so jim bile predstavljene tudi ugotovljene dobre stvari, so bili prijetno presenečeni, veseli. To, da pri presojanju kakovosti ugotavljamo tudi dobre stvari, ni naključje, pač pa zavestna usmeritev, ki izhaja iz bistva vsega, kar zadeva to področje – opredeljeni so cilji, standardi merila…, kako naj bi kaj bilo. Če je ugotovljeno, da je to doseženo, je to razlog za hvalo in veselje, tudi posledično za to, da damo priznanje tistim, ki k takim izidom prispevajo, jih tako motiviramo za nadaljnje dobro delo in jih pokažemo kot motivacijo in zgled drugim. To velja tako za ekspertne zunanje evalvacije kot za samoevalvacije ali druge načine presojanja kakovosti, ki jih organizacije izvajajo same. Da tako ponekod že ravnajo, kažejo izjave tistih direktorjev oz. ravnateljev in koordinatorjev, ki so izbrali tudi odgovor, da so se »o ugotovljenih dobrih točkah pogovorili v kolektivu in dali priznanje tistim, ki so prispevali k takim ocenam«. Kar pogosto so se koordinatorji odločili tudi za odgovor, da so »analizirali, katera naša ravnanja so privedla do dobrih rezultatov in smo jih še okrepili«, kar direktorji oz. ravnatelji niso storili niti enkrat. Ta razlika verjetno izhaja iz njihove narave dela – koordinatorji, ki so bili pogosto predsedniki ali člani komisij za kakovost, so zato verjetno sodelovali pri takih analizah, medtem ko je vloga direktorjev oz. ravnateljev drugačna. Tokrat smo podobno vprašanje zastavili tudi evalvatorjem. Oni nimajo sistematičnega vpogleda v to, kakšne učinke ima ekspertna zunanja evalvacija, kar je sicer škoda. Vseeno smo jih vprašali, kakšne učinke ima po njihovem mnenju pregled ugotovljenih dobrih točk iz poročila o izpeljani ekspertni zunanji evalvaciji, pri čemer so evalvatorji lahko izhajali le iz svojih predvidevanj ali pa slučajnih stikov z evalviranimi organizacijami po izvedbi evalvacij. Na vprašanje je odgovarjalo vseh enajst evalvatorjev, imeli pa so možnost izbire več ponujenih odgovorov: 198 Preglednica 81: Odgovori evalvatorjev na vprašanje, kakšne učinke ima po njihovem mnenju pregled ugotovljenih dobrih točk iz poročila o izpeljani ekspertni zunanji evalvaciji (N=11) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Kakšnih posebnih učinkov ta pregled verjetno nima. 0 0,0 0,0 Organizaciji sporoča, da marsikaj delajo dobro in jih to motivira. 11 61,1 100,0 Organizaciji omogoča, da analizira, katera njihova ravnanja so privedla do dobrih rezultatov in bi jih lahko še okrepili. 7 38,9 63,6 Drugo. 0 0,0 0,0 SKUPAJ 18 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Vsi evalvatorji menijo, da ima pregled dobrih točk v poročilu o izpeljani ekspertni zunanji evalvaciji nek pozitiven učinek, vsi sodijo, da gre za močne motivacijske učinke, več kot polovica pa tudi, da je to dobra podlaga za analize, kaj doprinese k dobrim izidom in načrtovanje, da se taka ravnanja ohranjajo in razvijajo. Njihove ocene se tako zelo dobro ujemajo tudi s sporočili direktorjev oz. ravnateljev in koordinatorjev. Seveda smo anketirance vprašali tudi o učinkih ugotovljenih šibkih točk. Direktorji oz. ravnatelji in koordinatorji so v zvezi s tem odgovorili, kot je prikazano spodaj, pri tem so oboji imeli možnost izbire več ponujenih odgovorov: 199 Preglednica 82: Odgovori direktorjev oz. ravnateljev in koordinatorjev iz organizacij na vprašanje, kakšne učinke je imel pregled ugotovljenih šibkih točk iz poročila o izpeljani ekspertni zunanji evalvaciji (N direktorji oz. ravnatelji=9, N koordinatorji=9) dIREKTORJI OZ. RAVNATELJI KOORdINATORJI FREK VENCA OdSTO TEK GLE dE NA Od GOVORE OdSTO TEK GLE dE NA OSEbE FREK VENCA OdSTO TEK GLE dE NA Od GOVORE OdSTO TEK GLE dE NA OSEbE Ne strinjamo se z ugotovljenimi šibkimi točkami, zato ni imel nobenih učinkov. 0 0,0 0,0 1 11,1 11,1 Bistvenih učinkov ni, še naprej delamo tako kot doslej. 0 0,0 0,0 0 0,0 0,0 Analizirali smo, katera naša ravnanja so privedla do teh rezultatov in jih zdaj postopoma odpravljamo. 8 80,0 88,9 8 88,9 88,9 Drugo. 2 20,0 22,2 0 0,0 0,0 SKUPAJ 10 100,0 / 9 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje in koordinatorje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. Dva direktorja oz. ravnatelja sta izbrala (tudi) odgovor »Drugo.« in ga pojasnila:  Šibke točke smo še posebej pregledali in se dogovorili za izboljšave.  Na določenih področjih smo vpeljali izboljšave in spremembe, načeloma pa je celoten kolektiv nemotiviran zaradi rezultatov ekspertne zunanje evalvacije. Vsi odgovori, razen enega pri direktorjih oz. ravnateljih in enega pri koordinatorjih, sporočajo, da so tudi ugotovitve o šibkih točkah v organizacijah imele vpliv; organizacije so jih analizirale in jih zdaj postopoma odpravljajo. To pa je tudi namen tega pregleda – dati zunanji pogled na nekatera ravnanja, procese, ki se ne zdijo najboljši, z namenom, da bi v organizacijah sprožali razmisleke in izboljšave. Ostala dva odgovora sporočata tisto, na kar smo že večkrat opozorili, da so bili v eni (dveh?) organizaciji razočarani nad ugotovitvami evalvacije in jo zato več ali manj zavračajo, kar so sporočali pri vseh vprašanjih v anketi. 200 Tudi zunanje ekspertne evalvatorje smo vprašali, kakšne učinke ima po njihovem pregled šibkih točk v poročilu, ki ga pripravijo. Na vprašanje je odgovorilo vseh enajst evalvatorjev, na voljo pa so imeli izbiro več odgovorov: Preglednica 83: Odgovori evalvatorjev na vprašanje, kakšne učinke ima po njihovem mnenju pregled ugotovljenih šibkih točk iz poročila o izpeljani ekspertni zunanji evalvaciji (N=11) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Organizacije se po navadi ne strinjajo z ugotovljenimi šibkimi točkami, zato nimajo nobenih učinkov. 0 0,0 0,0 Bistvenih učinkov ni, v organizacijah še naprej delajo tako kot doslej. 0 0,0 0,0 Organizacija analizira, katera njihova ravnanja so privedla do teh rezultatov in jih postopoma odpravlja. 9 64,3 81,8 Drugo. 5 35,7 45,5 SKUPAJ 14 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Skoraj vsa mnenja evalvatorjev, razen enega, pritrjujejo temu, da ima tudi pregled šibkih točk v evalvacijskem poročilu svojo pozitivno vlogo. Taka stališča so tudi razumljiva, saj ekspertni zunanji evalvatorji pregleda šibkih točk ne pripravljajo z namenom, da bi organizacijo »kaznovali«, pač pa zato, da ji sporočijo, kje so po njihovem mnenju možnosti, da se izboljšajo, da se razvijajo. Takole so tisti evalvatorji, ki so izbrali (tudi) odgovor »Drugo.«, to ubesedili:  Pregled šibkih točk organizacijo opozori na kakšen vidik njihovega dela, za katerega so morda pred tem menili, da je dober. Na ta način sproža premisleke, diskusijo, soočenje notranjega pogleda z zunanjim. Od zaposlenih v organizaciji in njihovega vodstva je potem odvisno, kaj bo rezultat takšnega soočenja notranjega pogleda z zunanjim. Lahko je rezultat ta, da v organizaciji zamahnejo z roko, v smislu, mi že vemo, da delamo dobro, evalvatorji niso videli prav. Lahko pa to sproži akcije za odpravo šibkih točk. Po mojih izkušnjah se velikokrat po začetni osuplosti, tudi nestrinjanju, polemiziranju z ugotovitvami evalvatorjev zgodi nek resen premislek v kolektivu, ki pripelje do načrtovanja in vpeljave izboljšav.  Po zaključeni ekspertni zunanji evalvaciji organizacija dobi vpogled v področje kakovosti svojega dela. Ugotovljene šibke toče kažejo področja, kjer lahko kakovost svojega dela izboljšajo. Ravnanje organizacije v bodoče je v njenih rokah, s tem mislim na vse odločitve, ki jih bo sprejela na osnovi ugotovljenih šibkih točk in vsi ukrepi za izboljšanje kakovosti. Jaz bi ugotovljene šibke točke primerjala z nastavljenim ogledalom - lahko jih vidiš, o njih razmisliš in ukrepaš. Pri odločanju si svoboden, opravljena zunanja evalvacija te ne 201 obvezuje ničesar. Dobiš en vidik, pogled od zunaj na stanje v organizaciji, kaj boš z njim, je tvoja odločitev in tudi tvoja odgovornost.  Tako je moje osebno mnenje, da organizacije reagirajo tako, seveda pa nimam vpogleda v realno stanje na terenu, kaj so organizacije, ko so bile doslej vključene v ekspertno zuna njo evalvacijo, storile v zvezi s tem, da bi odpravile šibke točke.  Mislim, da to, da organizacija analizira, katera ravnanja so privedla do teh rezultatov, velja samo za nekatere organizacije. So pa tudi take, ki jih to nič ne spodbudi in še naprej delajo tako kot prej, tako da je težko dati skupno oceno. Vsekakor pa naj bi pregled šibkih točk organizacije spodbudil k boljšemu ravnanju. Iz teh zapisov je lepo vidno, kakšna so izhodišča, razmišljanja ekspertnih zunanjih evalvatorjev o pripravi šibkih točk in njihovi vlogi. Iz teh zapisov pa je mogoče zaznati tudi kar opazno skepso, ali so šibke točke v organizacijah res sprejete tako in ali res predstavljajo izhodišče za uvajanje sprememb. Verjetno je resnica taka, kot jo tudi opisujejo zgornji zapisi, da namreč nekatere organizacije ta pregled sprejmejo dobronamerno in kot izziv za svoje analize ter ravnanja, druge pa ne storijo nič, ker so se v ekspertno zunanjo evalvacijo vključile z drugačnimi predstavami, ne pa z razumevanjem, da je to točka, ki naj bi bila izhodišče za njihovo resno nadaljnje razvojno delo na področju kakovosti, če odmislimo tiste, ki odreagirajo zgolj odklonilno do ugotovljenih šibkih točk. Ena evalvatorica je morebiti prav zaradi takih reakcij razmišljala tudi o dokaj korenitem posegu v poročilo o izvedeni ekspertni zunanji evalvaciji, namreč tako, da bi šibkih točk sploh več ne navajali. Takole je zapisala:  Menim, da šibkih točk ne bi bilo potrebno posebej izpostavljati, saj so priporočila za iz boljšave dejansko postavljena na podlagi šibkih točk. Na ta način šibke točke dobijo kon tekst, priporočila, kar je dodana vrednost ekspertne evalvacije. Predlog je dokaj inovativen in ga kaže resno obravnavati v skupini evalvatorjev. Na prvi pogled drži, da že predlogi za nadaljnji razvoj v poročilu o izvedeni ekspertni zunanji evalvaciji nakazujejo, kje so šibka mesta v delovanju izobraževalne organizacije, je pa tudi res, da ne gre zgolj za to. Hkrati se postavlja vprašanje, kako bi pa v tem primeru kazalo oblikovati predloge za razvoj, saj so ti zdaj v nekem delu utemeljeni z ugotovljenimi šibkimi točkami, potem pa teh utemeljitev ne bi bilo več. Ali bi kar nizali predloge, brez da bi utemeljevali, zakaj jih skupina evalvatorjev daje? Ali bi vsakem predlogu dodali tudi utemeljitev, zakaj je oblikovan, kar bi bil le nekakšen »prenos« šibkih točk v utemeljitve? Ta in še druga vprašanja je potrebno dobro premisliti, vsekakor pa predloga ne kaže kar zavreči. Seveda smo vse subjekte vprašali tudi o tem, kaj menijo o tretji sestavini poročila o izvedeni ekspertni zunanji evalvaciji, to je o predlogih za razvoj. Najprej združeno prikazujemo mnenja direktorjev oz. ravnateljev in koordinatorjev na vprašanje, ki jim je omogočalo izbiro več odgovorov. Na vprašanje je odgovarjalo devet direktorjev oz. ravnateljev in devet koordinatorjev ekspertne zunanje evalvacije iz izobraževalnih organizacij. 202 Preglednica 84: Odgovori direktorjev oz. ravnateljev in koordinatorjev na vprašanje, kakšne učinke so imeli v njihovi organizaciji predlogi za izboljšave iz poročila o izpeljani ekspertni zunanji evalvaciji (N direktorji oz. ravnatelji=9, N koordinatorji=9) dIREKTORJI OZ. RAVNATELJI KOORdINATORJI FREK VENCA OdSTOTEK GLEdE NA OdGOVO RE OdSTOTEK GLEdE NA OSEbE FREK VENCA OdSTOTEK GLEdE NA OdGOVO RE OdSTOTEK GLEdE NA OSEbE Predlogi za izboljšave niso bili primerni/ uresničljivi. 1 10,0 11,1 2 20,0 22,2 Bistvenih učinkov ni, še naprej delamo tako kot doslej. 0 0,0 0,0 0 0,0 0,0 Predlogi za izboljšave so nam v mnogih primerih pomagali, da smo našli rešitve ali vpeljali ravnanja, ki jih dotlej nismo poznali ali pa se nanje nismo spomnili. 8 80,0 88,9 6 60,0 66,7 Drugo. 1 10,0 11,1 2 20,0 22,2 SKUPAJ 10 100,0 / 10 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje in koordinatorje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. Tisti direktor oz. ravnatelj, ki je izbral (tudi) odgovor »Drugo.«, je pripisal:  Večina predlogov ni bila izvedljivih in kaže na slabo poznavanje organizacije. V tem primeru gre za direktorja oz. ravnatelja, ki je skozi celo anketo izražal nezadovoljstvo v zvezi z izpeljano ekspertno zunanjo evalvacijo, o čemer smo že pisali, zato je nekako pričakovano, da je to svoje nestrinjanje izrazil tudi pri tem vprašanju. Upati je, da bodo v organizaciji, ki, seveda, najbolje pozna razmere, v katerih deluje, znali objektivno oceniti, kje so pa kljub vsemu kakšne njihove šibke točke in vpeljati razvojne spremembe, ki jim bodo bolje ustrezale kot predlogi evalvatorjev. Z vidika evalvatorjev pa ta ocena, ki je sicer osamljena med mnenji drugih direktorjev oz. ravnateljev, kaže na potrebo po razmišljanju (in usposabljanju?) o tem, kako ravnati v takih primerih, ki se bodo morda še pojavili. Tudi dva koordinatorja sta izbrala (tudi) ta odgovor in dodala: 203  Nekaj priporočil je bilo usmerjenih v materialne pogoje dela, vendar trenutno niso uresni čljivi. Nekateri predlogi pa niso bili uresničljivi zaradi organiziranosti naše organizacije (le ena komisija za kakovost - skupaj za dijake in odrasle). Pri posameznih predlogih pa smo začeli razmišljati in vpeljevati spremembe oz. izboljšave.  Uvedli smo nekatere predlagane izboljšave, ki pa niso imele želenega učinka. Prvi zapis ne izraža nekega nepojasnjenega (a priori) nestrinjanja s predlogi, ki so jih dali ekspertni zunanji evalvatorji, pač pa utemeljeno pojasnjuje, da so bili nekateri predlogi primerni in jih že postopoma uvajajo v svoje delo, za druge predloge pa natančno pove, zakaj niso uresničljivi (trenutno pomanjkanje materialnih sredstev, nezmožnost zaradi notranje organiziranosti organizacije, ki očitno izobražuje tako mladino kot odrasle). Tako sporočilo je dragoceno, saj potrjuje izhodišča, na katerih ekspertni zunanji evalvatorji pripravljajo predloge za razvoj. Te predloge pripravljajo na podlagi svojega znanja, izkušenj in vpogleda v delovanje neke organizacije, kolikor ga lahko spoznajo iz samoocene, ki jo pripravi ta organizacija in iz sporočil, ki jih dobijo na obisku. Pričakujejo, da bo organizacija vse te predloge sprejela dobronamerno, seveda pa bo glede na razmere, sposobnosti in znanje, načrte itd. izmed teh predlogov upoštevala vse ali pa le nekatere. Nekatere bo morebiti upoštevala kdaj kasneje ali pa nikoli. S tem ni nič narobe; ne zdi pa se prav verjetno, da bi bili vsi predlogi evalvatorjev neprimerni. O sporočilu drugega koordinatorja bi lahko več razmišljali, če bi bil zapis bolj konkreten. Zdi pa se nam povsem razumljivo, da prav vsi predlagani ukrepi ne bodo imeli pravega učinka. Najprej bi bilo potrebno vedeti, kako, na kakšen način so bili vpeljani, ali je bilo to narejeno na primeren način. Četudi je temu bilo tako, ni nujno, da bi imel prav vsak ukrep dobre učinke, saj vemo, da je nek ukrep lahko v številnih organizacijah zelo učinkovit, v nekaterih pa zaradi različnih vzrokov pač ne. Zato tudi v primeru ekspertne zunanje evalvacije ni mogoče pričakovati enake učinkovitosti določenih predlogov v prav vseh organizacijah. Upamo le, da je organizacija, iz katere prihaja koordinator s tem sporočilom, temeljito analizirala, zakaj izboljšave niso imele učinka in so na tej podlagi poiskali primernejše rešitve za odpravo šibkih točk. Tudi evalvatorje smo vprašali, kakšne učinke imajo po njihovem mnenju predlogi za izboljšave. Tako kot smo že navedli, oni lahko o tem le sklepajo na podlagi slučajnih stikov z evalviranimi organizacijami ali pa o tem le nekaj predvidevajo, nimajo pa objektivnih podatkov, na podlagi katerih bi lahko te učinke ocenjevali. 204 Preglednica 85: Odgovori evalvatorjev na vprašanje, kakšne učinke imajo po njihovem mnenju predlogi za izboljšave iz poročila o izpeljani ekspertni zunanji evalvaciji (N=11) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Predlogi za izboljšave se zdijo organizacijam neprimerni/ neuresničljivi. 0 0,0 0,0 Bistvenih učinkov ni, še naprej delajo tako kot doslej. 0 0,0 0,0 Predlogi za izboljšave v mnogih primerih organizacijam pomagajo, da najdejo rešitve ali vpeljejo ravnanja, ki jih dotlej niso poznali ali pa se nanje niso spomnili. 11 84,6 100,0 Drugo. 2 15,4 18,2 SKUPAJ 13 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Odgovora pod »Drugo.« imata še pojasnili:  Tako kot pri prejšnjem vprašanju tudi tu mislim, da to, da organizacija uporabi predloge za izboljšave, velja samo za nekatere organizacije. So pa tudi take, ki jih to nič ne spodbudi in še naprej delajo tako kot prej, tako da je težko dati skupno oceno. Vsekakor pa naj bi predlogi za izboljšave organizacije spodbudili k boljšemu ravnanju.  Menim, da mnoge organizacije pri nadaljnjem razvoju črpajo iz predlogov za izboljšave, ki jih predlaga skupina evalvatorjev v svojem poročilu, ker sem dobila občutek, da so naša poročila dobro sprejeta. Mnenje evalvatorjev je zelo soglasno, kar je razumljivo, saj predloge pripravljajo vsi v dobri veri, da z njimi organizacijam pomagajo pri nadaljnjem razvoju. Je pa ena evalvatorica opozorila na to, o čemer smo govorili že pri učinkih zapisa šibkih točk v poročilu, pa tudi na drugih mestih te samoevalvacijske študije, da nekatere organizacije takih nasvetov ne sprejemajo (dobronamerno) in delajo še naprej po svoje ali brez sprememb. To je sicer tudi pravica take organizacije, vprašanje pa je, kako je z njeno odgovornostjo predvsem do udeležencev izobraževanja. Na koncu obravnave o učinkih izvedenih ekspertnih zunanjih evalvacij smo direktorje oz. ravnatelje in koordinatorje prosili, če lahko povsem konkretno naštejejo vse ukrepe, ravnanja, izide, ki jih pripisujejo izpeljani ekspertni evalvaciji. Omeniti je treba, da je te zapise mogoče brati in interpretirati v omejenem obsegu, saj bi bila pravi pokazatelj le primerjava med ugotovljenimi šibkimi točkami, predlogi za razvoj in vpeljanimi ukrepi v posamezni, konkretni izobraževalni organizaciji. Ker tega zaradi zagotavljanja anoni 205 mnosti ni bilo mogoče izpeljati, prikazujemo le splošne podatke, pri katerih je treba upoštevati, da:  se anketiranci ob izpolnjevanju ankete niso spomnili vsega, kar so naredili na podlagi izpeljane ekspertne zunanje evalvacije,  ni mogoče preveriti, ali vse navedbe držijo,  posamezni zapisni morebiti ne temeljijo na evalviranih merilih, pač pa so na splošno povezani s kakovostjo,  so nekateri zapisi nekoliko dvoumni in jih je bilo težko umestiti k merilom; to smo naredili po svoji presoji, ki morebiti ni ustrezna. Kljub temu pa njihovo vrednost vidimo v nekem splošnem vpogledu, kakšni premiki so bili po mnenju evalviranih organizacij vpeljani na podlagi izvedenih ekspertnih evalvacij. Na vprašanje je odgovarjalo devet direktorjev oz. ravnateljev in osem koordinatorjev (eden pri odgovoru ni napisal nič). Vsakdo je lahko po lastni presoji in s svojimi besedami zapisal odgovor – tako so nekateri napisali kar veliko, drugi so bili skromnejši. Odgovore v nadaljevanju prikazujemo tako, da smo vsak zapis posameznega anketiranca razdelili na več izjav tako, da smo lahko posamezno izjavo umestili k ustreznemu merilu iz evalvacije (ker so v posamezni organizaciji pač vpeljali, naredili več stvari, ki zadevajo različna merila). 206 Preglednica 86: Odgovori direktorjev oz. ravnateljev na vprašanje, da na kratko, a konkretno, naštejejo vse ukrepe, ravnanja, rezultate, ki so jih vpeljali/ izvedli po izpeljani ekspertni zunanji evalvaciji na podlagi priporočil – ZA PODROČJE NOTRANJI SISTEM KAKOVOSTI, SKLOP UMEŠČENOST NOTRANJEGA SISTEMA KAKOVOSTI V DEJAVNOST ORGANIZACIJE, KI IZOBRAŽUJE ODRASLE (N direktorji oz. ravnatelji=9, N koordinatorji=9) POdROČJE NOTRANJI SISTEM KAKOVOSTI SKLOP 1: UMEŠČENOST NOTRANJEGA SISTEMA KAKOVOSTI V dEJAVNOST ORGANIZACIJE, KI IZObRAžUJE OdRASLE KAZALNIK MERILO NAVEdbE dIREKTORJEV OZ. RAVNATELJEV NAVEdbE KOORdINATOR JEV Umeščenost notranjih procesov kakovosti v temeljne strateške dokumente Organizacija, ki izobražuje odrasle, ima v svojih letnih delovnih načrtih poglavje o kakovosti. • Posebno poglavje o kakovosti v letnih dokumentih zavoda. • Poglavje o kakovosti v letnem delovnem načrtu je samostojno poglavje (in ne priloga). Zapis poglavja o kakovosti v letnem delovnem načrtu kot samostojno poglavje. Organizacija, ki izobražuje odrasle, v letnem delovnem načrtu v poglavju o kakovosti načrtuje letne aktivnosti na tem področju. / / Organizacija, ki izobražuje odrasle, ima v svojih letnih poročilih poglavje o kakovosti. • Posebno poglavje o kakovosti v letnih dokumentih zavoda. • Poglavje o kakovosti v letnem delovnem poročilu je samostojno poglavje (in ne priloga). / Organizacija, ki izobražuje odrasle, v letnem delovnem poročilu v poglavju o kakovosti poroča o / / doseganju načrtovanih letnih aktivnostih na tem področju. 207 Nadaljevanje preglednice s prejšnje strani POdROČJE NOTRANJI SISTEM KAKOVOSTI SKLOP 1: UMEŠČENOST NOTRANJEGA SISTEMA KAKOVOSTI V dEJAVNOST ORGANIZACIJE, KI IZObRAžUJE OdRASLE KAZALNIK MERILO NAVEdbE dIREKTORJEV OZ. RAVNATELJEV NAVEdbE KOORdINATORJEV Zapisan notranji sistem kakovosti (Listina o kakovosti) Organizacija, ki izobražuje odrasle, ima listino o kakovosti ali drug primerljiv dokument, v katerem je opisan notranji sistem kakovosti, ki ga uporablja. Dokument vsebuje vsaj naslednje elemente: kako je opredeljena kakovost v organizaciji, kako se presoja, kako pogosto, kdo to počne in kako se uporabljajo rezultati presoj. / / Listina o kakovosti oz. drug primerljiv dokument, v katerem je opisan notranji sistem kakovosti, je objavljen na spletni / / strani in/ali v drugih virih javnega obveščanja. Obravnava vprašanj kakovosti na andragoških zborih Zaposleni vsaj enkrat na leto na andragoškem zboru ali drugem enakovrednem organu izobraževalcev v organizaciji razpravljajo o kakovosti izobraževanja odraslih. • Redno obravnavamo vprašanja kakovosti na andragoških zborih. • Pogovori o kakovosti na andragoških zborih, strokovnih aktivih in kolegijih. • Bolj enakovredna obravnava kakovosti izobraževanja odraslih in mladine. Skupina/ komisija za kakovost, svetovalec za kakovost Organizacija, ki izobražuje odrasle, ima skupino/komisijo za kakovost. / • Redni sestanki komisije za kakovost. • Ustanovitev skupine za kakovost. • Povabilo zunanjim sodelavcem v komisijo za kakovost. Organizacija, ki izobražuje odrasle, ima usposobljenega svetovalca za kakovost ali drugo osebo, ki koordinira in svetuje drugim pri načrtovanju in izpeljevanju aktivnosti na področju kakovosti ter ima za to ekspertno znanje. • Imamo svetovalca za kakovost. • Sistemizacija delovnega mesta svetovalca za kakovost in zaposlitev. • Usposabljanje svetovalca za kakovost. • Imenovanje zaposlene za svetovalca za kakovost. • Vključitev v usposabljanje za svetovalca za kakovost na ACS. • Na novo imamo svetovalca za kakovost. Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje in koordinatorje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. 208 Preglednica 87: Odgovori direktorjev oz. ravnateljev na vprašanje, da na kratko, a konkretno, naštejejo vse ukrepe, ravnanja, rezultate, ki so jih vpeljali/izvedli po izpeljani ekspertni zunanji evalvaciji na podlagi priporočil – ZA PODROČJE NOTRANJI SISTEM KAKOVOSTI, SKLOP OPREDELJEVANJE KAKOVOSTI (N direktorji oz. ravnatelji=9, N koordinatorji=9) POdROČJE NOTRANJI SISTEM KAKOVOSTI SKLOP 2: OPREdELJEVANJE KAKOVOSTI KAZALNIK MERILO NAVEdbE dIREKTORJEV OZ. RAVNATELJEV NAVEdbE KOORdINATORJEV Vizija, poslanstvo in vrednote organizacije, ki izobražuje odrasle Organizacija, ki izobražuje odrasle, ima izoblikovano vizijo, poslanstvo in vrednote. • Na novo smo izdelali vizijo, poslanstvo in vrednote. • Izdelava vizije in poslanstva. • Opisali smo temeljne vrednote naše izobraževalne organizacije. Opis vrednot smo oblikovali na andragoškem zboru in tako omogočili aktivno vključevanje zaposlenih in zunanjih sodelavcev ter upoštevanje njihovih predlogov, komentarjev in pripomb. Z opisom vrednot na andragoškem zboru smo poskrbeli / za bolj poenoteno razumevanje posamezne vrednote in boljšo vključenost zunanjih sodelavcev k oblikovanju temeljnih strateških dejavnikov razvoja kakovosti v izobraževalni organizaciji. Vizija, poslanstvo in vrednote organizacije, ki izobražuje odrasle Vizijo, poslanstvo in vrednote organizacija, ki izobražuje odrasle, uveljavlja v javni rabi (npr. na spletnih straneh in/ali v zgibankah, drugem gradivu ipd.). / / 209 Nadaljevanje preglednice s prejšnje strani POdROČJE NOTRANJI SISTEM KAKOVOSTI SKLOP 2: OPREdELJEVANJE KAKOVOSTI KAZALNIK MERILO NAVEdbE dIREKTORJEV OZ. RAVNATELJEV NAVEdbE KOORdINATORJEV Izjava o kakovosti (opredeljeni standardi Organizacija, ki izobražuje odrasle, ima izjavo o kakovosti ali drug podoben dokument, v katerem opredeljuje • Sprejeli novo oz. dopolnjeno izjavo o kakovosti s sodelovanjem zaposlenih in zunanjih sodelavcev. • Oblikovali smo izjavo o kakovosti ljudske univerze, v kateri smo povzeli naše te • Promocija izjave o kakovosti. kakovosti) temeljne standarde kakovosti, ki jih zagotavlja svojim udeležencem. meljne standarde kakovosti. • Dopolnili (izpopolnili) smo izjavo o kakovosti svetovalnega središča ISIO. Sodelovanje zaposlenih in zunanjih sodelavcev pri opredeljevanju kakovosti Organizacija, ki izobražuje odrasle, ima vpeljane načine, ki omogočajo vključevanje zaposlenih in drugih pomembnih interesnih skupin v pogovore o temeljnem poslanstvu, viziji in vrednotah izobraževalne organizacije ter o standardih kakovosti, ki jih zagotavlja. • Poskrbeli smo za boljšo porazdelitev dela in odgovornosti za razvoj kakovosti med zaposlene. • Zunanje sodelavce bolj aktivno vključujemo v obravnavo vprašanj o kakovosti na sestankih. • Izboljšava sodelovanja z zunanjimi partnerji. Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje in koordinatorje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. 210 Preglednica 88: Odgovori direktorjev oz. ravnateljev na vprašanje, da na kratko, a konkretno, naštejejo vse ukrepe, ravnanja, rezultate, ki so jih vpeljali/ izvedli po izpeljani ekspertni zunanji evalvaciji na podlagi priporočil – ZA PODROČJE NOTRANJI SISTEM KAKOVOSTI, SKLOP PRESOJANJE KAKOVOSTI (N direktorji oz. ravnatelji=9, N koordinatorji=9) POdROČJE NOTRANJI SISTEM KAKOVOSTI SKLOP 3: PRESOJANJE KAKOVOSTI KAZALNIK MERILO NAVEdbE dIREKTORJEV OZ. RAVNATELJEV NAVEdbE KOORdINATORJEV Načrtnost in sistematičnost pri presojanju kakovosti Organizacija, ki izobražuje odrasle, v rednih časovnih obdobjih načrtno izvaja različne oblike notranjega presojanja kakovosti (npr. spremljanje, samoevalvacijo, / / druge oblike, s katerimi presoja/ ugotavlja doseženo raven kakovosti). Vključenost različnih interesnih skupin v presojanje kakovosti V presojanje kakovosti so vključene različne notranje interesne skupine (npr. udeleženci, učitelji, vodstvo, idr.). • Vključene imamo različne interesne skupine v presojanje kakovosti. • Poglobili smo delo z interesnimi skupinami. / V presojanje kakovosti so vključene različne zunanje interesne skupine (npr. podjetja, zavod za zaposlovanje, obrtna zbornica, gospodarska zbornica, drugi deležniki v lokalnem okolju idr.). • Poglobili smo delo s partnerskim sodelovanjem v okolju. • V presojanje in razvoj kakovosti smo pričeli vključevati tudi zunanje interesne skupine (naročniki, partnerji...). Na sestanke, kjer obravnavamo splošne zadeve in kakovost, vabimo tako predstavnike zunanjih interesnih skupin, kakor tudi zunanje izvajalce. • V presojanje kakovosti smo pričeli vključevati tudi zunanje interesne skupine, ki jih do sedaj nismo. 211 Nadaljevanje preglednice s prejšnje strani POdROČJE NOTRANJI SISTEM KAKOVOSTI SKLOP 3: PRESOJANJE KAKOVOSTI KAZALNIK MERILO NAVEdbE dIREKTORJEV OZ. RAVNATELJEV NAVEdbE KOORdINATORJEV Uporaba različnih metod pri izpeljavi presojanja kakovosti Organizacija, ki izobražuje odrasle, uporablja kvalitativne in kvantitativne metode za presojanje kakovosti. • Uporabljamo različne metode pri izpeljavi presojanja kakovosti. • Pri spremljanju kakovosti uporabljamo tudi kvalitativne metode. / Spremljanje kakovosti različnih vidikov delovanja organizacije, ki izobražuje odrasle Organizacija, ki izobražuje odrasle, ima vpeljane načine spremljanja in vrednotenja kakovosti dela z udeleženci pred in ob vstopu v izobraževanje ter ukrepanja na podlagi ugotovitev. / / Organizacija, ki izobražuje odrasle, ima vpeljane načine spremljanja in vrednotenja kakovosti dela z udeleženci med potekom izobraževanega procesa ter ukrepanja na podlagi ugotovitev. • Sprotno spremljamo delo z udeleženci. • Sprotno spremljanje dela z udeleženci. Organizacija, ki izobražuje odrasle, ima vpeljane načine spremljanja in vrednotenja rezultatov izobraževanja ter ukrepanja na podlagi ugotovitev. • Sprotno spremljamo rezultate in učinke. • Spremljanje rezultatov izobraževanja (ob zaključku in po preteku določenega časa). • Uvedli smo spremljanje učinkov izobraževanja, najprej v programu osnovne šole za odrasle, nato pa • Spremljanje rezultatov izobraževanja. • Spremljanje učinkov izobraževanja. • Preglednejši prikaz podatkov o uspešnosti odraslih. še v nekaterih neformalnih izobraževalnih programih. 212 Nadaljevanje preglednice s prejšnje strani POdROČJE NOTRANJI SISTEM KAKOVOSTI SKLOP 3: PRESOJANJE KAKOVOSTI KAZALNIK MERILO NAVEdbE dIREKTORJEV OZ. RAVNATELJEV NAVEdbE KOORdINATORJEV Samoevalvacija Organizacija, ki izobražuje odrasle, v rednih časovnih obdobjih sistematično in načrtno izvaja poglobljeno samoevalvacijo, pri kateri je razvidno, da gre za načrtovan proces, metodološko izpeljano • Načrtno in sistematično izvajamo samoevalvacijo. • Izpeljali smo poglobljeno samoevalvacijo po predhodno pripravljenem sa presojanje, pisno interpretacijo rezultatov in načrtovanja ukrepov na podlagi ugotovitev samoevalvacije. moevalvacijskem načrtu. Samoevalvacijsko poročilo/ poročilo o kakovosti Organizacija, ki izobražuje odrasle, v rednih časovnih obdobjih pripravi samoevalvacijsko poročilo/ poročilo o kakovosti. • Pripravljamo samoevalvacijsko poročilo. • Samoevalvacijsko poročilo: razširili področja analiziranja kakovosti. • Bolj enakovredno vključevanje rezultatov samoevalvacij v izobraževanju odraslih v samoevalvacijskem poročilu. O rezultatih samoevalvacije organizacija, ki izobražuje odrasle, opravi pogovor v kolektivu. • O samoevalvacijskem poročilu se pogovarjamo v kolektivu. / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje in koordinatorje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. 213 Preglednica 89: Odgovori direktorjev oz. ravnateljev na vprašanje, da na kratko, a konkretno, naštejejo vse ukrepe, ravnanja, rezultate, ki so jih vpeljali/ izvedli po izpeljani ekspertni zunanji evalvaciji na podlagi priporočil – ZA PODROČJE NOTRANJI SISTEM KAKOVOSTI, SKLOP RAZVIJANJE KAKOVOSTI (N direktorji oz. ravnatelji=9, N koordinatorji=9) POdROČJE NOTRANJI SISTEM KAKOVOSTI SKLOP 4: RAZVIJANJE KAKOVOSTI KAZALNIK MERILO NAVEdbE dIREKTORJEV OZ. RAVNATELJEV NAVEdbE KOORdINATORJEV Načrtnost in sistematičnost pri načrtovanju Organizacija, ki izobražuje odrasle, v rednih časovnih obdobjih pripravi pisni akcijski načrt za vpeljevanje izboljšav, • V akcijskih načrtih za vpeljavo izboljšav so opredeljeni roki za • Izdelali smo akcijski načrt. razvojnih ukrepov iz katerega je razvidno, da je pripravljen na podlagi izpeljane samoevalvacije. izvajanje aktivnosti. Vpeljevanje izboljšav V zadnjih treh koledarskih letih je organizacija, ki izobražuje odrasle, vpeljala različne izboljšave kakovosti, ki so izhajale iz ugotovitev samoevalvacije in so bile začrtane v pisnemu akcijskemu načrtu za razvoj kakovosti. • Učinkovito vpeljujemo izboljšave kakovosti. • Priprava učnih gradiv v povezavi s celostno podobo. • Organiziramo srečanja med učitelji, ki že dolgo poučujejo pri nas, in novinci. • Delovanje po zastavljenem akcijskem načrtu. • Dopolnjevanje manjkajoče dokumentacije na področju kakovosti. • Izboljšava v komunikaciji v organizaciji. • Sprotna priprava dokumentov. Spremljanje učinkov vpeljevanja izboljšav Organizacija, ki izobražuje odrasle, ima vpeljane načine spremljanja učinkov vpeljevanja izboljšav, opredeljenih v akcijskih načrtih za vpeljevanje izboljšav in razvoja kakovosti. • Dosežke redno predstavljamo kolektivu in strokovnim sodelavcem. / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje in koordinatorje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. 214 Preglednica 90: Odgovori direktorjev oz. ravnateljev na vprašanje, da na kratko, a konkretno, naštejejo vse ukrepe, ravnanja, rezultate, ki so jih vpeljali/ izvedli po izpeljani ekspertni zunanji evalvaciji na podlagi priporočil – ZA PODROČJE POdPORA UdELEžENCEM PRI IZObRAžEVANJU (N direktorji oz. ravnatelji=9, N koordinatorji=9) POdROČJE POdPORA UdELEžENCEM PRI IZObRAžEVANJU KAZALNIK MERILO NAVEdbE dIREKTORJEV OZ. RAVNATELJEV NAVEdbE KOORdINATORJEV Raznovrstnost in dostopnost podpore posamezniku pri izobraževanju in učenju Organizacija, ki izobražuje odrasle, udeležencem nudi raznovrstno podporo pri izobraževanju in učenju (različne oblike podpore, usposabljanje za samostojno učenje, različne oblike svetovanja, pomoč pri odpravi ovir, povezanih z izobraževanjem, pomoč pri pridobivanju podpore v drugih institucijah, prilagojeno podporo ciljnim skupinam in vrstam izobraževanja). • Posebno pozornost namenjamo razvoju podpornih dejavnosti (npr. svetovanje, učna pomoč, organizirano samostojno učenje ipd.). • Več strokovne podpore pri učenju udeležencev (več konzultacij, več učnih gradiv, priznavanje znanja). Organizacija, ki izobražuje odrasle, skrbi za dostopnost raznovrstne podpore posamezniku pri učenju in izobraževanju (npr. s prilagojenim časom, z zagotavljanjem prostora ipd.). / / Organizacija, ki izobražuje odrasle, zagotavlja informiranost posameznikov o oblikah podpore v organizaciji pri učenju in izobraževanju (različni načini in vrste obveščanja). • Izobraževalna organizacija udeležencem nudi informiranje o načinu podpore. • Bolj natančno in dosledno predstavljamo našo podporo in pomoč, ki jo nudimo udeležencem v programih, saj jim res nudimo veliko, nikjer pa tega ne izpostavljamo. • Tudi pri predstavitvah programov se trudimo izboljšati predstavitev in informiranost udeležencev o možnostih pod-pore, ki jo nudimo in jih nenehno motiviramo za uporabo le-teh. • Podrobna obrazložitev o podpori na uvodnih pogovorih ob vpisu skupaj z dokumentacijo. • Vključitev informacij o učnih gradivih v začetno informiranje. 215 Nadaljevanje preglednice s prejšnje strani PO dROČJE POdPORA UdELEžENCEM PRI IZObRAžE VANJU KAZALNIK MERILO NAVEdbE dIREKTORJEV OZ. RAVNATELJEV NAVEdbE KOORdINATORJEV Raznovrstnost in dostopnost podpore posamezniku pri izobraževanju in učenju Organizacija, ki izobražuje odrasle, zagotavlja informiranost posameznikov o oblikah podpore zunaj organizacije pri učenju in izobraževanju (različni načini in vrste obveščanja). / / Učna podpora posamezniku Organizacija, ki izobražuje odrasle, načrtno ugotavlja potrebe po učni pomoči in usmerja udeležence vanjo. / • Spodbujanje udeležencev k učni pomoči. Organizacija, ki izobražuje odrasle, organizira različne oblike učne pomoči (za odpravljanje psiholoških ovir v zvezi z izobraževanjem, za spoznavanje primernih učnih strategij ter metod učenja, za uporabo različnih učnih virov, z organizacijo dodatnih predavanj, z razvijanjem temeljnih pismenosti, pomembnih za nadaljnje izobraževanje ipd.). • Nudi učno pomoč udeležencem. • Dodatne ure praktičnega pouka za utrjevanje znanja. Organizacija, ki izobražuje odrasle, udeležencem nudi konzultacije (govorilne ure) in/ali mentorstvo, pri čemer je razvidno, da gre za vnaprej načrtovano dejavnost, da je ta prostorsko in časovno dostopna in so z njo udeleženci seznanjeni. / • Več konzultacij. Svetovalna podpora posamezniku Organizacija, ki izobražuje odrasle, nudi odraslim svetovanje pred vpisom in ob vpisu. / / Kadar se posameznik vpisuje v formalne programe ali daljše programe neformalnega izobraževanja, organizacija z njim opravi uvodni pogovor. / / Zapis uvodnih pogovorov učitelji in drugi izvajalci izobraževanja uporabijo pri načrtovanju posameznikove izobraževalne poti. / / 216 Nadaljevanje preglednice s prejšnje strani POdROČJE POdPORA UdELEžENCEM PRI IZObRAžEVANJU KAZALNIK MERILO NAVEdbE dIREKTORJEV OZ. RAVNATELJEV NAVEdbE KOORdINATOR JEV Svetovalna podpora posamezniku Kadar se posameznik vpisuje v formalne programe ali daljše programe neformalnega izobraževanja, organizacija v sodelovanju z njim pripravi osebni izobraževalni načrt. • Za vsakega pripravimo osebni izobraževalni načrt. • Vsebinsko smo nadgradili instrumente za pripravo osebnega izobraževalnega načrta (osnovna šola za odrasle). Vključili smo vsebine o ovirah udeležencev in o učnih podporah, ki so potrebne za posameznika. • Spremenjen osebni izobraževalni načrt (obrazec, ki omogoča lažjo spremljavo napredka udeležencev). Osebni izobraževalni načrt se uporablja pri spremljanju posameznikove izobraževalne poti. / / Organizacija, ki izobražuje odrasle, nudi udeležencem med izobraževanjem svetovalno pomoč, če jo ti potrebujejo. / / Ob zaključku izobraževanja je udeležencem na voljo informiranje in svetovanje v zvezi z možnostmi nadaljnjega izobraževanja. / / Podpora posamezniku pri samostojnem učenju Organizacija, ki izobražuje odrasle, udeležence usposablja za samostojno učenje. / / Organizacija, ki izobražuje odrasle, udeležence spodbuja in usposablja za organizirano samostojno učenje ter jim zagotavlja ustrezno svetovalno in mentorsko pomoč. • Celovit pristop podpori učenju v povezavi s središčem za samostojno učenje. • Spodbujanje udeležencev k samostojnemu učenju. Izobraževalna organizacija nudi udeležencem možnosti • Trudimo se za samostojno učenje in vzpostaviti nazaj organizirano samostojno učenje z spletno učilnico, / zagotavljanjem ustreznih prostorov, jo posodobiti in učnih virov in možnosti za dostop modernizirati... do učnih virov. 217 Nadaljevanje preglednice s prejšnje strani POdROČJE POdPORA UdELEžENCEM PRI IZObRAžEVANJU KAZALNIK MERILO NAVEdbE dIREKTORJEV OZ. RAVNATELJEV NAVEdbE KOORdINATORJEV Podpora posamezniku pri odpravljanju ovir pri izobraževanju Organizacija, ki izobražuje odrasle, aktivno pomaga posameznikom pri odpravljanju situacijskih ovir, povezanih z njihovim izobraževanjem (denarne, druge socialne razmere, družinske obveznosti, različne oviranosti, delovne zadolžitve ipd.). / / Organizacija, ki izobražuje odrasle, aktivno pomaga posameznikom pri odpravljanju institucionalnih ovir, povezanih z njihovim izobraževanjem (slaba dokumentacijska pismenost, problemi v zvezi s priznavanjem znanja, drugi problemi, ki jih posameznik doživlja zaradi pravil in načina izobraževanja v organizaciji). / / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje in koordinatorje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. 218 Preden bomo nekoliko komentirali ugotovitve v prejšnjih preglednicah, naj prikažemo še nekaj izjav direktorjev oz. ravnateljev in koordinatorjev, ki jih nismo mogli uvrstiti nikamor v prejšnje preglednice: Direktorji oz. ravnatelji:  Ker anketo izpolnjujem na dopustu, poročila nimam pri sebi. Odgovor na to vprašanje vam bo naša svetovalka za kakovost posredovala naknadno.  Dosledno vodenje zapisnikov sestankov zaposlenih.  Ker anketo izpolnjujem na dopustu, bomo odgovore na to točko posredovali naknadno. Koordinatorji:  Ugotovili smo, da delamo dobro, skrbimo za kakovost in to skrb še povečujemo, se pa ne omejujemo na predloge podane s strani zunanje evalvacije.  Uspešno podaljšanje pravice do uporabe zelenega znaka kakovosti do leta 2020.  Spodbujamo odrasle, da si v skupini odprejo skupni e-mail naslov in stran na družabnem omrežju. Najprej naj ugotovimo, da direktorji oz. ravnatelji in koordinatorji niso predstavili niti enega ukrepa, ravnanja ali rezultata, ki bi ga vpeljali oz. dosegli na področju razvojne usmerjenosti izobraževalne organizacije. Res je, da je bilo to področje predmet ekspertne zunanje evalvacije šele zadnji dve leti, a vendarle je to presenetljiv podatek. Pri anketiranju niso sodelovale prav vse organizacije, v katerih je potekala ekspertna zunanja evalvacija, sklepamo pa, da je sodelovala vsaj ena, če ne že vse tri, ki so si izbrale za presojanje tudi razvojno naravnanost organizacije. Torej razlogov ne moremo iskati v tem, da niso sodelovale take organizacije. Če se spomnimo, razen enega koordinatorja tudi nihče ni izjavil, da se ne strinjajo z vsemi ali vsaj nekaterimi šibkimi točkami, ki jih je ugotovila ekspertna zunanja evalvacija. Več nestrinjanja je bilo v zvezi s predlaganimi ukrepi za odpravo teh šibkih točk. Pričakovali bi, da bodo v organizacijah, kjer je bila evalvirana njihova razvojna naravnanost, po izpeljani ekspertni zunanji evalvaciji vpeljali vsaj kakšno spremembo, četudi povsem drugačno, kot so jo predlagali evalvatorji, pa se to, vsaj po anketah sodeč, ni zgodilo. Vzrokov za to ne poznamo, res pa je, da je usmerjanje v razvojno delo zahtevnejše in morda koreniteje posega v samo strukturo organizacije in se zato organizacije zaradi tega raje ne lotevajo takih sprememb. Seveda se ob tem sprašujemo, zakaj so se potem odločile za zunanjo evalvacijo na tem področju. Na ostalih dveh področjih pa je bilo sprememb kar precej, še največ pri izgradnji notranjega sistema kakovosti. Nasploh lahko rečemo, da je imela dosedanja ekspertna zunanja evalvacija največji učinek prav na tem področju. Če malo natančneje pogledamo, kakšne so bile spremembe, ki so jih organizacije uvajale, potem lahko ugotovimo, da te spremembe zadevajo pravzaprav vse sklope, ki jih je v zvezi z notranjim sistemom kakovosti vsebovala ekspertna zunanja evalvacija. Tako so pri vprašanjih umeščenosti notranjega sistema kakovosti organizacije poskrbele, da njihovi planski dokumenti (načrti in poročila) vsebujejo tudi poglavja o kakovosti, kar sicer izgleda bolj »birokratska« zadeva, upamo pa, da jo organizacije niso sprejele tako, pač pa kot izziv, da ob načrtovanju razmišljajo tudi o tem, kaj konkretno je potrebno narediti za razvoj kakovosti in ob poročanju, ali so bili ukrepi uvedeni, izpeljani, kakšno 219 kakovost so prinesli ipd. Evalvacija je tudi spodbudila oblikovanje komisij za kakovost tam, kjer jih še niso imeli ali pa njihovo boljše delovanje. Kar v nekaj organizacijah je evalvacija vplivala tudi na to, da so se odločili za vzpostavitev vloge svetovalca za kakovost, kar je sovpadalo z odločitvijo ACS, da usposobi novo skupino svetovalcev za kakovost izobraževanja odraslih. V tem sklopu so opazna tudi prizadevanja, da bi na andragoških zborih spodbujali pogovore o kakovosti. V sklopu, ki smo ga poimenovali opredeljevanje kakovosti, se je pod vplivom ekspertne zunanje evalvacije kar nekaj organizacij odločilo, da bodo naredile ali pa izpopolnile svojo izjavo o kakovosti. To se nam zdi pomemben vsebinski premik, saj priprava ali dopolnitev izjave zahteva temeljite pogovore vseh sodelavcev izobraževalne organizacije o tem, kakšne standarde kakovosti so sposobni oz. jih želijo zagotavljati. Kar precej so se organizacije po izpeljani evalvaciji ukvarjale tudi z oblikovanjem ali preoblikovanjem vizije, poslanstva in vrednot. Če so to delale tudi s premisleki, kakšni so njihovi cilji v zvezi z doseganjem kakovosti, potem je to vsekakor pomemben učinek, ki jih imajo ekspertne zunanje evalvacije, kakor je pomembno tudi to, kar so navajale nekatere organizacije, da so poskrbele, da v načrtovanje in delo v zvezi z zagotavljanjem kakovosti vključujejo več svojih sodelavcev, tako zaposlenih kot tistih, s katerimi sodelujejo le občasno. To, kar je opazen premik pri presojanju kakovosti, je prav gotovo večje zavedanje o pomenu vključevanja različnih interesnih skupin v presojanje, tudi zunanjih sodelavcev in partnerjev. O konkretnem ukrepanju v zvezi s tem so organizacije poročale dokaj pogosto, kar je razveseljivo, saj kaže na premike pri zavedanju o interesni naravnanosti kakovosti in nujnosti ugotavljanja in upoštevanja teh interesov. Zaznati je mogoče tudi večjo uporabo različnih, tudi kvantitativnih metod v presojanju kakovosti, kar bo prav gotovo prispevalo k večji kakovosti in poglobljenosti presojanja določenih pojavov. Enega izmed vidnejših premikov, ki so jih sprožile ekspertne zunanje evalvacije, vidimo tudi v poročanju izobraževalnih organizacij o tem, da so uvedle ali izpopolnile sprotno spremljanje različnih vidikov svojega delovanja. Čeprav pri spremljanju kakovosti ne gre za povsem nove pristope, pa so organizacije prej dokaj pogosto spremljanje izvajale bolj rutinsko, tudi zaradi zahtev drugih (npr. statistike), ne pa toliko zaradi svojega vpogleda v sprotna dogajanja glede kakovosti. Če se v teh procesih sedaj dogajajo premiki in bodo organizacije vzpostavile bolj usmerjeno spremljanje in izide spremljanja sproti vrednotile ter uporabljale za svoje delovanje, potem je to pomemben dosežek ekspertnih zunanjih evalvacij. Podobno mislimo glede poglobljenih samoevalvacij – kar pogosto smo v ekspertni zunanji evalvaciji ugotavljali, da izobraževalne organizacije takih samoevalvacij ne delajo (več). Kar nekaj organizacij zdaj poroča, da poglobljene samoevalvacije (ponovno) izvajajo, da o njih pripravljajo poročila, o katerih se pogovarjajo v kolektivih, to pa je, zlasti če se to dogaja v organizacijah, kjer prej take prakse ni bilo, zelo pomemben vsebinski učinek ekspertnih zunanjih evalvacij, ki govori v prid temu, da jih kaže v taki ali kakšni drugačni obliki obdržati tudi v prihodnje. Kar se tiče sklopa, ki zadeva razvijanje kakovosti, nekatere organizacije poročajo, da so uvedle akcijske načrte za razvoj kakovosti na podlagi poprejšnjega sistematičnega presojanja kakovosti, kar za te organizacije prav gotovo predstavlja kakovostni preskok, kakor tudi to, da načrte vpeljujejo. Malo manj smo lahko zadovoljni s tem, da nobena organizacija ni poročala, da po določenem času vrednoti vpeljane spremembe, koliko so te 220 prispevale k razvoju kakovosti ali pa morebiti niso in zakaj ne. Ne glede na to ugotovitev pa je mogoče opaziti, da je ekspertna zunanja evalvacija imela nekaj vpliva tudi na postopanje izobraževalnih organizacij pri vpeljevanju sprememb oz. izboljšav na podlagi ugotovljenih izidov presojanja kakovosti. Skratka, zaključimo lahko, da je imela ekspertna zunanja evalvacija po izjavah direktorjev oz. koordinatorjev kar opazen vpliv na izgrajevanje notranjega sistema kakovosti v evalviranih organizacijah, kar je tudi njen temeljni namen. Če pogledamo ukrepe, ki so jih organizacije uvedle po ekspertni zunanji evalvaciji pri podpori posameznikov za učenje, potem bi velik del teh lahko označili z »več«. Očitno je evalvacija še bolj osvestila organizacije, kako pomembna je njihova vloga pri podpori posamezniku, zato so uvedle več konzultacij, več učne pomoči ipd. Prav tako so pogosto bolje poskrbele za informiranost udeležencev izobraževanja o tem, kakšne oblike pomoči so jim na voljo, saj smo večkrat ugotavljali, da organizacije sicer imajo različne oblike podpore, da pa so udeleženci izobraževanja z njo slabo seznanjeni ali pa sploh ne. Veseli pa nas, da so nekatere organizacije vpeljale tudi vsebinske spremembe, ki zadevajo kakovost že vpeljanih oblik pomoči, tak primer je npr. dopolnitev osebnih izobraževalnih načrtov v eni izmed organizacij, ki jih je spremenila tako, da je v anamnezo posameznika vključila tudi proučevanje ovir posameznika pri izobraževanju in načrtovanje podpore posamezniku tudi na njihovi podlagi. Na sploh bi si želeli več vsebinsko zahtevnejših posegov v načrtovanje in vpeljevanje različnih oblik podpore posameznikom pri učenju, čeprav smo lahko tudi s temi premiki, ki so jih dosegli v nekaterih organizacijah, zelo zadovoljni. Preden bomo obravnavali še vprašanja o nadaljnjem razvoju ekspertnih zunanjih evalvacij, prikazujemo še nekaj zapisov direktorjev oz. ravnateljev in koordinatorjev, ki se na splošno nanašajo na njihovo izkušnjo z izpeljanimi ekspertnimi zunanjimi evalvacijami, anketiranci pa so jih zapisali ob koncu ankete na vprašanje, če bi želeli sporočiti še kaj v zvezi z izpeljanimi ekspertnimi zunanjimi evalvacijami: Direktorji oz. ravnatelji so sporočili (vseh takih sporočil je bilo sedem, nekaj sporočil ali njihovih delov predstavljamo na drugih mestih, tam, kjer so sporočila vsebinsko povezana s tematiko, ki jo obravnavamo):  Ekspertna zunanja evalvacija je koristna za vsako organizacijo na področju izobraževa nja odraslih, saj usmerja v organizirano samoanalizo na izbranih področjih ter daje iz kušnjo in metodologijo tudi za nadaljnje samoanalize. Je priložnost za usmerjeno delo v kolektivu in izostri pozornost vseh zaposlenih na kazalnike kakovosti in procese za razvoj kakovosti.  Menim, da je takšen pregled občasno izjemno dober, saj nas usmerja v poglobljeno sa moanalizo, poveča se usmerjeno skupno delo celotnega kolektiva za razvoj kakovosti, rezultati pa pripevajo k bolj usmerjenemu načrtovanju aktivnosti.  Ekspertna zunanja evalvacija je čudovita priložnost za organizacijo, da s pomočjo zuna njih evalvatorjev izboljša svoje delo in kakovost.  Z veseljem smo sodelovali in smo zahvalni za potrditev našega truda za zagotavljanje kakovosti. 221  Sicer pa iskrena pohvala ACS-u in predvsem dr. Tanji Možina za spodbujanje skrbi za kakovost v slovenskih organizacijah za izobraževanje odraslih.  Veliko uspeha še naprej. Koordinatorji pa so navedli (vseh takih sporočil je bilo šest, dve sporočili predstavljamo na drugem mestu, tam, kjer so sporočila vsebinsko povezana s tematiko, ki jo obravnavamo):  Dobro je imeti možnost, da zunanji evalvatorji pridejo v organizacijo in tako dobiš povratne informacije, kako vidijo zastavljeno kakovost. Dobrodošlo je tudi to, da je brezplačno.  Zelo smo hvaležni, da smo dobili potrditev našega prizadevanja in dela na področju kakovosti, da ste izpostavili tiste šibke točke, ki jih sami nismo sprevideli in nam dali predloge izboljšav ter nas tako usmerili na nadaljnjo pot. Ekspertna zunanja evalvacija je prinesla po eni strani potrditev in pohvalo dosedanjega truda in dela, kakor tudi nas spomnila, da če želimo kakovost obdržati, se to delo nikoli ne konča. Hvala.  Delajte še naprej tako srčno in predvsem profesionalno. Hvala.  Z veseljem sem sodelovala pri izvedbi aktivnosti, bila je dobra izkušnja, ki sicer zahteva veliko vložka in časa, vendar na ta način strokovno napreduješ kot posameznik in kot organizacija. 4.4.2 Nadaljnji razvoj ekspertnih zunanjih evalvacij v izobraževanju odraslih V zadnjem poglavju pa prikazujemo mnenja sodelujočih o tem, kakšna naj bi bila vloga in razvoj ekspertnih zunanjih evalvacij v izobraževanju odraslih v prihodnje. Rečemo lahko, da je samoevalvacija, ki smo jo izpeljali, del razmisleka o tem, ali kaže ekspertne zunanje evalvacije v prihodnje še izvajati, ali naj ostanejo prostovoljne kot doslej, ali naj bodo vsebinsko podobne, kdo naj jih izvaja itd. Če se spomnimo, ekspertne zunanje evalvacije so nastale kot nekakšno vsebinsko zahtevnejše in bolj strukturirano nadaljevanje podeljevanja priznanj Andragoškega centra Slovenije za razvijanje kakovosti. Presoji zahtevnih kriterijev za pridobitev priznanja, ki so temeljili predvsem na presojanju kakovosti notranjega sistema kakovosti in presoji v skupini neodvisnih javno priznanih strokovnjakov, je sledila ekspertna zunanja evalvacija, ki je nekatere elemente obdržala, druge pa dodala in/ali opredelila na zahtevnejši ravni. Tako so bila izpopolnjena merila za presojanje razvitosti notranjega sistema kakovosti, dodana so bila še druga področja presoje z merili kakovosti (podpora posamezniku pri izobraževanju in razvojna usmerjenost organizacije), vzpostavljena in usposobljena je bila skupina zunanjih presojevalcev – ekspertnih zunanjih evalvatorjev, presoja se je začela izvajati tudi na licu mesta in ne samo na podlagi pisne dokumentacije organizacije. Že ob začetku, pa tudi kasneje, so se občasno pojavljala vprašanja, ali ne bi bilo primerneje, da bi v ekspertno zunanjo evalvacijo vključili delovanje celotne organizacije, ne zgolj nekatera področja njenega delovanja. Druga dilema, ki so jo sprožale nekatere organizacije, je bila, kako zagotoviti pričakovanja organizacij, da bi ekspertni zunanji eval 222 vatorji presojali področja po njeni izbiri (torej tudi druga področja kot so jih lahko izbirali že doslej), saj to doslej ni bilo mogoče, ker niso bila razvita merila za druga področja. Tudi v zvezi s skupino evalvatorjev so se pojavljale dileme. Temeljna je bila ta, ali so lahko evalvatorji strokovni sodelavci neke podobne organizacije kot tiste, ki je evalvirana in kaj te strokovne sodelavce tako odlikuje, da lahko izvajajo presojanje na nacionalni ravni. Neodvisnih strokovnjakov s področja izobraževanja odraslih, ki ne bi bili zaposleni v kakšni izmed organizacij za izobraževanje odraslih, je v Sloveniji zelo malo in marsikdo zaradi obsega drugega dela ali drugih vzrokov pri evalvacijah ne more ali noče sodelovati. Andragoški center Slovenije pa zaradi politike izobraževanja, ki kroji njegove odločitve, koliko osebja in časa lahko nameni vprašanjem kakovosti v izobraževanju odraslih, zaenkrat tudi nima niti zadosti osebja niti denarja in časa, da bi ekspertne zunanje evalvacije lahko izvajal sam, brez sodelovanja zunanjih sodelavcev. Pri tem pa se pojavlja še dilema, ali je sploh združljiva vloga Andragoškega centra Slovenije kot razvojne organizacije z vlogo zunanjega evalvatorja. Morebiti bi take ali podobne ekspertne zunanje evalvacije moral izvajati nekdo povsem drug, a odgovora, kdo naj bi to bil, zaenkrat ni. Organizacije, ki izvajajo izobraževanje odraslih, so se doslej prostovoljno odločale za izvajanje ekspertne zunanje evalvacije v njihovi sredini. V začetku je bilo potrebnih kar nekaj motivacijskih ukrepov, da se je za to odločila kakšna organizacija, saj je šlo za novost, morebiti tudi za bojazen, kaj bo prinesla taka evalvacija ipd. Kasneje se je za evalvacijo odločalo primerno število organizacij, toliko, kot so bile zmogljivosti ACS in skupine evalvatorjev. V zadnjih letih pa je zanimanje za te evalvacije zopet poniknilo, vzroki niso natančno znani. Verjetno gre za kombinacijo vzrokov, kot je ta, da ima organizacija pri izpeljavi evalvacije kar veliko dela, da ugotovitve evalvacije niso nikjer formalno priznane in da jih niti financerji niti drugi, ki odločajo o njihovem položaju in dejavnosti, niso niti motivirali, kaj šele usmerjali v to, da bi se odločali za evalvacijo. Tudi noben zakon jih k temu ni napeljeval. Odpira se torej vprašanje, kako naprej. Ali ohranjati evalvacije take kot doslej, prostovoljne, in jih izvajati zgolj takrat, ko se zanje pojavi interes? Ali jih kaže opredeliti kot obvezne, zlasti za tiste organizacije, ki prejemajo javna sredstva za svoje delovanje? Ali jih ukiniti? Ali pa ekspertne zunanje evalvacije preoblikovati v kakšno drugo obliko zunanjega presojanja kakovosti? Vse to so vprašanja, na katera je treba najti odgovore in samoevalvacija je eno izmed sredstev, s pomočjo katere naj bi našli ustrezne odgovore. Tako smo direktorje oz. ravnatelje vprašali, kakšna naj bi bila po njihovem mnenju vloga ekspertnih zunanjih evalvacij v izobraževanju odraslih v prihodnje. Na vprašanje je odgovarjalo devet direktorjev oz. ravnateljev, izbrali pa so lahko več odgovorov. Takole so se odločili: 223 Preglednica 91: Odgovori direktorjev oz. ravnateljev na vprašanje, kakšna naj bi bila vloga ekspertnih zunanjih evalvacij v izobraževanju odraslih v prihodnje (N=9) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Premalo poznam, da bi imel stališče. 0 0,0 0,0 Menim, da so nepotrebne. 0 0,0 0,0 Naj ostanejo na prostovoljni osnovi kot doslej – organizacija, ki želi zunanjo evalvacijo, se za to sama odloči. 2 22,2 22,2 Ekspertne zunanje evalvacije naj postanejo za vse organizacije, ki izvajajo javno službo in/ali javne programe izobraževanja odraslih, obvezne v določenih časovnih intervalih. 7 77,8 77,8 Drugo. 0 0,0 0,0 SKUPAJ 9 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. Zanimivo, samo dva direktorja oz. ravnatelja menita, da naj bi evalvacije ostale še naprej prostovoljne, medtem ko večina podpira predlog, da bi postale obvezne za vse, ki opravljajo javno službo ali pa izvajajo javnoveljavne programe. Pri tem naj bi se zunanja evalvacija v vsaki organizaciji izvajala vsake toliko časa, torej ne zgolj enkrat, kar je sicer primerno, saj se v neki organizaciji razmere v določenem časovnem obdobju lahko zelo spremenijo ali pa se spremenijo okoliščine, v katerih deluje organizacija, zaradi katerih izidi evalvacije izpred let ne povejo več veliko. Če bi hoteli uresničiti tako stališče direktorjev oz. ravnateljev, bi to zahtevalo vzpostavitev številčnejše strokovne ekipe na ACS ali zunaj njega. Zaenkrat tudi zakonodaja ne nakazuje, da izobraževalna politika razmišlja v tej smeri, saj besedilo novega Zakona o izobraževanju odraslih take obveznosti ne predpisuje, res pa je, da predvideva, da se bodo zunanje evalvacije izvajale, to je pa tudi vse, kar je tam zapisanega. S strokovno-razvojnega vidika bi bila uvedba periodičnih zunanjih evalvacij v izobraževanju odraslih verjetno močan spodbujevalec razvoja, še posebej, če bi se ob ponovitvenih evalvacijah spremljalo napredek organizacij in če bi morebiti imele evalvacije tudi kakšen formalni učinek, ne »kaznovalni«, pač pa spodbujevalni. Vsekakor izzivalna stališča, ki zahtevajo temeljite premisleke in ukrepanja ne samo na ACS, pač pa tako na ravni ministrstev, drugih odločevalcev, pa tudi na ravni strokovnih združenj izobraževalnih organizacij. Prav enako vprašanje smo zastavili tudi evalvatorjem. Oni so se v dosedanji praksi sami večkrat srečali z vprašanjem, kako naprej, kaj je njihova vloga oz. kakšna naj bi bila. Na vprašanje je odgovarjalo enajst evalvatorjev, ki so prav tako lahko izbrali več odgovorov. 224 Preglednica 92: Odgovori evalvatorjev na vprašanje, kakšna naj bi bila vloga ekspertnih zunanjih evalvacij v izobraževanju odraslih v prihodnje (N=11) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Premalo poznam, da bi imel stališče. 0 0,0 0,0 Menim, da so nepotrebne. 0 0,0 0,0 Naj ostanejo na prostovoljni osnovi kot doslej – organizacija, ki želi zunanjo evalvacijo, se za to sama odloči. 3 27,3 27,3 Ekspertne zunanje evalvacije naj postanejo za vse organizacije, ki izvajajo javno službo in/ali javne programe izobraževanja odraslih, obvezne v določenih časovnih intervalih. 6 54,5 54,5 Drugo. 2 18,2 18,2 SKUPAJ 11 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Tudi evalvatorji, tako kot direktorji oz. ravnatelji, v večini primerov menijo, da naj postanejo zunanje evalvacije obvezne za organizacije, ki izvajajo javno službo ali javne programe. Manj je tistih evalvatorjev, ki se zavzemajo za to, da se ohrani sedanja rešitev, pa četudi k tem odgovorom prištejemo še odgovor enega anketiranca, ki je izbral odgovor »Drugo.«, saj se zdi, da se ta anketiranec bolj nagiba k takemu odgovoru.  Ne morem se odločiti med odgovoroma »Naj ostanejo na prostovoljni osnovi kot doslej – organizacija, ki želi zunanjo evalvacijo, se za to sama odloči« in »Ekspertne zunanje evalvacije naj postanejo za vse organizacije, ki izvajajo javno službo in/ali javne programe izobraževanja odraslih, obvezne v določenih časovnih intervalih«. Odvisno je, v kakšnem razvojnem stanju je organizacija, in ali ne bi tovrstna evalvacija v letu, ko bi npr. prišlo do večje reorganizacije, tej organizaciji povzročila več škode kot koristi. Evalvacije so zahtevne za izpeljavo, sploh na strani organizacij, in mislim da ne bi bilo primerno, da so brez nekega prostovoljnega obdobja privajanja na evalvacijo kar zakonsko obvezano prisiljene v dodatne aktivnosti, ki jim lahko potem še škodijo, če nanje niso pripravljene. Še en evalvator je izbral odgovor »Drugo.«, ta pa ga je pojasnil takole:  Odgovor na to vprašanje je s strokovnega vidika precej odgovoren in hkrati tudi zahteven. Sama sem namreč vedno stala na stališču, da naj ekspertne zunanje evalvacije ostajajo na prostovoljni ravni. Menim namreč, da ekspertne evalvacije, kot jih izvaja ACS, zahtevajo resno angažiranost organizacij, ki se vanje vključujejo. Se pravi, organizacije so same motivirane, da nekdo od zunaj presodi njihovo kakovost, to pa daje tudi več možnosti, da bodo evalvacije dobro izpeljane, pa tudi zato, da bodo v organizacijah poročilo o ekspertnih zunanjih evalvacijah resno proučili in ga uporabili za lasten razvoj. Vendar se že v ekspertnih evalvacijah, ki jih izvaja ACS, soočamo z omejitvijo, ki jo prinaša prosto 225 voljnost. Za sodelovanje v takšnih evalvacijah se po navadi odločajo organizacije, ki so že same razvojno naravnane, se zavedajo odgovornosti za kakovostno delo. Težko pa bomo v takšne prostovoljne pristope pritegnili organizacije, ki takšne naravnanosti nimajo, ki ne čutijo potrebe po zunanjem mnenju ipd. Verjetno so se prav zaradi takšnih omejitev v različnih sistemih uvedle tudi obvezne zunanje evalvacije. Pri nas jih že leta izpeljuje npr. NAKVIS na visokem in višjem šolstvu. V primeru obveznih evalvacij se je po mojem mnenju potrebno soočiti tudi z možnostjo, da organizacije, ki bodo takšno evalvacijo čutile kot prisilo, ne bodo zaupale v metodologijo, tudi rezultatov evalvacije ne bodo vzele resno. Ali pa bo morebiti šlo samo za to, da na takšne vrste poglobljene zunanje evalvacije še niso bile pripravljene. V tem primeru bodo vprašljivi učinki teh evalvacij. Ne glede na to, ali jih bomo ohranili na prostovoljni ravni ali pa jih v prihodnje usmerili v obvezne zunanje evalvacije, katerim bi bila organizacija podvržena v določenem obdobju, pa je treba opozoriti na kadrovsko podhranjenost tega področja. V vsakem primeru, ali če bodo ekspertne zunanje evalvacije ostale prostovoljne ali če bi uvedli sistem obveznih evalvacij - v osnutku novega zakona o izobraževanju odraslih je ta možnost sedaj dana - je treba odpreti tudi vprašanje o tem, ali imamo kadrovske ekipe, ki evalvacije lahko opravljajo na način, da je poskrbljeno vsaj za vse javne organizacije za izobraževanje odraslih. Zaradi vseh teh zahtevnih vidikov menim, da je to vprašanje, ki bi zahtevalo dodaten premislek in obravnavo v strokovnih krogih, tudi na strokovnem svetu in s predstavniki izobraževalne politike. Odgovor na to vprašanje pa bo odvisen tudi od tega, kako bo to vprašanje rešeno v nacionalnem okviru za ugotavljanje in zagotavljanje kakovosti, ki se oblikuje na nacionalni ravni. Ta odgovor še natančneje opisuje posledice take ali drugačne rešitve, ki smo jih že zapisali pri odgovorih direktorjev oz. ravnateljev. Pri obeh subjektih sicer večinsko prevladuje mnenje, da naj zunanje evalvacije postanejo obvezne, a razmislek o takem predlogu, pa tudi opozorila, ki so jih dali nekateri anketiranci, kažejo, da rešitve niso preproste in da bo potrebno v prihodnje še kar nekaj razmislekov, kako dalje; seveda so tudi izidi te samoevalvacije pri teh razmislekih v veliko pomoč. Oba subjekta, direktorje oz. ravnatelje in evalvatorje, smo vprašali tudi, kakšne naj bi bile ekspertne zunanje evalvacije v prihodnje z vsebinskega vidika (če bodo ohranjene, seveda). Na vprašanje je odgovarjalo devet direktorjev oz. ravnateljev, lahko so izbrali več ponujenih odgovorov. Tako so izbrali: 226 Preglednica 93: Odgovori direktorjev oz. ravnateljev na vprašanje, kakšen naj bi bil razvoj ekspertnih zunanjih evalvacij v izobraževanju odraslih v prihodnje (N=9) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Premalo poznam, da bi imel stališče. 0 0,0 0,0 Menim, da so nepotrebne. 0 0,0 0,0 Naj ostanejo podobne kot doslej – obsegajo evalvacijo enega ali dveh področij, ta pa so evalvirana dokaj natančno. 2 18,2 22,2 Naj ostanejo podobne kot doslej – vendar naj bodo vsa področja, ki se bodo evalvirala, na izbiro organizacijam, nobeno naj ne bo obvezno. 1 9,1 11,1 Razširiti bi morali možen izbor področij, ki jih organizacija izbira za evalvacijo. 5 45,4 55,6 Ekspertne zunanje evalvacije naj zajemajo presojo kakovosti celotnega delovanja izobraževalne organizacije (in ne samo nekaj področij), četudi bi bile zato manj poglobljene. 1 9,1 11,1 Drugo. 2 18,2 22,2 SKUPAJ 11 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje iz evalviranih organizacij - 2017, arhiv Andragoškega centra Slovenije. Kot je razvidno, tretjina vprašanih meni, da naj evalvacije ostanejo take, kot so bile doslej, pri čemer en anketiranec sodi, da bi bilo primerno, da se organizacijam prepusti možnost izbire med področji, da torej področje notranjega sistema kakovosti ne bi bilo obvezno področje evalvacije. Največ vprašanih pa se zavzema za to, da bi bilo potrebno razširiti nabor področij, ki jih organizacija lahko izbira za ekspertno zunanjo evalvacijo. Tak izbor je eden izmed sodelujočih še utemeljil s tistim, kar je zapisal pod odgovor »Drugo.«:  Zaradi precej raznolikega delovanja organizacij za izobraževanje odraslih (pretežno izvajanje javnih programov, pretežno izvajanje neformalnih programov, pretežno projektno delo ipd.), bi moral biti možen širši izbor področja, saj nekatera področja v določenih organizacijah sploh nimajo teže. Taka razmišljanja so podobna tudi razmišljanjem ACS, ki je predvideval, da se bodo s postopnim razvojem ekspertnih zunanjih evalvacij razvijala postopoma tudi nova področja evalvacij, tako kot se je to dogajalo od samega začetka. Res pa je, da vključevanje novih področij ni tako enostavno, saj je treba za vsako novo področje opredeliti primer-ne kazalnike in merila, kar pa je zahtevno strokovno delo. Prav tako je potrebno proučiti, 227 katera dokazila/izjave so možna za prikaz, kako organizacija dela na tem področju, da ne govorimo o tem, da se morajo tudi ekspertni zunanji evalvatorji usposobiti za presojanje novega področja. Že ko se ekspertna evalvacija izvaja na novem področju, sta potrebni vsaj kakšni dve leti ali celo več, da se lahko presodi, ali so opredeljeni kazalniki in merila primerni, kakšna dokazila/izjave v zvezi z njimi imajo organizacije ipd. Področja, ki jih uporablja ekspertna zunanja evalvacija, še niso bila razvita kdaj prej ali za druge namene (npr. v projektu POKI), zato nastajajo postopoma in s premislekom. Če se bodo ekspertne zunanje evalvacije razvijale v dosedanji ali podobni obliki tudi v prihodnje, se bodo prav gotovo razvila tudi druga področja in se postopoma uvajala v izvajanje evalvacij. En direktor oz. ravnatelj pa je ob tem vprašanju zapisal nekaj misli, ki niso v celoti povezane s prejšnjim vprašanjem, pač pa zadevajo še nekatere druge vidike nadaljnjega razvoja ekspertnih zunanjih evalvacij:  Če se razmišlja o akreditaciji organizacij, ki bo vezana na EZE, bo potrebno natančno določiti merila in področja, na katerih se bo izvajala. Smo pristaš prostovoljnosti in možnosti izbire, vendar naj organizacija vsled tega pridobi dodatne točke na razpisih Ministrstva za izobraževanje, znanost in šport ali kaj podobnega. Vsekakor je že udeležba v nacionalnem razvojnem projektu ustrezna motivacija za zaposlene (napredovanje v nazive). Vsekakor bi morala biti ekspertna evalvacija tudi priložnost za vzajemno učenje vseh vključenih, ne le organizacije, pač pa tudi evalvatorjev, sicer bo postala preveč zbirokratizirana in sama sebi namen. Res je, da se v zadnjih letih večkrat pojavilo tudi vprašanje, ali bi kazalo na področje (verjetno zgolj javnega) izobraževanja odraslih uvesti akreditacije kot možnost nadzora države nad minimalnimi standardi, ki jih morajo zagotavljati organizacije, ki izvajajo to izobraževanje. Zakonodajalec takim predlogom ni naklonjen, kar potrjuje tudi besedilo novega Zakona o izobraževanju odraslih, ki o tem ne govori. Pa četudi bi se o tem resneje razmišljalo, povezava akreditacije in ekspertne zunanje evalvacije ni možna, saj gre za bistveno drugačna izhodišča, na katerih temeljita. Če ima prva predvsem nadzorno vlogo in s tem lahko tudi »kaznovalno«, ima druga predvsem razvojno vlogo, ki jo organizacija upošteva ali pa ne. Strinjati pa se je mogoče z razpravljavcem, da morajo biti tudi za akreditacijo natančno določena in vnaprej znana področja, kazalniki, standardi in merila, ki se pri tem uporabljajo. O prostovoljnosti ali obveznosti ekspertnih zunanjih evalvacij smo že razpravljali malo prej, če prav razumemo izjavo anketiranca, pa tudi pritrjuje stališču, da bi bila področja evalvacije v celoti na izbiro organizaciji. Prav tako je mogoče pritrditi misli, da naj bi bile (to sicer po našem prepričanju že so) priložnost za vzajemno učenje vseh vključenih, tako organizacij kot evalvatorjev. Anketiranec pa odpira še eno vprašanje, to je, kakšni naj bi bili (tudi) učinki ekspertnih zunanjih evalvacij – vplivale naj bi na napredovanje zaposlenih v nazive in na pridobitev določenih referenc (prednosti?) na javnih razpisih. O tem bomo nekaj zapisali kasneje, ker smo o tem pridobili še nekaj mnenj drugih anketirancev. Povedali smo že, da smo enako vprašanje zastavili tudi evalvatorjem. Odgovarjalo jih je enajst, tudi oni so imeli možnost izbire več odgovorov. Takole so zapisali: 228 Preglednica 94: Odgovori evalvatorjev na vprašanje, kakšen naj bi bil razvoj ekspertnih zunanjih evalvacij v izobraževanju odraslih v prihodnje (N=11) FREKVENCA OdSTOTEK GLEdE NA OdGOVORE OdSTOTEK GLEdE NA OSEbE Premalo poznam, da bi imel stališče. 0 0,0 0,0 Menim, da so nepotrebne. 0 0,0 0,0 Naj ostanejo podobne kot doslej – obsegajo evalvacijo enega ali dveh področij, ta pa so evalvirana dokaj natančno. 6 35,3 54,5 Naj ostanejo podobne kot doslej – vendar naj bodo vsa področja, ki se bodo evalvirala, na izbiro organizacijam, nobeno naj ne bo obvezno. 1 5,9 9,1 Razširiti bi morali možen izbor področij, ki jih organizacija izbira za evalvacijo. 6 35,3 54,5 Ekspertne zunanje evalvacije naj zajemajo presojo kakovosti celotnega delovanja izobraževalne organizacije (in ne samo nekaj področij), četudi bi bile zato manj poglobljene. 3 17,6 27,3 Drugo. 1 5,9 9,1 SKUPAJ 17 100,0 / Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. En anketiranec je izbral (tudi) odgovor »Drugo.« in ga takole pojasnil:  Mislim, da bi bilo dobro, da bi razširili možen izbor področij, organizacija pa bi lahko vsako leto presojala drugo področje. Ta odgovor sodi v skupino odgovorov (tretjina sodelujočih evalvatorjev), ki govori o tem, da bi morali razširiti izbor področij. Temu kaže pritrditi, če se bodo ekspertne zunanje evalvacije še izvajale, vendar smo več o tem zapisali že pri odgovorih direktorjev oz. ravnateljev, zato tega tu ne bomo ponavljali. Zanimivo pa je, da je enako število odgovorov, dobra tretjina, pritrdilo, da naj evalvacije ostanejo podobne kot doslej – obsegajo naj evalvacijo enega ali dveh področij, ta pa so evalvirana dokaj natančno. Ta odgovor je samo na videz v nasprotju s prejšnjim; če oba odgovora povežemo, potem lahko ugotovimo, da je večinsko mnenje evalvatorjev, da se tudi v prihodnje evalvirata samo eno ali dve področji, pri tem pa naj bi bil možen nabor, kaj bi se evalviralo, večji kot doslej. Nekaj podobnega so sporočili tudi direktorji oz. ravnatelji, le evalvatorji so to še bolj poudarili, tako da to lahko povzamemo kot eno izmed sporočil te samoevalvacije. 229 Nič pa še nismo spregovorili o tem, da je bil pri direktorjih oz. ravnateljih enkrat in pri evalvatorjih trikrat izbran odgovor, da bi evalvacija zajemala presojo kakovosti celotnega delovanja izobraževalne organizacije. Prav velike podpore ta predlog torej ni dobil, čeprav bi bil ob določenih pogojih možen. Je pa prav gotovo, da v takem primeru tako poglobljene evalvacije ne bi bile mogoče izvajati, hkrati pa naj spomnimo, da so že v tej samoevalvaciji nekateri direktorji oz. ravnatelji in koordinatorji evalvacij iz organizacij sporočali, da po prejetih priporočilih evalvatorjev niso vedeli, česa naj se najprej lotijo, pa je šlo le za dve področji evalviranja. Kaj bi šele bilo, če bi bilo področij več in s tem številčno in po raznolikosti veliko predlogov, ki bi zadevali celotno delovanje organizacij! Na področju razvoja kakovosti izobraževanja odraslih je doslej veljalo, da se je treba sprememb lotevati premišljeno in postopno, da nikakor ni dobro, če bi želeli naenkrat spreminjati ogromno stvari, ker to prinaša prej zmedo kot red, strokovne moči se razpršijo, stvari bi se delale površno, bili bi odpori in vse skupaj verjetno ne bi vodilo h kakšnemu večjemu izboljšanju kakovosti; lahko bi bilo celo neproduktivno. Na koncu predstavljamo še nekaj izjav, ki so jih vsi trije subjekti zapisali ob vprašanju, če nam bi v zvezi z evalvacijami želeli sporočiti še kaj, česar jih nismo vprašali. Nekatere njihove izjave, ki so zadevale vprašanja, ki smo jih že obravnavali, smo že predstavili na ustreznih mestih, spodnje pa so take, da jih drugam nismo mogli uvrstiti, so pa prav tako pomembne za pridobitev celovitejše slike o stališčih anketirancev. Takole so zapisali: Direktorji oz. ravnatelji:  Za načrtno delo in razvoj kakovosti v izobraževanju odraslih pa bi bilo potrebno delovni čas, ki ga terjajo aktivnosti za razvoj in zagotavljanje kakovosti, tudi ovrednotiti in priznati v obliki dodatnih delovnih ur ali faktorja, s katerim bi se pomnožile vrednosti delovnih ur. Prav tako bi bilo potrebno iz državnega proračuna financirati delo svetovalca za kakovost.  Menim, da so predhodni odgovori zajeli večino razmišljanja in ugotovitev o ekspertni zunanji evalvaciji. Mogoče bi bilo res potrebno nekoliko bolj definirati pomen zunanje evalvacije za organizacijo v smislu certifikata ali podobnega dokumenta, ki bi organizaciji prinesel konkurenčno prednost pred sorodnimi organizacijami na regionalnem, nacionalnem in mednarodnem nivoju ( javni razpisi, izbor izvajalcev za izvajanje izobraževalnih programov preko Ministrstva za delo, družino in socialne zadeve in Ministrstva za izobraževanje, znanost in šport ipd.).  Organizacija naj pridobi dodatne točke na razpisih Ministrstva za izobraževanje, znanost in šport ali kaj podobnega. Vsekakor je že udeležba v nacionalnem razvojnem projektu ustrezna motivacija za zaposlene (napredovanje v nazive).  Predlagamo, da se vodijo aktivnosti tako, da so vse organizacije za izobraževanje odraslih zavezane skrbi za kakovost. Za zunanjo evalvacijo je prav, da se odločajo prostovoljno. Tiste, ki imajo dobra poročila, naj imajo tudi dodatne točke pri izbiri na javnem razpisu Ministrstva za izobraževanje, znanost in šport. Koordinatorji ekspertne zunanje evalvacije iz organizacij:  Ekspertna zunanja evalvacija je potrebna in bi jo bilo dobro ponoviti vsaj na pet let.  Mislim, da bi po izpeljani ekspertni evalvaciji lahko prejeli tudi znak kakovosti (npr. POKI, zeleni znak kakovosti ipd.). Če s samo evalvacijo ne bi izpolnjevali pogojev, pa bi lahko 230 ACS npr. določil rok in minimalne zahteve za pridobitev tega znaka. Mislim, da je bilo pri nas kljub vsemu že prej in kasneje v zvezi s kakovostjo postorjenega veliko, nismo se pa načrtno vključevali v projekte (POKI), saj zaposleni enostavno nimamo časa. Tu se bomo zaustavili, ker so izjave evalvatorjev vsebinsko drugačne od izjav direktorjev oz. ravnateljev in koordinatorjev, kar bo razvidno iz nadaljevanja. Ob nekaterih ponovitvah izjav ali odgovorov, ki so jih direktorji oz. ravnatelji in koordinatorji že dali na drugih mestih, je bistveno njihovo sporočilo, da bi se morala udeležba v ekspertni zunanji evalvaciji na nek način »nagraditi«. Predlagajo, da bi jim to dajalo npr. neke dodatne reference na javnih razpisih za pridobitev sredstev za izobraževanje ali pri kandidiranju za izvajanje izobraževalnih programov, da bi dobili nek certifikat, da bi bilo delo ob evalvaciji denarno vrednoteno, da bi s tem dobili tudi Zeleni znak kakovosti, ki ga podeljuje ACS. Najprej je treba povedati, da na nek način pričakovanja organizacij, da jih bo nekdo »nagradil« za to, da so se odločile za ekspertno zunanjo evalvacijo, sprožajo nekoliko začudenja, saj naj bi bil v prvi vrsti njihov motiv, da same in skupaj z evalvatorji natančneje proučijo raven kakovosti na nekaterih svojih področjih delovanja in na tej podlagi razvojno delujejo. »Nagrada«, če temu lahko tako rečemo, je njihovo natančnejše vedenje o ravni kakovosti, pa tudi o možnem delovanju v prihodnje. Vse to naj bi se postopoma odrazilo v njihovi večji kakovosti, ta pa bi jim dajala različne prednosti na njihovem področju. Očitno pa je močno prisotno pričakovanje, ki se je pojavilo tudi ob izvajanju samoevalvacije po modelu POKI in pri pridobitvi Zelenega znaka kakovosti, da bi to delo nekdo na nacionalnem nivoju priznal takoj po izpeljani aktivnosti. Če odmislimo, da se ob tem vsaj pri vodenem izpeljevanju modela POKI in pri ekspertni zunanji evalvaciji postavlja vprašanje, ali to velja tako za tiste, ki so pri tem bolj uspešni, ali za vse, ki se sploh vključijo, potem je na nek način mogoče tudi pojasniti ta pričakovanja. Temeljijo verjetno na logiki, da ima razdeljevalec javnih sredstev na ta način informacijo, da gre za organizacijo, ki več vlaga v kakovost, torej je mogoče pričakovati, da bodo njene storitve kakovostnejše. Na drugi strani pa je tudi res, da ekspertna zunanja evalvacija nudi vpogled samo v nekatera področja delovanja organizacije; pričakujemo sicer lahko, da je organizacija, ki je dosegla dobre izide na enih področjih, dobra tudi na drugih, ni pa to nujno. In tudi ni nujno, da je organizacija, ki (še) ni sodelovala v ekspertni zunanji evalvaciji, na nekem področju slabša od organizacije, ki je sodelovala. Skratka, kar precej dilem se pojavlja v zvezi s temi predlogi, čeprav jih ne kaže kar zavrniti – vsekakor jih je potrebno imeti v mislih ob načrtovanju prihodnjega razvoja ekspertnih zunanjih evalvacij in jih še z dodatnimi premisleki uporabiti na ta način ali pač ne. Ekspertni zunanji evalvatorji pa so ob vprašanju, če bi radi na koncu še kaj dodali, zapisali:  Menim, da je bila pri ekspertnih evalvacijah, ki jih izvaja ACS, razvita dobra strokovna metodologija za izvajanje ekspertnih zunanjih evalvacij. Menim, da smo z metodologijo dela uspeli vsaj malo preseči zgolj birokratsko in po drugi strani nadzorno dojemanje dometa, ki ga imajo zunanje evalvacije. V številnih organizacijah so ekspertne zunanje evalvacije sprožale strokovne premisleke o kakovosti izobraževanja odraslih in akcije za izboljševanje tega izobraževanja. Tudi kot evalvatorica in koordinatorica skupin ekspertnih zunanjih evalvatorjev sem se v teh letih veliko naučila o tem, kaj je najpomembnejše 231 pri delu v tej vlogi. Menim namreč, da take evalvacije obstojijo ali padejo prav na točki strokovne integritete in usposobljenosti ekspertnih zunanjih evalvatorjev. Menim, da ekspertni zunanji evalvator ne more biti vsak, to ne more biti oseba brez delovnih izkušenj, strokovne zrelosti, tudi zmožnosti sodelovanja z drugimi. Ekspertni zunanji evalvator ne more biti nekdo, ki ni spoštljiv do dela organizacij, ki jih evalvira, in strokovnih delavcev, ki jih tam srečuje. Prav zato je po mojem mnenju usposabljanje in strokovno delo z evalvatorji ključno. Prav na tej točki pa vidim tudi veliko omejitev teh vrst evalvacij. V Sloveniji se vsi poznamo, pogosto se hkrati znajdemo v svetovalni in nadzorni vlogi. Te vloge si včasih med seboj nasprotujejo, nas nehote pripeljejo v konflikt interesov. Na splošno menim, da je ljudi, ki bi bili strokovno zreli in usposobljeni za to vlogo, v slovenskem prostoru malo. V nacionalnih institucijah je ta problematika zelo pereča. Če bomo naprej razvijali ekspertne zunanje evalvacije, sama menim, da bi jih morali, bo torej ključno, da bomo razrešili kadrovsko in materialno osnovo za izvajanje tega dela. Ključno mora zato ostati usposabljanje in strokovna ter svetovalna podpora evalvatorjem pri njihovem delu, še prej pa seveda sam izbor evalvatorjev. Svoj premislek bi zato zaključila s stavkom: metodologije so pomembne, a za uspešnost uporabe metodologij so ključni ljudje, ki jih bodo uporabljali.  Želela bi sporočiti še enkrat, da so zunanje evalvacije potrebne za spremljanje in razvoj kakovosti izobraževanja odraslih. Ekspertne zunanje evalvacije, ki jih izvaja ACS, so primerne, zelo dobro pripravljene, poglobljene in razvojno naravnane. Upoštevajo potrebne spremembe, razrešujejo dileme, ki se pojavljajo in skrbijo za stalno izboljševanje. V bodoče bi bilo za razmisliti, če bi jih organizirali tako, da bi se po določenem obdobju npr. 3-5 let, zunanja evalvacija v evalvirani organizaciji ponovila. S tem bi zares omogočili presojanje dodane vrednosti izvedene evalvacije. Dobili bi vpogled v to, kako so presojane organizacije ugotovljene pomanjkljivosti in predloge za izboljšave sprejele. Ugotovili bi lahko, kako so jih upoštevali, ali so določeni ukrepi, ki so bili predlagani in potem izvedeni, zares prispevali k izboljšanju kakovosti... Izvedeli bi morda za kakšen ukrep, ki so ga izvedli, pa ni bil predlagan v zaključnem poročilu in še marsikaj...  Menim, da je celotno področje odlično in temeljito vodeno. Istočasno smo evalvatorji sproti obveščeni o vseh novostih, dogajanjih in postopkih. Ravno tako je poskrbljeno za celotno podporo (tako računalniško, kot strokovno) na usposabljanjih in med samo izvedbo zunanje evalvacije. Po mojem mnenju je potrebno nadaljevati v tej smeri. Res ste dobri!  Zunanje ekspertne evalvacije, ki jih izvaja ACS, so zelo dobro načrtovane, usmerjene, poglobljene, kakovostne in omogočajo organizaciji dober vpogled v njihov notranji sistem zagotavljanja kakovosti. Kot zunanja evalvatorica imam same pozitivne izkušnje s sodelovanjem z ACS, saj je delo ob zunanjih evalvacijah močno podprto s strani zaposlenih na ACS, kar omogoča izjemno kvalitetno delo ob izvedbi zunanje evalvacije. Iskrena hvala vam in uspešno še naprej.  Ekspertne zunanje evalvacije so pripravljene, vodene in organizirane zelo profesionalno. Evalviranim organizacijam omogočajo nadaljnji razvoj in razmisleke na področju skrbi za kakovost delovanja. Tudi evalvatoricam omogočajo poglobitev poznavanja področja in dragocene izkušnje za svoje delo.  Menim, da so vsi pripomočki in navodila, ki jih pripravi ACS (tako za organizacije kot za evalvatorje), res strukturirani in dobro pripravljeni, da je izpeljava ekspertne zunanje evalvacije lahko čim bolj enotna oz. da so pogoji za sodelujoče organizacije čimbolj eno 232 tni. Zelo dragoceno je, da kot evalvatorji lahko gremo na teren in dobimo boljši vpogled v delo izobraževalnih organizacij v praksi!  Želela bi si, da na tak ali nek drugi način ostanejo del sistema izobraževanja odraslih. Upam, da bo ACS to uspelo.  Vesela sem, da sem dobila priložnost sodelovanja pri ekspertni zunanji evalvaciji tudi na Andragoškem centru.  Z veseljem sodelujem z vami in cenim vašo predanost poslu. Če začnemo z zadnjimi prikazanimi izjavami, lahko ugotovimo, da gre za pohvale evalvatorjev, kako je celoten proces voden, kakšne pripomočke imajo pri delu, kakšno podporo imajo pri svojem delu ipd. Ta sporočila so pomembna, saj pripovedujejo o tem, da ekspertni zunanji evalvatorji lahko dobro opravljajo svoje delo, zato kaže ob pohvalah ACS tudi sporočiti, da naj, če se bodo ekspertne zunanje evalvacije še izvajale, zagotovi še naprej tak nivo razvojne podpore tem evalvacijam. Prve izjave pa govorijo same za sebe, govorijo o tem, na čem morajo temeljiti dobre ekspertne zunanje evalvacije, kako pomembno je pri tem znanje in premišljeno ravnanje, pa tudi kakšne dileme se nakazujejo pri njihovem razvoju v prihodnje. Nekaj o teh dilemah smo že pisali, te izjave jih (ponovno) potrjujejo. Morebiti nismo še nič razpravljali o ideji, da bi se ekspertne zunanje evalvacije v isti organizaciji ponovile čez nekaj let. To bi bila res prava evalvacija učinkov, žal pa takoj naletimo na probleme, ki nakazujejo, da je taka ideja težko rešljiva. Za to bi predvsem morali imeti večje skupine evalvatorjev, kot je na razpolago sedaj, seveda pa je vprašanje tudi, če bi pri ponovljenih evalvacijah lahko/ hotele sodelovati izobraževalne organizacije. Prav tako dilemo sproži ugotovitev, da bi v tem primeru v eni organizaciji longitudinalno spremljali eno ali dve področji, tisti pač, ki sta bili izbrani ob prvi evalvaciji. Za vsa ostala področja pa ne bi bilo niti dovolj časa niti dovolj osebja, da bi se z njimi ukvarjali, kar kaže imeti v mislih, ko bi ob načrtovanju prihodnjega razvoja ekspertnih zunanjih evalvacij presojali tudi ta predlog. Sklenemo lahko, da je samoevalvacija potrdila potrebnost in učinkovitost izvedenih ekspertnih zunanjih evalvacij in da anketiranci niso izrazili nasprotovanja, da bi se v prihodnje še izvajale, saj so v njih prepoznali mnoge dobre učinke. Ob tem pa so opozorili tudi na pomanjkljivosti dosedanjega izvajanja, ki bi jih kazalo v prihodnje odpraviti, pa tudi na izzive, ki jih je potrebno razrešiti, da bi ekspertne zunanje evalvacije lahko ostale del sistema izobraževanja odraslih in njegovi razvojni spodbujevalci. Čisto na koncu prikazujemo vprašanje, ki smo ga prav v zvezi z vlogo ekspertnih zunanjih evalvacij kot razvojnih spodbujevalcev postavili ekspertnim zunanjim evalvatorjem. Na voljo so imeli več trditev in za vsako so se morali opredeliti, ali vpliva na razvoj izobraževanja odraslih ali ne. Vseh enajst sodelujočih ekspertnih zunanjih evalvatorjev se je opredelilo takole: 233 234 Preglednica 95: Odgovori evalvatorjev na vprašanje, kaj menijo o tem, ali ekspertne zunanje evalvacije vplivajo na razvoj izobraževanjaodraslih nasploh (N=11) NE NE VEM dA SKUPAJ FREKVENCA OdSTOTEK FREKVENCA OdSTOTEK FREKVENCA OdSTOTEK FREKVENCA OdSTOTEK Razvoj metodologije ekspertne zunanje evalvacije vpliva tudi na razvoj metodologije za pridobitev Zelenega znaka kakovosti v izobraževanju odraslih. 0 0,0 2 18,2 9 81,8 11 100,0 Izvedene ekspertne zunanje evalvacije doprinašajo k razvoju strokovnih rešitev o zunanjih evalvacijah v izobraževanju odraslih. 0 0,0 0 0,0 11 100,0 11 100,0 Ekspertna zunanja evalvacija doprinaša k razvoju področij kakovosti, ki jih drugi modeli kakovosti v izobraževanju odraslih ne poznajo (npr. razvojna usmerjenost organizacije). 1 9,1 3 18,2 8 72,7 11 100,0 Ekspertna zunanja evalvacija je doprinesla k predlogom za izboljšanje zakonske ureditve izobraževanja odraslih na področju kakovosti. 0 0,0 6 54,5 5 45,5 11 100,0 Ekspertna zunanja evalvacija je doprinesla k računalniški razvitosti orodij na področju kakovosti izobraževanja odraslih. 1 9,1 3 27,3 7 63,6 11 100,0 Področja kakovosti, ki jih vsebuje ekspertna zunanja evalvacija, doprinašajo k povečani pozornosti organizacij do kakovosti na teh področjih (notranji sistem kakovosti, razvojna usmerjenost organizacije…). 0 0,0 0 0,0 11 100,0 11 100,0 Področja kakovosti, ki jih vsebuje ekspertna zunanja evalvacija, doprinašajo k razvoju strokovnih pristopov in praktičnih rešitev v organizacijah v zvezi s kakovostjo na doslej evalviranih področjih. 0 0,0 1 9,1 10 90,9 11 100,0 Vir: Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje - 2017, arhiv Andragoškega centra Slovenije. Evalvatorji so soglasni, da ekspertne zunanje evalvacije spodbujajo razvoj strokovnih rešitev o zunanjih evalvacijah v izobraževanju odraslih in doprinašajo k povečani pozornosti izobraževalnih organizacij do kakovosti na področjih, ki jih le-ta zajema. Temu je mogoče nedvomno pritrditi, saj se ekspertne zunanje evalvacije v taki obliki v slovenskem izobraževanju odraslih še niso izvajale in pristopi, rešitve, ki so bile ob tem razvite, so prav gotovo inovativne za izobraževanje odraslih, če drugega ne, že s področji, kazalniki in merili, ki jih vsebujejo. Prav ti, kazalniki in merila, so po našem mnenju tudi sprožilci za bolj poglobljeno presojanje o določenih področjih tako za tiste organizacije, pri katerih je potekala ekspertna zunanja evalvacija, kot za druge, ki se zgolj seznanijo s temi kazalniki in merili; ne nazadnje pa je z njihovim oblikovanjem nek nov razvojni premik dosegla tudi stroka, ki je morala opredeliti standarde in merila za področja, ki doslej v izobraževanju odraslih, vsaj ne v Sloveniji, niso bila razvita. Skoraj vsi (deset od enajstih) evalvatorji so tudi ocenili, da področja kakovosti, ki jih vsebuje ekspertna zunanja evalvacija, doprinašajo k razvoju strokovnih pristopov in praktičnih rešitev v organizacijah v zvezi s kakovostjo na doslej evalviranih področjih. Ta stališča moramo razumeti kot prepričanja evalvatorjev, ki pa jih ni mogoče povsem objektivno preveriti. V tej samoevalvacijski študiji smo že zapisali, da bi bil natančen vpogled v učinke ekspertnih zunanjih evalvacij mogoč le v primeru, če bi primerjali ugotovitve ekspertne zunanje evalvacije in ukrepe ter doseženo stanje v neki organizaciji po določenem času. Taka evalvacija zaenkrat še ni bila izpeljana, le delno se lahko opiramo na ugotovitve te študije in izjave, ki so jih o učinkih dali direktorji oz. ravnatelji sodelujočih organizacij in koordinatorji iz teh organizacij. Če se spomnimo, so direktorji oz. ravnatelji in koordinatorji večinsko izjavili, da so jim »predlogi za izboljšave v mnogih primerih pomagali, da so našli rešitve ali vpeljali ravnanja, ki jih dotlej niso poznali ali pa se nanje niso spomnili«. Prav tako so našteli kar precej ukrepov, ravnanj, ki so jih vpeljali na evalviranih področjih, zlasti pri razvoju notranjega sistema kakovosti. Posredne informacije tako imamo, prav konkretno, kakšen je doprinos k razvoju strokovnih pristopov in praktičnih rešitev v organizacijah, pa ni mogoče vrednotiti. Seveda pa taka prepričanja ekspertnih zunanjih evalvatorjev temeljijo tudi na njihovem poslanstvu in prepričanju o pričakovanih učinkih njihovega dela – če tega ne bi verjeli, verjetno ne bi delovali v tej vlogi, ki ni prav enostavna. Druge ponujene trditve so sodelujoči ekspertni zunanji evalvatorji sprejeli različno, a še vedno so jih potrdili večinsko. Izjema je le trditev, da je »ekspertna zunanja evalvacija doprinesla k predlogom za izboljšanje zakonske ureditve izobraževanja odraslih na področju kakovosti«, kjer so se anketiranci skoraj v enaki meri odločili, da je na podlagi izpeljanih ekspertnih evalvacij prišlo tudi do predlogov za izboljšanje zakonske ureditve (5 anketirancev), ali pa da tega ne vedo (6 anketirancev). Prav natančno ni mogoče ugotoviti, na čem temeljijo ti odgovori, ugibamo pa lahko, da so prvi odgovor dali tisti evalvatorji, katerih narava dela oz. delovni položaj je bližji dogajanjem pri nastajanju novega zakona o izobraževanju odraslih, drugi pa so evalvatorji, ki nimajo toliko vpogleda in informacij o tem, kaj se je v času anketiranja dogajalo v zvezi z novo zakonodajo. Ne glede na te ugotovitve pa lahko na splošno ugotovimo, da po mnenju ekspertnih zunanjih evalvatorjev ekspertne zunanje evalvacije pomembno vplivajo na razvoj izobraževanja odraslih. Čeprav tega tako neposredno nismo vprašali tudi direktorjev oz. 235 ravnateljev in koordinatorjev, pa nam njihove izjave v zvezi z drugimi vprašanji posredno govorijo tudi o tem, da zaznavajo razvojni učinek evalvacije, kar pa je tudi bistveno izhodišče, na katerem je ACS sploh začel razmišljati o načrtovanju ekspertnih zunanjih evalvacij in jih tudi izvajal. Zgolj ta študija ne bo odločala, ali naj se ekspertne zunanje evalvacije izvajajo v izobraževanju odraslih tudi v prihodnje; četudi se morebiti ne bodo, so v tem sistemu pustile neko sled, v sodelujočih organizacijah pa razvojne učinke, ki jih lahko še dolgo spodbujajo k inovativnemu delu in so zgled njihovim partnerskim organizacijam. 236 5 TEMELJNE UGOTOVITVE SAMOEVALVACIJE 237 5.1 PRIPRAVE NA IZVEdbO EKSPERTNIH ZUNANJIH EVALVACIJ 5.1.1 Izbor in usposobljenost ekspertnih zunanjih evalvatorjev 5.1.1.1 BISTVENE UGOTOVITVE SAMOEVALVACIJSKE ŠTUDIJE V ZVEZI Z IZBOROM IN USPOSOBLJENOSTJO EKSPERTNIH ZUNANJIH EVALVATORJEV Primernost načina izbora ekspertnih zunanjih evalvatorjev in izbora z vidika zahtevane izobrazbe, izkušenj in drugih kriterijev  Z javnim povabilom s posebej opredeljenimi kriteriji za ekspertne zunanje evalvatorje je v letu 2012 ACS za sodelovanje pri nalogi pridobil šest ekspertnih zunanjih evalvatorjev, z osebnim povabilom na podlagi referenc na področju izobraževanja odraslih pa v letu 2014 še dve zunanji evalvatorici.  Večina anketiranih direktorjev oz. ravnateljev ter evalvatorjev do sedaj uporabljeni način izbora ekspertnih zunanjih evalvatorjev – torej, kombinacijo javnega razpisa in povabila k sodelovanju na podlagi referenc – ocenjuje kot primeren.  ACS je za izbor ekspertnih zunanjih evalvatorjev opredelil splošne in posebne pogoje, ki jih mora izpolnjevati kandidat za ekspertnega zunanjega evalvatorja. Splošni pogoji se nanašajo predvsem na izobrazbo in obseg delovnih izkušenj. Tako je zahtevano, da ima kandidat za ekspertnega zunanjega evalvatorja univerzitetno izobrazbo, pedagoško-andragoško izobrazbo ter vsaj 7 let delovnih izkušenj v izobraževanju odraslih. Posebni pogoji pa se usmerjajo v poznavanje in izkušnje s področja izobraževanja odraslih, poznavanje notranje in zunanje evalvacije kakovosti in poznavanje področij, ki so lahko predmet ekspertne zunanje evalvacije. Pogoji za kandidate za ekspertne zunanje evalvatorje se v obdobju od 2012 do 2016 niso spreminjali.  Glede stopnje izobrazbe direktorji oz. ravnatelji večinoma menijo, da je za ekspertnega zunanjega evalvatorja ta nujna, in sicer, da ima vsaj univerzitetno izobrazbo – tako sta se opredelili dve tretjini vseh sodelujočih v anketiranju. Zanimivo pa je, da se jim vrsta izobrazbe ne zdi tako pomembna; verjetno tudi zato, ker v izobraževanju odraslih delujejo strokovnjaki z zelo različnih področij in bi težko rekli, da prevladuje samo ena vrsta izobrazbe. Več kot polovica direktorjev oz. ravnateljev pa je izpostavila (tudi) nujnost pedagoško-andragoške izobrazbe kot pogoja za opravljanje vloge ekspertnega zunanjega evalvatorja. Velika večina direktorjev oz. ravnateljev (sedem od devetih) je izbralo odgovor, da je za to vlogo zelo pomembno, da imajo evalvatorji vsaj 5 let delovnih izkušenj v izobraževanju odraslih.  V zvezi z izborom ekspertnih zunanjih evalvatorjev smo direktorje oz. ravnatelje organizacij vprašali še, če menijo, da bi ob obstoječih evalvatorjih pri nalogi morali sodelovati tudi predstavniki kakšnih drugih ustanov. Pet direktorjev oz. ravnateljev meni, 238 da naj o tem odloča ACS kot nosilec ekspertnih zunanjih evalvacij, trije direktorji oz. ravnatelji pa menijo, da ni potrebe, da bi sodelovali tudi predstavniki kakšnih drugih ustanov. Le en direktor/ravnatelj je na vprašanje odgovoril pritrdilno in podal predlog o vključitvi strokovnjakov za marketing, trženje, spletno promocijo ipd. Ustreznost in zadostnost usposabljanja ekspertnih zunanjih evalvatorjev  Za ustrezno pripravo in izvedbo ekspertnih zunanjih evalvacij smo na ACS pripravili posebno temeljno usposabljanje za zunanje ekspertne evalvatorje (posebej zasnovan program usposabljanja, katerega namen je temeljita priprava ekspertnih zunanjih evalvatorjev na uspešno izvedbo ekspertnih zunanjih evalvacij v izobraževalnih organizacijah), nato pa vsako leto še nadaljevalna usposabljanja oz. spopolnjevanja, ki so namenjena zlasti osvežitvi poznavanja kazalnikov in meril ter obravnavi konkretnih primerov iz prakse, seveda pa tudi konkretnim dogovorom za izpeljavo ekspertne zunanje evalvacije v posameznem letu. ACS je v letu 2012 usposobili prvo skupino ekspertnih zunanjih evalvatorjev, ki so v letu 2012 tudi sodelovali pri izpeljavi prvih dveh ekspertnih zunanjih evalvacij v dveh sodelujočih organizacijah. ACS je temeljno usposabljanje izvedel še v letu 2014, ko je prišlo do manjše širitve liste ekspertnih zunanjih evalvatorjev.  Izidi samoevalvacije kažejo, da velika večina ekspertnih zunanjih evalvatorjev (osem od enajstih) meni, da so potrebna tako temeljno kot nadaljevalna usposabljanja. Prav nihče pa ni izbral odgovora, da temeljno in nadaljevalna spopolnjevanja za ekspertne zunanje evalvatorje niso potrebna. Z vidika namena usposabljanja je največ anketirancev izbralo možnost, da so »nadaljevalna spopolnjevanja potrebna, da razčiščujemo situacije iz prakse in se seznanimo z novostmi«, kar kaže na nesporno potrebo evalvatorjev, da stalno opravljajo metaevalvacije svojega dela in so v stiku z najnovejšimi dogajanji, ki zadevajo njihovo delo. Tudi osvežitev znanja o merilih in njihovem vrednotenju ter o presojanju dokazil, ki so ga evalvatorji deležni na spopolnjevanjih, je bila izpostavljena kot nujna.  Glede obravnavanih vsebin na usposabljanjih vsi evalvatorji razen enega menijo, da so obravnavane vsebine na usposabljanjih primerne in nudijo zadostno znanje za opravljanje vloge ekspertnega zunanjega evalvatorja.  S samoevalvacijo se je potrdila potreba po res dobrem poznavanju kazalnikov in meril za presojo kakovosti na področjih, ki so predmet presoje, pa tudi potreba po obravnavi konkretnih primerov iz dosedanje prakse ter obravnavi in razčiščevanju morebitnih dilem, ki se pojavijo ob ovrednotenju samoocen sodelujočih organizacij. Tem temam smo na dosedanjih spopolnjevanjih sicer namenjali posebno pozornost, izidi anketiranja pa kažejo, da evalvatorji potrebujejo še več usposabljanja in pogovorov o teh temah tudi v prihodnje.  Opaziti je naklonjenost večine sodelujočih evalvatorjev, da se ohrani praksa, da se na ACS po izpeljani ekspertni zunanji evalvaciji organizira skupna evalvacijska delavnica – večina (devet od enajstih) jih namreč meni, da je le-ta nujna zaradi ovrednotenja celotnega poteka procesa ekspertne zunanje evalvacije ter zaradi učenja ob izmenjavi izkušenj z drugimi evalvatorji. 239 5.1.1.2 PREDLOGI ZA NADALJNJI RAZVOJ V ZVEZI Z IZBOROM IN USPOSOBLJENOSTJO EKSPERTNIH ZUNANJIH EVALVATORJEV  Na podlagi mnenj evalvatorjev je z vidika vsebin za spopolnjevanja v prihodnje potrebno še več časa nameniti poglobljeni obravnavi kazalnikov in meril za presojo v ekspertni zunanji evalvaciji, pa tudi še več obravnavam konkretnih primerov iz dosedanje prakse ter obravnavi in razčiščevanju dilem, ki se pojavijo ob ovrednotenju posamezne evalvirane organizacije.  Dan je bil predlog, da ACS v okviru spopolnjevanj za ekspertne zunanje evalvatorje za potrebe vodenja pogovorov ob obiskih evalvatorjev v evalviranih organizacijah v prihodnje vključi tudi tematike s področja učinkovite komunikacije v skupini (kako razreševati konflikte, kako sporočiti slabše izide, kako voditi pogovore ob obisku ekspertnih zunanjih evalvatorjev, če je v skupini sogovornik, ki zavira komunikacijo ipd.). 5.1.2 Navodila in pripomočki za izpeljavo ekspertnih zunanjih evalvacij 5.1.2.1 BISTVENE UGOTOVITVE SAMOEVALVACIJSKE ŠTUDIJE O NAVODILIH IN PRIPOMOČKIH ZA IZPELJAVO EKSPERTNIH ZUNANJIH EVALVACIJ  ACS pred začetkom izpeljave ekspertne zunanje evalvacije organizira informativno-izobraževalno srečanje s predstavniki organizacij, ki so bile izbrane za sodelovanje v ekspertni zunanji evalvaciji izobraževanja odraslih. Na tem srečanju poleg informacij o namenu ekspertnih zunanjih evalvacij organizacije prejmejo tudi natančne informacije o poteku evalvacije, vsa potrebna gradiva, nato pa sledi priprava samoocene organizacije.  Na splošno lahko na podlagi izidov samoevalvacije ugotovimo, da je ACS vpeljal dobro metodologijo in pripravil jasne in dobre pripomočke za delo pri izpeljavi ekspertnih zunanjih evalvacij – tako za ekspertne zunanje evalvatorje, kot za organizacije za njihovo sodelovanje v ekspertnih zunanjih evalvacijah.  Večina anketiranih direktorjev oz. ravnateljev kot tudi anketiranih koordinatorjev je sporočila, da jim je uvodno srečanje na ACS pomagalo pri pridobivanju potrebnih informacij o poteku ekspertne zunanje evalvacije, hkrati pa so imeli še priložnost, da na njem razčistijo dileme, ki so jih morebiti imeli pred začetkom izvajanja ekspertne zunanje evalvacije.  Ob morebitnem nadaljnjem izvajanju ekspertnih zunanjih evalvacij prav vsi direktorji oz. ravnatelji priporočajo ohranitev uvodnega srečanja z organizacijami na ACS, v primeru koordinatorjev pa jih to srečanje priporoča večina. 240 Informacije, navodila in pripomočki v zvezi s pripravo samoocene organizacije  Analiza dokumentacije je pokazala, da je ACS v podporo izpeljavi posameznih korakov v procesu izpeljave ekspertne zunanje evalvacije doslej razvil in pripravil številna gradiva, pripomočke in navodila za sodelovanje organizacij v teh evalvacijah. Na uvodnem srečanju na ACS koordinatorji in direktorji oz. ravnatelji sodelujočih organizacij prejmejo vsa potrebna gradiva (npr. nabor področij, sklopov, kazalnikov in meril za področji, ki sta predmet presoje v primeru posamezne organizacije, vodilo za pripravo samoocene organizacije, primer urnika obiska evalvatorjev idr.). Seznanijo se, da organizacija najprej pripravi samooceno na področjih, ki bodo evalvirana in priloži ustrezna dokazila. Samooceno pripravi na podlagi vodila, ki jo po posameznih merilih vodi, da na čim bolj sistematičen in jasen način opiše in dokaže, kako dosega posamezna merila. Z metodologijo izpolnjevanja vodila organizacije posebej natančno seznanimo.  Samoevalvacija je pokazala, da večina koordinatorjev (šest od devetih) iz sodelujočih organizacij navodila ACS za pripravo samoocene organizacije ocenjuje za povsem jasna in da so natančno vedeli, kaj bo potrebno pripraviti v fazi priprave samoocene organizacije. Trije koordinatorji pa so navodila ocenili kot delno primerna – načelno so sicer vedeli, kaj je potrebno pripraviti, a je ostalo še marsikaj nejasnega. Informacije, navodila in pripomočki v zvezi z obiskom ekspertnih zunanjih evalvatorjev v izobraževalni organizaciji  Po oddaji samoocene koordinator skupine evalvatorjev iz ACS začne pripravljati obisk ekspertnih zunanjih evalvatorjev v organizaciji, pri čemer koordinator iz sodelujoče organizacije sodeluje s koordinatorjem skupine ekspertnih zunanjih evalvatorjev. To je druga vsebinsko zahtevna faza za organizacijo. Velika večina koordinatorjev (osem od devetih) je navodila o poteku obiska in vlogi koordinatorja v organizaciji pri pripravi obiska ocenila kot dovolj jasna, kar je dober podatek. V primerih, ko niso imeli dovolj informacij, so se nekateri koordinatorji obrnili na ACS, kjer so pridobili potrebne dodatne informacije. Informacije, navodila in pripomočki na temeljnem usposabljanju ter nadaljevalnih spopolnjevanjih za ekspertne zunanje evalvatorje  Ekspertni zunanji evalvatorji prejmejo na temeljnem usposabljanju ter na nadaljnjih spopolnjevanjih za njihovo delo v ekspertni zunanji evalvaciji številna gradiva in pripomočke ter navodila in dogovore za izpeljavo vsakokratne evalvacije.  Kar deset od enajstih evalvatorjev je ocenilo, da pred začetkom vsakokratne evalvacije dobijo kakovostne in konkretne informacije o tem, kako bo potekala ekspertna zunanja evalvacija. Devet se jih je izreklo, imajo pred začetkom vsakokratnega izvajanja ekspertne zunanje evalvacije priložnost razčistiti dileme, ki jih imajo v zvezi z njo. Vsi evalvatorji menijo, da je bilo pred začetkom vsakokratne evalvacije dobro poskrbljeno za osvežitev znanja. Deset evalvatorjev meni, da imajo zadostne možnosti, da se pred začetkom vsakokratne evalvacije lahko pogovorijo o merilih, ki jih uporabljajo pri vrednotenju, in o morebitnih novostih v zvezi z njimi. 241 Informacije, navodila in pripomočki za delo ekspertnih zunanjih evalvatorjev  Ključni pripomočki za delo ekspertnih zunanjih evalvatorjev so: seznam kazalnikov in meril za vsako od področij, ki so predmet presoje, vodilo za pripravo samoocene organizacije, pripomoček za pregled in ovrednotenje samoocene izobraževalne organizacije, časovni potek priprave in izpeljave ekspertne zunanje evalvacije, primer urnika obiska, poročilo o ekspertni zunanji evalvaciji (struktura poročila).  Glede posameznih pripomočkov in navodil so evalvatorji z anketiranjem sporočili povečini zelo dobre ocene o njihovi primernosti. Prav vsi evalvatorji so namreč kot dobra in povsem jasna navodila in pripomočke ocenili: Pripomoček za pregled in ovrednotenje samoocene organizacije, ki izobražuje odrasle ter navodila za pregled in ovrednotenje samoocene, navodila za pripravo in usklajevanje vprašalnikov za obiske, navodila v zvezi s potekom obiska ekspertnih zunanjih evalvatorjev, kaj morajo pripraviti v zvezi z njim in kakšna je njihova vloga, navodila, kaj morajo narediti v zvezi z zapisniki pogovorov, navodila, kaj morajo narediti v zvezi s predlogom poročila, ki gre na vpogled evalvirani organizaciji in končnim poročilom. Evalvatorji so torej natančno vedeli, kaj morajo v posamezni fazi opraviti.  Primernost navodil v zvezi z ocenjevanjem dokazil so anketirani evalvatorji večinoma ocenili dobro (osem od enajstih), sporočili so, da so jim bila prejeta navodila povsem jasna. Dva evalvatorja pa sta povedala, da so jima bila navodila deloma jasna, da sta načeloma vedela, kako je potrebno ocenjevati dokazila, da pa jima marsikaj še ni bilo jasno. 5.1.2.2 PREDLOGI ZA NADALJNJI RAZVOJ O NAVODILIH IN PRIPOMOČKIH ZA IZPELJAVO EKSPERTNIH ZUNANJIH EVALVACIJ  Čeprav smo z anketiranjem dobili samo eno mnenje koordinatorja v organizaciji o nezadostnosti informacij na uvodnem srečanju z organizacijami, le-tega ne kaže spregledati, saj pripoveduje o tem, da je potrebno v prihodnje razmisliti še o kakšnem drugem načinu, vsebini usposabljanja na uvodnem srečanju za organizacije. Ena izmed možnosti bi bil lahko pogovor z organizacijami, pri katerih je že potekala ekspertna zunanja evalvacija.  Na informativno-izobraževalnem srečanju je precejšen poudarek namenjen predstavitvi vodila za pripravo samoocene organizacije ter spletni aplikaciji, ki je od leta 2015 temu v podporo. Glede na dobljene izide anketiranja koordinatorjev sodelujočih organizacij bi v prihodnje veljalo še temeljiteje razmisliti, na kakšen način navodila za pripravo samoocene organizacije predstaviti še bolj natančno, še konkretneje in jasneje.  V prihodnje je potrebno v okviru spopolnjevanj in priprav evalvatorjev na posamezno izvedbo ekspertne zunanje evalvacije še več pozornosti nameniti razčiščevanju dilem, ki se evalvatorjem porajajo ob ovrednotenju samoocene organizacije. Morda bi v podporo tem procesom lahko omogočili, da bi skupina ekspertnih evalvatorjev lahko o dilemah komunicirala neposredno v spletni aplikaciji za pregled in ovrednotenje samoocene.  Še več pozornosti je treba nameniti ocenjevanju dokazil pri posameznem merilu – tako pri spopolnjevanju evalvatorjev kot pri načrtovanju evalvacijskih pogovorov. 242 5.1.3 Animacija organizacij, ki izvajajo izobraževanje odraslih, za sodelovanje v ekspertnih zunanjih evalvacijah 5.1.3.1 BISTVENE UGOTOVITVE SAMOEVALVACIJSKE ŠTUDIJE V ZVEZI Z ANIMACIJO ORGANIZACIJ, KI SE UKVARJAJO Z IZOBRAŽEVANJEM ODRASLIH, ZA SODELOVANJE V EKSPERTNIH ZUNANJIH EVALVACIJAH  Z namenom, da bi ACS organizacije, ki izvajajo izobraževanje odraslih, spodbudil, da se odločijo za ekspertne zunanje evalvacije, jim informacije o tem, kaj ekspertna zunanja evalvacija prinese organizaciji, kakšna je njena vloga pri tem, kako evalvacija poteka itd., posreduje na različne načine: preko posebne spletne strani na spletišču ACS, z brošuro, ki opisuje cilje in potek ekspertne zunanje evalvacije, z različnimi prispevki v e-Novičkah ACS, z vsakoletnim razpisom za vključitev v ekspertno zunanjo evalvacijo, ki vsebuje tudi natančnejše informacije o tem, kaj to je in kakšni so pogoji sodelovanja, z neposrednimi vabili izobraževalnim organizacijam za sodelovanje preko elektronske pošte, z informiranjem predstavnikov organizacij, ki se na ACS udeležujejo usposabljanj ali spopolnjevanj s področja presojanja in razvijanja kakovosti.  Ko ACS vabi nove izobraževalne organizacije, da se odločijo za izvajanje ekspertne zunanje evalvacije, je glasilo ACS e-Novičke pomemben informativni medij: v obdobju od leta 2012 do leta 2016 je bilo najprej v mesecu februarju objavljenih pet napovedi prihajajočega javnega povabila, v mesecu marcu pa objavljenih pet javnih povabil organizacijam za sodelovanje v ekspertni zunanji evalvaciji. Največ informacij o sodelovanju pa vsebuje vsakoletni razpis za vključitev v ekspertno zunanjo evalvacijo, ki natančno določa pogoje sodelovanja, opis postopkov in predvidene izide, ki jih po zaključeni evalvaciji dobi organizacija.  Samoevalvacija je v zvezi z razlogi za vključitev v ekspertno zunanjo evalvacijo pokazala, da so prav vsi direktorji oz. ravnatelji, ki so sodelovali v anketiranju, sporočili, da je bila med razlogi za vključitev v ekspertno zunanjo evalvacijo želja po pridobitvi strokovnega mnenja drugih o kakovosti njihovega dela. Njihov drugi najpogostejši odgovor je bil, da so pri tem videli priložnost, da bi v evalvaciji prejeli spodbude za nadaljnji razvoj (sedem direktorjev oz. ravnateljev). Šest direktorjev oz. ravnateljev je v uspešni ekspertni zunanji evalvaciji prepoznalo konkurenčno prednost pred tistimi, ki take potrditve od zunaj nimajo.  En direktor oz. ravnatelj je sporočil, da so se za sodelovanje v ekspertni zunanji evalvaciji odločili na podlagi priporočil iz njim podobne organizacije, s katero sodelujejo. Veseli nas tudi zaupanje organizacij v strokovno delo ACS, saj je eden od direktorjev oz. ravnateljev izbral (tudi) odgovor, da organizacija zaupa ACS in v primeru, da jim le-ta ponudi neko sodelovanje, se nanj odzovejo, ker vedo, da bo zanje koristno.  Z vidika zadostnosti informacij ob odločanju organizacij za sodelovanje organizacij v ekspertni zunanji evalvaciji pa je samoevalvacija pokazala, da so prav vsi anke 243 tirani direktorji oz. ravnatelji imeli zadostne informacije o poteku in časovnem trajanju ekspertne zunanje evalvacije ter tudi o tem, kdo vse iz njihove organizacije bo sodeloval pri izvedbi ekspertne zunanje evalvacije.  Z vidika tega, kaj bo organizacija pridobila s sodelovanjem v ekspertni zunanji evalvaciji, so izidi anketiranja pokazali, da eden izmed direktorjev oz. ravnateljev ocenjuje, da je imel pomanjkljive informacije, ostalih osem direktorjev oz. ravnateljev pa je imelo zadostne informacije.  Samoevalvacija je pokazala, da naj ACS v prihodnje (v kolikor potrebe po zunanjih evalvacijah npr. ne bodo predvidela nova zakonska in podzakonska določila za področje izobraževanja odraslih) ohrani način pridobivanja organizacij za sodelovanje v ekspertnih zunanjih evalvacijah preko javnega povabila. 5.1.3.2 PREDLOGI ZA NADALJNJI RAZVOJ V ZVEZI Z ANIMACIJO ORGANIZACIJ, KI SE UKVARJAJO Z IZOBRAŽEVANJEM ODRASLIH, ZA SODELOVANJE V EKSPERTNIH ZUNANJIH EVALVACIJAH  V izogib sicer redkim primerom iz dosedanjih izvedb ekspertnih zunanjih evalvacij, da organizacije, ki so se odločile sodelovati v teh evalvacijah, niso imele povsem jasne predstave o tem, kaj bodo pridobile s sodelovanjem v evalvaciji, velja ob objavi javnega povabila ter izpeljavi informativno-izobraževalnega srečanja z organizacijami še več pozornosti nameni temu, da ACS organizacijam predstavi, kaj bodo pridobile s sodelovanjem v ekspertni zunanji evalvaciji. Za obravnavo na uvodnem srečanju z organizacijami bi npr. lahko pripravili gradivo s primeri iz preteklih (ali izmišljenih) evalvacij z namenom ponazoritve, kako konkretno je zapisana povratna informacija glede doseganja posameznih meril, ki so predmet ekspertne zunanje evalvacije. Tako bi organizacije morda dobile nekoliko boljši vpogled v to, kaj je izid ekspertne zunanje evalvacije oz. kaj lahko pridobijo s sodelovanjem v njej.  V podporo informiranju organizacij o izidih ekspertne zunanje evalvacije bi ACS lahko pripravil posnetek krajše/ih izjav/e predstavnikov organizacij (direktorja oz. ravnatelja, koordinatorja), ki so v ekspertni zunanji evalvaciji že sodelovale, o tem, kaj je njihova organizacija pridobila s sodelovanjem v ekspertni zunanji evalvaciji. Eden od načinov za boljše informiranje organizacij o koristih sodelovanja pri tej nalogi bi lahko bila tudi priprava popisa izjav predstavnikov vseh doslej sodelujočih organizacij o tem, kaj so pridobili s svojim sodelovanjem v ekspertni zunanji evalvaciji. Take izjave bi lahko objavili bodisi na spletnih podstraneh ACS o ekspertni zunanji evalvaciji izobraževanja odraslih, lahko pa bi jih tudi dodali kot prilogo javnemu povabilu za sodelovanje v nalogi. 244 5.2 IZVEdbA EKSPERTNIH ZUNANJIH EVALVACIJ 5.2.1 Organizacijski potek ekspertnih zunanjih evalvacij 5.2.1.1 BISTVENE UGOTOVITVE SAMOEVALVACIJSKE ŠTUDIJE V ZVEZI Z ORGANIZACIJSKIM POTEKOM EKSPERTNIH ZUNANJIH EVALVACIJ  Pri dosedanjih izvedbah ekspertnih zunanjih evalvacij je letni potek evalvacij vedno zelo močno odvisen od tega, kdaj financer dejavnosti odobri sredstva za njihovo izvedbo. To se zgodi v prvih mesecih leta, praviloma v prvih treh, pred tem pa ni mogoče izpeljati razpisa za prijavo organizacij, ki bi želele sodelovati, niti drugih priprav.  ACS načrtuje letni potek evalvacij tako, da z aktivnostmi prične takoj po sprejemu odločitve financerja in jih zaključi decembra istega leta. Posamezne aktivnosti je med leti časovno načrtoval in izpeljeval nekoliko, a ne bistveno različno. Tako se je v vseh dosedanjih letih izvajanja ekspertne zunanje evalvacije celoten potek podaljšal za več kot en mesec (začetek se je premaknil od 20. junija na začetek maja, konec pa vedno ostaja okrog sredine decembra).  Ta sprememba je povzročila spremembo v času, ki ga ima izobraževalna organizacija za pripravo samoocene. Tako je bil v začetnih obdobjih rok zanjo začetek septembra, kasneje pa se je premaknil na konec junija oz. sredino julija. Sam premik sicer ni toliko povezan s spremembo ocene, koliko časa organizacija potrebuje za pripravo samoocene, bolj je šlo za preskušanje, ali je bolje, da ima organizacija čas za pripravo samoocene tudi med letnimi dopusti, ali pa je bolje, da je to opravljeno pred tem, ko večina zaposlenih dopustuje. Izkušnje so v zadnjih letih nakazovale, da je vendarle bolje, če je ta faza v izobraževalnih organizacijah opravljena pred glavnimi letnimi dopusti.  V jesenskem delu poteka evalvacije je med leti opazna približno mesec dni trajajoča razlika med izvedbo usposabljanja za evalvatorje, ki pomeni pravzaprav njihov vsebinski začetek dela. To je omogočilo, da se je podaljšal čas, ki ga imajo ekspertni zunanji evalvatorji za prvi pregled samoocene.  Sami obiski v izobraževalnih organizacijah so bili v vseh primerih izpeljani v oktobru.  Čas za pripravo predloga poročila o izvedeni ekspertni zunanji evalvaciji se je gibal med nekaj več kot mesec dni in mesecem ali celo manj. Šele v zadnjem opazovanem letu se je čas ponovno podaljšal na več kot mesec dni. Ker gre za vsebinsko zelo pomembno fazo dela ekspertnih zunanjih evalvatorjev, bi se bilo potrebno vprašati, zakaj se je v nekaterih letih obseg razpoložljivega časa za to fazo skrajševal in če je zadnje podaljšanje izid izkušenj, da je vendarle treba za to nameniti več časa.  Čas, ki je namenjen organizaciji, da pregleda predlog poročila o izpeljani ekspertni zunanji evalvaciji, je bil vseskozi razmeroma kratek. Časa je verjetno dovolj v prime 245 rih, ko organizacija nima resnejših pripomb na to poročilo. Kadar pa jih ima, pa je vprašanje, če je predvidenega dovolj časa za pripravo tehtnejših ugovorov, pa tudi za usklajevanje o pripombah s skupino zunanjih ekspertnih evalvatorjev.  Evalvacijska delavnica z vsemi sodelujočimi se je doslej vedno izpeljevala sredi decembra.  Med koordinatorji ekspertne zunanje evalvacije iz organizacij in evalvatorji ni nikogar, ki bi se mu zdela letna razporeditev opravil izrazito neprimerna, menijo, da je bil primeren obseg časa, ki je bil namenjen pripravi samoocene, datum obiska, čas, ki so ga imeli na razpolago za pregled predloga končnega poročila o ugotovitvah, datum zaključne evalvacijske delavnice in sploh celoten obseg časa poteka ekspertne zunanje evalvacije.  Oboji, tako koordinatorji kot evalvatorji, opozarjajo na to, da bi bilo nekatera opravila bolje opravljati v drugem času leta, ko ni toliko drugih, rednih opravil.  Tako je mnenje koordinatorjev o obdobju, v katerem je potekala priprava samoocene – to se zdi le deloma primerno skoraj polovici anketiranih. Želijo si, da bi priprava samoocene potekala v pozni jeseni, po mnenju vprašanih je zaključek enega šolskega leta in začetek novega precej neprimeren.  Čeprav ne tako izrazito, pa so koordinatorji kot manj primerno označili tudi obdobje, ko je organizirano uvodno srečanje za izobraževalne organizacije (praviloma maja, le enkrat junija).  Ekspertni zunanji evalvatorji bi glavnino vsebinskega dela raje opravljali v zgodnji pomladi.  Nekaj mnenj obojih, tako koordinatorjev kot evalvatorjev je, da bi za posamezna opravila potrebovali več časa (priprava samoocene, prvi pregled samoocene, priprava poročila o izvedeni ekspertni zunanji evalvaciji).  Dosedanji dnevni poteki obiskov so bili skoraj enaki v vseh trinajstih evalviranih organizacijah. Vsi so potekali en dan, od 9. do 17. ure (le v enem primeru od 10. do 17. ure, v enem od 9. do 17.15 ure in v enem od 9. do 16.30 ure). V povprečju so torej obiski trajali nekaj manj kot 8 ur (7,8 ure).  Koordinatorjem ekspertne zunanje evalvacije se zdi dnevni razpored obiska primeren.  Kar se tiče dnevnega razporeda obiska glede na vsebino, se vsem ekspertnim zunanjim evalvatorjem zdi primeren. Razlike pa so pri oceni trajanja obiska. Nekateri ekspertni zunanji evalvatorji (ne večina) opozarjajo na problem, da obisk traja samo en dan, zaradi česar vseh aktivnosti ni mogoče opraviti tako poglobljeno, kot bi si želeli; zlasti to velja za pripravo prve ustne povratne informacije o ugotovitvah, ki jo dajo ob koncu obiska. 246 5.2.1.2 PREDLOGI ZA NADALJNJI RAZVOJ V ZVEZI Z ORGANIZACIJSKIM POTEKOM EKSPERTNIH ZUNANJIH EVALVACIJ  V prihodnje je treba kljub omejitvam, ki smo jih prikazali v samoevalvacijski študiji, ponovno proučiti letni razpored aktivnosti pri izvajanju ekspertnih zunanjih evalvacij z vidika izobraževalnih organizacij, ki se bolj nagibajo k temu, da bi se proces ekspertne zunanje evalvacije pričel pozno jeseni. Ob tem bi bilo potrebno razrešiti zagato, da bi se celoten proces zavlekel v naslednje koledarsko leto, kar pa je z vidika letnega financiranja naloge skoraj nemogoče, saj morajo biti pogodbeno dogovorjene naloge ACS zaključene do konca koledarskega leta.  Ekspertni zunanji evalvatorji v razmislek dajejo idejo, da bi obisk v izobraževalni organizaciji trajal dva dni, da bi bilo mogoče bolj kakovostno pripraviti prvo povratno ustno oceno, pa tudi še bolj poglobljeno voditi razgovore. 5.2.2 Vsebinski potek ekspertnih zunanjih evalvacij 5.2.2.1 BISTVENE UGOTOVITVE SAMOEVALVACIJSKE ŠTUDIJE O VSEBINSKEM POTEKU EKSPERTNIH ZUNANJIH EVALVACIJ  Med direktorji oz. ravnatelji evalviranih izobraževalnih organizacij ni bilo prav nobenega odklonilnega stališča o tem, da se na začetku evalvacije pripravlja samoocena. Ocenili so, da samoocena omogoča, da so lahko prikazali, kakšno kakovost dosegajo in hkrati omogoča, da tudi sami dobijo boljši vpogled v raven kakovosti na področjih, ki so bila evalvirana. Podobno oceno so dali tudi koordinatorji.  Tudi med evalvatorji ni nikogar, ki bi menil, da samoocena ni potrebna. Evalvatorjem je samoocena dragocena, ker vsebuje kopico dokumentov, dokazil, s pomočjo katerih lažje bolj objektivno ocenijo stanje.  Veliki večini direktorjev oz. ravnateljev se zdi obisk izobraževalne organizacije v okviru ekspertne zunanje evalvacije zelo dragocen, saj »so lahko obširneje pojasnili procese in izide dela, kar v samooceni ni mogoče« ali pa so se »lahko razčistile nekatere nejasnosti, ki so jih ekspertni zunanji evalvatorji imeli ob prebiranju samoocene in pregledu dokumentov«.  Koordinatorji so odgovarjali zelo podobno kot direktorji oz. ravnatelji. Večini se zdi vloga obiskov v evalvaciji zelo pomembna.  Nesporno je, da vsi ekspertni zunanji evalvatorji vidijo v organizaciji obiska evalvirane organizacije veliko prednost in tudi nujnost.  Osmim od devetih ravnateljev oz. direktorjev se je zdel odnos ekspertnih evalvatorjev do njih primeren in to v vseh raznolikostih, ki so jih imeli na voljo za ocenjevanje: strokovnost, informiranost, natančnost, upoštevanje informacij in argumentov, spoštovanje sogovornikov, pripravljenost ter njihova objektivnost. Poudarjali so različne pozitivne vrline evalvatorjev, zlasti njihovo strokovnost, natančnost, korektnost, zavzetost ipd. 247  Seveda pa ne kaže spregledati tudi mnenja enega direktorja oz. ravnatelja, ki je splošen odnos evalvatorjev do organizacije sicer ocenil kot primeren, potem pa pri vseh ostalih kategorijah označil, da je šlo za manj primerno ravnanje. Iz tega je težko ugotavljati, na čem temelji njegova ocena o primernosti odnosa, če je nato vse ostale kategorije ocenil kot manj primerne. Vsekakor pa gre za opozorilo, da vedno ta odnos ni sprejet kot najboljši.  Mnenja koordinatorjev o odnosu evalvatorjev do njih se nekoliko razlikujejo od mnenj direktorjev oz. ravnateljev, čeprav še vedno dve tretjini ta odnos ocenjujeta kot dober.  Med tremi koordinatorji, ki so izrazili večje ali manjše nezadovoljstvo z odnosom evalvatorjev do njih, se je enemu manj primerno zdelo upoštevanje argumentov. Drugemu koordinatorju se je zdela manj primerna seznanjenost ekspertnih zunanjih evalvatorjev z njihovo organizacijo ter natančnost pri proučevanju samoocene in dokazil. Tretji koordinator ni kot primerne ocenil niti ene kategorije; kot deloma primerne je ocenil strokovnost evalvatorjev, natančnost pri proučevanju samoocene in dokazil, upoštevanje informacij, upoštevanje argumentov in pripravljenost na pogovore. Kot neprimerno pa je ocenil splošen odnos evalvatorjev do njih, seznanjenost evalvatorjev z njihovo organizacijo, spoštovanje sogovornikov in njihovo neodvisnost, objektivnost pri evalviranju.  Ekspertni zunanji evalvatorji so zelo dobro ocenili splošen odnos vodstva in drugih sodelavcev organizacije do njih, tudi spoštovanje do njih in njihovega dela in pripravljenost organizacije za ogled dodatnih dokazil, prostorov in opreme.  Nekateri ekspertni zunanji evalvatorji pa so kot manj primerne ocenili izbor sogovornikov in njihovo informiranost o namenu evalvacije ter njihovi vlogi v njej, pa tudi pripravljenost sogovornikov za odkrite pogovore. Tisti, ki so ob tem vprašanju napisali še svoj komentar, so še dodatno pojasnili, da »sogovorniki včasih ne vedo dobro, zakaj potekajo razgovori«, včasih sodelujejo taki, ki z organizacijo še ne sodelujejo dosti časa in jo zato premalo poznajo ipd. 5.2.2.2 PREDLOGI ZA NADALJNJI RAZVOJ O VSEBINSKEM POTEKU EKSPERTNIH ZUNANJIH EVALVACIJ  Po mnenju direktorjev oz. ravnateljev, koordinatorjev in evalvatorjev naj priprava samoocene ostane izhodiščna točka ekspertne zunanje evalvacije.  Vsi sodelujoči direktorji oz. ravnatelji priporočajo, da se tudi v prihodnje v ekspertni zunanji evalvaciji izpeljuje obiske v evalviranih organizacijah. Tako menijo tudi koordinatorji in evalvatorji.  V prihodnjem načrtovanju usposabljanja evalvatorjev in načrtovanju evalvacijskih pogovorov po izvedenih evalvacijah kaže pozornost nameniti obravnavanju izrazito negativnega odnosa do evalvatorjev in razumevanje reakcij na slabše ocene. 248  Še več pozornosti je treba posvetiti usposabljanju evalvatorjev v zvezi s tem, kako presojati v primerih, ko se mnenja evalvatorjev in organizacije izrazito razlikujeta oz. na sploh, kako presojati argumente.  Evalvatorje je potrebno še bolje usposobiti za pojasnjevanje situacij, ko jih argumenti organizacije ne prepričajo – kako organizaciji pojasniti, zakaj so njihove ocene drugačne, pa tudi na kakšen način svojo odločitev sporočati.  Očitno je, da obstaja problem pri izbiri sogovornikov iz izobraževalnih organizacij, ki včasih organizacijo premalo poznajo, zato niso dobri sogovorniki evalvatorjem. O tem bo potrebno v prihodnje ponovno razmisliti – kako bolje informirati in usposobiti organizacije za boljši izbor sogovornikov. 5.3 UGOTOVITVE EKSPERTNIH ZUNANJIH EVALVACIJ 5.3.1 Postopek sprejemanja odločitev v ekspertni zunanji evalvaciji 5.3.1.1 BISTVENE UGOTOVITVE SAMOEVALVACIJSKE ŠTUDIJE V ZVEZI S POSTOPKOM SPREJEMANJA ODLOČITEV V EKSPERTNI ZUNANJI EVALVACIJI  Očitno je, da se je v dosedanji praksi izvajanja ekspertnih zunanjih evalvacij oblikoval postopek sprejemanja odločitev, ki ustreza tako evalviranim organizacijam kot evalvatorjem. Oboji ocenjujejo, da tak postopek doprinese k natančnejšim ugotovitvam in da je na ta način izpolnjevanje meril vsestransko proučeno. 5.3.1.2 PREDLOGI ZA NADALJNJI RAZVOJ V ZVEZI S POSTOPKOM SPREJEMANJA ODLOČITEV V EKSPERTNI ZUNANJI EVALVACIJI  Tudi v prihodnje, v kolikor se bodo take evalvacije še izpeljevale, kaže ohraniti večfazni postopek sprejemanja odločitev v ekspertni zunanji evalvaciji. 5.3.2 Posredovanje ugotovitev ekspertne zunanje evalvacije 5.3.2.1 BISTVENE UGOTOVITVE SAMOEVALVACIJSKE ŠTUDIJE V ZVEZI S POSREDOVANJEM UGOTOVITEV EKSPERTNE ZUNANJE EVALVACIJE  Vsem direktorjem oz. ravnateljem se zdi prvo ustno posredovanje ugotovitev o izvedeni evalvaciji ob zaključku obiska primerno ali celo nujno.  Koordinatorji pri oceni, ali je primerno, da se prve ugotovitve evalvacije posredujejo ustno po zaključku obiska, niso povsem enotni. Tisti, ki se jim to zdi dobro, poudar 249 jajo, da je dobro, da dobijo prve informacije, da je dobro, da jih slišijo vsi zaposleni, še posebej zato, ker so poudarjeni tudi dobri dosežki. Dve osebi, ali pa morebiti ena, ki je izbrala dva odgovora, pa v nasprotju z večino menita, da je »ustno posredovanje tolikih informacij preobsežno in ne daje pravega učinka« ter da »dobri dosežki v teh informacijah niso predstavljeni«.  Vsi evalvatorji, brez izjeme, podpirajo zamisel, da se ob koncu evalvacijskega obiska evalvirani organizaciji posreduje prva ustna informacija o ugotovitvah evalvacije. Sta pa dva evalvatorja opozorila tudi na nekatere probleme. Prvi je ta, da obstaja dilema, kaj narediti takrat, ko evalvatorji ob oblikovanju ocene samoocene še niso mogli sprejeti odločitve o oceni določenega pojava, take dileme pa se pojavljajo tudi po opravljenih razgovorih. Drug problem, s tem tudi povezan, je kratek čas za pripravo ustne povratne informacije.  Vsem direktorjem oz. ravnateljem se zdi dobro, da dobijo na vpogled predlog poročila o izvedeni evalvaciji. Vsi vidijo v tem nekaj pozitivnega, najpogosteje menijo, da »tako lahko razčistimo še kakšno nejasnost, če vidimo, da bi bilo to za sprejem končnih zaključkov dobro«. Pri tem vidijo tudi ohranjanje partnerskega odnosa med izobraževalno organizacijo in ACS kot nosilcem ekspertnih zunanjih evalvacij.  Tudi koordinatorjem se zdi to, da dobijo na vpogled predlog poročila o izvedeni evalvaciji, potrebno. Prav vsi so povedali, da se jim »zdi dobro, saj tako lahko razčistijo še kakšno nejasnost, če vidijo, da bi bilo to za sprejem končnih zaključkov dobro«. Več kot polovica vprašanih pa to fazo vidi tudi kot fazo, ko so »na ta način lahko vplivali na vsebino končnega poročila«.  Vsi ekspertni zunanji evalvatorji soglašajo, da je potrebno in koristno, da evalvirana organizacija dobi na vpogled predlog poročila. Zelo poudarjajo tudi pomen takega načina za ohranjanje partnerskega odnosa med evalvirano organizacijo in evalvatorji.  direktorji oz. ravnatelji, koordinatorji in evalvatorji sodijo, da je tabelarični pregled izpolnjevanja meril v poročilu o izvedeni evalvaciji primeren, pri čemer so direktorji oz. ravnatelji bolj poudarili njegovo informativno vlogo, medtem ko ga koordinatorji bolj vidijo kot bistveno sestavino poročila. Evalvatorji tabelarični pregled izpolnjevanja meril opredelijo kot pokazatelj tistega, kar je nato v poročilu opisno podrobno predstavljeno.  direktorji oz. ravnatelji in koordinatorji večinsko sodijo, da je opisni pregled dobrih točk v poročilu o izvedeni evalvaciji dobrodošel.  Med direktorji oz. ravnatelji večina meni, da je pregled šibkih točk zanje dobrodošel kot neka usmeritev, na katerih področjih bi se kazalo ali se morajo izboljšati, le en direktor oz. ravnatelj pa meni, da bi bilo bolje, če bi pregled vseboval samo glavne točke, kjer so opazne pomanjkljivosti (pregled se mu zdi prepodroben) in pa usmeritve, česa se naj najprej lotijo.  Vsem koordinatorjem, razen enemu, se zdi pregled šibkih točk dobro izhodišče za razmisleke, kje se morajo v organizaciji izboljšati in kam usmeriti aktivnosti. 250  direktorji oz. ravnatelji, koordinatorji in evalvatorji večinsko sodijo, da so predlogi za nadaljnji razvoj dober pripomoček organizaciji pri razmišljanju, kako naprej. Po en direktor oz. ravnatelj in en koordinator pa sta sicer izbrala različna odgovora, a sporočila isto – predlogi zanje niso bili primerni (vsaj ne vsi), ker so evalvatorji premalo poznali razmere v organizaciji in njenem okolju. Mogoče se je strinjati, da prav vsi predlogi za organizacijo lahko niso primerni. Evalvatorji jih dajo v svoji dobri strokovni veri, organizacija pa presodi, ali jih lahko uresniči ali ne oz. ali sploh želi narediti kakšne premike na določenem področju. 5.3.2.2 PREDLOGI ZA NADALJNJI RAZVOJ V ZVEZI S POSREDOVANJEM UGOTOVITEV EKSPERTNE ZUNANJE EVALVACIJE  direktorji oz. ravnatelji, koordinatorji in evalvatorji priporočajo, da se tudi v prihodnje v ekspertni zunanji evalvaciji ohrani posredovanje prve ustne informacije o ugotovitvah v evalviranih organizacijah ob zaključku obiska.  direktorji oz. ravnatelji, koordinatorji in evalvatorji priporočajo, da se tudi v prihodnje v ekspertni zunanji evalvaciji ohrani posredovanje predloga poročila o ugotovitvah organizaciji na vpogled in morebiten odziv.  direktorji oz. ravnatelji, koordinatorji in evalvatorji priporočajo, da se tudi v prihodnje ohrani tabelarični pregled izpolnjevanja meril kot del poročila o ugotovitvah organizaciji na vpogled in morebiten odziv. 5.3.3 Ugotovitve ekspertne zunanje evalvacije 5.3.3.1 BISTVENE UGOTOVITVE SAMOEVALVACIJSKE ŠTUDIJE O UGOTOVITVAH EKSPERTNIH ZUNANJIH EVALVACIJ NOTRANJI SISTEM KAKOVOSTI Področje Notranji sistem kakovosti je v skladu z metodologijo ekspertne zunanje evalvacije obvezno področje kakovosti. V obravnavanem obdobju je bilo tako vseh dvanajst izobraževalnih organizacij, ki smo jih vključili v to študijo, evalviranih skladno z merili, ki jih zajema to področje. Ugotovili smo:  Izobraževalne organizacije so v lastno dejavnost že vpeljale različne aktivnosti, zaradi katerih lahko ocenimo, da postopoma izgrajujejo lastne notranje sisteme kakovosti. To se kaže v tem, da imajo v večji ali manjši meri dejavnosti s področja kakovosti umeščene v temeljne strateške dokumente, svoj notranji sistem kakovosti imajo zapisan v Listini kakovosti oz. primerljivem dokumentu, večinoma imajo vzpostavljeno komisijo za kakovost, vlagajo v krepitev usposobljenosti zaposlenih, dejavnosti s področja kakovosti predstavljajo na spletnih straneh izobraževalne organizacije ter preko drugih virov javnega obveščanja.  Ocenimo lahko, da je v večini obravnavanih organizacij vzpostavljena osnovna infrastruktura, ki je potrebna, da notranji sistem kakovosti v izobraževalni organizaciji 251 tudi zares živi in prispeva h kakovostnemu delovanju organizacije in njenim dobrim dosežkom.  Opazno pa je, da so vsebine s področja kakovosti v nekaterih obravnavanih primerih v temeljne strateške dokumente umeščene le »instrumentalno«, pogosto ni mogoče slediti realizaciji načrtovanih aktivnosti.  Za nekatere izobraževalne organizacije velja, da različnih elementov notranjega sistema kakovosti doslej še niso uspele povezati v notranje koherenten sistem, zaposleni in zunanji sodelavci se še vse premalo vidijo kot aktivni soustvarjalci notranjega sistema kakovosti.  V izobraževalnih organizacijah sicer potekajo obravnave vprašanj kakovosti, vendar se zdi, da gre bolj za predstavitve določenih tem, ob katerih so sodelujoči bolj v pasivni vlogi, poslušajo poročila, ki jih pripravi vodstvo, komisija za kakovost, svetovalec za kakovost. Premalo pa je aktivnosti, ki bi učitelje in strokovne delavce spodbudile k bolj aktivnemu sodelovanju pri obravnavi različnih vprašanj kakovosti.  Formalno imajo sicer v izobraževalnih organizacijah oblikovano komisijo za kakovost, vendar vsebina in organizacija dela komisije za kakovost ter porazdelitev dela in odgovornosti med člani komisije pogosto nista dorečeni; pojavljajo se težave s sodelovanjem zunanjih sodelavcev (zunanjih učiteljev, partnerjev, udeležencev) v komisijah za kakovost.  Sporočanje o dejavnostih s področja kakovosti zaposlenim in zunanji javnosti sicer obstaja (npr. spletne strani, druga sredstva javnega obveščanja), vendar je še vse preveč stihijsko in nenačrtno, odvisno od spodbud, ki jih izobraževalne organizacije dobivajo od zunaj, npr., ko je to zahteva določenega projekta.  Ugotovimo lahko tudi, da so sodelujoče organizacije doslej v večini primerov že posvetile precej pozornosti temeljnim premislekom o tem, zakaj obstajajo, kaj je temeljni namen njihovega delovanja, kakšne cilje želijo doseči v daljšem časovnem obdobju in kakšne vrednote vodijo njihovo delovanje. To se kaže v tem, da imajo oblikovano vizijo, poslanstvo in vrednote in jih tudi uporabljajo v javni rabi.  V temeljne premisleke o poslanstvu, viziji in vrednotah so izobraževalne organizacije doslej premalo vključevale zaposlene, zunanje sodelavce, udeležence in partnerje. Iz tega izhaja nevarnost, da v organizacijah ne bodo skupaj delovali za to, da bi uresničevali zapisano poslanstvo in se približevali viziji, pač pa bodo (so) to le lepo zapisani stavki, ki jih ima organizacija zapisane iz povsem drugih razlogov, ne pa zato, da bi usmerjale njeno delo.  V primerih srednjih šol oz. šolskih centrov, ki izobražujejo tako mladino kot odrasle, je bilo težko ugotoviti, kako se v temeljne strateške premisleke o poslanstvu, viziji, vrednotah, umešča izobraževanje odraslih.  V nekaterih organizacijah sicer imajo oblikovano Listino o kakovosti in Izjavo o kakovosti, v katerih je opisano, kako organizacija skrbi za kakovost in kakšne standarde kakovosti zagotavlja svojim udeležencem, vendar so ti dokumenti pogosto nastali v komisiji za kakovost ali pa jih je pripravil svetovalec za kakovost; zaposleni, še manj 252 pa zunanji sodelavci, teh dokumentov ne poznajo in pri njihovem oblikovanju niso sodelovali.  V nekaterih izobraževalnih organizacijah ni bilo mogoče razbrati, kateri so temeljni standardi kakovosti, ki jih le te zagotavljajo odraslim, zaposlenim, zunanjim sodelavcem in partnerjem. V drugih so imeli sicer zapisano Izjavo o kakovosti, iz katere je bilo mogoče razbrati temeljne standarde kakovosti, vendar se je v pogovorih s strokovnimi delavci, učitelji, zunanjimi sodelavci, izkazalo, da le-ti vsebine izjave o kakovosti ne poznajo.  Organizacije bolj ali manj redno ter bolj ali manj sistematično izvajajo sprotno presojanje in poglobljene samoevalvacije lastnega dela. Tako se je prav v vseh sodelujočih organizacijah uveljavilo sprotno spremljanje zadovoljstva udeležencev. V uporabi so tudi druge oblike sprotnih spremljav kot je npr. spremljanje uspešnosti udeležencev.  Nekatere izobraževalne organizacije ostajajo zgolj na ravni sprotnih spremljav kakovosti, poglobljenih samoevalvacij pa ne izvajajo.  V večini organizacij vsaj do določene mere v notranje presojanje kakovosti vključujejo notranje interesne skupine (strokovne delavce, učitelje). Hkrati pa za večino velja, da so doslej premalo vključevale zunanje interesne skupine (delodajalce, dejavnike v lokalnem okolju).  Izobraževalne organizacije v večini uporabljajo vsaj kakšno kvantitativno metodo zbiranja podatkov, povečuje se tudi uporaba kvalitativnih metod, čeprav to ne velja za vse evalvirane organizacije.  Pridobljeni podatki iz sprotnih spremljav kakovosti (npr. vprašalniki o zadovoljstvu, spremljanje uspešnosti) se premalo sistematično analizirajo, predstavljajo ter uporabijo kot osnova za načrtovanje in vpeljavo izboljšav.  Spremljave rezultatov in učinkov, ki jih sicer v nekaterih izobraževalnih organizacijah že imajo, so še vedno preveč stihijske, nenačrtne, brez jasnih metodologij, nepovezane.  Izobraževalne organizacije sicer v večini predstavljajo izide sprotnih spremljav in poglobljenih samoevalvacij na andragoških zborih ali podobnih strokovnih srečanjih z učitelji in strokovnimi delavci, večinoma pa o teh izidih ni razprave, ki bi bila načrtno usmerjena in vnaprej pripravljena.  Sodelujoče izobraževalne organizacije so doslej že vpeljale nekatere sistematične načine za načrtovanje in vpeljavo izboljšav in razvojnih ukrepov, ki izhajajo iz izidov sprotnih spremljav in poglobljenih samoevalvacij. To se kaže v tem, da povečini: v rednih časovnih obdobjih pripravijo pisni akcijski načrt za vpeljevanje izboljšav; so v določenem obdobju vpeljale različne izboljšave kakovosti, ki so izhajale iz načrtovanih aktivnosti, s tem pa so procesi presojanja kakovosti v izobraževalni organizaciji res dobili smisel in prinesli dodano vrednost; nekatere imajo vpeljane načine sprotnega spremljanja uvajanja izboljšav in potrebnih korektivnih ukrepov. 253  V nekaterih primerih načrtovanje ukrepov za uvajanje izboljšav še ni dovolj sistematično. Analize akcijskih načrtov za uvajanje izboljšav so pokazale na vsebinske in metodološke pomanjkljivosti. (npr. presplošno zapisane akcije, ki niso omogočale merljivosti itd.) V nekaterih primerih ni bilo povezave med začrtanimi akcijami in ugotovitvami sprotnih spremljav oz. poglobljenih samoevalvacij. Nekatere organizacije še niso vpeljale sistematičnih načinov za spremljanje učinkov vpeljanih izboljšav. PODPORA UDELEŽENCEM PRI IZOBRAŽEVANJU IN UČENJU Področje Podpora udeležencem pri izobraževanju in učenju je v skladu z metodologijo ekspertne zunanje evalvacije izbirno področje. V obravnavanem obdobju si je to področje izbralo devet od dvanajstih izobraževalnih organizacij, ki smo jih vključili v to študijo. Ugotovili smo:  Izobraževalne organizacije so povečini doslej že razvile raznovrstno podporo udeležencem pri izobraževanju in učenju. To se kaže v tem, da udeležencem nudijo različne oblike podpore pri učenju (učna pomoč, središče za samostojno učenje, informiranje in svetovanje itd.); skrbijo za dostopnost raznovrstne podpore posamezniku pri učenju in izobraževanju (npr. s prilagojenim časom, z zagotavljanjem prostora ipd.); zagotavljajo informiranost posameznikov o oblikah podpore v organizaciji pri učenju in izobraževanju (različni načini in vrste obveščanja); nudijo učno pomoč udeležencem pri spoznavanju različnih učnih metod, vključno z e-učenjem.  Čeprav izobraževalne organizacije svojim udeležencem večinoma že nudijo različne oblike podpore pri učenju, je v nekaterih obravnavanih primerih ta dostopna le v dopoldanskih urah (npr. govorilne ure, knjižnica, svetovanje ipd.) in zato za nekatere odrasle težko dostopna.  Ponekod udeležence o možnosti podpore pri učenju in izobraževanju večinoma informirajo le ob pričetku izobraževanja, ne pa tudi kasneje, med izobraževanjem, ko bi različne oblike pomoči pri učenju potrebovali. Nekatere izobraževalne organizacije na spletnih straneh nimajo predstavljenih informacij o oblikah podpore, ki jih udeležencem nudijo pri učenju in izobraževanju. Pogosta šibka točka je tudi ta, da udeležence premalo informirajo o različnih (brezplačnih) možnostih podpore izven izobraževalne organizacije.  Mnoge izobraževalne organizacije so doslej že razvile različne oblike svetovanja udeležencem. Udeležencem nudijo: svetovanje pred vpisom in ob vpisu; ob vstopu v izobraževanje opravijo uvodni pogovor z udeleženci; svetovalno pomoč med izobraževanjem, če jo ti potrebujejo, svetovalno pomoč ob zaključku izobraževanja.  Za namene poglobljenega svetovanja nekatere izobraževalne organizacije ne uporabljajo svetovalnih pripomočkov kot so: kako načrtovati učenje, kako izboljšati spomin, kako se učiti iz pisnega gradiva, kako delati zapiske, analiza učnih tipov, krepitev zmožnosti za uporabo različnih metod in tehnik učenja idr.  Konzultacije so pogosto organizirane na individualni ravni in ko je ugotovljena potreba, ne gre pa za sistematičen in načrtnem pristop, ki bi bil v izobraževalno or 254 ganizacijo vpeljan kot ena izmed oblik podpore, ki je dostopna vsem, so udeleženci vnaprej o njej informirani, vedo, kako lahko do nje dostopajo itd.  V nekaterih izobraževalnih organizacijah udeležencem ne nudijo učne pomoči, ali pa ne organizirajo pomoči udeležencem za spoznavanje različnih učnih metod, npr. učenje o tem, kako so učiti ali pa ta ni bila organizirana načrtno in sistematično, še ni del sistema podpore udeležencem pri učenju in izobraževanju.  Uvodno delo z udeleženci ni vedno dovolj sistematično, načrtno ter strokovno poglobljeno. Opomniki za izpeljavo uvodnih pogovorov strokovnega delavca sicer usmerjajo, da udeležencu posreduje potrebne informacije o vpisu in poteku izobraževanja, manjkrat pa tudi v to, da bi si od udeleženca pridobili podatke o morebitnih situacijskih in institucionalnih ovirah, ki bi lahko ovirale posameznika v zvezi z izobraževanjem. Zapisi nekaterih uvodnih pogovorov so vsebinsko skromni. Podatki in informacije, ki jih strokovni delavci pridobijo v uvodnih pogovorih, se v nekaterih obravnavanih primerih kasneje ne analizirajo in ne uporabijo pri načrtovanju izobraževanja za posameznika, predvsem pa ti podatki zelo poredko pridejo do učiteljev. V nekaterih primerih, ko organizacija izvaja skupinski model izobraževanja, ni bilo mogoče zaslediti, da bi na podlagi opravljenih uvodnih pogovorov, pripravili analizo učne skupine in jo posredovali oz. predstavili učiteljem, ki bodo poučevali v določenem programu.  Osebni izobraževalni načrti se ne pripravljajo za različne oblike neformalnega izobraževanja, tudi takrat ne, ko se v daljše izobraževalne programe izobraževanje vključujejo ranljive skupine. V programih, kjer se osebni izobraževalni načrti pripravijo, so v nekaterih izobraževalnih organizacijah kasneje premalo uporabljeni kot pripomoček za spremljanje udeležencev med izobraževanjem. Opazna je razlika med kakovostjo izpolnjenih osebnih izobraževalnih načrtov – nekateri so zelo dobri, drugi pa komaj zadostijo formalnosti. Za večino evalviranih izobraževalnih organizacij velja, da učitelji ne sodelujejo pri pripravi in spremljavi osebnih izobraževalnih načrtov udeležencev. V večini osnovnih šol za odrasle osebnih izobraževalnih načrtov ne pripravljajo.  V primerih, ko v izobraževalnih organizacijah pripravo učnih gradiv za udeležence prepuščajo učiteljem, večinoma nimajo nekih skupnih pravil, v katerih bi opredelili standard kakovosti, kako naj bodo učna gradiva za samostojno učenje pripravljena.  Izobraževalne organizacije nimajo formalno razvitega in vzpostavljenega mentorstva/tutorstva med učitelji in udeleženci.  Izobraževalne organizacije doslej niso na sistematičen način pristopale k temu, da bi na organiziran način spodbudili udeležence k medsebojni pomoči pri učenju. Kjer so se takšne oblike razvile, je šlo bolj za spontano povezovanje udeležencev oz. za posamične spodbude učiteljev.  Izobraževalne organizacije so doslej v mnogih primerih že razvile različne oblike podpore udeležencem pri samostojnem učenju; udeležence spodbujajo in usposabljajo za organizirano samostojno učenje ter jim zagotavljajo ustrezno svetovalno in mentorsko pomoč; posameznikom pomagajo pri odpravljanju situacijskih ovir, 255 povezanih z njihovim izobraževanjem (denarne, druge socialne razmere, družinske obveznosti, različne oviranosti, delovne zadolžitve ipd.); posameznikom pomagajo pri odpravljanju institucionalnih ovir, povezanih z njihovim izobraževanjem (slaba dokumentacijska pismenost, problemi v zvezi s priznavanjem znanja, drugi problemi, ki jih posameznik doživlja zaradi pravil in načina izobraževanja v organizaciji).  Središča za samostojno učenje, ki so se razvila v izobraževanju odraslih v Sloveniji in jih država tudi finančno podpira, predstavljajo sicer pomembno podporo odraslim udeležencem pri organiziranem samostojnem učenju, vendar se v zadnjih letih niso ustrezno prilagodila spremembam, še najbolj pa temu, da udeležencem računalniki in internet niso več tako nedostopni kot so bili v času, ko so se ta središča vzpostavljala in se je oblikoval njihov prvi koncept delovanja.  V primerih sodelujočih srednjih šol je bilo mogoče ugotoviti, da so le-te uredile nekaj prostorov (šolska avla, knjižnica idr.), ki jih lahko tudi odrasli uporabijo za samostojno učenje. Vendar pa na šolah nimajo središča za samostojno učenje – posebnega prostora, ki bi bil namenjen organiziranemu samostojnemu učenju, bi bil opremljen z učnimi gradivi, multimedijskimi gradivi in drugimi učnimi viri. Pri samostojnem učenju ni na razpolago osebja, ki bi bilo posebej usposobljeno za svetovanje in mentorstvo udeležencu.  Vpogled v učna gradiva za samostojno učenje je pogosto pokazal, da jim primanjkuje elementov, ki naj jih zajemajo gradiva za samostojno učenje, kot so: motivacijski uvod z navodili udeležencem, kako pristopiti k učenju, kako napredovati skozi gradivo, kje lahko najdejo še dodatno razlago, pojasnila, snov za utrjevanje, povezave na spletne vire itd. RAZVOJNA USMERJENOST ORGANIZACIJE, KI IZOBRAŽUJE ODRASLE Področje Razvojna usmerjenost organizacije, ki izobražuje odrasle, je v skladu z metodologijo ekspertne zunanje evalvacije izbirno področje. To področje smo prvič uporabili šele v letu 2015. Zato si ga je doslej izbralo le manjše število organizacij in sicer tri od dvanajstih izobraževalnih organizacij, ki smo jih vključili v to študijo. Glede na majhno število zajetih organizacij lahko tudi ugotovitve povzamemo le kot primere, ki so nam lahko v pomoč pri nadaljnjem razvoju tega področja. Za izobraževalne organizacije, ki so doslej sodelovale v ekspertnih zunanjih evalvacijah lahko ugotovimo naslednje:  Izobraževalne organizacije načrtujejo svoj kratkoročni in dolgoročni razvoj, vendar ne v vseh vidikih dovolj sistematično in celovito. To se kaže v tem, da: imajo vsaj deloma ali v celoti opredeljeno vizijo razvoja, ki odraža dolgoročno razvojno naravnanost; v dveh obravnavanih organizacijah so imeli vsaj deloma ali v celoti opredeljen razvojni strateški dokument, ki opredeljuje prihodnji razvoj organizacije; v eni izmed obravnavanih organizacij so imeli vsaj deloma opredeljene tudi druge razvojne dokumente, ki podpirajo doseganje ciljev, opredeljenih v razvojnem strateškem dokumentu; v dveh organizacijah so imeli vsaj v zametkih opredeljene tudi načine za redno preverjanje uresničevanja vizije.  Pri pripravi strateških razvojnih dokumentov izobraževalne organizacije premalo sodelujejo zaposleni. V vseh treh obravnavanih primerih je bil strateški razvojni do 256 kument, ki so ga v organizaciji predstavili kot dolgoročno vizijo razvoja organizacije, pravzaprav obvezen dokument, ki ga pripravi kandidat za delovno mesto direktorja. Kot tak predstavlja strategijo razvoja, ki jo zagovarja kandidat za direktorja in kasneje direktor, v kolikor je potrjen. Ni pa bilo razvidno, ali so bili zaposleni kasneje s tako strategijo seznanjeni, če so sodelovali pri njenem morebitnem dopolnjevanju in je bila sprejeta kot strategija organizacije.  Razvojni strateški dokumenti ostajajo na splošni ravni, brez predlogov ukrepov in opredeljenih kazalnikov uspešnosti. V vseh treh obravnavanih primerih opredeljenim strateškim ciljem v večini niso sledili tudi bolj konkretizirani predlogi ukrepov, ki bi nakazali smer udejanjanja strateških ciljev. Prav tako niso bili določeni kazalniki, s katerimi bi presojali doseganje ciljev.  V izobraževalnih organizacijah, razen v enem primeru, se poleg temeljnih strateških dokumentov večinoma ne pripravljajo drugi (parcialni) razvojni načrti, ki bi podpirali uresničevanje strateških ciljev na različnih vsebinskih področjih (npr. načrt promocije, načrt partnerskega sodelovanja, načrt usposabljanja in razvoja kadrov ipd.) To lahko povzroči, da se na teh področjih preveč naslanja zgolj na dnevne potrebe, ne vpeljuje pa ukrepov, ki bodo postopoma pripeljali do opredeljenih dolgoročnejših strateških ciljev.  Izobraževalne organizacije svojim zaposlenim in zunanjim sodelavcem zagotavljajo nekatere pogoje za razvojno delo. To se kaže v tem, da: vsaj delno ali v celoti načrtujejo strokovno spopolnjevanje ter zagotavljajo pogoje za spopolnjevanje osebja, ki sodeluje pri izobraževanju odraslih; vsaj deloma načrtno skrbijo za prenos znanja in izkušenj med osebjem, ki sodeluje pri izobraževanju odraslih; so doslej že vzpostavile nekatere načine, s pomočjo katerih informirajo zaposlene in zunanje sodelavce o možnostih razvojnega dela v organizaciji ali izven nje.  V izobraževalnih organizacijah ne pripravljajo načrtov osebnega razvoja, s katerimi bi opredelili strokovni razvoj vsakega posameznika. Pri tem je mišljen dogovor, skupno dogovorjeni načrt osebnega razvoja posameznega zaposlenega, za uresničitev katerega sta soodgovorna tako zaposleni kot organizacija. Ta ocena sicer velja zlasti za poklicni in osebni razvoj zaposlenih v celoti, boljše pa je, ko gre za možnosti strokovnega spopolnjevanja zaposlenih, ki pa so tudi v večji meri prepuščene (brezplačnim) možnostim kot nekemu načrtnemu usmerjanju posameznikov v tiste programe, ki več prispevajo k njegovim poklicnim in splošnim kompetencam.  Načrti usposabljanja in spopolnjevanja zaposlenih obstajajo, a so premalo sistematični in konkretizirani. Če je po eni strani dobro to, da je usposabljanje in spopolnjevanje načrtovano v letnih delovnih načrtih, pa je bila zaznana pomanjkljivost ta, da iz njih ni vidna dovolj načrtna strategija – kam, v katere programe usmeriti posameznika, da bo lahko dobro opravljal delo, ki ga opravlja nasploh, ki ga opravlja v obravnavanem letu, ki je skladno z njegovim načrtovanim kariernim razvojem, ki je v sozvočju s kadrovsko strategijo, opredeljeno v strateškem načrtu.  V izobraževalnih organizacijah je premalo poglobljenih in načrtovanih oblik prenosa znanja. V obravnavanih izobraževalnih organizacijah sicer obstajajo načini, da npr. zaposleni, ki so se udeležili usposabljanj, na kolegiju ali drugih oblikah srečeva 257 nja zaposlenih informirajo o tem, kaj so bile teme usposabljanj. Ni pa bilo zaznati drugih, bolj poglobljenih in načrtovanih oblik prenosa znanja. To še posebej velja za prenos znanja med zaposlenimi in zunanjimi sodelavci.  Strokovni aktivi niso dovolj vpeti v obravnavo razvojnih vprašanj. V vseh treh obravnavanih primerih imajo v organizaciji organiziranih nekaj strokovnih aktivov, vendar je bilo ugotovljenih kar nekaj pomanjkljivosti v zvezi z njihovim delovanjem. Nekateri se pretežno ne sestajajo, se sestajajo le enkrat letno ali pa jih celo nadomesti andragoški zbor. Nekateri sodelavci sploh ne vedo, da so strokovni aktivi organizirani. Če strokovni aktivi ne delujejo, se med učitelji (in strokovnimi sodelavci) težko oblikuje neka kohezivna, socialno povezana skupina strokovnjakov, ki bi bila pripravljena medsebojno izmenjevati izkušnje, strokovne dileme o razvojnih vprašanjih in, seveda, iskati rešitve zanje.  Izobraževalne organizacije so dejavne pri razvojnem delu in dosegajo številne razvojne dosežke. To se kaže v tem, da so nekatere: razvile lastne nove izobraževalne programe in izobraževalne dejavnosti, ki jih še vedno izvajajo; uvedle v svojo izobraževalno prakso nove metode učenja in/ali drugega dela z odraslimi ter nove učbenike, učna gradiva ali drug učne vire; aktivno sodelovale v nacionalnih ali/in mednarodnih projektih in/ali dejavnostih, povezanih z izobraževanjem odraslih, pri čemer so izkazale tudi lastni prispevek v teh projektih. V nekaterih primerih so zaposleni in zunanji sodelavci sodelovali v različnih organih zunaj organizacije, ki se ukvarjajo z vprašanji razvoja izobraževanja odraslih. Nekatere organizacije so bile prepoznane kot pomemben razvojni dejavnik in bile v tej vlogi umeščene v veljavne razvojne plane drugih. Nekateri zaposleni oz. zunanji sodelavci so prejeli priznanje (nagrado) za razvojno delo na področju izobraževanja odraslih.  Informiranje zaposlenih in zunanjih sodelavcev o možnostih sodelovanja v različnih oblikah razvojnega dela v organizaciji in izven organizacije (v omrežjih, na strokovni ravni) je premalo načrtno in v podporo udejanjanju razvojne strategije organizacije. Nekateri načini informiranja v izobraževalnih organizacijah sicer obstajajo, a so premalo načrtni in sistematični.  Izobraževalne organizacije so pri zagotavljanju trajnosti umeščanja novih izobraževalnih programov v njihovo dejavnost premalo proaktivne. Ob ugotovitvi, da so izobraževalne organizacije v zadnjih letih razvile številne nove izobraževalne programe, pa obstaja nevarnost, da organizacijam ne bo uspelo zagotoviti njihove trajne umeščenosti v lastno izobraževalno dejavnost, v kolikor ne bodo aktivno in načrtno delovale na umeščanju teh programov tako v lastno dejavnost, kot v druge lokalne/ regionalne in nacionalne sheme.  Pokazale so se šibkosti v znanju osebja, ki je sodelovalo pri pripravi novih izobraževalnih programov in novih učnih gradiv. Pri proučevanju novo nastalih izobraževalnih programov (ali programov, katerih soavtorji so zaposleni iz evalvirane izobraževalne organizacije), je bilo v primerih nekaterih programov ugotovljeno, da so bili programi oblikovani na način, ki ni v skladu niti z zakonodajo niti s strokovno doktrino. Predvsem so jim manjkale nekatere sestavine, to pa je pustilo vtis, da so 258 nastali na hitro, brez tehtnih strokovnih premislekov (in morebiti tudi ustreznega znanja). Vrzeli v znanju je bilo zaznati tudi ob pregledu novih učnih gradiv.  Učitelji ne poznajo smernic za pripravo učnih gradiv ali pa jih ne upoštevajo. Pokazalo se je, da so učna gradiva v nekaterih primerih pojmovana bolj kot »interna zadeva« posameznega učitelja, zato pa pripravljena na način, kakor se zdi primeren posameznemu učitelju, torej ne nujno v skladu s smernicami, ki jih je izobraževalna organizacija sicer pripravila. Ob tem je bilo ugotovljeno, da vsi učitelji niti ne poznajo smernic za pripravo učnih gradiv; ali pa jih pojmujejo zgolj kot neke vrste »tehnično navodilo«, torej nekaj, za kar bo že organizacija poskrbela, avtor pa s tem nima prav veliko opravka.  Zaposleni in zunanji sodelavci se premalo vključujejo v organe izven organizacije, ki obravnavano razvojna vprašanja izobraževanja odraslih. Prav tako pa z lastnimi prispevki premalo sodelujejo na različnih domačih in mednarodnih konferencah. V obravnavanih primerih je bilo mogoče ugotoviti, da v različnih organih zunaj organizacije večinoma sodelujejo vodilni (največkrat direktor), manj ali sploh ne pa zaposleni in zunanji sodelavci. Podobno velja za sodelovanje na različnih domačih in mednarodnih konferencah in strokovnih posvetih. 5.3.3.2 PREDLOGI ZA NADALJNJI RAZVOJ OB UGOTOVITVAH EKSPERTNIH ZUNANJIH EVALVACIJ NOTRANJI SISTEM KAKOVOSTI V nadaljevanju navajamo predloge, kako na nacionalni ravni in na ravni izobraževalnih organizacij podpreti nadaljnji razvoj notranjih sistemov kakovosti.  Nadaljnji razvoj notranjih sistemov kakovosti organizacij, ki izobražujejo odrasle, je potrebno na nacionalni ravni tako s sistemskimi ukrepi kot s strokovnimi usmeritvami, svetovanjem in usposabljanjem ter spopolnjevanjem osebja usmeriti v dvoje vrst aktivnosti, in sicer: (1) aktivnosti, ki bodo v pomoč tistim izobraževalnim organizacijam, ki danes še nimajo razvite osnovne infrastrukture oz. temeljnih gradnikov notranjih sistemov kakovosti ter (2) aktivnostim, ki bodo organizacijam, ki so doslej že vzpostavile osnovno infrastrukturo in temeljne gradnike notranjega sistema kakovosti, v pomoč pri kvalitativnem poglabljanju in razvoju dejavnosti, ki sestavljajo notranji sistem kakovosti.  Z nacionalne ravni je potrebno še naprej zagotavljati možnosti vključevanja osebja, ki se v izobraževalnih organizacijah ukvarjajo z vprašanji kakovosti, v temeljna usposabljanja o vzpostavitvi in razvoju notranjega sistema kakovosti v izobraževalni organizaciji. Zagotavljati pa je potrebno tudi spopolnjevanje že usposobljenega osebja. Pri tem je potrebno iskati načine, kako bi v usposabljanja in spopolnjevanja poleg članov komisij za kakovost in svetovalcev za kakovost vključili več učiteljev.  Ugotovitev, da številne aktivnosti, ki jih izobraževalne organizacije izpeljujejo v namene opredeljevanja, presojanja in razvijanja kakovosti lastnega dela, ostajajo večinoma v domeni komisij za kakovost oz. jih izpeljujejo sami svetovalci za kakovost, 259 premalo pa so vanje vključeni zaposleni in zunanji sodelavci, kažejo na potrebo po novih ukrepih na nacionalni ravni, ki bi pomenili razvojno spodbudo za izobraževalne organizacije. Ti ukrepi bi morali biti oblikovani v sodelovanju z nosilci odločanja na nacionalni ravni in nacionalnimi razvojnimi institucijami, pri tem pa bi bilo potrebo upoštevati potrebe in zanimanja izvajalskih organizacij. Ena izmed takšnih možnosti bi bila, da bi se ob snovanju novih nacionalnih projektov ali projektov, ki so financirani iz Evropskih socialnih skladov, opredelilo razvojne aktivnosti, ki bi bile namenjene nadaljnjemu razvoju notranjih sistemov kakovosti, predvsem pa aktivni vlogi zaposlenih in učiteljev pri tem razvoju. V nacionalnih razpisih bi bilo potrebno definirati teme in izvajalske organizacije pozvati naj s prijavo na razpise pripravijo razvojne projekte, povezane s temi temami. Na tak način bi se zagotovila tudi nova razvojna sredstva za izvajanje teh dejavnosti v izobraževalnih organizacijah.  Upoštevajoč, da imamo že od leta 2006 na področju izobraževanja odraslih v Sloveniji vzpostavljeno nacionalno omrežje svetovalcev za kakovost, so izidi obravnavane študije lahko dobra popotnica za načrtovanje aktivnosti v omrežju, s katerimi bi sinergijsko prispevali k odpravljanju šibkih točk, ki so jih zaznale ekspertne zunanje evalvacije. Skupne akcije, ki si jih vsako leto zastavijo svetovalci v omrežju in jih koordinira Andragoški center Slovenije, bi bilo potrebno usmeriti tako, da bi z njimi dosegli: (1) večjo aktivnost strokovnih delavcev in učiteljev pri udejanjanju različnih aktivnosti opredeljevanja, presojanja in razvijanja kakovosti, (2) kvalitativno poglabljanje delovanja različnih vidikov notranjih sistemov kakovosti v izobraževalnih organizacijah.  Kvalitativno poglabljanje notranjih sistemov kakovosti je potrebno usmeriti vsaj v naslednje: boljše vsebinsko načrtovanje in umeščanje aktivnosti s področja kakovosti v temeljne strateške dokumente izobraževalne organizacije in boljše spremljanje udejanjanja začrtanih aktivnosti in njihovih učinkov na kakovost dela v izobraževalni organizaciji in njenih rezultatov; razpršene aktivnosti in razpršeno osebje, ki se v izobraževalnih organizacijah ukvarja z vprašanji kakovosti, povezati v sistem, ki bo imel jasno strukturo in vsebino; jasnejša opredelitev vloge komisije za kakovost v notranjem sistemu kakovosti izobraževalne organizacije; jasna opredelitev pristojnosti in nalog ter odgovornosti, opredelitev načinov spremljanja delovanja njenega delovanja in presojanja učinkov, bolj sistematično dokumentiranje njenega dela; uporaba pristopov, s pomočjo katerih bodo izobraževalne organizacije dosegle bolj aktivno vključevanje zaposlenih in zunanjih sodelavcev v premisleke o poslanstvu, viziji in vrednotah ter v razprave o izidih sprotnih presoj kakovosti in poglobljenih samoevalvacij ter načrtovanje razvojnih aktivnosti; jasnejšo opredelitev temeljnih standardov kakovosti, ki jih izobraževalne organizacije zagotavljajo svojim udeležencem, zaposlenim, zunanjim sodelavcem in partnerjem; sodelovanje vseh teh skupin pri oblikovanju teh standardov; vpeljava načinov za bolj učinkovito vključevanje zunanjih interesnih skupin v procese sprotnega presojanja kakovosti in poglobljenih samoevalvacij; okrepitev znanja osebja za uporabo kvalitativnih metod za presojanje kakovosti in vključitev uporabe kvalitativnih metod (fokusne skupine, zgledovanje, kolegialne presoje) v notranje sisteme kakovosti; razvoj metodologij in postopkov za bolj sistematično in načrtno spremljanje rezultatov in učinkov izobraževanja odraslih v izobraževalni organizaciji; 260 vključitev poglobljene samoevalvacije v notranji sistem kakovosti; izboljšanje kakovosti in učinkovitosti uporabe poročil o izidih sprotnih spremljav in poglobljene samoevalvacije; bolj sistematično načrtovanje ukrepov za ohranjanje in razvoj kakovosti, ki izhaja iz spremljav in poglobljenih samoevalvacij ter izboljšanje načinov spremljanja udejanjanja izboljšav ter učinkov vpeljanih izboljšav.  V kolikor želimo udejanjiti opredeljene razvojne usmeritve, ki se jasno kažejo v tem, da je potrebno dosedanje aktivnosti izobraževalnih organizacij pri vzpostavljanju in razvoju notranjih sistemov kakovosti v prihodnje kvalitativno poglobiti, je potrebno zagotoviti ustrezne pogoje, ki jih ima osebje v izobraževalnih organizacijah za opravljanje tega dela. Tu naletimo na pereč problem, namreč, da v sistemu izobraževanja odraslih v Sloveniji nimamo osebja, ki bi se profesionalno ukvarjalo s tem področjem. V obdobju, ko je nastala ta študija, pa tudi nimamo nobenih niti sistemskih niti projektnih finančnih spodbud, ki bi prinesle vsaj minimalno ovrednotenje dela osebja, ki opravlja te naloge, pa naj gre za vodje ali člane komisij za kakovost ali za svetovalce za kakovost izobraževanja odraslih ali strokovne delavce in učitelje. Niti ni razvojnih finančnih spodbud, ki bi izobraževalnim organizacijam omogočile, da bi lahko načrtovale in izpeljavale razvojne projekte s tega področja. Zato bi bilo potrebno delo na področju kakovosti, ki ga opravlja osebje v izobraževalnih organizacijah, sistemsko ali kako drugače urediti, najti finančne spodbude za opravljanje tega dela, pa tudi finančne spodbude, ki bi omogočile nov razvojni preboj, ko gre za vzpostavljanje in delovanje notranjih sistemov kakovosti v izobraževalnih organizacijah za odrasle. PODPORA UDELEŽENCEM PRI IZOBRAŽEVANJU IN UČENJU  Kot smo zapisali že pri področju Notranji sistem kakovosti, je potrebno tudi nadaljnji razvoj področja Podpora odraslim pri učenju in izobraževanju na nacionalni ravni v prihodnje podpreti tako s sistemskimi ukrepi kot s strokovnimi usmeritvami, svetovanjem in usposabljanjem ter spopolnjevanjem osebja.  Čeprav je bilo v dosedanjih ekspertnih zunanjih evalvacijah vključeno majhno število srednjih šol, pa je bilo pri študiji obravnavanih primerov zaznati, da so nekatere oblike podpore udeležencem, ki so se razvile pri ljudskih univerzah, v srednjih šolah manj prisotne. Vendar te ugotovitve slonijo le na proučitvi nekaterih primerov, nemogoče pa jih je posplošiti. Zato bi bilo potrebno s kakšno od prihodnjih nacionalnih evalvacijskih študij natančneje raziskati, kako dobro so se doslej razvile različne oblike 261 podpore odraslim udeležencem na srednjih šolah ter kakšna je usposobljenost osebja, pa tudi kakšni so pogoji dela za izvajanje informativno-svetovalnega dela ter nudenju različne podpore odraslim pri učenju in izobraževanju.  Nadaljnji razvoj podpore udeležencem pri učenju in izobraževanju v izobraževalnih organizacijah je potrebno usmeriti v oblikovanje sistemskih in projektnih ukrepov, ki bodo: (1) izobraževalne organizacije, za katere še ne moremo reči, da je njihovo delo na obravnavanem področju sistematično in celovito, usmerile v to, da bodo postopoma posamične aktivnosti, ki so jih sedaj že vpeljale, dogradile še z drugimi in jih povezale v celovit sistem, takšen, ki bo udeležencu na enem mestu nudil različne oblike podpore pri učenju in izobraževanju; (2) izobraževalne organizacije, ki so doslej že razvile številne oblike podpore, usmeril v nadaljnji kvalitativni razvoj in poglabljanje doslej že vzpostavljenih oz. razvitih oblik podpore udeležencem pri učenju in izobraževanju.  Kvalitativno poglabljanje razvoja podpore udeležencem pri izobraževanju in učenju je potrebno usmeriti vsaj v naslednje: Izboljšati je potrebno informiranost udeležencev o različnih oblikah podpore pri učenju in izobraževanju. Osebje v izobraževalnih organizacijah je potrebno spodbuditi in usposobiti za uporabo različnih načinov in vrst obveščanja. Izboljšati je potrebno tudi informacije o tem, kakšne oblike podpore pri učenju in izobraževanju so udeležencem na voljo izven izobraževalne organizacij. Vpeljati je potrebno sistematične načine za ugotavljanje potreb po učni pomoči. Osebje v izobraževalnih organizacijah naj opredeli, kako se bo ugotavljalo potrebe po učni pomoči, kako se bo analiziral obseg in vrsta potreb udeležencev po učni pomoči, kdo bo udeležence usmerjal v učno pomoč, ki je na voljo v organizaciji ali zunaj nje. Za primere (programe, predmete…), kjer udeleženci običajno potrebujejo največ učne pomoči, je potrebno usposobiti strokovne delavce ali mentorje, ki bi lahko tovrstno dodatno učno pomoč udeležencem nudili v času vključenosti v izobraževanje. Izboljšati je potrebno strokovno poglobljenost uvodnega dela z odraslimi udeleženci. Osebje v izobraževalnih organizacijah, ki doslej za izpeljavo uvodnih pogovorov ni uporabljajo zato vnaprej pripravljenih strokovnih pripomočkov, naj te pripravi oz. jih vpelje v uvodno delo z udeleženci. Instrumenti za izpeljavo uvodnih pogovorov naj bodo pripravljeni tako, da bodo strokovnega delavca vodili, da od udeležencev pridobi podatke o njegovem predhodnem uspešno zaključenem in nezaključenem izobraževanju, jih povpraša o morebitnih posebnosti iz predhodnega formalnega izobraževanja, delovnih izkušnjah (formalnih in neformalnih), znanjih, ki so si jih pridobili v neformalnem izobraževanju, o interesih, hobijih, prostočasnih dejavnostih. Le na ta način si strokovni delavec res lahko pridobi vse podatke, potrebne za načrtovanje izobraževanja, prilagojenega potrebam posameznika. Ko gre za skupinske oblike izobraževanja, je potrebno v prihodnje ugotovitve iz uvodnih pogovorov bolje izkoristiti kot orodje za načrtovanje izvedbenih kurikulov. Razvijejo naj se protokoli, ki bodo jasno opredelili, na kakšen način bodo izidi uvodnih pogovorov dostopni učiteljem. Dobro poznavanje posameznika, okoliščin, v katerih se ta izobražuje, je namreč pogoj za dobro načrtovanje posameznikove izobraževalne poti, kar predstavlja eno osrednjih točk podpore posamezniku pri izobraževanju. Izboljšati je potrebno postopke načrtovanja osebne izobraževalne poti za posameznika. Osebni izobraževalni načrti naj se pripravljajo tudi v daljših programih neformalnega izobraževanja za ranljive skupine in v programu Osnovne šole za odrasle. Jasneje je potrebno opredeliti načine spremljanja udejanjanja osebnih izobraževalnih načrtov, da bo ta instrument še bolj zaživel v vlogi svetovalnega pripomočka za spremljanje udeleženčeve izobraževalne poti in v podporo pri doseganju njegovih učnih ciljev. Izboljšati je potrebno kakovost priprave osebnih izobraževalnih načrtov. Le ti naj omogočajo tudi spremljanje realizacije začrtanih obveznosti in prostor za morebitne dogovore o ukrepih, če bi se udeležencu kje med izobraževanjem pojavile težave. Strokovno je potrebno poglobiti načine svetovalnega dela z udeleženci med izobraževanjem. Pri tem je pomembna načrtna uporaba različnih svetovalnih pripomočkov. V kolikor izobraževalne organizacije v svojih sredinah še nimajo oz. nimajo dovolj strokovnih delavcev, ki so si že pridobili specialistična znanja s tega področja, so le-te spodbudili, naj okrepijo znanje svojih strokovnih delavcev na področju poglobljenega svetovalnega dela. Okrepiti je potrebno podporo udeležencem pri organiziranem samostojnem učenju. Delovanje središč za samostojno učenje je potrebno prilagoditi spremembam sodobnega časa - v prihodnje naj še bolj zaživijo kot komplementarna oblika neformalnega izobraževanja, ki udeležencem omogoča, da se lahko samostojno učijo in na tak način lažje premagujejo morebitne ovire med njihovim izobraževanjem, ne glede na to, ali gre za udeležence formalnega ali neformalnega izobraževanja. Izboljšati je potrebno informiranje udeležencev o možnostih za organizirano samostojno učenje. Okrepiti je potrebno povezave središč za samostojno učenje s svetovalnimi središči ISIO ter dejavnostjo učne pomoči v organizaciji. Razviti je potrebno nova učna gradiva za samostojno učenje in izboljšati obstoječa. Pri tem je potrebno upoštevati strokovne smernice za pripravo gradiv za samostojno učenje. Oblikujejo naj se pravila, ki zajemajo temeljni standard kakovosti, kakšna naj bodo učna gradiva in drugi učni viri, ki jih pripravljajo učitelji in so namenjena samostojnemu učenju odraslih udeležencev. Udeležencem je potrebno omogočiti dostop do učnih gradiv in drugih učnih virov za samostojno učenje prek spletnih učilnic oz. drugih oblik spletnega dostopa do učnih virov. Osebje, ki se v izobraževalni organizaciji ukvarja z organiziranim samostojnim učenjem, je potrebno za to delo ustrezno usposobiti. Okrepiti je potrebno načine podpore udeležencev v obliki mentorstva/tutorstva. Priporočila, ki jih lahko povzamemo iz ekspertnih zunanjih evalvacij, izobraževalne organizacije spodbujajo, naj kot eno izmed možnih oblik podpore udeležencem pri njihovem izobraževanju in učenju pripravijo in ponudijo odra 262 263 slim udeležencem možnosti mentorstva, in sicer tako z mentorstvom udeleženec– udeleženec kot učitelj–udeleženec. Navajajo tudi k premisleku o temu, v katerih programih bi bilo smiselno vpeljati mentorstvo/tutorstvo. Nekateri udeleženci namreč potrebujejo več kot drugi in je morda ključ do njihovega uspeha v individualnem delu z njimi, pa naj bo to individualno delo učitelja, njegovega sovrstnika ali nekoga drugega, ki mu lahko pomaga. RAZVOJNA USMERJENOST ORGANIZACIJE, KI IZOBRAŽUJE ODRASLE Čeprav smo lahko doslej, ko gre za področje Razvojna naravnanost organizacije, ki izobražuje odrasle, analizirali le tri primere, je vendarle tudi iz teh treh primerov mogoče izluščiti nekatere predloge, katerih udejanjanje lahko prispeva h krepitvi usposobljenosti osebja v izobraževalnih organizacijah za dolgoročno in kratkoročno razvojno načrtovanje, zagotavljanje pogojev za udejanjanje razvojnih načrtov in doseganju dobrih razvojnih dosežkov. Predloge predstavljamo v nadaljevanju. Okrepiti je potrebno usposobljenost vodstev in zaposlenih v izobraževalnih organizacijah za odrasle za strateško razvojno načrtovanje. Razviti bi bilo potrebno program temeljnega usposabljanja, ki bi zajemal različne vidike strateškega in operativnega načrtovanja v izobraževalnih organizacijah za odrasle. Pri tem je priporočljivo, da bi bil program naravnan tako, da bi upošteval značilnosti delovanja javnih organizacijah za izobraževanje odraslih. Program bi moral biti zastavljen tako, da bi bil prvenstveno namenjen vodstvom izobraževalnih organizacij (vodjem, ravnateljem), pa tudi vodjem izobraževalnih področij itd. Zajemati bi moral tematike strateškega in operativnega razvojnega načrtovanja – tako vsebinskega kot finančnega, hkrati pa tudi tematike, ki obravnavajo vključevanje zaposlenih v razvojno načrtovanje, načrtovanja razvoja zaposlenih, prenosa znanja med zaposlenimi itd.  Okrepiti je potrebno usposobljenost strokovnih delavcev v izobraževanju odraslih za razvoj novih izobraževalnih programov. Razviti bi bilo potrebno nov program spopolnjevanja za strokovne delavce v izobraževanju odraslih, ki bi zajel tematiko razvoja izobraževalnih programov za odrasle. Tako bi imeli strokovni delavci, ki se v praksi izobraževanja odraslih ukvarjajo z razvojem izobraževalnih programov, nove možnosti za krepitev lastne usposobljenosti na tem področju.  Okrepiti je potrebno usposobljenost strokovnih delavcev v izobraževanju odraslih za razvoj učbenikov in učnih gradiv za odrasle. Pregledati bi bilo potrebno ponudbo programov spopolnjevanja strokovnih delavcev v izobraževanju odraslih, za pripravo učnih gradiv za odrasle, tako klasičnih kot tistih za samostojno učenje in e-učenje. V kolikor se ugotovi, da ponudba ne obstaja oz., da ni ustrezna, bi bilo potrebno pristopiti k razvoju novih programov spopolnjevanja za oblikovanje učbenikov in učnih gradiv v izobraževanju odraslih.  Z ukrepi na nacionalni ravni je potrebno podpreti razvojno delo v izobraževalnih organizacijah za odrasle. Pri tem je potrebno upoštevati vsaj naslednje vidike; (1) V primerih, ko je država z različnimi nacionalnimi in evropskimi mehanizmi financirala razvoj novih izobraževalnih programov, učnih gradiv, novih učnih metod ipd., je pomemben strateški razvojni razmislek na nacionalni ravni, kako tovrstne razvojne 264 dosežke izobraževalnih organizacij nadalje umeščati v nacionalne finančne sheme. V kolikor tega strateškega premisleka ni, se lahko zgodi, da država vloži sredstva v razvoj izobraževalnih programov, učnih gradiv ipd., ko pa so ti razviti, so morebiti izpeljani le enkrat, kasneje pa ne živijo. V tem primeru so državna sredstva slabo investirana, saj ne upoštevajo vidika trajnosti. (2) Z novimi nacionalnimi in evropskimi finančnimi shemami je potrebno izobraževalnim organizacijam omogočiti, da se prijavljajo na razpise, ki jim bodo omogočili, da udejanjijo lastne razvojne ideje.  Ko pa gre za kvalitativno poglabljanje razvojne usmerjenosti izobraževalnih organizacij v samih izobraževalnih organizacijah je potrebno nadaljnji razvoj usmeriti vsaj v naslednje: bolje pripravljeni strateški dolgoročni in kratkoročni razvojni načrti. Ti naj poleg splošnih usmeritev in ciljev zajemajo tudi opredelitev ukrepov in pričakovanih izidov pri posameznem strateškem cilju. Temeljnim strateškim dokumentom naj komplementarno sledi priprava področnih razvojnih načrtov, ki bi podpirali uresničevanje strateških ciljev na različnih vsebinskih področjih (npr. načrt razvoja kadrov, načrt promocije, načrt partnerskega sodelovanja, načrt vpeljave e-učenja v izobraževalno dejavnost idr.). Organizacija naj načrtuje, na katerih področjih kaže v prihodnje največ delovati, kako je potrebno delovati in kako zagotavljati materialno osnovo za tako delovanje. V procese strateškega načrtovanja razvoja izobraževalne organizacije naj bodo bolj vključeni zaposleni, zunanji sodelavci in partnerji. Izobraževalna organizacija lahko sama k proaktivni razvojni naravnanosti prispeva tako, da s svojimi zaposlenimi, zunanjimi sodelavci in s partnerji, ki jo dobro poznajo in jim zaupa, opravi nekaj strateških razgovorov, kako je mogoče razvojno usmeriti delovanje organizacije. Zagotoviti je potrebno boljšo povezanost med dolgoročnimi in kratkoročnimi strateškimi razvojnimi načrti. Da bi izobraževalne organizacije dosegle boljšo povezanost dolgoročnih in kratkoročnih razvojnih načrtov, naj se v letnih poslovnih načrtih opredelijo, kaj bodo v nekem letu naredile za udejanjanje strateških ciljev. Tako bo organizacija zagotovila razvojni lok: vizija-strategija-operativno načrtovanje. Temu sledi naslednji proces, to je operativno poročanje - koliko in kako je/bo z delom v nekem časovno omejenem trenutku izobraževalna organizacija prispevala k uresničevanju strategije in posledično vizije. V izobraževalnih organizacijah naj se vzpostavi oz. ohrani praksa, da se na andragoških zborih ali drugih ustreznih organih oz. dogodkih z zaposlenimi ali zunanjimi sodelavci opravijo pogovori o razvojnih usmeritvah in viziji. Občasni pogovori o viziji bodo namreč v pomoč, da jo bo tako vodstvo kot zaposleni sprejelo kot svoje resnično vodilo in tudi merilo za bolj celovit vpogled v svoje delovanje ali pa zaznalo potrebo po njeni spremembi. Načrt osebnega razvoja zaposlenega je lahko pomemben gradnik pri udejanjanju razvojne strategije organizacije. Le ta naj zajema tudi načrt potrebnih usposabljanj in spopolnjevanj za posameznika. Pri njegovi pripravi naj zaposleni aktivno sodeluje. Vsaj enkrat letno (npr. na letnem razgovoru) je smiselno, da se 265 skupaj z zaposlenim uresničevanje načrta osebnega strokovnega razvoja oceni in oblikuje potrebne dopolnitve. Krepiti je potrebno znanje zaposlenih in zunanjih sodelavcev za udejanjanje razvojne strategije izobraževalne organizacije. Vsaj enkrat letno naj se v organizaciji pogovorijo o potrebah zaposlenih in zunanjih sodelavcev po usposabljanju. Pri tem je priporočljivo, da organizacija pripravi srednjeročni načrt stalnega strokovnega spopolnjevanja za zaposlene in tiste zunanje sodelavce, ki v večjem obsegu sodelujejo z organizacijo. Ta naj opredeli, kako bo organizacija zaposlenim in zunanjim sodelavcem v določenem časovnem obdobju zagotovila usposabljanje in/ali spopolnjevanje na področjih, ki so še posebno pomembna za zagotavljanje kakovosti izobraževanja odraslih. Okrepiti je potrebno možnosti in priložnosti za prenos znanja med zaposlenimi. Te aktivnosti naj se načrtujejo in izpeljejo načrtno, usmerjeno. Priporoča se uvedba srečanj zaposlenih, ki so namenjena prav prenosu znanja in informacij, na katerih bo npr. nekdo poročal o novostih, ki jih je slišal na nekem seminarju, nekdo o strokovni knjigi, ki jo je prebral ipd. Dobra priložnost za prenos znanja je tudi organizacija izobraževalnega srečanja andragoških delavcev v organizaciji – zaposlenih in zunanjih sodelavcev. Določiti je potrebno osebo, ki bo odgovorna za načrtovanje, organizacijo in izpeljavo takih srečanj, ki naj bodo tematsko naravnana. Učinkovita so lahko tudi srečanja med učitelji, ki v organizaciji že dolgo poučujejo odrasle in tistimi, ki so šele začetniki na tem področju, z namenom prenašanje znanja in izkušenj. dosežki delovnih skupin naj postanejo bolj vidni in pohvaljeni. Organizacije naj dosežke delovnih skupin redno in načrtno predstavljajo kolektivu, pri tem pa je potrebno misliti tudi na zunanje sodelavce, prav tako pa na delo tistih sodelavcev, ki veliko prispevajo k uspehu dela teh skupin. Spodbuditi je treba razvojno delo strokovnih aktivov. V primerih, ko strokovni aktivni niso dovolj aktivni ali pa sploh ne delujejo, je potrebno načrtno spodbuditi njihovo aktivno delo. Zgolj srečanja učiteljev na andragoških zborih ne morejo nadomestiti poglobljene obravnave vsebinskih vprašanj, ki jih lahko obravnavajo učitelji določenega programa na strokovnih aktivih. Organizacija lahko poišče nekaj svojih najboljših zunanjih sodelavcev in jih primerno motivira, da bi vodili strokovne aktive na svojem področju dela tako, da bi se le-ti sestajali večkrat letno in sproti obravnavali strokovna vprašanja, ki zadevajo izobraževanje odraslih v vaši organizaciji in na področju, za katerega bi delovali. Izboljšati je potrebno informiranje zaposlenih in zunanjih sodelavcev o možnosti sodelovanja v razvojnih timih, projektnih skupinah in morebitnih drugih oblikah razvojnega dela. Na ta način lahko organizacija morebiti odkrije dobre razvojne sodelavce, zaposleni in zunanji sodelavci pa bodo vedeli, da jim take priložnosti organizacija daje in jih pri tem spodbuja. Okrepiti je potrebno motivacijske ukrepe, ki bodo priznanje za že opravljeno razvojno delo, hkrati pa tudi spodbuda za tako delo še vnaprej in tudi pri drugih sodelavcih. Pri tem ne gre za oblike motivacije, ki bi zahtevala večja sredstva, 266 pač pa obstaja cela vrsta takih, ki zahtevajo le malo več pozornosti. Nekaj takih primerov: pohvala dobrega razvojnega dosežka, in tistih, ki so k temu prispevali, objava kratke informacije o nekem razvojnem dosežku posameznika na spletni strani, objava razvojne sodelavke meseca na oglasni deski, pisna zahvala direktorja zaposlenemu ob nekem razvojnem dosežku ipd. Kakšne podobne oblike naj organizacija uporabi tudi za zunanje sodelavce. Potrebno je okrepiti usposobljenost zaposlenih za razvoj novih izobraževalnih programov ter novih učbenikov in učnih gradiv. Če naj bodo novi izobraževalni programi ter učbeniki oz. druga učna gradiva v resnici razvojni dosežek organizacije, je potrebno vsaj dvoje: naj organizacija pripravljavce usposobi za pripravo programov oz. pisanje učbenikov in drugih učnih gradiv ( jih pošlje na usposabljanje, zagotovi jim primerno gradivo), sama pa napiše kratka navodila, kako se v organizaciji pripravljajo izobraževalni programi za odrasle oz. učbeniki in druga učna gradiva (opredeli standarde kakovosti, ki jih bo zahtevala od avtorjev). Vodstva izobraževalnih organizacij naj motivirajo svoje zaposlene, pa tudi zunanje sodelavce, da proučujejo izobraževalne potrebe ter oblikujejo nove neformalne izobraževalne programe. Če bo vodstvo sporočalo, da je to zaželeno in če bo za tako delo zagotovilo ugodne okoliščine (čas za tako delo, usposabljanje ipd.), bo organizacija prav gotovo prišla do dobrih izidov. S tem pa bo pospeševala razvoj na svojem temeljnem področju dela in dosegla tudi primeren odziv odraslih iz okolja. Organizacija pa s tem ne bo več zgolj multiplikatorica izvajanja izobraževalnih programov, ki jih razvijajo drugi, pač pa bo (še v večji meri) imela lastne programe, prilagojene potrebam, morebiti pa bo lahko postala tudi referenčni center za druge. Organizacije, ki so v zadnjem obdobju razvile nove izobraževalne programe, naj oblikujejo načrt dolgoročnega umeščanja teh programov v dejavnost organizacije ter v različne vsebinske in finančne sheme na regionalni in nacionalni ravni. Na ta način bodo organizacije bolj načrtno in manj stihijsko prispevale k trajnosti lastnih razvojnih dosežkov. Organizacije naj razmislijo o kakšni razvojni ideji, katere cilj bi bil v nekaj prihodnjih letih razviti novo dejavnost, ki je še ni v Sloveniji ali pa tako, ki sicer je, pa jo bo organizacija prilagodila potrebam lokalnega okolja. Organizacija bo bolj močna, če bo načrtno gojila razvojno klimo in se znala razvojno odzivati na okoliščine, na katere sama nima vpliva (npr. zmanjšano financiranje določenih programov, nezanimanje za določene programe…). Organizacije naj v prihodnjih letih okrepijo razvojno delo, ko gre za razvoj podpornih dejavnosti kot so npr. svetovanje, učna pomoč, organizirano samostojno učenje ipd. Vodstva v izobraževalnih organizacijah naj poskušajo sodelavce uvesti v delo v kakšen nacionalni projekt izobraževanja odraslih. Zanje bo to prav gotovo strokovni izziv, a strokovnjaki morajo vedno imeti tudi kakšen zahtevnejši izziv pred seboj, da strokovno rastejo, to pa se bo organizaciji s povečano strokovno 267 razgledanostjo, samozavestjo, informiranostjo itd. prav gotovo obrestovalo tudi pri njeni dejavnosti. Izobraževalne organizacije naj sodelujejo v mednarodnih projektih. Na ta način si ustvarjajo priložnosti za pretok znanja in izkušenj iz drugih okolij, ki so marsikdaj lahko razvojni izziv za njihovo delo – kako razviti nekaj, kar uporabljajo partnerji v drugih državah in to prilagoditi potrebam ter možnostim lastnega okolja. Vodstva izobraževalnih organizacij naj v naslednjih letih načrtno poskrbijo, da bo kdo od njihovih zaposlenih sodelavcev začel razvojno delovati v kakšnem izmed organov, ki se ukvarjajo z razvojem izobraževanja odraslih, pa naj gre za lokalno, regionalno, nacionalno ali mednarodno raven. Delo v takšnih organih ima namreč povratni učinek tudi na organizacijo – njeni sodelavci na ta način pridobijo nove kompetence za razvojno delo, novo znanje in morda tudi večjo motivacijo za tako delo, vse to pa prinašajo v kolektiv, kar ima neposreden ali posreden učinek na kakovost delovanja organizacije. 5.4 UČINKI IN NAdALJNJI RAZVOJ EKSPERTNIH ZUNANJIH EVALVACIJ 5.4.1 Učinki izpeljanih ekspertnih zunanjih evalvacij 5.4.1.1 BISTVENE UGOTOVITVE SAMOEVALVACIJSKE ŠTUDIJE V ZVEZI Z UČINKI IZPELJANIH EKSPERTNIH ZUNANJIH EVALVACIJ  Velika večina odgovorov direktorjev oz. ravnateljev v zvezi s splošnimi učinki ekspertne zunanje evalvacije v njihovi organizaciji pove, da je ekspertna zunanja evalvacija pomembno ali celo zelo pomembno vplivala na delo evalviranih izobraževalnih organizacij na področju kakovosti. Pojavili pa sta se tudi mnenji, da so se pričakovanja o tem, kaj bo prinesla ekspertna zunanja evalvacija, uresničila le delno oz. celo, da je bila za eno organizacijo izkušnja z ekspertno zunanjo evalvacijo tako negativna, da so celo odložili uvajanje večjih sprememb v zvezi s kakovostjo za eno leto.  Odgovori koordinatorjev v zvezi s splošnimi učinki izvedene evalvacije so osredinjeni okrog odgovora, da je ekspertna zunanja evalvacija kar pomembno vplivala na delovanje organizacije in da deloma že uresničujejo predlagane usmeritve. Iz mnenj teh dveh koordinatorjev lahko razberemo, da so se njihova pričakovanja uresničila le delno, sporočata pa tudi, da je evalvacija le malo vplivala na njihovo delovanje, v glavnem pa delajo tako, kot so že prej sami načrtovali.  Tako direktorji oz. ravnatelji kot koordinatorji opažajo, da ima izpeljana ekspertna zunanja evalvacija kar nekaj pozitivnih učinkov. Poudarjajo, da se po eksper 268 tni zunanji evalvaciji več pogovarjajo o kakovosti in se usposabljajo za delo na tem področju. Koordinatorji so ob tem dokaj pogosto poročali, da so bolj samozavestni o kakovosti svojega dela in da so se na tem področju bolje organizirali. Pozitivno pa se jim zdi tudi to, da so po izpeljani ekspertni zunanji evalvaciji bolje uredili dokumentacijo v zvezi s kakovostjo.  Čeprav večina direktorjev oz. ravnateljev kot koordinatorjev ni opazila nobenega negativnega učinka izpeljane ekspertne zunanje evalvacije, je treba povedati, da posamezniki sporočajo, da so zaskrbljeni, koliko dela jih še čaka na področju kakovosti. Po en direktor oz. ravnatelj ter koordinator sporočata tudi, da so postali negotovi, kaj bi pravzaprav morali narediti na področju kakovosti. En koordinator je zapisal, da so razočarani, ker je njihova predstava o njihovi kakovosti drugačna.  direktorji oz. ravnatelji vidijo največji učinek pregleda dobrih točk v poročilu o izvedeni evalvaciji v tem, da so jim bile ugotovljene dobre točke izhodišče za pogovor v kolektivu in usmeritve, da ravnajo tako, da jih ohranijo in še razvijejo. Ne samo direktorji oz. ravnatelji, temveč tudi skoraj vsi koordinatorji vidijo zelo velik učinek v tem, da evalvacija zaznava tudi dobre stvari in ravnanja, ki so do tega privedla. Enako pomembno pa se nam zdi tudi to, da je večina koordinatorjev sporočila, da so veseli, da so bile ugotovljene tudi dobre stvari.  Vsi evalvatorji menijo, da ima pregled dobrih točk v poročilu o izpeljani ekspertni zunanji evalvaciji nek pozitiven učinek, vsi sodijo, da gre za močne motivacijske učinke, več kot polovica pa tudi, da je to dobra podlaga za analize, kaj doprinese k dobrim izidom in načrtovanje, da se taka ravnanja ohranjajo in razvijajo. Njihove ocene se tako zelo dobro ujemajo tudi s sporočili direktorjev oz. ravnateljev in koordinatorjev.  Vsi odgovori, razen enega pri direktorjih oz. ravnateljih in enega pri koordinatorjih, sporočajo, da so tudi ugotovitve o šibkih točkah v organizacijah imele vpliv; organizacije so jih analizirale in jih zdaj postopoma odpravljajo. Ostala dva odgovora sporočata, da so bili razočarani nad ugotovitvami evalvacije in jo zato več ali manj zavračajo (na podlagi podobnosti odgovorov sklepamo, da gre za eno organizacijo, ne moremo pa tega trditi oz. dopuščamo tudi možnost, da sta direktor oz. ravnatelj in koordinator iz dveh različnih organizacij).  Skoraj vsa mnenja evalvatorjev, razen enega, pritrjujejo temu, da ima tudi pregled šibkih točk v evalvacijskem poročilu svojo pozitivno vlogo. Iz teh zapisov pa je mogoče zaznati tudi kar opazno skepso, ali so šibke točke v organizacijah res sprejete tako in ali res predstavljajo izhodišče za uvajanje sprememb. Ena evalvatorica je morebiti prav zaradi takih reakcij razmišljala tudi o dokaj korenitem posegu v poročilo o izvedeni ekspertni zunanji evalvaciji, namreč tako, da bi šibkih točk sploh več ne navajali.  Večina direktorjev oz. ravnateljev in dve tretjini koordinatorjev menijo, da so jim predlogi za izboljšave v poročilu o izvedeni evalvaciji v mnogih primerih pomagali, da so našli rešitve ali vpeljali ravnanja, ki jih dotlej niso poznali ali pa se nanje niso spomnili. Le en direktor je navedel, da večina predlogov ni bila izvedljivih in so kazali na slabo poznavanje organizacije. Nekaj podobnega kažeta tudi dva od 269 govora koordinatorjev, pri čemer en zapis ne izraža nekega nepojasnjenega (a priori) nestrinjanja s predlogi, pač pa pojasnjuje, da so bili nekateri predlogi primerni in jih že postopoma uvajajo v svoje delo, za druge predloge pa natančno pove, zakaj niso uresničljivi.  Mnenje evalvatorjev o učinkih njihovih predlogov za razvoj je zelo soglasno, da organizaciji pomagajo pri nadaljnjem delu za razvoj kakovosti, kar je razumljivo, saj predloge pripravljajo vsi v dobri veri, da z njimi organizacijam pomagajo pri nadaljnjem razvoju. Je pa ena evalvatorica opozorila na to, da nekatere organizacije takih nasvetov ne sprejemajo (dobronamerno) in delajo še naprej po svoje ali brez sprememb. To je sicer tudi pravica organizacije, vprašanje pa je, kako je z njeno odgovornostjo predvsem do udeležencev izobraževanja.  V zvezi s konkretnimi učinki ekspertnih zunanjih evalvacij lahko ugotovimo, da direktorji oz. ravnatelji in koordinatorji niso predstavili niti enega ukrepa, ravnanja ali izida, ki bi ga vpeljali oz. dosegli na področju razvojne usmerjenosti izobraževalne organizacije.  Po izjavah direktorjev oz. ravnateljev je imela ekspertna zunanja evalvacija največ učinkov pri izgradnji notranjega sistema kakovosti. Tako so pri vprašanjih umeščenosti notranjega sistema kakovosti v dejavnost organizacije poskrbeli, da njihovi planski dokumenti (načrti in poročila) vsebujejo tudi poglavja o kakovosti, evalvacija je spodbudila oblikovanje komisij za kakovost tam, kjer jih še niso imeli ali pa njihovo boljše delovanje. Kar v nekaj organizacijah je evalvacija tudi vplivala na to, da so se odločili za vzpostavitev vloge svetovalca za kakovost, opazna so tudi prizadevanja, da bi na andragoških zborih spodbujali pogovore o kakovosti. V sklopu, ki smo ga poimenovali opredeljevanje kakovosti, se je kar nekaj organizacij odločilo, da bodo naredile ali pa izpopolnile svojo izjavo o kakovosti. Kar precej so se organizacije po izpeljani evalvaciji ukvarjale tudi z oblikovanjem ali preoblikovanjem vizije, poslanstva in vrednot. Nekatere organizacije so navajale, da so poskrbele, da v načrtovanje in delo v zvezi z zagotavljanjem kakovosti vključujejo več svojih sodelavcev, tako zaposlenih kot tistih, s katerimi sodelujejo le občasno. To, kar je opazen premik pri presojanju kakovosti, je prav gotovo večje zavedanje o pomenu vključevanja različnih interesnih skupin v presojanje, tudi zunanjih sodelavcev in partnerjev. O konkretnem ukrepanju v zvezi s tem so organizacije poročale dokaj pogosto. Zaznati je mogoče tudi večjo uporabo različnih, tudi kvantitativnih metod pri presojanju kakovosti, kar bo prav gotovo prispevalo k večji kakovosti in poglobljenosti presojanja določenih pojavov. Enega izmed vidnejših premikov, ki so jih sprožile ekspertne zunanje evalvacije, vidimo tudi v poročanju izobraževalnih organizacij o tem, da so uvedle ali izpopolnile sprotno spremljanje različnih vidikov svojega delovanja. Kar nekaj organizacij poroča, da poglobljene samoevalvacije delajo, da o njih pripravljajo poročila, o katerih se pogovarjajo v kolektivih. Kar se tiče sklopa, ki zadeva razvijanje kakovosti, nekatere organizacije poročajo, da so uvedle akcijske načrte za razvoj kakovosti na podlagi poprejšnjega sistematičnega presojanja kakovosti, kar za te organizacije prav gotovo predstavlja kakovostni preskok, kakor tudi to, da načrte vpeljujejo. Malo manj smo lahko zadovoljni s tem, da nobena organizacija ni poročala, da po določe 270 nem času vrednoti vpeljane spremembe, koliko so te prispevale k razvoju kakovosti ali pa morebiti niso in zakaj ne.  Če pogledamo ukrepe, ki so jih organizacije uvedle po ekspertni zunanji evalvaciji pri podpori posameznikov za učenje, potem bi velik del teh lahko označili z »več«. Očitno je evalvacija še bolj osvestila organizacije, kako pomembna je njihova vloga pri podpori posamezniku, zato so uvedle več konzultacij, več učne pomoči ipd. Prav tako so pogosto bolje poskrbele za informiranost udeležencev izobraževanja o tem, kakšne oblike pomoči so jim na voljo. Nekatere organizacije so vpeljale tudi vsebinske spremembe, ki zadevajo kakovost že vpeljanih oblik pomoči. 5.4.1.2 PREDLOGI ZA NADALJNJI RAZVOJ V ZVEZI Z UČINKI IZPELJANIH EKSPERTNIH ZUNANJIH EVALVACIJ  Dan je dokaj inovativen predlog o tem, da ne bi več zapisali šibkih točk v poročilu o izvedeni evalvaciji, ker da že predlogi za nadaljnji razvoj v poročilu nakazujejo, kje so šibka mesta v delovanju izobraževalne organizacije, ki ga kaže resno obravnavati v skupini evalvatorjev. Seveda se ob tem odpira vprašanje, kako bi v tem primeru utemeljili predloge za razvoj, saj so ti zdaj v precejšnjem delu utemeljeni z ugotovljenimi šibkimi točkami, potem pa teh utemeljitev ne bi bilo več.  Z vidika negativnih reakcij nekaterih organizacij na predloge za razvoj bi kazalo v usposabljanje evalvatorjev vključiti teme, kako razumeti in pojasnjevati take reakcije, kako ravnati; seveda pa tudi o tem, kako pripraviti dobre predloge. 5.4.2 Nadaljnji razvoj ekspertnih zunanjih evalvacij v izobraževanju odraslih 5.4.2.1 BISTVENE UGOTOVITVE SAMOEVALVACIJSKE ŠTUDIJE O NADALJNJEM RAZVOJU EKSPERTNIH ZUNANJIH EVALVACIJ V IZOBRAŽEVANJU ODRASLIH  Samo dva direktorja oz. ravnatelja menita, da naj bi evalvacije ostale še naprej prostovoljne, medtem ko večina podpira predlog, da bi postale obvezne za vse, ki opravljajo javno službo ali pa izvajajo javnoveljavne programe. Pri tem naj bi se zunanja evalvacija v vsaki organizaciji izvajala vsake toliko časa, torej ne zgolj enkrat, kar je sicer primerno, saj se v neki organizaciji razmere v določenem časovnem obdobju lahko zelo spremenijo ali pa se spremenijo okoliščine, v katerih deluje organizacija, zaradi katerih izidi evalvacije izpred let ne povejo več veliko.  Tretjina direktorjev oz. ravnateljev meni, da naj evalvacije ostanejo take, kot so bile doslej, pri čemer en anketiranec sodi, da bi bilo primerno, da se organizacijam prepusti možnost izbire med področji, da torej področje notranjega sistema kakovosti ne bi bilo obvezno področje evalvacije. Največ vprašanih pa se zavzema za to, da bi bilo potrebno razširiti nabor področij, ki jih organizacija lahko izbira za ekspertno zunanjo evalvacijo. 271  Tudi evalvatorji, tako kot direktorji oz. ravnatelji, v večini primerov menijo, da naj postanejo zunanje evalvacije v izobraževanju odraslih obvezne za organizacije, ki izvajajo javno službo ali javne programe.  Tretjina evalvatorjev meni, da bi morali razširiti izbor področij. Zanimivo pa je, da je enako število odgovorov, dobra tretjina, dobilo tudi stališče, da naj evalvacije ostanejo podobne kot doslej – obsegajo naj evalvacijo enega ali dveh področij, ta pa so evalvirana dokaj natančno. Ta odgovor je samo na videz v nasprotju s prejšnjim; če oba odgovora povežemo, potem lahko ugotovimo, da je večinsko mnenje evalvatorjev, da se tudi v prihodnje evalvirata samo eno ali dve področji, pri tem pa naj bi bil možen nabor za izbiro področij, ki bi se evalvirala, večji kot doslej.  Pri direktorjih oz. ravnateljih je bil enkrat in pri evalvatorjih trikrat izbran odgovor, da bi evalvacija zajemala presojo kakovosti celotnega delovanja izobraževalne organizacije.  Direktorji oz. ravnatelji in koordinatorji sporočajo, da bi se morala udeležba v ekspertni zunanji evalvaciji na nek način »nagraditi«. Predlagajo, da bi jim to dajalo neke dodatne reference na javnih razpisih za pridobitev sredstev za izobraževanje ali pri kandidiranju za izvajanje izobraževalnih programov, da bi dobili nek certifikat, da bi bilo delo ob evalvaciji denarno vrednoteno, da bi s tem dobili tudi Zeleni znak kakovosti, ki ga podeljuje ACS.  Sklenemo lahko, da je samoevalvacija potrdila potrebnost in učinkovitost izvedenih ekspertnih zunanjih evalvacij in da anketiranci niso izrazili nasprotovanja, da bi se v prihodnje še izvajale, saj so v njih prepoznali mnoge dobre učinke. Ob tem pa so opozorili tudi na pomanjkljivosti dosedanjega izvajanja evalvacij, ki bi jih kazalo v prihodnje odpraviti, pa tudi na izzive, ki jih je potrebno razrešiti, da bi ekspertne zunanje evalvacije lahko ostale del sistema izobraževanja odraslih in njegovi razvojni spodbujevalci.  Evalvatorji so soglasni, da ekspertne zunanje evalvacije spodbujajo razvoj strokovnih rešitev o zunanjih evalvacijah v izobraževanju odraslih in doprinašajo k povečani pozornosti izobraževalnih organizacij do kakovosti na področjih, ki jih le-ta zajema. Skoraj vsi (deset od enajstih) evalvatorjev so tudi ocenili, da področja kakovosti, ki jih vsebuje ekspertna zunanja evalvacija, doprinašajo k razvoju strokovnih pristopov in praktičnih rešitev v organizacijah v zvezi s kakovostjo na doslej evalviranih področjih. Skoraj polovica anketirancev (pet od enajstih) tudi meni, da je »ekspertna zunanja evalvacija doprinesla k predlogom za izboljšanje zakonske ureditve izobraževanja odraslih na področju kakovosti«. Tako lahko na splošno ugotovimo, da po mnenju ekspertnih zunanjih evalvatorjev ekspertne zunanje evalvacije pomembno vplivajo na razvoj izobraževanja odraslih.  Čeprav tega neposredno nismo vprašali tudi direktorjev oz. ravnateljev in koordinatorjev, pa nam njihove izjave v zvezi z drugimi vprašanji posredno govorijo tudi o tem, da zaznavajo razvojni učinek evalvacije, kar pa je tudi bistveno izhodišče, na katerem je ACS sploh začel razmišljati o načrtovanju ekspertnih zunanjih evalvacij in jih tudi izvajal. Zgolj ta študija ne bo odločala, ali naj se ekspertne zunanje evalvacije izvajajo v izobraževanju odraslih tudi v prihodnje; četudi se morebiti ne bodo, so v 272 tem sistemu pustile neko sled, v sodelujočih organizacijah pa razvojne učinke, ki jih lahko še dolgo spodbujajo k inovativnemu delu in so zgled njihovim partner-skim organizacijam. 5.4.2.2 PREDLOGI ZA NADALJNJI RAZVOJ EKSPERTNIH ZUNANJIH EVALVACIJ V IZOBRAŽEVANJU ODRASLIH  Oblikovan je bil predlog, da bi bila ekspertna zunanja evalvacija v prihodnje obvezna za vse javne organizacije oz. izvajalce javnih programov in da bi se v isti organizaciji ponavljala na vsakih nekaj let. Če bi hoteli uresničiti tako stališče direktorjev oz. ravnateljev, bi to zahtevalo vzpostavitev številčnejše strokovne ekipe na ACS ali zunaj njega. Zaenkrat tudi zakonodaja nič ne nakazuje, da izobraževalna politika razmišlja v tej smeri, saj besedilo novega Zakona o izobraževanju odraslih take obveznosti ne predpisuje, res pa je, da predvideva, da se bodo zunanje evalvacije izvajale, to je pa tudi vse, kar je tam zapisanega. S strokovno-razvojnega vidika bi bila uvedba periodičnih zunanjih evalvacij v izobraževanju odraslih verjetno močan spodbujevalec razvoja, še posebej, če bi se ob ponovitvenih evalvacijah spremljalo napredek organizacij in če bi morebiti imele evalvacije tudi kakšen formalni učinek, ne »kaznovalni«, pač pa spodbujevalni. Vsekakor izziv, ki zahteva temeljite premisleke in ukrepanja ne samo na ACS, pač pa tako na ravni ministrstev, drugih odločevalcev, pa tudi na ravni strokovnih združenj izobraževalnih organizacij.  Dana je pobuda, da bi se razširil seznam področij delovanja izobraževalnih organizacij, na katerih se izvaja ekspertna zunanja evalvacija. Tak razvoj je tudi predviden. Res pa je, da vključevanje novih področij ni tako enostavno, saj je treba za vsako novo področje opredeliti primerne kazalnike in merila, kar pa je zahtevno strokovno delo. Prav tako je potrebno proučiti, katera dokazila/izjave so možna za prikaz, kako organizacija dela na tem področju, da ne govorimo o tem, da se morajo tudi ekspertni zunanji evalvatorji usposobiti za presojanje novega področja. Že ko se ekspertna evalvacija izvaja na novem področju, pa sta potrebni vsaj kakšni dve leti ali celo več, da se lahko presodi, ali so opredeljeni kazalniki in merila primerni, kakšna dokazila/izjave v zvezi z njimi imajo organizacije ipd. Tak razvoj je mogoče predvideti, če bodo zagotovljeni pogoji za razvojno delo na tem področju.  Pričakovanja organizacij, da bi se izvajanje ekspertne zunanje evalvacije pri njih na nek način »priznalo«, nosi celo vrsto dilem, ki so podrobneje opisane v samoevalvacijski študiji. Seveda pa teh predlogov ne kaže kar zavrniti – vsekakor jih je potrebno imeti v mislih ob načrtovanju prihodnjega razvoja ekspertnih zunanjih evalvacij in jih še z dodatnimi premisleki uporabiti na ta način ali ne.  Precej evalvatorjev je pohvalilo, kako je celoten proces voden, kakšne pripomočke imajo na voljo pri delu, kakšno podporo imajo pri svojem delu ipd. Ta sporočila so pomembna, saj pripovedujejo o tem, da ekspertni zunanji evalvatorji lahko dobro opravljajo svoje delo, zato kaže ob pohvalah ACS tudi sporočiti, da naj se, če se bodo ekspertne zunanje evalvacije še izvajale, zagotovi še naprej tak nivo razvojne podpore tem evalvacijam. 273 274 6 LITERATURA IN VIRI 275 Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje iz evalviranih organizacij – 2017. Arhiv Andragoškega centra Slovenije. Ljubljana: Andragoški center Slovenije. Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za ekspertne zunanje evalvatorje – 2017. Arhiv Andragoškega centra Slovenije. Ljubljana: Andragoški center Slovenije. Baza zbranih podatkov iz ankete o ekspertni zunanji evalvaciji za koordinatorje ekspertne zunanje evalvacije v evalviranih organizacijah – 2017. Arhiv Andragoškega centra Slovenije. Ljubljana: Andragoški center Slovenije. Dogovor o medsebojnem sodelovanju pri projektu »Ekspertna zunanja evalvacija v izobraževanju odraslih« v letu 2016. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Ljubljana: Andragoški center Slovenije. E-Novičke, elektronski mesečnik Andragoškega centra Slovenije. Številke: februar 2012, marec 2012, februar 2013, marec 2013, februar 2014, marec 2014, februar 2015, ma-rec 2015, februar 2016, marec 2016. Ljubljana: Andragoški center Slovenije. Dostopno na: https://enovicke.acs.si/arhiv/ (Pridobljeno: 20. 10. 2017). Etični kodeks ekspertnih zunanjih evalvatorjev (2014). Interno gradivo. Ljubljana: Andragoški center Slovenije. Izjava o sprejemanju in spoštovanju etičnega kodeksa zunanjih evalvatorjev (2014). Interno gradivo. Ljubljana: Andragoški center Slovenije. Javno povabilo za sodelovanje v pilotnem projektu Ekspertna zunanja evalvacija v izobraževanju odraslih v vlogi ekspertnih zunanjih evalvatorjev. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Ljubljana: Andragoški center Slovenije. Klemenčič, S., Možina, T. (2011). Presojanje in razvijanje kakovosti v izobraževanju odraslih. V: Kos Kecojevič, Ž. in S. Gaber (ur.). Kakovost v šolstvu v Sloveniji. Ljubljana: Pedagoška fakulteta. Dostopno na: http://www.solazaravnatelje.si/ISBN/978-961-6637-32-9.pdf (Pridobljeno: 20. 10. 2017). Možina, T. (2010). Kakovost kot (z)možnost. Ljubljana: Andragoški center Slovenije. Možina, T., Klemenčič, S. (2008). Razvoj kakovosti izobraževanja odraslih – Notranje in zunanje presojanje kakovosti. Ljubljana: Andragoški center Slovenije. Dostopno na: http://kakovost.acs.si/razvoj_podrocja/publiciranje/index. php?polica=1&leto=2008 (Pridobljeno: 20. 10. 2017). 276 Možina, T., Klemenčič, S., Jurič Rajh, A., Orešnik Cunja, J. (2013). Ekspertna zunanja evalvacija izobraževanja odraslih. Ljubljana: Andragoški center Slovenije. Možina, T., Orešnik Cunja, J. (2012). Spodbude Andragoškega centra Slovenije za razvijanje kakovosti v izobraževanju odraslih. Interno gradivo. Ljubljana: Andragoški center Slovenije. Prijava za sodelovanje v pilotnem projektu ekspertna zunanja evalvacija v izobraževanju odraslih v vlogi ekspertnih zunanjih evalvatorjev (2012, 2014). Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Ljubljana: Andragoški center Slovenije. Prijavni obrazec za sodelovanje v ekspertni zunanji evalvaciji izobraževanja odraslih (2012-2016). Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Ljubljana: Andragoški center Slovenije. Pripomoček za pregled in ovrednotenje samoocene organizacije, ki izobražuje odrasle. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Ljubljana: Andragoški center Slovenije. Register delujočih ekspertnih zunanjih evalvatorjev. Dostopno na: http://kakovost.acs.si/ekspertna_zunanja_evalvacija/register_evalvatorjev/ (Pridobljeno: 20. 10. 2017). Sodelujoče organizacije v ekspertni zunanji evalvaciji. Dostopno na: http://kakovost.acs.si/ekspertna_zunanja_evalvacija/sodelujoce_izobrazevalne_organizacije/ (Pridobljeno: 20. 10. 2017). Spletna podstran Ekspertna zunanja evalvacija na spletni strani ACS o kakovosti izobraževanja odraslih. Dostopno na: https://kakovost.acs.si/ekspertna_zunanja_evalvacija/ (Pridobljeno: 22. 10. 2017). Temeljni program usposabljanja za ekspertne zunanje evalvatorje (2012). Interno gradivo. Ljubljana: Andragoški center Slovenije. Temeljni program usposabljanja za ekspertne zunanje evalvatorje (2016). Interno gradivo. Ljubljana: Andragoški center Slovenije. Urnik izobraževalnega srečanja s sodelujočimi organizacijami v ekspertni zunanji evalvaciji iz leta 2012. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Ljubljana: Andragoški center Slovenije. Urnik izobraževalnega srečanja s sodelujočimi organizacijami v ekspertni zunanji evalvaciji iz leta 2013. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Ljubljana: Andragoški center Slovenije. 277 Urnik izobraževalnega srečanja s sodelujočimi organizacijami v ekspertni zunanji evalvaciji iz leta 2014. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Ljubljana: Andragoški center Slovenije. Urnik izobraževalnega srečanja s sodelujočimi organizacijami v ekspertni zunanji evalvaciji iz leta 2015. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Ljubljana: Andragoški center Slovenije. Urnik izobraževalnega srečanja s sodelujočimi organizacijami v ekspertni zunanji evalvaciji iz leta 2016. Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Ljubljana: Andragoški center Slovenije. 278 7 PRILOGE 279 Priloga 1 Evalvacija postopkov in učinkov ekspertnih zunanjih evalvacij EVALVACIJSKI NAČRT VSEbINSKI SKLOP EVALVACIJSKA VPRAŠANJA SUbJEKTI METOdE dRUGI VIRI METOdE PRIPRAVE NA IZVEdbO EKSPERTNIH ZUNANJIH EVALVACIJ Izbor in usposobljenost ekspertnih zunanjih evalvatorjev Ali je bil način izbora ekspertnih zunanjih evalvatorjev primeren? • ekspertni zunanji evalvatorji • anketa • razpis za izbor ekspertnih zunanjih evalvatorjev • povabilo k sodelovanju v drugi fazi dopolnjevanja skupine evalvatorjev (podrobneje glej ček listo za analizo dokumentacije v posebni prilogi) • analiza dokumentacije • direktorji oz. ravnatelji sodelujočih izobraževalnih organizacij • anketa Ali je bil izbor ekspertnih zunanjih evalvatorjev z vidika izobrazbe, izkušenj, delovnega statusa in drugih kriterijev primeren? • direktorji oz. ravnatelji sodelujočih izobraževalnih organizacij • anketa • razpis za izbor ekspertnih zunanjih evalvatorjev • povabilo k sodelovanju v drugi fazi dopolnjevanja skupine evalvatorjev (podrobneje glej ček listo za analizo dokumentacije v posebni prilogi) • analiza dokumentacije Ali je bilo usposabljanje ekspertnih zunanjih evalvatorjev (začetno in nadaljevalno) zadostno? • ekspertni zunanji evalvatorji • anketa • programi začetnega in nadaljevalnega usposabljanja ekspertnih zunanjih evalvatorjev (podrobneje glej ček listo za analizo dokumentacije v posebni prilogi) • analiza dokumentacije Navodila in pripomočki za izpeljavo ekspertnih zunanjih evalvacij Ali so bila sodelujočim organizacijam zagotovljena primerna navodila in pripomočki za sodelovanje v ekspertni zunanji evalvaciji? • koordinatorji EZE iz sodelujočih izobraževalnih organizacij • anketa • navodila in pripomočki, ki jih prejme sodelujoča organizacija ob razpisu in med potekom ekspertne zunanje evalvacije o tem, kaj so njene naloge (podrobneje glej ček listo za analizo dokumentacije v posebni prilogi) • analiza dokumentacije VSEbINSKI SKLOP EVALVACIJSKA VPRAŠANJA SUbJEKTI METOdE dRUGI VIRI METOdE PRIPRAVE NA IZVEdbO EKSPERTNIH ZUNANJIH EVALVACIJ (nadaljevanje s prejšnje strani) Navodila in pripomočki za izpeljavo ekspertnih zunanjih evalvacij (nadaljevanje s prejšnje strani) Ali so bila ekspertnim zunanjim evalvatorjem zagotovljena primerna navodila in pripomočki za izpeljavo ekspertne zunanje evalvacije? • ekspertni zunanji evalvatorji • anketa • navodila in pripomočki, ki jih prejmejo ekspertni zunanji evalvatorji pred in med potekom ekspertne zunanje za izpeljavo evalvacije (podrobneje glej ček listo za analizo dokumentacije v posebni prilogi) • analiza dokumentacije Animacija organizacij, ki izvajajo izobraževanje odraslih, za sodelovanje v ekspertnih zunanjih evalvacijah Kakšni so bili razlogi, ki so organizacijo, ki izvaja izobraževanje odraslih, navedli k odločitvi za sodelovanje v ekspertni zunanji evalvaciji? • direktorji oz. ravnatelji sodelujočih izobraževalnih organizacij • anketa / / Ali so bili organizaciji, ki izvaja izobraževanje odraslih, pri odločanju za ekspertno zunanjo evalvacijo na razpolago zadostne informacije? • direktorji oz. ravnatelji sodelujočih izobraževalnih organizacij • anketa • razpisi za izbor organizacij, ki izvajajo izobraževanje odraslih, za sodelovanje v ekspertni zunanji evalvaciji • posredovane e-informacije (podrobneje glej ček listo za analizo dokumentacije v posebni prilogi) • analiza dokumentacije IZVEdbA EKSPERTNIH ZUNANJIH EVALVACIJ Organizacijski potek ekspertnih zunanjih evalvacij Ali je bil letni razpored poteka ekspertne zunanje evalvacije primeren? • ekspertni zunanji evalvatorji • anketa • letni razporedi poteka ekspertne zunanje evalvacije (podrobneje glej ček listo za analizo dokumentacije v posebni prilogi) • analiza dokumentacije • koordinatorji EZE iz sodelujočih izobraževalnih organizacij • anketa Ali je bil dnevni razpored poteka ekspertne zunanje evalvacije primeren? • ekspertni zunanji evalvatorji • anketa • dnevni urniki potekov ekspertne zunanje evalvacije (podrobneje glej ček listo za analizo dokumentacije v posebni prilogi) • analiza dokumentacije • koordinatorji EZE iz sodelujočih izobraževalnih organizacij • anketa Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. VSEbINSKI SKLOP EVALVACIJSKA VPRAŠANJA SUbJEKTI METOdE dRUGI VIRI METOdE IZVEdbA EKSPERTNIH ZUNANJIH EVALVACIJ (nadaljevanje s prejšnje strani) Vsebinski potek ekspertnih zunanjih evalvacij Ali je primerno, da ekspertna zunanja evalvacija poteka po naslednjih vsebinskih fazah: priprava samoocene, ocena samoocene, pridobivanje informacij na licu mesta, priprava predloga poročila o izvedeni evalvaciji, vpogled organizacije v predlog poročila, končno poročilo? • ekspertni zunanji evalvatorji • direktorji oz. ravnatelji sodelujočih izobraževalnih organizacij • anketa • anketa • kazalniki in merila za ekspertno zunanjo evalvacijo, • vodilo za pripravo samoocene, • pripomoček za pregled in ovrednotenje samoocene organizacije, ki izobražuje odrasle, • vodilo za pripravo poročila o ekspertni zunanji evalvaciji (podrobneje glej ček listo za analizo dokumentacije v posebni prilogi) • analiza dokumentacije • koordinatorji EZE iz sodelujočih izobraževalnih organizacij • anketa Ali je bilo vsebinsko sodelovanje organizacij v ekspertni zunanji evalvaciji primerno z vidika ekspertnih zunanjih evalvatorjev (izbor sodelujočih, njihova informiranost, pripravljenost za posredovanje informacij, možnost ogledov, posredovana dopolnilna gradiva ipd.)? • ekspertni zunanji evalvatorji • anketa / / Ali je bilo vsebinsko sodelovanje ekspertnih zunanjih evalvatorjev v ekspertni zunanji evalvaciji primerno z vidika sodelujočih organizacij (postopanje evalvatorjev, njihova pripravljenost na evalvacijo, upoštevanje informacij, spoštovanje ipd.)? • koordinatorji EZE iz sodelujočih izobraževalnih organizacij • anketa / / VSEbINSKI SKLOP EVALVACIJSKA VPRAŠANJA SUbJEKTI METOdE dRUGI VIRI METOdE UGOTOVITVE EKSPERTNIH ZUNANJIH EVALVACIJ (nadaljevanje s prejšnje strani) Postopek sprejemanja odločitev v ekspertni zunanji evalvaciji Ali je primerno, da se odločitve o ugotovitvah ekspertne zunanje evalvacije sprejemajo v treh fazah: ocena samoocene, pridobivanje informacij na licu mesta, končna združena ocena? • ekspertni zunanji evalvatorji • anketa / / • koordinatorji EZE iz sodelujočih izobraževalnih organizacij • anketa Posredovanje ugotovitev ekspertne zunanje evalvacije Ali je način posredovanja ugotovitev ekspertne zunanje evalvacije primeren? • ekspertni zunanji evalvatorji • direktorji oz. ravnatelji sodelujočih izobraževalnih organizacij • koordinatorji EZE iz sodelujočih izobraževalnih organizacij • anketa • anketa • anketa / / Ugotovitve ekspertne zunanje evalvacije Kakšno vlogo ima tabelarični pregled izpolnjevanja meril v ekspertni zunanji evalvaciji? • ekspertni zunanji evalvatorji • koordinatorji EZE iz sodelujočih izobraževalnih organizacij • anketa • anketa • merila v ekspertni zunanji evalvaciji • poročila o izvedenih ekspertnih zunanjih evalvacijah – tabelarični pregledi izpolnjevanja meril (podrobneje glej ček listo za analizo dokumentacije v posebni prilogi) • analiza dokumentacije Katere dobre točke, ki se nanašajo na notranji sistem kakovosti, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? / / VSEbINSKI SKLOP EVALVACIJSKA VPRAŠANJA SUbJEKTI METOdE dRUGI VIRI METOdE UGOTOVITVE EKSPERTNIH ZUNANJIH EVALVACIJ (nadaljevanje s prejšnje strani) Ugotovitve ekspertne zunanje evalvacije (nadaljevanje s prejšnje strani) Katere šibke točke, ki se nanašajo na notranji sistem kakovosti, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? / / • merila v ekspertni zunanji evalvaciji • poročila o izvedenih ekspertnih zunanjih evalvacijah – tabelarični pregledi izpolnjevanja meril (podrobneje glej ček listo za analizo dokumentacije v posebni prilogi) • analiza dokumentacije Katera priporočila za nadaljnji razvoj, ki se nanašajo na notranji sistem kakovosti, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? / / Katere dobre točke, ki se nanašajo na podporo odraslim udeležencem pri izobraževanju, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? / / Katere šibke točke, ki se nanašajo na podporo odraslim udeležencem pri izobraževanju, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? / / VSEbINSKI SKLOP EVALVACIJSKA VPRAŠANJA SUbJEKTI METOdE dRUGI VIRI METOdE UGOTOVITVE EKSPERTNIH ZUNANJIH EVALVACIJ (nadaljevanje s prejšnje strani) Ugotovitve ekspertne zunanje evalvacije (nadaljevanje s prejšnje strani) Katera priporočila za nadaljnji razvoj, ki se nanašajo na podporo odraslim udeležencem pri izobraževanju, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? / / • merila v ekspertni zunanji evalvaciji • poročila o izvedenih ekspertnih zunanjih evalvacijah – tabelarični pregledi izpolnjevanja meril (podrobneje glej ček listo za analizo dokumentacije v posebni prilogi) • analiza dokumentacije Katere dobre točke, ki se nanašajo na razvojno usmerjenost organizacij, ki izvajajo izobraževanje odraslih, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? / / Katere šibke točke, ki se nanašajo na razvojno usmerjenost organizacij, ki izvajajo izobraževanje odraslih, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? / / Katera priporočila za nadaljnji razvoj, ki se nanašajo na razvojno usmerjenost organizacij, ki izvajajo izobraževanje odraslih, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? / / VSEbINSKI SKLOP EVALVACIJSKA VPRAŠANJA SUbJEKTI METOdE dRUGI VIRI METOdE UČINKI EKSPERTNIH ZUNANJIH EVALVACIJ Učinki izpeljanih ekspertnih zunanjih evalvacij Kakšne učinke na sploh ima izpeljana ekspertna zunanja evalvacija v sodelujočih organizacijah? • direktorji oz. ravnatelji sodelujočih izobraževalnih organizacij • anketa / / • koordinatorji EZE iz sodelujočih izobraževalnih organizacij • anketa / / Kakšne učinke ima pregled ugotovljenih dobrih točk v ekspertni zunanji evalvaciji? • ekspertni zunanji evalvatorji • anketa / / • direktorji oz. ravnatelji sodelujočih izobraževalnih organizacij • anketa / / • koordinatorji EZE iz sodelujočih izobraževalnih organizacij • anketa / / Kakšne učinke ima pregled ugotovljenih šibkih točk v ekspertni zunanji evalvaciji? • ekspertni zunanji evalvatorji • anketa / / • direktorji oz. ravnatelji sodelujočih izobraževalnih organizacij • anketa / / • koordinatorji EZE iz sodelujočih izobraževalnih organizacij • anketa / / VSEbINSKI SKLOP EVALVACIJSKA VPRAŠANJA SUbJEKTI METOdE dRUGI VIRI METOdE UGOTOVITVE EKSPERTNIH ZUNANJIH EVALVACIJ (nadaljevanje s prejšnje strani) Učinki izpeljanih ekspertnih zunanjih evalvacij (nadaljevanje s prejšnje strani) Kakšne učinke imajo predlogi za izboljšave v ekspertni zunanji evalvaciji? • ekspertni zunanji evalvatorji • anketa / / • direktorji oz. ravnatelji sodelujočih izobraževalnih organizacij • anketa / / • koordinatorji EZE iz sodelujočih izobraževalnih organizacij • anketa / / Kakšne učinke ima izpeljana ekspertna zunanja evalvacija v sodelujočih organizacijah (npr. na zeleni znak), na razvoj stroke in na izobraževalni sistem? • ekspertni zunanji evalvatorji • anketa / Nadaljnji razvoj ekspertnih zunanjih evalvacij v izobraževanju odraslih Kakšna naj bi bila vloga in razvoj ekspertnih zunanjih evalvacij v izobraževanju odraslih v prihodnje? • ekspertni zunanji evalvatorji • anketa / / • direktorji oz. ravnatelji sodelujočih izobraževalnih organizacij • anketa / / Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. Priloga 2 Evalvacija postopkov in učinkov ekspertnih zunanjih evalvacij ČEK LISTA ZA ANALIZO dOKUMENTACIJE Sklop: PRIPRAVE NA IZVEdbO EKSPERTNIH ZUNANJIH EVALVACIJ Evalvacijsko vprašanje 1: Ali je bil način izbora ekspertnih zunanjih evalvatorjev primeren?  Razpis za izbor ekspertnih zunanjih evalvatorjev 2012: E-pošta Jasmine Orešnik Cunja z dne 12. 3. 2012 »POVABILO ZA SODELOVANJE v projektu Ekspertna zunanja evalvacija v izobraževanju odraslih«, interna dokumentacija ACS. E-novičke ACS, februar 2012, stran 3, najava razpisa: »Pilotna vpeljava ekspertnih zunanjih evalvacij v izobraževanje odraslih«. E-novičke ACS, marec 2012, stran 20, razpis »Javno povabilo za sodelovanje v pilotnem projektu Ekspertna zunanja evalvacija v izobraževanju odraslih v vlogi ekspertnih zunanjih evalvatorjev«.  Povabilo k sodelovanju v drugi fazi dopolnjevanja skupine evalvatorjev: E-pošta Tanje Možina za Majo Zalokar in Marjano Rogel Peršič dne 6. 5. 2014, interna dokumentacija ACS. Evalvacijsko vprašanje 2: Ali je bil izbor ekspertnih zunanjih evalvatorjev z vidika izobrazbe, izkušenj, delovnega statusa in drugih kriterijev primeren?  Razpis za izbor ekspertnih zunanjih evalvatorjev 2012: E-pošta Jasmine Orešnik Cunja z dne 12. 3. 2012 »POVABILO ZA SODELOVANJE v projektu Ekspertna zunanja evalvacija v izobraževanju odraslih«, interna dokumentacija ACS. E-novičke ACS, februar 2012, stran 3, najava razpisa: »Pilotna vpeljava ekspertnih zunanjih evalvacij v izobraževanje odraslih«. E-novičke ACS, marec 2012, stran 20, razpis »Javno povabilo za sodelovanje v pilotnem projektu Ekspertna zunanja evalvacija v izobraževanju odraslih v vlogi ekspertnih zunanjih evalvatorjev«.  Povabilo k sodelovanju v drugi fazi dopolnjevanja skupine evalvatorjev: E-pošta Tanje Možina za Majo Zalokar in Marjano Rogel Peršič dne 6. 5. 2014, interna dokumentacija ACS. 288 Evalvacijsko vprašanje 3: Ali je bilo usposabljanje ekspertnih zunanjih evalvatorjev (začetno in nadaljevalno) zadostno?  Začetno spopolnjevanje ekspertnih zunanjih evalvatorjev: Program usposabljanja za ekspertne zunanje evalvatorje, 2012, interna dokumentacija ACS. Urnik srečanja Usposabljanje za ekspertne zunanje evalvatorje, 25. in 26. september 2012, interna dokumentacija ACS. Urnik srečanja Temeljno usposabljanje novih ekspertnih zunanjih evalvatorjev, torek, 2. september 2014, interna dokumentacija ACS. Program usposabljanja za ekspertne zunanje evalvatorje, 2016, interna dokumentacija ACS.  Nadaljevalno spopolnjevanje ekspertnih zunanjih evalvatorjev: Urnik srečanja Spopolnjevanje ekspertnih zunanjih evalvatorjev v letu 2013, 26. september 2013, interna dokumentacija ACS. Urnik srečanja Spopolnjevanje ekspertnih zunanjih evalvatorjev v letu 2014, 4. september 2014, interna dokumentacija ACS. Urnik srečanja Spopolnjevanje ekspertnih zunanjih evalvatorjev v letu 2015, 3. september 2015, interna dokumentacija ACS. Urnik srečanja Spopolnjevanje ekspertnih zunanjih evalvatorjev v letu 2016, 2. september 2016, interna dokumentacija ACS. Evalvacijsko vprašanje 4: Ali so bila sodelujočim organizacijam zagotovljena primerna navodila in pripomočki za sodelovanje v ekspertni zunanji evalvaciji?  Usposabljanje: Urnik srečanja z izobraževalnimi organizacijami 2012, izpeljano dne 20. 6. 2012, interna dokumentacija ACS (*gre za vabilo z urnikom, z dne 6. 6. 2012). Urnik srečanja z izobraževalnimi organizacijami 2013, izpeljano dne 22. 5. 2013, interna dokumentacija ACS. Urnik srečanja z izobraževalnimi organizacijami 2014, izpeljano dne 13. 6. 2014, interna dokumentacija ACS. Urnik srečanja z izobraževalnimi organizacijami 2015, izpeljano dne 13. 5. 2015, interna dokumentacija ACS. Urnik srečanja z izobraževalnimi organizacijami 2016, izpeljano dne 23. 5. 2016, interna dokumentacija ACS.  Kazalniki in merila: Seznam kazalnikov in meril 201239 (za področja Notranji sistem kakovosti, Podpora udeležencem pri izobraževanju), interna dokumentacija ACS. Seznam kazalnikov in meril 2014 (za področja Notranji sistem kakovosti, Podpora udeležencem pri izobraževanju), interna dokumentacija ACS. 39 Seznam kazalnikov in meril za leti 2012 in 2013 se ne razlikuje. 289 Seznam kazalnikov in meril 201540 (za področja Notranji sistem kakovosti, Podpora udeležencem pri izobraževanju in Razvojna usmerjenost organizacije), interna dokumentacija ACS. Seznam kazalnikov in meril 201641 (za področja Notranji sistem kakovosti, Podpora udeležencem pri izobraževanju in Razvojna usmerjenost organizacije), interna dokumentacija ACS.  Priprava samoocene: Gradivo Samoocena organizacije Mali Log 201242 , interna dokumentacija ACS. Gradivo Samoocena organizacije Mali Log 201543 , interna dokumentacija ACS. Gradivo Samoocena organizacije Mali Log 201644 , interna dokumentacija ACS. Vodilo za pripravo samoocene organizacije 2012, interna dokumentacija ACS. Vodilo za pripravo samoocene organizacije 2013, interna dokumentacija ACS. Vodilo za pripravo samoocene organizacije 2014, interna dokumentacija ACS. Spletno vodilo za pripravo samoocene organizacije 201545 , interna dokumentacija ACS, ločeno za obe izbirni področji. Spletno vodilo za pripravo samoocene organizacije 201646 , interna dokumentacija ACS.  Organizacijska navodila v zvezi s celotnim potekom ekspertne zunanje evalvacije v določenem letu: Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v letu 2012, interna dokumentacija ACS. Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v letu 2013, interna dokumentacija ACS. Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v letu 2014, interna dokumentacija ACS. Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v letu 2015, interna dokumentacija ACS. Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v letu 2016, interna dokumentacija ACS. 40 V letu 2015 smo področjema presoje dodali še izbirno področje Razvojna usmerjenost organizacije in spremenili nekatera merila pri področju Notranji sistem kakovosti. 41 V letu 2016 smo spremenili tri merila pri področju Razvojna usmerjenost organizacije. 42 Gradivo Samoocena organizacije Mali Log se med leti 2012 in 2014 ni spreminjalo. Samooceno z dokazili, ki so zgolj v fizični obliki, so udeleženci na uvodnem srečanju dobili samo na vpogled. Gradivo se v obliki mape nahaja v arhivu ACS v pisarni 210. 43 V letu 2015 smo področjema presoje dodali še izbirno področje Razvojna usmerjenost organizacije, nekatera merila pri področju Notranji sistem kakovosti pa so se spremenila, zato je tudi gradivo Malo Log temu prirejeno. 44 V letu 2016 smo pri področju Razvojna usmerjenost organizacije spremenili tri merila in tako je prirejeno tudi gradivo. 45 V letu 2015 smo področjema presoje dodali še izbirno področje Razvojna usmerjenost organizacije, nekatera merila pri področju Notranji sistem kakovosti pa so se spremenila, zato je tudi vodilo temu prirejeno. 46 V letu 2016 smo pri področju Razvojna usmerjenost organizacije spremenili tri merila in tako je prirejeno tudi vodilo. 290  Vsebinska in organizacijska navodila v zvezi z obiskom skupine evalvatorjev v organizaciji: Primer pisma za organizacijo v zvezi z usklajevanjem obiska evalvatorjev v letu 201647 , e-pošta Sonje Klemenčič organizaciji LU Kranj z dne 3. 9. 2016, interna dokumentacija ACS. Primer pisma z usklajenim urnikom in v zvezi z zadnjimi informacijami pred obiskom v organizaciji v letu 201648 , e-pošta Tanje Možina organizaciji Cene Štupar z dne 2. 10. 2016, interna dokumentacija ACS.  Navodila v zvezi s predlogom poročila in končnim poročilom o izvedeni ekspertni zunanji evalvaciji: Primer pisma ACS izbrani organizaciji v letu 2016 - Predlog končnega poročila o ekspertni zunanji evalvaciji49 , e-pošta Tanje Možina organizaciji Cene Štupar z dne 22. 11. 2016, interna dokumentacija ACS. Primer pisma za organizacijo v letu 2016 - Končno poročilo o ekspertni zunanji evalvaciji50 , e-pošta Tanje Možina organizaciji Cene Štupar z dne 7. 12. 2016, interna dokumentacija ACS. Evalvacijsko vprašanje 5: Ali so bila ekspertnim zunanjim evalvatorjem zagotovljena primerna navodila in pripomočki za izpeljavo ekspertne zunanje evalvacije?  Navodila o etičnem ravnanju v postopku ekspertne zunanje evalvacije: Etični kodeks ekspertnih zunanjih evalvatorjev, 2014, interna dokumentacija ACS. Primerek poimenske Izjave o sprejemanju in spoštovanju etičnega kodeksa ekspertnih zunanjih evalvatorjev, 2014, interna dokumentacija ACS.  Kazalniki in merila: Seznam kazalnikov in meril 201251 (za področja Notranji sistem kakovosti, Podpora udeležencem pri izobraževanju), interna dokumentacija ACS. Seznam kazalnikov in meril 2014 (za področja Notranji sistem kakovosti, Podpora udeležencem pri izobraževanju), interna dokumentacija ACS. Seznam kazalnikov in meril 201552 (za področja Notranji sistem kakovosti, Podpora udeležencem pri izobraževanju in Razvojna usmerjenost organizacije), interna dokumentacija ACS. Seznam kazalnikov in meril 201653 (za področja Notranji sistem kakovosti, Podpora udeležencem pri izobraževanju in Razvojna usmerjenost organizacije), interna dokumentacija ACS. 47 Ta navodila se med leti niso bistveno spreminjala, zato je dovolj obravnava enega primera. 48 Tudi ta navodila se med leti niso bistveno spreminjala, zato je dovolj obravnava enega primera. 49 Navodila v zvezi z obravnavo predloga poročila se med leti niso bistveno spreminjala, zato je dovolj obravnava enega primera. 50 To pismo se med leti ni bistveno spreminjalo, zato je dovolj obravnava enega primera. 51 Seznam kazalnikov in meril za leti 2012 in 2013 se ne razlikuje. 52 V letu 2015 smo področjema presoje dodali še izbirno področje Razvojna usmerjenost organizacije in spreme nili nekatera merila pri področju Notranji sistem kakovosti. 53 V letu 2016 smo spremenili tri merila pri področju Razvojna usmerjenost organizacije. 291  Ocena samoocene: Pripomoček za pregled in ovrednotenje samoocene organizacije, ki izobražuje odrasle v letu 201254 (za področja Notranji sistem kakovosti in Podpora udeležencem pri izobraževanju), interna dokumentacija ACS. Spletni pripomoček za pregled in ovrednotenje samoocene organizacije, ki izobražuje odrasle v letu 2015 (za področja Notranji sistem kakovosti, Podpora udeležencem pri izobraževanju in Razvojna usmerjenost organizacije)55 , 2 dokumenta, ločeno za obe izbirni področji, interna dokumentacija ACS. Spletni pripomoček za pregled in ovrednotenje samoocene organizacije, ki izobražuje odrasle v letu 2016 (za področja Notranji sistem kakovosti, Podpora udeležencem pri izobraževanju in Razvojna usmerjenost organizacije)56 , 2 dokumenta, ločeno za obe izbirni področji, interna dokumentacija ACS. Primer pisma koordinatorja drugim evalvatorjem v zvezi z načinom ovrednotenja samoocene in oblikovanjem predloga za subjekte57 , e-pošta Sonje Klemenčič evalvatorjem z dne 27. 9. 2013, interna dokumentacija ACS. Primer pisma koordinatorja drugim evalvatorjem v zvezi z izborom subjektov, e-pošta Sonje Klemenčič evalvatorjem z dne 10. 10. 2013, interna dokumentacija ACS. Primer pisma z ovrednoteno samooceno koordinatorja in navodili evalvatorjem, e-pošta, interna dokumentacija ACS. Primer pisma z usklajeno skupno oceno evalvatorjem pred obiskom v organizaciji v letu 2016, e-pošta Tanje Možina evalvatorjem, ki so presojali organizacijo Cene Štupar z dne 23. 9. 2016, interna dokumentacija ACS.  Izbor subjektov in priprava evalvacijskega instrumentarija: Primer pisma koordinatorja drugim evalvatorjem v zvezi z načinom ovrednotenja samoocene, oblikovanjem predloga za subjekte in nabora vprašanj zanje58 , e-pošta Sonje Klemenčič evalvatorjem z dne 27. 9. 2013, interna dokumentacija ACS. Primer pisma koordinatorja drugim evalvatorjem v zvezi z izborom subjektov, e-pošta Sonje Klemenčič evalvatorjem z dne 10. 10. 2013, interna dokumentacija ACS. Primer pisma z opomniki z vprašanji za pogovore na obisku, za pripravo evalvatorjev pred obiskom v organizaciji v letu 2016, e-pošta Tanje Možina evalvatorjem, ki so presojali organizacijo Cene Štupar z dne 23. 9. 2016, interna dokumentacija ACS. Primer pisma z vprašalniki za pogovore v organizaciji v letu 2016, e-pošta Tanje Možina evalvatorjem, ki so presojali organizacijo Cene Štupar z dne 2. 10. 2016, interna dokumentacija ACS. 54 Gradivo Pripomoček za pregled in ovrednotenje samoocene organizacije, ki izobražuje odrasle za področja Notranji sistem kakovosti in Podpora udeležencem pri izobraževanju se med leti 2012 in 2014 ni bistveno spreminjalo, zato je dovolj obravnava enega primera. 55 V letu 2015 smo prešli na spletno aplikacijo za pripravo in pregled samoocene organizacije. V letu 2015 smo področjema presoje dodali še izbirno področje Razvojna usmerjenost organizacije in spremenili nekatera merila pri področju Notranji sistem kakovosti spremenili besedilo. 56 V letu 2016 smo spremenili tri merila pri področju Razvojna usmerjenost organizacije. 57 Vsa pisma, omenjena v tem poglavju, se med leti bistveno vsebinsko ne razlikujejo, zato navajamo samo po en primerek – edina razlika je med obdobjema 12 – 13 in 14 -16, ker smo v letu 2014 spremenili vlogo koordinatorja v zvezi s pripravo ocene samoocene, izbora subjektov in instrumentarija. 58 Vsa pisma, omenjena v tem poglavju, se med leti bistveno vsebinsko ne razlikujejo, zato navajamo samo po en primerek – edina razlika je med obdobjema 12 – 13 in 14 -16, ker smo v letu 2014 spremenili vlogo koordinatorja v zvezi s pripravo ocene samoocene, izbora subjektov in instrumentarija. 292  Organizacijska navodila v zvezi s celotnim potekom ekspertne zunanje evalvacije v določenem letu: Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v letu 2012, interna dokumentacija ACS. Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v letu 2013, interna dokumentacija ACS. Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v letu 2014, interna dokumentacija ACS. Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v letu 2015, interna dokumentacija ACS. Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v letu 2016, interna dokumentacija ACS.  Vsebinska in organizacijska navodila v zvezi z obiskom evalvirane organizacije: Primer pisma s potrditvijo urnika obiska in skupino evalvatorjev v letu 201659 , e-pošta Tanje Možina evalvatorjem, ki bodo presojali organizacijo Cene Štupar z dne 6. 9. 2016, interna dokumentacija ACS. Primer pisma s predlogom urnika obiska in razdelitvijo nalog na obisku, e-pošta Tanje Možina evalvatorjem, ki bodo presojali organizacijo Cene Štupar z dne 21. 9. 2016, interna dokumentacija ACS. Primer pisma s pojasnilom o poteku in urniku obiska z organizacijo v letu 2016, e-pošta Tanje Možina organizaciji Cene Štupar z dne 23. 9. 2016, interna dokumentacija ACS. Primer pisma z usklajenim urnikom pred obiskom v organizaciji v letu 2016, e-pošta Tanje Možina evalvatorjem, ki so presojali organizacijo Cene Štupar z dne 2. 10. 2016, interna dokumentacija ACS.  Navodila v zvezi s povratno informacijo na obisku: Primer pisma z dogovori o zaključni povratni informaciji na obisku v organizaciji v letu 201660 , e-pošta Tanje Možina evalvatorjem, ki so presojali organizacijo Cene Štupar z dne 2. 10. 2016, interna dokumentacija ACS.  Navodila v zvezi s pripravo zapisov pogovorov po obisku: Primer pisma za pripravo zapisnikov po obisku v organizaciji v letu 201661 , e-pošta Tanje Možina evalvatorjem, ki so presojali organizacijo Cene Štupar z dne 14. 10. 2016, interna dokumentacija ACS. 59 Vsa pisma, omenjena v tem poglavju, se med leti bistveno vsebinsko ne razlikujejo, zato navajamo samo po en primerek. 60 Vsa pisma, omenjena v tem poglavju, se med leti bistveno vsebinsko ne razlikujejo, zato navajamo samo en primerek. 61 Vsa pisma, omenjena v tem poglavju, se med leti bistveno vsebinsko ne razlikujejo, zato navajamo samo en primerek. 293  Navodila v zvezi s pripravo poročila o izvedeni ekspertni zunanji evalvaciji: Primer pisma z osnutkom končnega poročila za organizacijo v letu 201662 , e-pošta Tanje Možina evalvatorjem, ki so presojali organizacijo Cene Štupar z dne 25. 10. 2016, interna dokumentacija ACS. Primer pisma s predlogom končnega poročila za organizacijo v letu 2016, e-pošta Tanje Možina evalvatorjem, ki so presojali organizacijo Cene Štupar z dne 21. 11. 2016, interna dokumentacija ACS. Primer pisma s predlogom za dopolnitev končnega poročila po odzivu organizacije v letu 2016, pošta Tanje Možina evalvatorjem, ki so presojali organizacijo Cene Štupar z dne 29. 11. 2016, interna dokumentacija ACS. Evalvacijsko vprašanje 6: Ali so bile organizaciji, ki izvaja izobraževanje odraslih, pri odločanju za ekspertno zunanjo evalvacijo na razpolago zadostne informacije?  Splošne predstavitve ekspertne zunanje evalvacije: Napoved javnega povabila organizacijam, ki izobražujejo odrasle, za sodelovanje v ekspertni zunanji evalvaciji izobraževanja odraslih v letu 2016, besedilo napovedi razpisa, objavljeno v E-novičkah ACS, februar 2016, stran 5. Javno povabilo organizacijam, ki izobražujejo odrasle, za sodelovanje v ekspertni zunanji evalvaciji izobraževanja odraslih, besedilo povabila javnega razpisa, objavljeno v E-novičkah ACS, marec 2016, stran 3. Besedilo javnega povabila, objavljeno na spletnih straneh kakovost.acs.si v letu 2016, posnetek spletne strani, interna dokumentacija ACS. Promocijski letak Ekspertna zunanja evalvacija, kratek opis ekspertne zunanje evalvacije, promocijski letak pripravljen zgolj za leto 2016, ki je bil razdeljen v začetku marca 2016 na enem od strokovnih dogodkov za mrežo organizacij IO, interna dokumentacija ACS. Predstavitvena brošura Možina, T., Klemenčič, S., Jurič Rajh, A., Orešnik Cunja, J. (2013). Ekspertna zunanja evalvacija izobraževanja odraslih. Ljubljana: Andragoški center Slovenije.  Razpis za izbor organizacij za sodelovanje pri ekspertni zunanji evalvaciji63: Javno povabilo organizacijam, ki izobražujejo odrasle, za sodelovanje v ekspertni zunanji evalvaciji izobraževanja odraslih, besedilo javnega razpisa, ki je bilo poslano po e-pošti 1. 3. 2016 in kot povezava objavljeno v E-novičkah in na spletnih straneh ACS. Primer e-poštnega sporočila Sodelovanje v ekspertni zunanji evalvaciji ACS, e- pošta Aleksandre Radojc organizacijam z besedilom javnega razpisa in prijavnim obrazcem z dne 1. 3. 2016, interna dokumentacija ACS. Prijavni obrazec za sodelovanje v ekspertni zunanji evalvaciji izobraževanja odraslih, besedilo prijavnega obrazca, ki je bilo poslano po e-pošti 1. 3. 2016 in kot povezava objavljeno v E-novičkah in na spletnih straneh ACS. Dogovor o medsebojnem sodelovanju pri projektu »Ekspertna zunanja evalvacija v izobraževanju odraslih« v letu 2016, primer enega od pripravljenih dogovorov o sodelovanju za izbrano organizacijo v letu 2016, interna dokumentacija ACS. 62 Vsa pisma, omenjena v tem poglavju, se med leti bistveno vsebinsko ne razlikujejo, zato navajamo samo po en primerek. 63 Dokumenti so za leto 2016, med leti se niso bistveno spreminjali. 294 Sklop: IZVEdbA EKSPERTNIH ZUNANJIH EVALVACIJ Evalvacijsko vprašanje 7: Ali je bil letni razpored poteka ekspertne zunanje evalvacije primeren? Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v letu 2012, interna dokumentacija ACS. Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v letu 2013, interna dokumentacija ACS. Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v letu 2014, interna dokumentacija ACS. Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v letu 2015, interna dokumentacija ACS. Časovni potek priprave in izpeljave ekspertne zunanje evalvacije v letu 2016, interna dokumentacija ACS. Evalvacijsko vprašanje 8: Ali je bil dnevni razpored poteka ekspertne zunanje evalvacije primeren? Potek obiska ekspertnih zunanjih evalvatoric na Ljudski univerzi Murska Sobota, 25. oktober 2012, interna dokumentacija ACS. Potek obiska ekspertnih zunanjih evalvatoric na Ljudski univerzi Šentjur, 25. oktober 2012, interna dokumentacija ACS. Potek obiska ekspertnih zunanjih evalvatoric na RIC Novo mesto, 22. oktober 2013, interna dokumentacija ACS. Potek obiska ekspertnih zunanjih evalvatoric na Srednji zdravstveni šoli Celje, 22. oktober 2013, interna dokumentacija ACS. Potek obiska ekspertnih zunanjih evalvatoric na Srednji šoli za farmacijo, kozmetiko in zdravstvo Ljubljana, 24. oktober 2013, interna dokumentacija ACS. Potek obiska ekspertnih zunanjih evalvatoric na CDI Univerzum Ljubljana, 8. oktober 2014, interna dokumentacija ACS. Potek obiska ekspertnih zunanjih evalvatoric na Zavodu za izobraževanje in kulturo Črnomelj, 8. oktober 2014 , interna dokumentacija ACS. Potek obiska ekspertnih zunanjih evalvatoric na Zasavski ljudski univerza Trbovlje, 10. oktober 2014, interna dokumentacija ACS. Potek obiska ekspertnih zunanjih evalvatoric v organizaciji Invel Inkubator za razvoj podjetništva, d.o.o., Velenje, 13. oktober 2015, interna dokumentacija ACS. Potek obiska ekspertnih zunanjih evalvatoric na Centru za izobraževanje in kulturo Trebnje, 15. oktober 2015, interna dokumentacija ACS. Potek obiska ekspertnih zunanjih evalvatoric na Ljudski univerzi, Zavodu za kulturo in izobraževanje Slovenska Bistrica, 15. oktober 2015, interna dokumentacija ACS. Potek obiska ekspertnih zunanjih evalvatoric na Ljudski univerzi Kranj, Centru za izobraževanje in kulturo, 12. oktober 2016, interna dokumentacija ACS. Potek obiska ekspertnih zunanjih evalvatoric v Javnemu zavodu Cene Štupar – Center za izobraževanje Ljubljana, 13. oktober 2016, interna dokumentacija ACS. 295 Sklop: UGOTOVITVE EKSPERTNIH ZUNANJIH EVALVACIJ Evalvacijsko vprašanje 9: Kakšno vlogo ima tabelarični pregled izpolnjevanja meril v ekspertni zunanji evalvaciji? Evalvacijsko vprašanje 10: Katere dobre točke, ki se nanašajo na notranji sistem kakovosti, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? Evalvacijsko vprašanje 11: Katere šibke točke, ki se nanašajo na notranji sistem kakovosti, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? Evalvacijsko vprašanje 12: Katera priporočila za nadaljnji razvoj, ki se nanašajo na notranji sistem kakovosti, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij?  Leto 2012 Poročilo o ekspertni zunanji evalvaciji na Ljudski univerzi Šentjur, 2012, interna dokumentacija ACS. Poročilo o ekspertni zunanji evalvaciji na Ljudski univerzi Murska Sobota, 2012, interna dokumentacija ACS.  Leto 2013 Poročilo o ekspertni zunanji evalvaciji na Srednji šoli za farmacijo, kozmetiko in zdravstvo Ljubljana, 2013, interna dokumentacija ACS. Poročilo o ekspertni zunanji evalvaciji na Srednji zdravstveni šoli Celje, 2013, interna dokumentacija ACS. Poročilo o ekspertni zunanji evalvaciji v Razvojno izobraževalnem centru RIC Novo mesto, 2013, interna dokumentacija ACS.  Leto 2014 Poročilo o ekspertni zunanji evalvaciji na Centru za dopisno izobraževanje Univerzum Ljubljana, 2014, interna dokumentacija ACS. Poročilo o ekspertni zunanji evalvaciji v Zavodu za izobraževanje in kulturo Črnomelj, 2014, interna dokumentacija ACS. Poročilo o ekspertni zunanji evalvaciji na Zasavski ljudski univerzi Trbovlje, 2014, interna dokumentacija ACS.  Leto 2015 Poročilo o ekspertni zunanji evalvaciji v Centru za izobraževanje in kulturo Trebnje, 2015, interna dokumentacija ACS. Poročilo o ekspertni zunanji evalvaciji na Ljudski univerzi, zavodu za kulturo in izobraževanje Slovenska Bistrica, 2015, interna dokumentacija ACS. Poročilo o ekspertni zunanji evalvaciji v organizaciji Invel Inkubator za razvoj podjetništva, d.o.o., Velenje, 2015, interna dokumentacija ACS.  Leto 2016 Poročilo o ekspertni zunanji evalvaciji v organizaciji Ljudska univerza Kranj, Center za izobraževanje in kulturo, 2016, interna dokumentacija ACS. Poročilo o ekspertni zunanji evalvaciji v organizaciji Javni zavod Cene Štupar – Center za izobraževanje Ljubljana, 2016, interna dokumentacija ACS. 296 Evalvacijsko vprašanje 13: Katere dobre točke, ki se nanašajo na podporo odraslim udeležencem pri izobraževanju, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? Evalvacijsko vprašanje 14: Katere šibke točke, ki se nanašajo na podporo odraslim udeležencem pri izobraževanju, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? Evalvacijsko vprašanje 15: Katera priporočila za nadaljnji razvoj, ki se nanašajo na podporo odraslim udeležencem pri izobraževanju, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij?  Leto 2012 Poročilo o ekspertni zunanji evalvaciji na Ljudski univerzi Šentjur, 2012, interna dokumentacija ACS. Poročilo o ekspertni zunanji evalvaciji na Ljudski univerzi Murska Sobota, 2012, interna dokumentacija ACS.  Leto 2013 Poročilo o ekspertni zunanji evalvaciji na Srednji šoli za farmacijo, kozmetiko in zdravstvo Ljubljana, 2013, interna dokumentacija ACS. Poročilo o ekspertni zunanji evalvaciji na Srednji zdravstveni šoli Celje, 2013, interna dokumentacija ACS. Poročilo o ekspertni zunanji evalvaciji v Razvojno izobraževalnem centru RIC Novo mesto, 2013, interna dokumentacija ACS.  Leto 2014 Poročilo o ekspertni zunanji evalvaciji na Centru za dopisno izobraževanje Univerzum Ljubljana, 2014, interna dokumentacija ACS. Poročilo o ekspertni zunanji evalvaciji v Zavodu za izobraževanje in kulturo Črnomelj, 2014, interna dokumentacija ACS. Poročilo o ekspertni zunanji evalvaciji na Zasavski ljudski univerzi Trbovlje, 2014, interna dokumentacija ACS.  Leto 2015 Poročilo o ekspertni zunanji evalvaciji v Centru za izobraževanje in kulturo Trebnje, 2015, interna dokumentacija ACS. Poročilo o ekspertni zunanji evalvaciji v organizaciji Invel Inkubator za razvoj podjetništva, d.o.o., Velenje, 2015, interna dokumentacija ACS.  Leto 2016 Poročilo o ekspertni zunanji evalvaciji v organizaciji Javni zavod Cene Štupar – Center za izobraževanje Ljubljana, 2016, interna dokumentacija ACS. 297 Evalvacijsko vprašanje 16: Katere dobre točke, ki se nanašajo na razvojno usmerjenost organizacij, ki izvajajo izobraževanje odraslih, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? Evalvacijsko vprašanje 17: Katere šibke točke, ki se nanašajo na razvojno usmerjenost organizacij, ki izvajajo izobraževanje odraslih, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij? Evalvacijsko vprašanje 18: Katera priporočila za nadaljnji razvoj, ki se nanašajo na razvojno usmerjenost organizacij, ki izvajajo izobraževanje odraslih, lahko povzamemo iz vseh izpeljanih ekspertnih zunanjih evalvacij?  Leto 2015 Poročilo o ekspertni zunanji evalvaciji na Ljudski univerzi, zavodu za kulturo in izobraževanje Slovenska Bistrica, 2015, interna dokumentacija ACS. Poročilo o ekspertni zunanji evalvaciji v organizaciji Invel Inkubator za razvoj podjetništva, d.o.o., Velenje, 2015, interna dokumentacija ACS.  Leto 2016 Poročilo o ekspertni zunanji evalvaciji v organizaciji Ljudska univerza Kranj, Center za izobraževanje in kulturo, 2016, interna dokumentacija ACS. 298 Priloga 3 ANKETA o ekspertni zunanji evalvaciji za direktorje oz. ravnatelje Pojasnila in navodila: S to anketo želimo pridobiti vaše mnenje o ekspertnih zunanjih evalvacijah, ki jih v zadnjih letih izpeljujemo v izobraževanju odraslih. Vaše mnenje nam je še posebej pomembno, saj zastopate organizacijo, kjer je bila ta evalvacija tudi izpeljana. Zanima nas, kakšne so vaše izkušnje, kaj se vam zdi primernega ali neprimernega pri načinu izpeljave evalvacije, kakšne učinke je pri vas imela evalvacija, pa tudi to, ali menite, da bi kazalo take evalvacije obdržati tudi v prihodnje. Anketa je pisana v moški obliki, velja pa tako za ženske kot moške anketirance. Anketa ima od 12 do 25 vprašanj, odvisno od tega, kakšne odgovore boste izbrali pri nekaterih začetnih vprašanjih. Nekatera vprašanja v nadaljevanju se namreč „skrijejo“, če ste predhodno izbrali odgovor, ki že pojasnjuje tisto, kar sprašujemo s temi vprašanji. Zato v nekaterih primerih vprašanja ne bodo oštevilčena zaporedno, kar naj vas ne zmoti. Vsako vprašanje ima navodilo, kakšen način izpolnjevanja se od vas pričakuje. Pri vprašanjih, kjer je možnih več odgovorov, se takrat, ko izberete nekatera vprašanja, avtomatično skrijejo odgovori, ki bi bili v takem primeru nelogični. Če želite svojo izbiro popraviti, ponovno kliknite na izbrani odgovor in znova se vam bodo prikazali vsi možni odgovori. Pod vsakim vprašanjem je gumb „NASLEDNJA STRAN“, s pomočjo katerega se premaknete na naslednje vprašanje. To ne bo mogoče, če ne boste odgovorili na vprašanje, ker je večina vprašanj takih, da od vas zahtevajo odgovor. Svetujemo vam, da anketo izpolnite do konca naenkrat, čeprav obstaja možnost, da jo izpolnite samo deloma in z delom nadaljujete po krajšem času. Izpolnjevanje je anonimno, vaši odgovori bodo prikazani anonimno, združeno z odgovori ostalih anketirancev. Hvala za vaše odgovore, prav gotovo nam bodo v veliko pomoč pri nadaljnjem razvoju ekspertnih zunanjih evalvacij v omrežju izvajalcev izobraževanja odraslih! Andragoški center Slovenije 299 1. dosedanji ekspertni zunanji evalvatorji so bili povečini izbrani na podlagi javnega razpisa, nekaj med njimi pa jih je bilo v kasnejši fazi tudi osebno povabljenih k sodelovanju. Kaj menite o takem načinu izbora ekspertnih zunanjih evalvatorjev? (Prosimo, označite odgovor in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Nimam mnenja. b) O tem naj odloča nosilec ekspertnih zunanjih evalvacij (ACS). c) Primerno se mi zdi, da se ekspertne zunanje evalvatorje pridobi na podlagi javnega razpisa z opredeljenimi kriteriji. d) Primerno se mi zdi, da se ekspertne zunanje evalvatorje pridobi na podlagi osebne ga povabila na podlagi referenc posameznika. e) Primeren se mi zdi dosedanji način izbora ( javni razpis in/ali povabilo). f ) Po mojem mnenju bi moral biti izbor ekspertnih zunanjih evalvatorjev naslednji: (Prosimo, pojasnite.) .................................................................................. 2. Kandidati za ekspertne zunanje evalvatorje morajo po dosedanjih pravilih imeti univerzitetno izobrazbo, pedagoško-andragoško izobrazbo in pet let delovnih izkušenj v izobraževanju odraslih. Kako ocenjujete primernost teh pogojev z vidika vas kot uporabnika? (Prosimo, označite odgovor in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Nimam mnenja. b) O tem naj odloča nosilec ekspertnih zunanjih evalvacij (ACS). c) Nujno je, da imajo evalvatorji vsaj univerzitetno izobrazbo. d) Stopnja izobrazbe za to vlogo ni pomembna. e) Za to vlogo bi morala biti določena tudi vrsta izobrazbe. f ) Vrsta izobrazbe za to vlogo ni pomembna. g) Evalvator mora imeti pedagoško-andragoško izobrazbo. h) Pedagoško-andragoška izobrazba za to vlogo ni pomembna. i) Za to vlogo je pomembno, da imajo evalvatorji vsaj 5 let delovnih izkušenj v izobra ževanju odraslih. j) Delovne izkušnje v izobraževanju odraslih za to vlogo niso pomembne. k) Po mojem mnenju bi morali biti za evalvatorje zahtevani (še) naslednji pogoji: (Prosimo, pojasnite.) .................................................................................. 300 3. Ali bi po vašem mnenju v ekspertni zunanji evalvaciji izobraževanja odraslih morali poleg tistih evalvatorjev, ki jih izbere ACS, sodelovati tudi predstavniki kakšnih drugih ustanov? (Prosimo, označite odgovor in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Nimam mnenja. b) O tem naj odloča nosilec ekspertnih zunanjih evalvacij (ACS). c) Ne. d) Da, predstavniki: (Prosimo, pojasnite.) .................................................................................. 4. Kakšni so bili temeljni razlogi, ki so vas navedli, da ste se odločili za sodelovanje v ekspertni zunanji evalvaciji izobraževanja odraslih? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Zanimalo nas je strokovno mnenje drugih o kakovosti našega dela. b) Radi bi dobili kakšno spodbudo za nadaljnji razvoj. c) Razpis se nam je zdel zanimiv, čeprav nismo natančno vedeli, kaj naj pričakujemo. d) Zaupamo ACS-ju in če nam je nekaj ponudil, se nam je zdelo, da bo to za nas kori stno. e) Uspešna ekspertna zunanja evalvacija se nam zdi konkurenčna prednost pred tistimi, ki tega nimajo. f ) Mogoče bo sodelovanje v ekspertni zunanji evalvaciji za nas prednost na javnih razpisih. g) Sodelovanje so nam priporočili iz nam podobne organizacije, s katero sodelujemo. h) K sodelovanju nas je spodbudil ACS. i) Drugo. (Prosimo, pojasnite.) .................................................................................. 301 5. Ali ste ob odločanju za sodelovanje v ekspertni zunanji evalvaciji izobraževanja odraslih imeli na razpolago zadostne informacije? (Prosimo, da za vsako trditev označite, kakšne so bile informacije o njih.) INFORMACIJ O TEM NI bILO. INFORMACIJE SO bILE POMANJKL JIVE. INFORMACIJE SO bILE ZAdOSTNE. Kaj bo organizacija pridobila s sodelovanjem v ekspertni zunanji evalvaciji. Kako bo ekspertna zunanja evalvacija potekala. Kdo iz organizacije sodeluje pri izvedbi ekspertne zunanje evalvacije. Koliko časa poteka ekspertna zunanja evalvacija. 6. Ali vam je uvodno srečanje na Andragoškem centru Slovenije pomagalo pri pridobivanju potrebnih informacij o poteku ekspertne zunanje evalvacije? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Uvodnega srečanja se nisem udeležil, zato tega ne morem ocenjevati. b) Ne, vse potrebne informacije bi lahko pridobil pisno in/ali po telefonu. c) Ne, informacije niso bile zadostne, saj nisem pridobil prave predstave, kako bo ek spertna zunanja evalvacija potekala. d) Da, dobil sem koristne informacije o tem, kako bo potekala ekspertna zunanja evalvacija. e) Da, imel sem priložnost, da razčistim dileme, ki sem jih imel pred začetkom izvajanja ekspertne zunanje evalvacije. f ) Drugo. (Prosimo, pojasnite.) .................................................................................. 7. Ali bi priporočili, da uvodno srečanje z organizacijami, ki so pred ekspertno zunanjo evalvacijo, obdržimo? (Prosimo, označite odgovor. Mogoč je en odgovor.) a) Ne. 302 b) Vseeno je. c) Da. 8. Kako ocenjujete to, da ste na začetku ekspertne zunanje evalvacije morali pripraviti samooceno na področjih, ki so bila kasneje evalvirana? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) O tem nimam mnenja, to je bilo pač od nas zahtevano. b) Ne vidim prave koristi od tega dela, vzelo pa nam je veliko časa. c) Vse, kar smo morali opisati v samooceni, je zapisano že v drugih dokumentih orga nizacije in bi si to lahko ekspertni zunanji evalvatorji ogledali. d) Vse, kar smo morali opisati v samooceni, bi lahko povedali na razgovorih z ekspertnimi zunanjimi evalvatorji. e) Priprava samoocene je tudi nam pomagala, da smo tudi mi sami dobili boljši vpogled v raven kakovosti na področjih, ki so bila evalvirana. f ) S pripravo samoocene smo ekspertnim zunanjim evalvatorjem lahko bolj natančno in celovito prikazali, kaj vse delamo in kakšno raven kakovosti dosegamo na področjih, ki so bila evalvirana. g) Priprava samoocene je pripomogla k temu, da smo zbrali vse dokumente, ki so pomembni za vpogled v raven kakovosti na področjih, ki so bila evalvirana. h) Proces priprave samoocene je v organizaciji sprožil izmenjavo informacij med sodelavci o delu na področju kakovosti. i) Priprava samoocene nam je že v tej fazi ekspertne zunanje evalvacije jasneje pokazala, kje so naše prednosti, kje pa še nismo naredili dovolj. j) Drugo. (Prosimo, pojasnite.) .................................................................................. 9. Ali bi po tem, kar ste odgovorili pri prejšnjem vprašanju, priporočili, da priprava samoocene ostane izhodiščna točka ekspertne zunanje evalvacije? (Prosimo, označite odgovor. Mogoč je en odgovor.) a) Ne. b) Vseeno je. c) Da. 303 10. Kako pa ocenjujete to, da so vas ekspertni zunanji evalvatorji osebno obiskali, se pogovarjali z vami in vašimi sodelavci? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) O tem nimam mnenja, to je bilo pač od nas pričakovano. b) Ne vidim prave koristi od tega obiska, vzelo pa nam je veliko časa. c) Vse smo že zapisali v samooceni, zato obisk ni bil potreben. d) Ekspertni zunanji evalvatorji so si oceno o nas oblikovali že pred obiskom in jo kljub našim dodatnim argumentom niso spremenili, zato ne vidim prave koristi od obiska. e) To, da so nas ekspertni zunanji evalvatorji osebno obiskali, se mi zdi zelo dragoceno, saj smo lahko obširneje pojasnili naše procese in rezultate dela, kar v samooceni ni mogoče. f ) To, da so nas ekspertni zunanji evalvatorji osebno obiskali, se mi zdi zelo dragoceno, saj smo lahko razčistili nekatere nejasnosti, ki so jih ekspertni zunanji evalvatorji imeli ob prebiranju naše samoocene in pregledu dokumentov. g) Obisk ekspertnih zunanjih evalvatorjev je v organizaciji sprožil več razmislekov o naši kakovosti, tudi pri tistih, ki o tem do takrat še niso dovolj zavzeto razmišljali o kakovosti in tako tudi delovali. h) Sodelavci so sodelovanje na razgovorih ob obisku sprejeli kot priznanje in izraz zaupanja. i) Drugo. (Prosimo, pojasnite.) .................................................................................. 11. Ali bi po tem, kar ste odgovorili pri prejšnjem vprašanju, priporočili, da tudi v prihodnje v ekspertni zunanji evalvaciji izpeljujemo obiske v evalviranih organizacijah? (Prosimo, označite odgovor. Mogoč je en odgovor.) a) Ne. b) Vseeno je. c) Da. 304 12. Kako na splošno ocenjujete sodelovanje ekspertnih zunanjih evalvatorjev z vami? (Prosimo, da v vsaki vrstici označite svojo izbiro, pri čemer imejte v mislih vse evalvatorje, s katerimi ste sodelovali in poskušajte dati skupno oceno.) NEPRIMERNO. dELOMA PRIMERNO. PRIMERNO. Splošen odnos ekspertnih zunanjih evalvatorjev do vas. Strokovnost ekspertnih zunanjih evalvatorjev. Seznanjenost ekspertnih zunanjih evalvatorjev z vašo organizacijo. Natančnost pri proučevanju vaše samoocene in dokazil. Upoštevanje informacij, ki ste jim jih posredovali. Upoštevanje vaših argumentov. Njihova pripravljenost na pogovore. Njihovo spoštovanje sogovornikov. Njihova neodvisnost, objektivnost pri evalviranju. 13. Ali bi v zvezi s sodelovanjem ekspertnih zunanjih evalvatorjev z vami želeli sporočiti še kaj? (Prosimo, vpišite.) .................................................................................. 305 14. Zanima nas vaše mnenje o načinih posredovanja ugotovitev ekspertne zunanje evalvacije. Prve ugotovitve so ekspertni zunanji evalvatorji posredovali ustno na zaključnem srečanju ob obisku. Kaj menite o tem načinu? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Tak način ni primeren, ker smo bili po celodnevnem obisku preveč utrujeni, da bi lahko zbrano poslušali posredovane informacije. b) Tak način ni primeren, ker so bili ekspertni zunanji evalvatorji preveč pod vtisom posameznih razgovorov na obisku in posredovana informacija ni bila celovita. c) Tak način ni primeren, ker na zaključnem srečanju sodelujejo vsi intervjuvanci, posredovane informacije pa so take narave, da je bolje, če jih dobi ožji krog sodelavcev. d) Tak način ni primeren, ker je ustno posredovanje tolikih informacij preobsežno in ne daje pravega učinka. e) V redu je, da takoj po zaključku obiska dobimo prve informacije, kakšne so ugotovitve ekspertnih zunanjih evalvatorjev, četudi informacije takrat niso tako podrobne kot v kasnejšem pisnem poročilu. f ) V redu je, da sodelujoči na razgovorih, zlasti zaposleni, dobijo neposredno informacijo o ugotovitvah, še posebej zato, ker so poudarjeni tudi naši dobri dosežki, ne samo tisto, kjer se moramo še izboljšati. g) To je nekakšen zaključek večmesečnega dela in primerno je, da takoj dobimo temeljne informacije o ugotovitvah. h) Po večmesečnem poteku ekspertne zunanje evalvacije je to prvi odziv, ki ga dobi organizacija o svoji kakovosti in prav je, da se to zgodi na dan obiska, saj se na nek način sprostijo tako naša pričakovanja kot bojazni. i) Prav je, da organizacija temeljne informacije o ugotovitvah dobi ob zaključku obiska, saj lahko o njih razmisli do prejema pisnega poročila in je zato tudi pisno poročilo na nek način drugače sprejeto kot bi bilo morebiti sicer. j) Drugo. (Prosimo, pojasnite.) .................................................................................. 15. Ali bi po tem, kar ste odgovorili pri prejšnjem vprašanju, priporočili, da tudi v prihodnje v ekspertni zunanji evalvaciji ohranimo posredovanje prve ustne informacije o ugotovitvah v evalviranih organizacijah? (Prosimo, označite odgovor. Mogoč je en odgovor.) a) Ne. b) Vseeno je. c) Da. 306 16. Ustnemu poročilu o ugotovitvah na dan obiska sledi predlog pisnega poročila, ki ga organizacija dobi z namenom, da ekspertnim zunanjim evalvatorjem posreduje še morebitne dodatne argumente ali razčisti nejasnosti. Kaj menite o tem? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) To se mi zdi nepotrebno, saj so ekspertni zunanji evalvatorji že dobili vse informacije, ki jih potrebujejo, na njihove interpretacije pa ne moremo vplivati. b) To se mi zdi nepotrebno, saj ekspertni zunanji evalvatorji ne upoštevajo dodatnih informacij in ostajajo pri svojih ocenah. c) To se mi zdi nepotrebno, saj imajo ekspertni zunanji evalvatorji pač svoje mnenje, mi pa že vemo, kako je v resnici. d) To se mi zdi nepotrebno, poročilo je pač tako kot je, na nas pa je, da ga čim bolje izkoristimo za naš nadaljnji razvoj. e) To se mi zdi dobro, saj tako lahko dodamo še kakšen argument, če vidimo, da bi bilo to za sprejem končnih zaključkov dobro. f ) To se mi zdi dobro, saj tako lahko razčistimo še kakšno nejasnost, če vidimo, da bi bilo to za sprejem končnih zaključkov dobro. g) To se mi zdi dobro, saj smo na ta način lahko vplivali na vsebino končnega poročila. h) To se mi zdi dobro, saj se na ta način ohranja partnerski odnos v ekspertni zunanji evalvaciji med našo organizacijo in Andragoškim centrom Slovenije. i) Drugo. (Prosimo, pojasnite.) .................................................................................. 17. Ali bi po tem, kar ste odgovorili pri prejšnjem vprašanju, priporočili, da tudi v prihodnje v ekspertni zunanji evalvaciji ohranimo posredovanje predloga poročila o ugotovitvah organizaciji na vpogled in morebiten odziv? (Prosimo, označite odgovor. Mogoč je en odgovor.) a) Ne. b) Vseeno je. c) Da. 307 18. Končno pisno poročilo vsebuje več sestavin. Zanima nas, kaj menite o tabelaričnem pregledu meril pri posameznih kazalnikih, ki so bili evalvirani, in oznakah, ali ste merila dosegli ali ne oz. ste jih dosegli deloma? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Nimam mnenja. b) Tabelarični pregled doseganja meril ne pove veliko, zato ni potreben. c) Tabelarični pregled doseganja meril je dober pokazatelj ugotovitev, ki so kasneje v poročilu podrobneje predstavljena. d) Tabelarični pregled doseganja meril je za nas bistvena informacija, saj pove, katero merilo dosegamo, katero ne in katero deloma. e) Drugo. (Prosimo, pojasnite.) .................................................................................. 19. Kaj menite o tem, da končno poročilo vsebuje pregled dobrih točk, ki so bile zaznane pri evalvaciji pri posameznih evalviranih področjih? (Prosimo, označite odgovor in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Pregled dobrih točk obremenjuje poročilo, ki je zato daljše, bistveno je tisto, kjer se moramo še izboljšati. b) Pregled dobrih točk je dobrodošel, saj nam sporoča, kaj delamo dobro in moramo še naprej ohranjati. c) Drugo. (Prosimo, pojasnite.) .................................................................................. 20. Kaj menite o tem, da končno poročilo vsebuje pregled šibkih točk, ki so bile zaznane pri evalvaciji pri posameznih evalviranih področjih? (Prosimo, označite odgovor in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Pregled šibkih točk je prepodroben in ne daje usmeritev, česa naj se najprej lotimo. b) Pregled šibkih točk je dobrodošel, saj nam daje usmeritve, kje se moramo še izboljšati in kam moramo usmeriti svoje aktivnosti. c) Drugo. (Prosimo, pojasnite.) .................................................................................. 308 21. Kaj menite o tem, da končno poročilo vsebuje predloge za izboljšave? (Prosimo, označite odgovor in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Predlogi za izboljšave niso uporabni, ker zunanji ekspertni evalvatorji premalo poznajo razmere v naši organizaciji in njenem okolju. b) Predlogi za izboljšave so dobrodošli, saj nam dovolj konkretno povedo, kaj kaže vpeljati, narediti, da bi dosegli še boljše rezultate pri svojem delu za kakovost izobraževanja odraslih. c) Drugo. (Prosimo, pojasnite.) .................................................................................. 22. Kako bi na splošno ocenili učinke izpeljane ekspertne zunanje evalvacije pri vas? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Bistvenega vpliva na naše delo ni imela, delamo to, kar smo že sami načrtovali. b) Naša pričakovanja o tem, kaj nam bo prinesla ekspertna zunanja evalvacija, se niso uresničila, rezultati niso zelo uporabni. c) Ekspertna zunanja evalvacija je vplivala, da smo na nekaterih področjih malo prilagodili svoje delovanje, v glavnem pa delamo tako, kot smo že prej sami načrtovali. d) Naša pričakovanja o tem, kaj nam bo prinesla ekspertna zunanja evalvacija so se uresničila le delno. e) Ekspertna zunanja evalvacija je kar pomembno vplivala na naše delovanje, okrepili smo nekatere svoje dobre točke, deloma pa smo že pristopili k odpravljanju šibkih točk, tudi s pomočjo usmeritev, ki smo jih dobili. f ) Ekspertna zunanja evalvacija je zelo pomembno vplivala na naše delovanje, okrepili smo svoje dobre točke, načrtno smo pristopili k odpravljanju šibkih točk, tudi s pomočjo usmeritev, ki smo jih dobili. g) Naša pričakovanja o tem, kaj nam bo prinesla ekspertna zunanja evalvacija so se v celoti uresničila. h) Drugo. (Prosimo, pojasnite.) .................................................................................. 309 23 Ali opažate še kakšne druge splošne pozitivne učinke izpeljane ekspertne zunanje evalvacije? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Smo bolj samozavestni glede kakovosti svojega dela. b) Še bolj zagnano delamo na področju kakovosti. c) Večkrat se pogovarjamo o kakovosti. d) Usposabljamo se za delo na področju kakovosti. e) Bolje smo se organizirali za delo na področju kakovosti. f ) Bolje smo uredili dokumentacijo v zvezi z našim delom na področju kakovosti. g) Vzpostavili smo dobre delovne stike z nekaterimi drugimi organizacijami, v katerih je tudi potekala ekspertna zunanja evalvacija. h) Vzpostavili smo dobre delovne stike z nekaterimi drugimi organizacijami, ki veliko delajo na področju razvoja kakovosti. i) Vključili smo se v nacionalne in/ali mednarodne projekte o kakovosti. j) Nič o tega. k) Drugo. (Prosimo, pojasnite.) .................................................................................. 24 Ali opažate tudi kakšne splošne negativne učinke izpeljane ekspertne zunanje evalvacije? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Smo zaskrbljeni, koliko dela naš še čaka pri razvoju kakovosti. b) Ni nam vseeno, ker nismo dosegli prav dobrih rezultatov, to nas demotivira. c) Razočarani smo, naša predstava o naši kakovosti je drugačna. d) Rezultati niso dobro vplivali na odnose v kolektivu. e) Rezultati niso dobro vplivali na odnose med vodstvom in zaposlenimi. f ) Rezultati niso dobro vplivali na odnose v komisiji za kakovost. g) Postali smo negotovi, kaj bi pravzaprav morali narediti na področju kakovosti. h) Nič o tega. 310 i) Drugo. (Prosimo, pojasnite.) .................................................................................. 25. Kakšne učinke je pri vas imel pregled ugotovljenih dobrih točk iz poročila o izpeljani ekspertni zunanji evalvaciji? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Veseli smo, da so jih ekspertni zunanji evalvatorji zaznali in na teh področjih delamo še naprej tako kot doslej. b) Analizirali smo, katera naša ravnanja so privedla do dobrih rezultatov in smo jih še okrepili. c) O ugotovljenih dobrih točkah smo se pogovorili v kolektivu in dali priznanje tistim, ki so prispevali k takim ocenam. d) O ugotovljenih dobrih točkah smo se pogovorili v kolektivu in usmerili vse zaposlene in zunanje sodelavce, da ravnajo tako, da jih ohranimo in še razvijemo. e) Drugo. (Prosimo, pojasnite.) .................................................................................. 26. Kakšne učinke je pri vas imel pregled ugotovljenih šibkih točk iz poročila o izpeljani ekspertni zunanji evalvaciji? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Ne strinjamo se z ugotovljenimi šibkimi točkami, zato ni imel nobenih učinkov. b) Bistvenih učinkov ni, še naprej delamo tako kot doslej. c) Analizirali smo, katera naša ravnanja so privedla do teh rezultatov in jih zdaj posto poma odpravljamo. d) Drugo. (Prosimo, pojasnite.) .................................................................................. 311 27. Kakšne učinke so pri vas imeli predlogi za izboljšave iz poročila o izpeljani ekspertni zunanji evalvaciji? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Predlogi za izboljšave niso bili primerni/uresničljivi. b) Bistvenih učinkov ni, še naprej delamo tako kot doslej. c) Predlogi za izboljšave so nam v mnogih primerih pomagali, da smo našli rešitve ali vpeljali ravnanja, ki jih dotlej nismo poznali ali pa se nanje nismo spomnili. d) Drugo. (Prosimo, pojasnite.) .................................................................................. 28. Prosimo, da na kratko, a konkretno, naštejete vse ukrepe, ravnanja, rezultate, ki ste jih vpeljali/izvedli po izpeljani ekspertni zunanji evalvaciji na podlagi priporočil: (Prosimo, naštejte na kratko.) .................................................................................. 29. Zanima nas vaše mnenje, kakšna naj bi bila vloga ekspertnih zunanjih evalvacij v izobraževanju odraslih v prihodnje? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Premalo poznam, da bi imel stališče. b) Menim, da so nepotrebne. c) Naj ostanejo na prostovoljni osnovi kot doslej – organizacija, ki želi zunanjo eval vacijo, se za to sama odloči. d) Ekspertne zunanje evalvacije naj postanejo za vse organizacije, ki izvajajo javno službo in/ali javne programe izobraževanja odraslih, obvezne v določenih časovnih intervalih. e) Drugo. (Prosimo, pojasnite.) .................................................................................. 312 30. Zanima nas vaše mnenje, kakšen naj bi bil razvoj ekspertnih zunanjih evalvacij v izobraževanju odraslih v prihodnje? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Premalo poznam, da bi imel stališče. b) Menim, da so nepotrebne. c) Naj ostanejo podobne kot doslej – obsegajo evalvacijo enega ali dveh področij, ta pa so evalvirana dokaj natančno. d) Naj ostanejo podobne kot doslej – vendar naj bodo vsa področja, ki se bodo eval virala, na izbiro organizacijam, nobeno naj ne bo obvezno. e) Razširiti bi morali možen izbor področij, ki jih organizacija izbira za evalvacijo. f ) Ekspertne zunanje evalvacije naj zajemajo presojo kakovosti celotnega delovanja izobraževalne organizacije (in ne samo nekaj področij), četudi bi bile zato manj poglobljene. g) Drugo. (Prosimo, pojasnite.) .................................................................................. 31. Ali bi nam v zvezi z izpeljano ekspertno zunanjo evalvacijo ali zunanjimi ekspertnimi evalvacijami na sploh želeli sporočiti še kaj? (Prosimo, vpišite.) .................................................................................. 313 Priloga 4 ANKETA za koordinatorje ekspertne zunanje evalvacije Pojasnila in navodila: S to anketo želimo pridobiti vaše mnenje o ekspertnih zunanjih evalvacijah, ki jih v zadnjih letih izpeljujemo v izobraževanju odraslih. Vaše mnenje nam je še posebej pomembno, saj zastopate organizacijo, kjer je bila ta evalvacija tudi izpeljana. Zanima nas, kakšne so vaše izkušnje, kaj se vam zdi primernega ali neprimernega pri načinu izpeljave evalvacije, kakšne učinke je pri vas imela evalvacija, pa tudi to, ali menite, da bi kazalo take evalvacije obdržati tudi v prihodnje. Anketa je pisana v moški obliki, velja pa tako za ženske kot moške anketirance. Anketa ima od 12 do 25 vprašanj, odvisno od tega, kakšne odgovore boste izbrali pri nekaterih začetnih vprašanjih. Nekatera vprašanja v nadaljevanju se namreč „skrijejo“, če ste predhodno izbrali odgovor, ki že pojasnjuje tisto, kar sprašujemo s temi vprašanji. Zato v nekaterih primerih vprašanja ne bodo oštevilčena zaporedno, kar naj vas ne zmoti. Vsako vprašanje ima navodilo, kakšen način izpolnjevanja se od vas pričakuje. Pri vprašanjih, kjer je možnih več odgovorov, se takrat, ko izberete nekatera vprašanja, avtomatično skrijejo odgovori, ki bi bili v takem primeru nelogični. Če želite svojo izbiro popraviti, ponovno kliknite na izbrani odgovor in znova se vam bodo prikazali vsi možni odgovori. Pod vsakim vprašanjem je gumb „NASLEDNJA STRAN“, s pomočjo katerega se premaknete na naslednje vprašanje. To ne bo mogoče, če ne boste odgovorili na vprašanje, ker je večina vprašanj takih, da od vas zahtevajo odgovor. Svetujemo vam, da anketo izpolnite do konca naenkrat, čeprav obstaja možnost, da jo izpolnite samo deloma in z delom nadaljujete po krajšem času. Izpolnjevanje je anonimno, vaši odgovori bodo prikazani anonimno, združeno z odgovori ostalih anketirancev. Hvala za vaše odgovore, prav gotovo nam bodo v veliko pomoč pri nadaljnjem razvoju ekspertnih zunanjih evalvacij v omrežju izvajalcev izobraževanja odraslih! Andragoški center Slovenije 314 1. Ali vam je uvodno srečanje na Andragoškem centru Slovenije pomagalo pri pridobivanju potrebnih informacij o poteku ekspertne zunanje evalvacije? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Uvodnega srečanja se nisem udeležil, zato tega ne morem ocenjevati. b) Ne, vse potrebne informacije bi lahko pridobil pisno in/ali po telefonu. c) Ne, informacije niso bile zadostne, saj nisem pridobil prave predstave, kako bo ek spertna zunanja evalvacija potekala. d) Da, dobil sem koristne informacije o tem, kako bo potekala ekspertna zunanja evalvacija. e) Da, imel sem priložnost, da razčistim dileme, ki sem jih imel pred začetkom izvajanja ekspertne zunanje evalvacije. f ) Drugo. (Prosimo, pojasnite.) .................................................................................. 2. Ali bi priporočili, da uvodno srečanje z organizacijami, ki so pred ekspertno zunanjo evalvacijo, obdržimo? (Prosimo, označite odgovor. Mogoč je en odgovor.) a) Ne. b) Vseeno je. c) Da. 3. Na uvodnem srečanju na Andragoškem centru Slovenije ste se seznanili, da organizacija najprej pripravi samooceno na področjih, ki bodo evalvirana in priloži ustrezna dokazila. Ali so bila navodila za pripravo samoocene z dokazili primerna? (Prosimo, označite odgovor. Mogoč je en odgovor.) a) Ne, sploh mi ni bilo jasno, kaj moramo pripraviti. b) Deloma, načelno sem vedel, kaj naj bi pripravili, a marsikaj mi še ni bilo jasnega. c) Da, navodila so bila povsem jasna, vedel sem, kaj bo treba pripraviti. 315 4. Po oddaji samoocene smo začeli pripravljati obisk ekspertnih zunanjih evalvatorjev pri vas. Ste takrat dobili dovolj jasna navodila, kako naj bi obisk potekal in kaj morate vi pripraviti v zvezi z njim? (Prosimo, označite odgovor. Mogoč je en odgovor.) a) Ne, navodila niso bila dovolj jasna. b) Navodila so bila jasna le deloma, zato sem moral dodatne informacije poiskati pri koordinatorju z ACS. c) Da, navodila so bila dovolj jasna. 5. Zanima nas, kako ocenjujete letni razpored poteka ekspertne zunanje evalvacije? (Prosimo, da v vsaki vrstici označite, kako primeren se vam je zdel opredeljeni čas.) NEPRIMERNO. dELOMA PRIMERNO. PRIMERNO. Mesec, v katerem je bilo organizirano uvodno srečanje. Obdobje, v katerem je potekala priprava samoocene. Obseg časa, ki je bil namenjen pripravi samoocene. Datum obiska. Čas, ki ste ga imeli na razpolago za pregled predloga končnega poročila o ugotovitvah ekspertne zunanje evalvacije. Datum zaključne evalvacijske delavnice. Celoten obseg časa poteka ekspertne zunanje evalvacije. 6. Prosimo vas, da v vseh tistih primerih, ko ste se pri prejšnjem vprašanju odločili za oceno »Neprimerno.« ali »deloma primerno.« obrazložite svojo izbiro. (Prosimo, vpišite.) .................................................................................. 316 7. Kako ocenjujete dnevni razpored obiska ekspertnih zunanjih evalvatorjev pri vas? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Razpored obiska je bil prenatrpan. b) Razpored obiska je bil glede na vsebino primeren. c) Obisk bi moral trajati manj časa. d) Obisk bi moral trajati več kot en dan. e) Drugo. (Prosimo, pojasnite.) .................................................................................. 8. Kako ocenjujete to, da ste na začetku ekspertne zunanje evalvacije morali pripraviti samooceno na področjih, ki so bila kasneje evalvirana? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) O tem nimam mnenja, to je bilo pač od nas zahtevano. b) Ne vidim prave koristi od tega dela, vzelo pa nam je veliko časa. c) Vse, kar smo morali opisati v samooceni, je zapisano že v drugih dokumentih orga nizacije in bi si to lahko ekspertni zunanji evalvatorji ogledali. d) Vse, kar smo morali opisati v samooceni, bi lahko povedali na razgovorih z ekspertnimi zunanjimi evalvatorji. e) Priprava samoocene je tudi nam pomagala, da smo tudi mi sami dobili boljši vpogled v raven kakovosti na področjih, ki so bila evalvirana. f ) S pripravo samoocene smo ekspertnim zunanjim evalvatorjem lahko bolj natančno in celovito prikazali, kaj vse delamo in kakšno raven kakovosti dosegamo na področjih, ki so bila evalvirana. g) Priprava samoocene je pripomogla k temu, da smo zbrali vse dokumente, ki so pomembni za vpogled v raven kakovosti na področjih, ki so bila evalvirana. h) Proces priprave samoocene je v organizaciji sprožil izmenjavo informacij med sodelavci o delu na področju kakovosti. i) Priprava samoocene nam je že v tej fazi ekspertne zunanje evalvacije jasneje pokazala, kje so naše prednosti, kje pa še nismo naredili dovolj. j) Drugo. (Prosimo, pojasnite.) .................................................................................. 317 9. Ali bi po tem, kar ste odgovorili pri prejšnjem vprašanju, priporočili, da priprava samoocene ostane izhodiščna točka ekspertne zunanje evalvacije? (Prosimo, označite odgovor. Mogoč je en odgovor.) a) Ne. b) Vseeno je. c) Da. 10. Kako pa ocenjujete to, da so vas ekspertni zunanji evalvatorji osebno obiskali, se pogovarjali z vami in vašimi sodelavci? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) O tem nimam mnenja, to je bilo pač od nas pričakovano. b) Ne vidim prave koristi od tega obiska, vzelo pa nam je veliko časa. c) Vse smo že zapisali v samooceni, zato obisk ni bil potreben. d) Ekspertni zunanji evalvatorji so si oceno o nas oblikovali že pred obiskom in jo kljub našim dodatnim argumentom niso spremenili, zato ne vidim prave koristi od obiska. e) To, da so nas ekspertni zunanji evalvatorji osebno obiskali, se mi zdi zelo dragoceno, saj smo lahko obširneje pojasnili naše procese in rezultate dela, kar v samooceni ni mogoče. f ) To, da so nas ekspertni zunanji evalvatorji osebno obiskali, se mi zdi zelo dragoceno, saj smo lahko razčistili nekatere nejasnosti, ki so jih ekspertni zunanji evalvatorji imeli ob prebiranju naše samoocene in pregledu dokumentov. g) Obisk ekspertnih zunanjih evalvatorjev je v organizaciji sprožil več razmislekov o naši kakovosti, tudi pri tistih, ki o tem do takrat še niso dovolj zavzeto razmišljali in tako tudi delovali. h) Mnogi sodelavci so sodelovanje na razgovorih ob obisku sprejeli kot priznanje in izraz zaupanja. i) Drugo. (Prosimo, pojasnite.) .................................................................................. 318 11. Ali bi po tem, kar ste odgovorili pri prejšnjem vprašanju, priporočili, da tudi v prihodnje v ekspertni zunanji evalvaciji izpeljujemo obiske v evalviranih organizacijah? (Prosimo, označite odgovor. Mogoč je en odgovor.) a) Ne. b) Vseeno je. c) Da. 12. Kako na splošno ocenjujete sodelovanje ekspertnih zunanjih evalvatorjev z vami? (Prosimo, da v vsaki vrstici označite svojo izbiro, pri čemer imejte v mislih vse evalvatorje, s katerimi ste sodelovali in poskušajte dati skupno oceno.) NEPRIMERNO. dELOMA PRIMERNO. PRIMERNO. Splošen odnos ekspertnih zunanjih evalvatorjev do vas. Strokovnost ekspertnih zunanjih evalvatorjev. Seznanjenost ekspertnih zunanjih evalvatorjev z vašo organizacijo. Natančnost pri proučevanju vaše samoocene in dokazil. Upoštevanje informacij, ki ste jim jih posredovali. Upoštevanje vaših argumentov. Njihova pripravljenost na pogovore. Njihovo spoštovanje sogovornikov. Njihova neodvisnost, objektivnost pri evalviranju. 13. Ali bi v zvezi s sodelovanjem ekspertnih zunanjih evalvatorjev z vami želeli sporočiti še kaj? (Prosimo, vpišite.) .................................................................................. 319 14. Kako ocenjujete postopek sprejemanja odločitev v ekspertni zunanji evalvaciji: ocena samoocene, ocena informacij, pridobljenih ob obisku (pogovori in ogledi), ter končna, združena ocena v poročilu? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Tak postopek ne doprinese k natančnejšim ugotovitvam, dovolj bi bila samo ocena samoocene. b) Tak postopek ne doprinese k natančnejšim ugotovitvam, dovolj bi bila samo ocena ugotovitev, ki jih evalvatorji dobijo s pogovori ob obisku. c) Tak postopek veliko doprinese k natančnejšim ugotovitvam, saj je izpolnjevanje meril vsestransko proučeno. d) Drugo. (Prosimo, pojasnite.) .................................................................................. 15. Zanima nas vaše mnenje o načinih posredovanja ugotovitev ekspertne zunanje evalvacije. Prve ugotovitve so ekspertni zunanji evalvatorji posredovali ustno na zaključnem srečanju ob obisku. Kaj menite o tem načinu? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Tak način ni primeren, ker smo bili po celodnevnem obisku preveč utrujeni, da bi lahko zbrano poslušali posredovane informacije. b) Tak način ni primeren, ker so bili ekspertni zunanji evalvatorji preveč pod vtisom posameznih razgovorov na obisku in posredovana informacija ni bila celovita. c) Tak način ni primeren, ker na zaključnem srečanju sodelujejo vsi intervjuvanci, posredovane informacije pa so take narave, da je bolje, če jih dobi ožji krog sodelavcev. d) Tak način ni primeren, ker je ustno posredovanje tolikih informacij preobsežno in ne daje pravega učinka. e) V redu je, da takoj po zaključku obiska dobimo prve informacije, kakšne so ugotovitve ekspertnih zunanjih evalvatorjev, četudi informacije takrat niso tako podrobne kot v kasnejšem pisnem poročilu. f ) V redu je, da sodelujoči na razgovorih, zlasti zaposleni, dobijo neposredno informacijo o ugotovitvah, še posebej zato, ker so poudarjeni tudi naši dobri dosežki, ne samo tisto, kjer se moramo še izboljšati. g) To je nekakšen zaključek večmesečnega dela in primerno je, da takrat takoj dobimo temeljne informacije o ugotovitvah. 320 h) Po večmesečnem poteku ekspertne zunanje evalvacije je to prvi odziv, ki ga dobi organizacija o svoji kakovosti in prav je, da se to zgodi na dan obiska, saj se na nek način sprostijo tako naša pričakovanja kot bojazni. i) Prav je, da organizacija temeljne informacije o ugotovitvah dobi ob zaključku obiska, saj lahko o njih razmisli do prejema pisnega poročila in je zato tudi pisno poročilo na nek način drugače sprejeto kot bi bilo morebiti sicer. j) Drugo. (Prosimo, pojasnite.) .................................................................................. 16. Ali bi po tem, kar ste odgovorili pri prejšnjem vprašanju, priporočili, da tudi v prihodnje v ekspertni zunanji evalvaciji ohranimo posredovanje prve ustne informacije o ugotovitvah v evalviranih organizacijah? (Prosimo, označite odgovor. Mogoč je en odgovor.) a) Ne. b) Vseeno je. c) Da. 17. Ustnemu poročilu o ugotovitvah na dan obiska sledi predlog pisnega poročila, ki ga organizacija dobi z namenom, da ekspertnim zunanjim evalvatorjem posreduje še morebitne dodatne argumente ali razčisti nejasnosti. Kaj menite o tem? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) To se mi zdi nepotrebno, saj so ekspertni zunanji evalvatorji že dobili vse informacije, ki jih potrebujejo, na njihove interpretacije pa ne moremo vplivati. b) To se mi zdi nepotrebno, saj ekspertni zunanji evalvatorji ne upoštevajo dodatnih informacij in ostajajo pri svojih ocenah. c) To se mi zdi nepotrebno, saj imajo ekspertni zunanji evalvatorji pač svoje mnenje, mi pa že vemo, kako je v resnici. d) To se mi zdi nepotrebno, poročilo je pač tako kot je, na nas pa je, da ga čim bolje izkoristimo za naš nadaljnji razvoj. e) To se mi zdi dobro, saj tako lahko dodamo še kakšen argument, če vidimo, da bi bilo to za sprejem končnih zaključkov dobro. f ) To se mi zdi dobro, saj tako lahko razčistimo še kakšno nejasnost, če vidimo, da bi bilo to za sprejem končnih zaključkov dobro. 321 g) To se mi zdi dobro, saj smo na ta način lahko vplivali na vsebino končnega poročila. h) To se mi zdi dobro, saj se na ta način ohranja partnerski odnos v ekspertni zunanji evalvaciji med našo organizacijo in Andragoškim centrom Slovenije. i) Drugo. (Prosimo, pojasnite.) .................................................................................. 18. Ali bi po tem, kar ste odgovorili pri prejšnjem vprašanju, priporočili, da tudi v prihodnje v ekspertni zunanji evalvaciji ohranimo posredovanje predloga poročila o ugotovitvah organizaciji na vpogled in morebiten odziv? (Prosimo, označite odgovor. Mogoč je en odgovor.) a) Ne. b) Vseeno je. c) Da. 19. Končno pisno poročilo vsebuje več sestavin. Zanima nas, kaj menite o tabelaričnem pregledu meril pri posameznih kazalnikih, ki so bili evalvirani, in oznakah, ali ste merila dosegli ali ne oz. ste jih dosegli deloma? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Nimam mnenja. b) Tabelarični pregled doseganja meril ne pove veliko, zato ni potreben. c) Tabelarični pregled doseganja meril je dober pokazatelj ugotovitev, ki so kasneje v poročilu podrobneje predstavljena. d) Tabelarični pregled doseganja meril je za nas bistvena informacija, saj pove, katero merilo dosegamo, katero ne in katero deloma. e) Drugo. (Prosimo, pojasnite.) .................................................................................. 322 20. Kaj menite o tem, da končno poročilo vsebuje pregled dobrih točk, ki so bile zaznane pri evalvaciji pri posameznih evalviranih področjih? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Pregled dobrih točk obremenjuje poročilo, ki je zato daljše, bistveno je tisto, kjer se moramo še izboljšati. b) Pregled dobrih točk je zelo dobrodošel, saj nam sporoča, kaj delamo dobro in moramo še naprej ohranjati. c) Drugo. (Prosimo, pojasnite.) .................................................................................. 21. Kaj menite o tem, da končno poročilo vsebuje pregled šibkih točk, ki so bile zaznane pri evalvaciji pri posameznih evalviranih področjih? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Pregled šibkih točk je prepodroben in ne daje usmeritev, česa naj se najprej lotimo. b) Pregled šibkih točk je zelo dobrodošel, saj nam daje usmeritve, kje se moramo še izboljšati in kam moramo usmeriti svoje aktivnosti. c) Drugo. (Prosimo, pojasnite.) .................................................................................. 22. Kaj menite o tem, da končno poročilo vsebuje predloge za izboljšave? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Predlogi za izboljšave niso uporabni, ker zunanji ekspertni evalvatorji premalo poznajo razmere v naši organizaciji in njenem okolju. b) Predlogi za izboljšave so zelo dobrodošli, saj nam dovolj konkretno povedo, kaj kaže vpeljati, narediti, da bi dosegli še boljše rezultate pri svojem delu za kakovost izobraževanja odraslih. c) Drugo. (Prosimo, pojasnite.) .................................................................................. 323 23. Kako bi na splošno ocenili učinke izpeljane ekspertne zunanje evalvacije pri vas? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Bistvenega vpliva na naše delo ni imela, delamo to, kar smo že sami načrtovali. b) Naša pričakovanja o tem, kaj nam bo prinesla ekspertna zunanja evalvacija se niso uresničila, rezultati niso zelo uporabni. c) Ekspertna zunanja evalvacija je vplivala, da smo na nekaterih področjih malo prilagodili svoje delovanje, v glavnem pa delamo tako, kot smo že prej sami načrtovali. d) Naša pričakovanja o tem, kaj nam bo prinesla ekspertna zunanja evalvacija, so se uresničila le delno. e) Ekspertna zunanja evalvacija je kar pomembno vplivala na naše delovanje, okrepili smo nekatere svoje dobre točke, deloma pa smo že pristopili k odpravljanju šibkih točk, tudi s pomočjo usmeritev, ki smo jih dobili. f ) Ekspertna zunanja evalvacija je zelo pomembno vplivala na naše delovanje, okrepili smo svoje dobre točke, načrtno smo pristopili k odpravljanju šibkih točk, tudi s pomočjo usmeritev, ki smo jih dobili. g) Naša pričakovanja o tem, kaj nam bo prinesla ekspertna zunanja evalvacija so se v celoti uresničila. h) Drugo. (Prosimo, pojasnite.) .................................................................................. 24. Ali opažate še kakšne druge splošne pozitivne učinke izpeljane ekspertne zunanje evalvacije? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Smo bolj samozavestni glede kakovosti svojega dela. b) Še bolj zagnano delamo na področju kakovosti. c) Večkrat se pogovarjamo o kakovosti. d) Usposabljamo se za delo na področju kakovosti. e) Bolje smo se organizirali za delo na področju kakovosti. f ) Bolje smo uredili dokumentacijo v zvezi z našim delom na področju kakovosti. g) Vzpostavili smo dobre delovne stike z nekaterimi drugimi organizacijami, v kate rih je tudi potekala ekspertna zunanja evalvacija. 324 h) Vzpostavili smo dobre delovne stike z nekaterimi drugimi organizacijami, ki veliko delajo na področju razvoja kakovosti. i) Vključili smo se v nacionalne in/ali mednarodne projekte o kakovosti. j) Nič o tega. k) Drugo. (Prosimo, pojasnite.) .................................................................................. 25. Ali opažate tudi kakšne splošne negativne učinke izpeljane ekspertne zunanje evalvacije? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Smo zaskrbljeni, koliko dela naš še čaka pri razvoju kakovosti. b) Ni nam vseeno, ker nismo dosegli prav dobrih rezultatov, to nas demotivira. c) Razočarani smo, naša predstava o naši kakovosti je drugačna. d) Rezultati niso dobro vplivali na odnose v kolektivu. e) Rezultati niso dobro vplivali na odnose med vodstvom in zaposlenimi. f ) Rezultati niso dobro vplivali na odnose v komisiji za kakovost. g) Postali smo negotovi, kaj bi pravzaprav morali narediti na področju kakovosti. h) Nič o tega. i) Drugo. (Prosimo, pojasnite.) .................................................................................. 26. Kakšne učinke je pri vas imel pregled ugotovljenih dobrih točk iz poročila o izpeljani ekspertni zunanji evalvaciji? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Veseli smo, da so jih ekspertni zunanji evalvatorji zaznali in na teh področjih delamo še naprej tako kot doslej. b) Analizirali smo, katera naša ravnanja so privedla do dobrih rezultatov in smo jih še okrepili. c) O ugotovljenih dobrih točkah smo se pogovorili v kolektivu in dali priznanje tistim, ki so prispevali k takim ocenam. 325 d) O ugotovljenih dobrih točkah smo se pogovorili v kolektivu in usmerili vse zaposlene in zunanje sodelavce, da ravnajo tako, da jih ohranimo in še razvijemo. e) Drugo. (Prosimo, pojasnite.) .................................................................................. 27. Kakšne učinke je pri vas imel pregled ugotovljenih šibkih točk iz poročila o izpeljani ekspertni zunanji evalvaciji? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Ne strinjamo se z ugotovljenimi šibkimi točkami, zato ni imel nobenih učinkov. b) Bistvenih učinkov ni, še naprej delamo tako kot doslej. c) Analizirali smo, katera naša ravnanja so privedla do teh rezultatov in jih zdaj posto poma odpravljamo. d) Drugo. (Prosimo, pojasnite.) .................................................................................. 28. Kakšne učinke so pri vas imeli predlogi za izboljšave iz poročila o izpeljani ekspertni zunanji evalvaciji? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Predlogi za izboljšave niso bili primerni/uresničljivi. b) Bistvenih učinkov ni, še naprej delamo tako kot doslej. c) Predlogi za izboljšave so nam v mnogih primerih pomagali, da smo našli rešitve ali vpeljali ravnanja, ki jih dotlej nismo poznali ali pa se nanje nismo spomnili. d) Drugo. (Prosimo, pojasnite.) .................................................................................. 326 29. Prosimo, da na kratko, a konkretno, naštejete vse ukrepe, ravnanja, rezultate, ki ste jih po izpeljani ekspertni zunanji evalvaciji na podlagi priporočil vpeljali/ izvedli: (Prosimo, naštejte na kratko.) .................................................................................. 30. Ali bi nam v zvezi z izpeljano ekspertno zunanjo evalvacijo ali zunanjimi ekspertnimi evalvacijami na sploh želeli sporočiti še kaj? (Prosimo, vpišite.) .................................................................................. 327 Priloga 5 ANKETA za ekspertne zunanje evalvatorje Pojasnila in navodila: S to anketo želimo pridobiti vaše mnenje o ekspertnih zunanjih evalvacijah, ki jih v zadnjih letih izpeljujemo v izobraževanju odraslih. Vaše mnenje nam je še posebej pomembno, saj sami delujete kot ekspertni zunanji evalvator. Zanima nas, kakšne so vaše izkušnje, kaj se vam zdi primernega ali neprimernega pri načinu izpeljave evalvacije, kakšne učinke imajo po vašem mnenju evalvacije, pa tudi to, ali menite, da bi kazalo take evalvacije obdržati tudi v prihodnje. Anketa je pisana v moški obliki, velja pa tako za ženske kot moške anketirance. Anketa ima od 12 do 25 vprašanj, odvisno od tega, kakšne odgovore boste izbrali pri nekaterih začetnih vprašanjih. Nekatera vprašanja v nadaljevanju se namreč „skrijejo“, če ste predhodno izbrali odgovor, ki že pojasnjuje tisto, kar sprašujemo s temi vprašanji. Zato v nekaterih primerih vprašanja ne bodo oštevilčena zaporedno, kar naj vas ne zmoti. Vsako vprašanje ima navodilo, kakšen način izpolnjevanja se od vas pričakuje. Pri vprašanjih, kjer je možnih več odgovorov, se takrat, ko izberete nekatera vprašanja, avtomatično skrijejo odgovori, ki bi bili v takem primeru nelogični. Če želite svojo izbiro popraviti, ponovno kliknite na izbrani odgovor in znova se vam bodo prikazali vsi možni odgovori. Pod vsakim vprašanjem je gumb „NASLEDNJA STRAN“, s pomočjo katerega se premaknete na naslednje vprašanje. To ne bo mogoče, če ne boste odgovorili na vprašanje, ker je večina vprašanj takih, da od vas zahtevajo odgovor. Svetujemo vam, da anketo izpolnite do konca naenkrat, čeprav obstaja možnost, da jo izpolnite samo deloma in z delom nadaljujete po krajšem času. Izpolnjevanje je anonimno, vaši odgovori bodo prikazani anonimno, združeno z odgovori ostalih anketirancev. Hvala za vaše odgovore, prav gotovo nam bodo v veliko pomoč pri nadaljnjem razvoju ekspertnih zunanjih evalvacij v omrežju izvajalcev izobraževanja odraslih! Andragoški center Slovenije 328 1. dosedanji ekspertni zunanji evalvatorji ste bili povečini izbrani na podlagi javnega razpisa, nekaj med vami pa jih je bilo v kasnejši fazi tudi osebno povabljenih k sodelovanju. Kaj menite o takem načinu izbora ekspertnih zunanjih evalvatorjev? (Prosimo, označite odgovor in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Nimam mnenja. b) O tem naj odloča nosilec ekspertnih zunanjih evalvacij (ACS). c) Primerno se mi zdi, da se ekspertne zunanje evalvatorje pridobi na podlagi javnega razpisa z opredeljenimi kriteriji. d) Primerno se mi zdi, da se ekspertne zunanje evalvatorje pridobi na podlagi osebne ga povabila na podlagi referenc posameznika. e) Dosedanji način izbora ( javni razpis in/ali povabilo) se mi zdi primeren. f ) Po mojem mnenju bi moral biti izbor ekspertnih zunanjih evalvatorjev naslednji: (Prosimo, pojasnite.) .................................................................................. 2. Kaj menite o temeljnem in nadaljevalnih spopolnjevanjih (organiziranih vsako leto pred začetkom evalvacije), ki jih za vas organizira Andragoški center Slovenije? (Prosimo, označite ustrezne odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Temeljno in nadaljevalna usposabljanja za ekspertne zunanje evalvatorje niso potrebna. b) Temeljno usposabljanje za ekspertne zunanje evalvatorje ni potrebno. c) Temeljno usposabljanje za ekspertne zunanje evalvatorje ni potrebno v primeru, če so se ti že udeležili usposabljanja pri kakšni drugi inštituciji. d) Temeljno usposabljanje se mi zdi nujno. e) Nadaljevalna spopolnjevanja za ekspertne zunanje evalvatorje niso potrebna. f ) Nadaljevalna spopolnjevanja so potrebna, da razčiščujemo situacije iz prakse in se seznanimo z novostmi. g) Menim, da so potrebna tako temeljno kot nadaljevalna usposabljanja. h) Drugo. (Prosimo, pojasnite.) .................................................................................. 329 3. Kaj menite o vsebinah usposabljanja (temeljnega in nadaljevalnih), ki jih za vas organizira Andragoški center Slovenije? (Prosimo, označite ustrezne odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Vsebine so neprimerne, ne dajo zadostnega znanja za opravljanje te vloge. b) Vsebine so deloma primerne, nekatere teme bi lahko izpustili, nekatere druge pa dodali. c) Vsebine so primerne, nudijo zadostno znanje za opravljanje te vloge. d) Drugo. (Prosimo, pojasnite.) .................................................................................. 4. Ker ste na prejšnje vprašanje odgovorili, da se vam zdijo vsebine usposabljanja (temeljnega in nadaljevalnih) pomanjkljive, deloma primerne ali odvečne, vas prosimo, da navedete, kaj pogrešate oz. kaj se vam zdi odveč. (Prosimo, označite ustrezne odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Pomanjkljive teme ali teme, ki jih pogrešam: (Prosimo, naštejte.) .................................................................................. b) Odvečne teme: (Prosimo, naštejte.) .................................................................................. 5. Kaj menite o evalvacijski delavnici, ki je organizirana po izpeljani ekspertni zunanji evalvaciji? (Prosimo, označite ustrezen odgovor in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Evalvacijska delavnica je nepotrebna. b) Evalvacijska delavnica je po mojem mnenju sicer dobrodošla, šlo bi pa tudi brez nje. c) Evalvacijska delavnica je nujna, saj na njej ovrednotimo izpeljani proces in se iz izkušenj drugih tudi učimo. d) Drugo. (Prosimo, pojasnite.) .................................................................................. 330 6. Kako ocenjujete navodila in dogovore za izpeljavo evalvacije, ki jih evalvatorji sprejmete oz. dobite na spopolnjevanju, ki ga Andragoški center Slovenije organizira pred začetkom izpeljave vsakokratne evalvacije? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Navodila in dogovori pred začetkom vsakokratne evalvacije niso potrebna, ker le-te potekajo po dogovorjenem načinu, ki smo ga spoznali na temeljnem usposabljanju. b) Vse potrebne informacije o poteku in organizaciji pred začetkom vsakokratne evalvacije bi lahko pridobil pisno in/ali po telefonu. c) Nujno je, da bi pred začetkom vsakokratne evalvacije dobili konkretne informacije o tem, kako bo potekala ekspertna zunanja evalvacija, vendar to ni zagotovljeno v zadostni meri. d) Pred začetkom vsakokratne evalvacije dobim kakovostne konkretne informacije o tem, kako bo potekala ekspertna zunanja evalvacija. e) Nujno je, da bi pred začetkom izvajanja ekspertne zunanje evalvacije razčistili dileme, ki jih imamo, vendar to ni zagotovljeno v zadostni meri. f ) Pred začetkom vsakokratnega izvajanja ekspertne zunanje evalvacije razčistimo dileme, ki jih imamo in to se mi zdi dobro. g) Pred začetkom vsakokratne evalvacije bi morali osvežiti znanje, ki smo ga pridobili v preteklih letih, vendar to ni zagotovljeno v zadostni meri. h) Pred začetkom vsakokratne evalvacije je dobro poskrbljeno za osvežitev znanja, ki smo si ga pridobili v preteklih letih. i) Pred začetkom vsakokratne evalvacije bi se morali (ponovno) pogovoriti o merilih, ki jih uporabljamo pri vrednotenju, in o morebitnih novostih, vendar to ni zagotovljeno. j) Pred začetkom vsakokratne evalvacije je dobro to, da se (ponovno) pogovorimo o merilih, ki jih bomo uporabljali pri vrednotenju in o morebitnih novostih. k) Drugo. (Prosimo, pojasnite.) .................................................................................. 331 7. Pred začetkom vsakokratne evalvacije se dogovorimo, na kakšen način bomo ocenjevali samooceno organizacije; v ta namen prejmete pregled področij s kazalniki in merili, obrazec, s pomočjo katerega ocenjujete samooceno ter organizacijska navodila, kako bo ocenjevanje potekalo. Ali so pripomočki za delo in navodila za pripravo samoocene primerna? (Prosimo, označite odgovor in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Ne, niti navodila niti pripomočki niso primerni. b) Navodila so primerna, pripomočki pa ne. c) Navodila so primerna, pripomočki pa deloma. d) Pripomočki so primerni, navodila pa ne. e) Pripomočki so primerni, navodila pa deloma. f ) Tako navodila kot pripomočki so deloma primerni. g) Tako navodila kot pripomočki so primerni, jasno vem, kaj bo treba pripraviti in po kakšnem postopku. h) Drugo. (Prosimo, pojasnite.) .................................................................................. 8. Na spopolnjevanju pred začetkom vsakokratne evalvacije se pogovorimo tudi o ocenjevanju dokazil. So bila doslej navodila v zvezi z ocenjevanjem dokazil primerna? (Prosimo, označite odgovor in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Ne, sploh mi ni bilo jasno, kako naj bi ocenjeval posamezna dokazila. b) Deloma, načelno sem vedel, kako naj bi ocenjeval dokazila, a marsikaj mi še ni bilo jasnega. c) Da, navodila v zvezi z ocenjevanjem dokazil so bila povsem jasna. d) Drugo. (Prosimo, pojasnite.) .................................................................................. 332 9. Po oceni samoocene sledi priprava in usklajevanje vprašalnikov za obiske. Ali takrat dobite dovolj jasna navodila, kaj morate vi narediti v zvezi z njimi? (Prosimo, označite odgovor in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Ne. b) Da. c) Drugo. (Prosimo, pojasnite.) .................................................................................. 10. Fazi priprave vprašalnikov sledi priprava evalvacijskega obiska. Ali dobite dovolj jasna navodila, kako naj bi obisk potekal, kaj morate pripraviti v zvezi z njim in kakšna bo vaša vloga? (Prosimo, označite odgovor in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Ne, navodila niso dovolj jasna. b) Navodila so jasna le deloma, zato moram dodatne informacije poiskati pri koordi natorju z ACS. c) Da, navodila so povsem jasna. d) Drugo. (Prosimo, pojasnite.) .................................................................................. 11. Po opravljenem obisku se pripravljajo zapisniki pogovorov. Ali dobite dovolj jasna navodila, kaj morate vi narediti v zvezi z njimi? (Prosimo, označite odgovor in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Ne, navodila niso dovolj jasna. b) Navodila so jasna le deloma, zato moram dodatne informacije poiskati pri koordi natorju z ACS. c) Da, navodila so povsem jasna. d) Drugo. (Prosimo, pojasnite.) .................................................................................. 333 12. Ob zaključku ekspertne zunanje evalvacije se pripravlja poročilo o izvedeni ekspertni zunanji evalvaciji v dveh fazah: predlog poročila, ki gre na vpogled evalvirani organizaciji in končno poročilo. Ali so navodila, kaj morate vi narediti v zvezi z njima, dovolj jasna? (Prosimo, označite odgovor in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Ne, navodila niso dovolj jasna. b) Navodila so jasna le deloma, zato moram dodatne informacije poiskati pri koordi natorju z ACS. c) Da, navodila so povsem jasna. d) Drugo. (Prosimo, pojasnite.) .................................................................................. 13. Zanima nas, kako ocenjujete letni razpored poteka ekspertne zunanje evalvacije? (Prosimo, da v vsaki vrstici označite, kako primeren se vam je zdel opredeljeni čas, pri čemer upoštevajte vse ekspertne zunanje evalvacije, v katerih ste sodelovali in podajte splošno oceno.) NEPRIMER NO. dELOMA PRIMERNO. PRI MERNO. Obdobje v letu, v katerem je organizirano vsakoletno spopolnjevanje. Obseg časa, ki je namenjen oceni samoocene. Obdobje v letu, v katerem poteka ocenjevanje samoocene. Obseg časa, ki je namenjen pripravi vprašalnikov. Obdobje v letu, v katerem poteka priprava vprašalnikov. Obdobje v letu, v katerem poteka obisk. Obseg časa, ki je na razpolago za pripravo zapisnikov. Obseg časa, ki je na razpolago za pripravo predloga končnega poročila o ugotovitvah ekspertne zunanje evalvacije. Obseg časa, ki je na razpolago za pripravo končnega poročila o ugotovitvah ekspertne zunanje evalvacije. Obdobje v letu, ko je organizirana zaključna evalvacijska delavnica. Celoten obseg časa poteka ekspertne zunanje evalvacije. 334 14. Prosimo vas, da v vseh tistih primerih, ko ste se pri prejšnjem vprašanju odločili za oceno »Neprimerno.« ali »deloma primerno.« obrazložite svojo izbiro. (Prosimo, vpišite.) .................................................................................. 15. Kako na splošno ocenjujete dnevni razpored obiska ekspertnih zunanjih evalvatorjev v izobraževalni organizaciji? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov. Če ste sodelovali na več evalvacijskih obiskih, upoštevajte vse in oblikujte splošno oceno.) a) Razpored obiska je vsebinsko prenatrpan. b) Razpored obiska je glede na vsebino primeren. c) Obisk bi moral trajati manj časa. d) Obisk bi moral trajati več kot en dan. e) Drugo. (Prosimo, pojasnite.) .................................................................................. 16. Kako ocenjujete to, da se na začetku ekspertne zunanje evalvacije pripravi samooceno na področjih, ki so kasneje evalvirana? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) O tem nimam mnenja, to je tako načrtovano na Andragoškem centru Slovenije. b) Ne vidim prave koristi od tega, ocenjevanje samoocene pa nam vzame veliko časa. c) Vse, kar je opisano v samooceni, je zapisano že v drugih dokumentih organizacije in bi si to lahko ogledali tam. d) Vse, kar piše v samooceni, bi lahko izvedeli na razgovorih v organizaciji. e) Samoocena nam pomaga, da dobimo boljši vpogled v raven kakovosti na podro čjih, ki so evalvirana. f ) Samoocena natančno in celovito prikaže, kaj vse delajo v organizaciji in kakšno raven kakovosti dosegajo na področjih, ki so evalvirana. g) Priprava samoocene pripomore k temu, da se zberejo vsi dokumenti, ki so pomembni za vpogled v raven kakovosti na področjih, ki so evalvirana. 335 h) Samoocena nam je že v tej fazi ekspertne zunanje evalvacije jasneje pokaže, kje so prednosti organizacije, kje pa še niso naredili dovolj. i) Drugo. (Prosimo, pojasnite.) .................................................................................. 17. Ali bi po tem, kar ste odgovorili pri prejšnjem vprašanju, priporočili, da priprava samoocene ostane izhodiščna točka ekspertne zunanje evalvacije? (Prosimo, označite odgovor. Mogoč je en odgovor.) a) Ne. b) Vseeno je. c) Da. 18. Kako pa ocenjujete to, da osebno obiščete evalvirano organizacijo, se pogovarjate z njenimi sodelavci? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) O tem nimam mnenja, to je tako načrtovano na Andragoškem centru Slovenije. b) Ne vidim prave koristi od tega obiska, vzame pa nam veliko časa. c) Vse je že zapisano v samooceni, zato obisk ni potreben. d) To, da osebno obiščemo organizacijo, se mi zdi zelo dragoceno, saj nam organi zacija lahko obširneje pojasni svoje procese in rezultate dela, kar v samooceni ni mogoče. e) To, da osebno obiščemo organizacijo, se mi zdi zelo dragoceno, saj lahko razčistimo morebitne nejasnosti, ki jih imamo ob prebiranju samoocene in pregledu dokumentov. f ) Drugo. (Prosimo, pojasnite.) .................................................................................. 336 19. Ali bi po tem, kar ste odgovorili pri prejšnjem vprašanju, priporočili, da tudi v prihodnje v ekspertni zunanji evalvaciji izpeljujemo obiske v evalviranih organizacijah? (Prosimo, označite odgovor. Mogoč je en odgovor.) a) Ne. b) Vseeno je. c) Da. 20. Kako ocenjujete sodelovanje evalviranih organizacij z vami, pri čemer vas prosimo, da upoštevate večinske razmere v vseh doslej evalviranih organizacijah? (Prosimo, da v vsaki vrstici označite, kako primerno se vam je zdelo sodelovanje.) NEPRIMERNO. dELOMA PRIMERNO. ZELO PRIMERNO. Splošen odnos vodstva organizacije do vas. Splošen odnos drugih sodelavcev organizacije do vas. Izbor vaših sogovornikov. Informiranost vaših sogovornikov o namenu evalvacije in njihovi vlogi. Pripravljenost vaših sogovornikov za odkrite pogovore. Pripravljenost organizacije za ogled dodatnih dokazil, prostorov in opreme. Spoštovanje evalvatorjev. 21. Ali bi želeli v zvezi s sodelovanjem evalviranih organizacij z vami povedati še kaj? (Prosimo, vpišite.) .................................................................................. 337 22. Kako ocenjujete postopek sprejemanja odločitev v ekspertni zunanji evalvaciji: ocena samoocene, ocena informacij, pridobljenih ob obisku (pogovori in ogledi), ter končna, združena ocena v poročilu? (Prosimo, označite odgovor in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Tak postopek ne doprinese k natančnejšim ugotovitvam, dovolj bi bila samo ocena samoocene. b) Tak postopek ne doprinese k natančnejšim ugotovitvam, dovolj bi bila samo ocena ugotovitev, ki jih dobimo na pogovorih. c) Tak postopek veliko doprinese k natančnejšim ugotovitvam, saj je izpolnjevanje meril vsestransko proučeno. d) Drugo. (Prosimo, pojasnite.) .................................................................................. 23. Zanima nas vaše mnenje o načinih posredovanja ugotovitev ekspertne zunanje evalvacije. Prve ugotovitve ekspertni zunanji evalvatorji posredujejo ustno na zaključnem srečanju ob obisku. Kaj menite o tem načinu? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Tak način ni primeren, ker smo po celodnevnem obisku preveč utrujeni, da bi lahko zbrano posredovali informacije. b) Tak način ni primeren, ker imamo po celodnevnih razgovorih premalo časa, da bi lahko celovito presodili pridobljene informacije. c) Tak način ni primeren, ker so po celodnevnem obisku sodelavci organizacije preveč utrujeni, da bi lahko zbrano poslušali informacije. d) Tak način ni primeren, ker smo morebiti preveč pod vtisom posameznih razgovorov na obisku in posredovana informacija ni celovita. e) Tak način ni primeren, ker je ustno posredovanje tolikih informacij preobsežno in ne daje pravega učinka. f ) V redu je, da takoj po zaključku obiska posredujemo prve informacije, kakšne so ugotovitve, četudi informacije takrat niso tako podrobne kot v kasnejšem pisnem poročilu. g) V redu je, da sodelujoči na razgovorih, zlasti zaposleni, dobijo neposredno informacijo o ugotovitvah, še posebej zato, ker so poudarjeni tudi dobri dosežki, ne samo šibke točke. h) To je nekakšen zaključek večmesečnega dela in primerno je, da takrat takoj posredujemo temeljne informacije o ugotovitvah. 338 i) Po večmesečnem poteku ekspertne zunanje evalvacije je to prvi odziv, ki ga dobi organizacija o svoji kakovosti in prav je, da se to zgodi na dan obiska, saj se na nek način sprostijo tako njihova pričakovanja kot bojazni. j) Prav je, da organizacija temeljne informacije o ugotovitvah dobi ob zaključku obiska, saj lahko o njih razmisli do prejema pisnega poročila in je zato tudi pisno poročilo na nek način drugače sprejeto kot bi bilo morebiti sicer. k) Drugo. (Prosimo, pojasnite.) .................................................................................. 24. Ali bi po tem, kar ste odgovorili pri prejšnjem vprašanju, priporočili, da tudi v prihodnje v ekspertni zunanji evalvaciji ohranimo posredovanje prve ustne informacije o ugotovitvah v evalviranih organizacijah? (Prosimo, označite odgovor. Mogoč je en odgovor.) a) Ne. b) Vseeno je. c) Da. 25. Ustnemu poročilu o ugotovitvah na dan obiska sledi predlog pisnega poročila, ki ga organizacija dobi z namenom, da ekspertnim zunanjim evalvatorjem posreduje še morebitne dodatne argumente ali razčisti nejasnosti. Kaj menite o tem? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) To se mi zdi nepotrebno, saj smo ekspertni zunanji evalvatorji že dobili vse informacije, ki jih potrebujemo, na naše interpretacije pa organizacija ne more vplivati. b) To se mi zdi dobro, saj tako lahko dobimo še kakšen argument, in presodimo, ali je to pomembno za sprejem končnih zaključkov. c) To se mi zdi dobro, saj tako lahko razčistimo še kakšno nejasnost, in presodimo, ali je to pomembno za sprejem končnih zaključkov. d) To se mi zdi dobro, saj se na ta način ohranja partnerski odnos, ki je značilen za ekspertno zunanjo evalvacijo, kakor jo doslej izvaja Andragoški center Slovenije. e) Drugo. (Prosimo, pojasnite.) .................................................................................. 339 26. Ali bi po tem, kar ste odgovorili pri prejšnjem vprašanju, priporočili, da tudi v prihodnje v ekspertni zunanji evalvaciji ohranimo posredovanje predloga poročila o ugotovitvah organizaciji na vpogled in morebiten odziv? (Prosimo, označite odgovor. Mogoč je en odgovor.) a) Ne. b) Vseeno je. c) Da. 27. Končno pisno poročilo vsebuje več sestavin. Zanima nas, kaj menite o tabelaričnem pregledu meril pri posameznih kazalnikih, ki so bili evalvirani, in oznakah, ali je organizacija ta merila dosegla ali ne oz. jih je dosegla deloma? (Prosimo, označite odgovor in dopišite, če je tako zahtevano. Mogoč je en odgovor.) a) Nimam mnenja. b) Tabelarični pregled doseganja meril ne pove veliko, zato ni potreben. c) Tabelarični pregled doseganja meril je dober pokazatelj ugotovitev, ki so kasneje v poročilu podrobneje predstavljena. d) Drugo. (Prosimo, pojasnite.) .................................................................................. 28. Kaj menite o tem, da končno poročilo vsebuje pregled dobrih in šibkih točk ter predloge za izboljšave? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Pregled dobrih točk obremenjuje poročilo, ki je zato daljše, bistveno je tisto, kjer se mora organizacija še izboljšati. b) Pregled šibkih točk je prepodroben in ne daje usmeritev, česa naj se organizacija najprej loti. c) Predlogi za izboljšave niso uporabni, ker premalo poznamo razmere v posamezni organizaciji in njenem okolju. d) Pregled dobrih točk je dobrodošel, saj organizaciji sporoča, kaj dela dobro in mora še naprej ohranjati. e) Pregled šibkih točk je dobrodošel, saj organizaciji daje usmeritve, kje se mora še izboljšati in kam mora usmeriti svoje aktivnosti. 340 f ) Predlogi za izboljšave so dobrodošli, saj dovolj konkretno povedo, kaj kaže vpeljati, narediti, da bi v organizaciji dosegli še boljše rezultate pri njihovem delu za kakovost izobraževanja odraslih. g) Drugo. (Prosimo, pojasnite.) .................................................................................. 29. Kakšne učinke ima po vašem mnenju pregled ugotovljenih dobrih točk iz poročila o izpeljani ekspertni zunanji evalvaciji? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Kakšnih posebnih učinkov ta pregled verjetno nima. b) Organizaciji sporoča, da marsikaj delajo dobro in jih to motivira. c) Organizaciji omogoča, da analizira, katera njihova ravnanja so privedla do dobrih rezultatov in bi jih lahko še okrepili. d) Drugo. (Prosimo, pojasnite.) .................................................................................. 30. Kakšne učinke ima po vašem mnenju pregled ugotovljenih šibkih točk iz poročila o izpeljani ekspertni zunanji evalvaciji? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Organizacije se po navadi ne strinjajo z ugotovljenimi šibkimi točkami, zato nimajo nobenih učinkov. b) Bistvenih učinkov ni, v organizacijah še naprej delajo tako kot doslej. c) Organizacija analizira, katera njihova ravnanja so privedla do teh rezultatov in jih postopoma odpravlja. d) Drugo. (Prosimo, pojasnite.) .................................................................................. 341 31. Kakšne učinke imajo po vašem mnenju predlogi za izboljšave iz poročila o izpeljani ekspertni zunanji evalvaciji? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Predlogi za izboljšave se zdijo organizacijam neprimerni/neuresničljivi. b) Bistvenih učinkov ni, še naprej delajo tako kot doslej. c) Predlogi za izboljšave v mnogih primerih organizacijam pomagajo, da najdejo re šitve ali vpeljejo ravnanja, ki jih dotlej niso poznali ali pa se nanje niso spomnili. d) Drugo. (Prosimo, pojasnite.) .................................................................................. 32. Zanima nas vaše mnenje, ali ekspertne zunanje evalvacije vplivajo na razvoj izobraževanja odraslih nasploh? (Prosimo, da v vsaki vrstici označite, kaj menite.) NE. NE VEM. dA. Razvoj metodologije ekspertne zunanje evalvacije vpliva tudi na razvoj metodologije za pridobitev Zelenega znaka kakovosti v izobraževanju odraslih. Izvedene ekspertne zunanje evalvacije doprinašajo k razvoju strokovnih rešitev o zunanjih evalvacijah v izobraževanju odraslih. Ekspertna zunanja evalvacija doprinaša k razvoju področij kakovosti, ki jih drugi modeli kakovosti v izobraževanju odraslih ne poznajo (npr. razvojna usmerjenost organizacije). Ekspertna zunanja evalvacija je doprinesla k predlogom za izboljšanje zakonske ureditve izobraževanja odraslih na področju kakovosti. Ekspertna zunanja evalvacija je doprinesla k računalniški razvitosti orodij na področju kakovosti izobraževanja odraslih. Področja kakovosti, ki jih vsebuje ekspertna zunanja evalvacija, doprinašajo k povečani pozornosti organizacij do kakovosti na teh področjih (notranji sistem kakovosti, razvojna usmerjenost organizacije…). Področja kakovosti, ki jih vsebuje ekspertna zunanja evalvacija, doprinašajo k razvoju strokovnih pristopov in praktičnih rešitev v organizacijah v zvezi s kakovostjo na doslej evalviranih področjih. 342 33. Zanima nas vaše mnenje, kakšna naj bi bila vloga ekspertnih zunanjih evalvacij v izobraževanju odraslih v prihodnje? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Premalo poznam, da bi imel stališče. b) Menim, da so nepotrebne. c) Naj ostanejo na prostovoljni osnovi kot doslej – organizacija, ki želi zunanjo eval vacijo, se za to sama odloči. d) Ekspertne zunanje evalvacije naj postanejo za vse organizacije, ki izvajajo javno službo in/ali javne programe izobraževanja odraslih, obvezne v določenih časovnih intervalih. e) Drugo. (Prosimo, pojasnite.) .................................................................................. 34. Zanima nas vaše mnenje, kakšen naj bi bil razvoj ekspertnih zunanjih evalvacij v izobraževanju odraslih v prihodnje? (Prosimo, označite odgovore in dopišite, če je tako zahtevano. Mogočih je več odgovorov.) a) Premalo poznam, da bi imel stališče. b) Menim, da so nepotrebne. c) Naj ostanejo podobne kot doslej – obsegajo evalvacijo enega ali dveh področij, ta pa so evalvirana dokaj natančno. d) Naj ostanejo podobne kot doslej – vendar naj bodo vsa področja na izbiro organi zacijam, ne pa da je vedno obvezno področje notranji sistem kakovosti. e) Razširiti bi morali možen izbor področij, ki jih organizacija izbira za evalvacijo. f ) Ekspertne zunanje evalvacije naj zajemajo presojo kakovosti celotnega delovanja izobra ževalne organizacije (in ne samo nekaj področij), četudi bi bile zato manj poglobljene. g) Drugo. (Prosimo, pojasnite.) .................................................................................. 35. Ali bi nam v zvezi z ekspertnimi zunanjimi evalvacijami, ki jih izvaja Andragoški center Slovenije, želeli sporočiti še kaj? (Prosimo, vpišite.) .................................................................................. 343 Priloga 6 Javno povabilo za sodelovanje v pilotnem projektu EKSPERTNA ZUNANJA EVALVACIJA V IZObRAžEVANJU OdRASLIH V VLOGI EKSPERTNIH ZUNANJIH EVALVATORJEV Andragoški center Slovenije v sodelovanju z Ministrstvom za izobraževanje, znanost, kulturo in šport v letu 2012 načrtuje pilotno vpeljavo institucionalne ekspertne zunanje evalvacije v izobraževalne organizacije, ki izobražujejo odrasle. V ta namen vabi k sodelovanju strokovnjake, ki bi se želeli preizkusiti v vlogi ekspertnih zunanjih evalvatorjev. Vabimo vse zainteresirane strokovnjake, ki bi želeli kot ekspertni zunanji evalvatorji sodelovati pri pilotni vpeljavi in dokončnem oblikovanju vloge ekspertnih zunanjih evalvatorjev v modelu ekspertnih zunanjih evalvacij v izobraževanju odraslih, da se najkasneje do petka, 6. aprila 2012, s pisno vlogo prijavite na naslov: Andragoški center Slovenije, Šmartinska 134a, 1000 Ljubljana, s pripisom »Za projekt Ekspertna zunanja evalvacija v izobraževanju odraslih – EKSPERTNI ZUNANJI EVALVATORJI«. Prijavni obrazec je dostopen na spletnem naslovu http://kakovost.acs.si/spodbude/. Podrobnejše informacije o pogojih za prijavo na razpis si lahko ogledate na spodnji povezavi. Dodatne informacije pa dobite pri Jasmini Orešnik Cunja (telefon: 01 5842 596, elektronska pošta: jasmina.oresnik.cunja@acs.si), oz. pri dr. Tanji Možina (telefon: 01 5842 577, elektronska pošta: tanja.mozina@acs.si). Kakšna bo vloga ekspertnih zunanjih evalvatorjev?  Ekspertni zunanji evalvatorji se bodo na dvodnevnem temeljnem usposabljanju se znanili s konceptom in metodologijo ekspertne zunanje evalvacije, ki jo razvija An dragoški center Slovenije.  Za izpeljavo ekspertne zunanje evalvacije v izbrani izobraževalni organizaciji se bo oblikovala skupina ekspertnih zunanjih evalvatorjev.  Skupina bo pregledala in ovrednotila vlogo, v kateri bo izobraževalna organizacija ovrednotila doseganje meril kakovosti v skladu z modelom ekspertne zunanje eval vacije.  V naslednji fazi bo skupina ekspertnih zunanjih evalvatorjev v sodelovanju z Andra goškim centrom Slovenije in izobraževalno organizacijo pripravila in izpeljala obisk v 344 izobraževalni organizaciji. Med obiskom bodo evalvatorji izpeljali vodene pogovore z različnimi predstavniki (vodstvo, učitelji, udeleženci, …), da bi si tako dodatno razjasnili, ali izobraževalna organizacija dosega zastavljena merila kakovosti.  V zadnji fazi bo skupina ekspertnih zunanjih evalvatorjev pripravila končno poročilo o izpeljani ekspertni zunanji evalvaciji. Kdo je lahko ekspertni zunanji evalvator? Ekspertni zunanji evalvator je lahko tisti, ki izpolnjuje splošne in posebne pogoje. Splošni pogoji:  ima univerzitetno izobrazbo,  ima pedagoško-andragoško izobrazbo,  ima vsaj 7 let delovnih izkušenj v izobraževanju odraslih. Posebni pogoji:  pozna značilnosti, organiziranost in delovanje različnih vrst izobraževalnih organizacij za odrasle;  se je usposabljal za delo pri presojanju in razvijanju kakovosti v izobraževalni organizaciji, kar je dokazljivo z listinami; prednost bodo imeli tisti kandidati, ki so se usposabljali za presojanje in razvijanje kakovosti v izobraževanju odraslih;  ima izkušnje z notranjim ali zunanjim presojanjem kakovosti, še posebej na področju izobraževanja odraslih;  ima andragoško znanje in izkušnje s področja podpore odraslim udeležencem pri izobraževanju;  obvlada delo z informacijsko-komunikacijskimi orodji;  bo uspešno zaključil usposabljanje za ekspertne zunanje evalvatorje na Andrago škem centru Slovenije (aktivna udeležba na usposabljanju, projektna naloga);  pridobi soglasje svojega direktorja, da se bo v letu 2012 lahko udeležil usposabljanja za ekspertne zunanje evalvatorje in v skladu z načrtom projekta opravil vsaj eno ekspertno zunanjo evalvacijo v izbrani izobraževalni organizaciji. Andragoški center Slovenije bo izmed vseh prispelih prijav izbral največ 10 kandidatov, ki bodo v letu 2012 kot ekspertni zunanji evalvatorji sodelovali pri izpeljavi ekspertnih zunanjih evalvacij v izobraževalnih organizacijah za odrasle. O izboru bomo kandidate obvestili najkasneje do četrtka, 26. aprila 2012. Izbrani kandidati bodo morali, v kolikor bodo želeli sodelovati pri izpeljavi ekspertnih zunanjih evalvacij, obvezno opraviti dvodnevno usposabljanje za ekspertne zunanje evalvatorje, ki ga bo izpeljal Andragoški center Slovenije. 345 Potrdilo o usposobljenosti Kandidatom, ki bodo uspešno opravili temeljno usposabljanje za ekspertne zunanje evalvatorje, bo Andragoški center Slovenije izdal potrdilo o usposobljenosti. Kritje stroškov  Usposabljanje za ekspertne zunanje evalvatorje je za kandidate brezplačno, druge stroške, ki kandidatu nastanejo s sodelovanjem na usposabljanju, pa krije kandidat sam.  Ekspertnim zunanjim evalvatorjem bo Andragoški center Slovenije povrnil potne stroške, ki bodo nastali z obiski v izobraževalnih organizacijah, v katerih bo potekala ekspertna zunanja evalvacija.  Predvideno je tudi plačilo za delo, ki bo opredeljeno v medsebojnem dogovoru med Andragoškim centrom Slovenije in osebo, ki bo opravljala naloge ekspertnega zunanjega evalvatorja, in bo odvisno od števila ekspertnih zunanjih evalvacij, pri katerih bo ekspertni zunanji evalvator sodeloval. 346 Priloga 7 SEZNAM KAZALNIKOV IN MERIL ZA VSAKO Od POdROČIJ, KI SO PREdMET PRESOJE64 POdROČJE 1 NOTRANJI SISTEM KAKOVOSTI SKLOP 1 UMEŠČENOST NOTRANJEGA SISTEMA KAKOVOSTI V dEJAVNOST ORGANIZACIJE, KI IZObRAžUJE OdRASLE KAZALNIK MERILO 1 Umeščenost notranjih procesov kakovosti v temeljne strateške dokumente 1.1.1.1 Organizacija, ki izobražuje odrasle, ima v svojih letnih delovnih načrtih poglavje o kakovosti. 1.1.1.2 Organizacija, ki izobražuje odrasle, v letnem delovnem načrtu v poglavju o kakovosti načrtuje letne aktivnosti na tem področju. 1.1.1.3 Organizacija, ki izobražuje odrasle, ima v svojih letnih poročilih poglavje o kakovosti. 1.1.1.4 Organizacija, ki izobražuje odrasle, v letnem delovnem poročilu v poglavju o kakovosti poroča o doseganju načrtovanih letnih aktivnostih na tem področju. 2 Zapisan notranji sistem kakovosti (Listina o kakovosti) 1.1.2.1 Organizacija, ki izobražuje odrasle, ima listino o kakovosti ali drug primerljiv dokument, v katerem je opisan notranji sistem kakovosti, ki ga uporablja. Dokument vsebuje vsaj naslednje elemente: kako je opredeljena kakovost v organizaciji, kako se presoja, kako pogosto, kdo to počne in kako se uporabljajo rezultati presoj. 1.1.2.2 Listina o kakovosti oz. drug primerljiv dokument, v katerem je opisan notranji sistem kakovosti, je objavljen na spletni strani in/ali v drugih virih javnega obveščanja. 3 Obravnava vprašanj kakovosti na andragoških zborih 1.1.3.1 Zaposleni vsaj enkrat na leto na andragoškem zboru ali drugem enakovrednem organu izobraževalcev v organizaciji razpravljajo o kakovosti izobraževanja odraslih. 4 Skupina/ komisija za kakovost, svetovalec za kakovost 1.1.4.1 Organizacija, ki izobražuje odrasle, ima skupino/komisijo za kakovost. 1.1.4.2 Organizacija, ki izobražuje odrasle, ima usposobljenega svetovalca za kakovost ali drugo osebo, ki koordinira in svetuje drugim pri načrtovanju in izpeljevanju aktivnosti na področju kakovosti ter ima za to ekspertno znanje. 64 Objavljena so področja, kazalniki in merila, ki so se uporabljali v letu 2016. Nadaljevanje s prejšnje strani SKLOP 2 OPREdELJEVANJE KAKOVOSTI KAZALNIK MERILO 5 Vizija, poslanstvo in vrednote organizacije, ki izobražuje odrasle 1.2.1.1 Organizacija, ki izobražuje odrasle, ima izoblikovano vizijo, poslanstvo in vrednote. 1.2.1.2 Vizijo, poslanstvo in vrednote organizacija, ki izobražuje odrasle, uveljavlja v javni rabi (npr. na spletnih straneh in/ali v zgibankah, drugem gradivu ipd.). 6 Izjava o kakovosti (opredeljeni standardi kakovosti) 1.2.2.1 Organizacija, ki izobražuje odrasle, ima izjavo o kakovosti ali drug podoben dokument, v katerem opredeljuje temeljne standarde kakovosti, ki jih zagotavlja svojim udeležencem. 7 Sodelovanje zaposlenih in zunanjih sodelavcev pri opredeljevanju kakovosti 1.2.3.1 Organizacija, ki izobražuje odrasle, ima vpeljane načine, ki omogočajo vključevanje zaposlenih in drugih pomembnih interesnih skupin v pogovore o temeljnem poslanstvu, viziji in vrednotah izobraževalne organizacije ter o standardih kakovosti, ki jih zagotavlja. SKLOP 3 PRESOJANJE KAKOVOSTI KAZALNIK MERILO 8 Načrtnost in sistematičnost pri presojanju kakovosti 1.3.1.1 Organizacija, ki izobražuje odrasle, v rednih časovnih obdobjih načrtno izvaja različne oblike notranjega presojanja kakovosti (npr. spremljanje, samoevalvacijo, druge oblike, s katerimi presoja/ugotavlja doseženo raven kakovosti). 9 Vključenost različnih interesnih skupin v presojanje kakovosti 1.3.2.1 V presojanje kakovosti so vključene različne notranje interesne skupine (npr. udeleženci, učitelji, vodstvo, idr.). 1.3.2.2 V presojanje kakovosti so vključene različne zunanje interesne skupine (npr. podjetja, zavod za zaposlovanje, obrtna zbornica, gospodarska zbornica, drugi deležniki v lokalnem okolju idr.). 10 Uporaba različnih metod pri izpeljavi presojanja kakovosti 1.3.3.1 Organizacija, ki izobražuje odrasle, uporablja kvalitativne in kvantitativne metode za presojanje kakovosti. 11 Spremljanje kakovosti različnih vidikov delovanja organizacije, ki izobražuje odrasle 1.3.4.1 Organizacija, ki izobražuje odrasle, ima vpeljane načine spremljanja in vrednotenja kakovosti dela z udeleženci pred in ob vstopu v izobraževanje ter ukrepanja na podlagi ugotovitev. 1.3.4.2 Organizacija, ki izobražuje odrasle, ima vpeljane načine spremljanja in vrednotenja kakovosti dela z udeleženci med potekom izobraževanega procesa ter ukrepanja na podlagi ugotovitev. 348 Nadaljevanje s prejšnje strani KAZALNIK MERILO 11 Spremljanje kakovosti različnih vidikov delovanja organizacije, ki izobražuje odrasle (nadaljevanje s prejšnje strani) 1.3.4.3 Organizacija, ki izobražuje odrasle, ima vpeljane načine spremljanja in vrednotenja rezultatov izobraževanja ter ukrepanja na podlagi ugotovitev. 12 Samoevalvacija 1.3.5.1 Organizacija, ki izobražuje odrasle, v rednih časovnih obdobjih sistematično in načrtno izvaja poglobljeno samoevalvacijo, pri kateri je razvidno, da gre za načrtovan proces, metodološko izpeljano presojanje, pisno interpretacijo rezultatov in načrtovanja ukrepov na podlagi ugotovitev samoevalvacije. 13 Samoevalvacijsko poročilo/poročilo o kakovosti 1.3.6.1 Organizacija, ki izobražuje odrasle, v rednih časovnih obdobjih pripravi samoevalvacijsko poročilo/poročilo o kakovosti. 1.3.6.2 O rezultatih samoevalvacije organizacija, ki izobražuje odrasle, opravi pogovor v kolektivu. SKLOP 4 RAZVIJANJE KAKOVOSTI KAZALNIK MERILO 14 Načrtnost in sistematičnost pri načrtovanju razvojnih ukrepov 1.4.1.1 Organizacija, ki izobražuje odrasle, v rednih časovnih obdobjih pripravi pisni akcijski načrt za vpeljevanje izboljšav, iz katerega je razvidno, da je pripravljen na podlagi izpeljane samoevalvacije. 15 Vpeljevanje izboljšav 1.4.2.1 V zadnjih treh koledarskih letih je organizacija, ki izobražuje odrasle, vpeljala različne izboljšave kakovosti, ki so izhajale iz ugotovitev samoevalvacije in so bile začrtane v pisnemu akcijskemu načrtu za razvoj kakovosti. 16 Spremljanje učinkov vpeljevanja izboljšav 1.4.3.1 Organizacija, ki izobražuje odrasle, ima vpeljane načine spremljanja učinkov vpeljevanja izboljšav, opredeljenih v akcijskih načrtih za vpeljevanje izboljšav in razvoja kakovosti. 349 Nadaljevanje s prejšnje strani POdROČJE 2 POdPORA UdELEžENCEM PRI IZObRAžEVANJU SKLOP 1 POdPORA UdELEžENCEM PRI IZObRAžEVANJU KAZALNIK MERILO 1 Raznovrstnost in dostopnost podpore posamezniku pri izobraževanju in učenju 2.1.1.1 Organizacija, ki izobražuje odrasle, udeležencem nudi raznovrstno podporo pri izobraževanju in učenju (različne oblike podpore, usposabljanje za samostojno učenje, različne oblike svetovanja, pomoč pri odpravi ovir, povezanih z izobraževanjem, pomoč pri pridobivanju podpore v drugih institucijah, prilagojeno podporo ciljnim skupinam in vrstam izobraževanja). 2.1.1.2 Organizacija, ki izobražuje odrasle, skrbi za dostopnost raznovrstne podpore posamezniku pri učenju in izobraževanju (npr. s prilagojenim časom, z zagotavljanjem prostora ipd.). 2.1.1.3 Organizacija, ki izobražuje odrasle, zagotavlja informiranost posameznikov o oblikah podpore v organizaciji pri učenju in izobraževanju (različni načini in vrste obveščanja). 2.1.1.4 Organizacija, ki izobražuje odrasle, zagotavlja informiranost posameznikov o oblikah podpore zunaj organizacije pri učenju in izobraževanju (različni načini in vrste obveščanja). 2 Učna podpora posamezniku 2.1.2.1 Organizacija, ki izobražuje odrasle, načrtno ugotavlja potrebe po učni pomoči in usmerja udeležence vanjo. 2.1.2.2 Organizacija, ki izobražuje odrasle, organizira različne oblike učne pomoči (za odpravljanje psiholoških ovir v zvezi z izobraževanjem, za spoznavanje primernih učnih strategij ter metod učenja, za uporabo različnih učnih virov, z organizacijo dodatnih predavanj, z razvijanjem temeljnih pismenosti, pomembnih za nadaljnje izobraževanje ipd.). 2.1.2.3 Organizacija, ki izobražuje odrasle, udeležencem nudi konzultacije (govorilne ure) in/ali mentorstvo, pri čemer je razvidno, da gre za vnaprej načrtovano dejavnost, da je ta prostorsko in časovno dostopna in so z njo udeleženci seznanjeni. 3 Svetovalna podpora posamezniku 2.1.3.1 Organizacija, ki izobražuje odrasle, nudi odraslim svetovanje pred vpisom in ob vpisu. 2.1.3.2 Kadar se posameznik vpisuje v formalne programe ali daljše programe neformalnega izobraževanja, organizacija z njim opravi uvodni pogovor. 2.1.3.3 Zapis uvodnih pogovorov učitelji in drugi izvajalci izobraževanja uporabijo pri načrtovanju posameznikove izobraževalne poti. 350 Nadaljevanje s prejšnje strani KAZALNIK MERILO 3 Svetovalna podpora posamezniku (nadaljevanje s prejšnje strani) 2.1.3.4 Kadar se posameznik vpisuje v formalne programe ali daljše programe neformalnega izobraževanja, organizacija v sodelovanju z njim pripravi osebni izobraževalni načrt. 2.1.3.5 Osebni izobraževalni načrt se uporablja pri spremljanju posameznikove izobraževalne poti. 2.1.3.6 Organizacija, ki izobražuje odrasle, nudi udeležencem med izobraževanjem svetovalno pomoč, če jo ti potrebujejo. 2.1.3.7 Ob zaključku izobraževanja je udeležencem na voljo informiranje in svetovanje v zvezi z možnostmi nadaljnjega izobraževanja. 2.1.4.1 Organizacija, ki izobražuje odrasle, udeležence usposablja za samostojno učenje. 4 Podpora posamezniku pri 2.1.4.2 Organizacija, ki izobražuje odrasle, udeležence spodbuja in usposablja za organizirano samostojno učenje ter jim zagotavlja ustrezno svetovalno in mentorsko pomoč. samostojnem učenju 2.1.4.3 Izobraževalna organizacija nudi udeležencem možnosti za samostojno učenje in organizirano samostojno učenje z zagotavljanjem ustreznih prostorov, učnih virov in možnosti za dostop do učnih virov. Podpora posamezniku 2.1.5.1 Organizacija, ki izobražuje odrasle, aktivno pomaga posameznikom pri odpravljanju situacijskih ovir, povezanih z njihovim izobraževanjem (denarne, druge socialne razmere, družinske obveznosti, različne oviranosti, delovne zadolžitve ipd.). 5 pri odpravljanju ovir pri izobraževanju 2.1.5.2 Organizacija, ki izobražuje odrasle, aktivno pomaga posameznikom pri odpravljanju institucionalnih ovir, povezanih z njihovim izobraževanjem (slaba dokumentacijska pismenost, problemi v zvezi s priznavanjem znanja, drugi problemi, ki jih posameznik doživlja zaradi pravil in načina izobraževanja v organizaciji). 351 Nadaljevanje s prejšnje strani POdROČJE 3 RAZVOJNA USMERJENOST ORGANIZACIJE, KI IZObRAžUJE OdRASLE SKLOP 1 RAZVOJNA STRATEGIJA ORGANIZACIJE KAZALNIK MERILO 1 Vizija razvoja 3.1.1.1 Organizacija, ki izobražuje odrasle, ima opredeljeno vizijo, ki odraža dolgoročno razvojno usmerjenost. 3.1.1.2 Organizacija, ki izobražuje odrasle, v rednih časovnih presledkih preverja uresničevanje vizije. 2 Razvojni strateški dokumenti 3.1.2.1 Organizacija, ki izobražuje odrasle, ima razvojni strateški dokument, ki opredeljuje njen prihodnji razvoj. 3.1.2.2 Organizacija, ki izobražuje odrasle, ima druge razvojne dokumente, ki podpirajo doseganje ciljev, opredeljenih v razvojnem strateškem dokumentu (npr. kadrovski plan, plan investicij, plan promocije, plan partnerskega povezovanja ipd.) SKLOP 2 POGOJI ZA URESNIČEVANJE RAZVOJNE STRATEGIJE ORGANIZACIJE KAZALNIK MERILO 3 Usposobljenost osebja za razvojno delo 3.2.1.1 Organizacija, ki izobražuje odrasle, za svoje zaposlene pripravlja načrt osebnega razvoja ali njim podobne dokumente, s katerimi opredeljuje strokovni razvoj vsakega posameznika. 3.2.1.2 Organizacija, ki izobražuje odrasle, načrtuje strokovno spopolnjevanje osebja, ki sodeluje pri izobraževanju odraslih. 3.2.1.3 Organizacija, ki izobražuje odrasle, zagotavlja pogoje za spopolnjevanje osebja, ki sodeluje pri izobraževanju odraslih. 4 Organiziranost za razvojno delo 3.2.2.1 Organizacija, ki izobražuje odrasle, načrtno skrbi za prenos znanja in izkušenj med osebjem, ki sodeluje pri izobraževanju odraslih (npr. mentorstvo starejših mlajšim, izobraževalna srečanja itd.). 3.2.2.2 Organizacija, ki izobražuje odrasle, ima organizirane strokovne aktive. 3.2.2.3 Strokovni aktivi obravnavajo razvojna vprašanja s področja dela, za katera so organizirani. 3.2.2.4 Organizacija, ki izobražuje odrasle, ima oblikovane še druge organizacijske oblike, s pomočjo katerih v organizaciji obravnavajo razvojna vprašanja (delovne skupine, interni strokovni posveti, razvojni ali projektni timi itd.). 5 Spodbude za razvojno delo 3.2.3.1 Organizacija, ki izobražuje odrasle, informira zaposlene in zunanje sodelavce o možnostih razvojnega dela v organizaciji in zunaj nje. 3.2.3.2 Organizacija, ki izobražuje odrasle, na različne načine motivira zaposlene in zunanje sodelavce za razvojno delo v organizaciji. 352 Nadaljevanje s prejšnje strani KAZALNIK MERILO 5 Spodbude za razvojno delo (nadaljevanje s prejšnje strani) 3.2.3.3 Organizacija, ki izobražuje odrasle, na različne načine motivira zaposlene in zunanje sodelavce za razvojno delo v stroki, na nacionalni ravni ali širše. 3.2.3.4 Organizacija, ki izobražuje odrasle, spremlja razvojno delo svojih sodelavcev in jih primerno promovira. 3.2.3.5 Organizacija, ki izobražuje odrasle, na različne načine nagrajuje zaposlene in zunanje sodelavce za dosežke pri razvojnem delu. SKLOP 3 RAZVOJNI dOSEžKI KAZALNIK MERILO 6 Razvoj novih izobraževalnih programov 3.3.1.1 Organizacija, ki izobražuje odrasle, je v zadnjih petih letih razvila lastne nove izobraževalne programe, ki jih še vedno izvaja. 7 Razvoj novih izobraževalnih dejavnosti 3.3.2.1 Organizacija, ki izobražuje odrasle, je v zadnjih petih letih razvila lastne nove izobraževalne dejavnosti, ki jih še vedno izvaja. 8 Razvoj in uvajanje novih metod in/ali pristopov v izobraževanje odraslih 3.3.3.1 Organizacija, ki izobražuje odrasle, je v zadnjih treh letih v svojo prakso uvedla nove metode učenja in/ali drugega dela z odraslimi. 9 Razvoj novih učbenikov, učnih gradiv, drugih učnih virov 3.3.4.1 Organizacija, ki izobražuje odrasle, je v zadnjih treh letih razvila nove učbenike, učna gradiva ali druge učne vire. 10 Sodelovanje v nacionalnih in mednarodnih projektih in/ ali dejavnostih, povezanih z izobraževanjem odraslih 3.3.5.1 Organizacija, ki izobražuje odrasle, je v zadnjih treh letih aktivno sodelovala v nacionalnih projektih in/ali dejavnostih, povezanih z izobraževanjem odraslih, pri čemer aktivno sodelovanje izkazuje z lastnim prispevkom v teh projektih. 3.3.5.2 Organizacija, ki izobražuje odrasle, je v zadnjih treh letih aktivno sodelovala v mednarodnih projektih in/ali dejavnostih, povezanih z izobraževanjem odraslih, pri čemer aktivno sodelovanje izkazuje z lastnim prispevkom v teh projektih. 11 Sodelovanje v različnih organih, ki so namenjeni razvoju izobraževanja odraslih 3.3.6.1 Zaposleni in zunanji sodelavci organizacije, ki izobražuje odrasle, sodelujejo v organih izven organizacije, ki se ukvarjajo z vprašanji razvoja izobraževanja odraslih. 353 Nadaljevanje s prejšnje strani KAZALNIK MERILO 12 Aktivno sodelovanje na domačih in mednarodnih konferencah, strokovnih posvetih ipd., namenjenih vprašanjem izobraževanja odraslih 3.3.7.1 Zaposleni in zunanji sodelavci organizacije, ki izobražuje odrasle, so v zadnjih treh letih aktivno sodelovali na domačih konferencah, strokovnih posvetih ipd. 3.3.7.2 Zaposleni in zunanji sodelavci organizacije, ki izobražuje odrasle, so v zadnjih petih letih aktivno sodelovali na mednarodnih konferencah, strokovnih posvetih ipd. 13 Umeščenost v razvojne plane drugih na panožni, lokalni, regionalni, nacionalni ravni 3.3.8.1 Organizacija, ki izobražuje odrasle, je prepoznana kot pomemben razvojni dejavnik in je v tej vlogi umeščena v veljavne razvojne plane drugih. 14 Nagrade, priznanja za razvojno delo 3.3.9.1 Organizacija, ki izobražuje odrasle, ali njeni zaposleni oz. zunanji sodelavci, so v zadnjih petih letih prejeli priznanje (nagrado) za razvojno delo na področju izobraževanja odraslih. Vir: Arhiv izpeljanih ekspertnih zunanjih evalvacij za obdobje od leta 2012 do 2016. Andragoški center Slovenije. 354 Priloga 8 PRIMER bESEdILA JAVNEGA POVAbILA ZA SOdELOVANJE ORGANIZACIJ V EKSPERTNI ZUNANJI EVALVACIJI IZObRAžEVANJA OdRASLIH, 2016 Javno povabilo ORGANIZACIJAM, KI IZObRAžUJEJO OdRASLE, za sodelovanje v EKSPERTNI ZUNANJI EVALVACIJI IZObRAžEVANJA OdRASLIH Andragoški center Slovenije v sodelovanju z Ministrstvom za izobraževanje, znanost, in šport v letu 2016 načrtuje izpeljavo ekspertne zunanje evalvacije v organizacijah, ki izobražujejo odrasle. V ta namen vabimo k sodelovanju organizacije, ki izobražujejo odrasle in so pripravljene sprejeti izziv, da se pri njih opravi ekspertna zunanja evalvacija. Organizacije, ki bi želele prostovoljno sodelovati pri izpeljavi ekspertnih zunanjih evalvacij izobraževanja odraslih vabimo, da se najkasneje do torka, 22. marca 2016, s pisno vlogo prijavite na naslov: Andragoški center Slovenije, Šmartinska 134a, 1000 Ljubljana, s pripisom »Ekspertna zunanja evalvacija izobraževanja odraslih«. Prijavni obrazec je dostopen na spletnem naslovu http://kakovost.acs.si/ekspertna_zunanja_evalvacija/ trenutne_dejavnosti/. Prosimo, da izpolnjen prijavni obrazec do omenjenega datuma pošljete tudi po elektronski pošti na naslov: tanja.mozina@acs.si. Dodatne informacije dobite pri dr. Tanji Možina (telefon: 01 5842 577, elektronska pošta: tanja.mozina@acs.si) oz. pri Aleksandri Radojc (telefon: 01 5842 557, elektronska pošta: aleksandra.radojc@acs.si). Namen ekspertne zunanje evalvacije Ekspertne zunanje evalvacije so namenjene ekspertnemu zunanjemu potrjevanju kakovosti izobraževanja odraslih v organizacijah, ki izobražujejo odrasle, na izbranih področjih kakovosti. Spodbujajo ohranjanje že doseženih standardov kakovosti ter uvajanje 355 izboljšav in razvoja kakovosti. Rezultat ekspertnih zunanjih evalvacij je, da organizacija pridobi kakovostno povratno informacijo o tem, kje je že dobra, kje pa se kažejo možnosti za njen nadaljnji razvoj. Z njimi nadgradimo tudi obstoječe notranje sisteme kakovosti v organizaciji. Področja kakovosti, ki bodo predmet ekspertne zunanje evalvacije Ob tokratni izpeljavi bodo predmet ekspertne zunanje evalvacije tri vsebinska področja, pri čemer je eno področje obvezno, dve pa sta izbirni. Organizacija med dvema izbirnima področjema izbere eno. Predmet presoje sta tako eno obvezno in eno izbirno področje kakovosti, in sicer: POdROČJE 1: Notranji sistem presojanja in razvijanja kakovosti (obvezno področje) POdROČJE 2: Podpora udeležencem pri izobraževanju (izbirno področje) POdROČJE 3: Razvojna usmerjenost organizacije (izbirno področje) Vsako področje je natančneje opredeljeno s podrobnejšimi merili kakovosti. Izbrane organizacije bodo s podrobnejšimi merili ter celotnim postopkom izpeljave ekspertne zunanje evalvacije seznanjene na informativno-izobraževalnem srečanju, ki ga bo izpeljal Andragoški center Slovenije, predvidoma v aprilu. Potek ekspertne zunanje evalvacije PRVI KORAK: Priprava pisne vloge (samoocene), namenjene dokazovanju doseganja opredeljenih meril kakovosti. Organizacija, ki je bila izbrana na razpisu, pripravi pisno in elektronsko vlogo (samooceno), v kateri opiše in z dokazili podkrepi doseganje postavljenih meril kakovosti na področjih, ki so predmet ekspertne zunanje evalvacije. DRUGI KORAK: Oblikovanje skupin ekspertnih zunanjih evalvatorjev, pregled in ovrednotenje samoocene. Za izpeljavo ekspertne zunanje evalvacije v izbrani organizaciji se oblikuje skupina ekspertnih zunanjih evalvatorjev. Skupina pregleda samooceno organizacije in se pripravi na obisk v izobraževalni organizaciji. TRETJI KORAK: Priprava in izpeljava obiska ekspertnih zunanjih evalvatorjev v organizaciji. V dogovoru med Andragoškim centrom Slovenije, skupino ekspertnih zunanjih evalvatorjev in organizacijo, v kateri poteka ekspertna zunanja evalvacija, se v tej fazi pripravi natančen potek obiska ekspertnih zunanjih evalvatorjev ter se obisk tudi izpelje. ČETRTI KORAK: Priprava poročila o ekspertni zunanji evalvaciji. Na podlagi pregleda samoocene in opravljenih pogovorov v organizaciji skupina ekspertnih zunanjih evalvatorjev opravi končno ovrednotenje doseganja opredeljenih meril kakovosti, ki je zajeto v končno poročilo o ekspertni zunanji evalvaciji. Vključi predloge za izboljšave in razvoj kakovosti. 356 Uporaba in lastništvo rezultatov ekspertne zunanje evalvacije Lastnik rezultatov, ki so prikazani v končnem poročilu o ekspertni zunanji evalvaciji, je organizacija. Ta se sama odloči, na kakšen način bo poročilo uporabila za namen lastnega razvoja kakovosti in ali ga bo javno objavila. Čas izvedbe ekspertne zunanje evalvacije Ekspertna zunanja evalvacija bo izpeljana v času od aprila do decembra 2016. Porazdelitev odgovornosti vključenih v ekspertno zunanjo evalvacijo Andragoški center Slovenije Nosilec Ekspertne zunanje evalvacije v izobraževanju odraslih je Andragoški center Slovenije (ACS). ACS bo skrbel za koordinacijo izpeljave zunanjih evalvacij, za informiranje in svetovanje izobraževalnim organizacijam, ki bodo sodelovale v ekspertni zunanji evalvaciji ter za usposabljanje ekspertnih zunanjih evalvatorjev. Opravil bo tudi končno ovrednotenje izpeljave projekta. Organizacija, ki izobražuje odrasle Sodelovanje organizacij, ki izobražujejo odrasle v ekspertni zunanji evalvaciji je prostovoljno. Izbrane organizacije morajo zagotoviti osebo, ki bo opravljala vlogo koordinatorja in bo vezni člen med Andragoškim centrom Slovenije in organizacijo. Zagotoviti morajo tudi sodelovanje zaposlenih pri pripravi in izpeljavi ekspertne zunanje evalvacije v njihovi organizaciji. Ekspertni zunanji evalvatorji Ključni nosilci ekspertnih zunanjih evalvacij v izobraževanju odraslih so ekspertni zunanji evalvatorji. To so strokovnjaki, ki ob splošnih pogojih (univerzitetna izobrazba, vsaj 7 let delovnih izkušenj, pedagoško-andragoška izobrazba) zadostijo tudi posebnim pogojem, ki se navezujejo na poznavanje in izkušnje s področja izobraževanja odraslih, s področja notranje in zunanje evalvacije kakovosti ali z drugih področij, ki so lahko predmet ekspertne zunanje evalvacije. Hkrati imajo opravljeno temeljno usposabljanje za zunanje evalvatorje, ki ga izvaja Andragoški center Slovenije in izkušnjo z vsaj eno izvedbo ekspertne zunanje evalvacije. Ekspertni zunanji evalvatorji delujejo v skupinah evalvatorjev, zato lahko svoja znanja komplementarno dopolnjujejo. 357 Prijavijo se lahko organizacije, ki: 1. vsaj pet let izvajajo izobraževanje odraslih, 2. imajo vsaj po 100 vpisanih odraslih v zadnjih treh šolskih letih, 3. imajo vzpostavljen notranji sistem kakovosti, 4. zagotovijo koordinatorja, ki bo v organizaciji koordiniral izpeljavo ekspertne zunanje evalvacije in bo oseba za stike med Andragoškim centrom Slovenije, ekspertnimi zunanjimi evalvatorji in organizacijo, 5. zagotovijo osebje, ki bo sodelovalo pri pripravi in izpeljavi ekspertne zunanje evalvacije v lastni organizaciji, 6. zagotovijo, da se bosta direktor in koordinator v organizaciji udeležila enodnevnega informativno-izobraževalnega srečanja na Andragoškem centru Slovenije. Andragoški center Slovenije bo izmed vseh prispelih prijav izbral največ 3 organizacije, pri katerih bo v letu 2016 izpeljana ekspertna zunanja evalvacija. Pri izboru bosta upoštevana tako obseg izobraževanja odraslih kot tudi regijska razporeditev organizacij, ki se bodo prijavile na razpis. O izboru bomo organizacije obvestili najkasneje do petka, 1. aprila 2016. Potrdilo o sodelovanju v razvojnem projektu Sodelavcem, ki bodo sodelovali pri izpeljavi ekspertne zunanje evalvacije v svoji organizaciji, bo Andragoški center Slovenije izdal potrdilo o sodelovanju v enoletnem razvojnem projektu. Kritje stroškov Sodelavcem iz organizacij (direktor in koordinator), ki bodo sodelovale v ekspertni zunanji evalvaciji, bodo kriti potni stroški za sodelovanje na enodnevnem informativno-izobraževalnem srečanju na Andragoškem centru Slovenije in na končni evalvacijski delavnici. Ostale stroške, ki bodo organizaciji nastali pri ekspertni zunanji evalvaciji, krije organizacija sama. 358