T J * I PONUDIMO ODRASLIM KAKOVOSTNO IZOBRAŽEVANJE REPUBLIKA SLOVENIJA MINISTRSTVO ZA ŠOLSTVO IN ŠPORT POROČILO O EVALVACIJI PROGRAMA USPOSABLJANJA ZA UPORABO MODELA ZA PRESOJANJE IN RAZVIJANJE KAKOVOSTI PONUDIMO ODRASLIM KAKOVOSTNO IZOBRAŽEVANJE - POKI Andragoški center Slovenije avgust 2006 Poročilo o evalvaciji programa usposabljanja za uporabo modela za presojanje in razvijanje kakovosti Ponudimo odraslim kakovostno izobraževanje - POKI Avtorice: Milena Zoric, Sonja Klemenčič, mag. Tanja Možina Andragoški center Slovenije, avgust 2006 Izpeljavo evalvacije programa usposabljanja za uporabo modela za presojanje in razvijanje kakovosti Ponudimo odraslim kakovostno izobraževanje - POKI in izdelavo poročila sta sofinancirala Ministrstvo za šolstvo in šport R Slovenije in Evropski socialni sklad. KAZALO VSEBINE 1. UVOD...............................................................................................................................4 2. KRATEK OPIS PROGRAMA USPOSABLJANJA ZA UPORABO MODELA ZA PRESOJANJE IN RAZVIJANJE KAKOVOSTI PONUDIMO ODRASLIM KAKOVOSTNO IZOBRAŽEVANJE -POKI.................................................................................................................................6 3. METODOLOGIJA...............................................................................................................7 3.1 METODOLOGIJA SPREMLJANJA PROGRAMA USPOSABLJANJA..................................7 3.2 PREGLED DELAVNIC V OKVIRU IZVEDBE PROGRAMA USPOSABLJANJA V LETIH 2004, 2005 IN 2006, KI SO BILE ZAJETE V EVALVACIJO...........................................7 3.3 IZOBRAŽEVALNE ORGANIZACIJE IN UDELEŽENCI PROGRAMA USPOSABLJANJA, KI SO SODELOVALI PRI EVALVACIJI PROGRAMA USPOSABLJANJA................................8 3.4 EVALVACIJSKI INSTRUMENTARIJ............................................................................11 3.5 IZPELJAVA RACIONALNE EVALVACIJE.....................................................................12 4. REZULTATI EVALVACIJE PROGRAMA USPOSABLJANJA ZA UPORABO MODELA ZA PRESOJANJE IN RAZVIJANJE KAKOVOSTI PONUDIMO ODRASLIM KAKOVOSTNO IZOBRAŽEVANJE - POKI.................................................................................................13 4.1 REZULTATI EMPIRIČNE EVALVACIJE.......................................................................13 4.1.1 ZADOVOLJSTVO Z ORGANIZACIJO IN VSEBINO USPOSABLJANJA....................13 4.1.2 ZADOVOLJSTVO UDELEŽENCEV S POSAMEZNIMI TEMAMI USPOSABLJANJA ...15 4.1.3 ZADOVOLJSTVO UDELEŽENCEV S PREDAVATELJI............................................30 4.1.4 MNENJE UDELEŽENCEV O POTREBNIH SPREMEMBAH OZ. DOPOLNITVAH PROGRAMA USPOSABLJANJA.............................................................................34 4.1.4.1 TEME, KI BI JIH UDELEŽENCI USPOSABLJANJA ŽELELI POGLABLJATI......34 4.1.4.2 SEZNAM TEM, KI SO BILE PO MNENJU UDELEŽENCEV NEUPORABNE ZA NJIHOVO DELO............................................................................................36 4.1.5 KOMENTARJI, PREDLOGI UDELEŽENCEV ZA IZBOLJŠAVE IN DRUGA SPOROČILA ORGANIZATORJEM USPOSABLJANJA.............................................37 4.1.5.1 Organizacija delavnic...................................................................................37 4.1.5.2 Vsebina delavnic..........................................................................................39 4.1.5.3 Predavatelji.................................................................................................41 4.1.5.4 Splošni komentarji.......................................................................................43 4.1.6 POVZETEK UGOTOVITEV EMPIRIČNE EVALVACIJE...........................................45 4.1.6.1 Ustreznost programa usposabljanja glede na organizacijo in vsebino.........45 4.1.6.2 Ustreznost temeljnih učnih gradiv v programu usposabljanja.....................46 4.1.6.3 Usposobljenost skupine ekspertov za izpeljevanje programa......................47 4.2 REZULTATI RACIONALNE EVALVACIJE....................................................................47 5. VIRI................................................................................................................................62 1. UVOD Evalvacijsko poročilo je nastalo kot rezultat dvoinpolletnega spremljanja programa usposabljanja za uporabo modela za presojanje in razvijanje kakovosti Ponudimo odraslim kakovostno izobraževanje - POKI, ki ga je Andragoški center Slovenije razvil v pomoč vsem tistim izobraževalnim organizacijam in osebju iz teh organizacij, ki so se odločili uporabljati model POKI pri presojanju in razvijanju kakovosti izobraževanja odraslih. Prvotna zasnova programa je bila narejena v letu 2000, torej še pred prvo uporabo modela POKI v praksi. Prvič je bil program izveden v šolskem letu 2000/2001, ko so model POKI začele uporabljati prve štiri srednje šole. Že ob tej prvi uporabi smo, prav zato, ker smo se zavedali, da razpolagamo s premalo informacijami, kaj izobraževalne organizacije kot pomoč sploh potrebujejo, uvedli tako racionalno kot empirično evalvacijo programa. Rezultate formativnega spremljanja smo takoj vnašali v prakso in tako program dopolnjevali v skladu s pričakovanji uporabnikov in opažanji ekspertov, ki smo opazovali učinkovanje programa in njegove pomanjkljivosti. Podobno smo program usposabljanja spremljali in dopolnjevali tudi v naslednjem šolskem letu, to je 2002/2003. Na podlagi dvoletnega spremljanja smo ugotovili, da učitelji in drugi strokovni delavci, ki so povečini sestavljali člane skupin za kakovost in so se zato udeleževali usposabljanja: o povečini zelo slabo poznajo vsaj osnovne koncepte, na katerih danes temeljijo modeli presojanja kakovosti, o da je znanje metodologije družboslovnega raziskovanja praviloma slabše od pričakovanega, o da procese presojanja in razvijanja kakovosti izobraževanja odraslih v izobraževalnih organizacijah pogosto ovira nerazvito timsko delo in pomanjkanje načrtnega usmerjanja razvoja kadrov. Vse to je narekovalo, da pripravimo celovit program usposabljanja, ki bo v podporo izobraževalnim organizacijam in zaposlenim v njih, pri izpeljavi procesov samoevalvacije. Zavedali smo se, da moramo v program vključiti nekatere povsem nove vsebine, da moramo program zasnovati tako, da se bosta v njem prepletala tako izobraževanje kot svetovanje. Skratka, iz teh razlogov smo se odločili, da bomo v šolskem letu 2003/2004 program usposabljanja kar bistveno spremenili. Ker je šlo za večje strokovno in sistematično strokovno delo, smo pripravo prenovljenega programa, seveda pa tudi ocenjevanje njegove primernosti in učinkov, predlagali kot eno izmed nalog, ki naj bi bile podprte iz sredstev Evropskega socialnega sklada. Predlog je bil sprejet in v separatnem delu letnega delovnega načrta ACS za obdobje 2004 - 2006 je zapisano: »Andragoški center Slovenije bo oblikoval izobraževalni program, ki bo rezultat razvoja izobraževalne podpore, ki jo je že nudil v letih 2001-2003 in je evalvacijsko ocenjena, rezultat primerjave podobnih programov, ki se uvajajo v drugih državah in rezultat opredeljenih potreb uporabnikov. Usposobljena bo tudi skupina za izvajanje tega programa in pripravljena temeljna učna gradiva. V naslednjih letih bo program evalvacijsko spremljan in po potrebi dopolnjen.« V letu 2004 je bil tako pripravljen program usposabljanja za uporabo modela za presojanje in razvijanje kakovosti Ponudimo odraslim kakovostno izobraževanje - POKI, pripravljena so bila temeljna učna gradiva in usposobljena (oziroma izbrana) je bila skupina ekspertov za izpeljevanje programa. Sočasno s programom usposabljanja pa je nastal tudi sistem njegovega evalvacijskega spremljanja, ki ga opisujemo v nadaljevanju. Na tej podlagi smo program spremljali od septembra 2004 do julija 2006. Na podlagi tako zasnovane evalvacije programa usposabljanja smo decembra 2005 pripravili prvo poročilo o ugotovitvah z naslovom Evalvacijsko poročilo o primernosti izobraževalnega programa za usposabljanje osebja v izobraževalnih organizacijah za odrasle za izvajanje samoevalvacije po modelu Ponudimo odraslim kakovostno izobraževanje - POKI. Pričujoče poročilo predstavlja končno poročilo o rezultatih spremljanja programa usposabljanja. 2. KRATEK OPIS PROGRAMA USPOSABLJANJA ZA UPORABO MODELA ZA PRESOJANJE IN RAZVIJANJE KAKOVOSTI PONUDIMO ODRASLIM KAKOVOSTNO IZOBRAŽEVANJE - POKI Program usposabljanja za uporabo modela za presojanje in razvijanje kakovosti Ponudimo odraslim kakovostno izobraževanje - POKI je Andragoški center Slovenije (v nadaljevanju ACS) razvil v okviru projekta Ponudimo odraslim kakovostno izobraževanje - POKI, s pomočjo katerega izobraževalne organizacije presojajo in razvijajo kakovost lastnega dela. Ker se je ob uvajanju modela POKI v letih 2001 - 2003 izkazalo, da izobraževalne organizacije ne razpolagajo z zadostno količino in kakovostjo znanja, ki bi jim omogočila samostojno izpeljevanje samoevalvacije, je Andragoški center Slovenije razvil program usposabljanja, s pomočjo katerega bi zaposleni v izobraževalnih organizacijah za odrasle dobili ustrezno vsebinsko podporo pri izvajanju samoevalvacije po modelu POKI. Izobraževalne organizacije potrebujejo predvsem strokovno podporo kar zadeva poznavanje principov in metodologije uvajanja in poteka samoevalvacij ter strokovno znanje, ki bi jim omogočalo postavljanje standardov kakovosti, ki so mednarodno primerljivi. Programa usposabljanja za uporabo modela za presojanje in razvijanje kakovosti Ponudimo odraslim kakovostno izobraževanje - POKI se ne udeležujejo vsi zaposleni iz izobraževalnih organizacij, ki sodelujejo v projektu POKI, temveč se v ta namen v vsaki izobraževalni organizaciji oblikuje skupina za kakovost, katere člani so praviloma: direktor/ravnatelj, vodja izobraževanja odraslih/programskega področja, učitelji, ki poučujejo odrasle udeležence, organizator izobraževanja odraslih, administrativno osebje. Skupino za kakovost ponavadi sestavlja pet članov. Od omenjenih članov se izobraževanja na ACS redno udeležujejo le dva do trije člani, ki skušajo pridobljeno znanje širiti med ostale člane skupine za kakovost in zaposlene ter jih tudi aktivno vključevati v delo v zvezi s presojanjem in razvijanjem kakovosti. Delo v programu usposabljanja poteka v obliki delavnic, ki jih glede na naravo dela delimo na izobraževalne in svetovalne. Temeljni namen izobraževalnih delavnic je dati članom skupin za kakovost iz izobraževalnih organizacij znanje, ki je potrebno, da lahko usklajujejo procese samoevalvacije in vpeljevanja izboljšav kakovosti. Vsebinsko se izobraževanje deli na spoznavanje samoevalvacije, ciljev, metod in postopkov ter na razvijanje znanja in spretnosti dela z ljudmi kot nosilci presojanja in razvijanja kakovosti v kolektivih. Poleg izobraževalnih delavnic poteka tudi skupinsko svetovanje v obliki delavnic. Članom skupin za kakovost svetujemo v posameznih fazah načrtovanja in izpeljevanja samoevalvacije, kako naj izpeljejo posamezen proces; svetujemo pa jim tudi pri vrednotenju dosežkov, izdelkov, ki jih pripravijo v posameznih fazah. Poleg tega ponujamo posamezni skupini za kakovost, posameznemu članu te skupine in posameznemu kolektivu tudi individualno svetovanje, kadar se med izpeljavo samoevalvacije porajajo vprašanja, ki jih izvajalci ne zmorejo rešiti sami. To svetovanje poteka po elektronski pošti in telefonu, pa tudi z našim obiskom v posamezni izobraževalni organizaciji. V pomoč imajo izobraževalne organizacije na razpolago različne priročnike (npr. Kakovost v izobraževanju odraslih, Kazalniki kakovosti, Vprašanja za presojanje kakovosti) in učna gradiva ter internetno podporo z različnimi bazami podatkov pri izpeljavi samoevalvacije. 3. METODOLOGIJA 3.1 METODOLOGIJA SPREMLJANJA PROGRAMA USPOSABLJANJA Ob oblikovanju programa usposabljanja za uporabo modela za presojanje in razvijanje kakovosti Ponudimo odraslim kakovostno izobraževanje - POKI smo na ACS oblikovali tudi sistem spremljanja usposabljanja, s pomočjo katerega smo želeli ugotoviti njegovo primernost. Za mnenje o ustreznosti izobraževalnega programa smo povprašali kar udeležence usposabljanja, in sicer s pomočjo anonimnega anketnega vprašalnika o zadovoljstvu s posameznim srečanjem oz. delavnico. Ali drugače povedano, da bi ugotovili ustreznost programa usposabljanja, smo izvedli empirično evalvacijo, tako formativno kot tudi sumativno. Formativno evalvacijo predstavlja zbiranje mnenj udeležencev o zadovoljstvu s programom usposabljanja med potekom usposabljanja, saj po vsakem srečanju oz. delavnici izpolnijo anketni vprašalnik o zadovoljstvu z delavnico. Sumativno evalvacijo pa izvajamo ob koncu izobraževalnega programa oz. ko osebje izobraževalnih organizacij izstopi iz projekta. V njenem okviru ugotavljamo tako ustreznost načina dela v projektu POKI kot tudi učinke le-tega v izobraževalnih organizacijah. Poleg empirične evalvacije pa izvajamo tudi racionalno evalvacijo, ki zajema presojo izobraževalnega programa s strani razvijalcev programa - strokovnjakov s področja kakovosti izobraževanja odraslih. Tudi pri racionalni evalvaciji smo izvajali tako formativno kot sumativno evalvacijo. Na podlagi formativne racionalne evalvacije smo nekatere spremembe uvajali v program že sproti, rezultate sumativne racionalne evalvacije pa objavljamo v tem poročilu. 3.2 PREGLED DELAVNIC V OKVIRU IZVEDBE PROGRAMA USPOSABLJANJA V LETIH 2004, 2005 IN 2006, KI SO BILE ZAJETE V EVALVACIJO Na ACS je v letih 2004, 2005 in do julija 2006, to je v obdobju, ki ga zajema to evalvacijsko poročilo, potekalo usposabljanje za izpeljavo samoevalvacije po modelu POKI v treh skupinah, in sicer smo jih poimenovali skupina POKI 3, skupina POKI 4 in skupina POKI 5, kar pomeni, da so izobraževalne organizacije v skupini POKI 3 predstavnice tretje generacije organizacij, ki se usposabljajo za izpeljavo samoevalvacije po modelu POKI, skupina POKI 4 predstavlja četrto generacijo, skupina POKI 5 pa peto. V preglednici 1 smo predstavili potek delavnic, iz katere je razvidno, da je skupina POKI 3 pričela z usposabljanjem v septembru 2004, skupina POKI 4 januarja 2005, skupina POKI 5 pa šele januarja 2006. V evalvacijo je tako zajeto celotno usposabljanje skupine POKI 3, medtem ko skupini POKI 4 in POKI 5 s svojim usposabljanjem še nista zaključili. To pomeni, da smo lahko začetne delavnice v programu evalvirali v vseh treh skupinah, nekatere končne pa le v eni ali dveh skupinah. Kljub temu ocenjujemo, da smo v času poteka evalvacije zbrali dovolj podatkov, ki nam omogočajo izdelavo ocen. Preglednica 1: Pregled izpeljanih delavnic v okviru programa usposabljanja za uporabo modela za presojanje in razvijanje kakovosti Ponudimo odraslim kakovostno izobraževanje - POKI DELAVNICA DATUM IZVEDBE DELAVNICE SKUPINA POKI 3 SKUPINA POKI 4 SKUPINA POKI 5 1. delavnica 13. - 15. 9. 2004 10. - 12. 1. 2005 9. - 11. 1. 2006 2. delavnica 19. - 20. 10. 2004 2. - 3. 2. 2005 2. - 3. 2. 2006 3. delavnica 9. - 10. 11. 2004 14. - 16. 3. 2005 14. - 16. 3. 2006 4. delavnica 24. - 26. 11. 2004 20. - 21. 4. 2005 20. 4. 2006 5. delavnica 14. - 15. 2. 2005 7. 7. 2005 4. 7. 2006 6. delavnica 4. - 5. 4. 2005 15. - 16. 9. 2005 Predvidena izpeljava v letu 2006 7. delavnica 7. - 8. 6. 2005 27. - 28. 10. 2005 Predvidena izpeljava v letu 2006 8. delavnica 26. 9. 2005 6. - 7. 2. 2006 Predvidena izpeljava v letu 2007 9. delavnica 14. 12. 2005 2. 3. 2006 Predvidena izpeljava v letu 2007 10. delavnica 14. 6. 2006 9. 5. 2006 Predvidena izpeljava v letu 2007 11. delavnica / Predvidena izpeljava v oktobru 2006 Predvidena izpeljava v letu 2007 3.3 IZOBRAŽEVALNE ORGANIZACIJE IN UDELEŽENCI PROGRAMA USPOSABLJANJA, KI SO SODELOVALI PRI EVALVACIJI PROGRAMA USPOSABLJANJA V letih 2004, 2005 in do julija 2006 so se v okviru programa usposabljanja za uporabo modela za presojanje in razvijanje kakovosti Ponudimo odraslim kakovostno izobraževanje - POKI usposabljali udeleženci, zaposleni v 39 oz. 38 organizacijah za izobraževanje odraslih. Skupino izobraževalnih organizacij POKI 3, ki je pričela z delom jeseni 2004, je sestavljalo 9 organizacij za izobraževanje odraslih, skupino POKI 4, ki je pričela z delom v letu 2005, je sestavljalo do sedme delavnice 15 izobraževalnih organizacij, kasneje pa 14. Skupino izobraževalnih organizacij POKI 5, ki je pričela z delom januarja 2006, pa sestavlja 15 organizacij. Po tipu organizacij so bile to tako srednje šole kot ljudske univerze in zasebne izobraževalne organizacije, ki delujejo po vsej Sloveniji, vse pa izvajajo izobraževanje odraslih. Preglednica 2: Izobraževalne organizacije, ki so bile vključene v evalvacijo programa usposabljanja Izobraževalne organizacije, ki sestavljajo skupino POKI 3 Izobraževalne organizacije, ki sestavljajo skupino POKI 4 Izobraževalne organizacije, ki sestavljajo skupino POKI 5 1 Center za izobraževanje in kulturo Trebnje Academia Maribor B&B izobraževanje in usposabljanje Kranj 2 Doba Maribor Andragoški zavod Maribor - Ljudska univerza INTER-ES Ljubljana 3 Izobraževalni zavod Memory CDI Univerzum Ljubljana Ljudska univerza Ajdovščina 4 Javni zavod Mocis, center za izobraževanje odraslih Slovenj Gradec Glotta Nova Ljubljana Ljudska univerza Celje 5 Ljudska univerza Kočevje Ljudska univerza Celje1 Ljudska univerza Lendava - zavod za izobraževanje odraslih in mladine 6 Ljudska univerza Velenje Ljudska univerza Gornja Radgona Ljudska univerza - zavod za kulturo in izobraževanje Rogaška Slatina 7 Srednja elektro-računalniška šola Maribor Ljudska univerza Koper Ljudska univerza Ptuj 8 Šola za strojništvo Škofja Loka Ljudska univerza Nova Gorica Srednja šola tehniških strok Šiška Ljubljana 9 Šolski center Novo mesto Ljudska univerza Radovljica Srednja upravno-administrativna šola Ljubljana 10 RIC Novo mesto Srednja šola Muta 11 Srednja gradbena šola Maribor Šolski center Celje 12 Srednja strojna šola Maribor UPI - Ljudska univerza Žalec 13 Šolski center Ptuj Vrtnarska šola Celje 14 Šolski center Slovenske Konjice - Zreče Zasavska ljudska univerza 15 Tehniški šolski center Kranj Živilska šola Maribor 1 Ljudska univerza Celje je navedena tako pri skupini POKI 4 kot pri skupini POKI 5, saj se je nekaj časa udeleževala delavnic pri skupini POKI 4, kasneje pa se je priključila skupini POKI 5. Udeleženci programa usposabljanja sta bila praviloma dva člana skupine za kakovost iz posamezne izobraževalne organizacije, ostali člani pa so se včasih udeležili delavnice ob odsotnosti člana, ki je bil predviden za udeležbo na delavnici. Zato se udeležba na delavnicah ni pogosto spreminjala in kot lahko vidimo v preglednici 3, se je pri skupini POKI 3 delavnic udeleževalo od 12 do 19 oseb, pri skupini POKI 4 pa malo več, in sicer med 17 in 26 oseb, saj je v tej skupini sodelovalo več izobraževalnih organizacij. V skupini POKI 5 se je delavnic povečini udeleževalo od 25 do 40 oseb. Preglednica 3: Število udeležencev izobraževalnega programa usposabljanja za uporabo modela za presojanje in razvijanje kakovosti Ponudimo odraslim kakovostno izobraževanje - POKI po posameznih delavnicah DELAVNICA ŠTEVILO UDELEŽENCEV SKUPINA POKI 3 SKUPINA POKI 4 SKUPINA POKI 5 1. delavnica 18 17 40 2. delavnica 19 26 34 3. delavnica 18 24 34 4. delavnica 15 25 25 5. delavnica 16 23 32 6. delavnica 15 23 Predvidena izpeljava v letu 2006 7. delavnica 12 22 Predvidena izpeljava v letu 2006 8. delavnica 16 26 Predvidena izpeljava v letu 2007 9. delavnica 16 21 Predvidena izpeljava v letu 2007 10. delavnica 17 20 Predvidena izpeljava v letu 2007 11. delavnica / Predvidena izpeljava v oktobru 2006 Predvidena izpeljava v letu 2007 Zgornja preglednica kaže število oseb, ki so se udeleževale posameznih delavnic, pri čemer je šlo, kot smo že omenili, pogosto za iste osebe, saj naj bi se delavnic udeleževala dva ista člana skupine za kakovost iz posamezne izobraževalne organizacije. Pričakovano število udeležencev je bilo tako: skupina POKI 3 = 18 oseb, skupina POKI 4 = 30 oz. kasneje 28 oseb in skupina POKI 5 = 30 oseb. Dejansko se je usposabljanja udeleževalo več oseb, kar je tudi razumljivo, saj so se včasih zaradi obveznosti »stalnih« članov delavnice udeležili drugi, opazili pa smo tudi, da so bile nekatere teme za skupine za kakovost zelo zanimive in so se zato usposabljanja udeležili več kot dva člana. Preglednica 4: Število in spol udeležencev programa usposabljanja za uporabo modela za presojanje in razvijanje kakovosti Ponudimo odraslim kakovostno izobraževanje - POKI Spol ŠTEVILO UDELEŽENCEV POKI 3 POKI 4 POKI 5 Moški 4 15 10 Ženski 21 31 39 Skupaj 25 46 49 Podatki v preglednici 4 kažejo, da je v skupini POKI 3 na delavnicah dejansko sodelovalo 25 različnih oseb, od tega 21 oseb ženskega spola in 4 osebe moškega spola. V skupini POKI 4 pa se je sedmih delavnic udeležilo 46 različnih oseb, kar kaže na to, da so se osebe v skupini POKI 3, ki so bile predvidene za udeležbo na usposabljanju, bolj redno udeleževale delavnic na ACS oz. so se v skupini za kakovost v manjši meri posluževali zamenjav z ostalimi člani kot v skupini POKI 4. V skupini POKI 5 pa se je usposabljanja udeleževalo 49 oseb, kar kaže na podobno situacijo kot pri skupini POKI 4. Preglednica 5: Udeleženci programa usposabljanja po izobrazbi Stopnja izobrazbe UDELEŽENCI POKI 3 POKI 4 POKI 5 Osnovna šola 0 0 0 Nižje poklicno izobraževanje 0 0 0 Srednje poklicno izobraževanje 0 0 0 Gimnazijsko izobraževanje, srednje poklicno-tehnično izob., srednje tehnično oz. drugo strokovno izobraževanje 0 3 2 Višje strokovno izobraževanje 1 3 3 Visoko strokovno izobraževanje 0 3 6 Univerzitetno izobraževanje 23 31 34 Specializacija, magisterij 1 5 4 Doktorat 0 1 0 Skupaj 25 46 49 Izobrazbena struktura udeležencev usposabljanja je zelo podobna v vseh skupinah (POKI 3, POKI 4 in POKI 5), in sicer povsod prevladujejo udeleženci z univerzitetno izobrazbo, kar je v skladu s pričakovanji glede na sestavo skupine za kakovost. Že pri opisu programa smo omenili, da se usposabljanja udeležujeta dva člana skupine za kakovost, katere člani so praviloma ravnatelji/direktorji, vodje izobraževanja odraslih, organizatorji izobraževanja odraslih, učitelji, ki imajo v večini primerov končano univerzitetno izobrazbo. 3.4 EVALVACIJSKIINSTRUMENTARIJ Za pridobivanje mnenj udeležencev o ustreznosti programa usposabljanja smo uporabljali anketni vprašalnik (glej Prilogo 1), ki so ga udeleženci izpolnjevali po vsaki delavnici. Vprašalnik je anonimen, vsebuje pa 9 vprašanj, od tega se eno vprašanje nanaša na demografske podatke, in sicer na funkcijo udeležencev, ki jo opravljajo v njihovi organizaciji. Tri vprašanja se nanašajo na splošno zadovoljstvo z delavnico, zadovoljstvo z organizacijo in vsebino delavnice. Sledi vsebinski sklop, ki vsebuje tri vprašanja, s pomočjo katerih lahko udeleženci izrazijo zadovoljstvo oz. nezadovoljstvo s posameznimi temami usposabljanja, in sicer jih ocenjujejo glede na aktualnost, uporabnost za njihovo delo, ustreznost posredovanja ter pripadajoča gradiva. Poleg tega pa lahko zapišejo tudi mnenje, katere teme bi želeli v nadaljnjih izpeljavah še poglabljati in katere so povsem neuporabne za njihovo delo. Udeleženci ocenjujejo posebej tudi posamezne predavatelje, in sicer na lestvici od 1 do 5. Na koncu vprašalnika pa imajo udeleženci možnost, da zapišejo komentarje, predloge za izboljšave in morebitna druga sporočila organizatorjem izobraževanja. 3.5 IZPELJAVA RACIONALNE EVALVACIJE Racionalno evalvacijo smo opravljale strokovnjakinje, ki smo v obravnavanih letih delovale v okviru tematskega področja Kakovost na Andragoškem centru Slovenije: mag. Tanja Možina, Sonja Klemenčič in Milena Zoric. Občasno pa smo evalvacijo opravljali tudi v pogovorih z zunanjimi strokovnjaki, ki so sodelovali pri izvedbi programa usposabljanja: dr. Robi Kroflič, dr. Janez Mayer, mag. Marko Radovan, dr. Kristijan Musek Lešnik, dr. Valentina Hlebec. Pri evalvaciji so nas usmerjala naslednja evalvacijska vprašanja, ki jih vsebuje že sam program usposabljanja: Na ravni izobraževalnega programa in njegove izpeljave: - Ali so cilji programa usposabljanja ustrezni glede na potrebe udeležencev po znanjih pri vpeljavi modela POKI v lastno izobraževalno organizacijo? - Ali so izbrane organizacijske oblike ustrezne z vidika doseganja temeljnih ciljev programa? - Ali so izbrane organizacijske oblike ustrezne glede na ciljno skupino? - Ali je obseg ur posameznih vsebinskih sklopov ustrezen glede za doseganje zastavljenih ciljev? - Ali so opredeljeni kadrovski pogoji v programu ustrezni? - Ali so opredeljeni materialni pogoji v programu ustrezni? Na ravni izpeljave izobraževalnega programa: Zadovoljstvo udeležencev: - Ali so udeleženci zadovoljni s predavatelji ter njihovo strokovno in pedagoško-andragoško usposobljenostjo? - Ali so udeleženci zadovoljni z organizacijo usposabljanja? - Ali so udeleženci zadovoljni z vsebinami usposabljanja? - Ali so udeleženci zadovoljni z uporabnostjo pridobljenih znanj? - Ali so udeleženci zadovoljni s svetovalnim delom (konzultacijami), ki so ga imeli na razpolago pri samostojnem delu? - Ali so udeleženci zadovoljni z gradivi, ki so jih dobili v izobraževalnem programu? - Ali so udeleženci zadovoljni z oblikami in metodami dela, uporabljenimi v programu? - Ali so se udeležencem uresničila pričakovanja, ki so jih imeli ob vstopu v program? - Ali bi udeleženci potrebovali še dodatna znanja s področja evalvacije in kakovosti? 4. REZULTATI EVALVACIJE PROGRAMA USPOSABLJANJA ZA UPORABO MODELA ZA PRESOJANJE IN RAZVIJANJE KAKOVOSTI PONUDIMO ODRASLIM KAKOVOSTNO IZOBRAŽEVANJE - POKI 4.1 REZULTATI EMPIRIČNE EVALVACIJE V tem delu prikazujemo rezultate anketnih vprašalnikov o zadovoljstvu udeležencev s programom usposabljanja, vendar pa rezultatov ne prikazujemo ločeno po delavnicah, temveč prikazujemo skupne podatke z vseh delavnic, zato je tudi povsod skupno število odgovorov večje kot je bilo dejansko število različnih udeležencev usposabljanja, saj so se isti udeleženci usposabljanja udeleževali večkrat oz. vseh delavnic. Kjer podatkov bodisi zaradi vsebine bodisi zaradi pomembnih razlik pri odgovorih nismo mogli prikazati skupaj, smo jih prikazali ločeno po posameznih skupinah. Pri tem pa moramo opozoriti na metodološki vidik tako prikazanih podatkov. Ocene, ki so jih dajali udeleženci skupine POKI 3, so rezultat 10 delavnic, torej celotnega usposabljanja, ki je bilo namenjeno tej skupini, medtem ko so ocene, ki so jih dajali udeleženci skupine POKI 5, rezultat njihove udeležbe na 5 delavnicah, kar je približno polovica vsega usposabljanja. Ne gre torej za enakovredne podatke. Združevanje tako različnih podatkov pa smo si dovolili zato, ker nas zanimajo bolj posplošene ocene pri posameznih vidikih ocenjevanja programa, zaradi česar je tako združevanje podatkov še dopustno. Kjer pa združevanje metodološko ne bi bilo korektno, smo podatke prikazali ločeno. 4.1.1 ZADOVOLJSTVO Z ORGANIZACIJO IN VSEBINO USPOSABLJANJA V evalvaciji usposabljanja nas je ob koncu vsake delavnice najprej zanimala splošna ocena, kako so bili udeleženci zadovoljni z delavnico. Kot vidimo v spodnji preglednici, so udeleženci delavnice največkrat ocenili z oceno 4 in 5 in je pri vseh skupinah povprečna ocena zelo podobna. Opazili pa smo zanimiv pojav in sicer, da se pri tem vprašanju pojavljajo tudi ocene »zelo nezadovoljen«, čeprav so iste osebe v nadaljevanju posamezne elemente usposabljanja (vsebino in organizacijo) ocenile kot dobro ali celo z višjimi ocenami. To je razvidno tudi iz preglednic 7 in 8, kjer je razvidno, da se ocena »zelo nezadovoljen« sploh ni pojavila. Najprej smo si pojav razlagali s tem, da je lestvica odgovorov neustrezno strukturirana (najprej najslabša ocena, na koncu najboljša), zato smo anketni vprašalnik tudi spremenili. Vendar se je ta pojav še pojavil v nekaj primerih in nam tako ostaja uganka - zakaj so nekateri, sicer redki, udeleženci delavnico ocenili z oceno »zelo nezadovoljen«, v nadaljevanju istega anketnega vprašalnika pa so vse elemente delavnice (vsebino, organizacijo, gradiva, predavatelje...) ocenili z dobrimi ocenami. Preglednica 6: Splošno zadovoljstvo udeležencev z delavnicami Ocena Skupina POKI 3 Skupina POKI 4 Skupina POKI 5 F % F % F % 1 Zelo nezadovoljen. 2 1,4 8 3,7 2 1,6 2 Nezadovoljen. 0 0,0 1 0,5 0 0,0 3 Niti zadovoljen niti nezadovoljen. 1 0,7 2 0,9 3 2,4 4 Zadovoljen. 95 65,5 88 40,4 52 40,9 5 Zelo zadovoljen. 47 32,4 119 54,6 70 55,1 N 145 100,0 218 100,0 127 100,0 Povprečna ocena 4,3 / 4,4 / 4,5 / Ker je ACS tudi v vlogi organizatorja usposabljanja za model POKI, nas je zanimalo tudi, kako so udeleženci zadovoljni z organizacijo. Rezultati so prikazani za vse skupine (POKI 3, POKI 4, POKI 5) skupaj in lahko vidimo, da so bili udeleženci z organizacijo delavnic bodisi zelo zadovoljni bodisi zadovoljni, saj je povprečna ocena vseh usposabljanj kar 4,6. Preglednica 7: Ocena udeležencev skupin POKI 3, POKI 4 in POKI 5 o organizaciji usposabljanja Ocena F % 1 Zelo slaba 0 0,0 2 Slaba 0 0,0 3 Niti dobra niti slaba 5 1,0 4 Dobra 189 38,7 5 Zelo dobra 295 60,3 N 489 100,0 Povprečna ocena 4,6 / Tudi kar zadeva zadovoljstvo udeležencev z vsebino usposabljanj, so ocene zelo spodbudne, saj je bila večina udeležencev z vsebino delavnic zadovoljna oz. zelo zadovoljna. Preglednica 8: usposabljanja Zadovoljstvo udeležencev iz skupin POKI 3, POKI 4 in POKI 5 z vsebino Ocena F % 1 Zelo nezadovoljen. 0 0,0 2 Nezadovoljen. 0 0,0 3 Niti zadovoljen niti nezadovoljen. 7 1,4 4 Zadovoljen. 252 51,5 5 Zelo zadovoljen. 230 47,0 N 489 100,0 Povprečna ocena 4,5 / 4.1.2 ZADOVOLJSTVO UDELEŽENCEV S POSAMEZNIMI TEMAMI USPOSABLJANJA Udeleženci usposabljanja so na posameznih delavnicah ocenjevali vsebino delavnice -teme, in sicer glede na štiri elemente: - aktualnost teme, - uporabnost teme za njihovo delo, - ustreznost posredovanja teme ter - ustreznost gradiv pri posamezni temi. Vse zgoraj navedene elemente pri posamezni temi usposabljanja so udeleženci ocenjevali z ocenami od 1 do 5, kjer so posamezne ocene pomenile naslednje: ocena 1 - zelo nezadovoljen, ocena 2 - nezadovoljen, ocena 3 - niti zadovoljen niti nezadovoljen, ocena 4 - zadovoljen, ocena 5 - zelo zadovoljen. V nadaljevanju prikazujemo rezultate, in sicer v obliki povprečnih ocen o zadovoljstvu udeležencev s posameznimi temami, ločeno za vsako skupino POKI. V spodnji preglednici so predstavljeni rezultati o zadovoljstvu udeležencev s temami, ki vsebinsko sodijo med začetne teme v programu usposabljanja. S temi temami se udeleženci predvsem seznanjajo s projektom POKI, načinom dela v njem, ter modelom za presojanje in razvijanje kakovosti POKI. Ker temelji model POKI na samoevalvaciji, se udeleženci usposabljanja ravno tako seznanijo s to metodo, poleg tega pa dobijo tudi malo širši vpogled v različne koncepte kakovosti, ki so se razvili v zadnjem času. Kot lahko vidimo iz rezultatov, so udeleženci usposabljanja teme zelo različno ocenjevali, tako po aktualnosti kot tudi po uporabnosti. Najbolj aktualne in uporabne teme so bile tiste, ki so se nanašale neposredno na potek projekta ter na model POKI, za katerega so vedeli, da ga bodo izpeljevali v času usposabljanja za presojo lastne kakovosti, niso ga pa vsebinsko poznali. Kar pa zadeva ostale teme, lahko vidimo, da so vidne manjše razlike med skupino POKI 3 in POKI 4, predvsem pri temi Sodobni koncepti kakovosti in samoevalvacije, saj je skupina POKI 3 menila, da je bila tema malo manj aktualna kot je menila skupina POKI 4. Skupina POKI 5 pa je bila v primerjavi z ostalima skupinama nezadovoljna predvsem z ustreznostjo posredovanja teme ter z gradivi. Na splošno pa so udeleženci pri prej omenjeni temi in temi, ki se nanaša na samoevalvacijo kot metodo za presojanje kakovosti, bili malo manj zadovoljni z uporabnostjo teme za njihovo delo kot tudi z načinom posredovanja ter z gradivi. Pri iskanju vzrokov zakaj je temu tako, lahko rečemo, da sta ti temi bolj teoretske narave in da udeleženci morebiti zato niso videli neposredne povezave s svojim delom, ravno tako predavatelji zaradi vsebine, ki je bila namenjena seznanjanju udeležencev z novimi vsebinami, niso mogli uporabljati takih metod dela, ki bi udeležence aktivno vključile v usposabljanje. Hkrati gre za teme, ki obravnavajo temeljna konceptualna izhodišča različnih pristopov k presojanju in razvijanju kakovosti, ki jih udeleženci potrebujejo kot osnovo, na kateri v nadaljevanju lahko gradijo praktične primere presojanja in razvijanja kakovosti v lastni izobraževalni organizaciji. Tematiko, ki se jim ob začetnem spoznavanju s koncepti kakovosti zdi še precej abstraktna, osmislijo šele kasneje, ko jo aplicirajo na lastne praktične primere. Potrebno je omeniti to, da smo se po prvi izvedbi v skupini POKI 3 odločili, da temo Samoevalvacija kot metoda za presojanje obstoječega stanja v organizaciji pri skupinah POKI 4 in POKI 5 črtamo kot posebno temo in smo jo izpeljali tako, da smo jo umestili v predstavitev modela POKI ter metodo samoevalvacije povezali s potekom vpeljave modela POKI. Preglednica 9: Zadovoljstvo udeležencev s temami o spoznavanju projekta POKI, metode samoevalvacije ter sodobnih konceptov kakovosti Teme SKUPINA POKI 3 SKUPINA POKI 4 SKUPINA POKI 5 Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Povp. Povp. Povp. ocena Povp. Povp. Povp. Povp. ocena Povp. Povp. Povp. Povp. ocena Povp. ocena ocena ocena ocena ocena ocena ocena ocena ocena Spoznavanje s 4,7 4,7 4,4 4,6 4,7 4,6 4,7 4,7 4,8 4,8 4,7 4,8 projektom POKI Spoznavanje z 4,6 4,6 4,2 4,6 4,7 4,5 4,5 4,6 4,8 4,9 4,7 4,7 modelom POKI Sodobni 4,2 4,2 4,0 4,1 4,6 4,1 4,2 4,3 4,4 4,3 3,9 3,8 koncepti kakovosti in (samo) evalvacije Samoevalvacija 4,3 4,4 4,4 4,4 / / / / / / / / kot metoda za presojanje obstoječega stanja v organizaciji Na začetku usposabljanja se udeleženci kar nekaj časa ukvarjajo tudi z vprašanji razvoja kakovosti lastne organizacije, in sicer tako, da razmišljajo o poslanstvu svoje organizacije, o njeni viziji in vrednotah, ki druži zaposlene in sodelavce te organizacije. Na usposabljanju jim najprej omogočimo, da se o pomenu in načinu opredeljevanja razvoja kakovosti pogovorijo z zunanjim ekspertom, kasneje pa tudi sami oblikujejo vizijo, poslanstvo in vrednote. Andragoški center Slovenije jim nato posreduje strokovno mnenje o oblikovanih elementih. V naslednji preglednici vidimo, da so bili udeleženci skupine POKI 3 in pOki 4 malo manj zadovoljni z načinom posredovanja teme Pomen definiranja razvoja kakovosti - poslanstvo, vizija, vrednote kot z ostalimi elementi, čeprav so ocene na splošno zelo dobre. Tudi skupina POKI 5 je ti temi ocenila z zelo visokimi ocenami, vendar pa naj omenimo, da je pri skupini POKI 5 prišlo do manjše spremembe pri tej temi, in sicer sta jo izvedla dva predavatelja, za razliko od prejšnjih skupin, kjer je bil izvajalec en sam. Zato je tudi ocena za Opredelitev poslanstva, vizije, vrednot pri skupini POKI 5 podana ločeno. Ravno tako skupina POKI 5 ni posebej ocenjevala povratne informacije o izdelanih vrednotah, poslanstvu in viziji, ker jo je Andragoški center Slovenije sodelujočim izobraževalnim organizacijam poslal naknadno v pisni obliki. Preglednica 10: Zadovoljstvo udeležencev s temo Definiranje razvoja kakovosti organizacije Teme SKUPINA POKI 3 SKUPINA POKI 4 SKUPINA POKI 5 Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Povp. Povp. Povp. ocena Povp. Povp. Povp. Povp. ocena Povp. Povp. Povp. Povp. ocena Povp. ocena ocena ocena ocena ocena ocena ocena ocena ocena Pomen 4,4 4,4 4,1 4,7 4,6 4,5 4,2 4,5 4,8 4,8 4,9 4,8 definiranja razvoja kakovosti - poslanstvo, vizija, vrednote Opredelitev / / / / / / / / 4,8 4,8 4,9 4,8 poslanstva, vizije, vrednot Vrednote, 4,6 4,6 4,6 4,3 4,5 4,6 4,4 4,4 / / / / poslanstvo, vizija kakovosti - povratna informacija Preglednica 11 prikazuje rezultate o zadovoljstvu udeležencev s temami, ki se vsebinsko povezujejo z načinom komuniciranja pri presojanju in razvijanju kakovosti tako v kolektivu kot tudi z zunanjimi interesnimi skupinami. Tovrstne teme so zelo pomembne, saj predstavljajo procesi presojanja in razvijanja kakovosti precejšnje spremembe tako v kolektivu kot tudi pri sodelovanju z zunanjimi partnerji. Zato je zelo pomembno, da se izobraževalne organizacije seznanijo tudi s tem, da bodo pri svojem delu v povezavi s kakovostjo naleteli tako na pozitivne kot tudi negativne odzive v ožjem in širšem okolju in da se je potrebno na njih ustrezno pripraviti in iskati rešitve, kako delovati v takih različnih situacijah. Zato se s tovrstnimi vprašanji ukvarjamo tako na začetku projekta POKI, ko se oblikuje skupina za kakovost, ki izvaja aktivnosti presojanja in razvijanja kakovosti, kot tudi med potekom projekta, ko skupina za kakovost predstavi rezultate presoje kakovosti kolektivu. Kot vidimo, so tudi udeleženci usposabljanja teme ocenili zelo dobro po vseh elementih, navzdol nekoliko izstopa le tema Kvaliteta komunikacije v kolektivu in z uporabniki, ki so jo udeleženci skupine POKI 3 ocenili malo slabše. Zato smo to temo v nadaljevanju, pri skupini POKI 4 in POKI 5, nadomestili s temama Interesne skupine in kakovost ter Komuniciranje z različnimi interesnimi skupinami, s katerima so bili tudi udeleženci bolj zadovoljni. Posledično temu smo za temi Interesne skupine in kakovost ter Komuniciranje z različnimi interesnimi skupinami izbrali tudi druge predavatelje, kar se je v naslednjih izpeljavah izkazalo za ustrezno. Preglednica 11: Zadovoljstvo udeležencev s temami, ki so v povezavi z oblikovanjem skupine za kakovost ter komunikacijo v kolektivu in z zunanjimi interesnimi skupinami Teme SKUPINA POKI 3 SKUPINA POKI 4 SKUPINA POKI 5 Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Povp. Povp. Povp. ocena Povp. Povp. Povp. Povp. ocena Povp. Povp. Povp. Povp. ocena Povp. ocena ocena ocena ocena ocena ocena ocena ocena ocena Oblikovanje skupine za kakovost 4,7 4,5 4,5 4,5 4,4 4,5 4,4 4,5 4,7 4,7 4,7 4,8 Pomen 4,8 4,7 4,7 4,5 4,9 4,9 4,8 4,7 4,8 4,8 4,9 4,6 timskega dela za razvoj kakovosti v organizaciji Kvaliteta 4,0 4,3 4,1 4,2 / / / / / / / / komunikacije v kolektivu in z uporabniki2 Kolektiv in 4,6 4,5 4,5 4,9 4,5 4,7 4,7 4,5 / / / / kakovost3 Interesne / / / / 4,6 4,6 4,6 4,6 4,6 4,5 4,4 4,5 skupine in kakovost4 Komuniciranje z različnimi / / / / 4,6 4,6 4,5 4,5 4,9 4,8 4,9 3,7 interesnimi skupinami5 2 Tema ni bila izvedena v skupini POKI 4 in POKI 5. 3 Tema še ni bila izvedena v skupini POKI 5. 4 Tema ni bila izvedena v skupini POKI 3. 5 Tema ni bila izvedena v skupini POKI 3. Naslednji vsebinski sklop je v povezavi z opredeljevanjem dejavnikov kakovosti izobraževanja odraslih po modelu POKI ter seznanjanjem z instrumentom Samoevalvacijski profil, s pomočjo katerega organizacije naredijo prvo celovito, a manj poglobljeno oceno, kakšno raven kakovosti že dosegajo. Na podlagi tako dobljenih rezultatov se odločijo, na katera področja se bodo v nadaljevanju bolj podrobno osredotočile oz. presodile njihovo kakovost. Tudi pri teh temah so bili udeleženci razmeroma zelo zadovoljni, saj so v povprečju teme ocenjevali z zelo visokimi ocenami. Malo manj so bili udeleženci skupine POKI 4 zadovoljni z ustreznostjo posredovanja teme Samoevalvacijski profil, v okviru katere so bili predstavljeni vprašalniki, ki so jih kasneje udeleženci uporabili v svojih izobraževalnih organizacijah, a tudi v tem primeru povprečna ocena znaša 4,2. Preglednica 12: Zadovoljstvo udeležencev z vsebinskim sklopom Dejavniki kakovosti izobraževanja odraslih Teme SKUPINA POKI 3 SKUPINA POKI 4 SKUPINA POKI 5 Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Povp. Povp. Povp. ocena Povp. Povp. Povp. Povp. ocena Povp. Povp. Povp. Povp. ocena Povp. ocena ocena ocena ocena ocena ocena ocena ocena ocena Dejavniki 4,7 4,6 4,5 4,6 4,6 4,5 4,6 4,5 4,7 4,7 4,6 4,6 kakovosti izobraževanja odraslih po modelu POKI Samoevalvacijski profil - izbor 4,7 4,6 4,4 4,6 4,5 4,5 4,2 4,4 4,7 4,6 4,3 4,6 področja za samoevalvacijo Samoevalvacijski 4,6 4,8 4,5 4,4 4,7 4,6 4,6 4,5 4,6 4,6 4,5 4,7 profil - pogovor o rezultatih V preglednici 13 so predstavljeni rezultati zadovoljstva udeležencev s temami, ki zajemajo predvsem načrtovanje presojanja kakovosti. Pri tem sklopu delo temelji na predstavitvi posameznih elementov načrta za izpeljavo samoevalvacije, ki ga opravi strokovnjak za metodologijo. Sledi samostojno delo udeležencev, ki na delavnicah na primeru lastne organizacije oblikujejo samoevalvacijski načrt. Andragoški center Slovenije jim nato oblikuje še pisno povratno informacijo o pripravljenem načrtu. Udeleženci so bili s tem sklopom tem razmeroma zelo zadovoljni. Naj posebej omenimo temo Ravni samoevalvacije, ki se pojavi le pri skupini POKI 3. Pri skupini POKI 3 te teme na začetnih delavnicah nismo obravnavali, vendar se je kasneje, med potekom dela v projektu POKI, pokazalo, da bi bilo z vidika razumevanja izpeljave samoevalvacije dobro, da bi udeležencem predstavili, na katerih ravneh lahko izvajajo samoevalvacijo, saj se je nemalokrat zgodilo, da so udeleženci pri presojanju kakovosti zamenjevali različne ravni. Precej težav so imeli udeleženci pri sprejemanju odločitve, na kateri ravni bodo izpeljali samoevalvacijo, saj jim ni bilo povsem jasno, ali izvesti samoevalvacijo na ravni organizacije ali na ravni programa, predmeta ipd. Zato smo se odločili, da bomo pri skupini pOki 4 in POKI 5 tovrstna vprašanja obravnavali že na začetku in smo jih tako obravnavali pri temi Spoznavanje z modelom POKI. Preglednica 13: Zadovoljstvo udeležencev s temami v povezavi z načrtovanjem presojanja kakovosti Teme SKUPINA POKI 3 SKUPINA POKI 4 SKUPINA POKI 5 Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Ravni samoevalvacije 4,3 4,3 4,4 4,5 / / / / / / / / Metodologija samoevalvacije 4,5 4,6 4,4 4,5 4,5 4,6 4,3 4,6 4,7 4,6 4,5 4,6 Oblikovanje standardov kakovosti 4,7 4,8 4,6 4,6 4,6 4,7 4,5 4,7 4,8 4,7 4,6 4,6 Oblikovanje samoevalvacijskih vprašanj 4,8 4,9 4,6 4,5 4,6 4,6 4,5 4,7 4,7 4,8 4,6 4,6 Opredeljevanje subjektov 4,7 4,7 4,4 4,4 4,6 4,6 4,4 4,7 4,7 4,7 4,5 4,6 Samoevalvacijski načrt - povratna informacija 4,7 4,8 4,7 4,6 4,9 4,9 4,8 4,8 4,7 4,7 4,5 4,8 Pri procesih presojanja kakovosti uporabljajo udeleženci usposabljanja tudi metode. Skupini POKI 3 in POKI 4 sta pri izpeljavi samoevalvacije uporabili metodo analize dokumentacije ter anketiranje in intervjuvanje, medtem ko skupina POKI 5 v času poteka evalvacije teh metod še ni izpeljevala, se je pa na usposabljanju seznanila z metodo analize dokumentacije. Kot vidimo, so bili s predstavitvijo teh metod udeleženci skupin POKI 3 in POKI 4 zadovoljni, le pri skupini POKI 4 so bili malo manj zadovoljni z metodo analize dokumentacije, saj se jim je v tistem trenutku verjetno zdela malo manj aktualna in uporabna za njihovo delo. Pri skupini POKI 4 pa smo pri uporabi metod vpeljali novost, in sicer smo udeležencem predstavili tudi kvalitativni metodi za presojanje kakovosti, metodo fokusnih skupin in metodo zgledovanja (benchmarking); enako smo storili tudi pri skupini POKI 5. Ti dve metodi predstavljata novost v Sloveniji, ko govorimo o procesih presojanja kakovosti v izobraževalnih organizacijah, saj sta se pogosteje uporabljali bodisi v gospodarstvu bodisi v druge namene in ne za presojanje kakovosti. Udeleženci so novi metodi dobro sprejeli, izstopajo le rezultati pri predstavitvi metode fokusnih skupin v skupini POKI 4, s katero niso bili najbolj zadovoljni in se je posledično za uporabo te metode odločilo manj organizacij kot se je za uporabo metode zgledovanja. Ocenili smo, da je bil v tem primeru vzrok predavateljev pristop k predstavitvi teme, zaradi česar smo ga v skupini POKI 5 tudi nadomestili z drugim. Preglednica 14: Zadovoljstvo udeležencev s spoznavanjem različnih metod za izpeljavo samoevalvacije SKUPINA POKI 3 SKUPINA POKI 4 SKUPINA POKI 5 Aktualnost Uporabnost Ustreznost Gradiva Aktualnost Uporabnost Ustreznost Gradiva Aktualnost Uporabnost Ustreznost Gradiva Teme teme teme za moje delo posredovanja teme teme teme za moje delo posredovanja teme teme teme za moje delo posredovanja teme Povp. Povp. Povp. ocena Povp. Povp. Povp. Povp. ocena Povp. Povp. Povp. Povp. ocena Povp. ocena ocena ocena ocena ocena ocena ocena ocena ocena Metoda analize 4,7 4,8 4,7 4,5 4,3 4,4 4,3 4,6 4,8 4,7 4,8 4,7 dokumentacije Metoda anketiranja 4,7 4,7 4,3 4,4 4,6 4,6 4,3 4,6 4,7 4,6 4,7 4,7 in intervjuvanja Metoda zgledovanja - predstavitev za izbor metode / / / / 4,7 4,7 4,7 4,8 4,7 4,5 4,8 4,8 Metoda fokusnih / / / / 4,3 4,2 3,4 4,3 4,8 4,6 4,8 4,8 skupin -predstavitev za izbor metode Metoda fokusnih / / / / 4,9 4,7 4,1 4,5 4,6 4,7 4,9 4,8 skupin -načrtovanje in izpeljava Metoda zgledovanja / / / / 4,8 4,6 4,6 4,5 4,9 4,9 4,9 4,9 - načrtovanje in izpeljava Po oblikovanju samoevalvacijskega načrta in po sprejetju odločitve, s pomočjo katerih metod bodo zbirali podatke pri presojanju kakovosti lastne organizacije, oblikujejo udeleženci samoevalvacijski instrumentarij, in sicer opomnike za intervjuje, anketne vprašalnike, opomnike za metodo zgledovanja, fokusne skupine ipd. Pri oblikovanju instrumentarija imajo na delavnicah na voljo tudi strokovno pomoč, ravno tako pa prejmejo v zvezi s končno verzijo instrumentov pisno povratno informacijo. Kot vidimo so bili udeleženci usposabljanja zelo zadovoljni tako s temo, ki zajema oblikovanje samoevalvacijskega instrumentarija, kot tudi s povratno informacijo o izdelanih instrumentih.6 Preglednica 15: Zadovoljstvo udeležencev s temami v povezavi z oblikovanjem samoevalvacijskega instrumentarija Teme SKUPINA POKI 3 SKUPINA POKI 4 Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Oblikovanje samoevalvacijskih instrumentov, testiranje instrumentov, vzorčenje 4,5 4,4 4,4 4,6 4,7 4,7 4,6 4,6 Samoevalvacijski instrumentarij - povratna informacija 4,6 4,6 4,6 4,7 4,5 4,7 4,7 4,7 Načrt zbiranja podatkov 4,7 4,7 4,7 4,7 4,6 4,6 4,5 4,5 Podatke, ki jih udeleženci dobijo s pomočjo samoevalvacijskega instrumentarija, je potrebno na ustrezen način tudi obdelati. Ker večina udeležencev usposabljanja podatke obdela sama, jim na usposabljanju posredujemo nekaj strokovnih napotkov, kako naj to naredijo. Iz rezultatov lahko vidimo, da je bilo splošno zadovoljstvo s temami kar precej visoko, da pa je bila skupina POKI 4 malo manj zadovoljna s temo Obdelava podatkov, pridobljenih z anketiranjem in intervjuvanjem, kot skupina POKI 3. 6 Skupina POKI 5 v času poteka evalvacije teh tem še ni obravnavala, zato so prikazani samo podatki za skupini POKI 3 in POKI 4. 23 Preglednica 16: Zadovoljstvo udeležencem s temami v povezavi z obdelavo podatkov Teme SKUPINA POKI 3 SKUPINA POKI 4 SKUPINA POKI 5 Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Povp. Povp. Povp. ocena Povp. Povp. Povp. Povp. ocena Povp. Povp. Povp. Povp. ocena Povp. ocena ocena ocena ocena ocena ocena ocena ocena ocena Obdelava 4,8 4,9 4,7 4,8 4,4 4,5 4,3 4,3 / / / / podatkov, pridobljenih z anketiranjem in intervjuvanjem7 Obdelava / / / / 4,6 4,5 4,6 4,6 4,7 4,8 4,7 4,6 podatkov, pridobljenih v fokusnih skupinah in zgledovanju8 Prehajamo na obravnavo tem, ki so jih v času evalvacije programa usposabljanja že obravnavali samo skupini POKI 3 in POKI 4, medtem ko je skupina POKI 5 te teme obravnavala kasneje (razen teme Struktura samoevalvacijskega poročila, ki jo je že obravnavala tudi skupina POKI 5). Ko udeleženci zberejo in obdelajo vse podatke, sledi oblikovanje samoevalvacijskega poročila. Najprej spoznajo samo strukturo poročila in posamezna njegova poglavja, nato pa tudi to, na kakšen način naj v poročilo vključijo rezultate samoevalvacije. Če se najprej vrnemo k spoznavanju strukture poročila, lahko vidimo manjše razlike med skupinama že pri samem podajanju te vsebine, in sicer so se pri POKI 4 večkrat in bolj postopno seznanjali s samoevalvacijskim poročilom kot skupina POKI 3, ki ga je spoznala na enem srečanju in tako bolj intenzivno. Vendar se je kasneje pokazalo, da je bolje, če se udeleženci s samoevalvacijskim poročilom in elementi le-tega seznanjajo večkrat, saj so bile pri skupini POKI 3 nekatere pripombe, da je težko pisati besedila za dokument, ki ga ne spoznaš prej in bolj podrobno. Zato smo se odločili, da bomo skupini POKI 4 in POKI 5 s tem dokumentom seznanjali bolj pogosto tako v začetnih fazah kot tudi vmesnih, saj predstavlja samoevalvacijsko poročilo pomemben dokument, v katerem skupina za kakovost zapiše temeljne ugotovitve, do katerih je prišla v procesu presoje ter opiše njen celoten potek. Tudi po ocenah sodeč je bila taka odločitev primerna, saj so teme ocenili kot zelo aktualne in zelo uporabne za njihovo delo. 7 Skupina POKI 5 v času poteka evalvacije še ni obravnavala te teme. 8 Skupina POKI 3 te teme ni imela v svojem programu. Preglednica 17: Zadovoljstvo udeležencev z vsebinskim sklopom, ki je v povezavi z organiziranjem pridobljenih podatkov ter s pripravo samoevalvacijskega poročila Teme SKUPINA POKI 3 SKUPINA POKI 4 SKUPINA POKI 5 Aktualnost Uporabno- Ustreznost Gradiva Aktualnost Uporabno- Ustreznost Gradiva Aktualnost Uporabno- Ustreznost Gradiva teme st teme za moje delo posredovanja teme teme st teme za moje delo posredovanja teme teme st teme za moje delo posredovanja teme Povp. Povp. Povp. ocena Povp. Povp. ocena Povp. Povp. ocena Povp. Povp. Povp. Povp. ocena Povp. ocena ocena ocena ocena ocena ocena ocena ocena Struktura 4,8 4,6 4,5 4,8 4,7 4,7 4,4 4,7 4,7 4,8 4,5 4,8 samoevalvacijskega poročila Kako pišemo 4,7 4,8 4,7 4,8 4,8 4,8 4,8 4,8 / / / / samoevalvacijsko poročilo? Prikaz in 4,8 4,8 4,8 4,8 4,8 4,7 4,8 4,8 / / / / interpretacija podatkov, pridobljenih z anketiranjem in intervjuvanjem Prikaz in / / / / 4,8 4,7 4,8 4,7 / / / / interpretacija podatkov, pridobljenih z analizo dokumentacije Samoevalvacijsko poročilo -metodologija samoevalvacije 4,6 4,8 4,7 4,8 4,8 4,8 4,9 4,8 / / / / Samoevalvacijsko / / / / 4,8 4,8 4,8 4,8 / / / / poročilo - priprava uvodnega dela Uvodna poglavja v poročilo / / / / 4,8 4,8 4,7 4,7 / / / / Struktura poglavja / / / / 4,8 4,7 4,8 4,8 / / / / Rezultati in Načrt obdelave podatkov Udeleženci usposabljanja prejmejo tudi za dokument, ki smo ga poimenovali samoevalvacijsko poročilo, povratno informacijo, s katero so bili zelo zadovoljni. Ravno tako pa prejmejo tudi nekaj strokovnih napotkov, na kakšen način naj predstavijo rezultate samoevalvacijskega poročila svojemu kolektivu, na kaj naj bodo še posebej pozorni, s kakšnimi težavami se lahko srečajo ipd. V naslednji preglednici je mogoče opaziti manjše razlike med skupino POKI 3 in pOki 4 pri temi Predstavitev samoevalvacijskega poročila, še posebej pri postavki Aktualnost teme, kjer je POKI 3 mnenja, da tema v tistem trenutku za njih ni bila tako aktualna kot je bila za POKI 4. Enako velja za uporabnost teme za njihovo delo, kar malo preseneča, saj sta bili obe skupini v isti fazi, torej pred pripravo razprave. Razlike se pojavijo tudi pri ustreznosti posredovanja teme, kjer so bili udeleženci skupine POKI 4 bolj zadovoljni kot udeleženci POKI 3, kar lahko pojasnimo s tem, da je predavatelj za skupino POKI 4 temo nekoliko prilagodil glede na izkušnje s POKI 3. Po opravljenih razpravah v kolektivu si na usposabljanju vzamemo tudi nekaj časa za pogovor o njih ter na podlagi obiskov razprav pripravimo primerjalno analizo o ustreznosti priprave in izpeljave razprave, s čimer so bili udeleženci po rezultatih sodeč zelo zadovoljni. Preglednica 18: Zadovoljstvo udeležencev s temami, ki so v povezavi s predstavitvijo samoevalvacijskega poročila Teme SKUPINA POKI 3 SKUPINA POKI 4 Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Aktualnost teme Uporabnost teme za moje delo Ustreznost posredovanja teme Gradiva Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Samoevalvacijsko poročilo - povratna informacija 4,9 4,9 4,9 4,8 4,7 4,6 4,8 4,8 Predstavitev samoevalvacijskega poročila 4,1 3,9 3,7 4,1 4,8 4,5 4,3 4,3 Razprava o samoevalvacijskem poročilu 4,8 4,7 4,5 4,4 4,5 4,7 4,7 4,5 Analiza razprav o samoevalvacijskih poročilih 4,8 4,8 4,7 4,6 4,8 4,7 4,8 4,8 V drugem letu usposabljanja za izpeljavo samoevalvacije si udeleženci na podlagi rezultatov presoje kakovosti zastavijo akcijski načrt razvoja kakovosti, s pomočjo katerega opredelijo, katere aktivnosti bodo v naslednjem letu sodelovanja v projektu POKI izpeljevali v lastnih izobraževalnih organizacijah, da bi ugotovljene pomanjkljivosti izboljšali. Tema akcijski načrt za razvoj kakovosti se pojavi velikokrat, in sicer zato, ker najprej posvetimo nekaj časa njegovemu oblikovanju. Ker je to dokument, ki naj bi ga uresničevali vsi zaposleni, ne le skupina za kakovost, ki je v večini izpeljevala presojo, je potrebno v zvezi z zastavljenimi akcijami doseči konsenz vseh vpletenih, o čemer se na usposabljanju pogovarjamo pri temi Akcijski načrt za razvoj kakovosti - potrditev. Kasneje pa se pogovarjamo o tem, kako naj bi se akcijski načrt uresničeval in tudi kako se dejansko uresničuje, na kaj moramo biti pozorni pri njegovem uresničevanju. Kot vidimo v naslednji preglednici so bili udeleženci s temo o akcijskem načrtu zelo zadovoljni, le malo manj kot sicer je bila skupina POKI 3 zadovoljna z gradivi za temo Akcijski načrt za razvoj kakovosti - potrditev. Preglednica 19: Zadovoljstvo udeležencev s temo Akcijski načrt razvoja kakovosti Teme SKUPINA POKI 3 SKUPINA POKI 4 Aktualnost Uporabno- Ustreznost Gradiva Aktualnost Uporabno- Ustreznost Gradiva teme st teme za moje delo posredova nja teme teme st teme za moje delo posredova nja teme Povp. Povp. Povp. Povp. Povp. Povp. Povp. Povp. ocena ocena ocena ocena ocena ocena ocena ocena Akcijski načrt 4,8 4,8 4,8 4,8 4,8 4,8 4,8 4,6 za razvoj kakovosti - oblikovanje Akcijski načrt 4,6 4,5 4,5 4,3 4,8 4,8 4,6 4,6 za razvoj kakovosti - potrditev Akcijski načrt 4,8 4,8 4,7 4,6 4,9 4,9 4,7 4,4 razvoja kakovosti - uresničevanje Da bi udeleženci usposabljanja v drugem letu lahko ustrezno razvijali kakovost v lastnih organizacijah, jim na usposabljanju posredujemo tudi nekaj znanj, s pomočjo katerih dobijo širši vpogled v presojanje in razvijanje kakovosti. Prav na tem mestu se pokaže fleksibilna in odprta zasnova kurikuluma, ki smo jo izbrali kot temeljno obliko načrtovanja programa usposabljanja POKI. Ta nam namreč omogoča, da določen fond ur v programu usposabljanja pustimo nerazporejen in teme izbiramo sproti, med samim udejanjanjem programa usposabljanja za dejanske ciljne skupine. Pri izboru tovrstnih tem smo doslej sledili predvsem dvema kriterijema. Teme smo izbirali v skladu s potrebami in zanimanji udeležencev posameznih skupin ter glede na aktualna dogajanja na področju izobraževanja odraslih ter še posebej na področju presojanja in razvijanja kakovosti. V izpeljavah, ki jih obravnavamo v tem poročilu, sta bili takšni temi Prepoznavanje, ocenjevanje in razvijanje kompetenc v izobraževalni organizaciji ter spoznavanje modela poslovne odličnosti EFQM. V splošnem so udeleženci s tovrstnimi temami zadovoljni in če primerjamo skupini med seboj, lahko vidimo, da je bila skupina POKI 4 nekoliko bolj zadovoljna z gradivi za temo Prepoznavanje, ocenjevanje in razvijanje kompetenc kot skupina POKI 3. Preglednica 20: Zadovoljstvo udeležencev s temami, ki se povezujejo s kakovostjo izobraževanja v širšem pomenu Teme SKUPINA POKI 3 SKUPINA POKI 4 Aktualnost Uporabno- Ustreznost Gradiva Aktualnost Uporabno- Ustreznost Gradiva teme st teme za moje delo posredova nja teme teme st teme za moje delo posredova nja teme Povp. Povp. Povp. Povp. Povp. Povp. Povp. Povp. ocena ocena ocena ocena ocena ocena ocena ocena Prepoznavanje, 4,4 4,3 4,4 3,6 4,6 4,5 4,4 4,4 ocenjevanje in razvijanje kompetenc v izobraževalni organizaciji Od kakovosti do 4,7 4,5 4,6 4,1 / / / / odličnosti preko samoocenjevanja po modelu EFQM9 9 Skupina POKI 4 te teme ni obravnavala. Organizatorji in razvijalci modela POKI smo mnenja, da je potrebno informacijo o skrbi za kakovost ustrezno sporočati tudi okolju, v katerem izobraževalna organizacija deluje. V sodobni informacijski družbi ima internet precej pomembno vlogo, saj ga veliko ljudi uporablja pri iskanju informacij, tudi o ponudbi znanja oz. ustreznih izobraževalnih programov. V množici različnih izobraževalnih organizacij se potencialni udeleženec odloča, v kateri izobraževalni organizaciji si bo pridobil potrebno znanje na podlagi več kriterijev. Eden izmed kriterijev pa je vsekakor tudi ta, ali organizacija na kakršenkoli način skrbi za svojo kakovost. Bolj ko bo organizacija svojemu okolju in potencialnim udeležencem sporočala, da dobro skrbi za kakovost izobraževalnih programov, bolj se bodo ti v večji meri odločali za izobraževanje pri njej. Zato smo v izobraževalnem programu POKI posvetili nekaj časa tudi pregledu spletnih strani sodelujočih organizacij ter udeležencem omogočili srečanje z zunanjim strokovnjakom, ki jim je skušal dati koristne napotke, kako narediti uporabno spletno stran. Kot vidimo, so bili udeleženci s tovrstnimi temami zelo zadovoljni, le malo manj zadovoljni so bili z gradivi, ki jih pravzaprav ni bilo, saj sta temi v večji meri temeljili na pregledovanju spletnih strani in pogovoru o njihovi ustreznosti. Preglednica 21: Zadovoljstvo udeležencev s temami, povezanimi s spletnimi stranmi izobraževalnih organizacij Teme SKUPINA POKI 3 SKUPINA POKI 4 Aktualnost teme Uporabnost teme za moje delo Ustreznost posredova nja teme Gradiva Aktualnost teme Uporabnost teme za moje delo Ustreznost posredova nja teme Gradiva Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena Povp. ocena POKI na spletnih straneh 4,9 4,7 4,7 3,6 4,8 4,9 4,8 4,8 Kako narediti uporabno spletno stran? 4,9 4,8 4,6 3,6 / / / / Skupina POKI 3 je ob zaključku usposabljanja predlagala, da bi bilo z vidika izmenjave različnih izkušenj zelo dobrodošlo, če bi jim med usposabljanjem omogočili srečanje s katero od organizacij, ki so že zaključile s sodelovanjem v projektu POKI. Ker tega pri skupini POKI 3 ni bilo mogoče izpeljati, smo takšno srečanje omogočili skupinama POKI 4 in POKI 5. S takim načinom so bili udeleženci zelo zadovoljni in so zato zelo pozdravili srečanja, na katerih lahko izmenjujejo izkušnje z ostalimi organizacijami. Preglednica 22: Zadovoljstvo udeležencev s predstavitvijo uporabe modela POKI v praksi Teme SKUPINA POKI 4 SKUPINA POKI 5 Aktualnost Uporabno- Ustreznost Gradiva Aktualnost Uporabno- Ustreznost Gradiva teme st teme za moje delo posredovanja teme teme st teme za moje delo posredovanja teme Povp. Povp. Povp. ocena Povp. Povp. Povp. Povp. ocena Povp. ocena ocena ocena ocena ocena ocena Predstavitev 4,7 4,7 4,6 4,6 / / / / uporabe modela POKI - primer LU Murska Sobota10 Primer dobre 4,9 4,7 4,8 4,4 / / / / prakse - Kako so na LU Kočevje oblikovali akcijski načrt razvoja kakovosti11 Primer dobre / / / / 4,6 4,4 4,4 4,5 prakse - oblikovanje poslanstva, vizije in vrednot v izobraževalni organizaciji Glotta Nova 12 10 Ta tema je bila samo v skupini POKI 4. 11 Ta tema je bila samo v skupini POKI 4. 12 Ta tema je bila samo v skupini POKI 5. 4.1.3 ZADOVOLJSTVO UDELEŽENCEV S PREDAVATELJI V tem poglavju si bomo ogledali, kako so udeleženci usposabljanja ocenjevali predavatelje oz. ali so bili za usposabljanje za vpeljavo modela za presojanje in razvijanje kakovosti POKI izbrani primerni predavatelji. Rezultati so prikazani ločeno po skupinah POKI 3, POKI 4 in POKI 5. Preden pa si ogledamo rezultate posameznih predavateljev, bi želeli pojasniti, katere »vrste« predavateljev smo izbirali za sodelovanje v izobraževalnem programu za izpeljevanje samoevalvacije. V programu usposabljanja za uporabo modela za presojanje in razvijanje kakovosti Ponudimo odraslim kakovostno izobraževanje - POKI sodelujejo predavatelji razvijalci, ki so programa usposabljanja razvili. To so osebe, ki skrbijo za razvoj programa in modela POKI ter imajo strokovno znanje in izkušnje pri izpeljavi samoevalvacij. V projektu POKI delujejo svetovalno in so na delavnicah POKI nenehno prisotni, kjer udeležencem usposabljanja nudijo strokovno pomoč. Poleg predavateljev razvijalcev sodelujejo v programu POKI tudi zunanji strokovnjaki s področja kakovosti v izobraževanju, samoevalvacije, timskega dela, komunikacije ipd. Ti predavatelji so stalni sodelavci v projektu POKI, vendar pa na delavnicah niso vseskozi prisotni tako kot predavatelji razvijalci, temveč so prisotni le v določenih fazah projekta POKI, predvsem ko predstavljajo bolj specifična strokovna znanja. Nekateri predavatelji pa sodelujejo le občasno. To so strokovnjaki, ki so vabljeni, ko udeleženci posebej izrazijo željo po pridobivanju nekaterih aktualnih znanj v povezavi s kakovostjo. Zato se, kot bomo videli v nadaljevanju, nekateri predavatelji pojavijo le enkrat pri določeni skupini in ne pri obeh. Ocene predavateljev Iz preglednice 23 je razvidno, da se povprečne ocene o zadovoljstvu s predavatelji v skupini POKI 3 gibljejo od 3,6 do ocene 4,6, v skupini POKI 4 (preglednica 24) od 3,5 do 4,7, v skupini POKI 5 (preglednica 25) pa od 3,6 do 4,9. Na podlagi povprečnih ocen lahko rečemo, da so bili predavatelji programa usposabljanja za uporabo modela za presojanje in razvijanje kakovosti Ponudimo odraslim kakovostno izobraževanje - POKI v povprečju zelo primerni. Če je bila ocena posameznega predavatelja v povprečju pod 4, smo že med samim potekom evalvacije temeljito razmislili, kaj je treba storiti; v največ primerih smo predavatelja zamenjali, pogosto ob tem pa razmislili tudi o primernosti vsebine teme oz. skladnosti teme s cilji programa. Preglednica 23: Ocena posameznih predavateljev na usposabljanju skupine POKI 3 Predavatelj Ocena SKUPAJ Nezadovoljiv (1) Zadovoljiv (2) Dober (3) Zelo dober (4) Odličen (5) N Povprečna ocena F Predavatelj 113 0 0 6 41 45 92 4,4 Predavatelj 2 0 0 8 51 61 120 4,4 Predavatelj 3 0 0 9 19 21 49 4,2 Predavatelj 4 0 1 3 9 4 17 3,9 Predavatelj 5 0 0 1 10 19 30 4,6 Predavatelj 6 0 2 4 18 13 37 4,1 Predavatelj 7 0 1 7 3 6 17 3,8 Predavatelj 8 0 2 3 7 2 14 3,6 Predavatelj 9 0 0 1 3 5 9 4,4 Predavatelj 10 0 0 0 6 3 9 4,3 Predavatelj 11 0 0 3 3 10 16 4,4 Predavatelj 12 0 1 1 2 11 15 4,5 Preglednica 24: Ocena posameznih predavateljev na usposabljanju skupine POKI 4 Predavatelj Ocena SKUPAJ Nezadovoljiv (1) Zadovoljiv (2) | Dober (3) | Zelo dober (4) | Odličen (5) N Povprečna ocena F Predavatelj 1 0 0 5 55 153 213 4,7 Predavatelj 2 0 1 8 51 98 158 4,6 Predavatelj 3 0 1 8 42 42 93 4,3 Predavatelj 5 0 0 2 6 30 38 4,7 Predavatelj 6 0 0 7 19 17 43 4,2 Predavatelj 7 0 0 2 8 7 17 4,3 Predavatelj 8 0 1 3 10 7 21 4,1 Predavatelj 10 0 1 5 19 21 46 4,3 Predavatelj 11 0 0 2 9 5 16 4,2 Predavatelj 13 2 2 8 7 5 24 3,5 Predavatelj 14 0 0 0 1 17 18 4,9 Predavatelj 15 0 0 1 6 13 20 4,6 Preglednica 25: Ocena posameznih predavateljev na usposabljanju skupine POKI 5 Predavatelj Ocena SKUPAJ Nezadovoljiv (1) Zadovoljiv (2) | Dober (3) | Zelo dober (4) | Odličen (5) N Povprečna ocena F Predavatelj 1 0 0 4 40 83 127 4,6 Predavatelj 2 0 0 5 42 75 122 4,6 Predavatelj 3 0 1 2 9 11 23 4,3 Predavatelj 5 0 0 0 3 21 24 4,9 Predavatelj 6 0 0 1 3 28 32 4,8 Predavatelj 7 0 4 11 11 6 32 3,6 Predavatelj 10 0 3 16 26 32 77 4,1 Predavatelj 14 0 0 0 3 20 23 4,9 Predavatelj 16 0 1 2 11 7 21 4,1 13 Zaradi varstva osebnih podatkov ne navajamo imen predavateljev, pač pa smo jih oštevilčili. Tako je npr. predavatelj 1 ista oseba tako v skupini POKI 3 kot POKI 4 ali POKI 5. Primerjava povprečnih ocen predavateljev v skupinah POKI 3, POKI 4 in POKI 5 Če pogledamo sliko 1, kjer so povprečne ocene primerjalno prikazane za skupine POKI 3, POKI 4 in POKI 5, lahko vidimo, da je skupina POKI 4 iste predavatelje višje ocenila kot jih je skupina POKI 3. V nekaterih primerih to drži tudi za skupino POKI 5, vendar pa moramo upoštevati, da ima skupina POKI 5 pred seboj še kar nekaj delavnic in da se lahko povprečne ocene predavateljev še spremenijo. Razloge za višje ocene lahko pojasnimo tudi s tem, da je skupina POKI 3 pričela z usposabljanjem prej kot POKI 4 in je imela priložnost prva preizkusiti predavatelje. Na ta način smo prišli do povratne informacije o ustreznosti izpeljave. Večina predavateljev je napotke udeležencev POKI 3 vzela resno in se je skušala v naslednji izpeljavi še izboljšati oz. predavanje prilagoditi skupini. Slika 1: Primerjalni prikaz povprečnih ocen predavateljev v skupini POKI 3, POKI 4 in POKI 5 4,5 3,5 2,5 1,5 11 □ POKI 3 □ POKI 4 □ POKI 5 Pred. Pred. Pred. Pred. Pred. Pred. Pred. Pred. Pred. Pred. Pred. Pred. Pred. Pred. Pred. Pred. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 5 4 3 2 1 Iz slike je tudi razvidno, da so nekateri predavatelji sodelovali le pri eni skupini. Pri odločanju, ali bomo s predavatelji sodelovali tudi v prihodnje, vsekakor upoštevamo ocene udeležencev. Ocene udeležencev so za nas pomembna informacija, ki jo upoštevamo, ko načrtujemo usposabljanje za naslednjo skupino. Včasih se pri katerem izmed predavateljev v prvi izpeljavi pokaže, da s svojim načinom in vsebinami ni uspel zares vzpostaviti stika z udeleženci, taki primeri so za nas signal, da skupaj s predavateljem ugotovimo, v čem je bila težava in na kakšen način bi se jo dalo odpraviti. V večini primerov predavatelji v naslednjih izpeljavah svoje izpeljave bolj prilagodijo ciljnim skupinam, izboljšajo, posledično temu pa dosežejo tudi boljše zadovoljstvo udeležencev. Zgodilo pa se je tudi že, da je kateri izmed naših zunanjih sodelavcev ugotovil, da so teme in način dela, ki ga ima sam, preveč različne od interesov in pričakovanj naših udeležencev pa tudi nas, ki projekt vodimo, in se je odločil, da kot predavatelj v programu usposabljanja POKI ne bo sodeloval ali pa smo se tako odločili mi. Včasih pa smo se za tak ukrep odločili kot organizatorji usposabljanja. V takih primerih smo predavatelja nadomestili z novim. Večini predavateljev pa predstavljajo ocene in napotki udeležencev izziv za nadaljnji lastni razvoj. Tudi nekoliko višje ocene predavateljev v skupini POKI 4 glede na skupino POKI 3, so gotovo vsaj malo posledica tovrstnih premislekov. Hkrati pa smo včasih pozorni tudi na to, da le na podlagi ocen o zadovoljstvu ne sklepamo prehitro. Zgodi se namreč tudi, da udeleženci katerega izmed predavateljev malo slabše ocenijo, mi pa, upoštevajoč sam koncept in temeljne cilje projekta, presodimo, da je potrebno, sicer morda na malo drugačen način, pri nekaterih vsebinah ter načinih in metodah dela vztrajati. Udeleženci se namreč včasih na začetku nanje odzovejo nekoliko slabše tudi zato, ker so jim novi, nepoznani, preveč posežejo v njihove ustaljene miselne strukture in načine delovanja, od njih zahtevajo veliko aktivnosti ipd. Razvijalci programa usposabljanja smo bili vsakokrat prisotni na vseh delavnicah in ocene udeležencev vedno primerjali z lastnimi ocenami in vtisi tudi z vidika strokovnega znanja, ki ga udeleženci potrebujejo. Naše izkušnje so v takšnih primerih velikokrat pokazale, da je za nekatere spremembe v mišljenju in delovanju potrebno več časa, ki ga v POKI-ju, glede na to, da so člani skupin za kakovost z nami dve leti, imamo. Zato pri nekaterih temah in predavateljih vztrajamo, kasneje, ko jih udeleženci drugače sprejmejo, ozavestijo, jih na nove načine umestijo v svoje miselne kontekste, pa povedo, da na začetku sicer niso razumeli, zakaj »jim je tega treba«, sedaj pa vedo, da je to bilo koristno. Ocene o zadovoljstvu, ki jih posredujejo udeleženci je zato vedno smiselno kombinirati tudi z ekspertno presojo, ki jo posredujejo predavatelji, še posebej pa znotraj širših ciljev, ki jih opredeljuje program usposabljanja POKI. 4.1.4 MNENJE UDELEŽENCEV O POTREBNIH SPREMEMBAH OZ. DOPOLNITVAH PROGRAMA USPOSABLJANJA 4.1.4.1 TEME, KI BI JIH UDELEŽENCI USPOSABLJANJA ŽELELI POGLABLJATI Udeležence usposabljanja smo vsakokrat vprašali, ali bi si želeli katere od obravnavanih tem v prihodnjih usposabljanjih še poglabljati. Izpis tem si lahko pogledamo v preglednici 26. Preglednica 26: Seznam tem, ki bi jih udeleženci usposabljanja želeli poglabljati Teme Skupina POKI 3 Skupina POKI 4 Skupina POKI 5 St. odgovorov St. odgovorov St. odgovorov Timsko delo 6 10 6 Poslanstvo, vizija, vrednote 2 3 6 Predstavitev projekta; Smernice za izvajanje projekta 4 0 0 Sodobni koncepti kakovosti 0 1 0 Dejavniki kakovosti 0 0 2 Samoevalvacija 0 2 1 Oblikovanje skupine za kakovost 2 0 0 Interesne skupine in trženje izobraževalnih storitev; Komuniciranje z različnimi interesnimi skupinami; priprava oglaševalskega načrta; Komuniciranje z javnostmi 0 9 6 Kazalniki kakovosti 1 0 0 Samoevalvacijski profil; Izbor področja za samoevalvacijo; Vsebine vprašanj samoevalvacijskega profila 3 4 0 Ravni samoevalvacije 1 0 0 Metodologija samoevalvacije 0 3 0 Oblikovanje standardov kakovosti 2 1 0 Oblikovanje samoevalvacijskih instrumentov; Oblikovanje anketnih vprašalnikov 1 2 0 Metoda anketiranja 0 2 0 Metoda zgledovanja 0 4 1 Fokusne skupine 0 2 0 Samoevalvacijsko poročilo; pisanje zaključnega poročila 2 0 0 Obdelava podatkov. 1 2 0 Interpretacija podatkov; Prikaz in interpretacija podatkov z izbranimi metodami 3 4 0 Kakovost 1 0 0 Morda malce več idej za izvedbo predstavitve - metode tehnike - tudi za izvedbo diskusije, za nabor idej. 1 0 0 Kolektiv in kakovost 1 1 0 Kako narediti uporabno spletno stran?; Spletne strani - posvetiti tej temi malo več časa, mogoče malo bolj individualen pristop za vsako posamezno področje (prednosti/pomanjkljivosti). 4 0 0 Akcijski načrt 2 0 0 Kompetence v izobraževanju 1 0 0 Model odličnosti 1 0 0 Benchmarking 1 0 0 Praktični del - izmenjava izkušenj/dobre prakse, reševanje problemov. 0 2 0 Motivacija zunanjih sodelavcev za sodelovanje v projektu POKI. 0 1 0 Vse je bilo primerno poglobljeno 1 0 2 Skupaj 41 53 24 V skupini POKI 3 je največ udeležencev (6) izrazilo željo po poglabljanju teme timsko delo, ki ji sledijo teme o tem, kako narediti uporabno spletno stran, o predstavitvi projekta POKI ter smernice za izvajanje projekta, o standardih kakovosti, samoevalvacijskem profilu in interpretaciji podatkov. Tudi v skupini POKI 4 so udeleženci izrazili podobne želje: ravno tako so želeli poglabljati temo timsko delo (10 udeležencev). Razlika med skupino POKI 3 in POKI 4 pa je vidna predvsem pri metodoloških temah, in sicer pri poglabljanju metode zgledovanja, metode anketiranja, metode fokusnih skupin in interpretaciji rezultatov. Skupina POKI 4 je med usposabljanjem želela bolj poglabljati različne metode presojanja kakovosti, saj so imeli priložnost med usposabljanjem preizkusiti nekaj novih metod (metoda zgledovanja, metoda fokusnih skupin), ki jih skupina POKI 3 ni preizkusila, in s katerimi niso imeli veliko izkušenj. V skupini POKI 5 je treba upoštevati, da so v času izpeljave evalvacije obravnavali le dobro polovico predvidenih tem. Med temami, ki pa so jih že obravnavali, so želeli več izvedeti o timskem delu, poslanstvu, viziji in vrednotah ter kako komunicirati z različnimi javnostmi. Organizatorji in izvajalci programa usposabljanja za uporabo modela za presojanje in razvijanje kakovosti Ponudimo odraslim kakovostno izobraževanje - POKI smo skušali že sproti upoštevati želje in predloge udeležencev glede poglabljanja posameznih tem. Velikokrat je bilo mogoče opaziti, da je predavatelj s posamezno temo spodbudil nadaljnje zanimanje udeležencev ter željo po nadaljnjem poglabljanju teme, vendar vsakokrat ni bilo mogoče upoštevati vseh želja udeležencev, saj se je bilo potrebno osredotočati še na druge teme, ki so bile pomembne z vidika ustrezne strokovne izvedbe programa, in ni bilo mogoče posvetiti določeni temi toliko časa, kot bi si udeleženci morda želeli. 4.1.4.2 SEZNAM TEM, KI SO BILE PO MNENJU UDELEŽENCEV NEUPORABNE ZA NJIHOVO DELO Udeleženci so imeli možnost izraziti tudi mnenje o neuporabnosti tem za njihovo delo. V zvezi s tem smo jih vsakokrat povprašali, ali so katere od obravnavanih tem tako neuporabne za njihovo delo, da predlagajo njihovo črtanje. Skupina POKI 3 Pri skupini POKI 3 takšnih tem, za katere bi udeleženci menili, da so povsem neuporabne za njihovo delo, skorajda ni bilo. Največkrat jih je na usposabljanju zmotilo podajanje teoretskega znanja, ki pa je osnova za uporabo v praksi in se mu ni mogoče izogniti, ter dolžina nekaterih tem. Preglednica 27: Odgovori udeležencev skupine POKI 3 na vprašanje, če predlagajo črtanje katere izmed tem Predlogi F Skrajšati čas, namenjen teoriji o komunikaciji. 2 Prevečkrat poudarjena evalvacija (sicer koristna tema). 1 Viri. 1 Preveč teoretskih informacij za metodološki uvod. 1 Strniti teorijo. 1 Potrebno je skrajšati vzorčenje in testiranje instrumentov. 1 Vse so uporabne. 1 Dobro izbirate teme za posamezno srečanje 1 Zadnji del - razprava o konkretnih problemih v IO. 1 Skupaj 10 Skupina POKI 4 Pri skupini POKI 4 je bilo pripomb glede neuporabnosti tem še manj kot pri skupini POKI 3. V enem primeru je bila prošnja za dodatne obrazložitve, kako obdelati podatke, druga pripomba pa se je nanašala na metodologijo samoevalvacije, in sicer, da si metodološka navodila udeleženci lahko preberejo sami. Vendar pa je bila to le pripomba enega udeleženca in ker smo med usposabljanjem opazili, da ima večina udeležencev primanjkljaj ravno iz metodologije, smo se odločili, da bomo to temo ohranili tudi v prihodnje. Preglednica 28: Odgovori udeležencev skupine POKI 4 na vprašanje, če predlagajo črtanje katere izmed tem Predlogi F Prosim, za matematike specificirajte obrazložitve obdelave podatkov, anket. 1 Metodološka navodila lahko preberemo tudi sami. 1 Vse bomo lahko koristno uporabili. 1 Skupaj 3 Skupina POKI 5 Pri skupini POKI 5 je kot vidimo zelo malo, le eden udeleženec je bil mnenja, da je tema o anketiranju neuporabna. Res pa je, da smo pri evalvaciji upoštevali le polovico delavnic pri skupini pOki 5, saj ostale delavnice niso bile še izpeljane. Preglednica 29: Odgovori udeležencev skupine POKI 5 na vprašanje, če predlagajo črtanje katere izmed tem Predlogi F Morda anketa. 1 Vsaka tema je bila sama po sebi zanimiva in poučna, tako da ne bi nobene črtala. 1 Vsaka informacija je dobrodošla. 1 Skupaj 3 4.1.5 KOMENTARJI, PREDLOGI UDELEŽENCEV ZA IZBOLJŠAVE IN DRUGA SPOROČILA ORGANIZATORJEM USPOSABLJANJA Udeleženci usposabljanja so imeli na koncu anketnega vprašalnika tudi možnost izraziti svoje mnenje o delavnicah v zvezi z zadevami, ki jih v vprašalniku nismo zajeli. Komentarje smo razdelili v naslednje vsebinske sklope: - komentarji udeležencev glede organizacije delavnic, - komentarji udeležencev glede vsebine delavnic, - komentarji udeležencev glede predavateljev, - splošni komentarji. 4.1.5.1 Organizacija delavnic Kar zadeva organizacijo delavnic, so jo udeleženci POKI 3 še posebej pohvalili, vendar so imeli poleg pohval tudi nekaj pripomb, predvsem jih je motilo zamujanje njihovih kolegov na delavnice, zaželeli pa so si še več odmorov s postrežbo kave. Preglednica 30: Komentarji udeležencev usposabljanja POKI 3 glede organizacije delavnic Organizacija delavnic - POKI 3 St. odgovorov Zelo dobra organizacija. Zmeraj nas razveselite s kakšnim darilcem. Zahvala za darilca - razveselil(-a) sem se koledarja za leto 2005. Zahvala za trud in majhne pozornosti. Lepo je, da nas vsaj med odmori razvajate. Kava ob zaključku. Kava v času kosila. Hvala za prijaznost in pozitivno sprejemanje naših zamud in nerodnosti. Opravičilo za zamujanje (vendar se trudimo). 12 Tudi skupina POKI 4 je bila zadovoljna z organizacijo delavnic, vendar so bile pripombe nekaterih udeležencev na trajanje delavnic, saj so jim bile tridnevne delavnice prenaporne, tudi njih je zmotilo zamujanje kolegov, nekateri pa bi si poleg odmorov s kavo in prigrizkom želeli tudi še kaj drugega. Preglednica 31: Komentarji udeležencev usposabljanja POKI 4 glede organizacije delavnic Organizacija delavnic - POKI 4 Št. odgovorov Hvala za kakovost informacij, za prijaznost, postrežbo, dobro počutje. Vse OK, moram pa priznati, da so stoli neudobni. Mogoče ne bi imeli 3 dni skupaj. Razviti je potrebno izobraževanje na krajše obdobje. Predlagam največ dva dni. Moti me zamujanje kolegov in čakanje na zamudnike. Odlična organizacija in podpora pri opravljanju posameznih opravil med delavnicami, ki jih izvajamo. Le tako naprej. Hvala. Poleg kave in čaja še viski z ledom. Malo več svetlobe v prostoru. Sadje namesto piškotov. Glavni odmor (kosilo) v drugem terminu, ker je v tem času jedilnica prezasedena. 12 Podobne pripombe kot pri prejšnjih skupinah so bile tudi pri skupini POKI 5, kjer so udeležence najbolj motile večdnevne delavnice. Preglednica 32: Komentarji udeležencev usposabljanja POKI 5 glede organizacije delavnic Organizacija delavnic - POKI 5 Št. odgovorov Všeč mi je pristop k delu, organizacija, točnost, doslednost, posredovanje gradiva, ažurno obveščanje. Želim si, da bi bilo delo še naprej organizacijsko tako točno. Še naprej se držite urnika (predavanja, pavze). Kot je že ugotovljeno, izogibajte se 3-dnevnih delavnic. Raje bi se udeleževala 2-dnevnih delavnic zaradi nemotenega dela službi. Ampak bo že šlo. Vse je OK. Delavnice so precej naporne, saj je treba veliko delati in razmišljati. Na koncu smo že utrujeni. Bolje bi bilo, da bi se končale ob 15.30. Sem že navajena takšnega ritma in nimam pripomb. Da ne bi vprašalnikov reševali po vsaki delavnici, ampak le za nove predavatelje. Mrzla kava. Zadovoljna sem z izpeljano organizacijo, sistematičnostjo dela in jasnimi navodili. Le kava med odmori bi lahko bila postrežena bolj topla. Pogrešamo sok, kekse. 13 4.1.5.2 Vsebina delavnic Glede vsebine delavnic so nekateri udeleženci POKI 3 pohvalili teme, strukturo usposabljanja in način dela. Bilo je pa tudi nekaj pripomb na preobsežnost posameznih tem, nekateri so si želeli več praktičnega dela in izmenjave izkušenj ter celosten pregled nad delom v projektu. Preglednica 33: Komentarji udeležencev usposabljanja POKI 3 glede vsebine delavnic Vsebina delavnic - POKI 3 St. odgovorov Zahvala za kakovostne teme in predavatelje. Teme in vsebine, ki jih obravnavamo na delavnicah niso pomembne in koristne le za izpeljavo samega projekta, temveč so izredno uporabne tudi za delo, ki ga opravljamo in za področja, na katerih delujemo. Dobra struktura usposabljanja. Zelo koristno je bilo skupinsko delo pri oblikovanju standardov in evalvacijskih vprašanj ter takojšnja povratna informacija. Predvsem mi je bila uporabna predstavitev akcijskega načrta, saj se je razjasnilo, kako se tega lotiti. Ponovno ste poskrbeli za pestrost posameznih sklopov delavnice in za prijetno počutje. 6 Skrajšati teme, jih obravnavati bolj skoncentrirano. Predlog glede priprave samoevalvacijskega poročila - kriterije oz. merila bi bilo dobro dobiti vnaprej, tako bi bila priprava veliko lažja. Več časa posvetiti dogovorom in informacijam za naloge do naslednje delavnice, saj nam na koncu zmanjka časa za razlago konkretnih nalog, ki jih moramo opraviti do naslednje delavnice. Vsa vaša predavanja so izredno dobro pripravljena, vendar bi bilo nujno potrebno, da jih izvedete pred tem, ko neko stvar že pripravimo. 6 Manj teorije, več prakse. Vsebine na delavnici so bile zelo uporabne - aktivno in produktivno delo. Manjkale so predstavitve izkušenj tistih, ki so že sodelovali v projektu. Boljša delavnica, ker je bilo več poudarka na praktičnem znanju. Podano je bilo veliko konkretnih napotkov. 7 Bolj konkreten pregled nad celotnim sistemom POKI-ja, predvsem kar se dotika lastnih obveznosti. Želeli bi celosten pregled evalvacijskega dela. Dobro predavanje: nekoliko bolj jasno na začetku razločiti delovanje projektov, nato podrobnosti. 3 Skupaj 22 V skupini POKI 4 pa so udeleženci še posebej pohvalili sistematičnost in strokovnost delavnic, posamezni udeleženci pa so si želeli bolj celosten pregled nad projektom POKI, več natančnosti pri dajanju navodil, primerov iz gospodarstva ipd. Preglednica 34: Komentarji udeležencev usposabljanja POKI 4 glede vsebine delavnic Vsebina delavnic - POKI 4 Št. odgovorov Le tako naprej. Delavnice so zanimive in poučne ter zelo sistematično pripravljene. Veliko vloženega dela, inovativnost. Čestitke za sistematičnost in nazornost. Pohvala sistematičnosti, natančnosti in nazornosti. Ste strokovni sistematični in delovni. Pohvala. Zelo sistematično, celovito in strokovno vodeno usposabljanje, ste zelo dober zgled. Izjemno dobro pripravljene delavnice. Še nikoli se mi ni zgodilo, da je prehitro konec programa. 6 Povratna informacija je bila na momente nedoločena. Zelo ste se potrudili, da ste vsaki organizaciji tako natančno pripravili opozorila, pripombe, predloge. Skratka, zelo ste nam olajšali delo. 2 Organizacija, vodenje in vaša strokovnost je odlična. Želela pa bi si imeti bolj natančno sliko o tem, kaj natančno so ciljni koraki, ki naj jih opravimo. Vodeni smo korak po koraku, zato smo nekatere stvari po svoje interpretirali (npr. kako obdelati podatke) in smo si zato nakopali odvečno delo. Mogoče bi bilo dobro imeti vnaprej bolj celovito sliko. V splošnem pa sem z vašo pomočjo in podporo zelo zadovoljna. Izkušnja je zelo dragocena. 1 Kak primer iz gospodarstva - storitvene organizacije, ki so šle skozi proces kakovosti. 1 Všeč mi je, da je več praktičnega dela in da so dostopni moderatorji za komentar. 1 Več natančnosti pri dajanju navodil za delo. 1 POKI je postal povezovalec med organizacijami za izobraževanje odraslih na višji strokovni ravni in novimi, s kakovostjo pogojenimi cilji. 1 OK. Malo naporno je edino poslušati predolga poročanja nas udeležencev. 1 Če je možno, delitev oktobrske delavnice po področjih - ločeno: ankete, intervju, zgledovanje, fokusne skupine. 1 Zelo bi bila vesela, če bi pripravili vprašalnik - stezosled za celoten POKI, rada bi vam dala povratne informacije in številne predloge. Mislim, da bi bilo zanimivo, da zberete mnenja tudi od članov skupine za kakovost, ki se niso udeleževali delavnic. 1 Skupaj 16 V skupini POKI 5 so udeleženci pohvalili pristop k delu, so si pa zaželeli, da bi na usposabljanju namenili malo več časa pogovoru o izkušnjah s kakovostjo. Preglednica 35: Komentarji udeležencev usposabljanja POKI 5 glede vsebine delavnic Vsebina delavnic - POKI 5 Št. odgovorov Korektna izpeljava. Odličen pristop k delu, doslednost. Usposabljanje je zelo dobro zastavljeno in nam daje zelo veliko uporabnega znanja in novih spoznanj. Tudi drugačen, bolj poglobljen pogled na določene teme. Všeč mi je aktivno delo udeležencev in da navajate praktične, izkustvene primere. Mogoče še več podajanja izkušenj drugih udeležencev. Čas za debate. 4 Včasih se mi zdi, da bi bile organizatorke tudi lahko motivatorke, morda malce bolj fleksibilno, dinamično delavnico. Z vami je prijetno delati, ker ste odlične strokovnjakinje in vedno zelo dobro pripravljene. Zelo pozitiven pristop. 3 Skupaj 7 4.1.5.3 Predavatelji Pri predavateljih so imeli posamezni udeleženci POKI 3 komentarje glede izražanje, način dela in uporabo različnih metod. na njihovo Preglednica 36: Komentarji udeležencev usposabljanja POKI 3 glede predavateljev Predavatelji - POKI 3 Št. odgovorov Več dinamike. Pohvala za način dela, metode. Predavatelji so poleg strokovne podkovanosti tudi dobri (odlični) retoriki. Moteča uporaba ljubljanščine pri enem od predavateljev. Posebej bi rada pohvalila zgoščen, jedrnat in visokopoveden predavateljice, ki se je izkazala z visoko stopnjo metodičnosti in strokovnosti. 6 Sprva se mi je zdelo, da posredujejo predavatelji preveč teoretskih informacij, toda danes ste nam pojasnili nujnost uvodnega teoretičnega dela. Ta delavnica se je meni osebno zdela kar malo preveč »razpotegnjena oz. dolgočasna«, saj so se nekateri dolgočasili. Predavatelji pa bi določeno temo lahko hitreje razložili. Bolj strnjeno in v krajšem času posredovati znanja in sporočila. 3 Veseli me, da je veliko konkretnega dela. Teme so bile zelo praktično naravnane in nam bo tako olajšano delo ob pisanju zaključnega poročila. 2 Skupaj 11 Zelo podobno je pri skupini POKI 4, kjer so si zaželeli predvsem drugačnih oblik dela (glej Preglednica 37). Preglednica 37: Komentarji udeležencev usposabljanja POKI 4 glede predavateljev Predavatelji - POKI 4 St. odgovorov Več vaj in manj predavanj. Z gospodom ... bi lahko dlje časa posvetili povratnim informacijam o vrednotah, viziji, poslanstvu - ocene kolegov. Zadeva je zelo dragocena, vendar skopa. Zadnje predavanje je bilo zelo nesistematično in nepripravljeno. Preveč predavanja, predlagam več metod za aktivno posredovanje vsebine (razprava, študija primera, skupinsko, individualno.) Gospoda. bi lahko poslušali vsaj še kako uro ali dve. 5 Skupina POKI 5 pa je imela zelo malo pripomb, le nekaj v zvezi z načinom predavanja. Preglednica 38: Komentarji udeležencev usposabljanja POKI 5 glede predavateljev Predavatelji - POKI 5 St. odgovorov Predavanje bi lahko bilo bolj dinamično. Gospa. - preveč »a ne-jev«. Izjemno predavanje gospoda. 3 4.1.5.4 Splošni komentarji Pri splošnih komentarjih so pri vseh skupinah predvsem pohvale in spodbude, ki se nanašajo na celotno usposabljanje in delo v projektu POKI. Preglednica 39: Splošni komentarji udeležencev usposabljanja POKI 3 Predavatelji - POKI 3 St. odgovorov Zahvala za razumevanje in pomoč pri težavah. Hvala za vso pomoč pri delu v projektu. Hvala za nova znanja, sugestije, predloge - material za razmišljanje in iskanje. Lep dan še naprej. Hvala za odlično usmerjanje. Veseli me, da nam stojite ob strani in da ste tim, ki uspešno »vzdržuje« projekt POKI. Hvala za nove informacije, napotke. Zelo dobra, prijetna in strokovna ekipa. Hvala za sugestije, vsebine, napotke in za srčke. Delavnico smo ponovno preživeli v prijetnem vzdušju in smo zelo aktivno delali. 7 Zelo zanimiva delavnica. Najboljša delavnica doslej. Delavnica je bila zelo produktivna in aktualna. Kar tako naprej. Nimam pripomb - zelo ste se potrudili. Najlepša hvala. Odlično. Hvala za prijaznost. Rada prihajam na srečanja POKI. Hvala za vse in lep dopust. Ostanite taki še naprej. V letu, ki prihaja želim izpolnitev vseh želja in načrtov ter ustvarjalno leto. Želim vam še veliko uspešnega dela in uspešnih projektov. Uspešno v letu 2006. 13 Skupaj 20 Preglednica 40: Splošni komentarji udeležencev usposabljanja POKI 4 Predavatelji - POKI 4 St. odgovorov Tako nadaljujte. Zelo sem zadovoljna in upam, da bo tako tudi na naslednjih srečanjih. Temperatura raste. Super ste. Samo tako naprej. Veselimo se naslednjega srečanja. Pohvalil bi vašo vztrajnost, prijaznost, živahnost. Super. Vse je v redu. Delate odlično. Hvala za vse. Se vidimo julija. Do takrat pa uspešno delo! Privoščite si nekaj oddiha. Smo z vami. Skupaj zmoremo vse. Nimam nobenih pripomb. Samo tako dalje! Iti morajo po vaši poti. Le tako naprej! Prosim za resen razmislek o strokovni ekskurziji. 23 43 Preglednica 41: Splošni komentarji udeležencev usposabljanja POKI 5 Predavatelji - POKI 5 Št. odgovorov Zelo dobro, odlično. Dobro delate. Super ste! Sem zelo zadovoljna. Po tridnevnem druženju vam želim lep in dolg vikend, kljub temu, da mi je druženje v sprostitev. Vse OK. Zadovoljna sem in uživam v delavnici. Samo tako naprej. Prijeten dopust in čimprej ga počakajte. 11 4.1.6 POVZETEK UGOTOVITEV EMPIRIČNE EVALVACIJE 4.1.6.1 Ustreznost programa usposabljanja glede na organizacijo in vsebino Na podlagi analize rezultatov lahko rečemo, da je program povsem primeren. Rezultati so namreč pokazali, da so bili udeleženci izobraževalnega programa zelo zadovoljni, tako z vsebino delavnic (povprečna ocena za leta 2004, 2005 in 2006 znaša 4,5), kot tudi z organizacijo, ki so jo v ocenili s povprečno oceno 4,6. Kar zadeva vsebino programa usposabljanja, so jo udeleženci bolj natančno ocenjevali tudi po posameznih temah glede na: - aktualnost, - uporabnost za njihovo delo, - ustreznost posredovanja ter - ustreznost gradiv pri posamezni temi. Teme smo vsebinsko razdelili po posameznih sklopih: 1. spoznavanje projekta POKI, 2. definiranje razvoja kakovosti, 3. skupina za kakovost, 4. dejavniki kakovosti izobraževanja odraslih, 5. načrtovanje presojanja kakovosti, 6. metode za izpeljavo samoevalvacije, 7. oblikovanje samoevalvacijskega instrumentarija, 8. obdelava rezultatov samoevalvacije, 9. priprava samoevalvacijskega poročila, 10. predstavitev samoevalvacijskega poročila, 11. akcijski načrt razvoja kakovosti, 12. kakovost v širšem pomenu. Na splošno so se povprečne ocene pri zgoraj naštetih vsebinskih sklopih gibale med oceno 4 in 5. Udeleženci usposabljanj so s povprečno oceno okrog 4 ocenjevali predvsem teme, ki so bile bolj teoretske narave, saj udeleženci usposabljanj niso takoj zagledali njihove uporabnosti za delo. Tudi način posredovanja teh tem jim ni bil preveč blizu, saj večina udeležencev usposabljanj bolj sodi med praktike in želijo slišano takoj uporabiti pri svojem delu. Vendar pa tega pri usposabljanju nismo mogli vseskozi upoštevati, saj je za uporabo v praksi potrebno tudi nekaj temeljnega, teoretičnega znanja o določenem problemu. Takšne teme so bile predvsem v začetnih sklopih usposabljanja: spoznavanje sodobnih konceptov kakovosti in samoevalvacije in pomen definiranja razvoja kakovosti. Tudi teme, ki so bile v povezavi z metodologijo samoevalvacije (metode samoevalvacije, obdelava rezultatov samoevalvacije), udeleženci niso uvrščali med najbolj priljubljene, čeprav je bilo znanje, ki jim je bilo posredovano, še kako potrebno za nadaljnje delo. Med udeleženci so bile najbolje sprejete teme, ki so se neposredno nanašale na projekt POKI (Spoznavanje projekta POKI), saj so tovrstne teme ocenili kot zelo uporabne in aktualne. Dobro so ocenjevali teme, ki so vključevale praktično delo na delavnici in so njihovo uporabnost lahko takoj preizkusili (načrtovanje presojanja kakovosti, priprava in predstavitev samoevalvacijskega poročila, akcijski načrt razvoja kakovosti). Zelo dobrodošle so bile tudi teme, ki so se nanašale na kakovost v širšem pomenu, še posebej pregled spletnih strani in predstavitev izkušenj z modelom POKI v sorodni organizaciji. Tovrstne teme so bile po mnenju udeležencev usposabljanja zelo aktualne in uporabne. Z vidika vsebinske primernosti programa, smo udeležence usposabljanja vprašali tudi, ali bi si želeli katere od obravnavanih tem še bolj poglabljati. V vseh skupinah (POKI 3, POKI 4 in POKI 5) so udeleženci usposabljanja izrazili željo po poglabljanju teme Timsko delo, kar zadeva ostale teme, pa so se želje razlikovale. V skupini POKI 3 so udeleženci želeli bolj poglabljati teme o tem, kako narediti uporabno spletno stran, o predstavitvi projekta POKI ipd. Skupina POKI 4 pa je v večji meri želela poglabljati različne metode za presojanje kakovosti: metoda zgledovanja in metoda fokusnih skupin. Skupina POKI 5 je želela še več izvedeti o poslanstvu, viziji in vrednotah ter kako komunicirati z različnimi javnostmi. Izvajalci programa usposabljanja smo skušali predloge udeležencev upoštevati že med potekom usposabljanja, se je pa velikokrat tudi zgodilo, da je predavatelj s posamezno temo spodbudil še nadaljnje zanimanje za poglabljanje kakšne teme, vendar pa z vidika izboljšave programa vsakokrat ni bilo mogoče upoštevati vseh želja, saj so nekatere teme želeli poglabljati bolj posamezniki iz lastnih interesov kot pa celotna skupina. Katere teme so pa bile po mnenju udeležencev neuporabne za njihovo delo? Takšne navedbe so se pojavljale zelo redko oz. jih tako v skupinah POKI 3, POKI 4 in POKI 5 skorajda ni bilo. Nekatere posameznike pri skupini POKI 3 je motilo predvsem podajanje teoretskega znanja, pri skupini POKI 4 pa je bila pripomba v zvezi z metodologijo, in sicer, da si lahko metodološka navodila preberejo tudi sami. Pri skupini POKI 5 pa so menili, da med takšne teme sodi tema o anketiranju. Vendar pa so bile v vseh skupinah to pripombe ene ali dveh oseb. 4.1.6.2 Ustreznost temeljnih učnih gradiv v programu usposabljanja V programu usposabljanja so nastala tudi učna gradiva, ki so bila v pomoč udeležencem pri izpeljevanju samoevalvacije. Razvili so jih tako Andragoški center Slovenije kot tudi posamezni zunanji eksperti, ki so sodelovali pri izpeljavi programa. Primernost temeljnih učnih gradiv so udeleženci ocenjevali skupaj z oceno posameznih tem in smo tako prejeli mnenje udeležencev o vseh učnih gradivih, ki so jih predavatelji razdelili pri posamezni temi. Za potrebe programa usposabljanja so nastajala zelo različna učna gradiva, kar je bilo odvisno od vsebine posamezne teme in tudi od predavatelja in njegovega načina dela. Nekateri predavatelji so udeležencem razdelili izročke predstavitve, nekateri le oporne točke, ki so se nanašale na predavanje, nekateri pa kar gradivo v obliki daljšega teksta z bolj poglobljeno predstavitvijo obravnavanega problema. Poleg navedenih gradiv pa so predavatelji, ki so se posluževali tudi praktičnega dela, udeležencem v pomoč pri delu posredovali tudi »učne liste« oz. instrumente, ki so jih potrebovali pri izpeljevanju samoevalvacije. Takšni učni pripomočki so bili: vprašalniki za izpeljavo prve presoje kakovosti Samoevalvacijski profil, primer samoevalvacijskega načrta, struktura samoevalvacijskega poročila, primer akcijskega načrta ipd. Pri ocenjevanju temeljnih učnih gradiv smo zaznali pomanjkljivost, saj so udeleženci ocenjevali učna gradiva tudi pri temah, kjer gradiv sploh niso prejeli in so bila pri tovrstnih temah gradiva ocenjena slabše kot sicer. Res pa je tudi, da udeleženci niso imeli možnosti obkrožiti ocene kot je »Gradiva ni bilo.« Zato izvajalci programa ocenjujemo, da bi morali, če bi želeli dobiti bolj realno sliko o primernosti učnih gradiv, bodisi ponuditi udeležencem več rubrik pri ocenjevanju in tako tudi možnost - »Gradiva ni bilo.«, »Gradiva ni mogoče oceniti.« ipd., bodisi vsebinsko ponuditi drugačna vprašanja, ki bi se nanašala na vrsto gradiv, npr.: kako ocenjujejo primernost izročkov, učnih listov ipd. Načeloma pa so bili udeleženci z gradivi, ki so jih prejeli, zadovoljni, izvajalci pa smo mnenja, da bi bilo potrebno razviti še več gradiv, ki bi bila primerna za samostojno učenje udeležencev za izpeljavo samoevalvacije in uporabna tudi za tiste, ki se ne udeležujejo usposabljanj. 4.1.6.3 Usposobljenost skupine ekspertov za izpeljevanje programa Da bi Andragoški center Slovenije izvedel ustrezno usposabljanje za izpeljavo samoevalvacije, je bila izbrana skupina ekspertov, ki so izpeljevali program usposabljanja. Nekaj teh ekspertov je bilo z Andragoškega centra Slovenije, nekaj pa zunanjih sodelavcev, med katerimi so nekateri že stalni sodelavci, nekateri pa občasni. Na splošno so udeleženci predavatelje ocenili kot zelo primerne, so pa predavatelje malo bolje ocenili udeleženci iz skupine POKI 4, ki so z usposabljanjem pričeli v letu 2005, kot skupina POKI 3, ki je z delom pričela v letu 2004. Predvidevamo, da so razlike nastale zato, ker so predavatelji na podlagi izkušenj s skupino POKI 3 svoje teme prilagodili glede na skupino udeležencev, glede na njihovo predznanje, izkušnje ipd. Udeleženci skupine POKI 5 so predavatelje ocenili zelo podobno kot skupina POKI 4, le da se pri nekaterih predavateljih pojavljajo malo nižje ocene kot pri POKI 4, vendar pa moramo upoštevati, da ima skupina POKI 5 pred seboj še kar nekaj delavnic in da se lahko povprečne ocene predavateljev še spremenijo. 4.2 REZULTATI RACIONALNE EVALVACIJE Kot smo že omenili smo racionalno evalvacijo izpeljevali strokovnjaki z Andragoškega centra, ki smo sodelovali tudi pri oblikovanju programa usposabljanja. Izpeljevali pa smo jo sprotno, ob izpeljavi posameznih delavnic ali pa ob njihovem načrtovanju ter končno. Temeljne ugotovitve so naslednje: Potreba po izpeljavi programa usposabljanja. Ko smo oblikovali model za samoevalvacijo POKI, smo vseskozi razmišljali, da je za njegovo uvajanje v prakso potrebno tudi usposabljanje. Naša predvidevanja so bila, da je na ta način mogoče spodbuditi in vzdrževati motivacijo za izpeljevanje samoevalvacije in da sodelujoči potrebujejo nekaj znanja o konceptih kakovosti, zlasti v izobraževanju, ter nekaj tehnik o izpeljavi samoevalvacije. Evalvacija potrjuje pravilnost odločitve. Tako so se potrdile vse tri predpostavke. Če je bila motivacija za izpeljavo samoevalvacije na začetku usposabljanja še dokaj visoka, saj so se sodelujoči prostovoljno odločali zanjo, pa se je kmalu izkazalo, da so predstave o tem, kako naj bi načrtna, sistematična in k standardom kakovosti usmerjena samoevalvacija, potekala, zelo poenostavljene. Ko je bilo potrebno opraviti veliko študija, operativnega dela, predvsem pa usklajevanja v kolektivih, je motivacija pogosto upadla ali pa vsaj nihala. Dodajanje znanja, svetovalno delo, pa tudi učenje iz primerov drugih, ki so sodelovali v skupini, se je pokazalo kot dober način vzdrževanja motivacije. Tako kot smo pričakovali, so imeli udeleženci zelo malo znanja o konceptih kakovosti, ki so uveljavljeni v svetu in pri nas v gospodarstvu ali storitvenih dejavnostih. Informativno so sicer nekateri poznali ISO standarde, drugih pristopov pa skoraj ne. Se manj so, seveda, poznali konceptualna izhodišča, na katerih ti modeli temeljijo. To je bilo sicer pričakovano, saj so se v letih izpeljave usposabljanja v Sloveniji pogovori o kakovosti izobraževanja komaj pričenjali, zelo malo je bilo praktičnih izkušenj. Se najbolj je poznan koncept Mreže učečih se šol, s katerim je kar nekaj udeležencev imelo tudi že praktične izkušnje. Nekateri so vsaj informativno poznali projekt, ki ga je pred leti razvil Zavod RS za šolstvo Ogledalo, nekaj sodelujočih pa je imelo praktične izkušnje tudi s projektom Modro oko, ki pa se jim je vtisnil v spomin bolj kot sistem izpolnjevanja različnih anket in ga niso zaznali v vseh dimenzijah samoevalvacije. Tako stanje nas je navedlo, da smo morali že ob poteku usposabljanja poglabljati te vsebine, ne toliko z vsebinami o posameznih modelih za presojanje kakovosti kot s predstavitvami različnih konceptov, pristopov k presojanju kakovosti. Ocenili smo, da je le tako mogoče osmisliti vse postopke, ki jih samoevalvacija zahteva - brez njih se proces zoži na procedure, ki jih izvajamo, brez da bi natančno vedeli zakaj in čemu bodo služile. Tretji sklop, ki smo ga načrtovali ob uvajanju usposabljanja, je spoznavanje s tehniko samoevalvacije. Ta del je bil za nas eno izmed večjih presenečenj, saj smo predvidevali, da bodo udeleženci, ki imajo vsi univerzitetno izobrazbo, obvladali raziskovalno metodologijo do ravni, ki je potrebna za izpeljavo dokaj poenostavljene samoevalvacije. Izkazalo se je, da temu sploh ni tako. Udeleženci so do neke mere obvladali kvantitativne metode raziskovanja, pri čemer so imeli precejšnje težave pri oblikovanju samoevalvacijskega (raziskovalnega) načrta, opredeljevanju samoevalvacijskih vprašanj in oblikovanju samoevalvacijskega instrumentarija. Sploh pa udeleženci ne poznajo kvalitativnih metod, niti teoretsko, niti praktično. Tako smo morali ta del programa usposabljanja kar precej razširiti že med samim potekom. Že samo to, da so se naše predpostavke potrdile, nas navaja na sklep, da zaenkrat, dokler znanje o kakovosti izobraževanja, o samoevalvacijah, v omrežjih izobraževalcev (odraslih) ne bo bolj razširjeno, potrebujemo usposabljanje. Se bolj lahko to trditev potrdimo tudi z dejstvi, ki jih bomo navedli v nadaljevanju, ko bomo obravnavali vsebine oz. teme. Ne nazadnje pa so nam to, da je usposabljanje vsekakor dobrodošlo in potrebno, potrdili udeleženci v številnih razgovorih. Na to kaže tudi zelo dobra obiskanost delavnic, saj so se udeleženci povečini usposabljanj udeleževali ves čas, četudi je program zelo dolg (2 leti oz. od 140 do 160 ur). Cilji programa usposabljanja. Ob nastajanju programa smo v skladu z zgoraj opisanimi predpostavkami opredelili cilje, da se udeleženci: - ozavestijo o pomenu aktivnosti (samo)evalvacije kot pomembnega dejavnika samorefleksije nad lastnim delom, ki lahko veliko pripomore k učenju in razvoju zaposlenih in graditvi učeče se organizacije; - seznanijo s temeljnimi področji kakovosti po modelu POKI in razmišljajo o bistvenih dejavnikih kakovosti izobraževanja odraslih v izobraževalni organizaciji; - usposobijo za dejavno načrtovanje in izpeljevanje aktivnosti presojanja kakovosti izobraževanja odraslih v izobraževalni organizaciji s pomočjo uporabe metod in tehnik samoevalvacije po modelu POKI; - usposobijo za načrtovanje vpeljevanja izboljšav kakovosti izobraževanja odraslih v izobraževalni organizaciji po modelu POKI in za njihovo vpeljevanje v prakso. Nakazali smo že, da so se naše predpostavke sicer potrdile, ob tem pa smo v sodelovanju z izobraževalnimi organizacijami, ki so izvajale samoevalvacijo po modelu POKI, ugotovili, da je treba program usposabljanja bistveno širše zasnovati. Eden izmed novih ciljev je, da: - se udeleženci (in preko njih sodelujoče izobraževalne organizacije) seznanijo z vodilnimi koncepti kakovosti na področju izobraževanja in na področju gospodarstva in razmišljajo o smiselnosti in možnostih aplikacije njihovih temeljnih principov v lastno izobraževalno organizacijo. Ta cilj se nam zdi pomemben iz dveh razlogov. Prvi je ta, ki smo ga že opisali: brez poznavanja različnih konceptov in pristopov k presojanju in razvijanju kakovosti, se celoten proces samoevalvacije lahko osredotoči le na tehnike izpeljave, ki so lahko še tako dodelane, ne dajejo pa pravih rezultatov, resničnih premikov k bolj kakovostnemu delu. Šele osmišljanje teh procesov, ki morajo biti vpeti v temeljne procese izobraževalne organizacije, lahko procese samoevalvacije osmisli do take mere, da to ni modna muha današnjega trenutka, ni projekt s svojim začetkom in koncem in ni tehnika, ki jo izpeljujemo zaradi nekih (ponavadi zunanjih) vzrokov. Drugi razlog pa tiči v dejstvu, da nihče v svetu doslej še ni razvil takega koncepta kakovosti, ki bi ustrezal ali bil »pravilen« za vse. Res je, da so nekateri modeli bolj razširjeni, a tudi ti ne ustrezajo vsem in vedno. Ko so pred nekaj leti na evropski ravni iskali odgovor, kateri pristop k presojanju kakovosti bi bil najprimernejši na področju poklicnega in strokovnega izobraževanja, so vodilni evropski eksperti prišli do odgovora, da enoten pristop ni možen; da je treba dopuščati različne pristope, ki naj imajo le nekaj skupnih elementov14. Če pa naj bi izobraževalne organizacije izbirale med različnimi pristopi in modeli, jih morajo poznati, sicer je izbira zgolj naključna ali vsiljena od zunaj, kar pa je preveliko tveganje za nacionalno politiko izobraževanja in za izobraževalne organizacije same. Predvsem za te zadnje, kajti neuspel »projekt kakovost« lahko v izobraževalni organizaciji za dolga leta zavre kakršnokoli iniciativo na tem področju. Področje, ki se ga ob snovanju programa usposabljanja morebiti nismo dovolj zavedali, je področje načrtovanja ciljev in strategij za razvoj kakovosti. Trčili smo na kompleksno vprašanje, ali so izobraževalne organizacije tudi poslovni subjekti s svojimi vizijami in strategijami, ali pa so to javne službe v službi nekoga zunaj njih (ministrstva). Če se želimo pogovarjati o kakovosti, ne moremo mimo standardov kakovosti in kriterijev, ki določajo, ali te standarde dosegamo ali ne. Ali standarde kakovosti določa izključno naročnik javne službe in jih tudi preverja? Ko govorimo o samoevalvaciji, odgovor ni tako enoznačen. Izobraževalna organizacija res lahko presoja le standarde, ki jih je opredelilo ministrstvo, res pa je tudi, da si lahko v samoevalvaciji zastavlja še druge, »lastne« standarde. V praksi se je ta razdvojenost kazala tako, da so nekatere izobraževalne organizacije sporočale: »Mi ne moremo nič, vse določi (in odloči) ministrstvo.« »Povejte, kaj se od nas pričakuje (katere standarde moramo dosegati).«, druge pa so imele opredeljene razvojne cilje in tudi strategije za njihovo doseganje. S programom usposabljanja, seveda, ne moremo posegati v razprave, ki so v zvezi s tem »vroče« ne samo pri nas, pač pa tudi drugje, vsekakor pa so nam potrebe narekovale, da vsaj sprožamo razmisleke o teh vprašanjih in smo zato programu dodali še cilj, da 14 Faurschou, K. 2003: A European Common Quality Assurance Framework. CEDEFOP, Technical working group on quality. - se udeleženci (in izobraževalne organizacije) usposobijo za definiranje vizije, poslanstva, skupnih vrednot in dolgoročnih ciljev razvoja kakovosti izobraževanja odraslih v lastni izobraževalni organizaciji. Zadnji cilj, ki smo ga naknadno definirali in mu v programu usposabljanja namenili veliko več pozornosti, kot smo prvotno nameravali, pa je, da udeleženci - ozavestijo pomen socialnega kapitala v izobraževalni organizaciji in razvijajo veščine sodelovanja in graditve pripadnosti, ko gre za razvoj kulture kakovosti in dejavnega sodelovanja vsega osebja v aktivnostih samoevalvacije v izobraževalni organizaciji. Eno izmed temeljnih sporočil, ki smo ga morali v času usposabljanja uzavestiti je bilo namreč sporočilo, da ravni kakovosti v izobraževalni organizaciji ne more dvigniti posameznik, pa če je še tako izobražen in prizadeven. Kakovost je gibanje in proces, ki ga je mogoče izpeljevati le, če v njem sodeluje večina zaposlenih ne glede na delovni položaj, če v ta proces vlagajo vse svoje znanje, željo po učenju, voljo in prizadevnost. Mreženje takih ljudi v delovnem kolektivu pa se ne odvija naključno; za to je potrebno znanje in načrtno delovanje. Drugo sporočilo, prav tako pomembno, pa je dejstvo, da brez vodstva izobraževalne organizacije, ki podpre gibanje za kakovost in v tem gibanju tudi aktivno sodeluje, ni mogoče doseči vidnejšega napredka pri razvoju kakovosti. Vsebine, teme usposabljanja. Ugotovitve, ki smo jih navedli doslej, jasno kažejo, da je bilo potrebno prvotni izbor vsebin oz. tem spreminjati. Te ugotovitve in spremenjeni cilji so narekovali dodajanje novih tem oz. širitev nekaterih že predvidenih. V nadaljevanju navajamo oceno ustreznosti posameznih tem z vidika načrtovalcev programa. Vsebinski sklop: SAMOEVALVACIJA IN KAKOVOST Uvod v program: Gre za uvodno temo, katere temeljni namen je ustvarjanje povezanosti med sodelujočimi in spoznavanje drug drugega. Del tega je tudi oblikovanje uvoda v samoevalvacijsko poročilo - predstavitev lastne organizacije. Pri dosedanjih izvedbah smo ta del teme izpeljali na dva načina: enkrat tako, da udeleženci niso vedeli, da je to uvod v samoevalvacijsko poročilo, zaradi česar je delo nekako obviselo v zraku, drugič pa so predstavitev delali kot uvod v samoevalvacijsko poročilo, vendar na začetku o samem poročilu vedo še premalo, zato se tudi ta rešitev ni izkazala najbolje. Očitno je treba v nadaljevanju še iskati primerne rešitve - tudi razmislek o tem, ali je taka predstavitev v samoevalvacijskem poročilu sploh potrebna? Aktualni dogodki v zvezi s kakovostjo: Tema je zasnovana zelo fleksibilno, saj razen načelnih izhodišč ni določena, pač pa je odvisna od vsakokratne skupine in vsakokratnih dogodkov. To, kar je določeno, je, da naj bi udeleženci spoznali strategije za razvoj kakovosti in standarde kakovosti, opredeljene tako na ravni Slovenije kot EU, pa tudi širše. Izkazalo se je, da udeleženci veliko premalo poznajo to tematiko, zato se nem zdi eno od poslanstev tega programa tudi to, da jih s temi vsebinami seznanjamo, saj nacionalnih in evropskih strategij ne bo mogoče doseči, če jih nosilci niti ne poznajo. To, kar je slabost te teme, je dejstvo, da je na voljo premalo časa zanjo. Zelo pogosto se namreč dogajajo stvari, ki so neposredno ali posredno povezane z vprašanji kakovosti. Udeleženci programa, vodje in člani skupin za kakovost, bi morali imeti več možnosti, da bi se s temi dogodki seznanili, predvsem pa, da bi o njih razmišljali, do njih zavzemali stališče in se o njih pogovarjali z drugimi. Zaenkrat zaradi siceršnje obsežnosti programa teme ni mogoče širiti, kazalo pa bi razmisliti o neke vrste »dopolnilnem« programu usposabljanja. Spoznavanje s projektom POKI: Ta tema, ki je bila v začetku predvidena res kot seznanjanje s temeljnimi pravili medsebojnega sodelovanja v projektu, se z leti podaljšuje in to predvsem zaradi vse bolj zapletenih pogojev, ki jih za sodelovanje v projektu postavljajo financerji, zlasti pa Evropski socialni sklad. Čeprav načeloma teh vsebin ne bi bilo treba vključevati, pa se zdi, da je nemoteno delovanje v projektu in zadostna informiranost o pogojih v njem, eden izmed temeljnih pogojev za učinkovitost projekta. Vseeno bi v prihodnje kazalo ta del skrčiti, zlasti če se bodo pogoji dela v projektu postopoma izboljševali. Spoznavanje z modelom POKI: Tema predstavlja uvod v seznanjanje z modelom POKI in je razmeroma kratka po obsegu, saj celotno kasnejše usposabljanje predstavlja spoznavanje tega modela. Kljub temu pa se zdi, da bi jo morali nekoliko podaljšati in morebiti še bolj poudariti posamezne faze, ki so sicer predstavljene. A udeleženci večkrat navajajo, da »ne vedo, kje so v projektu«. Predloge udeležencev smo skušali upoštevati na takšen način, da smo jim naknadno razdelili pregled vseh delavnic v projektu POKI ter zraven vpisali, katere aktivnosti se izvajajo med določenimi delavnicami, da so udeleženci približno vedeli, kdaj bodo bolj obremenjeni z dodatnim delom. Od prve izpeljave smo sicer temo že doslej kar precej spremenili. Začetne spremljave so namreč pokazale, da je še pred samim spoznavanjem udeležencev s projektom pOki, potrebno pojasniti različne pristope presojanja in razvijanja kakovosti, različne namene le-teh (npr. inšpekcijski pregledi, zunanje evalvacije, zunanje preverjanje znanja itd.) ter model POKI ustrezno umestiti med že obstoječe dejavnosti za presojanje kakovosti v sistemu izobraževanja odraslih. Hkrati pa je potrebno podrobneje pojasniti nekatera temeljna konceptualna izhodišča, ki zajemajo ozaveščanje razlik med absolutnim in relativnim pojmovanjem kakovosti. Ta osnovna konceptualna predstavitev je podlaga za aplikativno delo, ki sledi v nadaljevanju. (Samo)evalvacija kot metoda za presojanje obstoječega stanja kakovosti v organizaciji: O tej temi smo dovolj povedali že v prejšnjih poglavjih - vsekakor gre za eno izmed temeljnih vsebin. Kot smo že zapisali, smo se po prvi izvedbi v skupini POKI 3 odločili, da temo pri skupinah POKI 4 in POKI 5 črtamo kot posebno temo in smo jo izpeljali tako, da smo jo umestili v predstavitev modela POKI ter metodo samoevalvacije povezali s potekom vpeljave modela POKI. Sodobni koncepti kakovosti in (samo)evalvacije: Tema v prvem delu zajema predvsem seznanitev z nekaterimi konceptualnimi značilnostmi (samo)evalvacije v izobraževanju. Se posebej se osvetlijo različni nameni evalvacij v izobraževanju (nadzor, selekcijski mehanizem, izboljševanje) ter povezave teh ciljev z nivoji odločanja. Drugi del teme je izpeljan kot problemski pogovor. Prav to je ena izmed tem, predvsem pa načinov izpeljave, ob kateri smo bili razvijalci programa ves čas razpeti med cilji programa in spremljavah zadovoljstva udeležencev. Že v prejšnjih poglavjih smo zapisali, da se udeleženci včasih na začetku na nekatere teme odzovejo nekoliko slabše tudi zato, ker so jim nove, nepoznane, preveč posežejo v njihove ustaljene miselne strukture in načine delovanj, od njih zahtevajo veliko aktivnosti ipd. Včasih se s skepso odzovejo na nekatere načine posredovanja vsebine. Obravnavana tema je po svojem bistvu precej abstraktna in še posebej v uvodnih srečanjih zelo oddaljena od praktične izkušnje, ki si jo udeleženci v večini pridobijo šele kasneje. Tu gre iskati enega izmed razlogov, zakaj nekateri udeleženci to temo ocenijo malo slabše. Dilema, pred katero smo postavljeni kot izvajalci programa v tem primeru je: ali pri izvajalcu vztrajati, da temo preoblikuje ter ji doda več praktičnih vidikov, oz. izvajalca zamenjati, v kolikor tega ni pripravljen storiti, ali pa z zavestjo o tem, da udeleženci potrebujejo tudi poznavanje konceptualnih dilem s tega področja, pri temi in izvajalcu vztrajati, za ceno malo nižjih ocen zadovoljstva udeležencev? Dilema je še težja, če vemo, da gre za izvajalca, ki za metodo posredovanja znanj uporablja (za izpeljavo precej zahtevno) metodo sprožanja konflikta, saj prav s pomočjo konflikta, ki ga ustvari v skupini udeležencev in napetosti, ki jo s tem povzroči, poskuša sprožati premisleke o temeljnih vrednotnih predpostavkah posameznikov, ko gre za vprašanja kakovosti. Gre za metodo, ki pri udeležencih velikokrat povzroči neugodje in nestrinjanje, a hkrati tudi za metodo, ki vpliva na razvoj višjih miselnih struktur. To pa je eden izmed temeljnih ciljev, ki smo si jih zadali tudi v programu usposabljanja POKI. V dosedanjih izpeljavah se je tudi izkazalo, da je za tak pogovor treba imeti dovolj informacij, tudi sogovornike, ki so že kdaj razmišljali o obravnavanih temah. Zato je pri dosedanjih izvedbah ta pogovor včasih uspel, včasih pa ne. Zato bi kazalo razmisliti, če je ne bi kazalo umestiti še v kakšno drugo fazo - zdaj je uvrščena med uvodne teme, morebiti pa bi v eni izmed kasnejših faz, ko bi udeleženci že imeli za seboj delno praktično izkušnjo pri presojanju lastne kakovosti, bil ponovni razmislek o teh temah dobrodošel. Pomen definiranja razvoja kakovosti lastne organizacije - vrednote, poslanstvo, vizija: Temo smo iz leta v leto širili vsebinsko in po obsegu. Najprej smo se ukvarjali samo z vizijo, kasneje pa še s poslanstvom in vrednotami. Zdi se, da je sedaj vsebinsko primerno zasnovana, kazalo pa bi razmisliti o dodajanju vsebin o metodah oblikovanja teh elementov. To se zdi zaenkrat še premalo dodelana vsebina. Skrb za kakovost v gospodarskih organizacijah: Temo smo vključili samo v usposabljanje ene skupine. Cilji, ki smo jih opredelili, to je spoznavanje, kako se vprašanj kakovosti lotevajo v gospodarstvu, kjer imajo pri tem daljšo tradicijo, so še vedno aktualni. Nismo pa uspeli pridobiti ustreznega nosilca teme, zato jo v naslednjih skupinah nismo ponavljali. Vsekakor pa kaže o tem še razmišljati. Smo pa namesto te teme uvedli občasno srečanje z nekaterimi organizacijami, ki so zaključile oz. so proti koncu sodelovanja v projektu POKI ter udeležencem predstavijo svoj primer dobre prakse pri delu v projektu POKI, ki je podlaga za nadaljnje pogovore o razvijanju kakovosti v organizacijah za izobraževanje odraslih. Vsebinski sklop: OSEBJE V IZOBRAŽEVALNI ORGANIZACIJI IN KAKOVOST Pomen timskega dela za razvoj kakovosti v organizaciji: Kot smo pokazali v empirični evalvaciji, so prav na vrhu tem, ki bi si jih udeleženci želeli še poglabljati, teme s področja timskega dela (motiviranja sodelavcev za aktivnosti kakovosti, ustvarjanje zaupanja v procesih presojanja kakovosti in razvijanja kakovosti, reševanja konfliktov ipd.). Tovrstna sporočila udeležencev se smiselno povezujejo z našimi opažanji. Gre namreč za prav tiste teme, za katere smo tudi razvijalci programa usposabljanja med samim potekom projekta, presodili, da jih je potrebno v program usposabljanja dodati. Tudi v naši praksi se je namreč potrdila tista dimenzija procesov notranjega presojanja in razvijanja kakovosti, ki govori o tem, da je za uspešnost tovrstnih projektov ključnega pomena, da upoštevamo tudi emocionalne in socialne dimenzije tovrstnih projektov. Težave se pogosto pojavljajo zaradi različnih organizacijskih struktur, predvsem pa kolizije vrednot, motivov, prepričanj in strokovnih orientacij, ki jih sprožamo s procesi kakovosti. Prav s tem namenom smo skupine za kakovost posebej usposabljali, pa vendar je soočanje s stanjem v kolektivih, velikokrat še precej hierarhičnimi ureditvami v izobraževalnih organizacijah, pomanjkanjem zaupanja in nepovezanost zaposlenih povzročila, da so se ponekod člani skupin za kakovost znašli v zahtevnih in težavnih situacijah, ko so morali v precej težkih razmerah izpeljevati procese samoevalvacije. Vpogled v takšen kontekst dela, s katerim so se soočali v nekaterih izobraževalnih organizacijah, je kaj hitro povzročil naš odziv. Temo smo vključili v program naknadno, ko smo ugotovili, da se pojavljajo problemi pri delovanju skupin za kakovost, v odnosih med skupino za kakovost in vodstvom ipd. Naletela je na zelo dober odziv, čeprav je težko ocenjevati, kakšni so njeni dejanski učinki v praksi. Temo kaže ohraniti v sedanji obliki. Osebje in vpeljevanje izboljšav kakovosti: Tema je bila šele poskusno razvita in izvedena, zaradi česar jo je še težko ocenjevati. Potreba po taki temi vsekakor obstaja, vendar je treba še razmisliti o njenih ciljih. Kakovost komunikacije v kolektivu in z uporabniki: Tema izhaja iz potreb po razvijanju komunikacije o kakovosti z različnimi zunanjimi in notranjimi interesnimi skupinami. V začetnih izvajanjih smo se soočili s pomanjkanjem ali nepoznavanjem ustreznih nosilcev teme. Kasneje smo pridobili izvajalca, ki ustrezno obravnava vidik komunikacije z javnostjo, medtem ko za vse ostale interesne skupine nosilca še vedno nimamo. Potreba po taki temi še vedno obstaja. Ko gre za nadaljnji razvoj teme o vidikih komuniciranja z notranjimi interesnimi skupinami, bo potrebno predvsem upoštevati različne emocionalne in socialne dimenzije, s katerimi se v kolektivu soočimo, ko izpeljujemo aktivnosti presojanja in razvijanja kakovosti. Gre za vidike, ki se dotikajo tako posameznikov kot skupin in vodstva izobraževalne organizacije ter odnosov in procesov komuniciranja med njimi, ko gre za procese presojanja in razvijanja kakovosti. Pogosto se namreč niti ne zavedamo, da je npr. soočanje z rezultati samoevalvacije za nek kolektiv ali posameznika čustveno zelo obremenjeno. Reševanje marsikatere težave in šibke točke tudi tu preprečuje strah pred soočanjem z drugimi, strah pred konflikti, posledicami. Soočanje s takšnimi situacijami terja veliko dela, medsebojnega razumevanja in zaupanja, da začne posameznik reflektirati svoj položaj in v tej refleksiji postopoma spreminja svojo vrednostno, mišljenjsko usmeritev. Kot pričajo izkušnje projektov marsikdaj te obravnave res vodijo do vzpostavljanja pozitivnih orientacij, lahko pa povzročajo tudi negativna čustva, zavist, nevoščljivost. Nevarnost je celo, da se kažejo v povsem nezaželenih učinkih (porazih, razkrinkanju, izgubi ugleda.) Brez taktnega razreševanja vseh teh zapletenih razmerij projekt samoevalvacije ne more biti uspešen. Prav zato mora biti odstranjen vsak sum, da je v ozadju samoevalvacije napad na kogarkoli ter vse, kar bi vodilo posameznika k obrambnemu vedenju. Le tako je mogoče preprečiti, da v ciklusu odločitev za zagotavljanje kakovosti ne bi prepogosto nastajale blokade ali odpori. Procesi internega komuniciranja so pri odpravljanju tovrstnih ovir in strahov ter razvoju pozitivne klime in kulture kakovosti v organizaciji, ključnega pomena. Oblikovanje skupine za kakovost in njena vloga pri vpeljevanju modela POKI: Tema se je s številom izvedb razvila, tako da se vsebine od začetnih, bolj informativnih vidikov, postopoma razvija. Poudarek pri njej je sicer bolj organizacijski vidik, ker se dobro kombinira s temo timsko delo. Zaenkrat teme ni treba spreminjati in jo kaže ohraniti v sedanji obliki. Motiviranje sodelavcev za aktivno sodelovanje v razpravi o rezultatih samoevalvacije: Tema pri udeležencih vedno naleti na različne odzive, ki na eni strani kažejo, da so že zasičeni s podobnimi vsebinami, na drugi strani pa jo nekako ne sprejmejo, saj opazovanje v praksi kaže, da ob razpravi o samoevalvacijskih poročilih redko stečejo poglobljene razprave. Problem je morebiti tudi v premalo definiranih ciljih teme in nosilcu, ki bolj poudarja organizacijski kot vsebinski vidik. Socialni kapital kot pomemben dejavnik razvoja organizacije: Tema je vsekakor zelo pomembna za program, vendar obstaja problem njenega nosilstva, saj v Sloveniji še nimamo (veliko) ekspertov, ki bi se ukvarjali s to temo. Zato primernega nosilca še nismo našli; kar pa ne pomeni, da bi temo črtali, pač pa zahteva, da raziskujemo še nove morebitne primerne nosilce. Pri tem velja omeniti, da smo že doslej v različnih sklopih programa usposabljanja kar precej pozornosti namenili tudi različnim dimenzijam, ki opredeljujejo socialni kapital v organizacijah (npr. zaupanje, izmenjava informacij, socialna omrežja ipd.). Prav tovrstne obravnave in odziv udeležencev nanje so nas tudi utrdile v prepričanju, da gre za dimenzije, ki so ključnega pomena, v kolikor želimo zares vplivati na premike v pojmovanjih in praktičnih dejavnostih, ko gre za izboljševanje kakovosti v organizaciji. Hkrati pa tudi za vidike, kjer v organizacijah opažamo največje težave ter priložnosti za razvoj. Prav zato bi kazalo v prihodnje v program zares vključiti tudi temo socialnega kapitala, ki bi kot zaokrožena celota povezala posamezne gradnike, ki so sedaj v program že vključeni. Posebej pa bi temo kazalo usmeriti na vidike izmenjave dobrih praks, znanja in izkušenj v organizaciji, kot pomembnega elementa izgrajevanja socialnega kapitala z namenom dvigovanja kakovosti delovanja organizacije. Vsebinski sklop: DEJAVNIKI KAKOVOSTI IZOBRAŽEVANJA ODRASLIH Dejavniki kakovosti izobraževanja odraslih po modelu POKI - področja, podpodročja, kazalniki: Tema je z vidika spoznavanja in uporabe modela POKI ključna in primerno opredeljena. Njen vsebinski problem pa izvira iz samega modela POKI - ta vsebuje številna področja, podpodročja in kazalnike, ki se med seboj včasih prekrivajo. Iz teh razlogov tema za udeležence morebiti ni najbolj jasna, vendar mora ostati taka, dokler ne bo sprejeta odločitev, da se sistem kazalnikov, podpodročij in področij spremeni v temeljni strukturi projekta POKI. Do takrat pa kaže iskati še morebitne druge možnosti, kako udeležence čim bolj seznaniti z vsemi kazalniki - ne samo, da lažje izpeljejo samoevalvacijo v okviru sodelovanja z ACS, temveč tudi pozneje, ko bodo samoevalvacijo izpeljevali sami. Prva presoja kakovosti - (oblikovanje samoevalvacijskega profila, drugi viri za odločanje, priprava predloga področja in kazalnikov): Temo smo pri različnih izvedbah nekoliko spreminjali, vendar le toliko, da smo spremenili vprašalnik za izvedbo samoevalvacijskega profila in ga deloma prilagodili glede na pripombe prvih uporabnikov. Udeleženci so s temo razmeroma zadovoljni, saj tako prvič dobijo povratne informacije od notranjih interesnih skupin o svojem delu. Se vedno pa obstaja odprto vprašanje, ali je ta način primeren za udeležence, saj so zato, ker želimo z vprašalnikom zajeti vsa področja, ki sestavljajo model POKI, nekateri deli samoevalvacijskega profila zanje morda težje razumljivi. Razmišljali smo tudi o uvedbi drugih metod, npr. SWOT analize, vendar se zaenkrat za to še nismo odločili. Vsebinski sklop: NAČRTOVANJE PRESOJANJA KAKOVOSTI - METODOLOGIJA Ravni izpeljave samoevalvacije (institucija, program, predmet, oddelek...): To temo smo dodali na podlagi opazovanja na delavnicah, ker smo opazili, da udeležencem niso povsem jasne razlike med možnimi ravnmi samoevalvacije. Zato so imeli težave pri izbiri predmeta samoevalvacije oz. ga sploh niso znali določiti. Tema se je izkazala kot zelo primerna. Oblikovanje standardov kakovosti in evalvacijskih vprašanj: Tema je zelo primerna in potrebna, saj zajema eno izmed temeljnih faz načrtovanja samoevalvacije. Med leti smo jo postopoma dograjevali; sedanja vsebina je primerna in je ne kaže spreminjati. Omeniti velja, da so temo tudi udeleženci kljub začetni skepsi prav dobro sprejeli. Če smo se v začetku tudi razvijalci programa malo bali, da bodo udeleženci menili, da si sami ne morejo postavljati standardov kakovosti, pa se je ob delu s skupinami za kakovost pokazalo, da so tovrstna začetna razčiščevanja namenov postavljanja standardov kakovosti koristna. Predvsem možnost, da si ob strokovni in svetovalni pomoči organizacije same oblikujejo lastne standarde kakovosti, se je izkazala kot zelo motivacijska. Pomanjkljivost, na katero so nas nekajkrat opozorili udeleženci, pa se kaže v pomanjkanju metodologije za razvoj meril, s katerimi bi presojali doseganje standardov kakovosti. Hkrati s tem pa tudi nadgraditev samega modela pOki z zunanjimi standardi kakovosti, ki bi notranje dopolnjevali. Vse to so gotovo izzivi za nadaljnji razvoj programa usposabljanja ter metodologije in elementov modela POKI. Metode in tehnike zbiranja podatkov: To je ena izmed tem, ki smo jo postopoma razširili, ker smo ugotovili, da udeleženci potrebujejo tu več znanja, kot smo pričakovali. Gre za pregledno temo, s katero celovito obravnavamo različne kvantitativne in kvalitativne tehnike zbiranja podatkov, prednosti in slabosti posameznih tehnik, temeljna pravila ipd. Izpeljava poleg posredovanja znanja zahteva tudi veliko svetovalnega dela. Teme zaenkrat ni treba spreminjati; se pa prilagaja na odločitev, katere tehnike in metode bodo posamezne izobraževalne organizacije uporabljale pri izpeljavi samoevalvacije. Oblikovanje načrta samoevalvacije: Tema je doživela pri različnih izpeljavah nekoliko sprememb glede elementov, ki jih vsebuje načrt samoevalvacije. Sedanja (zadnja) vsebina je primerna in tudi zelo pomembna za udeležence, saj si na ta način organizacijsko začrtajo izpeljavo samoevalvacije. Edino vprašanje, ki še zahteva razmislek, je umestitev kvalitativnih metod v načrt, saj posamezne metode ni mogoče uvrstiti k posameznemu evalvacijskemu vprašanju in zato prihaja do nedoslednosti. Vsebinski sklop: OBLIKOVANJE SAMOEVALVACIJSKIH INSTRUMENTOV Oblikovanje samoevalvacijskih instrumentov: Pri kvantitativnih metodah je tema primerna, vendar v tem trenutku prihaja do sprememb. Če bo namreč uvedeno oblikovanje samoevalvacijskih instrumentov preko interneta, bo treba temo prilagoditi novemu mediju. Zametek spremenjene teme je že pripravljen, vendar še ni bilo nobene izvedbe. Priprava načrta zbiranja podatkov: Temo smo včasih izvedli samostojno ali pa v sklopu kakšne druge metodološke teme. Vsebina je primerna in jo kaže obdržati v taki ali drugačni obliki. Vsebinski sklop: ORGANIZIRANJE IN INTERPRETACIJA PRIDOBLJENIH PODATKOV, PRIPRAVA SAMOEVALVACIJSKEGA POROČILA Oblikovanje samoevalvacijskega poročila (metodološko in vsebinsko): Tema predstavlja zaključek dela v prvem letu programa in nekako povzame vse, kar je bilo narejenega do takrat. V obliki, kakor smo jo izvajali, se je izkazala za primerno in jo zato tako tudi ohraniti. Analiza, interpretacija podatkov in prikaz ugotovitev (metodološko in vsebinsko): Tema predstavlja zaključek dela v prvem letu programa in nekako povzame vse, kar je bilo narejenega do takrat. V obliki, kakor smo jo izvajali, se je izkazala za primerno in jo zato tako tudi ohraniti. Je pa to ena izmed tem, za katero smo predvidevali, da imajo udeleženci o njej že dovolj predznanja in da je ne bo treba izvajati v takem obsegu, pa se je izkazalo, da temu ni tako. Tema se bo tudi spremenila pri uvedbi analize podatkov preko interneta; s tem bo morebiti več možnosti za obravnavo interpretacije podatkov. V prihodnje bi bilo na delavnicah zares dobro več časa posvetiti obravnavi primerov interpretacije podatkov, ki bi služile kot vzorčni primeri za interpretacije, ki jih člani skupin za kakovost opravljajo na lastnih primerih. Dosedanje izkušnje so namreč pokazale, da imajo udeleženci kar precej težav, ko gre za uporabo višjih miselnih struktur (analiza, interpretacija, vrednotenje, nova sinteza), zato je potrebno iskati nove načine in metode dela, ki bi pripomogli k razvoju reflektivnega mišljenja. Vsebinski sklop: RAZPRAVA O REZULTATIH SAMOEVALVACIJE Presoja kakovosti pripravljenih samoevalvacijskih poročil - povratna informacija in dopolnjevanje poročil: Tema predstavlja neke vrste povratno informacijo na opravljeno delo v posameznih sodelujočih organizacijah. Pisne povratne informacije k posameznim izdelkom smo načrtno vpeljali v različne faze načrtovanja in izpeljave samoevalvacije. Kot smo že omenili, smo celoten program usposabljanja zasnovali na sodobnih učno-ciljnih in procesnih strategijah. Procesnost in razvoj višjih miselnih struktur pa zahtevata aktivno vlogo udeleženca. S poudarjanjem njihove aktivne vloge mislimo na posebej sistematično skrb za to, da po korakih in na sistematičen način v vseh fazah obravnave spodbujamo pri njih miselno aktivnost oz. miselne procese. Pri aktivnosti torej ne merimo na aktivnost zaradi nje same, ampak na aktivnost, ki je v funkciji spoznavnega procesa. Ena izmed temeljnih aplikativnih značilnosti procesnega pristopa je v tem, da že med samim procesom udeleženci dobijo čim več povratnih informacij o tem, kako napredujejo, kako izgrajujejo vsebinske vidike znanja, kako uporabljajo novo znanje in informacije za reševanje izbranih problemov. V ta namen je potrebno na sistematičen način spremljati različne vidike udeleženčevega spoznavanja oz. uporabe spoznavnih postopkov pri tem. O tem je potrebno udeležencem podati povratno informacijo, ki pa ni ocena. Udeleženec se ima na ta način možnost sproti popravljati in svoj dosežek izpopolnjevati. Sprotnemu podajanju povratnih informacij o posameznih korakih pri načrtovanju in udejanjanju procesov presojanja in razvijanja kakovosti dajemo zato v POKI-ju osrednje mesto. Ena izmed temeljnih metod dela je namreč prav v tem, da skupinam za kakovost pripravimo pisno povratno informacijo k posameznim izdelkom, največkrat skupaj s tem na delavnicah podamo tudi skupno povratno informacijo, kjer se izpostavijo ključne ugotovitve, ki so skupne vsem. To daje možnost za skupinsko refleksijo, medtem ko je pisna individualna povratna informacija namenjena dodatnemu premisleku v posameznih skupinah za kakovost. Za nekatere je povratna informacija pohvala za opravljeno delo, za druge graja in ima kot taka tudi močan vzgojni naboj. Po dosedanjih opažanjih je vedno sprejeta z nekoliko presenečenja, a pozitivno in jo zato kaže ohraniti. Načrtovanje razprave o rezultatih samoevalvacije v kolektivu: Tema je bolj organizacijske in informativne narave; sodelujočim organizacijam naj bi pomagala pri izpeljavi predstavitve samoevalvacijskega poročila oz. še bolje, pri strukturiranju te predstavitve. Tema ne zahteva sprememb; kaže pa razmisliti, ali bi bilo mogoče nadomestiti s pisnimi priporočili. Vsebinski sklop: VPELJEVANJE IZBOLJŠAV KAKOVOSTI IN SPREMLJANJE Oblikovanje predloga ukrepov in načinov za vpeljevanje izboljšav in razvoja - akcijski načrt: Temo smo pri posameznih izvedbah spreminjali, predvsem smo v zadnjih izvedbah črtali del o operativnem načrtu. Zaenkrat se ta rešitev zdi ustrezna. Morebiti pa manjka pri tej temi še nekoliko več vsebin s področja menedžmenta. Operativno načrtovanje vpeljevanja izboljšav kakovosti: Nekaj časa je bila ta tema samostojna, sedaj je del teme o akcijskem načrtu. Kot je navedeno že zgoraj, to zadostuje. Načini spremljanja in evalvacije vpeljevanja izboljšav: Tema je potrebna za vzdrževanje motivacije in izpeljavo procesov zgledovanja med sodelujočimi organizacijami. Morebiti pa manjka tudi pri tej temi še nekoliko več vsebin s področja menedžmenta. Spremljanje vpeljevanja izboljšav kakovosti: Tema je potrebna za vzdrževanje motivacije in izpeljavo procesov zgledovanja med sodelujočimi organizacijami. Morebiti pa manjka tudi pri tej temi še nekoliko več vsebin s področja menedžmenta. Končna presoja udejanjanja zastavljenih akcijskih ciljev: Tema je vsekakor nujna, saj predstavlja eno izmed pomembnih faz v izpeljavi celotnega programa in nam daje tudi pommebne povratne informacije. To, kar smo poskušali vseskozi, da bi namreč v okviru te teme sodelovali tudi ravnatelji in direktorji in da bi prišlo do poglobljene ocene, kaj je izvedba samoevalvacije povzročila v kolektivu in kakšni so načrti za naprej, pa nam doslej še ni uspelo uresničiti. Zato je treba v prihodnje še razmišljati o ustreznem pristopu. Na koncu pa ne kaže pozabiti še na en princip, ki je za izvedbo programa zelo pomemben - to je princip odprtega kurikula, ki ga upoštevamo pri izvedbi. Ta nam omogoča, da vsebine prilagajamo vsakokratni skupini in tako določene vsebine skrajšujemo ali pa dodajamo nove vsebine, če tako kažejo potrebe ali zanimanje udeležencev. Dolžina programa. Predvideno trajanje programa je v prvem letu od 110 do 130 ur, v drugem letu pa med 20 in 40 ur. Obseg smo med posameznimi izvedbami spreminjali v odvisnosti od zunanjih okoliščin (čas razpisa Ministrstva za šolstvo in šport in določbe v pogodbah, ki jih je sklenil z izvajalci), pa tudi od okoliščin, ki jih je narekovala posamezna skupina. Po naši presoji je taka dolžina programa potrebna za obravnavo vseh tem, ki jih program vsebuje. Ker je med posameznimi temami treba pustiti čas, da izobraževalne organizacije izpeljejo posamezne faze samoevalvacije, se celotna izvedba podaljša na leto in pol do dveh let. S tem pa nastaja problem vzdrževanja motivacije tako pri udeležencih usposabljanja kot pri organizacijah, ki v projektu sodelujejo. Razmisliti je treba še o novem dejstvu - pripravlja se nova zakonodaja na področju poklicnega in strokovnega izobraževanja, ki predvideva objavo samoevalvacijskega poročila v vsakem letu. Čeprav še ni jasno, kako se bodo zakonska določila izpeljevala tudi v praksi, niti če ne bo prišlo še do kakšnih sprememb (zakon je šele v postopku sprejemanja), pa je treba razmisliti o tem, ali je potrebno, da bi razvili izpeljavo programa usposabljanja tako, da bi bila priprava samoevalvacijskega poročila mogoča v enem letu. Ta povezava med zakonodajo in obravnavanim programom sicer ni nujna, razmislek pa zahteva. Način izpeljave programa usposabljanja. Program usposabljanja izpeljujemo tako, da se prepleta usposabljanje, praktično delo na delavnicah in samostojno delo udeležencev v njihovih izobraževalnih organizacijah. Izobraževalni cilji, z udejanjanjem katerih naj bi podprli uspešno vpeljavo modela POKI v izobraževalne organizacije, pokažejo, da so nekateri precej operativno naravnani in predpostavljajo predvsem, da si udeleženci pridobivajo konkretne spretnosti in veščine za izpeljavo procesa presojanja in razvijanja kakovosti v lastni organizaciji. Da bi dosegli te cilje, je bilo potrebno usposabljanje v okviru projekta POKI oblikovati tako, da bi bilo za udeležence čimbolj praktično in uporabno. Prav od tu tudi odločitev za usposabljanje v obliki delavnic, na katerih si udeleženci pridobivajo nova znanja, ki jih takoj tudi uporabijo pri reševanju konkretnih primerov iz lastne prakse, v našem primeru je to načrtovanje in izpeljava procesov presojanja in razvijanja kakovosti v lastni izobraževalni organizaciji. Druga vrsta ciljev, ki smo jih opredelili v programu usposabljanja POKI, so izrazito procesno naravnani in takšni, ki velikokrat povzročijo soočenje s temeljnimi vrednotnimi sistemi in mišljenjem posameznika. Kot takšni so tudi težje dosegljivi, predpostavljajo namreč »kvalitativno spremembo« v mišljenju, ozaveščanje, ki v nadaljevanju vpliva na spremembo ravnanj. Že ob pričetku usposabljanj skupin za kakovost smo se zavedali, da bo doseganje teh ciljev najtrši oreh. Tudi sama praksa je pokazala, da je ozaveščanje o pomenu kakovosti včasih ne prav lahka stvar, še najbolj pa se danes verjetno tega zavedajo vsi tisti člani skupin za kakovost, ki to pot utirajo, ko se trudijo k aktivnemu delu na področju kakovosti pritegniti čimveč svojih kolegov, v nekaterih primerih pa najprej tudi svoje nadrejene, vodilne v svojih izobraževalnih organizacijah. Verjetno je prav ta motiviranost, zagnanost in »trma« članov skupin za kakovost, ki jih vedno več deluje v praksi izobraževanja odraslih v Sloveniji, tisto temeljno »razvojno jedro«, ki je vsa ta leta veliko pripomoglo k temu, da POKI ostaja razvojni projekt ter z vsako novo generacijo POKI izobraževalnih organizacij temeljnemu konceptu dodajamo nove aplikativne elemente. Delo s skupinami za kakovost v projektu POKI je že v začetnih izpeljavah projekta pokazalo, da je potrebno člane skupin za kakovost med samim procesom načrtovanja in izpeljave samoevalvacije dodatno opremljati s kompleksnejšimi znanji in miselnimi strukturami. Dodatna težava, s katero smo se soočali pri načrtovanju in udejanjanju programa usposabljanja, pa je bilo zelo raznoliko znanje in usposobljenost, s katerim so člani skupin za kakovost prihajali v sam program usposabljanja za vpeljavo modela POKI. Pri samem usposabljanju je obseg predavanj razmeroma majhen, čeprav je nekatere vsebine mogoče posredovati le na ta način. Naša želja je, da dosežemo čim večjo aktivnost samih udeležencev. Zato pogosto uporabljamo tudi različne oblike skupinskega dela (delo v parih, delo v skupinah, igra vlog..). Praktično delo poteka tako, da udeleženci delajo na resničnem, lastnem primeru. Ta del v celoti poteka v obliki dela z računalnikom, saj udeleženci izpeljujejo posamezne faze samoevalvacije tako, da pripravljajo različna gradiva, ki jih nato obravnavajo v skupini za kakovost ali v kolektivu. Za udeležence je po opažanjih to delo zelo motivacijsko, na drugi strani pa tudi zelo zahtevno. Vsekakor pa ocenjujemo, da je ta način dela eden izmed bistvenih delov, s pomočjo katerega tudi dosegamo dobre rezultate pri izpeljavi samoevalvacije po modelu POKI. Posredno pa ima ta del programa tudi učinek na dvig računalniške pismenosti, saj nekateri udeleženci ob vstopu v program teh spretnosti še nimajo razvitih do zadovoljive mere. Celotno usposabljanje je močno podprto s svetovalnim delom - tako udeležencem svetujemo na samih delavnicah ob njihovih primerih, prosimo pa jih tudi, da nam posredujejo gradiva, ki jih pripravijo sami in ob njih skoraj v večini primerov pripravimo pisne povratne informacije o kakovosti pripravljenih izdelkov in z nasveti, kako bi bilo mogoče izdelek še izboljšati. Poleg izobraževalne narave ima ta način še druge vidike: na eni strani želimo privzgajati odgovornost za kakovostno delo, po drugi pa včasih namerno med vzbujamo tudi nekoliko tekmovalnosti, saj je to tudi en vidik (ne sicer najpomembnejši) pri razvijanju kakovosti. Praviloma udeleženci zelo dobro sprejemajo ta način. Čeprav je za izvajalce to zelo zahtevno, saj sočasno obravnavajo toliko različnih primerov kot je sodelujočih šol, pa je tudi naš občutek, da se na ta način dosežejo največji učinki usposabljanja. Učna gradiva. Udeleženci usposabljanja dobijo več vrst učnih gradiv: strokovne knjige, povezane s tematiko kakovosti, priročnike, ki jih uporabljajo pri praktičnem delovanju, CD z zbirko vprašanj za presojanje kakovosti, interna strokovna gradiva o posameznih temah, ki sestavljajo program, vodila-obrazce za izpeljavo posameznih aktivnosti, fotokopije prosojnic s posameznih predavanj. Z leti opremljenost programa z učnimi gradivi narašča, vseeno pa še nismo zadovoljni, še zlasti ne zato, ker še nimamo temeljnega strokovnega gradiva, ki bi opisoval model za samoevalvacijo POKI. To ostaja naloga za prihodnje. Prav tako pa je treba še urediti internetni dostop do gradiv, saj sedanji način zahteva preveč stroškov (papir, razmnoževanje). Nosilci tem. Pri sestavi programa usposabljanja smo opredelili, da lahko program izvajajo tisti, ki izpolnjujejo pogoje za pedagoško-andragoško delo (ustrezna univerzitetna izobrazba, pedagoško-andragoška izobrazba, strokovni izpit). Izkazalo se je, da se je ob teh pogojih kot najpomembnejši pogoj pojavilo vprašanje, ali je strokovnjak, ki sicer obvlada določeno tematiko, sposoben izvedbo prilagoditi tako, da se ujame s fazo poteka samoevalvacije, v kateri se nahaja skupina in nasploh projektu POKI. Ugotovili smo, da je takih strokovnjakov zelo malo, saj so tisti, ki hkrati ne delajo pri razvoju modela POKI, povečini pripravljeni določeno temo predstaviti le na splošni ravni, neprilagojeno projektu. Zato smo imeli zelo veliko težav pri iskanju ustreznih nosilcev tem; sestavljalci programa smo prevzeli izvedbo veliko večjega deleža tem, kot je bilo prvotno predvideno. Izkušnje, ki smo si jih doslej pridobili v projektu POKI, ki ima precej značilnosti razvojnega projekta, pa nam kažejo, da je vendarle smiselno vztrajati in izoblikovati predavateljsko skupino, ki je sestavljena tako iz notranjih (domačih) strokovnih sodelavcev, kot iz zunanjih sodelavcev. Ob tako širokih in razvejanih strokovnih temah, kot jih obravnavamo v okviru usposabljanja za uporabo modela pOki, bi bilo zelo težko, da bi lahko z lastnimi kadrovskimi viri pokrili prav vsa področja. Še posebej za zelo specifično vsebinsko usmerjene teme, je z vidika zagotavljanja kakovosti usposabljanja smiselno, da poiščemo zunanje sodelavce, ki so zares strokovnjaki za obravnavane tematike. Zunanji sodelavci vedno znova v projekt prinašajo tudi nove ideje, drugačne poglede, drugačne pristope, kar projekt bogati in ga izboljšuje. Po drugi strani pa se v tovrstnem razvojnem projektu kot je POKI, ki po eni strani zahteva iskanje vedno novih rešitev, po drugi strani pa hkrati tudi vzdrževanje kontinuitete v delu, saj je v projektu potrebno ohranjati stalno vsebinsko rdečo nit, nujno potrebno, da obstaja stalna vsebinska koordinacija tistih, ki so zadolženi za vodenje in vsebinsko spremljanje projekta. Težava pri delu z zunanjimi sodelavci je namreč včasih še največja v tem, da le-ti vstopijo v projekt na določeni točki, vloga tistih, ki so zadolženi za vsebinske dogovore z zunanjimi sodelavci pa je, da so dovolj pozorni, da predavatelju posredujejo vse temeljne informacije, ki jih le-ta potrebuje za to, da se bo njegova vsebinska tema smiselno in brez težav vklopila v kontekst dela v projektu. Vendar pa smo doslej v projektu POKI ob dobrem sodelovanju naših notranjih in zunanjih sodelavcev vedno znova našli skupen jezik, zato smo tudi večinoma z ocenami, ki jih predavatelji dobijo od naših udeležencev, zadovoljni. Uporabnost znanja, učinki programa. Vprašanje dolgoročnih učinkov programa je osrednje vprašanje, s katerim se pogosto ubadamo tisti, ki smo sodelovali pri njegovem nastajanju. Nedvomno lahko ugotovimo, da program udeležence in izobraževalne organizacije usposobi za izvedbo samoevalvacije v času, ko poteka usposabljanje. Vprašanje pa je, kaj se zgodi, ko je usposabljanje zaključeno. Po dosedanjih informacijah manjšina vključenih organizacij nadaljuje s samoevalvacijo po tem modelu ali po neki prirejeni obliki. Ni mogoče reči, da je zato program usposabljanja slab, saj na to, ali bodo v neki izobraževalni organizaciji izpeljevali samoevalvacijo, vplivajo številni dejavniki, verjetno še v najmanjši meri dejstvo, ali so za izpeljavo samoevalvacije usposobljeni ali ne. Vsekakor pa bi si sestavljalci programa želeli, da bi imel več »vzgojnih« ali motivacijskih učinkov, to je, da bi navdušil izobraževalne organizacije, da bi se organizirano, sistematično ukvarjali z vprašanji kakovosti tudi po zaključku usposabljanja. Na tem mestu pa omenimo še, da so pozitivni učinki, ki jih v času, ko se izobraževalne organizacije usposabljajo v projektu POKI in izpeljujejo samoevalvacijo v lastnih kolektivih, sami opažamo kot zunanji opazovalci in, na katere ima program usposabljanja gotovo tudi določene vplive, naslednji: ■ v izbranih kolektivih se je bistveno povečala pozornost za vprašanja kakovosti izobraževanja odraslih, marsikje se o teh vprašanjih pogovarjajo prvič, kljub dolgoletni tradiciji v izobraževanju odraslih, ■ položaj in pomen izobraževanja odraslih je pridobil na veljavi, ■ pojavlja se cela vrsta strokovnih pobud za izboljšanje stanja na različnih področjih, ■ povečuje se odgovornost za učne rezultate, ne samo v šolskem smislu (ocene), temveč tudi odgovornost za učinke v delovnem procesu, ■ sprožajo se razmišljanja o andragoških standardih kakovosti, ■ uvajajo se različne manjše izboljšave že v fazi ugotavljanja stanja, ki pa predstavljajo del kakovosti storitev, ■ povečuje se potreba po dodatnem izobraževanju za andragoško delo; ponekod na podlagi uvajanja modela že poteka cela vrsta izobraževanj, ■ pojavljajo se pobude po organizaciji strokovnih srečanj med učitelji različnih izobraževalnih organizacij za izmenjavo strokovnih rešitev. Naj na tem mestu omenimo še nekatere rezultate, ki smo jih pridobili z bolj celovito končno evalvacijo projekta POKI, ki smo jo izpeljali za skupino POKI 2. Če odgovore udeležencev o tem, kaj menijo, da so v njihovi izobraževalni organizaciji pridobili s sodelovanjem v projektu POKI, beremo skozi prizmo ciljev, ki smo si jih v začetku začrtali v programu usposabljanja, lahko presodimo, da je usposabljanje imelo določene učinke tudi, ko gre za cilje, za katere smo na začetku poudarili, da so težje dosegljivi, saj pomenijo spremembe v mišljenju in ravnanjih. Gre za cilje, ki so povezani z ozaveščanjem pomena kakovosti, novimi uvidi, drugačnimi pogledi ipd. Da so se takšni premiki v mišljenju med potekom projekta POKI dogajali, oz. da so jih vsaj sami percepirali kot takšne lahko razberemo iz besednjaka, ki ga uporabljajo pri opisu svojih izkušenj npr: »zavedli smo se«, »ozavestili smo«, »začeli smo drugače razmišljati«, »pridobili smo navado«, »spoznali smo«, »pridobili smo znanje«, »sedaj na to gledamo drugače«... Seveda zgolj iz tovrstnih navedb ne moremo sklepati, ali so se kot posledica tega začela spreminjati tudi ravnanja. Ob nekaterih »problemih«, ki smo jih že omenjali v prejšnjih poglavjih, lahko vidimo, da se žal skladno z novimi načini mišljenja vedno ne spremenijo tudi ravnanja. Zato je potrebno s tovrstnimi aktivnostmi vztrajati naprej in dalj časa, predvsem pa iskati nove načine, kako prevajati nova vedenja v »praktične spremembe ravnanj«. Ob vseh pozitivnih učinkih, ki jih zaznavamo z izpeljevanjem projekta POKI v praksi izobraževanja odraslih v Sloveniji, pa so prav ti zadnji tisti, ki nam pomenijo izziv za nadaljnje razvojno delo v prihodnje. 5. VIRI Faurschou, K. (2003): A European Common Quality Assurance Framework. CEDEFOP, Technical working group on quality. Klemenčič, S., Možina, T. (2003): Ponudimo odraslim kakovostno izobraževanje - POKI, Koncept, uvajanje in nekaj rezultatov. Gradivo za obravnavo na strokovnem svetu za izobraževanje odraslih. Ljubljana, Andragoški center Slovenije. Kroflič R. (2002). Izbrani pedagoški spisi. Vstop v kurikularne teorije. Zavod RS za šolstvo. Marzano R. J. in drugi (1998): Dimensions of Learning, ASCD, Alexandria Medveš (2000) Kakovost v šoli. V: Sodobna pedagogika št. 4, str. 8-26 Program usposabljanja za uporabo modela za presojanje in razvijanje kakovosti ponudimo odraslim kakovostno izobraževanje - POKI Rutar Ilc, Z., Žagar D. (2002) Pojmovanja znanja. Vzgoja in izobraževanje, št. 2. 13-17 Sagadin, J. (1999): Programska evalvacija. V: Sodobna pedagogika, 2/1999. Ljubljana, Zveza društev pedagoških delavcev Slovenije. Zoric, M. (2005): Evalvacijsko poročilo o primernosti izobraževalnega programa za usposabljanje osebja v izobraževalnih organizacijah za odrasle za izvajanje samoevalvacije po modelu Ponudimo odraslim kakovostno izobraževanje - POKI. Ljubljana, Andragoški center Slovenije (interno gradivo). PRILOGA 1 EVROPSKI SOCIALNI SKLAD ★ ★ ★ * + ★ PONUDIMO ODRASLIM kakovostno izobraŽevanje VPRAŠALNIK ZA UGOTAVLJANJE ZADOVOLJSTVA UDELEŽENCEV V PROGRAMU USPOSABLJANJA POKI Spoštova n i udeleženec / udeleženka! Pred vami je vprašalnik, s pomočjo katerega želimo ugotoviti, koliko ste bili zadovoljni z usposabljanjem v projektu POKI. Zato vas bomo ob koncu vsake delavnice prosili za oceno izpeljane delavnice. Lepo prosimo, da ocenite tokratno delavnico in nam sporočite vaše predloge o potrebnih izboljšavah. Potrudili se bomo, da bomo naslednje delavnice pripravili upoštevajoč vašo oceno in predloge za izboljšave. I. SPLOŠNI PODATKI 1. Funkcija, ki jo prvenstveno opravljate v organizaciji, kjer ste zaposleni: (Obkrožite izbrani odgovor!) 1 Ravnatelj/direktor 2 Vodja izobraževanja odraslih/programskega področja 3 Učitelj 4 Drugo (Vpišite.)____________ II. OCENA ORGANIZACIJE IN VSEBINE USPOSABLJANJA 2. Kako ste na splošno zadovoljni z izpeljano delavnico? (Obkrožite izbrani odgovor!) 1 Zelo nezadovoljen. 2 Nezadovoljen. 3 Niti zadovoljen niti nezadovoljen. 4 Zadovoljen. 5 Zelo zadovoljen. 3. Kako ocenjujete organizacijo usposabljanja? (Obkrožite izbrani odgovor!) 1. Zelo slaba. 2. Slaba. 3. Niti dobra niti slaba. 4. Dobra. 5. Zelo dobra. 4. Kako ste na splošno zadovoljni z vsebino usposabljanja? (Obkrožite ustrezen odgovor.) 1. Zelo nezadovoljen. 2. Nezadovoljen. 3. Niti zadovoljen niti nezadovoljen. 4. Zadovoljen. 5. Zelo zadovoljen. 5. Kako ste zadovoljni s posameznimi temami usposabljanja15? (V vsaki vrstici obkrožite ustrezne odgovore in sicer: 1 - Zelo nezadovoljen; 2 - Nezadovoljen; 3 - Niti zadovoljen niti nezadovoljen; 4 - Zadovoljen; 5 - Zelo zadovoljen) Aktualnost Uporabnost Ustreznost Gradiva teme teme za moje delo posr t sdovanja eme 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 Spoznavanje s projektom POKI 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 Spoznavanje z modelom POKI 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 Kvalitetna komunikacije v kolektivu in z 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 uporabniki Pomen timskega dela za razvoj 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 kakovosti v organizaciji Oblikovanje skupine za 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 kakovost Definiranja razvoja kakovosti - 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 poslanstvo, vizija, vrednote 6. Ali bi si želeli katere od obravnavanih tem v prihodnjih usposabljanjih še poglabljati? (Navedite teme!) 7. Ali so katere od obravnavanih tem tako neuporabne za vaše delo, da predlagate njihovo črtanje? (Navedite teme!) 15 Navedba vsebin je odvisna od tem, ki so na programu delavnice. 64 8. Prosimo, ocenite predavatelje. (Obkrožite izbrane odgovore!) Predavatelj Nezadovoljiv Zadovoljiv Dober Zelo dober Odličen 16 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 9. Vaši komentarji, predlogi za izboljšave in druga sporočila organizatorjem usposabljanja! (Navedite!) Datum: ZA VAŠE SODELOVANJE SE VAM PRAV LEPO ZAHVALJUJEMO! 16 Vpisana so imena predavateljev, ki so nosilci tem na posamezni delavnici. 65