ZAKLJUČNO POROČILO O REZULTATIH OPRAVLJENEGA RAZISKOVALNEGA DELA NA PROJEKTU V OKVIRU CILJNEGA RAZISKOVALNEGA PROGRAMA (CRP) »KONKURENČNOST SLOVENIJE 2006 - 2013« •pfT RE^USLIKA SLOVENIJA Kt^ N C S 1 L. E G J A V N F C- A F' C C 3 L A S T i L A I. Predstavitev osnovnih podatkov raziskovalnega 3. Naslov projekta: 1. Naziv težišča v okviru CRP: i h -m~.!?m — Družba znanja: izobraževanje, vzgoja, raziskave in r Prii.: v • * 2 Šifra projekta: Vrednost: V5 - 0226 Razvoj sistema kakovosti v terciarnem izobraževanju 3. Naslov projekta 3.1. Naslov projekta v slovenskem jeziku: Razvoj sistema kakovosti v terciarnem izobraževanju 3.2. Naslov projekta v angleškem jeziku: Developing System for improving quality of Higher Education 4. Ključne besede projekta 4.1. Ključne besede projekta v slovenskem jeziku: visokošolsko izobraževanje, razvijanje kakovosti, TQM - management celovite kakovosti, modeli za samo-evalvacijo, modeli za zunanjo evalvacijo_ . XVtJWlXW . -----------J--------- Higher Education, Quality development, Models for Quality Assessment, TQM - Total Quality Management, Self-evaluation Models for Higher Education, External-evaluation Models for Higher Education Obrazec ARRS-RI-CRP-ZP/2008 Stran 11 od 13 5. Naziv nosilne raziskovalne organizadje: Univerza v Ljubljani, Fakulteta za upravo 5.1. Seznam sodelujočih raziskovalnih organizacij (R0): Univerza na Primorskem, Fakulteta za management Koper (1988 - 7097) Šola za ravnatelje (2176), _ 6. Sofinancer/sofinanceiji: 7. Šifra ter ime in priimek vodje projekta:_ 4030 I I Doc. dr. Zdravko PEČAR Datum: 12. 5. 2008 Podpis vodje projekta: do^dr. Aavko PEČAR Podpis in žig izvajalca: pr;>f. dr.^Andreja Kocijančič, prof. dr. Andreje Kocij^čiJ, rektorica; po pooblastilo prof. dr. Srečko Devjak, dekan Obrazec ARRS-RI-CRP-ZP/2008 Stran 2 od 13 II. Vsebinska struktura zaključnega poročila o rezultatih raziskovalnega projekta v okviru CRP 1. Cilji projekta: 1.1. Ali so bili cilji projekta doseženi? ^ a) v celoti b) delno c) ne Če b) in c), je potrebna utemeljitev. 1.2. Ali so se cilji projekta med raziskavo spremenili? ^ a) da KI b) ne v Ce so se, je potrebna utemeljitev: Obrazec ARRS-RI-CRP-ZP/2008 Stran 11 od 13 2« Vsebinsko poročilo o realizaciji predloženega programa dela^: Delo na projektu Razvoj sistema kakovosti v terciarnem izobraževanju je potekalo na podlagi skupnega programa, po katerem je bila glavna usmeritev raziskovalne skupine Fakultete za upravo, Univerze v Ljubljani razvoj modela za samo-evalvacijo (po načelih TQM), usmeritev Fakultete za management, Univerze na Primorskem pa razvoj modela za zunanjo evalvacijo. SKLADNOST OPRAVLJENEGA RAZISKOVALNEGA DELA S PLANOM PROJEKTA (v tem delu poročila je navedenih le nekaj, ključnih dejstev v podporo skladnosti rezultatov raziskav s cilji in planirani aktivnostmi projekta; podrobno vsebinsko poročilo je podano v nadaljevanju v poročilih Fakulteta za upravo in Fakulteta za management. 1) Analiza obstoječih metod in orodij za nadzor kakovosti v visokem šolstvu Predvsem v začetku dela na projektu, v prvih petih mesecih sta obe raziskovalni skupini namenili veliko časa intenzivnemu proučevanju različnih metod, pristopov in orodij za razvoj kakovosti v terciarnem izobraževanju pri nas, v Evropski uniji in tudi ZDA. Ta proučevanja so v veliki meri usmerjala nadaljnje raziskovalno delo, seveda pa se je proučevanje dogajanj na tem področju v širšem okolju tudi z obiski številnih institucij nadaljevala vseskozi obdobja projekta. V poročilu raziskovalne skupine Univerze na Primorskem, Fakultete za management, Koper so prikazane trenutne razmere v evropskem visokošolskem prostoru z vidika spremljanja, ugotavljanja in zagotavljanja kakovosti visokošolskih zavodov (1. poglavje poročila B). Pojasnjeni so uporabljeni pojmi, ki se nanašajo na sistem in instrumente za spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ ah študijskega programa (2. poglavje). Metode in orodja so v poročilu poimenovani sistemi in instrumenti za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu. Nadzor kakovosti pa je v poročilu poimenovan kot spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu. Glede na trenutne trende spremljanja, ugotavljanja in zagotavljanja kakovosti visokošolskih zavodov sta pojasnjeni metodi (spremljanja in) ugotavljanja kakovosti, ki se uporabljata v poslovnem in visokošolskem prostoru, tj. "benchmarking" oziroma metoda zgledovanja in "rangiranje" oziroma razvrščanje organizacij / VŠZ. Temu sledi prikaz osnovnih značilnosti različic poslovnih modelov za spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ. Prikazanje razvoj sistemov in instrumentov za spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ ali študijskega programa v evropskem visokošolskem prostoru (3. poglavje). V zaključku 3. poglavja je prikazano trenutno stanje nacionalnih (in regionalnih) izvajalcev sistemov in instrumentov za spremljanje, ugotavljanje in ^ Potrebno je napisati vsebinsko raziskovalno poročilo, kjer mora biti na kratko predstavljen program dela z raziskovalno tiipotezo in metodološko-teoretičen opis raziskovanja pri njenem preverjanju ali zavračanju vključno s pridobljenimi rezultati projekta. Obrazec ARRS-RI-CRP-ZP/2008 Stran 4 od 13 v zagotavljanje kakovosti VSZ ali študijskega programa v evropskem visokošolskem prostoru. Raziskava primerljivih meril in metodologij v Evropski uniji V poročilu Univerze na Primorskem, Fakultete za management Koper so predstavljeni evropski sistemi spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu. Evropska praksa kaže na dva glavna instrumenta za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu: akreditacija (4. poglavje) in evalvacija (5. poglavje). Vsak instrument je proučen iz naslednjih vidikov: vrste in subjekti akreditacijskih/evalvacijskih shem; predmet pregledovanja v akreditacijskih/evalvacijskih shemah; značilnosti izvajanja akreditacijskih/evalvacijskih shem; po sledice akreditiranj a/evalviranj a; financiranje akreditacijskih/evalvacijskih shem in njihovega izvajanja. Med uporabljenimi primeri prikazujemo najpogostejšo prakso ter izstopajoče primere v izbranih državah. 2) Konzultacije z domačimi in tujimi strokovnjaki za kakovost v visokem šolstvu Raziskovalna skupina Fakultete za upravo Univerze v Ljubljani se je v obdobju izdelave projekta srečevala in posvetovala s številnimi domačimi in tujimi strokovnjaki obravnavanega področja, na osnovi katerih je dopolnjevala in potrjevala pravilnost raziskovalno razvojnih usmeritev. Nekaj teh strokovnjakov navajamo: dr. Tauno Kekale, profesor TQM Univerze Wassa, Finska, avtor številnih raziskav in člankov o kakovosti v šolah; Dr. Sara Cervai, profesorica org. Psihologije in kakovosti Univerze v Trstu, koordinatorka EU projekta QiS - Quality in School; Dr. Donald Adolphson, profesor managementa v javni upravi, director Romney histitute for Public Administration, Brigham Young University, Provo, Utah, ZDA; Akad. Dr. Ivan Bratko, profesor in predstojnik laboratorija za umetno inteligenco, FRI in IJŠ, Ljubljana Dr. Marko Bohanec, profesor sistemov za podporo odločanja, soavtor programa DEXi; Raziskovalna skupina FM UP Sodelovanje z NKKVS in z experti mednarodne konference o kakovosti evropskih VŠZ (Rogaška Slatina). Med trajanjem projekta se je projektna skupina Univerze na Primorskem, Fakultete za management Koper posvetovala s spodaj naštetimi strokovnjaki s področja spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu (razvrščeni v abecednem redu): • dr. Rober Behling, Boise State University, University of Wollongong, the Air Force Institute of Technology, the Wisconsin University MBA Consortium, Bryant University, Združene države Amerike, Portorož, 20. - 24. 11. 2007; • dr. Anasse Bouhlal, Meda Institute of Finland, Finska, Izola, 4. 3. 2008; • Jon File, Center for Higher Education Policy Studies - CHEPS, Nizozemska, Izola, 24.-25. 8.2007; •_dr. Helen E. Higson - Aston University, Velika Britanija, Dunaj, 12. 9. 2007;_ Obrazec ARRS-RI-CRP-ZP/2008 Stran 5 od 13 • Aleksander Kohler, Avstrijska agencija za zagotavljanje kakovosti - AQA, Avstrija, Dunaj, 12. 9. 2007; • dr. Jaap Scheerens - University of Twente, Nizozemska, Portorož, 24. - 25. 10. 2007 in Bled, 28.2. 2008; • Anthony John Vickers - svetovalec za evropski visokošolski prostor in strokovnjak za bolonjski proces, Združeno kraljestvo, Atene, 11.-13. 10. 2007; dr. Hans Vossensteyn, Center for Higher Education Policy Studies - CHEPS, Nizozemska, Izola, 30. 8. - 1. 9. 2007. Projektna skupina je imela tudi kratka posvetovanja z drugimi raziskovalci, delavci in strokovnjaki s področja spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu med obiski in nastopi na mednarodnih konferencah. 3) Razvoj modelov za evalvacijo Razvoj modelov / instrumentarija za akreditacijo visokošolskih zavodov in programov Univerza na Primorskem, Fakulteta za management Koper je primerjala evropsko prakso akreditacij z uveljavljeno prakso akreditacij v slovenskem visokem šolstvu (4. poglavje). Smernice razvoja akreditacij v slovenskem visokem šolstvu pa so razvidne predvsem iz priporočil za nadaljnji razvoj sistema spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu (7. poglavje). Razvoj modelov za evalvacijo visokošolskih zavodov in programov: samoevalvacija in zunanja evalvacija Univerza na Primorskem, Fakulteta za management Koper je opisala nastajajoči sistem spremljanja, ugotavljanja in zagotavljanja kakovosti v slovenskem visokošolskem prostoru (6. poglavje). Prikazanje postopek nacionalnih pilotnih institucionalnih zunanjih evalvacij v letu 2006. Predstavljene so metode in izsledki povratne zanke pilotnih institucionalnih zunanjih evalvacij (proučevanja izvedbe, izdelkov in instrumentarija, opazovanje obiskov na VŠZ in anketiranje udeležencev), ki smo jih opravili člani projektne skupine tega projekta. V zaključku poglavja so podana priporočila za nadaljnji razvoj nacionalnih institucionalnih zunanjih evalvacij. Naslednje, 7. poglavje, prikazuje primer dobre prakse povezovanja samoevalvacije z zunanjo evalvacijo in poročanja o izidih procesa samoevalvacije na izbranem slovenskem VŠZ. Podana so priporočila samoevalvacijske skupine izbranega VŠZ pri pripravi in izvedbi samoevalvacije VŠZ. Testiranje modelov na štirih visokošolskih zavodih Univerza na Primorskem, Fakulteta za management Koper je predstavila bistvene sestavine modela nacionalnih zunanjih evalvacij, kije bil pilotno izveden v letu 2006 (glej prejšnjo točko 3.2) ter podala priporočila za nadaljnji razvoj nacionalnih institucionalnih zunanjih evalvacij (6. poglavje). Modifikacija modelov in verifikacija Podrobnosti o razvoju in verifikaciji Modela za samo>evalvacijo so navedene v Poročilu A Obrazec ARRS-RI-CRP-ZP/2008 Stran 11 od 13 raziskovalne skupine Fakultete za upravo v poglavju 4. Proučitev uporabnosti v zasebnem in javnem sektorju Modeli so razviti tako, da omogočajo uporabo tako v zasebnem kot javnem sektorju. Aktivnosti na področju zagotavljanja kakovosti z zunanjimi evalvacijami in certificiranjem (akreditacije) terciarnega izobraževanja bo v EU in tudi v Sloveniji vedno več. V ZDA na primer že več kot 100 let poznajo različne oblike zunanjih evalvacij, ki delujejo predvsem pod okriljem organizacije CHEA (Council for Higher Education Accreditation). V EU je bila leta 2000 s podporo Evropske Komisije ustanovljena podobna krovna organizacija ENQA (European Network for Quality Assurance in higher education), ki se je leta 2004 preimenovala v European Association for Quality Assurance in Higher Education. Ta organizacija ima pristojnost, da evalvira in na tej osnovi podeljuje akreditacije ne le visokošolskim organizacijam, temveč, kar je še pomembneje -nacionalnim agencijam, ki s tem pridobijo »licenco« za izvajanje zunanjih evalvacij in akreditacij. V Sloveniji še nimamo akreditirane agencije, ki bi lahko izvajala zunanje evalvacije. Imeli smo NKKVŠ (nacionalno komisijo za kvaliteto visokega šolstva), ki je bila na mednarodnem seznamu potencijalnih agencij za akreditiranje, vendar je pogoj za začetek akreditiranja že zaključeno 3-letno uspešno izvajanje zunanjih evalvacij. NKECVS je začela s prvimi pilotnimi zunanjimi evalvacijami v letu 2006, v letu 2007 pa je prišlo do zastoja zaradi prevzemanja funkcij NKKVŠ s strani Sveta Republike Slovenije za visoko šolstvo. Tako ostaja vprašanje zunanjih evalvacij in s tem tudi akreditacij visokošolskih zavodov še naprej odprto in to fiinkcijo izvajajo UL in Svet za visoko šolstvo. 4) Razvoj modela za uvajanje managementa celovite kakovosti - TQM Določitev in analiza interesnih udeležencev na Fakulteti za upravo Na osnovi proučevanj obstoječe prakse smo ugotovili temeljno pomanjkljivost obstoječih sistemov evalvacij v tem, da interesi VSZ in izvajalcev zunanjih evalvacij niso vedno skladni in da zaradi tega veliko dejstev ostaja neodkritih. Zato smo razvili pristop in orodja (ki temeljijo na sodobnih načelih pristopa TQM), ki se v zadnjem času uporabljajo v zasebnem sektorju. Pri tem smo proučevali mnenja domačih in tujih ekspertov in v dialogu znotraj Skupine za kakovost določili ključne skupine interesnih udeležencev, ki tvorijo ključne evalvatorje. Te smo z razvijajočim sistemom IKT vključili v procese evalvacije, ugotavljanja problemskih stanj in oblikovanja predlogov izboljšav. Razvoj in preizkus modela managementa celovite kakovosti s ključnimi odločevalci Na osnovi opravljenih anket skupin interesnih udeležencev, študentov, delodajalcev, visokošolskih učiteljev, vodstva,..smo oblikovali sistem strukture sestavin kakovosti, ki jo je dokončno verificirala Skupina za kakovost. Razvih smo Model za samo-evalvacijo teh sestavin z upoštevanjem načel TQM. V njem Skupina za kakovost: na osnovi dejstev v diskusiji in na osnovi zbranih ocen od Obrazec ARRS-RI-CRP-ZP/2008 Stran 11 od 13 drugih skupin interesnih udeležencev (čim manj subjektivnosti) oceni/presoja sedanje stanje (opisno in z ocenami »ne dovolj dobro«, »dovolj dobro« ali »odlično« za posamezno sestavino kakovosti na najnižji ravni drevesne strukture - »listu«). Poenostavljeno rečeno je dosti lažje oceniti stopnjo kakovosti »prafaktoijev« (»listov«), kot pa kakovost večje neprimerno bolj kompleksne celote. Vrednotenje celotne strukture sestavin kakovosti smo nato izvedli s pomočjo računalniškega programa DEXi na osnovi odločitvenih pravil, ki jih definiramo skladno z razmerji uteži sestavin in podsestavin kakovosti. 5) Razvoj Modela za univerzo Določitev in analiza interesnih udeležencev na upravi Univerze v Ljubljani (s poudarkom na analizi pričakovanj vseh članic - fakultet) Interesni udeleženci UL so predvsem članice - fakultete. Na osnovi neformalnih razgovorov s članicami smo razvili model strukture sestavin kakovosti. Razvoj in preizkus Modela za samo-evalvacijo in management celovite kakovosti s ključnimi odločevalci Razviti model je bil teoretično preverjen za UL in UP, vendar ni bil dosežen potrebni kritični obseg pripravljenosti za obsežno praktično preveritev. 6) Verifikacija modelov managementa celovite kakovosti s strani uporabnikov Model za samo-evalvacijo, pristop TQM in razvita orodja so bili v procesu razvoja večkrat preizkušeni in verificirani s strani Fakultete za Upravo, Univerze v Ljubljani. 7) Oblikovanje Modela za samo-evalvacijo in management celovite kakovosti Model je bil razvit, preizkušen, verificiran in navedena so navodila za implementacijo. 8) Korekcije modelov na osnovi dialoga z uporabniki Eno temeljnih načel TQM so stalne izboljšave in tudi razviti Model je prožen in omogoča korekcije oziroma stalne izboljšave, kot prilagajanje procesom sprememb 9) Dokončno oblikovanje Modela za samo-evalvacijo Raziskave so pokazale, da dokončnih rešitev ni, nasprotno, potrebne so stalne razvojne spremembe predvsem v pogledu dopolnjevanja novih sestavin kakovosti v smeri razvoja IKT. Ob tem pa je potrebno ohraniti možnost primerjav v časovni vrsti, da lahko sproti nadziramo uspešnost ukrepov izboljšav in da zagotavljamo dvig ravni kakovosti. 10) Razvoj in preizkus namenskih orodij s področja umetne inteligence za avtomatično Obrazec ARRS-RI-CRP-ZP/2008 Stran 11 od 13 generiranje evalvacije z vizualizacijo in usmerjanjem izboljšav (IKT) Razvili smo metodo in orodja za avtomatično generiranje evalvacije z možnostjo vizualizacije strukture kakovosti in raznih povezav med sestavinami (program dexi). 11) Priporočila V zaključnem delu poročila Univerze na Primorskem, Fakultete za management Koper (7. poglavje) so podana priporočila za nadaljnji razvoj nacionalnega sistema spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu. Namenjena so pristojnim organom za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu na vseh ravneh (nacionalni, institucionalni in na ravni posameznega interesnega deležnika / interesnega udeleženca - angl. stakeholder). V nadaljevanju je v dveh delnih poročilih (A in B) prikaz uresničenih nalog obeh skupin. Obrazec ARRS-RI-CRP-ZP/2008 Stran 11 od 13 3. Izkoriščanje dobljenih rezultatov: 3.1. 3.2. Kakšen je potencialni pomen^ rezultatov vašega raziskovalnega projekta za: a) odkritje novih znanstvenih spoznanj; 1X1 b) izpopolnitev oziroma razširitev metodološkega instrumentarija; m c) razvoj svojega temeljnega raziskovanja; d) razvoj drugih temeljnih znanosti; e) razvoj novih tehnologij in drugih razvojnih raziskav. Označite s katerimi družbeno-ekonomskimi cilji (po metodologiji OECD-ja) sovpadajo rezultati vašega raziskovalnega projekta: a) razvoj kmetijstva, gozdarstva in ribolova - Vključuje RR, ki je v osnovi namenjen razvoju in podpori teh dejavnosti; b) pospeševanje industrijskega razvoja - vključuje RR, ki v osnovi podpira razvoj industrije, vključno s proizvodnjo, gradbeništvom, prodajo na debelo in drobno, restavracijami in hoteli, bančništvom, zavarovalnicami in drugimi gospodarskimi dejavnostmi; c) proizvodnja in racionalna izraba energije - vključuje RR-dejavnosti, ki so v funkciji dobave, proizvodnje, hranjenja in distribucije vseh oblik energije. V to skupino je treba vključiti tudi RR vodnih virov in nukleame energije; d) razvoj infrastrukture - Ta skupina vključuje dve podskupini: • transport in telekomimikacije - Vključen je RR, ki je usmerjen v izboljšavo in povečanje varnosti prometnih sistemov, vključno z varnostjo v prometu; • prostorsko planiranje mest in podeželja - Vključen je RR, ki se nanaša na skupno načrtovanje mest in podeželja, boljše pogoje bivanja in izboljšave v okolju; e) nadzor in skrb za okolje - Vključuje RR, kije usmeijen v ohranjevanje fizičnega okolja. Zajema onesnaževanje zraka, voda, zemlje in spodnjih slojev, onesnaženje zaradi hrupa, odlaganja trdnih odpadkov in sevanja. Razdeljen je v dve skupini: f) zdravstveno varstvo (z izjemo onesnaževanja) - Vključuje RR - programe, ki so usmeijeni v varstvo in izboljšanje človekovega zdravja; g) družbeni razvoj in storitve - Vključuje RR, ki se nanaša na družbene in kulturne probleme; ^ h) splošni napredek znanja - Ta skupina zajema RR, ki prispeva k splošnemu napredku znanja in ga ne moremo pripisati določenim ciljem; i) obramba - Vključuje RR, ki se v osnovi izvaja v vojaške namene, ne glede na njegovo vsebino, ali na možnost posredne civilne uporabe. Vključuje tudi varstvo (obrambo) pred naravnimi nesrečami. Označite lahko več odgovorov. Obrazec ARRS-RI-CRP-ZP/2008 Stran 10 od 13 3.3. Kateri so neposredni rezultati vašega raziskovalnega projekta glede na zgoraj označen potencialni pomen in razvojne cilje?_ A - Razvili smo pristop za ugotavljanje sestavin kakovosti VŠZ, ter določanje medsebojnih povezav teh sestavin in njihovega pomena (uteži) ob upoštevanju vseh skupin interesnih udeležencev. - Razvili smo Model za izvajanje samo-evalvacije kakovosti VŠZ, ki temelji na prej določenih sestavinah kakovosti in doktrini managementa celovite kakovosti - TQM. - Pristop samoevalvacije po tem Modelu zajema ustvaijalni dialog vseh notranjih in zunanjih skupin interesnih udeležencev z namenom "diagnoze in terapije" vseh sestavin kakovosti, za razliko od tradicionalnih enostranskih bolj "inšpekcijskih" pristopov. - Rezultati samo-evalvacije po tem Modelu se vključujejo v proces operativnega in strateškega planiranja VŠZ, kar predstavlja bistveno izboljšavo, glede na tradicionalne pristope evalvacij. - Razvili smo tudi računalniško implementacijo rezultatov Modela, kjer s pomočjo programa DEXi omogočimo avtomatično vrednotenje in vizualizacijo, kar daje procesu samo-evalvacije še dodatno značilnost transparentnosti in možnost nadaljnega razvoja spletnih in IKT tehnologij (v prihodnosti načrtujemo razvoj e-anket s pomočjo katerih bi od vseh skupin interesnih udeležencev pridobivali več in bolših informacij predvsem o njihovih pričakovanjih in presojah dosežkov) B - Priporočila za nadaljnji razvoj nacionalnega sistema spremljanja, ugotavljanja in zagotavljanja kakovosti na ravni sistema in na ravni instrumentov za spremljanje, ugotavljanje in zagotavljanje kakovosti (akreditacij, institucionalnih zunanjih in samoevalvacij). - Prikaz primera dobre prakse poročanja o izidih procesa samoevalvacije in povezovanja samoevalvacije z zunanjo evalvacijo._ 3.4. Kakšni so lahko dolgoročni rezultati vašega raziskovalnega projekta glede na zgoraj označen potencialni pomen in razvojne cilje?_ A - Raziskovalni projekt, ki smo ga opravili na Fakulteti za upravo pomeni nov pristop v slovenskem terciarnem izobraževanju. Menimo, da lahko vsak VŠZ koristno uporabi spoznanja in orodja, ki so jih razvili, za boljše razumevanje, kaj so bistvene sestavine kakovosti VŠZ in kako jih izboljševati. Pri tem je potrebno poznavanje načel TQM in organizacijska kultura, kije dovzetna za dialog in spremembe. - Menimo, da je delo na vsebini projekta nujno nadaljevati v smeri poglobljenega proučevanja zbiranja podatkov na osnovi e-anket s strani interesnih udeležencev, ter več o kakovosti visokošolskih učiteljev. B - Vpliv na razvoj in izgradnjo sistema spremljanja, ugotavljanja in zagotavljanja kakovosti, ki bo kredibilen, transparenten, uporaben in primerljiv v evropskem okolju. - Vzpostavljanje sinergije med instrumenti za spremljanje, ugotavljanje in zagotavljanje kakovosti (med zunanjo in samoevalvacijo ter med evalvacijo in akreditacijo)._ Obrazec ARRS-RI-CRP-ZP/2008 Stran 11 od 13 3.5. Kje obstaja veijetnost, da bodo vaša znanstvena spoznanja deležna zaznavnega odziva? ^ a) v domaČih znanstvenih krogih; ^ b) v mednarodnih znanstvenih krogih; 3 c) pri domačih uporabnikih; K d) pri mednarodnih uporabnikih. 3.6. Kdo (poleg sofmanceqev) že izraža interes po vaših spoznanjih oziroma rezultatih? 3.7. Število diplomantov, magistrov in doktoijev, ki so zaključili študij z vključenostjo v raziskovalni projekt? 4. Sodelovanje z tujimi partnerji: 4.1. Navedite število in obliko formahiega raziskovalnega sodelovanja s tujimi raziskovalnimi institucijami. Med trajanjem projekta se je projektna skupina posvetovala s spodaj naštetimi strokovnjaki s področja spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu (razvrščeni v abecednem redu): dr. Rober Behling, Boise State University, University of Wollongong, the Air Force Institute of Technology, the Wisconsin University MBA Consortium, Bryant University, Združene države Amerike, Portorož, 20. - 24. 11. 2007; dr. Anasse Bouhlal, Meda Institute of Finland, Finska, Izola, 4. 3. 2008; Jon File, Center for Higher Education Policy Studies - CHEPS, Nizozemska, Izola, 24.-25. 8.2007; dr. Helen E. Higson - Aston University, Velika Britanija, Dunaj, 12. 9. 2007; Aleksander Kohler, Avstrijska agencija za zagotavljanje kakovosti - AQA, Avstrija, Dunaj, 12. 9. 2007; dr. Jaap Scheerens - University of Twente, Nizozemska, Portorož, 24. - 25. 10. 2007 in Bled, 28.2. 2008; Anthony John Vickers - svetovalec za evropski visokošolski prostor in strokovnjak za bolonjski proces, Združeno kraljestvo, Atene, 11.-13.10. 2007; dr. Hans Vossensteyn, Center for Hi^er Education PoHcy Studies - CHEPS, Nizozemska, Izola, 30. 8. - 1. 9. 2007. Projektna skupina je imela tudi kratka posvetovanja z drugimi raziskovalci, delavci in strokovnjaki s področja spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem Obrazec ARRS-RI-CRP-ZP/2008 Stran 12 od 13 šolstvu med obiski in nastopi na mednarodnih konferencah. Posvetovanja so bila namenjena teoretični in praktični proučitvi instrumentov za spremljanje, ugotavljanje in zagotavljanje kakovosti visokošolskih zavodov (akreditacija, zunanja in samoevalvacija) in evropskih visokošolskih praks na tem področju._ 4.2. Kakšni so rezultati tovrstnega sodelovanja?_ Prijava v evropski raziskovalni program INTERREG IVC skupaj z Aston university (Velika Britanija) za področje zagotavljanja kakovosti regijskih univerz. Predvideni zunanji sodelavci pa so: Avstrijska agencija za kakovost - AQA in CHEPS. - Rezultati sodelovanja so integrirani v zaključno poročilo (prikaz dobrih praks ter izstopajočih primerov v sistemih spremljanja, ugotavljanja in zagotavljanja kakovosti) 5. Bibliografski rezultati^: Za vodjo projekta in ostale raziskovalce v projektni skupini priložite bibliografske izpise za obdobje zadnjih treh let iz COBISS-a) oz. za medicinske vede iz Inštituta za biomedicinsko informatiko. Na bibliografskih izpisih označite tista dela, ki so nastala v okviru pričujočega projekta. 6. Druge reference'* vodje projekta in ostalih raziskovalcev, ki izhajajo iz raziskovalnega projekta:_ B Lesjak, Dušan, Trunk Širca, Nada, Fister, Katarina in Gomezelj Omerzel, Doris. 2006. Bolonja, kompetence diplomantov, vseživljenjsko učenje in konkurenčnost Slovenije. Seminarji Fakultete za management Koper. Koper, Nova Gorica, Ško^a Loka, Celje in Maribor, junij in september 2006. Trunk Sirca, Nada. Organizacija seminaija Management in higher education, v sodelovanju s CHEPS (Centre for Higher Education and Policy Studies, Nizozemska). Portorož, 24. 8.- 1.9. 2007. Trunk Širca, Nada, Fister, Katarina in Širok, Klemen. Reforma visokega šolstva in trg dela. Seminar o trgu dela in kakovosti diplom. Fakulteta za management Koper. Nova Gorica, 20. 2. 2008. Škofja Loka, 21. 2. 2008._ 3 Bibliografijo raziskovalcev si lahko natisnete sami iz spletne strani:http:/www.izuni.si/ ^ Navedite tudi druge raziskovalne rezultate iz obdobja financiranja vašega projekta, ki niso zajeti v bibliografske izpise, zlasti pa tiste, ki se nanašajo na prenos znanja in tehnologije. Navedite tudi podatke o vseh javnih in drugih predstavitvah projekta in njegovih rezultatov vključno s predstavitvami, ki so bile organizirane izključno za naročnika/naročnike projekta. Obrazec ARRS-RI-CRP-ZP/2008 Stran 11 od 13 Zaključno poročilo projekta CRP: V5 - 0226 RAZVOJ SISTEMA KAKOVOSTI V TERCIARNEM IZOBRAŽEVANJU Izvajalec: Univerza v Ljubljani, Fakulteta za upravo Soizvajalec: Univerza na Primorskem, Fakulteta za management Koper Vodja projekta: Doc.dr. Zdravko Pečar Ljubljana, april 2008 Povzetek Raziskovalno poročilo prikazuje delo dveh raziskovalnih skupin, ki sta proučevali področje evalvacij kakovosti visokošolskih zavodov. Prvi del predstavlja delo skupine Univerze v Ljubljani, Fakultete za upravo, ki se je usmerila na samo-evalvacije kakovosti in drugi del Univerze na Primorskem, Fakultete za management, ki obravnava zunanje-evalvacije. Prva skupina je razvila predvsem tri produkte. Prvega predstavlja sistem strukture sestavin kakovosti, pridobljen na osnovi vključevanja idej - pričakovanj vseh pomembnih skupin interesnih udeležencev (angl. Stakeholders). Drugi produkt je Model za samo-evalvacijo, ki je bil razvit ob upoštevanju načel TQM in grajen na sestavinah kakovosti. Posebna odlika Modela (ki ga je možno v pogledu vsebine in IKT še nadgrajevati) je v tem, da tudi v evalvacijo vključuje vse interesne udeležence, ki komunicirajo svoja pričakovanja (standarde) in da vzpodbuja timsko določanje problemov in priložnosti (SWOT), ter konkretne ukrepe izboljšav. Čeprav je bil Model tako kot struktura sestavin grajen in testiran na konkretnem primeru Fakultete za upravo, ga je možno smiselno uporabiti za kateri koli VŠZ. Tretji produkt predstavlja Implementacija ocenjene ravni kakovosti v programsko orodje DEX1, ki omogoča avtomatično vrednotenje in tudi vizualizacijo vseh sestavin kakovosti. Druga skupina raziskovalcev Je v sodelovanju z NKKVŠ (Nacionalna komisija za kvaliteto visokega šolstva) razvila pristop prvih pilotnih zunanjih evalvacij in jih izvedla v štirih VŠZ. Pri izvedbi zunanjih evalvacij je uporabila Model, ki temelji na nacionalnih merilih za akreditacijo (Ur.l. RS 101/2004). Raziskovalci so izvedbo evalvacij v katere so bili vključeni tudi zunanji eksperti temeljito analizirali, dokumentirali in izdelali predloge za izboljšanje. Summary Research report is presenting the efforts of two research groups, working on the improvement of quality assessment processes in higher education institutions. First part represents the work of the first group at University of Ljubljana, Faculty of Administration, focusing on quality self-assessment, while the second part is covering the area of external -assessment. First group has produced three major outputs. The first one is the system of decision tree structure of quality elements, developed on the basis of ideas/expectations of all key stakeholders. Second one is the Model for self - assessment, which integrates the principles of TQM and Is built upon the quality elements. The Model can be further upgraded In regard to contents and IKT, and also simplified by »pruning« the tree structure. Main added value of the Model Is the feature involving all the stakeholders who communicate their expectations (standards), and as well as, the extension of the process of assessment into strategic thinking, problem finding, searching for solutions / improvements and defining responsibility, all in one framework. The system of quality elements and the Model were developed and tested as pilot case at Faculty of Administration, but their general approaches can be used at any HE Institution. Third product represents the implementation of the assessed quality values Into the program for multi-variable decision making DEXi, which generates automatic evaluation (with visualization of all quality elements). Second research group has worked with National Agency for quality of HE (NKKVŠ) developing the approach and methodology for the first pilot of external-assessment in four HE institutions. For external-assessments the group used Model, based on the national criteria for accreditation from the law of 2004. The report gives detailed description, analysis, and documentation of the assessment processes In which participated external experts. Included are the proposals for further improvements. KAZALO UVODNA POJASNILA..............................................................................................................3 A Poročilo raziskovalne skupine Fakultete za upravo Univerze v ljubljani o delu na projektu v celotnem obdobju..............................................................................................9 IZHODIŠČA...............................................................................................................................9 1 UVAJANJE MANAGEMENTA CELOVITE KAKOVOSTI (TQIUI) V VISOKO ŠOLSTVO........9 1.1 Management celovite kakovosti.....................................................................................10 1.2 Kakovost v šolstvu.........................................................................................................11 2 DOGAJANJA V SVETU IN RS NA PODROČJU KAKOVOSTI VŠZ....................................14 2.1 Evropski visokošolski prostor in kakovost......................................................................14 2.2 ZDA in Evropa...............................................................................................................17 2.3 Slovenski visokošolski prostor in kakovost.....................................................................18 3 UVAJANJE NAČEL TQM V IZOBRAŽEVANJE..................................................................22 3.1 Splošni modeli za presojanje kakovosti organizacij........................................................22 3.2 Pristopi za evalvaclje/presoje kakovosti.........................................................................24 4 PRIKAZ RAZISKOVALNO RAZVOJNIH FAZ IN PRODUKTOV PROJEKTA......................25 4.1 Določanje sestavin kakovosti in razvoj drevesne strukture sistema kakovosti VŠZ........26 4.2 Določitev pomena / vpliva - uteži sestavinam kakovosti.................................................31 4.3 Razvoj, testiranje in verificiranje Modela za samo-evalvacijo.........................................35 4.4 Opis zgradbe Modela za samo-evalvacijo......................................................................37 4.5 Vrednotenje kakovosti s programom DEXi (iz področja umetne inteligence)..................38 4.6 Razvoj Modela za samo-evalvacijo / samopresojo univerze..........................................43 5 NEKAJ DODATNIH RAZLOGOV ZA SAMO-EVALVACIJO................................................45 5.1 Za boljše razumevanje samo-evalvacije........................................................................45 5.2 Pričetek samo-evalvacije...............................................................................................46 6 ZAKLJUČNE UGOTOVITVE IN PREDLOGI........................................................................47 7 LITERATURA IN VIRI:.........................................................................................................49 8 PRILOGE.............................................................................................................................53 UVODNA POJASNILA Delo na projektu Razvoj sistema kakovosti v terciarnem izobraževanju je potekalo na podlagi skupnega programa, po katerem je bila glavna usmeritev raziskovalne skupine Fakultete za upravo, Univerze v Ljubljani razvoj modela za samo-evalvacijo (po načelih TQM), usmeritev Fakultete za management Univerze na Primorskem pa razvoj modela za zunanjo evalvacijo. SKLADNOST OPRAVLJENEGA RAZISKOVALNEGA DELA S PLANOM PROJEKTA (v tem delu poročila je navedenih le nekaj, ključnih dejstev v podporo skladnosti rezultatov raziskav s cilji in planirani aktivnostmi projekta; podrobno vsebinsko poročilo je podano v nadaljevanju v poročilih Fakulteta za upravo in Fakulteta za management. 1) Analiza obstoječih metod in orodij za nadzor kakovosti v visokem šolstvu Predvsem v začetku dela na projektu, v prvih petih mesecih sta obe raziskovalni skupini namenili veliko časa intenzivnemu proučevanju različnih metod, pristopov in orodij za razvoj kakovosti v terciarnem izobraževanju pri nas, v Evropski uniji in tudi ZDA. Ta proučevanja so v veliki meri usmerjala nadaljnje raziskovalno delo, seveda pa seje proučevanje dogajanj na tem področju v širšem okolju tudi z obiski številnih institucij nadaljevala vseskozi obdobja projekta. V poročilu raziskovalne skupine Univerze na Primorskem, Fakultete za management, Koper so prikazane trenutne razmere v evropskem visokošolskem prostoru z vidika spremljanja, ugotavljanja in zagotavljanja kakovosti visokosolskih zavodov (1. poglavje poročila B). Pojasnjeni so uporabljeni pojmi, ki se nanašajo na sistem in instrumente za spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ ali študijskega programa (2. poglavje). Metode in orodja so v poročilu poimenovani sistemi in instrumenti za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu. Nadzor kakovosti pa je v poročilu poimenovan kot spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu. Glede na trenutne trende spremljanja, ugotavljanja in zagotavljanja kakovosti visokošolskih zavodov sta pojasnjeni metodi (spremljanja in) ugotavljanja kakovosti, ki se uporabljata v poslovnem in visokošolskem prostoru tj "benchmarking" oziroma metoda zgledovanja in "rangiranje" oziroma razvrščanje organizacij / VŠ2. Temu sledi prikaz osnovnih značilnosti različic poslovnih modelov za spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ. Pnkazan je razvoj sistemov in instrumentov za spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ ali študijskega programa v evropskem visokošolskem prostoru (3. poglavje). V zaključku 3. poglavja je prikazano trenutno stanje nacionalnih (in regionalnih) izvajalcev sistemov in instrumentov za spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ ali študijskega programa v evropskem visokošolskem prostoru. Raziskava primerljivih meril in metodologij v Evropski uniji V poročilu Univerze na Primorskem, Fakultete za management Koper so predstavljeni evropski sistemi spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu. Evropska praksa kaže na dva glavna instrumenta za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu: akreditacija (4. poglavje) in evalvacija (5. poglavje). Vsak instrument je proučen Iz naslednjih vidikov: • vrste in subjekti akreditacijskih/evalvacijskih shem; • predmet pregledovanja v akreditacijskih/evalvacijskih shemah; • značilnosti izvajanja akreditacijskih/evalvacijskih shem; • posledice akreditiranja/evalviranja; • financiranje akreditacijskih/evalvacijskih shem in njihovega izvajanja. Med uporabljenimi primeri prikazujemo najpogostejšo prakso ter izstopajoče primere v izbranih državah. 2) Konzultacije z domačimi in tujimi strokovnjaki za kakovost v visokem šolstvu Raziskovalna skupina Fakultete za upravo Univerze v Ljubljani se je v obdobju izdelave projekta srečevala in posvetovala s številnimi domačimi in tujimi strokovnjaki obravnavanega področja, na osnovi katerih je dopolnjevala in potrjevala pravilnost raziskovalno razvojnih usmeritev. Nekaj teh strokovnjakov navajamo: - dr. Tauno Kekale, profesor TQM Univerze Wassa, Finska, avtor številnih raziskav in člankov o kakovosti v šolah; - dr. Sara Cervai, profesorica org. psihologije in kakovosti Univerze v Trstu, koordinatorka EU projekta QiS - Quality in School; - dr. Donald Adolphson, profesor managementa v javni upravi, director Romney Institute for Public Administration, Brigham Young University, Provo, Utah, ZDA; - Akad. dr. Ivan Bratko, profesor in predstojnik laboratorija za umetno inteligenco, FRI in IJŠ, Ljubljana - dr. Marko Bohanec, profesor sistemov za podporo odločanja, soavtor programa DEXi; - Raziskovalna skupina FM UP - Sodelovanje z NKKVŠ - Konzultacije z experti na mednarodni konferenci o kakovosti evropskih VŠZ (Rogaška Slatina ~ 30.11. - 01.12.2007). Med trajanjem projekta se je projektna skupina Univerze na Primorskem, Fakultete za management Koper posvetovala s spodaj naštetimi strokovnjaki s področja spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu (razvrščeni v abecednem redu): • dr. Rober Behling, Boise State University, University of Woliongong, the Air Force Institute of Technology, the Wisconsin University MBA Consortium, Bryant University, Združene države Amerike, Portorož, 20. - 24. 11. 2007; • dr. Anasse Bouhlal, Meda Institute of Finland, Finska, Izola, 4. 3. 2008; • Jon File, Center for Higher Education Policy Studies - CHEPS, Nizozemska, Izola, 24. - 25. 8. 2007; • dr. Helen E. Higson - Aston University, Velika Britanija, Dunaj, 12. 9. 2007; • Aleksander Kohler, Avstrijska agencija za zagotavljanje kakovosti - AQA, Avstrija, Dunaj, 12. 9. 2007; • dr. Jaap Scheerens - University of Twente, Nizozemska, Portorož, 24. - 25. 10. 2007 in Bled, 28. 2. 2008; • Anthony John Vickers - svetovalec za evropski visokošolski prostor in strokovnjak za bolonjski proces, Združeno kraljestvo, Atene, 11. - 13. 10. 2007; • dr. Hans Vossensteyn, Center for Higher Education Policy Studies - CHEPS, Nizozemska, Izola, 30. 8. - 1. 9. 2007. Projektna skupina je imela tudi kratka posvetovanja z drugimi raziskovalci, delavci in strokovnjaki s področja spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu med obiski in nastopi na mednarodnih konferencah. 3) Razvoj modelov za evalvacijo Razvoj modelov / instrumentarija za akreditacijo visokošolskih zavodov in programov Univerza na Primorskem, Fakulteta za management Koper je primerjala evropsko prakso akreditacij z uveljavljeno prakso akreditacij v slovenskem visokem šolstvu (4. poglavje). Smernice razvoja akreditacij v slovenskem visokem šolstvu pa so razvidne predvsem iz priporočil za nadaljnji razvoj sistema spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu (7. poglavje). Razvoj modelov za evalvacijo visokošolskih zavodov in programov: samoevalvacija in zunanja evalvacija Univerza na Primorskem, Fakulteta za management Koper je opisala nastajajoči sistem spremljanja, ugotavljanja in zagotavljanja kakovosti v slovenskem visokošolskem prostoru (6. poglavje). Prikazan je postopek nacionalnih pilotnih institucionalnih zunanjih evalvacij v letu 2006. Predstavljene so metode in izsledki povratne zanke pilotnih institucionalnih zunanjih evalvacij (proučevanja izvedbe, izdelkov in instrumentarija, opazovanje obiskov na VŠZ in anketiranje udeležencev), ki smo jih opravili člani projektne skupine tega projekta. V zaključku poglavja so podana priporočila za nadaljnji razvoj nacionalnih institucionalnih zunanjih evalvacij. Naslednje, 7. poglavje, prikazuje primer dobre prakse povezovanja samoevalvacije z zunanjo evalvacijo in poročanja o izidih procesa samoevalvacije na izbranem slovenskem VŠZ. Podana so priporočila samoevalvacijske skupine izbranega VŠZ pri pripravi in izvedbi samoevalvacije VŠZ. Testiranje modelov na štirih visokošolskih zavodih Univerza na Primorskem, Fakulteta za management Koper je predstavila bistvene sestavine modela nacionalnih zunanjih evalvacij, ki je bil pilotno izveden v letu 2006 (glej prejšnjo točko 3.2) ter podala priporočila za nadaljnji razvoj nacionalnih institucionalnih zunanjih evalvacij (6. poglavje). Modifikacija modelov in verifikacija Podrobnosti o razvoju In verifikaciji Modela za samo-evalvacijo so navedene v Poročilu A raziskovalne skupine Fakultete za upravo v poglavju 4. Proučitev uporabnosti v zasebnem in javnem sektorju Modeli so razviti tako, da omogočajo uporabo tako v zasebnem kot javnem sektorju. Aktivnosti na področju zagotavljanja kakovosti z zunanjimi evalvacijami in certificiranjem (akreditacije) terciarnega izobraževanja bo v EU in tudi v Sloveniji vedno več. V ZDA na primer že več kot 100 let poznajo različne oblike zunanjih evalvacij, ki delujejo predvsem pod okriljem organizacije CHEA (Council for Higher Education Accreditation). V EU je bila leta 2000 s podporo Evropske Komisije ustanovljena podobna krovna organizacija ENQA (European Network for Quality Assurance in higher education), ki se je leta 2004 preimenovala v European Association for Quality Assurance in Higher Education. Ta organizacija ima pristojnost, da evalvira in na tej osnovi podeljuje akreditacije ne le visokošolskim organizacijam, temveč, kar je še pomembneje - nacionalnim agencijam, ki s tem pridobijo »licenco« za izvajanje zunanjih evalvacij in akreditacij. V Sloveniji še nimamo akreditirane agencije, ki bi lahko izvajala zunanje evalvacije. Imeli smo NKKVŠ (nacionalno komisijo za kvaliteto visokega šolstva), ki je bila na mednarodnem seznamu potencijalnih agencij za akreditiranje, vendar je pogoj za začetek akreditiranja že zaključeno 3-letno uspešno izvajanje zunanjih evalvacij. NKKVŠ je začela s prvimi pilotnimi zunanjimi evalvacijami v letu 2006, v letu 2007 pa je prišlo do zastoja zaradi prevzemanja funkcij NKKVŠ s strani Sveta Republike Slovenije za visoko šolstvo. Tako ostaja vprašanje zunanjih evalvacij in s tem tudi akreditacij visokošolskih zavodov še naprej odprto in to funkcijo izvajajo UL in Svet za visoko šolstvo. 4) Razvoj modela za uvajanje managementa celovite kakovosti - TQM Določitev in analiza interesnih udeležencev na Fakulteti za upravo Na osnovi proučevanj obstoječe prakse smo ugotovili temeljno pomanjkljivost obstoječih sistemov evalvacij v tem, da interesi VŠZ in izvajalcev zunanjih evalvacij niso vedno skladni in da zaradi tega veliko dejstev ostaja neodkritih. Zato smo razvili pristop in orodja (ki temeljijo na sodobnih načelih pristopa TQM), ki se v zadnjem času uporabljajo v zasebnem sektorju. Pri tem smo proučevali mnenja domačih in tujih ekspertov in v dialogu znotraj Skupine za kakovost določili ključne skupine interesnih udeležencev, ki tvorijo ključne evalvatorje. Te smo z razvijajočim sistemom IKT vključili v procese evalvacije, ugotavljanja problemskih stanj in oblikovanja predlogov izboljšav. Razvoj in preizkus modela managementa celovite kakovosti s ključnimi odločevalci Na osnovi opravljenih anket skupin interesnih udeležencev, študentov, delodajalcev, visokošolskih učiteljev, vodstva,..smo oblikovali sistem strukture sestavin kakovosti, ki jo je dokončno verificirala Skupina za kakovost. Razvili smo Model za samo-evalvacijo teh sestavin z upoštevanjem načel TQM. V njem Skupina za kakovost: na osnovi dejstev v diskusiji in na osnovi zbranih ocen od drugih skupin interesnih udeležencev (čim manj subjektivnosti) oceni/presoja sedanje stanje (opisno in z ocenami »ne dovolj dobro«, »dovolj dobro« ali »odlično« za posamezno sestavino kakovosti na najnižji ravni drevesne strukture - »listu«). Poenostavljeno rečeno je dosti lažje oceniti stopnjo kakovosti »prafaktorjev« (»listov«), kot pa kakovost večje neprimerno bolj kompleksne celote. Vrednotenje celotne strukture sestavin kakovosti smo nato izvedli s pomočjo računalniškega programa DEXi na osnovi odločitvenih pravil, ki jih definiramo skladno z razmerji uteži sestavin in podsestavin kakovosti. 5) Razvoj Modela za univerzo Določitev in analiza interesnih udeležencev na upravi Univerze v Ljubljani (s poudarkom na analizi pričakovanj vseh članic - fakultet) Interesni udeleženci UL so predvsem članice - fakultete. Na osnovi neformalnih razgovorov s članicami smo razvili model strukture sestavin kakovosti. Razvoj in preizkus Modela za samo-evalvacijo in management celovite kakovosti s ključnimi odločevale] Razviti model je bil teoretično preverjen za UL in UP, vendar ni bil dosežen potrebni kritični obseg pripravljenosti za obsežno praktično preveritev. 6) Verifikacija modelov managementa celovite kakovosti s strani uporabnikov Model za samo-evalvacijo, pristop TQM in razvita orodja so bili v procesu razvoja večkrat preizkušeni in verificirani s strani Fakultete za Upravo, Univerze v Ljubljani. 7) Oblikovanje Modela za samo-evalvacijo in management celovite kakovosti Model je bil razvit, preizkušen, verificiran in navedena so navodila za implementacijo. 8) Korekcije modelov na osnovi dialoga z uporabniki Eno temeljnih načei TQM so stalne izboljšave in tudi razviti Model je prožen in omogoča korekcije oziroma stalne izboljšave, kot prilagajanje procesom sprememb 9) Dokončno oblikovanje Modela za samo-evalvacijo Raziskave so pokazale, da dokončnih rešitev ni, nasprotno, potrebne so stalne razvojne spremembe predvsem v pogledu dopolnjevanja novih sestavin kakovosti v smeri razvoja IKT. Ob tem pa je potrebno ohraniti možnost primerjav v časovni vrsti, da lahko sproti nadziramo uspešnost ukrepov izboljšav In da zagotavljamo dvig ravni kakovosti. 10) Razvoj in preizkus namenskih orodij s področja umetne inteligence za avtomatično generiranje evalvacije z vizualizacijo in usmerjanjem izboljšav (IKT) Razvili smo metodo in orodja za avtomatično generiranje evalvacije z možnostjo vizualizacije strukture kakovosti in raznih povezav med sestavinami (program dexi). 11) Priporočila V zaključnem delu poročila Univerze na Primorskem, Fakultete za management Koper (7. poglavje) so podana priporočila za nadaljnji razvoj nacionalnega sistema spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu. Namenjena so pristojnim organom za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu na vseh ravneh (nacionalni, institucionalni in na ravni posameznega interesnega deležnika / interesnega udeleženca - angl. stakeholder). V nadaljevanju je v dveh delnih poročilih (A in B) prikaz uresničenih nalog obeh skupin. A Poročilo raziskovalne skupine Fakultete za upravo Univerze v ljubljani o delu na projektu v celotnem obdobju IZHODIŠČA Področje kakovosti je postalo v Evropi in tudi pri nas bolj pomembno šele v zadnjih letih. Glede zagotavljanja kakovosti študija so v "bolonjski deklaraciji" leta 1999 šolski ministri določili ohlapno usklajevanje držav. Desetletje prej, leta 1988 so - prav tako v Bologni - rektorji podpisali Magno Charto Universitatum, listino o tem, kaj so in kaj nameravajo evropske univerze, a v njej niso izrecno omenili kakovosti. Je pa Evropska unija (Svet EU) svojim članicam že leta 1998 naročila, da morajo poskrbeti za zagotavljanje kakovosti v visokem izobraževanju, ustanoviti neodvisne agencije, pritegniti k sodelovanju strokovna združenja, socialne partnerje in diplomante, izvajati notranje in zunanje evalvacije na visokošolskih institucijah ter poskrbeti za objavo evalvacijskih poročil. V Veliki Britaniji, na Nizozemskem in v ZDA, kjer so se tovrstnih projektov lotili že pred časom, imajo že pomembne izkušnje. Tudi v Sloveniji skušamo slediti tovrstnim usmeritvam. Z naraščanjem števila visokošolskih inštitucij in študentov ter z odpiranjem meja za zaposlovanje je tudi oblikovalce javnih politik in management v visokošolskih ustanovah zaskrbela kakovost našega študija. Pripombe na usposobljenost diplomantov so imeli tudi delodajalci, evropske študentske organizacije pa so postajale vse glasnejše. Zato so leta 2003 v Berlinu šolski ministri naročili vsem državam, naj ustanovijo organe, posebej odgovorne za ugotavljanje minimalne ravni kakovosti študijskih programi in institucij, ki programe izvajajo. Univerze, tudi fakultete in druge institucije, naj bi ocenjevale svoje delo in uvajale novosti, pri tem pa naj sodelujejo tudi študenti, diplomanti, zastopniki delodajalcev in ocenjevalci iz tujine. 1 UVAJANJE MANAGEMENTA CELOVITE KAKOVOSTI (TQM) V VISOKO ŠOLSTVO Managerji javnih organizacij (visokošolskih zavodov - VŠZ), kamor sodijo tudi javne univerze in fakultete, se praviloma soočajo z dvema pomembnima ovirama. Prvo predstavlja močno strokovno predanost zaposlenih svojemu delu, zato ti velikokrat ne poudarjajo finančne kontrole poslovanja, za katerega morajo toliko bolj poskrbeti managerji. Druga ovira pa so šibki signali iz okolja o uspešnosti oziroma neuspešnosti poslovanja zavodov. Za razliko od zasebnih podjetij, ki jim odgovora na vprašanji, kaj in koliko proizvajati, praviloma poišče trg, javni zavodi nimajo nekega močnega in nepristranskega mehanizma, ki bi lahko dal nedoumne odgovore. Če običajna zasebna, profitno naravnana podjetja ne upoštevajo razmer na trgu, jim - če seveda niso monopolisti - grozi izločitev s trga in propad. To načelo pa ne velja za neprofitne organizacije, katerih rezultate poslovanja ni mogoče ovrednotiti samo na podlagi finančnih rezultatov, doseženih na »trgu«, temveč so pomembni tudi drugi vidiki, denimo zagotavljanje »ustrezne« kakovosti opravljenih storitev (Carnevale, 2003). 1.1 Management celovite kakovosti Izraz kakovost zajema več pomenov - od sposobnosti izdelka oziroma storitve za uporabo (potrošnjo) do izpolnjevanja kupčevih oziroma uporabnikovih pričakovanj in njegovega navdušenja nad izdelkom oziroma storitvijo. Kakovost bi lahko opredelili kot skupek značilnih vrednosti nekega izdelka ali storitve glede na njegovo primernost in izpolnjevanje točno določenih predpostavljenih potreb. Bistveni element v zagotavljanju ustrezne kakovosti je pravilno vodenje, zato standardi obravnavajo kakovost predvsem s stališča organizacije in vodenja podjetja s ciljem, da dosežemo in obdržimo kakovost izdelkov oziroma storitev, tako da so trajno izpolnjene zahteve uporabnikov, da dosežemo zaupanje kar se da velikega števila interesnih udeležencev, da je kakovost ustrezna in da je doseženi nivo mogoče vzdrževati. Zgodnji pristopi kakovosti so bili usmerjeni na zagotavljanje kakovosti izdelkov in storitev. Danes uporabniki, ki so ključni evalvatorji kakovosti, gledajo in zahtevajo več kot samo proizvod ali storitev. Želijo namreč odličnost - popolno storitev. Šele ko dejanska, zaznana raven storitev dosega ali celo presega pričakovano raven uporabnikov, lahko govorimo o kakovosti. Empirične študije kažejo neposredno povezavo med kakovostjo storitev (proizvodov) in kakovostjo same organizacije. To je privedlo do oblikovanja različnih modelov doseganja organizacijske kakovosti, predvsem modela managementa celovite kakovosti (Total Quality Management), ki zajema tako interna medsebojna razmerja, kot tudi vsa eksterna razmerja organizacije na relacijah »ponudnik-uporabnik« (Pečar, 2002). TQM dejansko predstavlja model stalnih izboljšav, ki na eni strani vključuje meritve in ugotavljanje dejstev, nato dialog med ključnimi interesnimi udeleženci in končno tudi procese odločanja oziroma reševanja problema. Ideja TQM je v zasebnem sektorju prisotna že kar nekaj časa, vse bolj pa se pojavljajo tudi teoretični in znanstveni prispevki uvajanja TQM v javnem sektorju. Med prvimi, ki so začeli preučevati možnost uporabe TQM v javnem sektorju, velja opozoriti na avtorje, kot so Greebler (1989), Wise (1991), Berry (1991), Milakovich (1995), Martin (1993), Gummer in McCallion (1995), Pike in Barnes (1996) ter drugi. TQM je potrebno jasno ločiti od kontrole in zagotavljanja kakovosti. Kontrola kakovosti namreč zajema statistično ugotavljanje kakovosti proizvodov oziroma storitev, torej končnih outputov proizvodnega/storitvenega procesa. Zagotavljanje kakovosti se od definicije standardov proizvodov oziroma storitev, ki je ključna pri kontroli kakovosti, pomakne stopnjo višje, tj. na definiranje vsebine procesov oziroma programov. Pri ocenjevanju procesov sta zajeta tako notranje kot zunanje ocenjevanje, podobno kot pri TQM, ki pa predstavlja še širši model zagotavljanja kakovosti in predstavlja proces stalnih izboljšav. Kakovost je v javnem sektorju soodvisne narave in zahteva integralno povezavo več elementov (Guidelines for self-assessment in Public Administration, 2002): 1. kakovost javnih politik, kjer gre za presojo demokratičnosti, ustreznost ciljev ipd. (Lane, 2000); 10 2. kakovost javnih programov, zakonov, predpisov in navodil ter njihova skladnost z javnimi politikami, cost/benefit, izvedljivostjo, pravičnostjo, enakopravnostjo ipd.; 3. kakovost javnih organizacij, ko gre za analizo »3E« modela, benchmarking, BSC, presojo s standardnimi splošnimi modeli, denimo EFQM ali CAF, ali pa z modeli »po meri« (Zink, 1998; Kaplan in Norton, 1996; Kovač in Kern-Pipan, 2005); 4. kakovost javnih storitev, ki pomeni presojo glede na standarde in pričakovanja uporabnikov (Fitzsimmons, 1998; ZeithamI in Berry, 1985). Kakovost kot izhodišče strateškega razvoja zahteva novo organizacijsko paradigmo. Organizacije in njihov management so zaradi naraščajoče konkurence in zahtev uporabnikov po vse višji kakovosti izdelkov in storitev tako v javnem kot v zasebnem sektorju pred ključno odločitvijo: preoblikovati svoje vsebine tako, da bodo lahko izkoristile nove priložnosti, ki se ponujajo, ali pa se prepustiti nespremenjenem toku in vse bolj zaostajati. S preoblikovanjem vsebin je mišljeno predvsem opuščanje zastarelih oblastnih struktur (top-down), ki so še preveč prisotne. Namesto njih je potrebno razviti novo zasnovo organiziranosti, ki bi bolj sproščala ustvarjalnost vseh zaposlenih, jih aktivneje vključevala v procese odločanja, spodbujala razvoj »učeče se organizacije« in zagotavljala zadovoljstvo uporabnikov. To naj bi bila organizacija, kjer vse teče gladko, brez birokracije srednje ravni managementa in s prostim pretokom komunikacij v pretežno horizontalni smeri. 1.2 Kakovost v šolstvu Zagotavljanje kakovosti v vzgoji in izobraževanju je v zadnjem desetletju postalo precej aktualno geslo v šolskih politikah in strategijah na vseh ravneh izobraževalnega sistema, od vrtca do doktorskega študija. Razlike so le v tem, da se v visokem šolstvu, ki naj bi imelo večjo avtonomijo, v presojo kakovosti vse bolj vključujejo zunanji neodvisni interesni udeleženci (»stakeholders«), za katere je kakovost izvajanja izobraževanja neposredno ali posredno bistvenega pomena, na preduniverzitetnem izobraževanju, ki je bilo po drugi strani tradicionalno vodeno od zunaj, pa se avtonomija in tudi odgovornost za kakovost vse bolj širi tudi na same šole. V zadnjem desetletju se hkrati z uvajanjem načel šolske avtonomije pojavljajo v številnih evropskih državah tudi koncepti razvoja kakovosti, ki jih združuje ideja o samo-evalvaciji (»self-assessment«). Eden tovrstnih pristopov je bil uporabljen v znanem EU projektu Commenius (QiS - Quality in School). Samo-evalvacija dejansko pomeni sledenje managementu celovite kakovosti (TQM) (Pečar et al., 2006), ki je dejansko primeren za uporabo in izvajanje v različnih organizacijah, vendar pa je pri njegovi implementaciji potrebno upoštevati različnost organizacijske kulture vsake organizacije (Kekäle et al., 2004).'' Weick (1976) ter ^ Pri uvajanju managementa celovite kakovosti obstaja med proizvodnimi in storitvenimi organizacijami velika in značilna razlika. Predvsem za storitvene organizacije javne uprave in širšega javnega sektorja je ključna vključenost številnih interesnih udeležencev in številnih 11 Cervai et al. (2004) menijo, da to še posebej velja za šole, saj imajo povsem svojo kulturo, organizacijo in delovanje. Management celovite kakovosti dejansko predstavlja spremembo organizacijske kulture. Yong in Wilkinson (1999) pravita, da če ga skušamo pojasnjevati drugače, obidemo njegovo bistvo. Spreminjanje kulture je namreč temelj, a hkrati ne pomeni, da gre za enostaven in hiter proces; v resnici gre za dolgoročne, konstantne aktivnosti, ki morajo biti sprožene od znotraj, vendar pa se velikokrat izvajajo tudi z zunanjo pomočjo (Schein, 2004). Spremembe v kulturi je tudi lažje doseči, če so vsi člani organizacije prepričani ali pa se vsaj zavedajo, da je to potrebno storiti. Camp (1995) trdi, da je takšno kolektivno zaznavanje slabosti trenutnega sistema in nujnosti za spremembe mogoče doseči s primerjavo med organizacijami (t.i. benchmarking). Samo-evalvacijski projekti kakovosti so se v evropskih državah razvili v zelo obsežne aktivnosti, ki segajo od državne ravni prek regionalnih oblik povezovanja šol do ravni posamezne šole. Samo-evalacija pomeni, da institucija (denimo univerza) sama kot celota ali pa v njenih posameznih delih izpelje projekt lastne samo evalvacije. Temeljno načelo pri tem je načelo prostovoljnosti sodelovanja vsakega posameznika. Koncept predvideva, da se za ugotavljanje stanja uporabljajo metode, instrumenti in drugi postopki, ki so preverjeni oziroma »standardizirani« na državni ravni tako, da omogočajo stalno medsebojno primerjanje rezultatov. izkušnje v tujini kažejo, da je za visokošolske institucije veliko bolje, če odgovornost za zagotavljanje kakovosti vzamejo v svoje roke, kot da jo prepustijo pristojnemu ministrstvu ali vladi. Na začetku uvajanja sistema za zagotavljanje kakovosti je zelo pomembno, da vsi udeleženi razumejo idejo, na kateri temelji sistem, torej, da je notranji vidik zagotavljanja kakovosti najbolj pomemben. Sistem je razvit šele takrat, ko visokošolske institucije izvajajo samo-evalvacijo zaradi lastnih razlogov in potreb, ne pa zaradi zunanjih komisij izvedencev za kakovost. Zunanje komisije takrat prevzamejo vlogo partnerja v razpravah o notranjem zagotavljanju kakovosti. Glavni namen managementa celovite kakovosti - TQM je izpopolnjevanje kakovosti. Poleg tega lahko načela TQM prispevajo k boljšemu samospoznavanju in samorazumevanju ter služijo kot pomoč pri samoregulaciji visokošolskega zavoda. Učinkovitost menagementa celovite kakovosti je odvisna predvsem od norm in vrednot akademske skupnosti, oz. razvite kulture kakovosti med vsemi zaposlenimi. Kakovost visokošolskih institucij bo zagotovljena le v primeru, če bodo sestavinam kakovosti znotraj institucije namenili nenehno pozornost. Da bi bila notranja kontrola kakovosti učinkovita, je potrebno razviti kulturo, ki vidi v nenehnem izboljševanju kakovosti "način življenja". Visokošolski profesorji in drugi visokošolski delavci naj bi samo-evalvacijo razumeli kot del svojega običajnega delovanja in kot integralni del reflektiranega akademskega dela. Samo-evalvacija je podobna temu, kot če se postavimo pred ogledalo in se njihovih medsebojno konfliktnih ciljev (Saaty, 1988). To dejstvo bo v nadaljevanju pri obravnavi visokih šol zelo pomembno. 12 soočimo z resnico: ne želimo vedno videti tistega kar vidimo, toda sprejeti moramo to kar vidimo, in šele nato razmišljamo o izboljšavah.. V primeru samoevalvacije Fakultete za upravo, kjer smo se usmerili tudi v uvajanje TQM je osredotočenost na organizacijo, kot celoto. Sicer pa je samo-evalvacija koristna na vseh ravneh, tako, da bi v idealnih pogojih naj zajemala: Univerzo Fakultete Oddelke (katedre, inštitute) Projektne skupine Posameznike Pri tem je potrebno poudariti, da samo-evalvacija v visokem šolstvu ni nikakršna novost, saj je bilo vedno del akademske tradicije in kulture. Akademska skupnostjo že od srednjeveških zametkov dalje kritično vrednotila svoje delo. Eno od ključnih načel je biia zahteva, da se znanje nenehno potrjuje in vedno znova dokazuje. Kritično vrednotenje lastnega dela je bilo integralni del akademskega življenja, njegova zaščitna znamka. Vodilno načelo, ki je veljalo za celotno akademsko skupnost, je bil skupni interes za samorefleksijo, samokritiko In samorazvoj. Akademska skupnost je samokritično evalvacijo vzpostavila zaradi lastnih, intrinzičnih interesov, njeni cilji so bili implicitni. V sedanjem času, ko se v zvezi z zagotavljanjem kakovosti poudarja odgovornost visokega šolstva pa naj bi rezultati samo-evalvacije postali tudi eksplicitni In transparentni. Samo-evalvacija zagotavlja visokošolskim institucijam okvir za oblikovanje lastne definicije kakovosti, siuži jim kot pomoč pri oceni dosežkov lastnega poslanstva in strateških ciljev, ter jim omogoča pripravo akcijskega načrta za nadaljnje delo. S pomočjo samo-evalvacije visokošolske institucije ponovno v dialogu premislijo svoje cilje ter stopnjo in obseg doseganja teh ciljev. Seveda ugotavljanje stopnje kakovosti ne sme biti cilj, temveč sredstvo za organizacijsko učenje in načrtovanje ukrepov, ki naj odpravijo šibke točke v delu VŠZ oziroma dobre temeljne sestavine ohranijo močne. Tako se vsak projekt o kakovosti dela v VŠZ nujno razširi najmanj v tri korake: • ugotavljanje kakovosti z izbiro ustreznih vprašalnikov, • interpretacijo zbranih podatkov, njihovo osvetlitvijo z objektivnimi podatki-dejstvi (uspešnostjo, pogoji dela, izobrazbo zaposlenih, skladnostjo okolja idr.) ter tudi mnenji in ocenami zunanjih neodvisnih ekspertov; • pripravo razvojnega načrta ukrepov - dolgoročnih in kratkoročnih za odpravljanje slabosti oziroma ohranjanje visokih stopenj ugotovljene kakovosti sestavin. Najbolj občutljivi v celotnem procesu sta zadnji dve fazi, ki sta gotovo tudi najtežji. Tako torej samo-evalvacija nikakor ne more biti uspešna, če se ustavi le pri prvi fazi. Ugotavljanje kakovosti bi bilo v tem primeru samo sebi namen. Izvajanje druge in tretje faze pa je proces, ki ga mora VŠZ, torej njen management, izpeljati načrtno in domišljeno. Na dva ključna pogoja pri tem opozarjajo tuje izkušnje: zagotoviti visoko profesionalnost in čimbolj širok krog 13 interesnih udeležencev v obravnavi dobljenih podatkov ter predlaganih ukrepov izboljšav. Management celovite kakovosti je temeljna filozofija, ki sloni na zadovoljevanju potreb in pričakovanj uporabnikov (načelo usmeritve k uporabniku je tudi bistvo marketinške vede). Deming pravi: »Poslovni proces se začne z uporabnikom. Če se dejansko ne prične z uporabnikom se prepogosto nesrečno konča z uporabnikom«. Zato je za uspešnost organizacije, ki se je lotila uvajanja načel managementa celovite kakovosti, zelo pomembno, da jasno razume, kaj uporabnik oziroma okolje želi, potrebuje in pričakuje. Mnogim zaposlenim v javnih organizacijah se to zdi nepomembno, mnogi uporabnika sploh ne potrebujejo, kaj šele, da bi imeli z njimi neposredne razgovore o željah in potrebah. Da izpostavimo ta problem, se mora vsakdo v organizaciji zavedati, da je tudi sam hkrati tako interni uporabnik kot interni dobavitelj. Interni uporabnik je lahko vsak sodelavec ali oddelek v organizaciji, kateremu je namenjeno delo, informacija, odločitve ali resursi, ki jih mi upravljamo oz. izvajamo. Enako so interni dobavitelji vsi tisti, ki nudijo karkoli, kar potrebujejo drugi, da lahko izvajajo svoje delo. Če se v kateri koli fazi te verige podprocesov pojavi nekakovost (storitve, ki ne dosegajo pričakovanj) znotraj organizacije, je tudi kakovost končne storitve za uporabnika nižja kot bi lahko bila. Tak koncept notranjih uporabnikov in dobaviteljev in stalno preverjanje ustreznosti z zahtevami oziroma pričakovanji je ključnega pomena za izboljšanje delovanja znotraj organizacij v našem primeru visokošolskega zavoda. 2 DOGAJANJA V SVETU IN RS NA PODROČJU KAKOVOSTI VŠZ 2.1 Evropski visokošolski prostor in kakovost V Bologni so se junija 1999 zbrali evropski ministri za izobraževanje in podpisali skupno Bolonjsko deklaracijo. V njej je zapisan pomen Evrope znanja in povečevanja konkurenčnosti evropskega sistema visokega šolstva. Zavezali so se h koordinaciji politik posameznih držav, prvič pa je bilo tudi zapisan cilj pospeševanja evropskega sodelovanja pri zagotavljanju kakovosti, tako da se razvijejo primerljiva merila in metodologije (The Bologna Declaration of 19 June 1999, 1999). Leta 2001 sta se zgodili dve srečanji; prvo je bilo srečanje rektorjev v Salamanci, kjer so se udeleženci v zvezi z zagotavljanjem kakovosti pogovarjali predvsem o tem, kako bodo visokošolske institucije oblikovale in uvedle standarde in postopke zagotavljanja kakovosti, ki bodo temeljili na samo-evalvaciji in na neodvisnih načinih potrjevanja/akreditacije v evropskem prostoru, ki bodo potekali na ravni dežel, območij, strok in v mrežah institucij (Mihevc, 2001; Shaping the European Higher Education Area, 2001). 14 Drugo srečanje pa je bilo srečanje evropskih ministrov za visoko šolstvo v Pragi. V podpisani Praški deklaraciji so med drugim izrazili pomembnost kakovosti visokega šolstva in raziskovanja za razvoj mednarodne konkurenčnosti in privlačnosti evropskega prostora. Prepoznali so osrednji pomen zagotavljanja kakovosti v procesu vzpostavljanja visokih kakovostnih standardov in v primerljivosti evropskih kvalifikacij. Vzpodbudili so tudi tesnejše sodelovanje med mrežami za priznavanje in zagotavljanje kakovosti in poudarili potrebo po nujnosti evropske kooperacije in medsebojnega zaupanja in sprejemanju nacionalnih sistemov zagotavljanja kakovosti. Pozvali so univerze in druge visokošolske institucije k razširjanju primerov dobre prakse in k oblikovanju scenarijev za medsebojno sprejemanje evalvacijskih in akreditacijskih mehanizmov (Towards the European Higher Education Area, 2001). Naslednji ključni dokument v tem procesu je Berlinski komunike iz leta 2003. V njem se potrjuje, da je kakovost visokega šolstva v samem jedru vzpostavljanja evropskega visokošolskega prostora. Ministri so se obvezali, da bodo podpirali nadaljnji razvoj zagotavljanja kakovosti na institucionalni, nacionalni in evropski ravni. Poudarili so potrelDO po razvoju vzajemno sprejemljivih kriterijev in metodologij za zagotavljanje kakovosti. Poudarili so tudi, da skladno z načelom institucionalne avtonomije osnovna odgovornost za zagotavljanje kakovosti v visokem šolstvu pripada vsaki posamezni ustanovi, to pa zagotavlja podlago za resnično odgovornost akademskega sistema znotraj nacionalnega ogrodja kakovosti. Zato so se strinjali, da naj nacionalni sistemi za zagotavljanje kakovosti do leta 2005 vsebujejo opredelitev pristojnosti vpletenih teles in institucij, evalvacijo programov ali ustanov, vključno z notranjo oceno, zunanjim pregledom, sodelovanjem študentov in objavo rezultatov, sistem akreditiranja certificiranja ali druge primerljive postopke, mednarodno udeleženost, sodelovanje in mreženje. Na evropski ravni so se ministri obrnili na Evropsko mrežo zagotavljanja kakovosti ENQA (»European Network for Quality Assurance«), da bi skupaj razvili niz standardov, postopkov in usmeritev za zagotavljanje kakovosti ter da bi raziskali poti za vzpostavitev ustreznega sistema kolegialnega pregledovanja za agencije ali telesa, pristojna za zagotavljanje kakovosti in/ali akreditacijo (Realising the European Higher Education Area, 2003). Zadnji v vrsti dokumentov je bil sprejet maja 2006: Bergenski komunike na srečanju evropskih ministrov. Ugotovili so, da so skoraj vse države podpisnice naredile korake za uvedbo sistema zagotavljanja kakovosti, ki temelji na kriterijih Berlinskega komunikeja in z visoko stopnjo medsebojnega sodelovanja ter mreženja. Visokošolske institucije so tudi pozvali k povečanju naporov za izboljševanje kakovosti skozi sistematično uvajanje internih mehanizmov ter njihovo neposredno povezanost z zunanjim zagotavljanjem kakovosti. Sprejeli so tudi standarde in vodila za zagotavljanje kakovosti v evropskem visokošolskem prostoru, ki jih je pripravila ENQA. Zavezali so se k uvajanju predlaganega modela strokovnega preverjanja agencij za zagotavljanje kakovosti na osnovi nacionalnih ocen (The European Education Area - Achieving the Goals, 2005). 15 Vsi našteti dokumenti so se pripravljali in usklajevali na osnovi dela različnih projektov, kot so Trends l-IV, Tunning in številnih drugih. V Evropi ima visokošolska zunanja evalvacija pravzaprav dva poglavitna cilja: prispevati k izboljšanju visokega šolstva in ponuditi zanesljive informacije o trenutni kakovosti vseh aktivnosti visokošolskih institucij, tako glede izobraževanja kot raziskovanja. S približevanjem skupnemu »evropskemu visokošolskemu prostoru« pa se pojavlja tudi potreba po večji transparentnosti in primerljivosti kakovosti in standardov vseh evropskih držav, da bi olajšali mednarodno mobilnost zaposlenih in transnacionalno priznavanje kvalifikacij. Medtem ko leži največja odgovornost za kakovost na samih visokošolskih zavodih, narašča tudi potreba po transparentnosti, primerljivosti in kompatibilnosti kriterijev in procedur zunanjega zagotavljanja kakovosti. V določenih vidikih obstaja pri evropskih agencijah visoka stopnja enotnosti in konvergence, v drugih pa občutna stopnja raznolikosti. Visoka konvergenca je prisotna predvsem pri priznavanju medsebojne konceptualne odvisnosti evaivacijskih in akreditacijskih postopkov. Raznolikost konceptov in praks pa kaže na razlike v tradiciji in kulturnem ozadju. Na Danskem njihov center za preverjanje kakovosti in ocenjevanje visokega šolstva izvaja kontinuiran in sistematičen program ocenjevanja visokih šol, ki ne zajema samo aktivnosti poučevanja in učenja, temveč tudi organizacijo in pogoje (okolje), v katerih se programi izvajajo. Njihova metodologija vključuje 4 korake (Thune, 1995): • prvi korak je dejansko planski in predstavlja imenovanje zunanje komisije (ekipe), sestavljene iz domačih akademikov in predstavnikov ključnih zaposlovalcev na določenem področju; • samo-evalvacija, ki pomeni analizo prednosti in slabosti študijskih programov z usmeritvijo nadaljnjega izboljšanja kakovosti; • vključitev študentov, diplomantov in zaposlovalcev (torej različnih skupin interesnih udeležencev), ki podajo oceno kakovosti in učinkovitosti izvajanja procesov na šolah; • ocena s strani zunanje komisije. Zunanje ocenjevanje se je na Danskem izkazalo kot zelo pozitivno in spodbudno. Predvsem naj bi se univerze oziroma posamezne visoke šole bolj začele zavedati pomena kakovosti, kar se kaže tudi v vključevanju pojma »kakovost« v strateške načrte šol. Poleg raziskovalne dejavnosti šole zelo veliko pozornosti namenjajo kakovosti učnega procesa, poučevanje pa predstavlja vse pomembnejšo karierno vlogo akademikov. Zelo velik pomen pa imajo zunanja ocenjevanja tudi zaradi spodbudnih učinkov na oblikovanje notranjih mehanizmov kontrole in stalnih izboljšav kakovosti v visokih šolah. Kljub nekaterim pomanjkljivostim (v ocenah ni zajet denimo mednarodni aspekt, pri nekaterih šolah se je izkazalo, da so zunanje ocenjevanje sprejele kot cilj in ne kot sredstvo za doseganje lastne kakovosti) se je sistem izkazal za pozitivnega. Zato gredo tudi usmeritve za prihodnost v smeri kontinuiranih meritev in ocenjevanj in izboljšanj nekaterih pomanjkljivosti sistema samega. 16 Velika Britanija je ena naprednejših evropskih držav s področja spremljanja in zagotavljanja stalnih izboljšav na področju kakovosti visokega šolstva. Namen ocenjevalnih timov naj bi bil predvsem zagotoviti, da bi institucije učinkovito izvajale svoje poslanstvo in dosegale visoke standarde kakovosti. Ocenjevalni tirni ob obisku visoke šole svoje ocenjevanje pričnejo s pregledom dokumentov, ki kažejo stanje na področju kakovosti (»self-assessment documents«), izdelanih s strani samih šol, nato pa od šol zahtevajo številne dokumente in »dokazila« o tem, da te sledijo standardom kakovosti. V zadnjem času se je v Veliki Britaniji pojavilo kar nekaj agencij, namenjenih zunanjemu ocenjevanju. Ena takšnih je QAA (Quality Assurance Agency of Higher Education), ki v svojih ocenah kakovosti vključuje tako lastna poročila šol o stanju kakovosti kot tudi mnenja zunanjih evalvatorjev. Ocena vključuje šest vidikov delovanja visokih šol: organizacija in izvajanje učnih načrtov, poučevanje in učenje, razvoj študentov in njihovi dosežki, podpora in usmerjanje študentov, učni viri ter management kakovosti in njeno izboljševanje. Predvsem velja poudariti, da gre očitno za TQM pristop, ki ne vključuje samo statičnega pogleda na sedanje stanje kakovosti, temveč tudi dinamični pogled stalnih izboljšav. Na Novi Zelandiji je mogoče ocenjevalno ekipo za preverjanje stanja kakovosti oblikovati kot notranje ali zunanje telo. Nujno pa mora biti ocenjevalno telo neodvisno od delovanja organizacij in torej od posameznikov, ki so za to delovanje odgovorni. Ocenjevanje sledi opredelitvi Mednarodne organizacije za standarde (ISO - International Organization for Standards), ki ugotavlja, (1) ali so planske usmeritve za zagotavljanje kakovosti ustrezne za doseganje ciljev, (2) ali dejanske aktivnosti zagotavljanja kakovosti sledijo planskim in (3) ali je zagotavljanje kakovosti tudi učinkovito. Medtem ko visokošolski ministri praviloma zagovarjajo kulturne posebnosti in raznolikosti izobraževalne tradicije in izobraževalnih oblik, pa to ne velja za zagotavljanje kakovosti, kjer se konvergenca kaže kot pomemben cilj. Ali bo načelno strinjanje s to usmeritvijo tudi dovolj za premagovanje kulturnih, miselnih in zgodovinsko-institucionalnih razlik, pa zaenkrat ostaja še nerešeno vprašanje (Hofmann, 2006). 2.2 ZDA in Evropa V razdelku 2.1 smo že podali značilnosti nekaterih držav na področju zagotavljanja in stalnih izboljšav kakovosti, v tem razdelku pa bomo v ospredje postavili Združene države Amerike kot najnaprednejšo državo s področja zagotavljanja kakovosti visokega šolstva in kot »benchmark« za Evropo kot celoto oziroma za posamezne države. V ZDA sledijo prepričanju, da če akreditacije uresničujejo javni interes, s tem dajejo zaupanje v študentom, njihovim družinam, vladi, davkoplačevalcem in drugi javnosti o kakovosti visokega šolstva, tj. institucij in programov. Akreditacija tako daje jasen signal, da so programi in institucije kompetentni na vsaj naslednjih petih področjih: 17 • zagotavljajo vsaj minimalno kakovost akademskega dela preko stalnih in nenehnih izboljšav na področjih poučevanja, raziskovanja in ostalih storitev {akademska kakovost)] • zagotavljajo vsaj neko minimalno vrednost za vložena sredstva {»value for money«)] • so učinkoviti in efektivni pri porabi javnih ali privatnih sredstev {učinkovitost in efektivnosf}', • zagotavljajo zaščito študentov pred podstandardnimi in nezadovoljivimi učnimi praksami {zaščita študentov)] • dajejo jasna, transparentna in berljiva poročila javnosti o njihovi dejavnosti in rezultatih {transparentnost). V ZDA se je akreditacijski sistem oblikoval že pred 100 leti, kar kaže, da gre za razmišljanje, da je kontinuiran in stalen proces spremljanja in izboljšav pot do kakovosti visokošolske institucije. Zanimivo je, da je takšno razmišljanje osbtajalo že tedaj, ko je bilo v terciarno izobraževanje dejansko vključenega relativno malo prebivalstva, danes, ko visoke šole v ZDA nosijo odgovornost za zelo velik del prebivalstva, pa so usmeritve h kakovosti še pomembnejše, saj imajo izjemen vpliv na celotno javnost in celo na narodno gospodarski vidik. Za ZDA v primerjavi z Evropo obstaja bistveno razlikovanje v pojmu akreditiranja. V ZDA ta pojem pomeni, da institucija ali program, ki je ocenjen tako z lastnimi študijami (self-study) kot tudi preko zunanjih ekspertnih skupin (peer review), dosega ali presega javno objavljene standarde akreditacijskega združenja ter dosega svoje poslanstvo in postavljene cilje. Ključen pri ameriškem tipu akreditacije je skupek standardov dobre prakse, oblikovanih in dogovorjenih med člani akreditacijskega združenja (institucijami oziroma programi). To je povsem drugače kot v drugih državah, kjer akreditacija pomeni formalno odobritev nekega programa ali institucije, ki je posledica ocenjevanja in podeljevanja »priznanj«. V Evropi (pa tudi Aziji) tako akreditacija predstavlja ugotavljanje stanja na področju kakovosti, samo- in zunanje evalvacije ter druge aktivnosti, namenjene ugotavljanju, ali neka institucija ali program ustreza oziroma je primerlijv(a) z nekimi (mednarodno) priznanimi standardi. 2.3 Slovenski visokošolski prostor in kakovost Tako kot v celotni Evropi je tudi v Sloveniji vprašanje ugotavljanja in zagotavljanja kakovosti v visokem šolstvu vse pomembnejša tema in usmeritev različnih javnih politik (šolske, raziskovalne, gospodarske). Razlogi za to so tako v povečani odgovornosti glede porabe davkoplačevalskega denarja kot tudi v vse večjem številu in različnosti študentov (Oldfield in Baron, 1998). Ugotavljanje in zagotavljanje kakovosti, prav tako (in vse pomembneje) pa tudi neprestano izboljševanje kakovosti, so sedaj obravnavani kot ključni dejavniki katerega koli sistema managementa kakovosti (Brookes in Downie, 2002). Pojem kakovosti v visokem šolstvu je kompleksen in odvisen od zornega kota interesnih udeležencev. Tradicionalno se zunanji interesni udeleženci ukvarjajo z zagotavljanjem kakovosti, ki dejansko pomeni načrtovane in sistematične 18 aktivnosti, potrebne za prisl o CO o > o CO > ro •t-' CO 0) CO ■o o Q. CD CD ■O O CM Ü S> O s 0) C CO N CÖ ^ 'k-Q. O > CO CO N 0) 4-> CO > d) 1 o E CO (O CO N 0) ■D O CO CO Č0 Ä tn •ti R ff a- O fl I Eli o- iš > § o E ^ ^ ^ P 2-1 O- iS W O ■Q. E O § o; C ÖSS OJ 2 •5 Ä (O (TJ o ^ ^ o 2 E ^ U ti « -S ,öf .H, i/} S 2 > a> 0) ö C m > > iS Š m ^ O) I? ■O .a Ü1 N ^ C = 2 ^ 2 O XI > P Q fN m ^ o C 3 ® -o ^ o >- ' - .u- 15 ^ S il sl fe ™ l'g>|l 0) (U 5 o fa ^ o o. ra iM ■a 3 >1« T-i « £ fe Ö B. u Q. = 1» B o iS >S L. R 2 S e a< JS e u s B o .s N ^ ^ = « « B -2 O M S M -1 >w ac 3 « "O > o. C !A o ^ 11 'F s ffj o -I iS o IJ I- s > R 2 -H fN ro ^ o a ž -o o o ^ -o □ s č S ~ £ ^ iž o fo E y o. O m h £ oi> o •S, a as C •^f •§ f Š S J . _ sD-^ C « « WJ o o. o ^ - « Š s - .nI w w os (i> .ir 3 C. C > i« -o -p op 13 « o .£ £ o. 9 CO BUJesid u! !:i9U|qB>{ vo m 4.4 Opis zgradbe Modela za samo-evalvacijo Model za samo-evalvacijo sestavlja 166 podsestavin kakovost, ki so navedene v vrsticah v Modelu za samo-evalvacijo. V njem Skupina za kakovost: na osnovi dejstev v diskusiji in na osnovi zbranih ocen od drugih skupin interesnih udeležencev (čim manj subjektivnosti) oceni/presoja sedanje stanje (opisno in z ocenami »ne dovolj dobro«, »dovolj dobro« ali »odlično« za posamezno sestavino kakovosti na najnižji ravni drevesne strukture - »listu«). Poenostavljeno rečeno je dosti lažje oceniti stopnjo kakovosti »prafaktorjev« (»listov«), kot pa kakovost neke večje neprimerno bolj kompleksne celote. Proces evalviranja/presojanja je voden preko faz navedenih v stolpcih Modela za samo-evalvacijo, prikazanih na vrhu tabele kot so po vrsti: ■ "Sestavine" in "podsestavine": tu so v vrsticah navedene vse sestavine In podsestavine kakovosti, ki jih presojamo. Proces presoje ne poteka nujno v zaporedju vrstic, ampak se lahko začne z najšibkejšo ali z najmočnejšo sestavino kakovosti, ali pa se preprosto začne s tisto sestavino, ki je najbolje poznana presojevalcem. Bolj kot zaporedje sta pomembna temeljita razprava in iskanje dejstev. ■ "Presojevalci": tu so navedene osebe, ki izvajajo proces presojevanja sestavin kakovosti (običajno - Skupina za kakovost ali drugI strokovnjaki/specialisti, ki lahko igrajo vlogo presojevalca v primeru neke specifične sestavine kakovosti). ■ "Skupine interesnih udeležencev": tu navajamo vse najrazličnejše notranje In zunanje interesne skupine, ki jih presojevalci povabijo k sodelovanju na tak ali drugačen način (saj se uporablja različna orodja) pri procesu presojevanja, in sicer z namenom pridobiti ocene Iz čim več možnih različnih vidikov in mnenj. ■ " Uporabljena orodja": tu navajamo, kakšne vrste orodij so uporabljena za zbiranje dejstev in mnenj s strani različnih interesnih skupin (razprava, vprašalnik,...) in izbrana s strani presojevalcev. ■ "Kratka presoja": tu bi se morali presojevalci strinjati glede zapisanega kratkega povzetka poročila o presoji, medtem ko bi morala biti podrobnejša dokumentacija vključno s statističnimi podatki in ostalimi dejstvi, na katerih temelji presoja, shranjena v arhivih (e-arhivih), kot pomoč pri procesih reševanja problemov in za primerjavo v naslednjem krogu procesa presoje, npr. po enem letu. ■ "Predlagana ocena" (na temelju presoje): tu se moramo opredeliti za eno od treh možnih ocen: »ne dovolj dobro«, »dovolj dobro« ali »odlično«. S strani presojevalcev je sprejet sporazumni predlog, ob tem pa se je potrebno zavedati, da ocenjevanje ravni kakovosti ni glavni cilj. Glavni cilj je najti problematična področja s pomočjo vseh Interesnih skupin in se pogovoriti o načinih, kako jih rešiti (izboljšati). Te ocene se kasneje uporabi za obdelavo v računalniškem programu DEXi za avtomatsko predstavitev »diagnoze celovite kakovosti« v šoli z vizualizacijo (podrobneje razloženo v opisu primera uporabe orodja DEXi). 37 ■ "Status ciklusa PDCA": tu moramo imeti v mislih tako imenovani »Demingov krog« ali cikel stalnih izboljšav s fazami: načrtuj - izvedi -preverjaj - ukrepaj. Ocenimo obstoječe stanje (ni potrebno, da so vse sestavine kakovosti ocenjene na podlagi tega kriterija) in primerjamo stanje v pogledu izvedenih PDCA faz (samo načrtovanje (P) - 1 točka, načrtovanje in izvedba (P+D) = 2 točki, načrtovanje, izvedba in preverjanje (P+D+C) = 3 točke, načrtovanje, izvedba, preverjanje in ukrepanje (P+D+C+A) = 4 točke). Tudi pristop modela CAF temelji na tej ideji - Demingovem krogu. ■ "Določitev problema (tudi priložnosti - SWOT analiza)": v tem stolpcu navedemo probleme ali priložnosti, povezane s sestavinami kakovosti, ki jih mi - ocenjevalci definiramo kot pomembne za kakovost šole. Pri tem skušamo biti jasni in ne zamenjati simptomov in problemov. Zapišemo tudi vizijo želenega stanja. ■ "Predog izboljšav/ rešitev": na osnovi določitve problema in razprav Skupine za kakovost glede alternativnih načinov za njegovo reševanje, se moramo odločiti za najboljšo alternativo in zagotoviti vire za njegovo realizacijo (ali se obrniti na višje instance, npr. na ministrstvo ali lokalno oblast, da pomagajo najti rešitev). Izvedba izbrane alternative (odločitve) je običajno vodena kot projekt in vključena v procese planiranja. ■ »Organizacijska pristojnost«: tukaj navedemo organizacijsko enoto in še bolje posameznika, ki bo odgovorni vodja (projekta) posamezne izboljšave. Po tem Modelu za samo-evalvacijo smo tako izvedli proces presoje vseh podsestavin kakovosti, kot je razvidno v Sliki 3, kjer je prikazan le vzorec za 2 od skupno 166 podsestavin kakovosti Fakultete za upravo. Vrednotenje celotne strukture sestavin kakovosti smo nato izvedli s pomočjo računalniškega programa DEXi na osnovo odločitvenih pravil, ki jih definiramo skladno z razmerji uteži sestavin in podsestavin kakovosti. 4.5 Vrednotenje kakovosti s programom DEXi (iz področja umetne inteligence) Ko je biia določena drevesna struktura sestavin kakovosti ter preko vprašalnikov pri vseh skupinah interesnih udeležencev in v diskusiji z njimi določene tudi uteži tem sestavinam kakovosti, je bila struktura sestavin prenešena v orodje za večparametrsko odločanje / vrednotenje - DEXi. DEXi predstavlja računalniško aplikacijo za avtomatično vrednotenje kakovosti in se uvršča v skupino večparametrskih modelov. Tovrstni modeli so koristen pripomoček za podporo odločanju v zahtevnih odločitvenih situacijah, to je takšnih, pri katerih nastopa veliko število dejavnikov, ki vplivajo na odločitev/presojo. Metode nikakor niso nadomestilo za človeka-odločevalca, ki je še vedno v celoti odgovoren za končno odločitev, kar pomeni, da mora rezultate, pridobljene z robustnimi modeli, logično preveriti in smiselno ovrednotiti. Pač pa lahko večparametrske metode pomembno prispevajo k bolj sistematičnemu in bolje organiziranemu odločanju / presojanju. Usmerjajo k poglobljenemu razmišljanju in zbiranju informacij o problemu ter zmanjšajo možnost, da bi spregledali dejavnike, ki bistveno vplivajo 38 na presojo. Podporna računalniška orodja pomagajo oblikovati odločitveni model, vrednotijo variante in ponujajo vrsto različnih analiz, s katerimi lahko odločevalec podrobno verificira, utemelji, razloži in dokumentira svojo presojo. Končna presoja je zato praviloma kakovostnejša. Navadno se odraža tudi v kakovostnejši realizaciji odločitve, pri kateri lahko koristno uporabimo informacije, dobljene pri vrednotenju, na primer posebej izrazitih prednostih In pomanjkljivostih. Izsek iz prikaza rezultatov vrednotenja, oblikovanega v DEXi-ju, je predstavljen v Sliki 1 (celota je v prilogi). Ko so v procesu samo-evalvacije določene ocene vsem podsestavinam kakovosti (»listom«), tudi te prenesemo v okno »varianta« v DEXi. Ta v skladu s prej določenimi odločitvenimi pravili generira (upoštevaje različne »uteži« posameznih sestavin kakovosti) ocene ravni kakovosti sestavinam na višjih ravneh in oceno skupne - celovite kakovosti sistema drevesne strukture - Fakultete za upravo. 39 Slika 4: izsek iz niza odločitvenih pravil DEXi DEXi 5.5.2008 Stran 2 Tabele odločitvenih pravil VIRI PROCESI REZULTATI Kakovost FU 28% 28% 44% 1 siabi slabi <=dovolj dobri slülia 2 slabi <=dobri slabi slaba 3 <=dovolj dobri <= dovolj dobri slabi slaba 4 <=dobri slabi slabi slaba 5 slabi slabi dobri:zelo dobri dovolj dobra 6 slabi <= dobri dobri dovolj dobra 7 <=dovolj dobri <= dovolj dobri dobri dovolj dobra S <=dobri slabi dobri dovolj dobra 9 siubi dovolj dobri:dobri dovolj dobri:dobri dovolj dobra 10 siabi dovolj dobri:zelo dobri dovolj dobri dovolj dobra 11 <= dovolj dobri dovolj dobri dovolj dobri:dobri dovolj dobra 12 <= dovolj dobri dovolj dobri:dobri dovolj dobri dovolj dobra 13 <= dobri dovolj dobri dovolj dobri dovolj dobra 14 slabi zelo dobri <= dovolj dobri dovolj dobra 15 <= do volj dobri >=zelo dobri si »bi dovolj dobra 16 <=dobri zelo dobri slabi dovolj dobra 17 dovolj dobri <=dovolj dobri dovolj dobri:dobri dovolj dobra 18 dovolj dobri <= dobri dovolj dobri dovolj dobra 19 dovolj dobri:dobri slabi dovolj dobriidobri dovolj dobra 20 dovolj dobri;dobri <= dovolj dobri dovolj dobri dovolj dobra 21 dovolj dobri izelo dobri slabi dovolj dobri dovolj dobra 22 dovolj dobri dobri <=dovolj dobri dovolj dobra 23 dovolj dobri >=dobri slabi dovolj dobra 24 dovolj dobri:dobri dobri:zelo dobri siabi dovolj dobra 25 dovolj dobriizelo dobri dobri siabi dovolj dobra 26 dobri dovolj dobri <=dovolj dobri dovolj dobra 27 dobri dovolj dobri:zelo dobri slabi dovolj dobra 28 dobri:zclo dobri dovolj dobri;dobri siabi dovolj dobra 29 >=dobri dovolj dobri slabi dovolj dobra 30 zelo dobri slabi <=dovoIj dobri dovolj dobra 31 zelo dobri <= dobri siabi dovolj dobra 32 >=zelo dobri <=dovoli dobri slabi dovoli dobra 33 slabi <= dobri od!tli dobra 34 <=dovolj dobri <= dovolj dobri odlični dobra 35 <= dobri slabi odlični dobra 36 siabi dovolj dobri:dobri >=zelo dobri dobra 37 sittbi >=dovolj dobri zelo dobri dobra 38 <= dovolj dobri dovolj dobri >=zelo dobri dobra 39 <= dovolj dobri dovolj dobri:zelo dobri zelo dobri dobra 40 <=dobri dovolj dobri:dobri zelo dobri dobra 41 <=zelo dobri dovolj dobri zelo dobri dobra 42 slabi >=zelo dobri dobri :zelo dobri dobra 43 <=dovolj dobri zelo dobri dobri :zelo dobri dobra 44 <=dovolj dobri >=zelo dobri dobri dobra 45 <=dobri zelo dobri dobri dobra 46 slabi odUćin dovolj dobri:zelo dobri dobra 47 <=dovolj dobri IMIHČHI dovolj dobri:dobri dobra 48 <=zelo dobri oi/ličfii dovolj dobri dobra 49 dovolj dobri <=dovolj dobri >=zelo dobri dobra 50 dovolj dobri <=zelo dobri zelo dobri dobra 51 dovolj dobri;dobri slabi >=zelo dobri dobra 52 dovolj dobri:dobri <=dobri zelo dobri dobra 53 dovolj dobri:zelo dobri <= dovolj dobri zelo dobri dobra 54 >=dovolj dobri slabi zelo dobri dobra 55 dovolj dobri dobri:zclo dobri dobri:zelo dobri dobra 56 dovolj dobri >=dobri dobri dobra 57 dovolj dobriidobri dobri dobri :zelo dobri dobra 58 dovolj dobri;dobri dobri:zelo dobri dobri dobra 59 dovolj dobri:zclo dobri dobri dobri dobra 60 dovolj dobri zelo dobri dovolj dobri:zelo dobri dobra 61 dovolj dobri >=zelo dobri dovolj dobri:dobri dobra 62 dovolj dobriidobri zelo dobri dovolj dobri:dobri dobra 63 dovolj dobri.zelo dobri >=zelo dobri dovolj dobri dobra 64 >=dovolj dobri zelo dobri dovolj dobri dobra 65 dobri dovolj dobri:dobri dobri ;ze!o dobri dobra 66 dobri dovolj dobri:zelo dobri dobri dobra 67 dobri ;zelo dobri dovolj dobri dobri :zelo dobri dobra 68 dobri ;ze!o dobri dovolj dobri:dobri dobri dobra 69 >=dobri dovolj dobri dobri dobra 70 dobri dobri dovolj dobri :zeIo dobri dobra 71 dobri dobri:zelo dobri dovolj dobri:dobri dobra 72 dobri:zelo dobri dobri dovolj dobri:dobri dobra 73 dobri:zelo dobri >=dobri dovolj dobri dobra 74 >=dobri dobri:zelo dobri dovolj dobri dobra 75 dobri:zelo dobri iHlUčni <= dovolj dobri dobra 76 >=dobri miUčm slabi dobra 40 DEXi 5.5.2008 Stran 2 77 zelo dobri <=dovolj dobri dobri:zelo dobri dobra 78 zelo dobri <=dobri dobri dobra 79 >=zelo dobri slabi dobri:zelo dobri dobra 80 >=zelo dobri <=dovolj dobri dobri dobra 81 zelo dobri dovolj dobri dovolj dobri:zelo dobri dobra 82 zelo dobri dovolj dobri:dobri dovolj dobri:dobri dobra 83 zelo dobri >=dovolj dobri dovolj dobri dobra 84 >=zelo dobri dovolj dobri dovolj dobri:dobri dobra 85 >=zelo dobri dovolj dobriizelo dobri dovolj dobri dobra 86 zelo dobri >=zelo dobri <=dovolj dobri dobra 87 >=zelo dobri zelo dobri <=dovolj dobri dobra 88 >=zelo dobri >=zelo dobri siabi dobra 89 oilličn! slabi dovolj dobri :zelo dobri dobra 90 oil/ičiii <=dovolj dobri dovolj dobri:dobri dobra 91 odliSni <=zelo dobri dovolj dobri dobra 92 odlični dobri :zeio dobri <=dovolj dobri dobra 93 odlU-ni >=dobri slabi dobra 94 <=dovolj dobri >=zelo dobri odlični zelo dobra 95 <=dobri zelo dobri odlični zelo dobra 96 dovolj dobri >=dobri odlični zelo dobra 97 dovoli dobri;dobri dobri;zelo dobri odlični zelo dobra 98 dovolj dobri;2elo dobri dobri odlični zelo dobra 99 dovolj dobri (Hllični >=zelo dobri zelo dobra 100 dovolj dobri:zelo dobri mlličin zelo dobri zelo dobra 101 dobri dovolj dobri ;zelo dobri odlični zelo dobra 102 dobri:zelo dobri dovolj dobri;dobri odlični zelo dobra 103 >=dobri dovolj dobri odlični zelo dobra 104 dobri zelo dobri >=zelo dobri zelo dobra 105 dobri:zelo dobri >=zelo dobri zelo dobri zelo dobra 106 >=dobri zelo dobri zelo dobri zelo dobra 107 dobriizelo dobri rullični dobri :zelo dobri zelo dobra 108 >=dobri miHčni dobri zelo dobra 109 zelo dobri <=dobri odlični zelo dobra 110 >=zelo dobri <=dovolj dobri odlični zelo dobra 111 zelo dobri dobri >=zelo dobri zelo dobra 112 zelo dobri >=dobri zelo dobri zelo dobra 113 >=zelo dobri dobri:zelo dobri zelo dobri zelo dobra 114 zelo dobri >=zelo dobri dobri:zelo dobri zelo dobra 115 >=zelo dobri zelo dobri dobri:zelo dobri zelo dobra 116 >=zelo dobri >=zelo dobri dobri zelo dobra 117 odlični dovolj dobn >=zelo dobri zelo dobra 118 odlični dovolj dobri:zelo dobri zelo dobri zelo dobra 119 odlični dobri:zelo dobri dobri:zelo dobri zelo dobra 120 lidUčni >=dobri dobri zelo dobra \ 21 odlični 'iiiiičiii dovolj dobri:dobri zelo dobra 122 >=dobri odlični odlični odlična 123 >=zelo dobri >=zelo dobri odlični odlična 124 odlični >=dobri odlični odlična 125 odlični odlični >=zelo dobri odlična 41 Siika 5: izsek iz prikaza rezultatov vrednotenja Permanentno uspcrsabifanle Mednarodno sodelovanje (mobilnost} Povezanost s prakso Vkliučenosl v omrežia Raziskovalni Obseg deia Primernost Kompetentnost Form^alna izobrazba Ustvarjalnost Raziskovalne izkušnje ,... Vodstvena, management Uspešnost . . Učinkovitost Koope^ativnost .......Delavnost, intenzivnost Permanentno usposabl}an|e Mednarodno sodelovanje (mobilnost) Pov<^anosl s prakso Vključenost v omrežja m dovolj dobra dovolj dobri dovoli dobra dovolj dobra dovolj dobfa dovolj dobra ne dovc 42 Slika 6: Primer vizualizacije relacij med sestavinami kakovosti • Vilju^iii^C-v ,B wrtJja j : K^ «i> ^ ! M! si i Riin^rivalsHt l/tajšišje; Proces pa se z vrednotenjem seveda ne zaključi. Vrednotenje v programskem orodju DEXi jasno pokaže na tiste sestavine kakovosti, kjer je fakulteta slabša in v katere naj bi njen management usmeril več pozornosti. Pri tem igra ključno vlogo izpolnjen Model za samo-evalvacijo v Excelu, v katerem so natančneje (kot celovita »diagnoza in terapija«) opredeljeni problemi in nakazane rešitve,in tudi organizacijska pristojnost. Na ta način VŠZ pridobiva pomembno orodje za oblikovanje svojih razvojnih usmeritev in učinkovitejši management, usmerjen v celovito spremljanje razvoja in stalne izboljšave v smeri celovite kakovosti institucije (TQM). DEXi nudi zelo koristno vizualizacijo in boljše razumevanje celotnega sistema kakovosti, ter s tem ponuja izjemno dodano vrednost Modelu za samo-evalvacijo. 4.6 Razvoj Modela za samo-evalvacijo I samopresojo univerze Poleg celovite samo-evalvacije na Fakulteti za upravo pa je raziskovalna skupina v okviru projekta začela z oblikovanjem modela samoevalvacije univerze. V Sliki 7 je predstavljena drevesna struktura preliminarnih sestavin kakovosti modela za Univerzo. Iz tega modela so bile uporabljene sestavine na najnižji ravni drevesa 43 in oblikovan mode! za samoevalvacijo, podoben tistemu, ki je predstavljen v Slikil Slika 7. Drevesna struktura preliminarnih sestavin kakovosti Modela za Univerzo. DE30 Drn-sloitsrij»' BCriimj__ -Kotrinje SKevo kriterijev Kriterij_ Opi» KalwvostFU -VIRI -CXOVESKI k-Obseg deta Primeroost -KfmpetentDost -Framakia izobra2ba -Didaktika -Raaskovabia, habilitacije —Vodstvena U^šiost -Učiricovkost —Kooperativnost -Delavnost intenzivnost ~Sodobnost -Pennanfiiđno uspcsabljaige -MednaiodEX)sodstovaqe(mobib305t) •4'oveanost s pralso '—Vključenost t onuega -Razislmvallti l-Ols^dela HPrnneniost -KfKDpetentDost -Fctmalna izobazba -Ustvaijalnosl —Raziskovalne '—Vodstvena, managemait -V^ŠBOSt —Učii&ovitost —Kcxjperativnost —Delavnost intaiavncist -Sodobnost -Fermaneidno uspceabljaqe -Mednarodno sodekwaiy e (md}iInost) -Fove2Hnost s prakso —Vključenost v omreg a '-Nepedag^đd pUstrezno šteiilo z^xslaiih -NOVI VPISI Dodipioindd -Podipionski '-MATERIALNI -Kabrneti in pisarne j-^lÄttezno število "—Opran^enost -Predavalnice trea» število 'KnjSnica, IK'1; laboratoriji I—OjH^nljaaost ^Sodoteiost -Viri financiranja -Izobraževanje i—Proračunsko '—Ncproračimslo» -Raziskovanje '—Dn^ dgavnosti -PROCESI VODIKJE Strategije in cilji —OtgamziraiKJst -Reševanje prcMemoT Sistanatični pristcp v j Sodelovaqe študentov pri odločanju '—Hitro reagiranj e na spremembe v okolju '-PovCTOvanjc z elodsgalcev -Mobilnost I—Visokošolskih učitdjev l-Študentov RAZISKOVANJE —Odmevnost 1—Objaw^ citati ■—Odziv javnosti -Odziv na znanstvaia srečanja -Raziskovalna prepoznavnost količniki ZADOVOLJSTVO ZAPOSLENIH -Pogoji dela -Plačilo -Mcčnos t n^redovanja —Medsebojni odnesi in možnost vpliva na dogajanja -Raziskovalci —Pogoji dela -Pfačilo —Možnost napredovat^ -Medsdmjni odnosi in možnost vpliva na dogajaiga -Upravni in administrativiii delavci -Pogoji dela -Plačib ^vfošiost napredovanja ■—Medsebojni odnosi in možnost vpliva na dogajaiga -Znnanji sodelavci -Pogoji dela -Plačilo '-Medsebojni odnosi in možnost vpliva na dogajarga Kakovost magistrska študija Očesa kakovosti svetcwanja in u^xjsab^anja Oceoa kakOTosti svetovanja in uqxxabljai^a za študente Kariono svetovanje in usme^evanje pri z:qx»iovanju Pomoč fakulete pri sposlovanju njenih d^Icsnantov Sodelovaje zdelodqaldpi dejavnostih äkultete Udeležba delodajalcev pri sooblikoval^ študijskih programov Sodelovanje z delodajalci {si izvajanju študijskih praks Sodelovanje z dekxlajaici na podio^ (^eščai^a in pibliciraiga Svetovarqe in (sposabljanje za javne ushiäence I^tieznost vsebin fn svdxivanjih in usposabljaqih za javne uslužbence Število svetovanj inusposab^aaj.kisejihudeležt^e^javniushižbaici Obs^ inkakovostkonferencinposvetovaq za javne usluäjeoce Socaganiz. svdovaq inusposab^anj zajavneishižbencezdn^imi instit. Kakovost svetovanj iniisposabljanj za upravne cagaoizacije Ustreaiost vsebin svetovarg in usposabljanj za iqxavne cfganiscije Obs^ projektov za iqravne cs-ganizacge pri svetovanju in u^x»abljanju Udeleä» pri mednarodnih svetovalnih prqdctih OdziMioet na ponudbe mednarodnih projektov Obs«g izvedenih mednarodnih projektov Ravoi kakovosti raziskovalca Raven l^ovosti tsneljnihraäskay Oc«sa kakovcsti mednarodnih teoretiäiih raziskav Ocena kakovosti domačih teoretičnih raäskav Rav Ol kakovosti aplikativnih, praktičnih raziskav Ocsia kakovosti mednaiodioh ^^Likativnih in praktičnih raziskav Oceaa kakovosti domačih aplikativnih in psaktičnih raziskav Occna kakovosti internih raziskav MerdiscipUnamist ^likativnih in praktičciih raziskav Uporabnost q>likativnih in praktičnih raziskav Publiciranje raziskovalnih doseScov Objave la^kovalnih reailtatov in dosežkov v mcsogia&jah in levgah Objave la^kovalnili rezultatov in dcs^ov v znanstvenih in strc^ovnih člankili Organizacija znanstvenih srečanj Zastcq)aao^ različnih področ^ v pedagcekem in raziskovalneai dehi Zastopanost upcavnoi^avi^a področja Zastopanost oganizacijskega in informacijska podroga Zastopanost ekoiKanije in managementa Ravea kakovosti rezultatov Kakovost reaiilatov izcbaaževaqa Dosežai učni uspeh študentov Dosežene povprečne ocene Trajarge študija Prdiodi v višje letinke Z^Ksljivost diplomantov FU Povratne infonnacije tqxxabnikov storitev FU Povratne infcxmacije zaposlenih Povratne infonnacije študentov Zadovoljstvo študentov Povra&te tnfctmacije delodajalcev Mobilnost visdcc^ epskih učiteljev tn študaitov Moinlnost visckcšolskih učiteljev Mobilnost študentov Kakovoä rezultatov raziskovalca Odmevnost raziskovalnih dosegov Objave in crtali v znaiEtvenih revijah Odäv javnosti te raziskovalne doseäe Odziv stcokovi» javnosti na zoanstvoia srečanja Prepoznavnost raziskav, ki jih izvaja FU Velikost RR količnikov Zadovojstvo zaposlenih zdelosn Zadovoljstvo ped%c»kih delavcev Zadovoljstvo pedagogov s pogoji dela Zadovoljstvo pedi^ogov s plačilcm Možnost i^piedovanja pedagtških delavcev Medsebojni odiKsi in možnost vpliva na dogajanja Zadovoy stvo ra^kovalcev Zadovoljstvo ra^kovakev s pogoji dela Zadovoljstvo raziskovalcev s plačilom Momcst n^jredovanja raziskovalcev Medsebcgni odnosi in možnost vpliva na dognanja Zadovoljstvo i^navnih in administrativnih dekrvcev Zadovoljstvo i^iravnih in administrativnih delavcev s pogoji dela Zadovoljstvo upravnih in adminislrativinh delavcev s plačilom Možnost D^redovar^a iqiravnih in administrativinh delavcev Medsebcgni odnosi in možnost vphva na dognanja Zadovo^stvo zunaqih sodelavcev Zadovoljstvo zunanjih sodelavcev spogpji dela Zadovoljstvo zunanjih sodelavcev s plačilom Medsebojni odnesi in možnost vpliva na dogqaiya DEXi -POSLOVNI —Fmaocni —NeEnančm —Bentđmiaiidng '-TJGLED FAKULTETE -Med 2^c«leiiiiBi -4/feđ studenti —Med delodaj alci '—Vjarnceti 5.5.2008_ Poslovni iiicayi fakultete Finan&ii rezultati Mefitiančni rezuhati Piine^ara z dn^imi fäkuhetanu Ugted ralailr^ft med razli&mni iiitracsniini udeležeoci Ugled fakultete med Htposlenimi Ugied fakultete med studenti L%ted fiitiittrtp. med detodegalci Ugled fakultete v javnosti Stran3 2. uteži DEXi_ R)V{H'ečne uteži Kriterij_ 5.5.2008 Lokalne GIid>alDe 1/ok.norm. Glob.norm, Siran 1 Kakovost FU -vnu -ČLOVEŠKI [-Obsedela '—Primernost Kompetentnost -Fcantaloa izotsad» ^>iiiaktika -Raziskovalna, habilitacije -Vodstvena -Uspešnost —Učinkovitost -Koopcjativnost '-Delavncst intemvnost '—Sodobnost -permanentno uspcaabijai^e -Mednarodno sodelovaiy e (mobilnost) -PovefflDDSt s pakso '—Vključenost v tanrega '-fiazidcov^oj j—Obsedela '—I^-imemost -Kmpetentnost -Fonnalna izobiad» -Ustvagalnost —Raziskovalne idnišnjc TJq>ešioat -Učirisovitost -Koopeiativnost -Delavnost, intraizivnost '—Sodobnost -Permanentno usposab^aqe -Mednarodno sodelovanje (nicMlnost) -Povezanost s prakso —VkljiiSenost v omr^a -NepedagoSd |-4Jstie2Z]o število zaposlenih Lßfektivncet NOVI VPISI —Dodipkimski l-Redoi ■—Izredni '-Podiplnnski l-Redni laedni MAHERIALNI -Kabineti in (usame f-Ustrezao število Opram^ most —Predavalnice j—lÄtrezno Število '-Opremljaiost -^jSnica, IKT; labustnost med letniki -Stopqa zaposlitve -Povratne tnformacge -ZE^osIenih -Studentov -i^adovoljstvo študentov -Delodqalcev -Mobüsost I—Visokcšobkih učiteljev l-Štiidentov -RAZISKOVANJE -Odmevnost ^-Objave, citati '-Od^ javnosti -Odziv na znanstvena srečanja -Raziskovalna pr^wznavnost ^»količniki -ZADOVOLJSTVO 21APOaLENIH -Pedag«^ -Pogoji dela -Plačilo -Možncst napredovanja -Medsebojni odnosi in možnost vpliva na dogajaqa -RazisloTvalci —Pogoji dela -Plačilo -Možnost napredovanja '-Medsebojni odnosi in možnost vpliva na dogajala -Upravni in adminislniliviii delavci -Pogoji dela -Plačilo -Možnost napredovanja '-Medsebojni odnosi ill možnost V{đivamdogajaqa -Znoanjl sodelavci -Pogoji dela -Pbčifo ^'leds^iojni odnosi inmožncetvplivaaadogajaiga 5.5.2008 33 3 33 2 20 5 23 6 20 1 20 1 50 1 50 1 50 1 50 1 20 I 20 1 33 0 33 0 33 0 33 0 33 0 33 0 21 1 21 1 29 0 29 0 19 0 19 0 31 0 31 0 21 0 21 0 20 1 20 1 50 1 50 1 50 1 50 1 19 I 19 1 50 1 50 1 50 1 50 1 20 23 6 26 1 26 2 50 1 50 1 50 1 50 1 24 I 24 2 33 0 33 1 33 0 33 1 33 0 33 1 50 0 50 0 50 0 50 0 24 1 24 2 33 0 33 1 33 0 33 1 33 0 33 1 26 1 26 2 33 0 33 1 33 0 33 1 33 0 33 1 44 44 44 44 30 13 37 16 25 3 25 4 37 I 37 2 37 1 37 2 26 I 26 1 25 3 25 4 25 3 25 4 25 1 25 1 24 1 24 1 26 1 26 1 25 1 25 1 25 3 25 4 50 2 50 2 50 2 50 2 15 7 11 5 25 2 25 1 50 1 50 1 50 1 50 1 25 2 25 1 25 2 25 1 25 2 25 1 20 9 25 11 25 2 25 25 I 25 1 25 I 25 1 25 1 25 1 25 1 25 1 25 25 26 26 1 25 25 1 24 24 I 25 25 I 25 25 27 27 1 24 24 1 23 23 1 26 26 1 25 25 33 33 I 33 33 1 33 33 1 Stian2 DEXi -pv3n1 ■Finančni -^efinsĐ&u MCJGLEĐ fakdltette -Med 2^xstsniini -Med studenti -Med delodajalci •V javnosti 5-5.2008 15 7 11 5 33 2 33 2 33 2 33 2 33 2 33 2 20 9 15 7 24 2 24 2 25 2 25 2 25 2 25 2 26 2 26 2 Stian3 3. tabele odločitvenih pravil DEXi 5.5.2008 Strsn 1 Tabele odločitveoih pravil vmi PROCESI REZULTATI VnbnvMi FFT 28% 28% 44% 1 slabi slabi <=dovtdj dctori slaba 2 slabi <=dotri slabi slaba 3 <=dOTolj dobii <=dovolj dobri slabi slaba 4 =zelo dcbri slabi dovolj dobra 16 <=dobri zelo dobri slabi dovoy dobra 17 dovolj dobri =dohri slabi dovoy dobia 24 dovolj dobri:dobri dobri: zelo dobri slabi dovoy dobra 25 voljdobri:ZBlodobii dobri slabi dovolj dobra 26 dobri dovolj dcM "^dovolj dobri dovolj dobra 27 dotri dovo^ dobri:zdo dobri slabi dovolj dobra 28 dobri: zelo dobri dovolj dobri:dobri slabi dovoy dolna 29 >=dobri dovolj dobri slabi dovoy dobra 30 zelo dobri slabi <=dovolj dobri dovcdj dobra 31 zelo dobi <=dohri slabi dovolj dobra 32 >=zelo dobri <=dovolj dobri slabi dovolj dobra 33 slabi <=dobri odlični dobra 34 <=dovolj dobri <=dovcđj dobri odlični dobra 35 <=dohri slabi odlični dobra 36 slabi dovolj dcM:dobri >=zelo dobri dobra 37 slabi >=dovolj dobri zelo dobri doina 38 <=dovolj dobri dovolj dobri >=ä1o dobri dobra 39 <^dovolj diÄiri dovolj dobri:2£lo dotri zelo doiai dobna 40 <=dohri dovolj dobri:dobri zelo dobri dobna 41 <=aelo dobri dovolj doini zelo dobri dobra 42 slabi >=zb1o dobri dobri: 2b1o dobri dc4na 43 <==dovolj dobri zelo dobri dobri:zB!o dobri dobra 44 <=dcivo^ dobri >=zb1o dobri dobri dobra 45 <=dobri zelo dobri dobri dobra 46 slabi odlični dovolj dobri:zelo dobri dobra 47 <=dcvolj dolri odlični dovoy dobri:döbri dobra 48 <=zelo dobri odlični dovoy dobri dobra 49 dovolj dobri <=dDvolj dobri >=zelo dobri dobra 50 dovolj dobri <=»lo dobri zelodcAri dobra 51 dovolj dobri:dotri slabi >=2Bk> dobri dobra 52 dovolj dobri:dobri <=dobri zdo dobri dobra 53 (i)vo!jdobri:zdo dobri odovcdj dobri zelo dobri dobra 54 >=doyoIj dobri slabi zelo dobri dobra 55 dovolj dobri dobrizelo dc^tri dobri: zelo dobri dobra 56 dovolj dobri >=dotri dobri dobra 57 dovolj dobri:dobri dobri dctrczelo dobri dobra 58 dovolj dobrirdobri dobri: zelo dobri dohri dciira 59 dovolj dobriizelo dobri dc^ri dobri dobra 60 dovolj dobri zelo dobri dovolj dobri: zelo dobri dobra 61 dovolj dobri >=zelo dobri dovoy dobriidobri dobra 62 dovolj dobri:dobri zelo dobri dovoy dobri: dobri dobia 63 dovolj dobri:zelo dobri >=2elo dobri dovolj dobri dobra 64 >=dcwolj dobri zelodoM dovolj dobri dobra 65 dobri dovolj dobri:dobri dobri: zelo dobri dobra 66 dobri dovolj dd3ri:zelo dobri dobri dobra 67 dobrirzelo dobri dovolj dobri dobri: 2bIo dobri dobra 68 dobri: zek> dobri dovolj dobri:dobri dobri dcRxa 69 >=d(*ri dovolj dobri dobri dobra 70 dobri dobri dovolj dobri:zelo dcbri dobra 71 dotri dobri: zelo dobri dovoy dobri:di^3ri dobra 72 dolriizelo dobri dobri dovoy dobri: dcferi dobra 73 dobri: zelo dobri >=dobri dovolj dobri dobra 74 >==dcA>ri dobri: zelo dobri dovolj dobri dobra 75 dobn:zelo dobri odlični <''dovolj dobri dobia 76 >=dofcri odlični slabi dobra DEXi 5.5.2008 77 aslo dobri <=dovolj dobri dobivslo dobri dobra 7S zeb dobri <=doto doto dobra 79 >=k1o dobri dabi dobri: zeb doto dcbra 80 >=zelodctori <=dovolj dobri dcto dobra 81 zelo dobri dovolj dobri dovolj dolsi:zebdoto dcbia 82 slo dobri dovolj dobriidobri dovolj Ajbrirdoto dobra 83 zelo dobri >®=dov<^j dobri dwolj doto dobra 84 >=zeio dobri dovolj dobri dovolj dobri:doto dobra 85 >=zek) dobri dovolj dobri:zelo dobri dovolj dotri dobra 86 zslo dobri >=2elo dobri <=dovcđj doto dobra 87 >=zeb dobri zelo dobri <=dovoij dobri d<^ira 88 >=zelo dobri >=a5lo dobri slabi dobra 89 odlični slabi dovolj dotorzeb dcfcri dobra 90 odlični <=dovolj dobri dovo^ doto:đc>to dobra 91 odlični <=ZBk> dobri dovolj dobri dci)ia 92 oillični dotffizelo dobri «>=dovolj doto dobra 93 odlični >=doto slabi dobra 94 <=dovolj dobri >=zetadobn odlični zelodcbra 95 <=dobri zelo dobri odlični zeb dobra 96 dovolj dobri >=dobri odlični zeb dobra 97 dovoli dobriidobri dobri: zelo dobri odlični zebddna 98 dovolj dobriizelo dobri dobri odlični zeb dobra 99 dovcdj dobri odlični >=zb!o dobri zebdcbra 100 dovoli dobri:zelo dobri odlični zelo doto zelo dobra 101 dobri dovolj dotsiizelo dobn odlični zebd(faa 102 d(Ari:ze]o dobri dovolj dobri; dobri odlični zeb dobra 103 >=dobri dovolj dobri odlični zob dobra 104 doto zelo dobri >=zeb doto zeb dobra 105 dobri:zelo dotni >=zbIo dobri zelo doto zelo dobra 106 >=dobri zelo dobri zelo doto zebd<^}ra 107 dobri: zelo dobri odlični dobri: zeb doto zelo dobra 108 >=dobri odlični dehti zeb dobra 109 2Blodoto <=dobri odlični zebdolm 110 >=zelodobri <^dovolj dobri odlični zeb dobra 111 zebdobi dcbri >=zeb doto zelodcbra 112 2bIo dobri >=dobri zelo doto zebdcfera 113 >=zelo dobri dobri:2elo doto zelodcbri zeb dobra 114 zelo dobri >=2elodoto doto zeb doto zeb dobra 115 >=zbto dobri zelo dobri dobii: zeb doto zeb dobra 116 >=zelo dobri >=ffibdoto dobri zeb dobra 117 odlični dovolj doto >=zeb doto zebdcbra 118 oiUični dovolj d6bri:2elo doto . zelo dobri zebdc^ira 119 odlični dcbri:zeb doto dobri:zeb doto zeb dobra 120 odlični >=doto doto zelo dobra 121 odlični odlični dovolj =dobri odlični odlični odlična 123 >=zeb dobri >=aebdctai odlični odlična 124 odlični >=dotri odlični odlična 125 odlični odlični >=ZBb doto odlična Stran 2 a. Kakovost visokošolskega programa 1. stopnje drevo kriterijev DEXi 5-5.2008 Stran 1 Drevo kriterijev Kriterij_ Opfc Visoianoldd 1. stopnje —Ust^eZDo■t programov -Verifikacija (akreditacija) Upoštevanje uporabnikov -Studentov -Diplomarlov ^Delodajalcev —Število in raznolikost izbinjih predmetov -predavanja, vaje -Redni -Število sližaJeJjev -Transparentnost in istovetnost s programi -Vključenost diugih fakultet z ECTS ProMemska in razbkovalna usmerjenost -Didcusijaoproblemih, 'leannng-ty-doii^' —Tonsko deto '—Studijska praksa —Isredni -Število slulateljev -Traiiq>areaOicst in istovetncet s j^ogrami -Vključenost dn^ih fekuhei zECTS '-Problenuka in razbkovaina umerjenost -Didaisqa o problemih, "iearrang-ky-doiDg' —Timsko delo ^Studijska praksa —Učna ^^iva -Splošia doĐKČa -L^tna, study sko gradivo '—Tuja -]>odat)ie storitve HPogovome are [-Konzultacije '-Partnerski odnoe -E-očenjc —Otetudijske dejavnosti Ocena kakovosti izobraževalca pri procesih Ustreznost visokotolsk'^prc^iama 1. stopnje Verißcacija (akreditacija) ustreznosti visc^wolskega programa 1. stopnje Upcstevaiye uporalmikov pri oblikovargu programov L^^cštfivanje študentov pri oblikovanju programov L^xstevanjc diplomarjtov pri oblikovanju programov UpcBtevanje delodajalcev pri dplikovargu programov Obs^ izbirnih predmetov na viscAošolskem programu i.stopnje Ocena kakovosti predavanj in v^ v procesu izobraževanja Kakovost predavat^ in vaj rednih študentov Število re(Wi študentov visokcšdskcga študija na predavanjih in vajah Tr3n^)ai«ntncst in istovetnost s pn^iami rednih študentov pri predavanjih in vajah Vključenost rednih študraflov dru^hfakult^napFedavaTyih in vajah 2a pridobivanje ECTS Problemska in raziskovafaia usme^oKst rednih študentov na predavanjih in vajah Diskusija rednih Itudenlcv o proUemih in učenje s piakso Tim^o delo rednih študentov na predavanjih in vajah Studijska praksa Kakovost predavary in vaj iaednih študraitov Prisotncet izzednih študaitov oä predavaqih in vqah v procesu izcfaraževanja Tran^Tarenliost in istovetnost s programi iandnih študentov pri predavanjih in vajah Vk^učenost izrednih študentov drugih &kuhet na {^isdavar^ih invqahmpridobavaqe ECTS Problemska in raziskovalna usmegencst izrednih študentov na prodavaqihin vajah Diskusija Itudoitov o problemih in učenje z delosraiqem Tinrdrn delo la^dnih študentov na piedavai^ih in vajah Studijska praksa Kakovost učnih gradiv pri izobraževalcu. Ločimo spl<šna, lastna in tuja učna gradiva. Kakovost q>lokilh učnih gradiv pri izobia&vai^ Kakovost Sastnih učnih gradiv pri izobraževalcu Kakovost tujih učnih gradiv (si izxibrazevaqu. Dodatne stcritv^ povezane z iaDtiaževanjem Dostc^inost na pcgovcmiliurah KcHizujtacije v sklopu pogovornih ur Pannersski odnos ni«d pedagogom in študentom Kakovost e-^likacij Obs^ obštudijskih dejavnosti 2. uteži DEXi_ Povprečne uteži Krite ri} 5.5.2008 I.x>kahie GlobaJae Lolcnorm. Glob.Dorm. Strsn 5 —Ustreznost programov 25 25 25 25 —Verifikacija (afcrcditacija) 33 8 33 8 -u MŠtevanje aporabnikov 33 33 8 -Študentov 33 3 33 3 -Diplomantov 33 3 33 3 '—Delodajalcev 33 3 33 3 ^Število in raznolikcet izbirnih predmetov 33 8 33 8 -Predavanja, vaje 25 25 25 25 -Redni 50 13 50 13 -Število slmatdjev 25 3 25 3 -TrangTareatnost in istovetnost s jxc^rami 25 3 25 3 -Vk^učenost dn^ fakultet z ECTS 25 3 25 3 Probtemska in raziskovalna nsmerienost 25 3 25 3 -Didcusijaojffobleuuh, "leannng-by-doii^" 33 33 1 —Timsko delo 33 1 33 1 '—Študijska praksa 33 33 1 '—Izredni 50 13 50 13 -Število sliB^eljev 25 3 25 3 -Transparentnost in istovetnost s prcgrami 25 3 25 3 -VfcljučeaKJst dn^ fakultet z BCTS 25 3 25 3 —Prob 1 ems ka in nuiskovaina osmerjenost 25 3 25 3 1—Di^Msija o problemih," leamit^-ly-doiiig* 20 20 1 —Timsko delo 40 40 1 —Studijska praksa 40 40 1 -Učna gradiva 25 25 25 25 —Splok» domača 33 3 33 8 —Lastna, studysko gradivo 33 S 33 8 —Ti^a 33 8 33 8 '—Dodatne stmrtve 25 25 25 25 —Pogovorne are 33 8 33 8 —Koozultac^e 50 4 50 4 -Partnerski odnos 50 4 50 4 —E-učaye 33 8 33 8 —Obštudijske d<^aynosti 33 8 33 8 3. tabele odločitvenih pravil DEXI 5-5-2008 Str3n 1 Tabek odločitvenih pravil Ustrezaort programov Predavanja, vaje Učna gradiva Dodatee »toritve Vbolawobld 1. stopaj« 25% 25% 25% ! nc dovolj dobri! 2 nr dovolj dvolj dobra 5 ne ra 31 <=dcivoli dobra 32 33 ne dovolj dobra 34 ne dovolj dobra 35 <=dovolj dobra 36 <=doTolj dobra 37 • 38 ne do\'olj dobra 39 ne dovolj dobra 40 <=dovolj dobra 41 <=dOTolj dobra 42 • 43 ne dovolj dobra 44 ne dovolj dobra 45 =dovo!j dobra 52 >=dovolj dobra 53 dovolj doUxi 54 dovdj dobra 55 dovolj dobra 56 dovi^j dobra 57 >=dovc^ dobra 58 >''davoy dobra 59 >=dovolj dobra 60 dovolj dobra 61 dovcJj dobra 62 dovolj dobra 63 >=dovolj dobra 64 >=dovolj dobra 65 dovolj dcbra 66 dovcdj dobra 67 dovolj dobra 68 dovolj dobra 69 >=dovo|j dobra 70 >'=dovoy dobra 71 >=dovdj dobra 72 dovolj dobra 73 dovolj dotea 74 dovolj d<^jra 75 dovolj dobra 76 >=dovolj dobra <=dovdj dobra ne dovolj dobra <=dovolj dobra ne dovolj dobra <=dovolj dobra nc dovolj dobra <=dovoIj dobra ne dovolj dobra dovolj dobra >=dov<^ dobra dovcdj dobra >=dovoy dobra dovolj dobia dovolj dotHa >=dovolj dc^jra >=dovolj dobra dovolj dobra dovolj dobra >=dovolj dcAna dovolj dobta dovolj dobra >=dovdj dobra dovolj dobra >»dovolj dobra dovolj dobra dobra dobra dobra dobra dobra dobra dobra dobra dobra dobra ne dovolj dobra <=dovolj dobra * ne dovolj dobra <=dovolj dobra ne dovolj dobi-a <=dovolj dobra <=dovolj dofcaa nc dovolj dobra ne dovolj dobra <=dovolj dobra ne dovolj dobra <=dovo^ dobra ne dovolj dobra <=dovolj dobra dovolj dc^ra dovdj dobra >=dovolj dobra >=dovolj dobra dovolj dobra dovolj dobra >=dovoIj dc^Jra dovolj dobra dovolj dobra >=dovolj dobra >'=dovo!j dcrf)ra dovolj dobra >=dovolj dobra dovcJj dobia >=dovo^ dabra dovolj dobra dovolj dobra dobra dobra dobra dobra dobra « <=dovolj dobra <=dovolj dobra nc dovolj dobra ne dovolj dobra >=dovolj dotia dovolj dobra >=dovolj dotra dovolj dcfara >=dovolj dc4)ra dovc^ dobra dcvolj dobra dobra dobra dobra dobra dobra <=dovolj dobra « ne dovolj dobra <=dovo[j dobra ne dovolj dobra dovolj di^xa >=dovolj dobra dovolj d<^na >=dovo^' dobra dovolj dobra <=d=dovolj dobra dovolj dobra >=dovolj dobia dovolj dobra dov=dovo^ dofcra dovo^ d<4)ra dobra dobra dobra dobra dobra <=davolj dobra * nc dovolj dobra <=dovolj dotia ne dovolj dobra <=dDvoIj dc^ra ne dovolj dobra dovolj dobra >=dovolj dobra dovolj dobra >=dovolj dolia dovolj dobra dobre dobre dobre dobre dobre >=dovolj dobre dovolj dobre >=dovolj dobre dovolj dobre dovolj dobre dobre dohrt: dobre dobre dobre >=dovolj dobre >=dovolj dobre dovolj dobre > »dovolj dobre dovolj dobre dovolj dobre dovolj dobre M <=dovolj dt^jre <=dovolj dobre nc dovolj dobre oe dovolj dobre >=dovolj dcA?re dovolj dobre >=dovtJj dobre dovolj dobre dovcdj dobro <=dovolj dobre <=dovolj dobre ne dovolj dobre nc dovolj dobre dobre dobre dobre dobre dobre >=dovolj dobre >=dovolj dobre dovolj d(^3re dovolj dobre >'=dov€đj dobre dovolj dobre dovolj ddjre <=dovolj dobre ne dovolj dobre <=dovolj dobre De dovolj dobro >=dovolj dcbre dovolj dobre >=dovolj dobre dovolj dobre >=dovolj dcAjre dovolj dobre dovolj dobre <=dovolj dobre <=dovolj dobre nc do^'olj dobre <=dovolj dobre dovdj dober dovcdj dober dovolj dobff dovoy dober dovolj dober dovo^ dober dovo^ dober doroy dobcr djvolj dober dovdj dober dovoy dober dovolj dober dovolj dober dov(đj dober dOToy dober dovoy dober dovcdj doba" dovoy dob«r doroy dober doroy dober dovoy dober dovdj dober dovoy dober dovoy dd»er dovoy dobs' dovoy dober dovoy dober dovoy dober dov(^j dober dovcJj dober dovoy dobCT dovoy dobo-dovoy dobo-dovoy dober dovdj dober dovdj dob® dovoy dober dovoy dob« dovoy doba: dovoy dober dovoy dober dovdj dobo-dovdj dober dovoy dober dovoy dober dovoy dd»" dovoy dober dovoy dob« dovoy dober dovoy dober dovdj dober dovoy dobta" dovoy dober dovoy dober dovoy dober DEXi 5.5.2008 Stian2 77 >=dovolj dobra 78 >=dovolj dobra 79 dovolj dobra 80 dovdj dobra 81 dovolj dobra 82 >=dovolj dobra 83 >=dovo!j dobra 84 Mra 85 ihhra 86 =dovolj dobra dobra dohrn dobro dobra ■■lohrn nc dovolj dobri) no dovolj do hm <=dovoIj dobra <=dovoy dobia nc dovolj dobra nc do\'olj dobra <=dovdj dobra <=dovolj dobra « dovc4j dotra dovolj dobra dovolj dobra >=dovolj dobra >=dovolj dobra dovolj dobra nc dovolj dobra <=dovolj dobra UP dovolj Johni <=dovolj dotra <=dovolj dobra * nc dovolj tlobra <=dovo!j dobra nc dovolj dobra dovolj dobra >=dovolJ dobra dovolj dobra >=dovolj dobra dovo^ dobra □C dovolj dohra <=dovolj dobra lic dovolj dobre no dovolj dobre • <=dovolj dobre ne dovolj dobro <=dovolj dobre ne dovolj dobre >=dovolj dc^re dovolj dobre >=dovolJ dobre dovolj dobre dovdj dobre m <=dovdj dobre <=dovolj dobre ne dovolj dobre nc dovolj dobre <=dovolj dobre • ne dovol j dobre ne dovolj dobra <=dovoIj dobre dovolj der dovolj dober dovolj dober dovolj dober dovolj dobö" dovolj dober dovolj dobei dovolj dober dovolj dober dovolj dober dovotj dober dovolj dober dovc^j dober dovolj dober dovolj dober dovdj dober dovolj dober dovcdj dober 99 • dobra dohra dobre dober 100 >=dovolj dobra >=dovdj d<^}ra dobra dobre dober 101 >=dos'olj dobra dobra >=dovolj dobra dobre dober 102 >=dovolj dobra dobra dobra >=dovolj dol»« dober 103 (hbra ' dobra dobre dober 104 dobra >=dov<^ dobra >=dovolj dobra dobre dober 105 dobra >=do¥olj dobra dohra >=dovolj dobre dober 106 dohra dobra * dobre dober 107 dobra dobra >=dovolj dotsa >=dovolj dobre dober 108 dobra dobra dobra C dober VerifUtaciia (akreditaciia) Upoštevaaje n porabnikov število in raznolikost bcbirnih predmetov Ustreznost programov 33% 33% 33% i nc dovolj dobra nc dovolj dobro <=dovolj dobro ne dovolj dobra 2 nc dovolj dobra <=dovvost splošnih uoiih gradiv {ni izobraževanju Kala}vost lastnih uäiih gradiv jni izobraževanju Kakovost tujih učnih gradiv pri iztdiraževanju. Dodatne storitve, povezane z izobraževanj€sn Dosto|most na pogovornih urah Kcaizultadje v sklopu pogovomih ur Partnerk odnos med pedagogom in študentom Kakovc»t e-aplik^j Obseg obštuitijddh dgavnosti 2. uteži DEXi 5.5.2008 Strsn 5095 Povprečne nteži Kritalj_ Lokalne Globalne Lok-noim dolknoim Univerzttetin 1. stopnje -Ustrca«»t iHi^yamov -Voifikacija (akreditacija) -Un^evanje iqwrabiDkov -Študentov —Dipicanantov Delodajdcev -Število in raznolikost izitimih predmetov -predavanja, vaje -Redni -Število shišatdjev -Transparaitoost in istovetnost s pro^^mi -Vključenost drugih fikultet z ECTS -ProUem^ia in raziskoralna oarKijenost -Di^oisija o probl^nih -nmdco delo -Učenje s fsakso ("Learning - by - doing") -Izredni -Število slušatdjev -Transparaitnost in istovetnost s programi -Vključenost drugih fekultet z ECTS ProU»n^ in razbbovataia usmeijoiost -Dislaisija o problanih, "leaming-by-doing" -Tim^o delo -Študijska praksa -Učna gradiva -Splošna d(Hnača -Lastna, študijsko gradivo -Tuja -Dodatoe storitve -Pf^vome ure -Konzultacije '—Partnered odnos -B^ičenje '—Obštudijske dgavnosti 25 25 25 25 33 g 33 g 33 g 33 g 33 3 33 3 33 3 33 3 33 3 33 3 33 S 33 g 25 25 25 25 50 13 50 13 25 3 25 3 25 3 25 3 25 3 25 3 25 3 25 3 33 1 33 1 33 1 33 I 33 1 33 i 50 13 50 13 25 3 25 3 25 3 25 3 25 3 25 3 25 3 25 3 20 1 20 1 40 1 40 1 40 1 40 1 25 25 25 25 39 10 39 10 30 g 30 g 30 8 30 g 25 25 25 25 33 8 33 g 50 4 50 4 50 4 50 4 33 8 33 g 33 8 33 8 3. tabele odločitvenih pravil DEXi 5.5.2008 Strsn 1 Tabele odločitvenih pravil Ustreznost pr^ramov Predavanja, vaje Učna gradiva Dodatiro storitve Univerzitetni 1. stopnje 25% 25% 25% 25% 1 ne dovolj dobra ne dovolj dobra ne dovolj dobra * ne dovolj dober 2 ne dovolj dobra ne dovolj dobra <=dovolj dobra <=dovolj dobre ne dovolj dober 3 ne dovolj dobi'n ne dovolj dobra * ne dovolj dobre ne dovolj dober 4 nc dovolj dobra <=dovolj dobra ne dovolj dobra <=dovolj dobre ne dovolj dober 5 ne dovolj dobra <=dovolj dobra <=dovolj dobra ne dovolj dobre ne dovolj dober 6 ne dovolj dobra * ne dovolj dobra ne dovolj dobre ne dovolj dober 7 <=dovolj dobra ne dovolj dobra ne dovolj dobra <=dovolj dobre ne dovolj dober g <=dovoIj dobra ne dovolj dobi-a <=dovolj dobra ne dovolj dobre ne dovolj dober 9 <=dovolj dobra <=dovoij dobra ne dovolj dobra ne dovolj dobre ne dovolj dober 10 * ne dovolj dobra ne dovoli dobra ne dovoli dobre ne dovolj dober 11 ne dovolj dobra <=dovo!j dobra >=dovoIj dobra dobre dovo dober 12 ne dovolj dobi-a * dovolj dobra dobre dovo dobCT 13 <=dovolj dobra ne dovolj dobra >=dovolj dobra dobre dovo dober 14 <=dovolj dobra <=dovolj dobra dovolj dobra dobre dovo dober 15 * ne dovolj dobra dovolj dobra dobre dovo dober 16 ne dovolj dobra <=dovolj dobra dobra >=dovolj dobre dovo dober 17 ne dovolj dobm * dobra dovolj dobre dovo dober 18 <=dovolj dobra ne dovolj dobra dobra >=dovolj dobre dovo dober 19 <=dovolj dobra <=dovolj dobra dobra dovolj dobre dovo dober 20 * ne dovolj dobra dobra dovolj dobre dovo dober 21 ne dovolj dobra dovolj dobra * dobre dovo dober 22 ne dovolj dobra >=dovolj dobra <=dovolj dobra dobre dovo dober 23 <=dovolj dobra dovolj dobra <=dovolj dobra dobre dovo dober 24 <=dovolj dobra >=dovoIj dobra ne dovolj dobra dobre dovo dobs' 25 * dovolj dobra ne dovolj dobra dobre dovo dober 26 ne dovolj dobra dovolj dobra >=dovolj dobra >=dovoIj dobre dovo dober 27 ne dovolj dobra >=dovolj dobra dovolj dobra >=dovolj dobre dovo dober 28 ne dovolj dobra >=dovoIj dobra >=dovolj dobra dovolj dobre dovo dober 29 <=dovolJ dobra dovolj dobra dovolj dobra >=dovolj dobre dovo dober 30 <=dovoIj dobra dovolj dobra >=dovo!j dobra dovolj dobre dovo dober 31 <=dovolj dobra >=dovolj dobra dovolj dobra dovolj dobre dovo dober 32 * dovolj dobra dovolj dobra dovolj dobre dovo dober 33 ne dovolj dobra dovolj dobra dobra * dovo dober 34 ne dovolj dobi'a >=dovolj dobra dobra <=dovolj dobre dovo dober 35 <=dovolj dobra dovolj dobra dobra <=dovolj dobre dovo dober 36 <=dovo!j dobra >=dovolj dobra dobra ne dovolj dobre dovo dober 37 * dovolj dobra dobra ne dovolj dobre dovo dober 38 ne dovolj dobra dobra <=dovolj dobra >=dovoIj dobre dovo dober 39 ne dovolj dobra dobra * dovolj dobre dovo dober 40 <=dovolj dobra dobra ne dovolj dobra >=dovoIj dobre dovo dober 41 <=dovoIj dobra dobra <=dovolj dobra dovolj dobre dovo dober 42 * dobra ne dovolj dobra dovolj dobre dovo dober 43 ne dovolj dobi'a dobra dovolj dobra * dovo dober 44 ne dovoy dobra dobra >=dovoIj dobra <=dovoIj dobre dovo dober 45 <=dovolj dobra dobra dovolj dobra <=dovolj dobre dovo dober 46 <=dovolJ dobra dobra >=dovo!j dobra ne dovolj dobre dovo dober 47 * dobra dovolj dobra ne dovolj dobre dovo dober 48 dovolj dobra ne dovolj dobra * dobre dovo dob» 49 dovolj dobra <=dovolj dobra <=dovolj dobra dobre dovo dober 50 dovolj dobra * ne dovolj dobra dobre dovo dober 51 >=dDvolj dobra ne dovolj dobra <=dovolj dobra dobre dovo dober 52 >=dovoIj dobra <=dovolj dobra ne dovolj dobra dobre dovo dob^ 53 dovolj dobra nc dovolj dobra >=dovolj dobra >=dovo!j dobre dovo dober 54 dovolj dobra <==dovolj dobra dovolj dobra >=dovoIj dobre dovo dober 55 dovolj dobra <=dovolj dobra >=dovolj dobra dovolj dobre dovo dober 56 dovolj dobra * dovolj dobra dovolj dobre dovo dober 57 >=dovolj dobra nc dovolj dobra dovolj dobra >=dovoIj dobre dovo dober 58 >=dovolj dobra ne dovolj dobra >=dovolj dobra dovolj dobre dovo dobCT 59 >=dovoIj dobra <=dovolj dobra dovolj dobra dovolj dobre dovo dober 60 dovolj dobra ne dovolj dobra dobra * dovo dober DEXi 5.5.2008 61 dovolj dobra <:=dovolj dobra dobra <=dovolj dobre dovolj dober 62 dovolj dobra * dobra ne dovolj dobre dovolj dober 63 >=dovolj dobra ne dovolj dobra dobra <=dovolj dobre dovolj dcAer 64 >=dovolj dobra <=^ovolj dobra dobra ne dovolj dobre doTOlj dober 65 dovolj dč^ra dovolj dobra =dovolj dobre dovolj dober 66 dovolj dobra dovolj dobra * dovolj dobre dovolj dober 67 dovolj dobra >=dovolj dobra ne dovolj dobra >=dovolj dobre dovolj dobea' 68 dovolj dobra >=dovoIj dobra <=dovoIj dobra dovolj dobre dovolj dober 69 >=dovolj dobra dovolj dobra ne dovolj dobra >=dovolj dobre dovolj dober 70 >=dovolj dobra dovolj dobra <=dovolj dobra dovolj dobre dovolj dober 71 >=dovolj dobra >=dovolj dobra ne dovolj dobra dovolj dobre dovolj dober 72 dovolj Ä)bra dovolj dobra dovolj dobra ♦ dovolj dober 73 dovolj dobra dovolj dobra >=dovolj dobra <=dovolj dobre dovolj dober 74 dovolj dobra >=dovolj dobra dovolj dobra <=dovoij dobre dovolj dober 75 dovolj dobra >=dovolj dobra >=dovolj dobra ne dovolj dobre dovolj dober 76 >=dovolj dobra dovolj dobra dovolj dobra <=dovolj dobre dovolj dober 77 >=dovolj dobra dovolj dobra >=dovolj dobra ne dovolj dobre dovolj dober 78 >=dovolj dobra >=dovolj dobra dovolj dobra ne dovolj dobre dovolj dober 79 dovolj dobra dobra ne dovolj dobra * dovolj dober 80 dovolj dobra dobra <=dovolj dobra <=dovolj dobre dovolj dober 81 dovolj (kibra dobra * ne dovolj dobre dovolj doba* 82 >=dovolj dobra dobra ne dovolj dobra <=dovolj dobre dovolj dober 83 >=dovolj dobra dobra <=dovolj dobra ne dovolj dobre dovolj dob^ 84 dobra ne dovolj dobra <=dovolj dobra >=dovolj dobre dovolj dober 85 dobra ne dovolj dobra * dovolj dobre dovolj doba* 86 dobra <=dovolj dobra ne dovolj dobra >=dovolj dobre dovolj dober 87 dobra <=dovolj dobra <=dovolj dobra dovolj dobre dovolj dob^ 88 dobra * ne dovolj dobra dovolj dobre dovolj dob^ 89 dobra ne dovolj dobra dovolj dobra * dovolj dober 90 dobra ne dovolj dobra >=dovolj dobra <=dovolj dobre dovolj dober 91 dobra <=dovo!j dobra dovolj dobra <=dovoIj dobre dovolj dob^ 92 dobra <==dovolj dobra >=dovolj dobra ne dovolj dobre dovolj dober 93 dobra * dovolj dobra ne dovolj dobre dovolj dober 94 dobra dovolj dobra ne dovolj dobra * dovolj dober 95 dobra dovolj dobra <=dovolj dobra <=dovolj dobre dovolj dober 96 dobra dovolj dobra * ne dovolj dobre dovolj dober 97 dobra >==dovolj dobra <=dovolj dobra ne dovolj dobre dovolj dober 99 * dobra dobra dobre dober 100 >=dovolj dobra >=dovoij dobra dobra dobre dober 101 >=dovolj dobra dobra >=dovoij dobra dobre dober 102 >=dovolj dobra dobra dobra >=dovolj dobre dober 103 dobra * dobra dobre dober 104 dobra >=dovolj dobra >=dovolj dobra dobre dober 105 dobra >==dovolj dobra dobra >=dovolj dobre dober 106 dobra dobra * dobre dober 107 dobra dobra >=dovolj dobra >==dovolj dobre dober 108 dobra dobra dobra * dober stran 2 . Kakovost magistrskega programa 2. stopnje 1. drevo kriterijev DEX1 5-5-2008 Sli'sui 1 Drevo kriterijev Kriterij_ Opis Ma^str^ 2. stl^Dje -Ustreznost fvognuiicfv -Verifikacija (akioditacija) -CpcitevaBje nporahniknv -Stadentov —Diplcmaitov '-Delodajalcev ■—Število in raznolikost idämih predmetov -Predavanja -Število slušateljev —TraDspaieulaost in istovetncet s programi -Vključenost dn^ Mullet zECTS -Problemska in razi^uvaina nsma-Jenost [—Diskusija o {Mblemih, "leaming-by-doing' '-Timsko dete —UŽBa gradiva -Lastna, ätudij^o gradivo -Tuja '—Dodatne storitve -Pogovorne are j—Kcnzultac^e l—Partnerski odnos —E-učaye -Oištudijske dejavnosti Ocoia kakovosti magistisk^a programa 2. stcpnje Ustreznost laagislisk^apiogiama 2. stcpige Verifikacija (aki6ditacija)istrezno^ programa Up(»tevaqe qoiabnikov pri oblikcvaigu prc^camov Upoštevanje študentov pri oblikovanju programov Upi^tevanje d^temantov pi obükovaqn {zogramov Upcštevanje delodajalcev pri oblikovaqu pfc^amov Število izbirnih predmetov in raznolikost vs^jin Ocaia kakovosti predavarg in v procesu izobraževanja Število shišate^ev na predavai^ih iaedn^ m^stiskega študija Tiansparecdnost in istovetncet s programi šft.tdantov pri predavargib Pave293vaiye in sodelovarge z drugimi ^kulletami pi pridobivaiQU kreditnili točk Problemska in raziskovalna usmeijaiost magistrskega študija Problemsko naravnana diskusija in učo^e z delovanjem Kakovost učnA) gradiv pri izobraževanju Kakovost splcanih učnih gradiv pri izoteaževanju Kakovost lastnih učnih giadiv jxi izobraževanju Kakovost tujih učnih gradiv pn izobraževanja Dodatne stxxitve, povezane z izcbraževaqem Kakovfst izvaj aqa pogovornih ur Konzultacije v sklopu pogovornih ur Pamtoski odnos med ped^ogont in študentom Kakovost e-^likacij Obs^ obštudijskih dejavnosti 2. utea DEÖ_5-5-2008 _Sfaanl Povprečne uteži Kritery_Lokalne GIobalHC Lok.norm- Globjorm. -VstrcziKMt programov -Verifikacija (abeditacija) -Upratevaiije upor^mkov -Studeniov -Diplomantov -D^xiajalcev L-Stevilo in razacđikort izbirnih predmetov -Predavaiya —Število shšateljev —Transpanaitoost in istovetnost s programi -VkljuCenoa drt^ fikultet zECTS -Probkmska in rariskoralna osmeijeiiost UDiskusija o problemih," kaming-by-doii^'' L-Ximskodelo —VČDa gradiva dcanača -Lastna, študijsko gradivo -Tuja —Dodatne storitve -Pogovorne ure l-Kcnzultacge '—Piulutsiski odnos -E-učenje -01:študijgke dejavnosti 25 25 25 25 33 8 33 8 33 8 33 8 33 3 33 3 33 3 33 3 33 3 33 3 33 8 33 8 25 25 25 25 25 6 25 6 25 6 25 6 25 6 25 6 25 6 25 6 50 3 50 3 50 3 50 3 25 25 25 25 33 S 33 S 33 S 33 8 33 8 33 8 25 25 25 25 33 S 33 8 50 4 50 4 50 4 50 4 33 8 33 8 33 8 33 8 3. tabele odločitvenih pravil D£Xi 5.5.2008 Strsn 5101 Tabele odločitvenih [»-avli UstrcMost programov Predavanja Učna gradiva Dodatne storitve \fag8trski 2. stopnje 25% 25% 25% 25% 1 DC dovolj dobra 2 ne dovolj dobra 3 ne dov(dj dc^ra 4 nc dovolj dobra 5 nc dovolj dobra 6 ne dovolj dobra 7 <=dovo!j dobra 8 <=dcwvolj dobra 41 =dtw=dovcđj dolna 53 dovolj dobra 54 dovolj dobra 55 dovolj dote^ 56 dovolj dobra 57 >=dovolj dobra 58 >=dovolj dobra 59 >=dovolj dobra 60 dovolj (b)bra 61 dovolj dobra 62 dovolj dobra 63 >=dovolj dobra 64 >=dovolj dobra 65 dovolj dobra 66 dovolj dobra 67 dovdj dobra 68 dovolj dobra 69 >=dovolj dobra 70 >=dovolj dobra 71 >=dovolj dctoa 72 dovolj dobra 73 dovolj dobra 74 dovolj dcfera 75 dovdj dobra 76 >=dovolj dobra ne dovolj dobra ne dovolj dobra ne dovolj dobra <=dovolj dobra <=dovolj dobra nc dovolj dobra ne dovolj dobra <=^ovolj ddara ne dovoli dobra o=dovolj dobra ne dovolj dobrn <=dovolj dobra ne dovolj dobra <=dovolj dc^jra s nc dovolj dobra <=dovolj dobra ne dovolj dobra dovolj dobra >=dovolj dobra dovolj dobra >=dovolj dobra dovolj dobra dovcdj dtJjra >=dovoIj dobra >=dovolj dobra dovolj dobra dovolj dobra >=dov<^j dobra dovolj dobra dovolj dobra >=dovolj dobra dovolj dobra >=dovolj dobra dovolj dobra dobra dobra dobra dobra dobra dobra dobrn dobra dobra dobra nc dovolj dobra <=dovolj d<^}ra * ne dovolj dobra <=dovcJj dobra nc dovolj dobra <=dovolj dobra <=dovolj dobra ne dovolj dobra ne dovolj dobra <=dovo!j dobra tic dovolj dobra <=dovolj dobra m nc dovolj dobra <=dovolj dobra dovolj dd)ra dovolj dcbra >=dovolj dobra >=dovolj dobra dovolj dobra dovolj dobra >=dovolj dd^ra dovolj dobra dovolj dcfera >=dovolj dobra >=dovolj dolm dovolj dobra ne dovolj dobra <=dovolj dobra ne dovolj dobra <=dovolj dcbra ne dovolj dobra ne dovolj dobra <=dovolj dobra ne dovolj dobrn ne dovoli dobra >''dovolj dobra dovolj dobia >=dovolj dobra dovolj dotta dovolj dotss dobra dobra dobra dobra dobra <=dovolj dobra <=dovolj dotra ne dovolj dobra ne dovolj dobra >=dovolj dobra dovo^ dobra >=dovolj dcbra dovolj dobra >=dovolj dobra dovoy dola^ dovolj dol»^ dobra dobra dobra dobra dobra <=dovolj dobra * ne dovolj dobra <=dovolj dobra ne dovolj dobra dovolj dolm >=dovolj dobra dovolj dobra >=dovolj dobra dovolj doba <=dDvolj dobra ne dovolj dobra <=dovolj dobra nc dovolj dobra >=davolj dobra dovolj dobra >=dovolj dobra dovolj dotia dovolj dobra >=dovolj dobra dovolj dotsa dobra dobra dobra dobra dobra <=dovolj dobra nc dovolj dobra <=dovolj dotea ne dovolj dobra <=dovolj dobra nc dovolj dobra dovolj dobta >=dovolj dobra dovolj dotn >=dovolj dolHa dovolj dobra <=dcwolj dobre ne dovolj dobre <=dovolj dobf« nc dovolj dobre no dovolj dobre <=dovoli dobre ne dovolj dobre nc dovolj dobre ne dovoli dobre ne dovolj dober ne dovolj dober nc dovolj dober ne dovolj dober ne dovolj dober ne dovolj dober ne dovolj dober ne dovolj dober ne dovoy dober ne dovolj dober dobre dobre dobre dobre dobre >=dovolj dobre dovolj dcbre >=dovolj dobre dovolj dobre dovcJj dobre dobre dobre dobre dobre dobre >=dovolj dobre >=dovolj dobre dovolj dotee >=dovolj dotte dovolj dobre dovolj dobre dovcdj dobre m <=dovolj dobre <=dovolj dobte ne dovolj dobre ne dovolj dobre >=dovolj dobre dovolj dobre >=dovolj dobie dovoy dobre dovolj dobre * <=dovolj doixe <=dovolj dobre nc dovolj dobre ne dovolj dobre dobre dobre dobre dobre dobre >=dovolj dobre >=dovolj dobre dovolj dobre dovolj dobre >=dovoy dobre dovolj dobre dovoy dobre s <=dovolj dobre nc dovolj dobre <=dovoy dota« □e dovolj dobre >=dovolj dobte dovoy dobre >=dovolj dobre dovoy dcbre >=dovoy dobre dovolj dobre dovolj dobre <=dovolj dobre <=dovolj dobre nc dovolj dobre <=dovolj dobre dovoy dober dovoy dob^ dovolj dober dovolj dober dovolj dober dovolj dober dovoy dober dovoy dober dovoy dober dovoy dober dovolj dober dovolj dober dovoy dober dovolj dober dovdj dober dovoy dober dovolj dober dovolj dober dovoy dober dovolj dober dovoy dober dovoy dober dovolj dober dovolj dober dovoy dober dovoy dober dovolj dober dovoy dober dovolj dober dovolj dober dovoy dober dovoy dober dovolj dober dovoy dober dovolj dober dovolj dober dovoy dober dovoy dober dovoy dober dovoy dober dovolj dober dovolj dober dovoy dob^ dovoy dober dovoy dober dovoy dober dovolj dober dovolj dobo' dovoy dober dovoy dober dovoy dober dovoy dober dovolj dober dovolj dober dovoy dober dovoy dober dovoy dober dovoy dober dovolj dober dovolj dober dovoy dober dovoy dober dovoy dober dovolj dober dovolj dober dovolj dober ZAKLJUČNO POROČILO PROJEKTA "RAZVOJ SISTEMA KAKOVOSTI V TERCIARNEM IZOBRAŽEVANJU" V OKVIRU CILJNO-RAZISKOVALNEGA PROGRAMA "KONKURENČNOST SLOVENIJE 2006 - 2013" I. DEL Partnerska organizacija: UNIVERZA NA PRIMORSKEM FAKULTETA ZA AWlNAGEMENT KOPER Odgovorna nosilka na partnerski organizaciji: izr. prof. dr. Nada Trunk Sirca Sodelavci: Karmen Rodman Katarina Košmrlj Armand Faganel Mateja Brejc Klemen Širok Datum: 31. 3. 2008 Povzetek Univerza na Primorskem, Fakulteta za management Koper je kot partnerska organizacija v projektu 'Razvoj sistema kakovosti v terciarnem izobraževanju' proučila instrumente za spremljanje, ugotavljanje in zagotavljanje kakovosti visokošolskih zavodov ter njihovo prakso v evropskem visokošolskem prostoru. Ključen poudarek je na nastajajočem sistemu spremljanja, ugotavljanja in zagotavljanja kakovosti v slovenskem \nsokem šolstvu. Poročilo zaključujejo priporočila za naslednja področja: • institucionalne zunanje evalvacije na nacionalni ravni, • institucionalne samoevalvacije kot naloga in potreba organizacij terciarnega izobraževanja in • razvoj krovnega sistema spremljanja, ugotavljanja in zagotavljanja kakovosti na nacionalni ravni. Priporočila so namenjena pristojnim organom za spremljanje, ugotavljanje in zagotavljanje kakovosti v terciarnem izobraževanju na vseh ravneh (nacionalni, institucionalni in na ravni posameznega deležnika). Ključne besede: zagotavljanje kakovosti, institucionalna zunanja evalvacija, samoevalvacija, akreditacija, terciarno Izobraževanje Abstract As partner institution in the project 'Development of a system of quality in tertiary education' University of Primorska, Faculty of Management Koper has studied and analysed instruments and practice in quality assessment and assurance in European higher education. Extra attention is dedicated to the establishing system of quality assessment and assurance in Slovenian higher education. The report concludes with recommendatitons for the following fields: • institutional external evaluations on national level, • institutional self-evaluations as a task and need of tertiary education institutions, and • development of a roof system for quality assessment and assurance on national level. The recommendations are destined for competent bodies for quality assessment and assurance in tertiary education on all levels (national, institutional and individual stakeholder). Key words: quality assurance, institutional external evaluation, self-evaluation, accreditation, tertiary education. KAZALO 1 Uvod...............................................................................................................5 2 Trendi na področju kakovosti v evropskem visokošolskem prostoru...............................9 2.1 "Benchmarking"in "rangiranje" visokošolskih zavodov............................................11 2.2 Uporaba poslovnih modelov za ugotavljanje, spremljanje in zagotavljanje kakovosti v visokem šolstvu..........................................................................................13 3 Spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu.........................15 3.1 Uvod in pojasnitev uporabljenih pojmov...........................................................15 3.2 Vloga sistemov sprem Ijanja, ugotavljanja in zagotavljanja kakovosti visokošolskih zavodov 17 3.3 Razvoj instrumentov za spremljanje, ugotavljanje in zagotavljanje kakovosti visokosDlskih zavodov v evropskem okolju..........................................................................19 3.4 Izvajalci postopkov za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu.....................................................................................................20 4 Primerjava akreditadjskih shem...........................................................................24 4.1 Vrste in subjekti akreditadjskih shem..............................................................24 4.2 Objekti akreditacijskih shem.........................................................................25 4.3 Značilnosti izvajanja akreditacijskih shem.........................................................25 4.4 Posledice akreditiranja................................................................................26 4.5 Financiranje akreditacijskih shem in njihovega izvajanja.......................................27 4.6 Primerjava evropskih akreditacijskih shem z ZDA.................................................27 5 Primerjavaevalvadjskih shem (zunanje evalvacije)..................................................35 5.1 Vrste in subjekti evalvacijskih shem.................................................................35 5.2 Objekti evalvacijskih shem............................................................................37 5.3 Značilnosti izvajanja evalvacijskih shem...........................................................37 5.4 Posledice zunanjega evalviranja.....................................................................39 5.5 Financiranje evalvacijskih shem in njihovega izvajanja.........................................40 6 Spremljanje, ugotavljanje in zagotavljanje kakovosti v slovenskem visokem šolstvu.........44 6.1 Uvod.......................................................................................................44 6.2 Vzpostavljanje sistema nacionalnih institucionalnih zunanjih evalvacij......................46 6.3 Priporočila za nadaljnji razvoj nacionalnih institucionalnih zunanjih evalvacij.............58 6.4 Razvoj modela samoevalvacije na izbranem visokošolskem zavodu; študija primera...... 59 6.5 Priporočila za samoevalvacijo visokošolskega zavoda............................................65 7 Priporočila za nadaljnji razvoj nadonalnega sistema spremljanja, ugotavljanja in zagotavljanja kakovosti......................................................................................67 8 Literatura........................................................................................................70 9 Priloge............................................................................................................74 SEZNAM PONAZORIL Slike Slika 1 Slika 2 Slika 3 Slika 4 Slika 5: Slika 6: Slika 7: Slika 8: Tabele Članstvo nacionalnih (ali regionalnih) organov za spremljanje, ugotavljanje in zagotavljanje kakovosti v ENQA v letu 2007........................................................ 10 Nacionalni (ali regionalni) organi za spremljaje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu..........................................................................................21 Prisotnost predstavnikov študentov v upravljanju organa za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu..........................................................22 Neodvisni nacionalni (ali regionalni) organi za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu, ki uporabljajo kolegialni pregled (ang. peer review) na nacionalni (regionalni) ravni........................................................................22 Zunanje zagotavljanje kakovosti VŠZ v Evropi.....................................................35 Notranje zagotavljanje kakovosti VŠZ v Evropi...............................................j^.... 36 Rednost izvajanja zunanjega spremljanja, ugotavljanja in zagotavljanja kakovosti VŠZ.. 39 Raba rezultatov notranjega zagotavljanja^kakovosti za namene zunanjega spremljanja, ugotavljanja In zagotavljanja kakovosti VŠZ.......................................................39 Tabela 1: Objavljanje informacij o zunanjem spremljanju, ugotavljanju in zagotavljanju kakovosti v visokem šolstvu..........................................................................................19 Tabela 2: Značilnosti izbranih akreditacijskih shem..........................................................29 Tabela 3: Člani komisij za zunanje evalvacije VŠZ po kraticah evropskih držav.........................38 Tabela 4: Značilnosti izbranih eva Iva d jski h shem.............................................................41 1 UVOD Univerza na Primorskem, Fakulteta za management Koper nastopa kot partnerska organizacija v projektu Razvoj sistema kakovosti v terciarnem izobraževanju v okviru ciljno-raziskovalnega programa "Konkurenčnost Slovenije 2006 - 2013". Pričujoče poročilo je sestavni del zaključnega poročila projekta. Struktura poročila je razčlenjena glede na vsebino dela projektne skupine Univerze na Primorskem, Fakultete za management Koper. Vsebina dela je skladna z dogovorom o delitvi dela in sredstev med nosilnim izvajalcem in soizvajalcem. V točki 4 priloge 1 k dogovoru je poglavje Dinamika in obseg raziskovanja po fazah, kjer je prikazan terminski in vsebinski plan dejavnosti. V nadaljevanju povezujemo poglavja poročila s točkami v planu aktivnosti. V začetku poročila so prikazane trenutne razmere v evropskem visokošolskem prostoru z vidika spremljanja, ugotavljanja in zagotavljanja kakovosti visokošolskih zavodov (v nadaljevanju VŠZ). Poleg tega sta pojasnjeni metodi (spremljanja in) ugotavljanja kakovosti, ki se uporabljata v poslovnem in visokošolskem prostoru, tj. "benchmarking" oziroma metoda zgledovanja in "rangiranje" oziroma razvrščanje organizacij/VŠZ. Temu sledi prikaz osnovnih značilnosti različnih poslovnih modelov za spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ. V 3. poglavju so pojasnjeni v poročilu uporabljeni pojmi, ki se nanašajo na sistem in instrumente za spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ ali študijske^ programa. Prikazan je razvoj sistemov in instrumentov za spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ ali študijskega programa v evropskem visokošolskem prostoru. V zaključku poglavja je prikazano trenutno stanje nacionalnih (in regionalnih) izvajalcev sistemov in instrumentov za spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ ali študijskega programa v evropskem visokošolskem prostoru. Evropski sistemi spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu se delijo na dve glavni področji: ak redi taci jske sheme (4. poglavje) in evalvacijske sheme (5. poglavje). Vsako področje je proučeno iz naslednjih vidikov: vrste in subjekti akreditacijskih/evalvacijskih shem; predmet pregledovanja v akreditacijskih/evalvacijskih shemah; značilnosti izvajanja akreditacijskih/evalvacijskih shem; posledice akreditiranja/evalviranja; financiranje akreditacijskih/evalvacijskih shem in njihovega izvajanja. Med uporabljenimi primeri prikazujemo najpogostejšo prakso ter izstopajoče primere v izbranih državah. Med projektom se je projektna skupina posvetovala s spodaj naštetimi strokovnjaki s področja spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu (razvrščeni v abecednem edu): dr. Robert Behling, Boise State University, University of Wollongong, Air Force Institute of Technology, VWsconsin University MBA Consortium, Bryant University, Združene države Amerike, v Portorožu, 20. - 24. 11. 2007; dr. Anasse Bouhlal, Meda institute of Finland, Finska, v Izoli, 4. 3. 2008; Jon File, Center for Higher Education Policy Studies - CHEPS, Nizozemska, v Izoli, 24. - 25. 8. 2007; dr. Helen E. Higson - Aston University, Združeno kraljestvo, na Dunaju, 12. 9. 2007; Aleksander Kohler, Avstrijska agencija za zagotavljanje kakovosti - AQA, Avstrija, na Dunaju, 12. 9. 2007; dr. Jaap Scheerens - University of Twente, Nizozemska, v Portorožu, 24. - 25. 10. 2007 in na Bledu, 28. 2. 2008; Anthony John Vickers - svetovalec za evropski visokošolski prostor in strokovnjak za bolonjski proces, Združeno kraljestvo, vAtenah, 11. - 13. 10. 2007; dr. Hans Vossensteyn, Center for Higher Education Policy Studies ■ CHEPS, Nizozemska, v Izoli, 30. 8. - 1. 9. 2007. Projektna skupina je imela kratka posvetovanja tudi z drugimi strokovnjaki, raziskovalci in delavci s področja spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu v času med obiski in nastopi na mednarodnih konferencah. Navedena poglavja poročila se v planu aktivnosti projekta (priloga 1 dogovora o delitvi dela in sredstev med nosilnim izvajalcem in soizvajalcem) povezujejo s točko 1 "Analiza obstoječih metod in orodij za nadzor kakovosti v visokem šolstvu" in 2 "Konzultacije z domačimi In tujimi strokovnjaki za kakovost v visokem šolstvu". Metode in orodja so v poročilu mišljena kot sistemi in instrumenti za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu. Nadzor kakovosti pa je v poročilu preoblikovan v sprem Ijanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu. V 6. poglavju je opisan nastajajoči sistem spremljanja, ugotavljanja In zagotavljanja kakovosti v slovenskem visokošolskem prostoru. Poglavje je razdeljeno na dva dela. V prvem delu je prikazan model nacionalnih pilotnih institucionalnih zunanjih evalvacij v letu 2006. Predstavljene so metode in izsledki povratne zanke pilotnih institucionalnih zunanjih evalvacij (proučevanje izvedbe, izdelkov in instrumentarija, opazovanje obiskov na VŠZ in analiza mnenj udeležencev), ki smo jih opravili člani projektne skupine. Kot zaključek podpoglavja so podana priporočila za nadaljnji razvoj modela nacionalnih institucionalnih zunanjih evalvacij. V nadaljevanju je opisan primer dobre prakse Izvajanja in poročanja o izidih procesa samoevalvacije. Primer se nanaša na izbran slovenski VŠZ. Predstavljenih je nekaj možnosti povezovanja samoevalvacije z zunanjo evalvacijo. V zaključku poglavja so podana priporočila VŠZ za pripravo in izvedbo institucionalne samoevalvacije. Vsebina poglavja se povezuje s točko 3 "Razvoj in povezovanje modelov zunanje in samoevalvadje", Ici je bil vpeljan v plan aktivnosti projekta (priloga 1 dogovora o delitvi dela in sredstev med nosilnim izvajalcem in soizvajalcem) po dogDvoru z nosilno organizacijo v projektu dne 7. 3. 2008. Hkrati je vsebina skladna tudi s točko 4 "Razvoj modela za razvoj celovite kakowsti", ki jo je pripravila nosilna organizacija v projektu. V zaključku so podana priporočila za nadaljnji razvoj nacionalnega sistema spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu. Namenjena so pristojnim organom za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu na vseh ravneh (nacionalni, institucionalni in na ravni posameznega deležnika - ang. stakeholder). Omejitve Bralca opozarjamo, da imata kljub poglobljenosti in doslednosti opravljeno delo in pričujoče poročilo določene omejitve. Zaradi omejene količine sredstev, predvsem pa časa celovita obdelava problematike ni bila mogoča. Zato smo se morali člani projektne skupine osredotočiti na tematska področja in vire, ki so najbolj dosegljivi in so omogočili najboljše rezultate. Osnovne omejitve so podrobneje razložene v naslednjih odstavkih. Usmerjenost v visoko šolstvo. Čeprav projekt obsega celotno področje terciarnega izobraževanja, smo se pri študijah primerov in pilotni izvedbi osredotočili na visoko šolstvo. Na tem področju je namreč nabor znanja projektne skupine največji, prav tako pa je bilo mogoče najti največ razpoložljivih virovin dobrih praks s področja spremljanja, ugotavljanja in zagotavljanja kakovosti. Prouatev akredftadjskjh in zunanje-eva(vodjskih shem. V različnih sistemih spremljanja, ugotavljanja in zagotavljanja kakovosti se uporablja več različnih Instrumentov, ki smo jih v poročilu tudi predstavili. Zaradi aktualnosti, predvsem pa možnosti uporabe v slovenskem terciarnem izobraževanju smo za natančnejše proučevanje Izbrali akreditacijske in zunanje-evalvacijske sheme. Na institucionalni vidik smo se osredotočili predvsem zaradi večje univerzalnosti, saj je programsko evalviranje za vsako področje zelo specifično in bi ga bilo izredno zapleteno posplošiti v nacionalni okvir. Za primerjave z nacionalnim sistemom smo izbrali le nekatere vidnejše, razvitejše in bolj uveljavljene sheme evropskih držav in ZDA, čeprav ima skoraj vsak nacionalni visokošolski prostor vsaj do neke mere razvit sistem spremljanja, ugotavljanja in zagDtavljanja kakovosti. Tudi zaradi večjih razlik v ureditvi visokošolskega prostora pa nismo preučevali npr. azijskih in afriških sistemov. Omejeno število slovenskih primerov. Pri predstavljanju vzpostavljanja nacionalnega sistema spremljanja, ugotavljanja In zagotavljanja kakovosti smo preučili le eno pilotno izvedbo institucionalnih zunanjih evalvacij in en primer razvoja samoevalvacije VŠZ. Čeprav v slovenskem prostoru več primerov pravzaprav ne moremo najti, bi lahko predstavili primerjavo s katero drugo (evropsko) državo. Kot projektna skupina bi lahko bili bolj aktivni v spodbujanju nadaljnjih institucionalnih zunanjih evalvacij slovenskih VSZ, s katerimi bi lahko preverili tudi prenovljena orodja izvedbo zunanjih evalvacij. Tudi z vidika predstavitve samoevalvacije in njenega povezovanja z zunanjo evalvacijo bi lahko preučili več VŠZ, a smo zaradi težkega dostopa do informacij predstavili le primer VŠZ, ki sodeluje v projektu. Kljub navedenim omejitvam je poročilo dovolj obširno, hkrati pa v bistvenih delih dovolj podrobno, da ključnim javnostim omogoča dober pregled nad stanjem na področju spremljanja, ugotavljanja in zagDtavljanja kakovosti v terciarnem Izobraževanju v Evropi in v Sloveniji. Delo pri projektu pa je dalo avtorjem dowlj znanja in izkušenj, da lahko oblikovalcem politike in drugim zainteresiranim skupinam podajo nekatera priporočila za nadaljnji razvoj nacionalnega sistema za spremljanje, ugotavljanje in zagptavljanje kakovosti. 2 TRENDI NA PODROČJU KAKOVOSTI V EVROPSKEM VISOKOSOLSKEM PROSTORU Zagotavljanje kakovosti visokega šolstva je imperativ današnjega časa. Gospodarska konkurenčnost Evrope zahteva vzpostavitev in harmonizacijo enotnega trga, kar se odraža tudi v nujnosti usklajevanja nacionalnih izobraževalnih sistemov z evropskimi smernicami. Terciarno izobraževanje mora zastaviti svoje delovanje tako, da bo kar najbolje zadovoljevalo potrebe trga. Odgovornost posameznega VŠZ je: • zagotoviti trajnostni razvoj svoje dejavnosti in izvajalcev izobraževalnih storitev, VŠZ in učiteljev ter sodelavcev. To se na koncu odraža v kakovosti diplomanta, da ustreza zahtevam poslovnega okolja, slednje pa opredeljuje njegovo zaposljivost; • skrb za transparentnost vrednotenja kakovosti svojih storitev. To pomeni, da morajo ponudniki terciarnega izobraževanja, ki neposredno napajajo trg delovne sile, zainteresiranim javnostim transparentno prikazovati svoje delo in njegove učinke. Tako bodo deležniki (delodajalci, študenti, zaposleni v VŠZ, naročniki, država, investitorji idr.) dostopali do (za njih) ključnih informacij o VŠZ, kar jim bo omogočalo iDolj racionalno odločanje. Zagotavljanje kakovosti terciarnega izobraževanja je neposredno povezano s to odgovornostjo. Kakovost VŠZ, študijskih programov, izobraževalnega procesa, raziskovalnih in drugih dejavnosti ter sodelovanja z družbenim okoljem na regionalni, državni in mednarodni ravni so v ospredju pojmovanja in razumevanja kakovosti terciarnega izobraževanja. AAobilnost študentov, pa tudi zaposlenih, primerljivost in standardizacija so tiste dimenzije internacionalizacije in evropeizacije, o katerih morajo razmišljati tudi organizacije v terciarnem izobraževanju (Convention on the recogiition of qualifications concerning higher education in the European region, Lisbon 1997; Joint declaration of the European ministers of education convened In Bologna 1999). Ti dokumenti narekujejo primerljivost sistemov terciarnega izobraževanja na strukturni, organizacijski in vsebinski ravni, pa tudi zbliževanje sistemov spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu. Bolonjska deklaracija (Joint declaration of the European ministers of education convened in Bologna 1999) predstavlja prelomnico v evropskem visokošolskem prostoru. V obliki pobude, ki je bila še nadgrajena v naslednjih ključnih evropskih listinah (Tow/ards the European higher education area: Communique of the meeting of European ministers in charge of higher education in Prague on May 19th 2001; Realising the European higher education area: Communique of the Conference of ministers responsible for higher education In Berlin on 19th September 2003; The European higher education area, achieving the goals: Communique of the Conference of ministers responsible for higher education in Bergen on 19-20th May 2005; Tov/ards the European higher education area: responding to challenges in a globalised world: London communique from 18th May 2007), izpostavlja potrebo po primerljivih merilih in metodologiji pri oblikovanju nacionalnih sistemov spremljanja, ugotavljanja in zagotavljanja kakovosti v visokošolskem prostoru. Nalogo razvoja smernic in standardov za zagotavljanje kakovosti je prejelo Evropsko združenje za zagotavljanje kakovosti v visokem šolstvu {European Association for Quality Assurance in Higher Education - ENQA; prej Evropska mreža za zagotavljanje kakowsti v visokem šolstvu/European Network for Quality Assurance In Higher Education), v sodelovanju s svojimi članicami ter z Združenjem evropskih univerz (European University Association - EUA), z Evropskim združenjem visokošolskih organizadj (European Association of Institutions in Higher Education - EURASHE) in z Zvezo nacionalnih študentskih organizacij Evrope (National Unions of Students in Europe - ESIB) [EHQ/K 2005). Leta 2005 je tako izdala prve smernice in standarde za zagotavljanje kakovosti v visokem šolstvu (ENQA 2005) in jih je leta 2007 nadgradila (ENQA 2007). ENQA deluje kot referenčna organizacija, ki usmerja VŠZ, nacionalne organe za ugotavljanje, spremljanje in zagotavljanje kakovosti v visokem šolstvu, druge vladne organe in tudi ostale organizacije, ki so povezane s spremljanjem, ugotavljanjem in zagotavljanjem kakovosti v VŠZ, ter ostale deležnike. Namen povezovanja in usmerjanja naj bi dolgoročno vodil do široko sprejetega nabora vrednot, izmenjave izkušenj ter dobrih praks v evropskem visokošolskem prostoru (European higher education area - EHEA) na področju kakovosti in zagotavljanja kakovosti s strani VŠZ in agencij za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu (ENQA 2005, 3). Do leta 2007 je več kot 40 agencij in zdrLEenj za zagotavljanje kakovosti v visokem šolstvu pridobilo članstvo v tej evropski mreži (Eurydice 2007,44). Slika 1: Članstvo nacionalnih (ali regionalnih) organov za spremljanje, ugotavljanje in zagotavljanje kakovosti v ENQAv letu 2007 g 'f; m coymrywiih4Qftb.5# äigibk^^tinti^ g )•. afulin-iOTt^w wlUu-tii iiit^fp^K.^nl f: c{ft K-jcir, : Cvsts nol wsili^bte Vir: Eurydice 2007, 45 Namen povezovanja in sodelovanja med državami podpisnicami bolonjske deklaracije ni standardizacija kakovosti v visokem šolstvu (Rodman in Trunk Sirca 2008). Bogata in raznolika ponudba storitev je odraz trženjske iznajdljivosti, inovativnosti, odzivnosti in prilagodljivosti potrebam okolja. Tržno naravnano delovanje VŠZ lahko predstavlja pomemben element 10 konkurenčne prednosti VSZ. Nekritično sprejemanje dobrih praks in prenos uspešnili sistemov za ugotavljanje, spremljanje in zagotavljanje kakovosti neposredno v drugo (nacionalno) okolje bi lahko imelo v večini primerov negativne posledice za visokošolske sisteme in njihove deležnike. VisokoŠDlski sistemi in VŠZ potrebujejo usmeritev za boljše odzivanje na potrebe okolja, hkrati pa dovolj svobode in avtonomije, da lahko uresničujejo raznolika poslanstva in vrednote. Zato "enotnega in dogovorjenega modela za ocenjevanje kakovosti VŠZ v EU [Evropski uniji] ni in ga tudi ni pričakovati, saj je to področje prepu^eno nacionalni politiki, vendar ob upoštevanju mednarodne primerljivosti" (Dolinšek, Trunk-Širca in Faganel 2005, 20). Kljub številnim razlikam med nacionalnimi sistemi za ugotavljanje, spremljanje in zagotavljanje kakovosti pa je zaznati pomembne premike v njihovem razvoju na nacionalni in mednarodni ravni^ v smeri spoštovanja dogovorjenih načel in smernic, zastavljenih na evropski ravni. Poleg pobud evropskih organizacij za spremljanje, ugotavljanje in zagotavljanje kakovosti in nacionalnih pobud na tem področju (ki so predstavljene v 3. in 4. poglavju poročila), se VŠZ in njihovi deležniki poslužujejo še drugih orodij za ugotavljanje in informiranje o ravni svoje kakovosti. V nadaljevanju tako predstavljamo "benchmarking" in "rangiranje" VŠZ. 2.1 "Benchmarking" in "rangiranje" visokošolskih zavodov "Benchmarking" je metoda ugotavljanja in spremljanja kakovosti, ki se je iz poslovnega sveta prenesla na področje visDkega šolstva v90. letih prejšnjega stoletja. Raba pojma "benchmarking" in njegova implementacija se v praksi pomembno razlikujeta, kar je nazorno prikazano v študiji pod okriljem ENQA (Hämäläinen idr. 2002). V študiji je izraz "benchmarking" razumljen kot sistematična študija in primerjava ključnih kazalnikov izvajanja določene organizacije s kazalniki druge organizacije, ki velja za najboljšo na določenem področju (Dervitsiotis 2000 v Hämäläinen idr. 2002). V slovenskem jeziku se uporabljata izraza "primerjalna metoda" ali "metoda zgledovanja" (AAožina idr. 2007). V pričujočem poročilu bomo uporabljali izraz metoda zgledovanja. Primeri uspešne uporabe metode zgledovanja (Hämäläinen idr. 2002) kažejo na nekaj skupnih značilnosti delovanja organizacij, ki uporabljajo to metodo: dogovarjanje, sodelovanje in razvoj procesa za vzajemno razumevanje elementov spremljanja, ugotavljanja in zagotavljanja kakovosti ter drugih elementov metode. Iz priporočil za pripravo in implementacijo metode zgledovanja (Hämäläinen idr. 2002) je razbrati, da iz njene uporabe izhajajo številni stroški v obliki časa, ljudi in sredstev, ki si jih morata(jo) organizaciji(-e) deliti. Dogovor o prispevku posameznega partnerja v procesu je lahko zavirajoči element celovitega in uspešnega pristopa k rabi metode. Metoda zgledovanja omogoča posameznemu VŠZ ali drugi organizaciji: • prilagodljivost uporabe včasu ter glede na potrebe in okoliščine, vkaterih deluje, • kreativnost pri iskanju možnosti za izboljšanje. ' Več na http://vvww.eua.be/jndex.php?1d=347, kjer lahko primerjamo dosežke držav podpiaiic bolonjske deklaracije pri uresničevanju smernic, zapisanih v evropskih listinah bolonjskega procesa. Napredki držav so zapisani vpublikacijah projekta Trends, ki ga vsakih dve leti izdaja Združenje evropskih univerz (EUA). 11 • nenehno spreminjanje svojega delovanja z namenom izboljševanja. Najpogostejša težava pri uporabi metode zgledovanja je prenašanje dobrih praks neposredno v domače okolje brez potrebnih prilagoditev (Hämäläinen idr. 2002, 8). Pogosto je že dojemanje in pojmovanje metode zgledovanja povezano s posnemanjem, vohunjenjem in enkratnim ukrepanjem (AAožina idr. 2007, 12), temu primerna pa je tudi (ne)uspešnost njene uporabe. "Rangiranje" ali razvrščanje (ang. rankings ali league tables) je v zadnjem času pogosto uporabljeno orodje "presojanja" kakovosti VŠZ . Namen razvrščanja VŠZ je zadovoljitev javnega povpraševanja po transparentnosti in informacijah (Usher in Savino 2006, 38), ki jih VŠZ ali država ne priskrbi, ne želi ali ne more priskrbeti. Razvrščanje VŠZ je za Združene države Amerike (v nadaljevanju ZDA) značilno že več kot 100 let, v svetovnem merilu pa je to orodje pridobilo na veljavi šele v zadnjem desetletju ali dveh^. Odzivi deležnikov na lestvice razvrščanja so različni (Hazelkorn 2007). Delodajalci favorizirajo diplomante z VŠZ, ki so razvrščeni višje na lestvici. Prav tako obstajajo primeri poslovnih organizacij, ki se na podlagi lestvic razvr^anja VŠZ odločajo za raziskovalno sodelovanje z VŠZ. Tudi lokalne skupnosti postajajo vse občutljivejše in v ZDA celo dovzetne za razvrščanje, saj finančno spodbujajo lokalne VŠZ k izboljševanju svojega položaja na lestvicah (Chronicle HE, 25. 5. 2007; East Valley Tribune, 18. 3. 2007 v Hazelkorn 2007). Študenti v ZDA sicer pri odločanju za vpis spremljajo razvrščanja VŠZ iz medijev, vendar samo 11 % študentov izjavlja, da je informacija o razvrstitvi VŠZ pomemben element odločitve (AAcDonagh idr. 1997, 1998 v Hazelkorn 2007). Najpogostejše težave lestvic razvr^anja VŠZ so (Sadlak in Nian Cai 2007, Wedlin 2006, Hazelkorn 2007, Hämäläinen idr. 2002, Rodman 2008: 92): • tehnične in metodološke težave (razumevanje metodologij zbiranja podatkov, uporaba podatkov v različnih družbenih okoljih, objektivnost pristopov in metod za merjenje, uporaba pretežno kvantitativnih podatkov); • neuporabnost informacije o razvrščenosti VŠZ med deležniki (objektivnost pri uporabi, "halo efekt", razvrščanje na osnovi ugleda - preteklega delovanja VŠZ); • neprimerljivost kompleksnih VŠZ in uporaba v svetovnem merilu (razlikovanje poslanstev, razlikovanje visokošolskih sistemov, študijskih programov In pridobljene izobrazbe v različnih geografskih okoljih); • vprašljiv vpliv na visoko šolstvo in njeno politiko (uresničevanje strateških ciljev VŠZ aH pa spodbujanje VŠZ, da zadovolji kriterije lestvic razvrščanja, oviranje razvoja kulture učenja v VŠZ); ^ Pomembnejši izkazi razvrščanja VŠZ so: Šangajska lestvica, ki jo izvaja Shanghai Jiao Tong univerza, THE5 (priloga britanskega časnika Times), U5 News in Wsrld Report (lestvici ameri^ih univerz) in Newsv«ek ranking (kot mešanica Sangajske lestvice in ITiES), ki razvršča VŠZ na osnovi podatkovo raziskovanju in poučevanju. Obstajajo pa tudi organizacije, ki razvrščajo VŠZ na osnovi raziskovalnih objav, mednarodnih podatkovnih baz in recenzij (CWTS na Univerzi v Leidnu, Nizozemska). Več o tem v: Lestvice razvrščanja visokih šol. 2007. Večer, 26 . 9 . 2007. 12 • negativen vpliv na javno mnenje (krhanje akademskih vrednot za ceno transparentnega informiranja). Obstajajo tudi razvrščanja, ki izhajajo iz metode zgledovanja. V tem primeru se izbere nekaj ključnih kazalnikov kakovosti, ki se jih ne sintetizira in ne klasificira v lestvico razvrščanja (Hämäläinen idr. 2002, 11). V Evropi tako deluje Center za razvoj visokega šolstva v Nemčiji (Center fur Hochschulentwicklung ■ CHE), ki v sodelovanju s časnikom Die Zeit primerja študijske smeri na univerzah v Nemčiji, Avstriji in Švici. VŠZ razvršča v tri skupine (najvišjo, srednjo in spodnjo), ne izdeluje pa lestvice VŠZ. Pozitivna lastnost takšnega razvrščanja je razvrščanje po meri deležnikov, ki lahko interaktivno sodelujejo pri izboru ključnih kazalnikov kakovosti^. 2.2 Uporaba poslovnih modelov za ugotavljanje, spremljanje In zagotavljanje kakovosti v visokem šolstvu Poleg metode zgledovanja in lestvic razvr^anja VŠZ obstaja množica pristopov, standardov, sistemov za spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ, ki v večini primerov izhajajo iz poslovnih modelov za spremljanje, ugotavljanje in zagotavljanje kakovosti. V ospredju so EFQM ■ AAodel poslovne odličnosti (različica za visoko šolstvo), kriteriji ameriške nagrade za kakovost za šolstvo (Malcolm Baldrige Criteria for Education), Skupni ocenjevalni okvir v javnem sektorju (CAF), ISO 9000:2000, 1WA 2, Vlagatelji v ljudi (ang. Investors in People), 6-Sigma, Charter Mark, Balanced Scorecard Service Triangle, itd. V večini omenjenih orodij zasledimo Demingovkrog (imenovan tudi PDCA - plan-do-check-act), ki ponazarja stalno, "krožno" skrb za ugotavljanje, spremljanje in zagotavljanje kakovosti v organizaciji; vsa orodja so namreč namenjena izboljševanju delovanja organizacije na strukturiran način. Navedem modeli se skušajo prilagoditi značilnostim in potrebam organizacij terciarnega izobraževanja v zasebnem ali javnem sektorju. Orodja, ki jih lahko označimo kot menedžerska, predstavljajo strateški, celovit pristop k organizaciji in so praktično holistična, saj obse^jo vsa ključna področja delovanja organizacije (Kovač in Kern Pipan, 2005). Za vse poslovne modele ugotavljanja, spremljanja in zagotavljanja kakovosti velja, da organizacijo, ki se odloči za njihovo uporabo, v veliki meri bremenijo v obliki časa, sredstev in ljudi. Slaba lastnost podrobno opredeljenih standardov, postopkov in kriterijev v modelih je posledično zmanjševanje možnosti pozitivnega razlikovanja organizacije na trgu, saj dosledno spoštovanje sistema lahko zavira ustvarjalno miselnost v organizaciji. Težava neposrednega prenosa poslovnega modela za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokošolsko prakso izhaja iz različnega opredeljevanja deležnika in razumevanja deležnikovih potreb in pričakovanj. Deležniki VŠZ so običajno med seboj zelo heterogeni, različno razumejo kakovost in od delovanja VŠZ pričakujejo različne stvari (Lagrosen idr. 2004). Deležniki poslovne organizacije so povečini usmerjeni v finančne rezultate, zato so kazalniki kakovosti laže opredeljivi. Šolstw ima le nekaj kazalnikov, ki bi bili splošno uporabni in razumljivi z vidika ^ Več o CHE na: http://vwwxhe.de/cms/?g!etObject=3028:ißtName^jajo na višji institucionalni ravni organi za ^nemljanje, ugotavljanje in zagotavljanje kakovosti VŠZ. Evalvacijska shema vključuje institucionalizirane in sistematično izvedene aktivnosti ugotavljanja kakovosti V5Z, študijskega programa, izobrazbe ali izboljšanja njihove kakovosti. Evalvacijske aktivnosti ne vadijo neposredno do podelitve veljavnosti VŠZ, studijskega programa ali izobrazbe. Evalvacijsko shemo izvajajo organi na višji institucionalni ravni (organi za premljanje, ugotaUjanje in zagotavljanje kakovosti). (Schwatz in Vfesterheijden 2004, 2-3) 18 in Španiji obveščanje ni uradno urejeno, vendar pa so rezultati objavljeni kot integralni del procesa spremljanja, ugotavljanja in zagotavljanja kakovosti (Eurydice 2007, 57). Tabela 1: Objavljanje informacij o zunanjem spremljanju, ugotavljanju in zagotavljanju kakovosti v visokem šolstvu Jirsi OIKBS ffHlISKV miu P0& OtlWJ AD IS w AL [ • 1 « j « IT » * # m Li •a &7 \ IT # 2 • » S LU SZ IV 'V ea V » » s » .ME s e ■ 9 BEfr » « •• WK • BEnI « t * iS«T BiT. i • * « NL S ft CH 9 B • NO s » S ® CY a • • PL ® 9 » a t « # e PT 9 m i • t i RD ♦ # t * DK S s RS # EC n Ü a WJ a « § « EL # s š 5 1 • # ES s ••i! s 5i » F! ž • # • sk _ 1 » FR ä" & n: m GE f i § • m t HR • ft; IM » » • ♦ HU t « • va s -5J © IE _1 * » tt # * Cornpuliof;' : DitiamU^JÜabl« 17 N'>r>fgji«iorfc«:fl Src'.^e SuiyilK» Vir: Eurydice 2007, 57 3.3 Razvoj Instrumentov za spremljanje, ugotavljanje in zagotavljanje kakovosti visokošolskih zavodov v evropskem okolju Razlogi, da so posamezne evropske države izoblikovale in vzpostavile instrumente za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokošolskem prostoru, so različni (Schwarz in Westerheijden 2004, 4-6). Države severne Evrope (nordijske države) so s pomočjo akreditacije želele podpreti odprt dostop in enake možnosti dostopa do storitev VŠZ. Zato so podpirale nastajanje novih študijskih programov in novih VŠZ kot dopolnitev izobraževalnega trga. V Nemčiji, Italiji in na Nizozemskem je bil glavni razlog nizka učinkovitost visokošolskega sistema. V Nemčiji je poklicna akreditacija predstavljala možnost lažjega vstopa na specifičen trg dela še pred 1990. V osrednji in vzhodni Evropi se je akreditacija oblikovala kot orodje centralnega birokratskega nadzora države. Pred tem kakovost delovanja VŠZ ni bila predmet razprave in se ni evalvirala. Kakovost je bila enostavno razglašena (Schwarz in Westerheijden 2004, 7). V zadnjem desetletju pa je ta centralna vloga države prešla v drugo skrajnost s popolno decentralizacijo visokošolskih sistemov. Vstop tujih in zasebnih VŠZ je sprožil vprašanje izpolnjevanja vsaj minimalnih pogojev kakovostnega delovanja le-teh. Zunanji pogled na kakovost VŠZ ali študijskega programa je v teh državah visoko cenjen in verodostojen v širši družbi. 19 Navedena razvojna izhodišča so pripeljale do različnih sistemov spremljanja, ugotavljanja in zagotavljanja kakovosti v evropskem visokošolskem prostoru. Pri oblikovanju in izvedbi mehanizmov za spremljanje, ugotavljanje in zagotavljanje kakovosti lahko opazimo specifične razlike med zahodno ter osrednjo in vzhodno Evropo. Države zahodne Evrope so svoje začetke zagotavljanja kakovosti snovale na samoevalvaciji in jo dopolnjevale z zunanjo evalvacijo. Slednjo sedaj nadgrajujejo z akreditadjo VŠZ in študijskih programov. Ideja akreditacije je v zahodni Evropi sprožila različne odzive, od zavrnitve na Danskem do izredno hitrega sprejema v celotni Nemčiji. Države osrednje in vzhodne Evrope pa razumejo akreditacijo kot instrument za zagotavljanje kakovosti VŠZ in študijskih programov. Zaradi pritiska različnih deležnikov in širšega okolja (ključen vpliv imata sorbonska in bolonjska deklaracija) se v zadnjem času miselnost spreminja ter sili VŠZ v iskanje pomoči, svetovanja in usmeritev za nadaljnji razvoj študijskih programov in VŠZ, kar ustvarja potrebo po evalvacijah. Vrste in vloge instrumentov za spremljanje, ugotavljanje in zagotavljanje kakovosti tako postajajo vse bolj primerljive med evropskimi državami, ne pa tudi akreditacijske in evalvacijske sheme v posameznih državah. Ključne zasluge za to imajo aktivnosti v bolonjskem procesu in iz tega izhajajoče evropske listine. ENQAin razsežnosti njenega delovanja imajo vplivna delovanje organov za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu na nacionalni in institucionalni ravni. Iz slike št. 1 je razbrati naraščajočo potrebo in zahtevo po sledenju ter priključevanju v to mrežo. Po ustanovitvi ENQA in spoznanju razsežnosti njenega delovanja nacionalni organi za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu ter posamezni VŠZ vse bolj opažajo potrebo in nujnost, da v svojem delovanju sledijo priporočilom mreže in se vključijo vanjo. Hkrati pa je zaznati središčni trend povezovanja različnih organizacij med seboj za bolj uspešno sledenje smernicam in uresničevanje pozivov bolonjskega procesa. Tovrstne aktivnosti so značilne za vse podpisnice bolonjske deklaracije, v večini primerov pa po obsegu in intenzivnosti celo presegajo napore usmerjene v nadgrajevanje obstoječih nacionalnih sistemov. 3.4 Izvajalci postopkov za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem bistvu Leta 2007 sta imeli dve tretjini držav podpisnic bolonjske deklaracije najmanj en neodvisni nacionalni organ za spremljanje, ugotavljanje in zagotavljanje kakovosti (Eurydice 2007, 37-39). Povečini ti organi izvajajo evalvacijske in akreditacijske postopke v zvezi z VŠZ, študijskimi programi ali priznavanjem izobrazbe. Devet držav podpisnic bolonjske deklaracije, večinoma iz zahodnega dela Evrope, pa ima zaradi delitve v regije ali zaradi delitve po vrstah študijskih programov in VŠZ, katerih presojajo kakovost, več kot en organ za spremljanje, ugotavljanje in zagotavljanje kakovosti. 20 Slika 2: Nacionalni (ali regionalni) organi za spremljaje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu 'T / I »i-jp^icJ^t iX'iv' SC'tJy M.iWtiwnoiH fi itartM^'; Vir: Eurydice 2007, 37 Tovrstni organi povečini izvajajo evalvacijske in/ali akreditacijske postopke. Vprašanje je, v kolikšni meri so instrumenti za spremljanje, ugotavljanje in zagotavljanje kakowsti med seboj komplementarni in koliko vplivajo en na drugega. Težava lahko nastopi v tem, da ena shema prevlada (oziroma en cilj prevlada nad drugimi), kar se pokaže v vloženem naporu in pozornosti za izgradnjo in izvajanje posamezne^ instrumenta. Na Češkem so različne sheme združili pod okrilje ene agencije s predvidevanjem, da bosta koordinacija ciljev in izvajanja instrumentov laže upravljani in vodeni (Schwarz in Westerheijden 2004, 16). Eurydice (2007, 40) navaja, da so v 22 državah podpisnicah bolonjske deklaracije predstavniki študentov vključeni v odločanje v procesih nacionalnega organa za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu. Povečini gre za države Evropske unije, z izjemo Francije, Španije, Italije, Cipra in Poljske, v katerih študenti niso vključeni v upravljanje nacionalnega organa za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu. 21 Slika 3: Prisotnost predstavnikov študentov v upravljanju organa za spremljanje, ugotavljanje in zagotavljanje kakovosti v vis)kem šolstvu 2 .M' Ig No «Mjsnuäpwi^nutton ' r Daiaw j'/ajbb!^ Vir: Eurydice 2Q07, 41 Zagotavljanje kakovosti organov za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu je bila podana kot usmeritev že v Bergenskem komunikeju (The European higher education area, achieving the goals: Communique of the Conference of ministers responsible for higher education in Bergen on 19-20th May 2005). V prvih standardih in smernicah ENQA (2005, 27) poziva agencije za spremljanje, ugotavljanje in zagotavljanje kakovosti h kolegialnemu pregledu (ang. peer review) z namenom povečevanja transparentnosti, primerljivosti in preglednosti. Trenutno stanje v evropskem prostoru ni zadovoljivo. Eurydice (2007, 42) navaja, da se le v 15 državah podpisnicah bolonjske deklaracije ugotavlja in zagotavlja kakovosti evalvacijskih organov s pomočjo koleglalnega pregleda. Slika 4: Neodvisni nacionalni (ali regionalni) organi za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu, ki uporabljajo kolegialni pregled (ang. peer review) na nacionalni (regionalni) ravni B P 22 Vir: Eurydice 2007, 44 Poleti leta 2008 bo začel delovati Evropski register agencij za zagotavljanje kakovosti v visokem šolstvu (European Quality Assurance Register in Higher Education - EQAR)^. Namen registra je zagotavljanje kakovosti agencij za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu. Poleg tega pa bo posameznemu VŠZ nudil izbiro med agencijami za spremljanje, ugotavljanje in zagotavljanje kakovosti ter pri odločanju o instrumentih za spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ. Izbrana agencija bo tako lahko bolj združljiva z nacionalno ureditvijo visokega šolstva ali njegovih delov. Tema zagotavljanja kakovosti organov za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu presega okvir pričujočega projekta, zato je v nadaljevanju poročila samo omenjena kot nujna sestavina sistema spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu. Nekoliko bolj podrobno jo v poročilu obravnavamo v poglavju 6 o proučevanju slovenskega sistema spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu ter za to odgovornega nacionalnega or^na. V nadaljevanju so predstavljene značilnosti in primerjave akreditacijskih in evalvacijskih shem v nekaterih evropskih državah. Podatki izvirajo v večjem delu iz monografije Accreditation and evaluation in the bisher education area avtorjev Schwarz in Westerheijden (2004), razen v posebej označenih primerih. ' Več o Evropskem registru agencij za zagatavljanje kakovosti v visokem šslstvu (EQAI^) na: http://europa.eu/rapid/ pressReleasesAction.do?nefierence=IP/08/3708:fbmiat= HTML8:aged= 8:language=EN8:guiLangjage=en 23 4 PRIMERJAVA AKREDITACIJSKIH SHEM V evalvadjskih shemah je moč najti nekaj splošno sprejetih pristopov k evalvadji (kot je npr. obisk VŠZ) v evropskih državah, medtem ko se tipi in pristopi v a k redi taci j ski h shemah v evropskih državah med seboj tako razlikujejo, da ne moremo govoriti o nekem splošno uveljavljenem pristopu (Schwarz in Westerheijden 2004, 11). To sproža vprašanje o primerljivosti in veljavnosti nacionalnih akreditacij v evropskem visokošolskem prostoru. ENQA s sprejemom nacionalnih agencij za ugotavljanje, spremljanje in zagotavljanje kakovosti v visokem šolstvu (ob predhodni in sprotni proučitvi zagotavljanja kakovosti v agencijah) pod svoje okrilje širi uporabno vrednost pridobljene akreditacije preko nacionalnih meja. K temu bo pripomogel tudi prej omenjen Evropski register agencij za zagotavljanje kakovosti v visokem šolstvu (EQAR). Zahodna Evropa, kjer je bila evalvacija v večini državizhodišče sistemovza zagotavljanje kakovosti, je vpeljala akreditacijo z namenom vzpostavitve zaupanja v sistem zagotavljanja kakovosti. Zaupanje namreč olajšuje stabilnost, sodelovanje in povezovanje (Hohmann 2005, 21). V primeru Nizozemske so bili deležniki mnenja, da informacije o kakovosti VŠZ, kot izid evalvacijskega procesa, niso transparentne. Voljnost sodelovanja VŠZ z državo pri izvajanju akreditacij je tako močnejša v driavah osrednje in vzhodne Evrope, kjer je akreditacija nastala kot orodje za potrjevanje kakovostnega delovanja VŠZ. 4.1 Vrste in subjekti akreditacijskih shem Običajno je akreditacijska shema vzpostavljena na ravni države in je pogosto tudi financirana s strani države (kot je to na Češkem, v Nemčiji, Franciji, na Madžarskem, Poljskem ter Nizozemskem v nizozemski in flamski skupnosti). Obstajajo pa tudi akreditacije, vzpostavljene na ravni VŠZ (v Združenem kraljestvu in na Portugalskem). Povezava z usmeritvami nacionalnega sistema za spremljanje, ugotavljanje in zagotavljanje kakovosti je v takih primerih manjša kot pri nacionalnih shemah, ki jih financira država, še vedno pa večja kot pri poklicnih a k redi taci j ah. Mnoge specializirane akreditacije, kot je EQUIS za poslovne VŠZ, običajno ustvarjajo ali utrjujejo pozitivno podobo posameznih VŠZ (predvsem tistih, ki se izvajajo/tržijo tudi izven državnih meja) in so manj usmerjeni v nacionalne interese. Ustvarjanje pozitivne podobe VŠZ preko pridobivanja različnih akreditacij je v zadnjem času postalo množičen trend. To ogroža dva glavna cilja sistemov za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu: • prikazovanje odgovornosti skozi transparentnost delovanja VŠZ (več transparentnosti, potrjene s strani različnih specializiranih akreditacij, lahko povzroči manj transparentnosti v očeh deležnikov) in • informiranost (ustvarjajo se vprašanja primerljivosti in kakovosti različnih akreditacijskih shem). Kot je zapisano v prvem odstavku, so subjekti akreditacijskih shem najpogosteje države oziroma državna telesa. Madžarski odbor za akreditacijo (HAC) potrjuje akreditacijsko shemo mednarodno in 24 sicer občasno z mednarodno zunanjo evalvadjo ter bolj pogpsto na ravni mednarodnega svetovalnega odbora (ang. International Advisory Board). Zagotavljanje kakovosti procesa, kriterijev in standardov v nacionalnih akreditacijskih shemah je v 20 evropskih državah, ki so bile predmet raziskave Schwarza in Westerheijdena (2004), zaupano nacionalnim organom, ki delujejo ločeno in, vsaj z vidika operacionalizacije, neodvisno od ministrstva in od VŠZ. V akreditacijskih shemah večine evropskih držav izvajajo proces pregledovanja VŠZ zunanje neodvisne komisije, ki jih povečini sestavljajo akademiki. Delovanje komisij nadzorujejo nacionalne akreditacijske agencije, kar je značilno predvsem za osrednjo in vzhodno Evropo. V Nemčiji in na Nizozemskem je pregledovanje VŠZ prepuščeno neodvisni zunanji organizaciji. V Nemčiji ima takšna organizacija celo pravico podeljevanja akreditacije, nacionalna agencija pa ima nalogp priznavanja teh akreditacijskih agencij. 4.2 Objekti akreditacijskih shem Pravilo v evropskih državah je, da so vsi VŠZ, vsi študijski programi in vse stopnje programov enakovredni v akreditacijskih postopkih. Razlika je v tem, kdo mora akreditirati študijski program ali VŠZ. Na Češkem, Madžarskem in Poljskem morajo VŠZ pridobiti akreditacijo, če želijo ponujati doktorske študijske programe. V Nemčiji je akreditacija omejena na nove dvostopenjske študijske programe (ang. Bachelor, AAaster), medtem ko tradicionalni študijski programi (ang. Magister, Diplom itd.) akreditacije ne potrebujejo. V Avstriji je akreditacija zahtevana za visoke šole (nem. Fachhochschulen) in zasebne podiplomske šole, tradicionalni javni univerzitetni sektor pa je izključen iz akreditiranja. Na Irskem so akreditaciji podvrženi neuniverzitetni VŠZ. Obvezno akreditiranje in evalviranje v matični državi za VŠZ, ki delujejo v tujih državah, je značilno le za Združeno kraljestvo. Redka je tudi praksa obveznega akreditiranja tujih VŠZ, ki želijo delovati v okolju druge države (kot velja na Madžarskem in na Nizozemskem pred 2003, ko je prišlo do sprememb vvisokošolskem sistemu). V večini evropskih držav je enota pregledovanja v akreditacijskih shemah študijski program. V nekaterih evropskih državah (Avstrija, Češka, Norveška in Švedska) pa je VŠZ akreditiran kot celota z namenom potrditve pravnega statusa VŠZ (npr. univerza z doktorskim študijskim programom, univerzitetni kolidž oziroma univerza brez doktorskega študijskega programa). Akreditiranje izobrazbe v smislu nacionalnega priznavanja podeljene izobrazbe VŠZ je značilno za vse evropske države in je tesno povezano z državnim financiranjem študijskega programa, VŠZ ali študentov (v obliki štipendij, nagrad in posojil). 4.3 Značilnosti Izvajanja akreditacijskih shem V središču akreditacijskih shem je običajno izobraževanje ali celo poučevanje. Predvsem vosrednji in vzhodni Evropi je raziskovanje prikazano kot vhodni element kakovosti v procesu poučevanja (s poudarkom na objavljanju kot kazalniku raziskovalne uspešnosti akademika). 25 Skupna pravila Evropskih držav pri izvajanju ak redi taci j ski h shem so: • ponovna akreditacija se izvede na podlagi samoevalvacije; • zunanja komisija presoja na osnovi obiska VŠZ; • končni izdelek zunanje komisije je poročilo. Razlike med državami je opaziti v načinu obveščanja deležnikov o rezultatih izvajanja akreditacijskega postopka. V nekaterih državah komisija za evalvacijo poroča področnim organizacijam, ki nato poročajo nacionalni akreditacijski agenciji (Nemčija, Nizozemska) ali pa poroča neposredno nacionalni akreditacijski agenciji (osrednja in vzhodna Evropa). Po določenem času, ki lahko vključuje odziv VŠZ na poročilo, nacionalna akreditacijska agencija objavi svojo odločitev ("da" ali "ne") in v večini primerov bolj podrobno poročilo o evalvaciji. Veljavnost akreditacije se giblje od 2 do 10 let (obe skrajnosti sta značilni za britanske akreditacijske organe). V Franciji je veljavnost akreditacije 4 leta, na Nizozemskem, ki se deli na nizozemsko in flamsko skupnost, pa imajo nizozemski študijski programi 5-letno akreditacijo, flamski študijski programi pa 8-letno akreditacijo. Glede na to, da se z akreditacijo presoja kakovost skozi standarde in kriterije, ki se nanašajo na preteklo delovanje (razen za novo nastale VŠZ in študijske programe), je področje Inovativnosti in izboljševanja kakovosti v nadaljnjem delovanju VŠZ pod vprašajem. Takšne težave so rešljive z inovativnimi pristopi in kriteriji, ki jih lahko zasledimo v praksah evropske akreditacije za poslovne šole EQU1S, ameriške akreditacije za aplikativno naravoslovje ABET in v strokovnih akreditacijski h organizacijah v ZDA, ki sodijo pod okrilje regionalnega akreditacijskega organa WASC (npr. letna poročila VŠZ o svojem napredku, nepopolne/delne akreditacije). V akreditacijskih shemah so pogosto zanemarjeni ali niso jasno izraženi kriteriji internacionalizacije, kot so izključno mednarodni presojevalci, izključno mednarodni standardi in kriteriji, internacionalizacija oziroma evropeizacija učnih načrtov. 4.4 Posledice akreditiranja S podeljeno akreditacijo ima VŠZ pravico ponujanja študijskega programa za pridobitev določenega naziva ali izobrazbe (če razumemo podelitev veljavnosti kot del akreditacijskega procesa). Posledice akreditiranja lahko celo ogrožajo delovanje VŠZ in lahko pripeljejo do zaprtja posamezne enote VŠZ, če mu akreditacija ni podeljena. Pogosto so del akreditacijske sheme presojanja in "tehtanja". Slednje se izvaja v dvostopenjskem procesu, pri čemer širša akreditacijska komisija izvede neodvisno proučevanje in pregledovanje sodbe, ki jo je podala zunanja komisija za presojo. Za primere pritožb so v nekaterih državah ustanovljeni organi, ki se ukvarjajo s pritožbenimi postopki (Norveška). Obstajajo pa akreditacijske sheme, v katerih se ugovarjanje ne izvaja (Češka, Madžarska, Poljska). 26 4.5 Financiranje akreditacijskih shem in njihovega izvajanja Financiranje akreditacijskih shem in delovanja nacionalnih akreditacijskih agencij je v evropskem okolju različno. V nekaterih primerih država krije vse stroške akreditiranja (Češka, Madžarska, Poljska). V nekaterih evropskih državah VŠZ krije marginalne stroške akreditiranja, stalni stroške vzdrževanja nacionalnih akreditacijskih agencij pa krije država (kot je to v Nemčiji, na Nizozemskem in v Sloveniji). 4.6 Primerjava evropskih akreditacijskih shem z ZDA Akreditacija je v ZDA instrument ugptavljanja in spremljanja kakovosti VŠZ že več kot stoletje. V tem času sta se akreditacija in njen namen spreminjala. Ob svoji uvedbi je imela akreditacija namen razjasnjevanja tipologij izobraževalnih organizacij. Po letu 1952 se je akreditacija začela prepletati s federalnimi politikami in je do leta 1990 postala ključen instrument ugptavljanja in spremljanja kakovosti VŠZ ali študijskega programa. Tudi v ZDA akreditacija pomeni izpolnjevanje sprejetih minimalnih pogojev. Bistvena razlika med akreditacijskimi shemami v ZDA in v Evropi je prostovoljna odločitev za akreditacijo, ki je značilna za ZDA. Zanjo se ne odločajo samo javni, ampak tudi najbolj prestižni zasebni VŠZ. Najbolj razširjena oblika akreditacije je institucionalna akreditacija, ki VŠZ omogoča financiranje iz proračunov zveznih držav za VŠZ in študente. Izvaja jo šest regionalnih agencij, ki delujejo vsaka v več zveznih državah. Za specializirane VŠZ (npr. teološke) obstaja institucionalna ak redi taci j ska agencija, ki deluje na ozemlju celotnih ZDA. Druga oblika akreditacij so specializirane akreditacije, ki jih je okoli 70 in se izvajajo po celotnem ozemlju ZDA. Običajno je v posamezni vedi samo ena specializirana akreditacij ska agencija, v nekaterih vedah (npr. v poslovnih vedah) pa sta po dve specializirani akreditacij ski agenciji. Akreditacija študijskih programov je v ZDA značilna predvsem za močne tradicionalne akademske vede, kot sta medicina in pravo, za mlajše vede, kot so bolniška nega, tehnične vede, poslovna administracija, socialno delo itd., ter za vede, v katerih je interes države za kakovost študijskih programov visok (usposabljanje učiteljev). "Čisti" študijski programi (kot je npr. sociologija v primerjavi s socialnim delom) niso podvrženi akreditiranju. Za specializirano akreditacijo lahko zaprosijo samo institucionalno akreditirani VŠZ. Razlog je vtem, da so standardi in kriteriji specializiranega akreditiranja močno podvrženi vidiku stroke in manj akademskem vidiku. To je v nasprotju z akreditacijsko miselnostjo v Evropi, kjer je vpliv akademikov v akreditacijskih shemah ključen. 27 v ZDA financirajo akreditacijske agencije organizacije, ki koordinirajo in izvajajo akreditacijske aktivnosti ter so včlanjene v akreditacijske agencije. Člani teh agencij so akademiki, zaposleni v VŠZ ali strokovnjaki posameznega področja (slednji prevladujejo pri specializiranih akreditacijah). Priznavanje akreditacijskih agencij v ZDA poteka na dveh ravneh. Na prvi ravni agencijo prizna Svet za visokošolsko akreditacijo (CHEA - Council for Higher Education Accreditation), kar pomembno prispeva k cilju prikazovanja odgovornega delovanja do različnih deležnikov. Na druga ravni agencijo prizna zvezna vlada. Pomembnost tega priznanja je velika, ker je vezano na financiranje iz proračuna zveznih vlad. Pomembna razlika med kazalniki kakovosti, ki jih proučujejo v akreditacijskih postopkih v ZDA in v Evropi, je v osredotočenosti na izide izobraževalnega procesa že od zgodnjih 90. let (ABET 2000 za tehnične vede). Poleg tega specializirane akreditacije zbirajo informacije o uspešnosti zadovoljevanja zahtev in potreb stroke (delodajalcev) z izidi izobraževalnega procesa. V nadaljevanju so prikazane značilnosti akreditacijskih shem sedmih akreditacijskih organov, med katerimi so štirje evropski in trije ameriški. Značilnosti in posebnosti so prikazane v tabeli 2. Slovenska akreditacija VŠZ je predstavljena v zadnjem stolpcu. 28 C o I« ••5 o h ■I I I» s "I < «rt >i/( C/ UJ ■o J2 o ro "O N . ^ C 2 o S 1-fs Jti •ž UJ o ra £o ^ K^-S m ro J 1 §-1 S; 4-> (O S ™ O ra Z Q. C Q. < O CO 3 E = S m .» 5 eo tt « g^ — u ^ M O. w ra N 4) > u ■o I S ■o W M V^ u S" f 2 s - -^ ^ III o. ra (0 ■o o Q.2 § & ft ^ (Q ^ Ö o o o fS 13 > O u ES 4} U M ^ i ^is ^ ^ o o o (N O e S = .s g^M g jS C ra E .2 m-g iaiSg a = CM _2 S£! "S g > u ^ C S o "J £ -s Cr u UJ o Lu re w'o 4) I -I "5 ra 'S III ra p g £?| 1/1 o < ra 10 M os 2 S ^ •H 8 s .s -o 8 e o o o Ä ■5 ™ •J2 'a u " s g l/l .'S ä:: -š 3 C C ® e g 8 C C = 5 g u lig i/t u o ra K ■o C (U 13 «-2 u ^ u n ft> ro ^ "O CT (U = IS s & Q. p C š g UJ C • ? I/I p =5 Q. O' E UJ E E UJ-« C C « .S E Q. ■ ^ O lil £ o UJ « ^ u M ™ n i S ^ 1 ä «>g 1 J2 C O 0) ^ >M 11 1 IS t? o J 2 tt E IV "S Vil u o Q. O o a W -s ra ra l/l "O UJ «3 e1 s o i - G ^ p I (O 13 It Ž ■o o Q. >8 s> g I CN ? ra £ UJ "D .S a . in i| d) p re s 3 ra .ti Z C o o M O dJ rs M ' ' 0) E (13 "fi iS s-3 iS g £ 2 ^ (O ijj ro ^ o I K e o v M 'S u I« II m "sr ib ! t s bJ m o >«-> O flj p > a « 2 9 bi C ti ^ ro ■S K t' o i: 3 •8 = •o.fi g I lU O) — ® i ^ i = 11 E -S ^ "i: ra -h s S § i rt I I W IS tv tel S i S = ^ C R) I- N i E I G .2 m t! g 5 Q. (D M IS o » E o S •m iS 9 E B "Š M il 10 ■O-tel ■§ e Q. Q. ö ro I _ J Bl^ Q. _ W o := S. ra -a Ö •S. e Ä«" 'S r ^ ^ ^ Q. M IV o ^ = M i - «rt »II Q ^ o m"'S "K >l3 5 >lrt C O M ^ ^ Q. Q. i- rtf m « E ^ ra tg-p :t E E •P o o .tt-g-g W -o Q. M 'SÖ g ® ™ >. ■p 4-> 5 ■ " ^ tU) y o C = v ra "O C tu ^ — S ^ o p ^ te) <ü g •R o. ■o ™ ^ Q] s p -o » = 5 "O ra & 3 N -Ä M > " « J VI ■§ E -o flJ C "S . Q. J > (O fD ' N S— fl) 0) C ™ ti N ^ O 'I U 5 § E E ~ cul 0) Q •fi I Es ^ l/l a> B C I > ^ o — s ^ l/l C >in ra ^ -D O ra •K E 2 a. E ra te) 2 o. 5 VI E ra te) 2 P .2 (0 u o s "K w O S O.— l/l E E CU) 2 Q. "O Q. Is "O 'S 0) M E S v > T3 e o. "O 2 o. "O 3 ra" -r-« S ra || "O 0) Q. N ra II II o ^ C ra ra fl) .u.' ra tt E — 0) os C ^ £ E-o-o 8 2 o-ra »M ^ ^ "o 5 r: -O >1/1 ra > — a) ■Q D Si o o 5 O 5 N E o o E-iÜ .o o 8 "O o g Q. E m ra e ra f) F In m C u ui H h' O 9 O >N O. O h & o -o UJ OS 1/1 g) m" o. I/I O C Era « 'S) .i-S >- Q io •p ra ^ -o o £ o. ra .0 fi Säu» g ä a S C m o n o « S £ s o o Q. O. O 3 ; ^ Ö I v ■ "D I ra fl) ^ o C E o P ni O C u. ra 0) 3 "O o Q. iü? ra o >u -"■OB u» g 5 ra ^ ra N ra C ra ra ^ S 2 o CL ra ra > Ä fffij p s >u e 1 ga •öää ra •■=> g-® |le| ra N o Q. Hi 's P •2. J I C N > o ^ O T: S E " &.Ä = ® -S •Ö -J? fl> C ® M N > ^ M d) ^ ra Ss Ig S >ti o h 0) g-o >0 -g Q. E >U 'P 3 8 o Q. -n na fO M S £ E ® « « 1 ra ^ "SÄ I o U) p) C <0 b ^SiS S Q. m ^ ^ nJ «v J2 Rra "O .g I s ra - ß" «tt = 2 g ™ J2 T3 C £ 2 e ra (u ro £ .0 C ■B e-g Š E o. n S o. m -«•"S 11. I/I ra >u :p ra « £ Q. C Q.^ - O .|S <0 C ^ « . - to .3> p ^ i o u o Ä s ^ .s > 3 T5 = g "O o BI -iS o g N -H C tU u e " v Iii C « > lU ^ ^^ £ 3 ro s I ® t: 5 E H o l. .«s g- e ^ g oa 0) £ -a 2 ^ ^ > O- ® >U (0 (U fli S) E M ^ ^ g Ä g, o TI .Sä ^ 03 o gi O O C C Q. O. O. Q. O .u- Ig ni ra is C g y, e llll. 2--.F .tt --i 5 ofloi'.s 8 -I e ^ ^ «v • - .1 M C -o 5 e š o |g S e o-gS ^■g e| c m Q. In 8{ W ti ? C ® I .p. Q p P 11] ? ra o > E in 3 M 0 I > s 1 i '8 H ** r. rti M "O "O O .. o = e 2 o ra . e| lU S-ft Ü1 •P C 3 u 3 > s.o ™ 0) o ,S la^ = C 2 "O ^ C o .a S o. J o • - p N TJ Oi^ ^^ ID T i« (U lU e = T" ^^ ^ C "O o. g S ™ ^ ä "O ü J2 g o. Q. ro £ iS Q. = 01 d) E N 3 <0 "O 11 01 re "O = Jä o «J3 O. "O jj- S-5 o. TJ 01 m u >M i o C .H ra .C > C sS -Ä « sei .§ Ii "a -S. d) e eil = M .©.I 2 15 E Ä od "3 ra S 4) 0> .B" S »W ' g« 5 ^ Q. p S s^l t- -H irt ra "o 2 « ra g P o ra C C -i 0> 5 e 5 ra I "S ■s t s OJ) > "ra o Š 5 ^ ra ra ra IV u " ra 2 « 'c S N ra ro P B? ra O) re C " C -o m 0) n C . >J N "O iS C a. ^ rä o 42 § o "CV^ <0 Q. &> u E C s ^ v O- ra "O ? ra . - » > öb>ü S jj v Q. B - M 8 C ^ N > iS ^ o S g f 0=5 s"-ii «le-s .g = 5 ra ? E Q. o--^ -3 5 2 o o. •C Q. O "O o o. ra ^ J2 C-P S ra "O C = « « ra t (D ^ ro ro •!-, ra o S oS JÖ. ^ 0 1 ra fa "D •■-> ■g ra N o N ^ .111 ■g.!-1 — C ^ 5 Sn ■r-, o > re ro .-Tg •E > C N N>KS g ^ 8 o 3 ra »n N •■-> > > Ä m E 5 ro .!« pJ " - ro Q. o> E C •p C Ära ra 5 p C = ? g i -N ^ s o o u. > o. Q.UJ 1 "O o Q. JS ■o o > .. o a. H o flj W p o = a >o o o -o >N $ •C d ^ re 0) 0) ÜS C i Ö. .a ™ ß p o. o. o o. J2 "O r o. o "S ti o Q. •C rsj Äre -t o m ja o £ 'SS "O >3 •g'.S v ^ > n N C o 4-> »5 h ■i I g-g < trt >6? k. i I lA i (U E « t|I (O ^ "O š S^E'IJI H & C (O ro O P C d) ^ IQ >N ui v o o S § E-Sro .. ^ <0 ® eJ 5 II C Q Ü) > jo^R^o I llld ll^a-s • ~ o o C Diir S V- = o ^ Q. 'g ra- « C I o C I" o IZ Q. > wi.c ra i? •!-« Q. o 4-> K :s ■g E^ t g v 0) ofl rj a> r 0 n>ti -K fe§i ffl s 1 "i i •C -I-,-— ra I g-g fe. š i s^ e C C Q. Q. č C o N >W p > « ^ o s i S age i ž 0 o. > ^ 8J2 v s E o o. « 3 1 ^ C a M ra o S .i-"^ tü s g O 8 -- » ^ ' u 8 « 2 ^ >0 "O m P P ^ ü oi ® o. ro C N v = s 000 ■■ "I C w č> E = g £ -gag ■o « J . E S OÜ "O o i_ _ro ■g OÄ « ? = E ta « C o ra y lU p 5 N o S e Im "O ra » OJ]-^ 5 !!!■§ N ^ o : ^ ÜJ ^ « C O-■p g Q. P 5 [2 « '.p .S--z« ra i. -r 6 DO a S-.2 © r- ^ E o o. % Ä M ^ N ra ni 2 & o. e s š 1 ^ ^ 2 fes ^ o illll 3 w>iji (D ra .0 ® S. o s «rt TJ " 5 ra !a,»«rt ra C -J N "" irt ra Ö E 2 <0 S = 5 ? = p č 5 -g N ■5 £2 i| •5 'm ^ E e ra I ^ ■2 g lu 5:2 S ^ Crt 4) P -J;. ra w 2 ^ o M £ o. 3 o. IB k ■ ■§5 ■C o>U lil Q. R o. ra ^o — © 1_ = Tp u 8 i o o. >30 Q. « C O -ti P C p -Q > £ "O p o o E o. ra P ofl P- Ö "U o "P C M ra C C lU _ UJ ra i/^ JO C tA (S ÖÖ.Ü s C. ra ^ g o ■o 2 P ra 10 a & ofl ^ Ofl =-= ra -S.-C .Si. , « C u ! »irt o P Ii C -g S'I u ra 3 C S 1 Q. ^ M d) P ^ ra S Jä l||l 2 2 S'!^ ^ trt Vt C w ^^ 9 "i o ra -C s - II i e I j: ra £ — E a _a> o ~ © ^ I r S Q. > p. VI ra ^ ■5 "S • • "O ^ •R S o o "O ra Š £ ra o -ra-o Ä 5 £ü K ra N -IJ C ^ . -tt ra hJ SE« I-I I" S .s M .0- E ^ o g N = ? ■g I "U -ti >3 ® & trt lA N > S-8 « E =5 ili « Ifl M t'J 2 ^ "ra 2 'S >0 S « =5 tJ « -g •v z M ra a o "Se E t! ra ^ g S C v (V §■2 « g >G ü -2 ^ - J "O 3 5 «a ra — «J "P -S, s 8 S = ? r: S E 5 ra N n ra 6 = S J S S - .g. i o ra «■g n ra >H- BJl ■E « g-8 41 ra C C ra>N •D g S ^ V ' ^ C 4) C (U ■SgÄ S •K 2 41 "P S o y Iilllll o ofl---- — irt ^ a ra •irt 1 = ■P. g iii 4) » C t o ll o C a a S C 5 ra ^ £ -S^ ft ra «f 4) 8 Si £ ra a N ra ^ Crt P p o. C ig E i:: E ■p ? « C Ofl P- fš« Ss Ii C e 0 u l/l ra o 3 i? Uo p.ü 8- ß > p o. I tu ra ^-S-P •5 oe E.S J ■ o Ä ÜJ «J « trt N ^ M ra ra g M Ofl ra 3 o ra ■il« ^ gro S « dl ra o. 41 'S 3 >U O ra ra <3 1Ä P E 01 E r o- ra P P •I I ra > ^ o d) M pJ "-is iS - ra ra.rj! 9 ^ ra > u. ra ^ UJ «"I irt s 4) IS 5"P •P P flJ 5 £ ra P = o. M «Ä > o -g s a C ra i« ti 8 " ■C i & (rt —. P ofl C ra jQ II fl- = o. ra ^ i >y Ž iS ra - 'S 2 ra > = -g .1. m g) ^ «Som •C Ä Q. ^ 2-§ 2 o. o. (rt .0 ra ^ II E p > S p «5-0 p P in >5 S > S TJ Š Irt 3 lil ra ra ^ N ^ P - 'if ra ^ 4) P >U Q. 4] •Ö.Ö S 'S 81 s « g ra p ra ^ ^ o.>u ra E 4) ra C if C tt ra JJ 5 "C = g N.O s (rt 4) U o "C K ^eI s .. g E = UJ C ra ^o in Irt M <0 . ^ w "S « « d) ofl C >u C o p .a. ^ 3 N S ^ a -i • ra S Sora ■S SP s Ofl 5 £ ra CL ^ hj IS-Š P« ^ = .0 = v g UJ JJ C Ö o M o > UJ -S- ■If el C -g o p p.-p N A C « Irt C P O > I n >U > C Ä P i ra «j^f e g .S, C ® >B C*-© C o v 4) T3 ■r E P O- n ra C •J- 3 C d) & S o u >u d) ^ ^ ^ p. ra |Jg K -C s gJ2 g p 0) o > 4, ^ Ji P. C -p «rt P Ü ¥ o. M sž-Sa (N m X Jä 0 JS H ^ >3 n >vi W.SZ § s 1 ^ tot b > o ^ (Q b < N a c o '■B tü '■B 2 h ■ll u n < t/1 •o o Q. O o. ob's d) 3 Jr . - C C TJ ■S'li! 1- "D O C Ofl g £ E o. «] lU 1« fs g —J o. tt •= 0 s E .i2 01 OJ) EJS ■C 9 o. J 1/1 ra C e > S o f ™ u J — VI dJ > E s C ^'ra J2 p y C i. 2-0 S i»^ ? ra "O ^ C S ra ■(j o. v i e a o "c M i -b C J2 s >85 H isii «v • » C >8i J 5 N >' N iu E v ■ 1 ^ (O E ® p ^ = ž N •fe C « E .•e t -o 3 <111 ^ E i „ ^ > (O ? ra C <. M 4J fl) N >2 >o 1? ^ 5 e o - Q."0 J N ra O u C ra |>g N "O "2 s M ag ■ć i £ o 2 0) 5 cn ^ "O Q. « ■C Ä-0 TS " o C ^ sill's g I g/^ E 3 £ ^ ^ -0 -i Ä If^H o = S .Ä>0 .0 Ä m M B R- Ro 8 = >1 2 P "S .S io s ® C M o C/l £ o --O in .J2, .0 ? 'E o o w <2 S S^ "D 2 lO C "O v- i.t ^ E C 0) (O ^ >o J ^ (O "E («J I.S ■S = o flow O0 Q. M |S E g ^ o E J 2 i -R ose «U p-O W aß 2 J ™ o •ti M i TS "O :c> 2 >«J o g ^ B o o R) >1/1 & I gl ■e C S o 0) T3 C ra -- « P g ■§ § ^ -S üj i C ra ■El^lil rt C o UJ C 9 "O o C ■2 a ^ 2 e " s ^ -s o flj ra E gŽ E C m -o v .p a o >u u CT C ra O. 3 o. N Ära VI K > i ^ « "S ™ «p n o Q.T3 ro O) §1 •g. 8 0:2 -M u p re 0 M i. re 0 •C P 0; (/1 b v ■o 32 & o -Ji flj ß ^ ■'^'s g iž o >u p s C o o. Q. ra .i: > 11^.21 OS^ "o p tü^ Q.M .0 N Is o v S g «i o = ra s m 5 2.:: > ® s M fl) "O re o 9- Si«! u ro J2 «0 -t: m "O =3 e o ^ Q. 10 U si — "O IÜ -s re re "D ni re % s: 0 o. 5 E E .S aj " ^ "ra N E •p- >0 g o •N D. ^ S ™ „ 01 JJ o ■§ e = a, C J3 o -S«! s >u ^ O.W re 81 o i2 ^ g) fl) O = •R « e « s o I" "O o _ ■o « ® C -T^ 5 "O 1 S o — a. NO E E « C DO ^ g C O. & ra a-Ä-s g g C •ff ^ o C Q. s M C Ä o 0) o ^ C >u o. ra lA 1 C re E 5 m re N re N re re re u ra "C TJ re v re re « so 2 re -E Ä e re •C-"O « e s o- E C d) >n M Q. 3 re "O U ^ "S p s o. re U F .0) iJ M E •S r C S 11 S u. "O G re N s """ re o £ E ■o v K.i re o. m 0) «L S ofl.tž « -O ^ S fi^ O- ™ o 3 d) VI (U C o C Q. o. Sr. TJ- 2 re re E JJ P -ifi ^ R E re ra TS L^ ^ SI 'S o o S *o o. o. o. o ra re •r>. "O "O E = o ■5 a" o o o. II 12 J-g E a o .b o s:i "O 01 •RS e 5^ a« s = 2 i; « 5 'C •p S re s: = ■0 tO re ra I ™ :=• 5 O- iS I P-■S ^ « " g S Ä i,-C C £ 2 I p £ rt 8. re u o re Q.*- In ^ re re (N C g > o JS = v Q. E ^ re o -o E o. 0) fl> re & Jü re "O fo ro .5 J a-8 3 > B S'g 2 ^ §• £ o. a C o •C •■6 v ■s J p < Vi C O -ft U ra o 1- k- ^ O. f ra o ^ C - C nn >u ^ m (D I? ill « £ ^ 8 J <0 5 0) s C •o & S - I Ii (A § "O O o. J2 o i .si« « z "-»u .s ^ > E^ 1/1 4) o P 5 "D o o (u ra 'S 5 'S. lu 0.10. "O o d ^ ra ar ž« ojj «Slg. __0) ra o ra £ o o ti .2 "D Dfl >u>u 9) d) ra ra ^ o. o. ra ^ ? i o ro ra » C o > « -S E o| a M ^ "v .. 'S T3 :FJ M > .O g O ■o 01 ra CL ra C -R o ti v .o o o. "O 5 8 i« g •JS. 5 S S -i _2 _ro Q. Q. > Q . ^ (U « « .S.- 5 ae? x: iS Ä ^Sli e C -žž ° .5 ro ro > J fI'SI 6 ra & M 8 t;; "O o Q. 0) ■o j2 Q. ^ C s w o M B ™ fli i « 8 N g OJ ra 0) iz C ra "D o Q. i« ra Q 5 £ 0) O o " S Ti "O ra E C ra ^ •p d) N 2 §1 S o ■g o d) ™ « e l?li ra .21 i; 3) fe' o i- 0) Q. ll Q. o. C tt o. E § •s s o. > a, c5I3 «ara tt ? o v ■S = ra o 32 O- W N Ž g > - ■P > ra 2-g as •I si o ra O.S C g C ^ iy ? fu 5 ^ S « Cfji So tu o u TJ E.^ g "O g g, "O ^ o ra v 'C 'Z o 4) ■p i « > 1=5 Ü C g ■tž f C ro ^ s ra S S'S § N o. ro M ra 5 o - 5 2 ^ o ^ ■U ra C j2 o "3 ! - g o-S ^ ra Ofl-D E esi ra K « ^ >5 Ä S-Q 2 = Is. ra ffi N j " i I ^ ^ —' ra C ^ o s v ra o. Q.-D .o-efl^ _ ® C3. o o. ra "O O N --ti e s g t; C ra N M SÄ M .t; ra • "O C £ o CU12 N 0 ra > 1 = ° u C ra IS o C o o. -i Xi -o jU Ü o 8" o. C o CL 5 PRIMERJAVA EVALVACIJSKIH SHEM (ZUNANJE EVALVACIJE) v nadaljevanju je prikazana praksa zunanje-evalvacijskih shem v evropskem visokem šolstvu. Poglavje je namenjeno pretežno zunanji evalvaciji in se samoevalvacije dotika predvsem zaradi nujne povezave obeh instrumentov v nacionalnih ureditvah evalvacijskih shem. 5.1 Vrste In subjekt! evalvacijskih shem Začetki zagotavljanja kakovosti VŠZ v državah zahodne Evrope so evalvacijski in ne akreditacijski. Evalvacije so se izvajale na ravni študijskega programa (z namenom ugotavljati raven kakovosti študijskega programa). Institucionalna evalvacija (oziroma revizija) kot instrument prikazovanja odgovornosti za kakovost VŠZ se je izvajala v Združenem kraljestvu in na Švedskem. V Združenem kraljestvu je bil eden od poglavitnih razlogDv za institucionalno revizijo tudi velikost VŠZ, kar bi v primeru izvajanja programskih evalvacijskih shem predstavljajo velik strošek v obliki sredstev, časa in ljudi. Danes je zunanja evalvacija VŠZ obvezna ali vsaj priporočena v skorajda vseh evropskih državah podpisnicah bolonjske deklaracije z izjemo Andore, Armenije, Avstrije (v primeru univerz), Bosne in Hercegovine, Luksemburga in AAalte. V Cipru je obvezna le za zasebne VŠZ. Slfka 5: Zunanje zagotavljanje kakovosti VŠZ v Evropi y<>f . NO f^gulst)'»« Vir: Eurydice 20Q7,48 Tudi notranje zagotavljanje kakovosti (samoevalvacija) je obvezno ali priporočeno v skorajda vseh evropskih državah podpisnicah bolonjske deklaracije z izjemo Albanije, Andore, Armenije, Bosne in Hercegovine, Opra, Danske in Luksemburga {Eurydice 2007, 47). Kljub temu je v teh državah zaslediti elemente spodbude za spremljanje in zagotavljanje kakovosti VŠZ. 35 stika 6: Notranje zagotavljanje kakovosti VŠZ v Evropi g corfipulsc.r^Dfr^'toitiW-frii^ti, ^ iJ^f^- Vir: Eurydice 2007,48 Nacionaini evalvacijski organi opravljajo svoje delo na celotnem ozemlju določene evropske države. V nekaterih državah {npr. Španija) obstaja več regionalnih evalvacijskih agencij. Državno spodbujene ali ceb driavno financirane evalvacije se izvajajo za javne VŠZ. Flamci v Belgiji in Nizozemci pa imajo ločeni evalvacijski shemi za univerzitetne VŠZ in višje strokovne šole. ENQA {2007, 25) predlaga organom za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu, da za zagotavljanje lastne kakovosti vzpostavijo notranje postopke. V te postopke ENQA vključuje mehanizme notranje presoje ter notranje in zunanje mehanizme povratnega informiranja. Zagotavljanje kakovosti članov komisij za zunanje presojanje kakovosti VŠZ (v nadaljevanju evalvatorjev) je eden od elementov, ki zagotavlja kakovost organa za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu. Komisija za zunanje ali notranje presojanje kakovosti vpliva na razumevanje, doživljanje, sprejemanje in izvajanje evalvacijskega procesa in njegovih izidov. Evalvatorji se navadno izberejo na podlagi splošnih kriterijev (FINHEEC 2006, 19; ENQA 2007, 20), mnogo organov za zagotavljanje kakovosti v visokem šolstvu pa izvaja tudi posebno usposabljanje evalvatorjev (kot je razvidno iz tabele 4). Za primerjavo navajamo izsledke raziskav evropskih inšpektoratov za izobraževanje, ki so sicer značilni za pregledovanje kakovosti srednješolskega izobraževanja. Standaert (2000, 34-36) ugotavlja, da so v praksi številni kriteriji, ki jih inšpektorati uporabljajo pri zaposlovanju svojega kadra: od upoštevanja predhodnih izkušenj v šolstvu, do intervjujev, izobraževanj, pisnih testov iz področja poučevanja, nacionalne strukture izobraževanja, managementa v šolah, upravljanja s proračunom, prava, zakonodaje s področja šolstva itd. V evropskem prostoru je v praksi opaziti raznovrstne metode usposabljanja inšpektorjev: "in-service" trening, notranji ali "hišni" (ang. in- 36 house) osveževalni trening, nadzor s strani mentorja, podpora tutorja in skrbno opazovanje. Usposabljanje "Viovincev" na inšpektoratih je v večini držav ustaljen in sistematično urejen postopek (ne pa proces). Žal je usposabljanje inšpektorjev med delom (ang. on-the-job training) običajno zanemarjeno. Standaert (2002, str. 36) med proučevanimi evropskimi inšpektorati za izobraževanje izpostavlja Anglijo kot najbolj napredno v evalvadji dela inšpektorjev. Metode spremljanja, ugotavljanja in zagotavljanja kakovosti inšpektorjev, ki jih tam uporabljajo, so: neposredno opazovanje pri delu, poizvedovanje pri managementu in učiteljih evaiviranih izobraževalnih zavodov, timski sestanki in pazljivo prebrana poročila. V praksi je tudi uporaba vprašalnika, ki se pošlje na evalvirani zavod po končanem obisku. Raziskave so usmerjene v potrditev veljavnosti in oceno zanesljivosti dela inšpektorjev. 5.2 Objekti evalvadjskih shem Pri institucionalni evalvaciji je pozornost usmerjena predvsem v analiziranje ureditve VŠZ in ukrepanje v smeri zagotavljanja kakovosti na organizacijski ravni, bolj kot v kakovost poučevanja in raziskovanja (kar je sicer bilo v preteklosti značilno za Finsko). Vse bolj se uveljavlja razmišljanje, da je kakovost VŠZ več kot samo kakovost poučevanja in raziskovanja, torej več kot samo kakovost procesa. Tako je vse večji poudarek na izidih tega procesa. Zunanja presoja kakovosti je lahko strateško orodje delovanja VŠZ, saj kot orodje diagnosticiranja pripomore k oblikovanju smernic ali načrtovanju ukrepov za izboljšanje delovanja. Nujen pogoj za uspešnost evalvacijskih in akreditacijskih shem je vzpostavljen notranji sistem spremljanja, ugotavljanja in zagotavljanja kakovosti na ravni VŠZ, vendar imajo le redke evropske države (AAadžarska, Norveška) to opredeljeno v visokošolskih pravnih aktih. 5.3 Značilnosti izvajanja evalvacijskih shem V skorajda vseh državah podpisnicah bolonjske deklaracije obstajajo določila o sestavi komisije v postopkih zunanjega spremljanja, ugotavljanja in zagotavljanja kakovosti VŠZ. Evalvatorji so po večini akademiki in raziskovalci (Eurydice 2007, 53). Vključevanje predstavnikov drugih deležnikov v procese evalviranja (primeri so razvidni v tabeli 3) je praksa številnih evropskih držav (Francija, Norveška, Portugalska, Švedska, Nizozemska pred 2003). Obvezna ali priporočena prisotnost študentov v komisijah za zunanje presojanje kakovosti je urejena v polovici držav podpisnic bolonjske deklaracije. V Estoniji in Grčiji je v komisijah za zunanje presojanje kakovosti predpisana samo prisotnost tujih strokovnjakov. Številne pa so države, v katerih je predpisana ali priporočena prisotnost tujih strokovnjakov in študentov (Eurydice 2007, 53). 37 Tabela 3: Člani komisij za zunanje evalvacije VŠZ po kraticah evropskih držav ittdtrttjoj r-MirtiJ-žS fweign iiÄc^ari «MTjhiUJ i^l'jdiftl: iö K # » » fii 1 ! IT •t 'J- ii- m LI « « K ftT 1 LT « S IV 62 Vi ® S et MD « ?? S- BEd? t « ME S; Cf t MK # BE ni V,- « MT ii.- 'i:. Nl t CH t HO ♦ « cy t PL J CZ ÖC- PI C-E s; -- RO « » DK # K # RS 9 EE » BU J £ Si M •S SE S. S es ft- Sl s 9 FJ s ■J' SK # 9 FR 7R t # Gl ■J m f UP. t # UK "J:- ž- * sJ V S Ji » 1 : oifipUscr,' perifiiL issie n ! KI .iiali.il:^ ^'Xivi. Euiydi« Vir Eurydice 2007, 54 V povprečju traja celoten evalvacijski proces približno eno leto. V določenih primerih (Nizozemska -HBO svet), ko je lahko v posameznem VŠZ veliko programskih evalvacij, se trajanje evalvacijskega procesa lahko podaljša celo preko dveh let. ENQA (2007, 20-21) priporoča organom za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu obisk VŠZ med drugimi elementi procesa presoje za povečanje veljavnosti, zanesljivosti in uporabnosti izidov tega procesa. Pregled delovanja različnih evropskih organov za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu kaže (tabela 4), da je razumevanje namena obiska VŠZ različno. V večini držav podpisnic bolonjske deklaracije je obisk del prakse (Eurydice 2007, 53). Izjema so države, ki nimajo določil za namene zunanjega spremljanja, ugotavljanja in zagotavljanja kakovosti VŠZ (Andora, Luksemburg in Malta) oziroma države, ki nimajo določil na tem specifičnem delu postopkov za presojanje kakovosti (npr. Danska, Finska). ENQA (2005, 7) priporoča, da se zunanje spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ izvaja periodično v točno določenih intervalih. V skorajda vseh državah podpisnicah bolonjske deklaracije, ki imajo urejeno zunanje spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ, je zahtevana aH priporočena periodično ponavljajoča se aktivnost presojanja kakovosti (Eurydice 2007, 56). 38 Slfka 7; Rednost izvajanja zunanjega spremljanja, ugotavljanja in zagotavljanja kakowsti VSZ •sr ^ «it8frel .wufsnce issM^n-MiiišgulžKd i J c-sisfvct^pvciifebte Vir: Eurydice 2007, 56 Eno od priporočil ENQ.Ä (2005, 7) je tudi zunanje presojanje učinkovitosti notranjega zagotavljanja kakovosti VŠ2, V vseh državah podpisnicah bolonjske deklaracije, kjer je zunanje presojanje kakovosti VŠZ obvezno ali priporočeno, nacionalna ureditev predpisuje uporabo rezultatov notranjega presojanja kakovosti za namene zunanjih postopkov presojanja kakovosti VŠZ (Eurydice 2007, 53). Slika 8: Raba rezultatov notranjega zagotavljanja kakovosti za namene zunanje^ spremljanja, ugDtavliania in zasotavliania kakovosti VŠZ P'Jie '.iJ 1 «•«! e- int« ra! jifoese^ is i?;- I^o H^ulatons CMI •?! Vir: Eurydice 2007, 53 5.4 Posledice zunanjega evaMranja Posledice evalviranja so odvisne od namena vzpostavitve evalvacijske sheme. Če je namen evalviranja prikazovanje odgovornega delovanja, potem so lahko posledice zelo občutne za VŠZ, kot je to npr. prekinitev veljavnosti VŠZ. V tem primeru evalvacijska shema pridobi ak redi taci j ski 39 namen. Če pa je namen evalviranja izboljševanje delovanja, je za posledice in njihovo realizacijo odgovorna VŠZ, ki je bila evalvirana. V Franciji in Italiji imajo za ta namen ustanovljene skupine opazovalcev, sami jih imenujejo observatoriji. V Združenem kraljestvu in na Švedskem imajo uradne postopke monitoriranja^^ in ponovnega evalviranja. Raziskave pa kažejo (Jeliazkova in Westerheijden 2000, Jeliazkova in Westerheijden 2002 v Schwarz in Westerheijden 2004, 29), da vzgib za izboljševanje delovanja VŠZ le redko pride iz zunanjega spremljanja, ugotavljanja in zagotavljanja kakovosti. S tem je povezano tudi vprašanje vpliva rezultatov evalviranja na financiranje VŠZ ali njegovega študijskega programa. Različne države se do te problematike različno opredeljujejo. Nekatere so v raziskavi Schwarz in Westerheijden (2004, 30) poudarile, da bi bilo primerno, da so organi financiranja obve^eni o izidih zunanje presoje (npr. Združeno kraljestvo), vendar na bolj neformaliziran način npr. med pogodbenimi pogajanji (Francija). Ni pa jasno opredeljeno, kakšne bi bile v tem primeru posledice za VŠZ. 5.5 Financiranje evalvacijskih shem in njihovega izvajanja Evalvacijske sheme v večini evropskih držav financira država (Danska, Švedska, Združeno kraljestvo) (Schwarz in Westerheijden 2004, 15). Na Nizozemskem pred 2003 in v Združenem kraljestvu pa evalvacije financirajo VŠZ s prispevki in včlanitvijo v določeno organizacijo, ki združuje pod svojim okriljem evalvacijske agencije, ali z včlanitvijo v določen evalvacijski organ (QAA - Quality Assurance Agency v Združenem kraljestvu). Prav QAA je hibridni sistem, ki ga v večjem delu financira država (Founding Councils for England, Scotland and Wales), deloma pa se financira tudi s prispevki iz okolja. V tabeli 4 so prikazane značilnosti izvajanja evalvacijskih shem štirih evropskih evalvacijskih organov, ki evalvirajo mednarodno (1) oziroma na ravni države (3). Z uvedbo prej omenjenega Evropskega registra agencij za zagotavljanje kakovosti v visokem ŠDlstvu (EQAR) delitev v mednarodne in nacionalne evalvacijske (in akreditacijske) sheme ne bo več aktualna. V ločenem stolpcu tabele 4 navajamo smernice ENQA kot referenčno podlagp ostalim evalvacijskim shemam. Slovenska ureditev zunanje evalvacije je v zadnjem stolpcu. ^^ Monitoriranje je [sistematično in] nenehno spremljanje kakovosti izobraževalnega sistema, VSZ ali programa (Scheerens 2007, 8). 40 I V) > I« •o- 19 S « a 'S* ra S N sC E .S (O 3 ■g N^tt (0 ™ 'C m OÖ v 5 H o h ■ifi S N .S 2. > o o "O V Cd ra S 3 J*: ro . - ni ^ o Ü >V1 O S C «S 5 ^ C ^ (0 era C ~ C E 11) o. M 3 "D .•s > ra tel g o. "O ra -s ra o S S > o tU -o Ii ra « ^ S « "c as E cJ I «I ra N M ^ Q. o "ra > o J 0) a ra S w = 1 ^ C N ra. ro 1/1 C ra F 3 -O ^ g I S ra l/l N ^ g gl l/l Ui ^ s 8 i o Q || re ™ Si l/l o s a 3 .ra B 4-> O ra a II O 0) C ^ rt in iS 9 T7 o £ ß* re Q. 3 ^ "O o Q. _ra Ä ra « ra ra fi-S" re E E i_ u ££ ■5 ra F CL (U E e Q. N V) E O Č ra M 1. ra ^ H ^ ÜJ ž- «-g a iE — o S 5 t« v r-4 m O ra 5 O 1 N N 2 o ^ ^ o e a >i!i + ra C o «u E g C u g.«T .2 ia u OJ) ra o C "D •S ® .. ra > tNi C o 5 « ra; o ® -K J gl-g ra^ M ^ N = Ä ra -C* « ? 0) ra « s 5 r .2 a «IT 0) u o ' E 8-g 5 m tO •"'S C p l.l v (O E E E 03 C m N O C >u nj C M 0 d; 1 S "C Q. > O 0 .'A 5 = e S 1 N •— C ra >_ O IP ll u J p s ® >S i E I 0) W M •!-> m C ra C ^ brao ^ Q.-Ö "O o o. § z u £ •C Q. > O "O o o. ra -f^ N u .is ja ra C -S g 5 E v «J ■i" 2 n O) E ii E 0) ra ^ tt o iS § M a^E ? C re Ci •Ril pes h .U ^ I > > S U "O o a "O o o. "D O Q. OJl E ta S ^ .S2 « E R J J •tJ (Ü Q. C ra ^ — E « 85 E H P i g -S £5 " o H- etS- a| > H ft« t: a-§ ra 4) M ^ Ol/I TT C C v -S £ = a >w g nT " T? E 6f £ o C o u m S > ^ 8 5 S TI Tn w -s . = « >u ™ Ä ^ 5 g>5 C « i! o v ".s:' £- ^ C m s (<3 EC C .. o 3 •o 4- ^ N C g u n ■o-iS •o 5 (D "K <0 o ^ ■Üh re C g :e>s E E o -o C N •Ö -S. S i I e E t; "D O O. 1 1 i -O S ® o - C ™ -S. = n .S ĐJ3 s H 5 - 8| w E Q -o o ® C re -g re " C E e-5 E C oi o M o o d) O. VI U -Si« I SÄ > C 9 ' v C vo D >0 J o g ^ re m od >-JC o u s-s a "O o o. -o o o. "O o D. > n) O "S > :c ■S-a IJ "O o o. Q. O > C n> C M o -D "O o Q. -O O Q. -O O Q. -O O O. « E ^ i|l rJ >65 "Sr cx § ¥ "O o a IZ ? '5 o 5 C d) "5 Ö o E v re u ■/> e ■o o Q. ^ g IV o u i ^ ■2 o ■o -o s L It Q. O O Q. V Si o 5 o- -o g ra-Q ti 8 S I äg C + o? o "O o Q. ^ C Ji « re M O > S o S 3 -o "O o o. "O o o. •o o Q. "O o Q. N C •S ra re >w C [O «I i. n .n s o 8-M E 1/1 £ « « 3 re o o. o- DO O) u "O oa ra ■s 'SI? Q. ® .5, O o I E C N o o o o Q. C "C > iJi § ^iß •2 5 c So^ v ra ra vj N m m 6 SPREMLJANJE, UGOTAVLJANJE IN ZAGOTAVLJANJE KAKOVOSTI V SLOVENSKEM VISOKEM ŠOLSTVU 6.1 Uvod Akreditacija je v Slovenji uveljavljen instrument za ocenjevanje kakovosti VŠZ ali študijskega programa. VŠZ zaprosijo za postopek akreditacije še pred pričetkom delovanja in/ali pred izvedbo (novega) študijskega programa. Akreditacije študijskih programov so zaupane Svetu Republike Slovenije za visoko šolstvo, natančneje njegovemu Akreditacijskemu senatu. Pogoje za pridobitev akreditacije določajo AAerila za akreditacijo visokošolskih zavodov in študijskih programov (Uradni list Republike Slovenije, št. 101/2004), ki opredeljujejo osnovne značilnosti študijskih programov, njihovih izvajalcev ter načine preverjanja in ocenjevanja znanja, opredeljujejo pa tudi osnovne značilnosti kompetenc diplomantov. Pridobljena akreditacija predstavlja pogDj za vpis v razvid VŠZ. Ta daje VŠZ možnost javnega financiranja in s tem delovanja kot javni VŠZ. Prvi zametki vzpostavljanja sistema evalvacij v slovenskem visokem šolstvu segajo v leto 1993, ko je bila z Zakonom o visokem šolstvu (ZViS) formalno omogDČena ustanovitev komisije za kakovost (Uradni list Republike Slovenije, št. 67/1993). Med ostalimi zadolžitvami je imela Nacionalna komisija za kvaliteto visokega šolstva (v nadaljevanju NKKVŠ) nalogo, da poskrbi za izvajanje samoevalvacije na vseh VŠZ. Večina VŠZ redno izvaja samoevalvacije, kot navajajo v letnih poročilih o zagotavljanju kakovosti, ki jih objavlja Nacionalna komisija za kvaliteto visokega šolstva. Vendar pa samoevalvacijska poročila temeljijo predvsem na izsledkih mnenjskih raziskav in zbiranju informacij o delovanju VŠZ iz notranjega okolja. Zaradi neopredeljenih kazalnikov, po katerih bi se samoevalvacije izvajale, primerjava med VŠZ še danes ni možna. Prav tako pa je iz letnih poročil VŠZ o zagotavljanju kakovosti, ki jih objavlja NKKVŠ (Pauko, ur. 2006), mogoče razbrati odsotnost kvantitativnih podatkov, ki bi omogočili presojo kakovosti VŠZ. Neurejenost sistema zunanjih evalvacij VŠZ na slovenskem je spodbudilo VŠZ k samostojnemu pristopu do evropskih organizacij, ki izvajajo institucionalne in programske zunanje evalvacije (Rodman idr. 2007, 92-93). Leta 1998 je bila vokviru projekta Zagotavljanje kakovosti vvisokem šolstvu v okviru mednarodnega programa Phare (Phare multi-country programme in higher education) izvedena pilotna institucionalna zunanja evalvacija na Univerzi v Mariboru, pilotna programska zunanja evalvacija pa na Ekonomsko-poslovni fakulteti te univerze, istega leta je Univerza v AAariboru zaprosila za institucionalno zunanjo evalvacijo pri Zvezi evropskih univerz (CRE, današnje Evropsko združenje univerz - EUA), ki jo je leta 2004 ponovila. V letih 1998 do 2000 je v okviru projekta Tempus Phare: Zagotavljanje kakovosti v visokošolskem sistemu (Quality assurance in higher education system) potekala na Univerzi v Mariboru zunanja evalvacija (z vključitvijo Pedagoške in tehniških fakultet). Leta 2006 je Ekonomska fakulteta Univerze v Ljubljani pridobila akreditacijo EQUIS pri European Foundation for Management Development 44 (EFMD), kar jo umešča v mednarodno skupino kakovostnih poslovnih šol. Leta 2007 je na Univerzi v Ljubljani potekala institucionalna zunanja evalvacija pri Evropskem združenju univerz (ELIA). VŠZ se lahko samostojno odločijo za presojanje kakovosti svojih storitev, študijskih programov in procesov tudi pri nacionalnih organizacijah. Urad Republike Slovenije za meroslovje (MIRS) je pooblaščen za presojanje po metodologiji evropske nagrade za odličnost in podeljevanje Priznanja Republike Slovenije za poslovno odličnost (PRSPO). Slovenski inštitut za standardizacijo (SIST) pa pripravlja slovenski prevod mednarodnega standarda !WA2, Sistemi vodenja kakovosti ■ Smernice za uporabo standarda ISO 9001:2000 v izobraževanju, ki bo predvidoma izdan konec leta 2008^ ^ Na nacionalni ravni je do leta 2004 NKKVŠ spodbujala predvsem letno izvajanje samoevalvacije. Od leta 2004 pa v zakonodaji zasledimo tudi zahtevo za zunanjo evalvacijo in obvezno vnovično akreditacijo. AAerila za akreditacijo visokošolskih zavodov in študijskih programov (Uradni list Republike Slovenije, št. 101/2004) v 5. členu predvidevajo vnovično podelitev akreditacije le ob upoštevanju poročil samoevalvacij in zunanjih evalvacij. V istem letu so bila objavljena Merila za spremljanje, ustavljanje in zagotavljanje kakovosti visokošolskih zavodov, študijskih programov ter znanstvenoraziskovalnega, umetniškega in strokovnega dela (v nadaljevanju AAerila) (Uradni list Republike Slovenije, št. 124/2004). Ta so bila izdelana na podlagi standardov in smernic ENQA (2002). NKKVŠ je bil leta 2004 (na rektorski konferenci) podaljšan mandat. V ZViS-UPB2 (Uradni list Republike Slovenije, št. 100/2004) je člen 51.a predvideval ustanovitev javne agencije za visoko šolstvo. Med predvidenimi nalogami javne agencije za visoko šolstvo je bila tudi skrb za delovanje sistema spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu in višjega strokovnega izobraževanja z zunanjimi evalvacijami. Določeno je bilo, da do ustanovitve javne agencije za visoko šolstvo oziroma pozneje evalvacijskega senata naloge na področju zunanjih evalvacij opravlja NKKVŠ. Poudariti je treba, da je v Sloveniji delovanje javnih agencij (Zakon o javnih agencijah. Uradni list Republike Slovenije, št. 52/2002) urejeno tako, da ustanovi javno agencijo vlada, ki ima pravico vplivanja na sestavo organa in njegovo delovanje. Med drugim je v 3. členu Zakona o javnih agencijah (Uradni list Republike Slovenije, št. 52/2002) navedeno, da se za poslovanje agencije uporabljajo določbe Zakona o državni upravi (Uradni list Republike Slovenija, št. 52/2002). Gre za organizacijsko obliko državne uprave, ki je primerljiva z organom v sestavi ministrstva. To pomeni, da nacionalni organ za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu ustanovljen v statusni obliki javne agencije, ne bi bil samostojen, neodvisen in nepristranski organ. Objavljeno na ^letni strani Slovenskega inštituta za standardizacijo (9. 3. 2008): http://www.s1st.si/slo/z1/z162.htm. 45 ZViS-UPB3 (Uradni list Republike Slovenije, št. 119/2006) ne predvideva več ustanovitve javne agencije za visoko šolstvo, temveč njene naloge podeli Svetu Republike Slovenije za visoko šolstvo. Po 51. členu ZViS-UPB3 Svet Republike Slovenije za visoko šolstvo za vodenje in odločanje v akreditacijskih, evalvacijskih in habilitacijskih postopkih imenuje akreditadjski, evalvadjski in habilitacijski senat. Evalvacijski senat ima nalogo zbirati in analizirati samoevalvacijska poročila, voditi zunanje evalvacijske postopke, imenovati komisije za zunanje evalvacije in usmerjati postopke zunanjih evalvacij. V senatu je devet članov, ki zastopajo vsa študijska področja. V skladu s standardi ENQA (2002) je Svet Republike Slovenije za visoko šolstvo od vladnih organov neodvisno telo, zaradi zagotavljanja nepristranskosti pa vanj ne smejo biti imenovani poslovodni organi VŠZ oziroma rektorji in prorektorji univerz, dekani, prodekani in direktorji članic univerz ali samostojnih VŠZ ter ravnatelji in direktorji višjih strokovnih šol. Med člani senatov morata biti tudi po en predstavnik zaposlenih in študentov. Nepristranskost je zagotovljena še z drugimi določili (upoštevanje subjektivne in objektivne nepristranskosti, delovanje v skladu z Zakonom o splošnem upravnem postopku, izločitev člana Sveta RS za visoko šolstvo iz glasovanja v akreditacijskem postopku, če je vistem postopku glasovalže na VŠZ). Vendar pa ima Zakon o visokem šolstvu nasprotujoči si določili. Kljub razglašeni neodvisnosti in samostojnosti organa (48. člen ZViS-UPB3) je v 50. členu istega zakona navedeno, da strokovne, organizacijske in administrativne naloge za Svet Republike Slovenije za visoko šolstvo opravlja organ v sestavi ministrstva, pristojnega za visoko šolstvo. Šlo je za nekonsistentnost določb, zato je Ustavno sodišče dne 17. 1. 2008 razveljavilo določilo v zakonu o opravljanju nalog s strani organa v sestavi ministrstva. Kljub temu je v zadnjem času Svet Republike Slovenije za visoko šolstvo podvržen številnim zunanjim pritiskom^^, ki se nanašajo na samostojnost, nepristranskost, neodvisnost, strokovnost in zakonitost organa in vplivajo na njegovo delovanje. 6.2 Vzpostavljanje modela nacionalnih institucionalnih zunanjih evalvacij Naloga NKKVŠ je med drugim bila, da v letu 2006 pripravi metodologijo nacionalnih institucionalnih zunanjih evalvacij in preveri Merila (2004) v praksi. Pilotne institucionalne zunanje evalvacije niso bile namenjene podeljevanju ocen ali razvrščanju VŠZ. Projekt je bil financiran s strani Ministrstva za visoko šolstvo, znanost in tehnologijo. Besedilo naslednjih podpoglavij predstavljajo deli Poročila projekta pilotnih nacionalnih institucionalnih zunanjih evalvacij slovenskih visokošolskih zavodov v letu 2006 (Trunk Sirca idr. 2007). Iz poročila smo povzeli poglavja, ki vključujejo elemente priprave, izvajanja in presoje izvedbe, izdelkov in instrumentarija pilotnih institucionalnih zunanjih evalvacij. Besedilo podpoglavij 6.2.1 do 6.2.4 ter 6.2.7 je predstavljeno v nespremenjeni obliki, besedilo Več na spletni strani Študentske organizacije Slovenije: http://www.studentsk3-org.si/rqsnode/view/403 (15. 2. 2008) in na spletni strani Univetre v Ljubljani: http://www.unl-lj.si/novica.aspx?ld=903 ( 26 . 2 . 2008). 46 podpoglavja 6.2.5 je nekoliko preoblikovano, podpoglavje 6.2.6 pa je spisano namenoma za pričujoče poročilo in predstavlja analizo mnenja udeležencev v pilotnih institucionalnih zunanjih evalvacijah. 6.2.1 Priprava na pilotne institucionalne zunanje evalvadje NKKVŠ je januarja 2005 objavila javni poziv za kandidate za člane komisij za institucionalne zunanje evalvacije. Med prispelimi vlogami je za člane komisij za pilotne institucionalne zunanje evalvacije predlagala strokovnjake, ki imajo dokazila o strokovni usposobljenosti (na področju zagotavljanja kakovosti ali na področju visokega šolstva). Evidenco predlaganih kandidatov je potrdila NKKVŠ. Decembra 2005 so bili VŠZ v Republiki Sloveniji in drugi predlagatelji v skladu ZViS-UPB2 (Uradni list Republike Slovenije, št. 100/2004) pozvani, da predlagajo VŠZ, ki bi se želeli vključiti v pilotne Institucionalne zunanje evalvacije. Poziv je bil poslan rektorjem univerz in dekanom članic, dekanom samostojnih VŠZ, študentskim svetom univerz in Študentski organizaciji Slovenije. Vloga za začetek postopka je morala vsebovati podatke o predlagatelju (opis pravnega statusa, organiziranost, ime zakonitega zastopnika) in kratko utemeljitev. Med prispelimi vlogami so bili izbrani predstavniki univerz in samostojnih VŠZ z različnih področij. Izbrani so bili štirje VŠZ. Le-ti so morali pred obiskom komisije za pilotne institucionalne zunanje evalvacije tej poslati Izpolnjen pregledni vprašalnik skupaj z ustreznimi prilogami. Pred začetkom izvajanja pilotnih institucionalnih zunanjih evalvacij je bil po zgledu dobrih praks iz tujine in po smernicah ENQA (2002) razvit instrumentarij, ki je vseboval pregledni vprašalnik za v VŠZ - pripravo na zunanjo evalvacijo in protokol obiska komisije za zunanjo evalvacijo VSZ. Pregledni vprašalnik za VŠZ - priprava na zunanjo evalvacijo je bil pripravljen na podlagi A/te ril (2004). Namenjen je temeljitejši pripravi evalviranega VŠZ in komisije za pilotne institucionalne zunanje evalvacije na obisk. Protokol obiska komisije za zunanjo evalvacijo VŠZ je bil pripravljen za pomoč komisiji za pilotne institucionalne zunanje evalvacije pri pripravi na obisk. V fazi izvajanja je bil pripravljen tudi vzorec končnega poročila komisij za pilotne Institucionalne zunanje evalvacije. 6.2.2 Sestava in priprava komisij za pilotne institucionalne zunanje evalvacije NKKVŠ je po predhodnem soglasju evalviranih VŠZ In v skladu z AAerili (2004) imenovala člane komisij za pilotne institucionalne zunanje evalvacije za vsak VŠZ posebej. V vsako komisijo je bilo med evidentiranimi kandidati imenovanih pet članov. V vsaki so bili predstavniki različnih področij in interesov: dva ali trije strokovnjaki s področja visokega šolstva, vsaj en s področja gospodarstva ali negospodarstva z izkušnjami s področja zagotavljanja kakovosti in en predstavnik 47 študentov. V vsaki komisiji je bil imenovan predsednik. Komisije za pilotne institucionalne zunanje evalvadje je potrdila NKKVŠ. Tuj strokovnjak v pilotni izvedbi ni sodeloval, kljub smernicam evropskih organizacij (ENQA 2007, 29; EUA 2005, 22) in določilom v Merilih (2004, 27. člen). Prisotnost tujega strokovnjaka s področja visokega šolstva prinaša številne prednosti. Med temi je večja nepristranskost dela komisije, bogatenje znanja njenih članov in skrb za nenehno izboljševanje dela le-teh. Prav tako pa tudi širjenje evropskih izkušenj, kot je poudarjeno v Berlinskem komunikeju (Realising the European higher education area: Communique of the Conference of ministers responsible for higher education in Berlin on 19th September 2003, 3). Usposabljanje kandidatov za člane komisij za pilotne institucionalne zunanje evalvacije in predstavnikov evalviranih VŠZ je potekalo v obliki dveh strokovnih posvetov. Nanje so bili poleg članov komisij za pilotne institucionalne zunanje evalvacije povabljeni tudi dekani in predsedniki komisij za spremljanje kakovosti na evalviranih VŠZ, predstavniki študentov in predsedniki univerzitetnih komisij za spremljanje kakovosti. Na posvetih so udeleženci podrobneje spoznali Merila (2004), postopke in metodologijo pilotnih institucionalnih zunanjih evalvacij. 6.2,3 Izvajanje pilotnih institucionalnih zunanjih evalvacij Pri pilotnih institucionalnih zunanjih evalvacijah so se ocenjevala izbrana področja iz Meril (2004). Člani komisij za pilotne institucionalne zunanje evalvacije so pred obiskom VŠZ prejeli dokumentacijo ustreznega evalviranega VŠZ. Po analizi preglednega vprašalnika in priložene dokumentacije so se v komisijah za pilotne institucionalne zunanje evalvacije razdelile naloge med obiskom in določila področja za temeljitejši pregled. Vsaka komisija za pilotne institucionalne zunanje evalvacije je po pregledu prejete dokumentacije obiskala VŠZ. Obiski so trajali dva dni. Namen obiska na evalviranem VŠZ je bilo preveriti dokaze za navedbe in razjasniti morebitne nejasnosti v dokumentaciji, ogledati si postopek za samoevalvacijo in ukrepe za zagotavljanje kakovosti ter občutiti vzdušje znotraj VŠZ. Člani komisije so intervjuvali predstavnike VŠZ, visokošolske učitelje in sodelavce ter študente. V zadnjem dnevu obiska je komisija ustno predstavila svoje ugotovitve predstavnikom evalvirane VŠZ (vodstvu, ponekod tudi predstavnikom komisije za kakovost VŠZ). Na podlagi ugotovitev na obisku VŠZ je komisija za pilotne institucionalne zunanje evalvacije pripravila zapisnik o obisku VŠZ in ga v obliki pisnega poročila poslala NKKVŠ. Evalvirani VŠZ so prejeli končno poročilo. Poročilo obsega od 20 do 30 strani. Poročilo je pripravil predsednik komisije za pilotne institucionalne zunanje evalvacije s soglasjem vseh članov komisije. Evalvirani VŠZ so NKKVŠ v določenem roku lahko poslali pripombe k prejetemu poročilu. 48 6.2.4 Presoja izvedb e, izdelkov in instrum en torija p ilo tnih instituciona t ni h zunanjih evalvacij Presoja končnih poročil komisij za pilotne institucionalne zunanje evalvacije, povzetek pripomb evalviranih VŠZ h končnim poročilom in presoja instrumentarija se nahaja v Poročilu o vzpostavljanju sistema institucionalnih zunanjih evalvacij slovenskih VŠZ v letu 2006 (Trunk Sirca idr. 2007, 13) in jih tukaj ne navajamo. Predlaganih je bilo nekaj izboljšav instrumentarija: • uskladitev preglednega vprašalnika z Merili (2004), • natančnejši zapis protokola obiska. Predlog usklajenega preglednega vprašalnika in prenovljeni protokol obiska se nahajata v poročilu institucionalnih zunanjih evalvacij (Trunk Sirca idr. 2007, 13). 6.2.5 Opazovanje obiskov na evalviranih visokosolskih zavodih Člani projektne skupine pričujočega ciljno-raziskovalnega projekta so sodelovanje Centra za kakovostin evalvacije Fakultete za management Koper Univerze na Primorskem v projektu NKKVŠ izkoristili za dodatno proučitev tekočih aktivnosti za vzpostavitev nacionalnega modela institucionalnih zunanjih evalvacij. Opazovanje obiskov na evalviranih VŠZ presega vsebino javnega naročila za projekt pilotnih institucionalnih zunanjih evalvacij NKKVŠ. Zaradi pomembnosti in koristnosti izsledkov opazovanja za nadaljnje nacionalne institucionalne zunanje evalvacije pa jih je projektna skupina vseeno vključila v Poročilo o vzpostavljanju sistema institucionalnih zunanjih evalvacij slovenskih visokošolskih zavodov v letu 2006 (Trunk Sirca idr. 2007). Opazovanje je potekalo v času obiskov komisij za pilotne institucionalne zunanje evalvacije na evalviranih VŠZ. Vsak VŠZ je obiskal en opazovalec, ki je zaradi zagotavljanja čim večje objektivnosti mora I izpolnjevati pogoja: • v preteklosti ni sodeloval z evalviranim VŠZ in • je sodeloval na usposabljanjih za člane komisij za pilotne institucionalne zunanje evalvacije. Naloga opazovalcev v času obiskov evalviranih VŠZ je bila spremljati izvajanje obiska ter odzive vpletenih, izvedbo in instrumentarij pilotnih institucionalnih zunanjih evalvacij. Področja opazovanja so bila vnaprej opredeljena. Ugotovitve opazovalcevzdružujemo v naslednjih alinejah. • Evalvirani VŠZ so komisijam za pilotne institucionalne zunanje evalvacije zagotovili ustrezne razmere za delo in nemoteno izvedbo obiska. • Opazovalci so v nekaterih primerih zaznali, da so VŠZ iskali potrditev preteklega dela, ne pa informacij o možnostih za izboljšanje. • Opazovalci predlagajo pripravo protokola obiskov, ki natančno opredeljuje ravnanje komisije med obiskom evalviranega VŠZ. 49 • Načrtovati je treba dodatno usposabljanje za pripravo in vodenje intervjujev na VSZ za komisije za pilotne institucionalne zunanje evalvacije. Na usposabljanjih naj se med drugim predstavijo praktični primeri zunanjih evalvadj v evropskem visokošolskem prostoru. • Komisije za institucionalne zunanje evalvacije se morajo bolje pripraviti na obisk in bolje organizirati svoje delo. • V nadaljnje nacionalne institucionalne zunanje evalvacije je priporočljivo povabiti strokovnjaka za evalvacije iz tujine, kot je zapisano v 27. členu AAeril (2004). 6.2.6 Mnenja udeležencev pilotnih institudonaInih zunanjih eva fvadj v slovenskem visokošolskem prostoru Poleg opazovanja je projektna skupina izvedla še anketiranje predstavnikov evalviranih VŠZ ter članov komisij za pilotne institucionalne zunanje evalvacije. Anketiranje je potekalo na zaključnem srečanju pilotnega projekta NKKVŠ. Anketiranje udeležencev pilotnih institucionalnih zunanjih evalvacij presega vsebino javnega naročila za projekt pilotnih institucionalnih zunanjih evalvacij NKKVŠ, ki ga je pridobil Center za kakovost in evalvacije Fakultete za management Koper Univerze na Primorskem. Izsledke anketiranja tako navajamo izključno vtem poročilu. Razvita sta bila dva anketna vprašalnika, eden za člane komisij za pilotne institucionalne zunanje evalvacije in eden za predstavnike evalviranih VŠZ. V anketiranje so bili vključeni vsi subjekti, ki so izpolnjevali kriterij za anketni vprašalnik (član komisije oziroma za predstavnike VŠZ prisotnost na obisku komisije). Med 12 prisotnimi člani komisije je na vprašalnik odgovorilo 11 oseb. Na vprašalnik za evalvirane VŠZ pa je odgovorilo vseh 7 prisotnih predstavnikov. Zaradi majhnega vzorca bralca opozarjamo zgolj na informativnost podanih ocen, ki jih ni mogoče posploševati. g) Anadza vprašalnikov m člane komisff za pilotne instftudonalne zunanje evalvadfe Vprašalnik je bil sestavljen iz 3 tipov vprašanj: trditve, zaprta in odprta vprašanja. Trditve so bile podane v štirih sklopih, pri katerih so anketiranci označevali strinjanje na petstopenjski lestvici, na kateri je 5 pomenila največjo stopnjo strinjanja, 1 pa najmanjšo. Za ta tip vprašanj poleg trditve navajamo povprečno oceno podanih odgovorov. Zaprti vprašanji sta bili dve, odprtih pa je bilo sedem. Anketiranci so pri odprtih vprašanjih podajali predloge in komentarje o posameznih vidikih izvedbe zunanjih evalvacij. Za odprte tipe vprašanj navajamo odgovore, pri čemer smo vsebinsko povezane odgovore združili, število pojavitev pa podajamo v oklepaju. Vprašalnik dodajamo v Prilogi 1. 50 I. Priprava na zunanjo evalvacijo Trditev n* Predhodno smo bili ustrezno seznanjeni z Merili in postopki zunanje evalvacije. 3,8 Usposabljanja za člane evalvacijskih komisij, dekane, člane samoevalvacijskih komisij VSZ, ki jih je pripravila NKKVŠ so bila dobro pripravljena. 3,6 Na usposabljanjih sem pridobil/a potrebne informacije in znanja za izvedbo zunanje evalvacije. 3,6 *Opomba: n - povprečna ocena odgovorov. Anketiranci se v povprečju zelo strinjajo, da so bili ustrezno seznanjeni z Merili (2004) in postopki zunanje evalvadje, nekoliko manj pa z dobro pripravljenostjo usposabljanja in tam pridobljenih informacij. Po mnenju vseh anketirancev (11) bi bilo treba v usposabljanje za člane komisij za zunanjo evalvacijo vključiti dodatne vsebine. Predlagali so: • spoznavanje metodologije in praktične izvedbe evalvacij (7), • primere dobre prakse (3), • simulacije in delo v delavnicah (2), • spoznavanje pravil za pridobitev licence za evalvatorje (1). Da bi morali v zunanjo evalvacijo poleg vodstva fakultete, zaposlenih in študentov vključiti tudi druge zainteresirane javnosti, meni pet anketiranih, šest anketiranih pa meni, da to ni potrebno. Med predlogi drugih vključenih javnosti so navedli: delodajalce (4, od tega enkrat alumni delodajalce) alumne (1). zvezi s pripravo na zunanjo evalvacijo so anketiranci podali naslednje predloge: z uvajanjem zunanje evalvacije je treba iti postopno in ne z velikimi koraki, da bi uvajanje ne povzročalo odpora; vključiti več ljudi s prakso ocenjevanja CAF [Skupni ocenjevalni okvir v javnem sektorju], PRSPO [Priznanja Republike Slovenije za poslovno odličnost] ali presojevalcev ISO; število evalvatorjev lahko tudi 4 za manjše VŠZ, evalvatorji so lahko tudi iz iste univerze, a druge članice; všeč mi je, da se poda vse osnutke, ki so pripravljeni za komentiranje, naslednje komisije je treba še bolj partnersko oblikovati; integrirati PDCA [plan-do-check-act] ciklus. 51 II. Pregled dokumentacije visokošolskega zavoda (VŠZ) Trditev n* Člani NKKVŠ so nudili ustrezno podporo v procesu pregleda dokumentacije VŠZ. 4,4 Pregled dokumentacije, ki jo je oddal VŠZ je potekal dobro. 4,4 Dokumentacija VŠZ je bila pripravljena pregledno in strukturirano. 4,0 Časovni okvir za pregled dokumentacije je bil ustrezen. 3.5 *Opomba: n - povprečna ocena odgpvorov. Anketiranci so bili v povprečju zelo zadovoljni s sodelovanjem VŠZ pri posredovanju dokumentacije in z delom komisije pri njenem pregledovanju, nekoliko manj pa z ustreznostjo časa za pregled dokumentacije. Čas, ki so ga v okviru komisije potrebovali za pregled dokumentacije, ki jo je za zunanjo evalvacijo pripravil VŠZ: • najkrajši čas: 7 ur; • najdaljši čas: 40 ur; • povprečje: 21,1 ur. V zvezi s pripravo dokumentacije za zunanjo evalvacijo so anketiranci dodali, da je treba: • uskladiti vprašalnik in terminologijo (2); • uvesti bolj strukturiran pristop (2); • pripraviti priročnik in študije primera (1); • prenoviti model (1). ill. Komisija za zunanjo evalvacijo Trditev n* Sestava komisije za zunanjo evalvacijo je bila ustrezna. 4,8 Člani komisije smo bili ustrezno usposobljeni za izvedbo zunanje evalvacije. 3,8 Usklajevanje priprav na zunanjo evalvacijo (obisk na VŠZ) med člani komisije in predstavniki VSZ je potekalo dobro. 4,7 Med člani komisije so bile naloge jasno opredeljene. 4,8 Komunikacija med člani komisije je bila učinkovita. 5,0 Delo vokviru komisije je potekalo v skladu z dogovori. 4,9 Člani komisije smo bili na obisk VŠZ dobro pripravljeni. 4,4 Delo komisije med obiskom VŠZ je bilo ustrezno organizirano. 4,6 Člani komisije smo ustrezno vodili intervjuje s predstavniki VŠZ. 4,3 Člani komisije smo bili objektivni. 4,4 Pristop članov komisije v odnosu do predstavnikov VŠZ je bil spodbuden. 4,6 Člani komisije smo bili ustrezno seznanjeni s področjem visokega šolstva. 4,2 *Opomba: n - povprečna ocena odgpvorov. 52 v povprečju so se anketiranci zelo strinjali z vsemi podanimi trditvami. Izstopajo še posebno visoke ocene ustreznosti sestave komisije za zunanjo evalvacijo, jasne opredelitve nalog, komunikacije med člani ter izvedbe dela v skladu z dogovori. V nekoliko manjši meri glede na ostale trditve so bili anketiranci zadovoljni z ustrezno usposobljenostjo članov komisije za izvedbo zunanje evalvacije. V zvezi s sestavo in delom komisije so anketiranci dodali, da: bi bilo potrebnega več usposabljanja (1); bi bilo ustrezno število članov komisije 4 (1); • en član komisije nI sodeloval pri izvedbi, zato bi bilo treba opredeliti dolžnosti vnaprej s pogodbo (1). IV. Priprava evalvacijskega poročila Trditev n* Navodila za pripravo evalvacijskega poročila so bila jasna. 3,7 Člani NKKVŠ so nudili ustrezno podporo v procesu priprave evalvacijskega poročila. 4.1 Sodelovanje članov komisije za zunanjo evalvacijo pri pripravi evalvacijskega poročila je potekalo usklajeno. 4,8 Pri pripravi končnega poročila smo sodelovali s predstavniki VSZ. 3,2 V končnem evalvacijskem poročilu so upoštevana priporočila predstavnikov VŠZ podana na osnovi predloga evalvacijskega poročila. 4,2 "Opomba: n ■ povprečna ocena odgpvorov. Anketiranci so se v največji meri strinjali s trditvijo, da je bilo delo članov pri pripravi poročila usklajeno. Najmanj so se v povprečju strinjali s trditvijo, da so pri pripravi končnega poročila sodelovali s predstavniki VŠZ. Ta trditev ima med vsemi (v anketi) najnižjo oceno. Anketiranci menijo, da bi morala komisija predstaviti zaključke zunanje evalvacije: • vodstvu VŠZ (6); • poleg vodstva tudi študentom in drugim zainteresiranim javnostim (2); • vsem sodelujočim iz VŠZ v zunanjih evalvacijah (2); • senatu Sveta [Republike Slovenije] za visoko rolstvo (1). V zvezi s pripravo evalvacijskega poročila so anketiranci imeli še spodnje komentarje: • za kvalitetno delo pri pripravi se je treba ogniti časovnim stiskam; • pripraviti je treba usposabljanje za evalvatorje za pridobitev licenc; • najprej je treba doreči kriterije - merila, nato bo tudi poročilo izboljšano; • sodelovanje je bilo zelo dobra izkušnja za podobno delo v prihodnje in tudi za sugeriranje izboljšav dela na matični fakulteti ; 53 • pripraviti SOP [Standard operating procedure - standardizirani operativni postopek] za pripravo na evalvacijo (nekaj že v Merilih 2004), SOP [Standard operating procedure -standardizirani operativni postopek] za evalvacijo (opredeliti protokol obiska), termine (oddaja poročila, čas za pripombe, končno poročilo, usoda končnega poročila (objava-neobjava). b) Analiza vprašalnikov za predstavnike eva Ivi ranih visokošolskih zavodov Vprašalnik je bil sestavljen iz 3 tipov vprašanj: trditve, zaprta in odprta vprašanja. Trditve so bile podale v štirih sklopih, pri katerih so anketiranci označevali strinjanje na petstopenjski lestvici, na kateri je 5 pomenila največjo stopnjo strinjanja, 1 pa najmanjšo. Za ta tip vprašanj poleg trditve navajamo povprečno oceno podanih odgovorov. Zaprti vprašanji sta bili dve, odprtih pa je bilo sedem. Anketiranci so pri odprtih vprašanjih podajali predloge in komentarje o posameznih vidikih izvedbe zunanjih evalvacij. Za odprte tipe vprašanj navajamo odgovore, pri čemer smo vsebinsko povezane odgovore združili, število pojavitev pa podajamo v oklepaju. Vprašalnik dodajamo v Prilogi 2. I. Priprava na zunanjo evalvacijo Trditev n* Predhodno smo bili ustrezno seznanjeni z Merili in postopki zunanje evalvacije. 4,0 Usposabljanja za člane evalvacijskih komisij, dekane, člane samoevalvacijskih komisij VŠZ, ki jih je pripravila NKKVŠ so bila dobro pripravljena. 3,4 Zaposleni in študenti na VŠZ so bili predhodno seznanjeni z namenom zunanje evalvacije. 4.7 Zaposleni in študenti na VŠZ so bili pripravljeni na sodelovanje pri zunanji evalvaciji. 4,7 Zaposlenih in študenti na VŠZ so aktivno sodelovali pri zunanji evalvaciji. 5,0 "Opomba: n - povprečna vrednost odgovĐrov. V povprečju so anketiranci izrazili skoraj popolno zadovoljstvo s seznanjenostjo z nameni zunanje evalvacije in s pripravljenostjo za sodelovanje pri njeni izvedbi. Popolnoma so se strinjali s trditvijo, da so pri zunanji evalvaciji aktivno sodelovali, srednje pa so bili zadovoljni z usposabljanjem za zunanje evalvacije. Po mnenju šestih anketiranih bi morali v zunanjo evalvacijo poleg vodstva fakultete, zaposlenih in študentov vključiti tudi druge zainteresirane javnosti, med katerimi so navedli: • učne baze (3); • mentorje (2); • zaposlovalce [delodajalce] (1); • civilno družbo (1). Eden od anketiranih meni, da v zunanjo evalvacijo nI treba vključiti drugih javnosti. Odzivi zaposlenih in študentov po končani zunanji evalvaciji so bili: • pozitivni (5); 54 • radovedni, v pričakovanju rezultatov (3); • korektni in objektivni (1). V zvezi s pripravo na zunanjo evalvacijo so anketiranci predlagali: • organizirati usposabljanje za evalvatorje (2); • opraviti meta analizo z rezultati vseh VŠZ (1); • dobro usklajevati delo z NKKVŠ (1); • predhodno izvedbo samoevalvacije na VŠZ na podlagi izdelanega gradiva (1). II. Priprava dokumentacije za zunanje evalvacije Trdjte\/ n* Navodila za pripravo in oddajo dokumentacije so bila pregledna in celovita. 4,3 Člani NKKVŠ so nudili ustrezno podporo pri pripravi dokumentacije. 4,0 Priprava dokumentacije na VŠZ je potekala dobro. 4,7 Časovni okvir za pripravo dokumentacije je bil ustrezen. 3,6 *Opomba: n - povprečna vrednost odgovorov. Anketirani so se v povprečju zelo strinjali s podanimi trditvami, zelo dobro pa so ocenili pripravljanje dokumentacije na VŠZ. V manjši meri so se strinjali s trditvijo o ustreznosti časovnega okvira za pripravo dokumentacije. Poraba časa za izpolnitev preglednega vprašalnika in pripravo celotne dokumentacije za zunanjo evalvacijo: • najkrajši čas: 100 ur; • najdaljši čas: 650 ur; • povprečje: 286 ur. Število zaposlenih, ki so sodelovali pri pripravi poročila: • najmanj: 10; • največ: 15; • povprečje: 12. Eden od anketiranih je zapisal, da je pri pripravi poročila sodeloval celoten kolektiv. V zvezi s pripravo dokumentacije za zunanjo evalvacijo so anketiranci zapisali še: • potrebnega bi bilo več časa (3); standardizirati bi bilo treba pripravo samoevalvacijskega poročila in vprašalnika (1); oblikuje naj se poslovnik, kot je zapisano vMerilih (1). 55 IM. Komisija za zunanjo evalvacijo Trditev n* Sestava komisije za zunanjo evalvacijo je bila ustrezna. 4,9 Člani komisije so bili ustrezno usposobljeni za izvedbo zunanje evalvacije. 4,7 Usklajevanje priprav na zunanjo evalvacijo (obisk na VŠZ) med člani komisije in predstavniki VSZ je potekalo dobro. 4,7 Delo članov komisije med obiskom VŠZ je bilo ustrezno organizirano. 5,0 Člani komisije so ustrezno vodili intervjuje s predstavniki VŠZ. 5,0 Člani komisije so bili objektivni. 5,0 Pristop članov komisije v odnosu do predstavnikov VSZ je bil spodbuden. 5,0 Člani komisije so bili ustrezno seznanjeni s področjem visokega šolstva. 4,1 *Opomba: n - povprečna vrednost odgovorov. Z vsemi trditvami so se anketiranci v povprečju popolnoma strinjali, le nekoliko manj pa s trditvijo, da so bili člani komisije ustrezno seznanjeni s področjem visokega šolstva. Vzvezi z delom komisije so anketiranci dodali, da: • bi člani morali poznati področje VŠZ, ki se evalvira (2); • bi člani komisije morali biti iz Univerze v Ljubljani in Univerze Maribor (1); • bi moralo ocenjevanje potekati v skladu z zakonskimi okviri (1). IV. Pregledni vprašalnik in evalvacijsko poročilo Trditev n* Pregledni vprašalnik celovito zajema področja delovanja VŠZ. 3,9 Struktura preglednega vprašalnika je jasna. 3,1 Navodila za izpolnjevanje preglednega vprašalnika so jasna. 3,5 Pri izpolnjevanju preglednega vprašalnika ni bilo nejasnosti. 2,4 Sodelovanje s člani komisije za zunanjo evalvacijo pri pripravi evalvacijskega poročila je potekalo dobro. 3,4 Struktura evalvacijskega poročila je ustrezna in pregledna. 4,3 Ugotovitve in priporočila zunanje evalvacije so uporabna za delo VSZ. 4,7 U^tovitve in priporočila zunanje evalvacije bodo prispevala h kakovosti dela VSZ. 4,7 Podatke za zunanjo evalvacijo smo pridobili tudi iz samoevalvacijskih poročil VŠZ. 4,9 Zunanja evalvadja bo pomembno vplivala na samo evalvacijo VSZ. 4,3 'Opomba: n - povprečna vrednost odgovonav. Anketirani so se skoraj popolnoma strinjali z uporabnostjo ugotovitev in priporočil zunanje evalvadje, z njihovim prispevkom h kakovosti VŠZ ter s trditvijo, da so podatke za zunanjo evalvacijo pridobili iz samoevalvacijskih poročil. Z ostalimi trditvami so se v povprečju zelo 56 strinjali, z nižjo mero strinjanja pa izstopata trditvi o jasnosti in preglednosti vprašalnika ter nejasnosti pri njegovem izpolnjevanju. Med anketiranimi so bili trije mnenja, da bi v pregledni vprašalnik morali dodati ali odstraniti nekatera področja, kar so utemeljili s spodnjimi izjavami: • zaokrožiti bi bilo treba preobsežna področja in podati jasna navodila (1); • vprašalnik je preobsežen (1); • dodati bi bilo treba procesni pristop - za ključne kazalnike prikazati rezultate s časovno vrsto (1)- En od anketirancev meni, da vprašalnik ne potrebuje sprememb, trije pa na vprašanje niso odgovorili. Po mnenju anketirancev bi morala komisija zaključke zunanje evalvacije (po končanem obisku VŠZ) predstaviti: • vodstvu VŠZ (3); • NKKVŠ (2); • MVZT [Ministrstvo za visoko šolstvo, znanost in tehnologijo](2); • članom komisije za zunanje evalvacije in vsem, ki so bili v stiku z njo (1). V zvezi s preglednim vprašalnikom in evalvacijskim poročilom je pripombo zapisal le en od anketiranih, ki je apeliral na nadaljevanje sodelovanja. 6.2.7 Sphšne usotovitve o pihtnifi institucionalnih zunanjih evalvacijah v slovenskem visokošolskem prostoru Cilj pilotnih institucionalnih zunanjih evalvacij ni bilo vrednotiti, ocenjevati ali razvrščati VŠZ, temveč pregledati stanje obstoječih sistemov kakovosti na VŠZ, izpostaviti primere dobrega ravnanja in dati priporočila za izboljšanje področij, kjer sistemi kakovosti niso (dovolj) ustrezni ali bi lahko bili boljše organizirani. Po analizi izvedbe pilotnih institucionalnih zunanjih evalvacij v slovenskem visokošolskem prostoru je bilo ugotovljeno, da so vsi udeleženci (predstavniki evalviranih VŠZ in člani komisij za pilotne institucionalne zunanje evalvacije) v splošnem zadovoljni z njihovim potekom in rezultati. Prepričani so, da so cilji za zagotavljanje kakovosti in izboljševanje zastavljeni in do določene mere tudi uresničeni. Dani so bili številni predlogi za izboljšave na področju metodologije, instrumentarija in poteka institucionalnih zunanjih evalvacij, ki bi jih v prihodnjih letih morali redno izvajati v Sloveniji. Področja, ki so jih obsegale pilotne institucionalne zunanje evalvacije, so usklajena z evropskimi standardi in priporočili ENQA (2005), vendar so po /Vterilih (2004) združena nekoliko drugače. V 57 skladu s priporočili ENQA (2005, 6) morajo biti podatki o VŠZ javni in morajo zajemati oceno različnih področij (na primer uspešnost študentov, dosežke raziskovalcev), tako da upoštevajo interese študentov in vseh drugih deležnikov. ENQA predlaga, naj bodo eden od rezultatov institucionalnih zunanjih evalvacij oblikovane smernice za izboljšanje kakovosti v smislu operacionalizacije in načina izvedbe (ne samo kaj, temveč tudi kako) (ENQA 2007, 10). Temu pilotne institucionalne zunanje evalvacije ne ustrezajo v celoti. Način sestave komisij za pilotne institucionalne zunanje evalvacije in postopek izvajanja pilotnih institucionalnih zunanjih evalvacij je podoben in primerljiv s smernicami QAA (2007), v praksi je primerljiv s škotskim sistemom (Gordon 2007). Cilj ENQA ni podeljevanje ocen in razvrxanje VŠZ, temveč pregled in vrednotenje stanja in napredka sistemov za spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ. Tudi pri pilotnih institucionalnih zunanjih evalvacijah nismo ocenjevali dosežkov ali razvrščali evalviranih VŠZ. Primerjava metodologije (uporabe Meril 2004) in samega postopka institucionalnih zunanjih evalvacij je v praksi mogDČa tudi s postopkom zunanjega ocenjevanja, kot ga pozna Evropska nagrada za poslovno odličnost (European Excellence Award) in njena slovenska različica Priznanje Republike Slovenije za poslovno odličnost (PRSPO). Podobnosti so predvsem pri postopku izvedbe evalvacije (ocenjevanja): v obeh primerih skupina ocenjevalcev (evalvatorjev) predhodno prejme gradivo, ki je strukturirano v skladu s predpisanimi merili, izvede se skupinsko usklajevanje, sledi obisk komisije v organizaciji, ki preveri dejansko stanje. Ocenjevalci napišejo neodvisno končno poročilo kot povratno informacijo vodstvu ocenjevane organizacije, ki je podlaga za stalne izboljšave in izboljšanje kakovosti poslovanja organizacije. 6.3 Priporočila za nadaljnji razvoj nacionalnih institucionalnih zunanjih evalvacij Na podlagi mednarodnih usmeritev, nacionalne zakonodaje in izkušenj iz pilotnih institucionalnih zunanjih evalvacij bi bilo pri izdelavi nacionalne strategije Institucionalnih zunanjih evalvacij smiselno upoštevati spodnja priporočila (Trunk Širca idr. 2007): • Priporočljivo je, da Slovenija evalvacijski organ včlani v ENQA. Eden od pogojev za včlanitev je 2-letno (zaporedno) izvajanje zunanjih evalvacij. V letu 2006 so bile pilotne institucionalne zunanje evalvacije, v letu 2007 pa jih ni bilo, kljub temu, da je bilo načrtovanih 10 (Čuš 2007). Poziv za oddajo vlog za institucionalne zunanje evalvacije s strani VŠZ, ki želijo biti evalvirane, in poziv kandidatom za zunanje evalvatorje sta bila za leto 2008 podana v februarju 2008^1 • Ustrezen evalvacijski organ na nacionalni ravni naj v skladu z 49. členom ZViS-UPB3 (Uradni list Republike Slovenije, št. 119/2004) sprejme ustrezna pravila - sistem spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu, ki med drugim določajo: - rok za izvedbo prve institucionalne zunanje evalvacije na vseh visokošolskih in višješolskih zavodih v Republiki Sloveniji, Več na spletni strani Urada RS za visoko ŠDlstvo: http://www.uzvs.gov.si/ 58 - zavezanost VSZ k ponovnemu evaiviranju v predpisanem roku, - način prijavljanja in izbire kandidatovin izvajalcev za institucionalne zunanje evalvacije, - pravilnik in protokol o izvajanju institucionalnih zunanjih evalvacij, - mehanizme stalnega nadzora nad izvajanjem institucionalnih zunanjih evalvacij. • Pristojno telo naj v skladu s spremembami v slovenskem in mednarodnem visokošolskem prostoru sprejme nova Aterila za spremljanje, ugotavljanje in zagotavljanje kakovosti VŠZ, študijskih programov ter znanstvenoraziskovalnega, umetniškega in strokovnega dela. • Opredeliti je treba kriterije za sprejem kandidatov za člane komisij za institucionalne zunanje evalvacije. • Smiselno bi bilo vzpostaviti celovit, z mednarodno metodologijo usklajen sistem usposabljanja evalvatorjev in licenčnega preverjanja znanja za evalvatorje, kar bo omogočalo zahtevano mednarodno mobilnost evalvatorjev. • Treba je evidentirati (nacionalni register evalvatorjev), izbrati in usposabljati kandidate za člane komisij za nadaljnje institucionalne zunanje evalvacije. • Izdelati je treba etični kodeks, ki bo opredeljeval vrednote in principe delovanja vseh deležnikov, vključenih v izvajanje postopkov za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu. • Povabiti je treba tuje strokovnjake, da ocenijo obstoječa orodja nacionalnih institucionalnih zunanjih evalvacij, predlagajo možnosti izboljšanja metodologije in predstavijo dobre prakse iz tujine. • Smiselno bi bilo VŠZ ponuditi model izvajanja samoevalvacij, ki bi jim olajšal pripravo samoevalvacijskih poročil in jih pripravil tudi na institucionalne zunanje evalvacije v prihodnosti. • Redno je treba spremljati spreminjanje evropskih predpisov na področju institucionalnih in tudi programskih zunanjih evalvacij ter ustrezno dopolnjevati nacionalni sistem spremljanja, ugotavljanja in zagotavljanja kakowsti VŠZ. 6.4 Razvoj modela samoevalvacije na izbranem visokošolskem zavodu; študija primera V nadaljevanju je prikazan primer dobre prakse poročanja o ugotovitvah procesa samoevalvacije na Univerzi na Primorskem, Fakulteti za management Koper (v nadaljevanju fakulteti). Soglasje za prikaz modela je bil podan s strani vodstva obravnavanega visokošolskega zavoda. Proces samoevalvacije pomeni poleg ugotavljanja in zagotavljanja kakovosti tudi ustrezno poročanje o delovanju VŠZ v njegovih osnovnih dejavnostih: izobraževalni in raziskovalni. Faza poročanja je pomemben element procesa samoevalvacije, saj poleg izhodišč, ki pomagajo vodstvu pri oblikovanju in izvajanju strategije delovanja VŠZ, nudi pomembno izhodišče pri delu komisije za zunanjo evalvacijo v procesu zunanje evalvacije. 59 Procesa ugotavljanja in zagotavljanja kakovosti sta bila pomemben del upravljanja fakultete vse od njenega nastanka, ko je delovala še kot Visoka šola za management Koper. V prvih letih je spremljanje kakovosti potekalo le v obliki mnenjskega anketiranja študentov, postopoma pa se je širilo v vse bolj celovit samoevalvacijski proces, ki se oblikuje in razvija še danes. Prvo poročilo o fakulteti je bilo izdano novembra 1999. V njem so bili celovito predstavljeni organizacija VŠZ, pregled izobraževalne, raziskovalne in drugih dejavnosti ter podatki o študentih in zaposlenih od leta 1995 do 1999. Od študijskega leta 1999/2000 do 2003/2004 je bilo vsako leto izdano celovito poročilo o delovanju VŠZ, v letih 2003/2004 in 2004/2005 pa sta bili izdelani ločeni poročili o izobraževalni dejavnosti (za minulo študijsko leto) in o raziskovalni dejavnosti (za minulo koledarsko leto). Da je bilo delo na področju spremljanja in predvsem poročanja o kakovosti na fakulteti ne le primerno, temveč vzorno, priča tudi dejstvo, da je model (združenega) samoevalvacijskega poročila za študijsko leto 2003/2004 in koledarsko leto 2003 NKKVŠ posredovala kot dober zgled vsem slovenskim VŠZ. Univerza na Primorskem je po zgledu fakultete oblikovala univerzitetno samoevalvacijsko poročilo, ki združuje podatke vseh članic. Po vzoru fakultete je bil pripravljen tudi predlog vprašalnika za mnenjsko anketiranje študentov na matični univerzi. NKKVŠ je leta 2004 s sodelovanjem fakultete oblikovala in sprejela Wterila (2004), pri čemer je kot podlaga za izbiro področij in kriterijev presoje kakovosti služilo tudi samoevalvacijsko poročilo fakultete. V zadnjih dveh letih se proces notranjega spremljanja, ugotavljanja in zagotavljanja kakovosti fakultete ureja v celovit sistem. Sistemi kakovosti združujejo definicije, načine zbiranja podatkov in vodenje evidenc za pojave, ki so ključni za delovanje VŠZ, ter za druge pojave, ki prispevajo k njegovi večji kakovosti in prepoznavnosti (Brennan in Shah 2001, Hopkins in Ahtaridou 2007, Brejc in Trunk Sirca 2007) Stalno in učinkovito spremljanje teh pojavov je osnovni pogoj za ugotavljanje izstopajočih (močnejših ali šibkejših) področij delovanja, na podlagi teh ugotovitev pa vodstvo fakultete odloča o dejavnostih zagotavljanja kakovosti VŠZ. Poleg osnovnih podatkov o študijskih programih, vpisu, značilnostih študentov, učinkovitosti študija in o diplomantih poročila vsebujejo tudi analize mnenjskih anket študentov, zaposlenih in diplomantov ter analize drugih pojavov, ki jih fakulteta spremlja priložnostno glede na specifične potrebe različnih služb in organov fakultete. Poročanje o kakovosti na fakulteti poteka večkrat med letom, in sicer Senatu, ki tudi potrdi poročilo, Akademskemu zboru fakultete na decembrski in junijski seji ter visokošolskim učiteljem, raziskovalcem in sodelavcem na posvetu v septembru in februarju. Poročilo se posreduje Študentskemu svetu fakultete in Univerzi na Primorskem, objavi pa se tudi v internem Informacijskem sistemu, kjer je dostopno vsem zaposlenim. Povzetek poročila se pošlje NKKVŠ. 60 6.4.1 SamoevaIvacijsko poročilo: vsebina, namen in poročanje Samoevalvacijsko poročilo je vmesni rezultat samoevalvacijskega procesa; končni rezultat je napredek ali izboljšanje v kakovosti delovanja. Čeprav se pogledi različnih avtorjev na proces samoevaIvacije nekoliko razlikujejo, pa lahko opredelimo nekaj skupnih točk vsebine samoevalvacijskega poročila (povzeto po Kump 1995, Musek Lešnik in Bergant 2001, Seymour 1993, ENQA2007, Islandija 2005, AACSB b. L, EFMD 2007): predstavitev VŠZ (organizacijska struktura, poslanstvo, pogoji za delo), predstavitev samoevalvacije (trajanje, opis postopkov, namen in izvedbena skupina), predstavitev zbranih podatkov (o programih, študentih, visokošolskih učiteljih idr.), analize In ocene zbranih podatkov, komentarji in priporočila za nadaljnje delo (razkritje šibkejših področij in osvetlitev dobrih praks, postavitev ciljev). Osnovni namen samoevalvacijskega poročila in samoevalvacijskega procesa kot celote je identificirati področja, v katerih je delovanje organizacije šibkejše, in izdelati priporočila za njihovo izboljšanje. Pri tem pa mora samoevalvacijska skupina oziroma avtor besedila jasno poudariti, da razkritje šibkih točk ni namenjeno podeljevanju negativnih ocen ali graji posameznih zaposlenih, ampak kot opozorilo vodstvu, da tem področjem nameni v prihodnosti nekoliko več pozornosti (Musek Lešnik in Bergant 2001). Podobno tudi Seymour (1993) in West-Burnham (1997) opozarjata, da VŠZ samoevalvacijo prepogosto razumevajo kot sredstvo (notranje) samopromocije in v procesu niso dovolj samokritični, ali pa zaidejo v drugo skrajnost in si kot rezultat samoevalvacije postavijo previsoke oziroma neizvedljive cilje. To lahko slabo vpliva na motivacijski vidik samoevalvacije in vzpostavljanje kulture kakovosti v VŠZ (Wlusek Lešnikin Bergant 2001, 10-11). Z vsebinskega vidika poročili, ki ju na fakulteti predstavljamo kot samoevalvacijski, tej oznaki ne ustrezata v celoti. Sistem ugotavljanja in zagotavljanja kakovosti na fakulteti še ni dokončno vzpostavljen in s tem tudi ne proces samoevalvacije, ki se bo v naslednjih nekaj letih zagotovo izpopolnila. Do takrat pa tudi ta "delna" poročila razumevamo kot samoevalvacijska. V njih so zajeti podatki o pojavih, katerih evidence zahteva Zakon o visokem šolstvi (ZViS-UPB3, Uradni list Republike Slovenije, št. 119/2006), pa tudi evidence o drugih pojavih, ki se fakulteti zdijo pomembne. Metodologija pridobivanja oziroma izračunavanja podatkov je v poročilih podana, podatki pa zaradi kompleksnosti proučevanih pojavov in številnih okoliščin, ki nanje vplivajo, niso podrobneje pojasnjeni. V splošnem spremljanje izobraževalne dejavnosti zajema področje razpisa vpisnih mest za študijske programe in dejanski vpis študentov, število študentov v posameznih študijskih programih, letnikih, po načinu študija in študijskih središčih^^ V poročilu so tudi podatki o ^^Fakulteta zaradi večje dostopnosti različnim skupinam študentov izvaja svoje studijske pnDg'ame na več študijskih središčih po Sloveniji: na sedežu fakultete v Kopru, v Celju, Škofji Loki in Novi Gorici. Študenti ob vpisu izberejo, v 61 značilnostih študentov: njihovi predhodni izobrazbi in načinu zaključka predhodnega izobraževanja, starosti, spolu in zaposlitvi. Poleg osnovnih podatkov poročilo predstavlja tudi podatke o uspešnosti izobraževanja: prehodnost oziroma napredovanje študentov po letnikih, število diplomantov, povprečne ocene in povprečni čas študija. Priloge k poročilu so še trije drugi dokumenti, ki predstavljajo pregled nekaterih področij izobraževalne dejavnosti z drugega vidika. Poročilo o ugotavljanju dejanske obremenitve študentov predstavlja časovno zahtevnost študija po ocenah študentov. Poročilo o izvedbi predmetov prikazuje potek izvedbe in zahtevnost predmetov po ocenah visokošolskih učiteljev. Mnenje študentov, zaposlenih in diplomantov pa je poročilo o rezultatih mnenjskega anketiranja o zadovoljstvu s splošno organiziranostjo in izobraževalno dejavnostjo fakultete. Na podoben način Poročilo o raziskovalni dejavnosti predstavlja pregled prijav projektov in njihovo realizacijo ter število projektov, ki se na fakulteti izvajajo. Poleg tega poročilo vsebuje pregled števila raziskovalcev po nazivih in področjih ter njihovo raziskovalno uspešnost: objave in citiranost ter udeležbo na konferencah in članstvo v uredniških odborih revij. Priloge k poročilu so podatki o projektih in bibliografski izpisi. 6.4.2 Pristop k samoevaivaciji v letih 2006 in 2007 Ko govorimo o samoevaivaciji, predvsem poročanju o samoevaivaciji na fakulteti, moramo opozoriti na razliko pri spremljanju in poročanju o izobraževalni in raziskovalni dejavnosti: prva se spremlja v okviru študijskega, druga pa v okviru koledarskega leta. Več let je bil interes na fakulteti združitev obeh samoevalvacijskih poročil v eno, celovito poročilo. Kljub trudu do uresničitve ideje ni prišlo. Razlogi za to so bili predvsem: • težavna terminska uskladitev poročanja (koledarsko/študijsko leto); • raziskovalna in izobraževalna dejavnost se vse bolj širita in razvijata tudi vsebinsko, zato je med njima manj stičnih točk; • v poročilih uporabljeni kazalniki se večinoma razlikujejo; • predstavitev organizacije v poročilu, ki je sicer obvezen del samoevalvacijskega poročila (Seymour 1993: 171, Musek Lešnik in Bergant 2001: 99-102, Kump 1995: 50), je bila zaradi velike količina drugih podatkov skromna); • organizacija dela in izvedba ni bila optimalna (ena oseba ob podpori pristojnih služb). Slednji je bil tudi najpomembnejši razlog, da je fakulteta v študijskem letu 2006/2007 in koledarskem letu 2007 ponovno pristopila k dihotomnemu procesu poročanja rezultatov samoevalvacije, za vsako področje posebej. Poleg ločene obravnave področij je bil spremenjen tudi pristop k samoevaivaciji: katerem študijskem središču želijo obiskovati predavanja in so posledično tudi evidentirani kot študenti izbranega središča. 62 • oblikovana je bila delovna skupina v okviru Centra za kakovost in evalvacije fakultete, ki je skrbela za pripravo in izvedbo vseh postopkov samoevalvacije, od priprave metodolo^ih orodij do zbiranja, analize in obdelave podatkov; • vzpostavljeno je bilo sodelovanje delovne skupine s pristojnimi strokovnimi službami (za študijske zadeve, raziskovalno delo in referatom za študentske zadeve) s podporo službe za Informatiko, predvsem v fazi pridobivanja podatkov; • opredeljeni so bili kazalniki kakovosti in, kjer je to potrebno, natančen način njiliovega izračunavanja, ki omogDČa primerjavo podatkov v času; • pripravljena je bila enotna in dopolnjena sestava poročila za vsako področje; • v poročili smo za vsako zaključeno skupino podatkov vključili podpoglavje s strani prodekanov, v katerem so ocenili napredek v primerjavi s prejšnjimi leti in zastavljenimi cilji ter kratko predstavili ukrepe za izboljševanje kakovosti na področjih, kjer cilji niso bili doseženi. Če povedano strnemo, so bile naloge pri procesih samoevalvacije dodeljene posameznim pristojnim službam, ki so bile zadolžene za posredovanje in verifikacijo podatkov. Evalvacijski, torej ocenjevalni del so prevzeli prodekani, zadolženi za posamezno področje, poročilo pa je obravnaval in sprejel Senat fakultete kot organ odločanja. Samoevalvacijsko poročilo fakultete podajamo v Prilogi 3. Dodajamo ga kot primer možnosti strukture in vsebine samoevalvacijskega poročila VŠZ. Za ta namen smo poročilo nekoliko priredili: • iz preglednic smo izbrisali podatke, ohranili pa smo nekatere opombe, ki pojasnjujejo strukturo ali vsebino posameznih preglednic; • kot uvod v vsako preglednico je predstavljena metodologija zbiranja ali računanja podatkov, ki specifično ustreza značilnostim fakultete, zato je v prirejeni različici ne ohranjamo; • k nekaterim preglednicam smo pripisali pojasnjevalne komentarje, ki jih iz iztega razloga kot pri predstavljanju metodoloških pristopov v prilogi ne navajamo; • ob koncu vsakega vsebinskega sklopa v poročilu sledi evalvacijski prispevek v obliki ocene stanja in usmeritev, ki jih vsebinsko ne navajamo, podajamo pa nekaj uvodnih stavkov kot primer načina pisanja. Bralce opozarjamo, da so vsi izbrisani elementi ključni za pripravo dobrega samoevalvacijskega poročila in jih pri njegovi izdelavi ne gre zanemariti. Priloženi poročili (izobraževalno in raziskovalno) lahko samoevalvacijskim skupinam služita kot primer oblikovanja in vsebinskega strukturiranja, vsebinsko pa jih mora VŠZ pripraviti ustrezno svojim specifičnim značilnostim in razmeram. Ko je organ odločanja na fakulteti sprejel poročili, se samoevalvacijski proces še ni zaključil. Na podlagi ukrepov, predstavljenih v poročilu, so bili vsi zaposleni pozvani k izboljševanju delovanja 63 in prispevanju k zagptavljanju kakovosti fakultete, Center za kakovost in evalvacije pa je na podlagi predlogov senata in drugih zaposlenih posodobil orodja za izvedbo samoevalvacijskih procesov v študijskem letu 2008/2009. Prenovljen pristop se je izkazal kot primeren, saj sta bili poročili pripravljeni v krajšem času v primerjavi z letom 2006 in ju je bilo treba manj popravljati in dopolnjevati, preden ju je sprejel senat. Četudi je bil z vidika samoevalvadje na fakulteti narejen korak naprej, ne moremo še govoriti o oblikovanem modelu samoevalvadje. Ta namreč predvideva celovito evalvacijo z vključitvijo vseh pomembnih deležnikov in pregledom delovanja predvsem na tistih področjih, kjer je zaznana kakovost nižja ali kjer se predvidevajo možnosti dodatnega napredka. Za to pa potrebuje VŠZ jasno oblikovane kriterije kakovosti notranjih procesov in tudi jasno opredeljene cilje posamezne dejavnosti. Fakulteta ima zapisano vizijo in tudi strateške cilje za obdobje petih let, kazalniki kakovosti izobraževalne in raziskovalne dejavnosti pa so še v fazi dodelave, saj se hkrati s kazalniki dograjuje tudi informacijski sistem v podporo pridobivanju in izračunavanju podatkov za \^ak kazalnik. 6.4.3 Povezava samoevalvadje z zunanjo evalvacijo V državah, kjer imajo daljšo tradicijo spremljanja in zagotavljanja kakovosti visokega šolstva, nenazadnje pa tudi v gospodarstvu (Brighouse in Woods 2000), samoevalvacija ne služi Izključno notranji uporabi v organizaciji, temveč je tudi podlaga pri izvedbi zunanjih presoj različnih vrst (Seymour 1993). Številni dokumenti o zunanjih evalvacijah in akreditacijah (glej AACSB b. L, ENQA 2007, EFMD 2007 idr.) podajajo poleg zahteve, da je samoevalvacijsko poročilo priloženo dokumentaciji pred izvedbo obiska komisije za presojanje kakovosti, celo smernice za izvedbo samo evalvacije in pripravo poročila. Viporejanje samoevalvacije z zunanjo evalvacijo torej ni nova zamisel; v slovenskem prostoru je opredeljena v Merilih (2004), skozi proces vzpostavljanja nacionalnega sistema kakovosti v visokem šolstvu in izvajanje zunanjih evalvacij pa se postopoma uvaja tudi v praksi. V procesu vzpostavljanja nacionalnega sistema sprem Ijanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu je NKKVŠ oblikovala Merila (2004), v katerih so med drugim opredeljeni kriteriji ocenjevanja pri izvedbi zunanjih evalvacij. Ker je po spremembi zakonodaje za slovenske VŠZ pridobitev ponovne akreditacije možna le na podlagi zunanje evalvacije (80. člen ZViS-UPB3, Uradni list Republike Slovenije, št. 119/2006), je zbliževanje samoevalvacije z zunanjo še toliko bolj smiselno, saj uporaba enakih kriterijev omogoča lažjo presojo. VAAerilih tudi piše (2004, 29. člen), da mora VŠZ pred izvedbo zunanje evalvacije organu izvajanja med drugimi dokumenti predložiti tudi samoevalvacijsko poročilo. Ta praksa se je uporabila pri pilotnih institucionalnih zunanjih evalvacijah slovenskih VŠZ v letu 2006 (Trunk Širca Idr. 2007, 7), zato lahko pričakujemo, da bo sestavni del zunanjih evalvacij slovenskih VŠZ tudi v prihodnje in bodo VŠZ svoja samoevalvacijska poročila pripravljali vse bolj skladno z Merili (2004). 64 Merila (2004, 3. člen) opredeljujejo devet področij ocenjevanja VSZ. Pri vsakem področju je natančneje opisno (v obliki trditev) opredeljeno, katere kriterije morajo VŠZ izpolnjevati za pozitivno oceno zunanje evalvacije. V samoevalvacijskih poročilih fakulteta predstavi vsa področja, ki so zapisana v Merilih (2004), o področjih izobraževanja in znanstvenoraziskovalne dejavnosti pa poroča še podrobneje, kot bi zahtevala Merila (2004). Študenti in visokošolski sodelavci so podrobno predstavljeni z vidika specifičnih lastnosti (nazivi, starost, izobrazba...). Druge dejavnosti so predstavljene informativno, s podatki za tekoče obdobje obravnave, na primer višina in enostavna struktura dohodkov, prostorske razmere v kvadratnih metrih, število zaposlenih strokovno-tehničnih zaposlenih. Ker so vsi podatki prikazani v enako ali podobno postavljenih preglednicah, je bralcu omogočeno lažje primerjanje razvoja posameznih področij. Sodelovanje z okoljem je kratko predstavljeno v Poročilu o raziskovalni dejavnosti skozi projekte, ki se izvajajo za gospodarstvo ali v sodelovanju z gospodarstvom. Kljub temu, da samoevalvacijsko poročilo ne sovpada popolnoma z Merili (2004), pa lahko ugotovimo, da vsaj do neke mere obsega vsa področja delovanja fakultete in pri nosilnih dejavnostih (to sta izobraževalna in znanstvenoraziskovalna) ponuja tudi kratko evalvacijo z vidika strokovnega vodstva posameznega področja. Podrobnejše podatke in evidence o področjih, ki jih Merila (2004) opredeljujejo kot pomembna za ocenjevanje, fakulteta beleži v drugih dokumentih (Letni načrt dela in Letno poročilo), zato jih v samoevalvaciji natančneje ne obravnava. Pričakovati pa je, da bo ob nadaljnjem vzpostavljanju notranjega sistema spremljanja, ugotavljanja in zagotavljanja kakovosti VŠZ samoevalvacija zajela vsa področja delovanja fakultete bolj podrobno in celovito. Tako bodo večji poudarek dobili tudi evalvacijski elementi poročila: ocena uspešnosti doseganja zastavljenih ciljev, kritično vrednotenje delovanja in podajanje konkretnih smernic za izboljšanje pristopov na posameznih področjih. Notranji in zunanji deležniki VŠZ za svoje odločanje potrebujejo različne informacije o VŠZ, prav tako pa tudi v različni meri poznajo in razumejo določene termine. Zato se na fakulteti razmišlja o oblikovanju ločenega samoevalvacijska poročila z interpretacijo podatkov za notranje deležnike in samoevalvacijskega poročila s pojasnitvijo terminologije za zunanje deležnike. 6.5 Priporočila za samoevalvadjo visokošolskega zavoda V strokovni literaturi (Brennan in Shah 2001, Rodman in Trunk Sirca 2008) na temo kakovosti v visokem šolstvu in drugih dokumentih, ki obravnavajo to področje (AACSB b. 1., AMBA [2003], ENQA 2007, EUA 2003), zasledimo številna priporočila, smernice in celo navodila za izvedbo samoevalvacije in pripravo samoevalvacijskih poročil. Kljub pomembnosti in uporabnosti teoretičnih izhodišč pa je samoevalvacija edinstven proces v vsaki organizaciji, z lastno kulturo, ki jo ustvarjajo notranji deležniki. Zato so pri pripravah na samoevalvacijo neprecenljive izkušnje in nasveti organizacij, ki so tak proces že izpeljale. Pomenijo namreč pogled nad udejanjanjem teoretičnih izhodišč in splošnih smernic v specifičnih okoljih in situacijah. Tako VŠZ, ki se pripravlja na samoevalvacijo, pokažejo, kje in kako lahko pričakujejo bodisi malo bodisi veliko 65 ovir in kateri elementi pri pripravi in izvedbi samoevalvacije so se izkazali za najpomembnejše. Zato v nadaljevanju podajamo smernice, ki izhajajo zgolj iz izkušenj z razvojem samoevalvacije na fakulteti in ki tudi fakulteti služijo kot vodilo za nadaljnje samoevalvacijske procese. • Vodstvo naj jasno poda svoja pričakovanja glede samoevalvacije in potrdi skupino za njeno izvedbo, lahko pa tudi opredeli področja, ki naj se v izbranem obdobju temeljiteje presojajo. Pri tem je koristno upoštevati vAAerilih (2004) navedena področja. • Samoevalvacijo naj izvede manjša skupina zaposlenih, ki naj bo ustrezno strokovno usposobljena na področju kakovosti v visokem šolstvu in evalviranja, naj ima ustrezna znanja s področja visokega šolstva in metodologije ter dobro pozna delovanje VŠZ. • Vsi zaposleni naj bodo seznanjeni s potekom In časovnim načrtom izvajanja samoevalvacije, po potrebi naj pomagajo samoevalvacijski skupini pridobiti ustrezne podatke. • Študenti naj bodo seznanjeni s potekom in časovnim načrtom izvajanja samoevalvacije. Kot je opredeljeno v smernicah ENQA (2005), naj sodelujejo pri izvedbi samoevalvacije. • Samoevalvacijsko poročilo pripravi en član samoevalvacijske skupine, pregledajo in dopolnijo pa ga vsi vpleteni zaposleni. • V samoevalvacijskem poročilu naj se izpostavijo primeri dobrih praks zagotavljanja kakovosti in napredka v kakovosti, hkrati pa naj se izpostavijo tudi šibke točke in podajo napotki za njihow izboljšanje. • Samoevalvacija celotnega VŠZ (vseh področij in dejavnosti) naj se izvede ciklično vsake 3 ali 4 leta, samoevalvacija izobraževalne in raziskovalne dejavnosti ter mnenjsko anketiranje pa naj se izvede vsako leto. • VŠZ naj izdela samoevalvacijsko poročilo za notranje deležnike, ki vsebuje interpretacije podatkov. Prav tako pa naj VŠZ izdela samoevalvacijsko poročilo za zunanje deležnike, ki je bolj strnjeno, z dodatnimi pojasnili terminologije in s poudarki na časovnih vrstah prikazovanja podatkov. • VŠZ naj poskrbi za transparentno poročanje o kakovosti. Samoevalvacijsko poročilo naj bo dostopno in razumljivo vsem deležnikom, po potrebi pa tudi širši javnosti. • Notranji sistem spremljanja, ugotavljanja in zagotavljanja kakovosti (postopki, kazalniki, poročanje) naj VŠZ uredi z ustreznimi dokumenti (npr. Poslovnik kakovosti). • Samoevalvacija naj služi kot orodje za spremljanje in ugotavljanje kakovosti, za zagotavljanje kakovosti pa morajo skrbeti vsi zaposleni in tudi ostali deležniki VŠZ (predvsem študenti). 7 PRIPOROČILA ZA NADALJNJI RAZVOJ NACIONALNEGA SISTEMA SPREMLJANJA, UGOTAVLJANJA IN ZAGOTAVLJANJA KAKOVOSTI Kot smo omenili že v uvodu, ima pričujoče poročilo kljub poglobljenosti in doslednosti tudi nekaj omejitev. Te se nanašajo predvsem na obseg opravljenih analiz in primerjav. Preučevanje se znotraj terciarnega izobraževanja nanaša predvsem na visokošolsko raven. Med poznanimi instrumenti spremljanja, ugotavljanja in zagptavljanja kakovosti v (visokem) šolstvu se osredotočamo predvsem na institucionalno akreditacijo in zunanjo evalvacijo. V analizi primerov pilotnih zunanjih institucionalnih evalvacij in institucionalne samoevalvacije pa se nanašamo zgolj na eno izvedbo in en VŠZ. Kljub omejitvam pa lahko podamo nekaj utemeljenih priporočil za nadaljnji razvoj nacionalnega sistema za spremljanje, ugotavljanje in zagotavljanje kakovosti. Navedena priporočila dopolnjujejo priporočila, ki so bila podana za institucionalne zunanje evalvacije (poglavje 6.5) in za samoevalvacije (poglavje 7.4) v pričujočem poročilu. Podlaga za pripravo priporočil izhaja iz: • proučitve evropskih in ameriških dokumentov in praks pri spremljanju, ugotavljanju in zagotavljanju kakovosti v visokem šolstvu ter primerjavo le-teh s slovenskimi razmerami; • ugotovitev pilotnih institucionalnih zunanjih evalvacij VŠZ, ki so v Sloveniji potekale leta 2006; • izkušenj pri izgrajevanju sistema spremljanja, ugotavljanja in zagotavljanja kakovosti izbrane v vsz. Vzpostavitev Evropskega registra agencij za zagotavljanje kakovosti v visokem šolstvu (EQAR) poleti leta 2008 prinaša posledice tudi za slovenski visokošolski prostor. Nacionalni organ za ugotavljanje, spremljanje in zagotavljanje kakovosti v visokem šolstvu namreč ne bo izpolnjeval pogojev za vpis v ta register. Z vpisom bi pridobili vir koristnih informacij za izboljšanje delovanja organa, hkrati pa bi ga lahko promovirali v Evropi in drugod po svetu. ENQA spodbuja odprt sistem spremljanja, ugotavljanja in zagotavljanja kakovosti v visokem šolstvu, kar pomeni, da se VŠZ lahko odloči za akreditacijo ali zunanjo evalvacijo pri po lastni presoji izbrani agenciji za spremljanje, ugotavljanje in zagotavljanje kakovosti tudi izven nacionalnih okvirov. Predvidevamo, da bodo VŠZ agencije, vpisane v evropski register agencij, raje in bolj pogosto izbirali, deležniki pa jim bodo pripisovali večjo kakovost kot agencijam, ki ne bodo v registru. Mednarodne izkušnje kažejo na pomembnost kakovosti storitev terciarnega izobraževanja za konkurenčnost Slovenije in njeno aktivno vključevanje v evropski prostor (Faganel in Trunk Sirca 2006). Oblikovanje nacionalnega sistema spremljanja, ugotavljanja in zagotavljanja kakovosti, ki bo usklajen s smernicami in standardi ENQA, je nujen korak k zagotavljanju primerljivosti in transparentnosti na ravni VŠZ ali na ravni nacionalnega organa za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu. Pilotne institucionalne zunanje evalvacije, ki jih je leta 2006 izpeljala NKKVŠ, so en del sistema spremljanja, ugotavljanja in zagotavljanja kakovosti 67 v visokem aalstvu. Glede na to, da so med drugim pogoj za včlanitev organa za spremljanje, ugotavljanje in zastavljanje kakovosti v visokem šolstvu v ENQA vsaj dveletne izkušnje v izvajanju zunanjih evalvacij, in da se v letu 2007 nacionalne zunanje evalvadje niso izvajale, predlagamo, da v letih 2008 in 2009 pristojni nacionalni organ izpolni ta pogoj. Uporabljeni mehanizmi povratne zanke, ki smo jih vzpostavili v primeru pilotnih institucionalnih zunanjih evalvacij (presoja, opazovanje, anketiranje), so se pokazali kot koristni in so bili dobro sprejeti. Vendar pa je tovrsten proces lastnega izboljševanja treba vzpostaviti sistemsko, če želimo, da nacionalna institucionalna zunanja evalvacija postane verodostojna in primerljiva v evropskem visokošolskem prostoru. Sprejeta Merila (2004) niso dovolj. Treba jih je nadgraditi z notranjimi in zunanjimi mehanizmi povratne zanke, ki naj postanejo neločljivi del nacionalnega sistema spremljanja, ugotavljanja In zagotavljanja kakovosti v visokem SDlstvu. ENQA (2007, 25) priporoča, naj nacionalni organ za spremljanje in ugotavljanje kakovosti v visokem šolstvu vzpostavi mehanizme: • notranje povratne zanke (tj. pridobiti povratne Informacije sodelujočih v organu), • notranje kritične refleksije (tj. odzvati se na notranja in zunanja priporočila za izboljšanje) in • zunanje povratne zanke (tj. pridobiti povratne informacije s strani strokovnjakov in presojanih VŠZ). Poleg notranje presoje kakovosti nacionalnega organa za spremljanje, ugotavljanje in zagotavljanje kakovosti pa je nujno treba vzpostaviti zunanjo presojo kakovosti organa zaradi povečanja njegove verodostojnosti v strokovni javnosti in širše. Presojo lastnih postopkov, ureditev in instrumentov za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu je treba zaupati tujim strokovnjakom v kolegialni pregled. Slovenija je majhna država In je zato zagotavljanje popolne objektivne nepristranskosti (npr. izogibanje konfliktu Interesov) oteženo. Sodelovanje tujih strokovnjakov v postopkih za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu je zato nujno potrebno. Da pa bi Imeli večje možnosti privabiti k sodelovanju kakovostne tuje strokovnjake, je potrebno učinkovito mrežen je (ang. networking). Včlanitev v ENQA bi nedvomno ustvarila ugodnejše pogoje za sodelovanje s tujimi strokovnjaki, za izmenjevanje izkušenj in pridobivanje informacij o dobrih praksah. Poleg instrumentov, ki trenutno gradijo nacionalni sistem za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu (akreditacija In ponovna akreditacija, Institucionalna zunanja evalvacija In samoevalvacija), predlagamo uvedbo in sistemsko ureditev programskih zunanjih evalvacij. Te bi dopolnjevale institucionalne zunanje evalvacije, ki so namenjene presojanju kakovosti VŠZ kot celote, s presojanjem kakovosti posameznih študijskih programov. V izvajanje institucionalnih zunanjih evalvacij je tako koristno vključevati različne deležnike VŠZ, medtem ko je v programske zunanje evalvacije koristno vključiti le (domače In tuje) strokovnjake s strokovnega ali znanstvenega področja študijskega programa. Programske zunanje evalvacije naj bi bile v pristojnosti panožnih združenj. Predlagamo, da se programske zunanje evalvacije 68 izvedejo šele po opravljeni institucionalni zunanji evalvaciji, če komisija za institucionalno zunanjo evalvacijo da soglasje za programsko zunanjo evalvacijo. Zaradi sprememb v slovenskem visokošolskem sistemu in drugih okoliščin (ustanovitev evalvacijskega senata pod okriljem Sveta Republike Slovenije za visoko šolstvo, ki nadomešča delo NKKVŠ) predlagamo dopolnitev Meril (2004). Pri tem naj se upoštevajo izkušnje pilotnih institucionalnih zunanjih evalvacij, primeri dobre prakse iz tujine ter spremenjena ureditev nacionalnega organa za spremljanje, ugotavljanje in zagotavljanje kakovosti v visokem šolstvu. Zaznati je trend vse po^stejše ponudbe študijskih programov na daljavo v tujini, zato svetujemo, da se začnejo vzpostavljati merila za spremljanje, ugotavljanje in zagotavljanje kakovosti tudi za take študijske programe. V takih primerih je ključnega pomena zagotavljanje kakovosti na naslednjih področjih: podpora VŠZ študentom, vsebina učnih načrtov, izidi učenja študentovin obseg sredstev, zmogljivosti in opreme za takšno izvajanje študijskega programa. Proces samoevalvacije je odgovornost vsakega posameznega VŠZ. Deležniki in notranje komisije za spremljanje, ugotavljanje in zagotavljanje kakovosti na VŠZ razumejo samoevalvacijo na različen način, poleg tega pa se po posameznih VŠZ razlikujeta tudi definicija kazalnikov in metodologija zbiranja podatkov v posameznih VŠZ. Zato bi bilo treba določiti, pojasniti ter sprejeti na nacionalni ravni skupen in uravnotežen nabor kazalnikov za presojanje kakovosti VŠZ. Hkrati bi bilo treba VŠZ omogočiti določeno mero svobode pri izbiri dodatnih kazalnikov kakovosti za prikaz specifičnosti posameznega VŠZ. Poudarek pri pripravi kazalnikov naj bo v prikazovanju dodane vrednosti, ki jo je VŠZ ustvaril v določenem obdobju (npr. študijskem letu). Skupni nacionalni naborom kazalnikov kakovosti in izdelana metodologijo zbiranja podatkov bi omogočila večjo transparentnost in bolj enoznačno razumevanje poročanja. Zunanji pritiski, ki jim je v zadnjem času podvržen Svet Republike Slovenije za visoko šolstvo, govorijo o dvomih v samostojno, nepristransko, neodvisno in strokovno delovanje organa. Svetu predlagamo, da: • zakonsko uredi delovanje strokovnih služb organa, • aktivno in pospešeno pristopi k izvajanju nalog, zaradi katerih je bil ustanovljen, • vzpostavi zunanjo presojo kakovosti organa za povečanje njegove verodostojnosti v očeh strokovne javnosti in širše. Prikazovanje odgovornega delovanja je najbolj primeren odgpvor na medijske in politične pritiske. 69 8 LITERATURA ABET. 2007. Accreditation poh'cy and procedure manual. Baltimore, MD: ABET. Http://vvww.abet.org/Linked%2GDocuments-UPDATE/Criteria%20and%20PP/A004%200 09?&20Accredition%20Policy%20and%20Procedure%20Manual%2011-8-07.pdf (22. 2. 2008) AACSB ■ The association to advance collegiate schools of business. 2007a. Initial accreditation handbook. Http://www. aacsb.edu/accreditation/process/documents/lnitial_Accreditation_Handbook. p df (19.2. 2008) AACSB ■ The association to advance collegiate schools of business. 2007b. Maintenance of accreditation handbook. Http://www. aacsb.edu/accreditation/process/documents/Maintenance_A:c redita tion_Hand book.pdf (19. 2. 2008) AACSB - The association to advance collegiate schools of business. 2007c. Preaccreditation handbook. Http://www. aacsb.edu/accreditation/process/documents/PreAccredi tation_Handbook.pdf (19. 2. 2008) AACSB - The association to advance collegiate schools of business. 2008. Eligibility procedures and accreditation standards for business accreditation. Http://www. aacsb.edu/accreditation/process/documents/AACSB_STANDARDS_Revised_Jan08 .pdf (19. 2. 2008) AACSB ■ The association to advance collegiate schools of business. B.l. AACSB international self evaluation report guidelines. Http://www.aacsb.edu/accreditation/process/process-toc.asp (6. 3. 2008). AMBA ■ The association of MBA's. [2003] hABA accreditation process. Http://www.mbaworld.com/downloads/cms/MBA_Accreditation_Process.pdf (15. 2. 2008). BAC - British sccreditation council. 2007. Accreditation handbook: UK 2007 - 2008. London: BAC. Http://www.the-bac.org/accreditation/handbooks/ahuk0708.pdf (19. 2. 2008) Bernardini, Artauro and Francesca Ruffilli. 2006. Evaluation and accreditation in Germany: the case study of the Technische Univerität Berlin. V: Orsingher, Chiara ur. Assessing quality in European higher education institutions; dissemination, methods and procedures. New York/Heidelberg: Physica-Verlag, 95-104. Brejc, Mateja in Nada Trunk Sirca. 2007. Sistemi vodenja kakovosti - sinergija med zunanjo in notranjo evalvacijo. Vodenje v vzgDji in izobraževanju 5 (2): 29-40. Brennan, John Leslie in Tarla Shah. 2001. Managing quality in higher education. 1. ponatis. Buckingham: OECD, SRHE in Open University Press. Brighouse, Tim in Woods, David. 2000. How to improve your school. 1. ponatis. London, Nwey York: Routledge Falmer. CHEA ■ Council for higher education accreditation. 2006. The condition of accreditation: U.S. accreditation in 2005. Http://www.chea.org/pdf/Condition_of_Accred.pdf (19. 2. 2008) Convention on the recognition of qualifications concerning higher education in the European region, Lisbon. 1997. Http://conventions.coe.int/Treaty/en/Treaties/>Aford/165.doc (4. 3. 2008). Čuš, Franci. Zunanje evalvacije NKKVŠ v letu 2007. Nagpvor predsednika NKKVŠ v Zaključnem posvetu v okviru projekta pilotskih institucionalnih zunanjih evalvacij NKKVŠ v letu 2006. Brdo pri Kranju: 10. 3. 2007. Http://www.uni-mb.si/dokument.aspx?id=11554#256,1,Diapozitiv 1 (11.3. 2008) Darchini, Daniela, Silvia Giannini in Muzio Gola, 2006. Quality assurance and evaluation of programmes at the University of Bologna. V: Orsingher, Chiara ur. Assessing quality in European higher education institutions; dissemination, methods and procedures. New York/Heidelberg: Physica-Verlag, 16-17. 70 Di Nauta, Primiano, Pirjo Liisa Omar, Angelika Schade in J. P. Scheele, ur. 2004. Accreditation models in higher education: experiences and perspectives, ENQA workshop reports 3. Helsinki: ENQA. (18. 2. 2008) Dolinsek, Slavko, Nada Trunk-Širca, in Armand Faganel. 2005. Vpeljava sistemov vodenja kakovosti v visokošolske zavode. Kakovost, Marec 2005, 1: 20-23. Eaton, Judith S. 2003. Accreditation and recognition in the United states. CHEA. Http://www.chea.org/international/OECD_JEPaper_0803.pdf (19. 2. 2008) EFMD - The international network for excellence in management development. 2005. EQUIS International Accreditation Procedures. Http://www.efmd.org/attachments//tmpl_1_art_041027xvpa_att_070205wupz.pdf (18. 2. 2008) EFMD - The international network for excellence in management development. 2007. EQUIS Standards and Criteria. Http://www.efmd.org/attachments//tmpl_1 _art_041027xvpa_att_070405trmv.pdf (18. 2. 2008) ENQA - European network for quality assurance in higher education. 2002. T runs-national European evaluation project (TEEP 2002): evaluation manual. ENQA - European association for quality assurance in higher education. 2005. Standards and guidelines for quality assurance in the European higher education area. Helsinki: 2005. ENQA ■ European association for quality assurance in higher education. 2007. Standards and guidelines for quality assurance in the European higher education area. Helsinki: 2007. EUA ■ European University Association. 2005a. Institutional Evaluation Programme Guidelines; Self-evaluation and Side Visits 2005. Brussels: EUA. EUA - European University Association. 2005b. Institutional Evaluation Programme Guidelines; Self-evaluation and Side Visits Slovakia 2005-2007. Brussels: EUA. Http://209.85.129.104/search?q=cache:EnyUdSlwYCcJ:www.srk.sk/autoupload/Guidelines_u n1s_05_SK.pdf+european+university+association%3B+institutional+evaluation+programme+guid etinesahl=siact=clnkacd=iagl=si (29. 2. 2008). Eurydice. 2007. Focus on the structure of higher education 2006/07. Brussels: Eurydice European unit. EVA ■ The Danish Evaluation institute. Evaluation model. Http://www.eva.dk/Methods/EVA's_method/Evaluation_model.aspx (29. 2. 2008). Faganel, Armand in Nada Trunk Sirca. 2006. Kakovost v visokem šolstvu in prve nadonalne zunanje evalvacije : priroaiik za izvajanje zunanjih evalvacij. Koper: Fakulteta za management. FiNHEEC ■ The Finnish Higher Education Evaluation Council. 2006. Audits of Quality Assurance System of Finnish Higher Education Institutio, Audit manual for 2005-2007. Http://www.kka.fi/pdf/julkaisut/KKA_406.pdf. Gordon, George. 2007. The approach to quality enhancement in Scotland. Http://po rtallive.solent.ac.uk/university/rtconference/2007/resources/george_gordon. pdf (11.3. 2008). Hazelkorn, Ellen. 2007. Rankings as indicator of quality. Prispevek na 2"^ Athens international conference on university assessment. Atene, 12. - 14. 10. 2007. Hämäläinen, Kauko, Kimmo Hämäläinen, Anette Dorge Jessen, Minna Kaartinen-Koutaniemi in Do rte Kristoffersen. 2002. Benchmarking in the Improvement of Higher Education. ENQA WDrkshop Reports 2. Helsinki: European network for Quality Assurance in Higher Education. Http://www.enqa.eu/files/benchmarking.pdf (4. 3. 2008) Hofmann, Stefanie. 2005. 10 years on: Lessons learned from the institutional evaluation programme. Brussels: European university association. 71 Hopkins, David in Elpida Ahtaridou. 2007. Zagotavljanje kakovosti nacionalnih sistemov. Vodenje vvzgoji in Izobraževanju 5 (2): 5-28. Islandija. Ministry of education, science and culture. 2005. Higher education external review: guidelines for self-evaluation. Reykjavik: MESC. Http://bella.stjr.is/utgafur/selfevaluation.pdf (6. 3. 2008). Joint declaration of the European ministers of education convened in Bologna on the 19th of June 1999. 1999. Http://www.bologna-bertin2003.de/pdf/bologna_declaration.pdf (29. 2. 2008) Kovač, Polonca in Karmen Kern-Pipan. 2005. Celovito izboljšanje javne uprave z integracijo različnih pristopov na temelju modela EFQM. Zbornik konference Ministrstva za javno upravo: Sodobna javna uprava, Portorož, 23. 5. - 25. 5.2005. Ljubljana: Ministrstvo za javno upravo. Kump, Sonja. 1995. Samoevalvacija v visokem šolstvu: priročnik. Ljubljana: Andragoški center Republike Slovenije. Lagrosen, Stefan, Roxana Seyyed-Hashemi in Markus Leitner. 2004. Examination of the dimensions of quality in higher education. Quality assurance in education, 12 (2), 61-69. Merila za akreditacijo visokošolskih zavodov in študijskih programov. 2004. Uradni list Republike Slovenije, št. 101/2004. Merila za spremljanje, ugotavljanje in zagotavljanje kakovosti visokošolskih zavodov, študijskih programov ter znanstvenoraziskovalnega, umetniškega in strokovnega dela. 2004. Uradni list Republike Slovenije, št. 124/2004. AAožina Tanja, Milena Zorič in Sonja Klemenčič. 2007. /i^etoda zgledovanja pri presojanju in raz/ijanju kakovosti izobraževanja. Ljubljana: Andragoški center Slovenije. Musek Lešnik, Kristijan in Katra Bergant. 2001. Samoevalvacija v vz^jno-izobraževalnih organizacijah. Ljubljana: Inštitut za psihologijo osebnosti. Orsingher, Chiara ur. 2006. Assessing quality in European higher education institutions; dissemination, methods and procedures. New York/Heidelberg: Physica-Verlag. Pauko, Miha, ur. 2006. Kakovost v visokem šolstvu: poročilo Nacionalne komisije za kvaliteto visokega šolstva 2005. Maribor: Nacionalna komisija za kvaliteto visokega šolstva, Koper: Fakulteta za management. Realising the European higher education area. Communique of the Conference of ministers responsible for higher education in Berlin on 19th September 2003. 2003. Http://www.bologna-berlin2003.de/pdf/Communique1.pdf (29. 2. 2008) Rodman, Karmen. 2008. Bolonjski proces po letu 2010 ali konec začetka. Management, 3 (1): 85-98. Rodman, Karmen, Armand Faganel in Nada Trunk Sirca. 2007. Premik v vzpostavljanju sistema zagotavljanja visokošolske kakovosti v letu 2006. Vodenje v vzgoji in izobraževanju, 2007 (2): 89-101. Rodman, Karmen in Nada Trunk Sirca. 2008. On following the standards and guidelines for quality assurance in the European higher education area: a Slovenian case study. International Journal for standard and services, 4 (1): 54-69. QAA - Quality assurance agency for higher education. 2002. Handbook for institutional audit: England 2002. Gloucester: QAA. Http://www. qaa.ac.uk/reviews/institutionalAudit/handbook/audit_handbook.pdf (29. 2. 2008). QAA - Quality assurance agency for higher education. 2006. Handbook for institutional audit: England and Northern Ireland 2006. Gloucester: QAA. Http://www. qaa.ac.uk/reviews/institutionalAudit/handbook2006/handbookComments.pdf (29. 2. 2008). QAA - Quality assurance agency for higher education. 2007. Code of best practice for members of the QAA board. Http://www.qaa.ac.uk/aboutus/qaaBoard/BoardCodeofbestpractice.pdf (11. 3. 2008) 72 Sad lak, Jan in Liu Nian Cai, ur. 2007. The vvorld-ciass university and ranking: aimins beyond status. Bucharest: UNESCO-CEPES. Schwarz, Stefanie in Don F. Westerheijden, ur. 2004. Accreditation and evaluation in the European higher education area. Dordrecht, Boston, London: Kluwer academic publishers. Seymour, Daniel T. 1993. On Q; causing quality in higher education. Phoenix: Oryx [s. I.]: American Councilon Education. Standaert, Roger. 2000. Inspectorates of Education in Europe, a critical analysis. Utrecht: Ministry of education Flanders. SUK/CUS ■ Schweizerische Universitätskonferenz/Conference universitaire suisse/Gsnferenza universitaria svizzera. 2003. Guidelines for accademic accreditation in Switzerland. Bern: SUK/CUS. The European higher education area, achieving the gpals. Communique of the Conference of ministers responsible for higher education in Bergen on 19-20th May 2005. 2005. Http://www.bologna-bergen2005.no/Docs/00-main_doc/050520_Bergen_Communique.pdf (1. 3. 2008) Towards the European higher education area. Communique of the meeting of European ministers in charge of higher education in Prague on May 19th 2001. 2001. Http://www.bologna-berlin2003.de/pdf/Prague_communiquTheta.pdf (29. 2. 2008) Towards the European higher education area: responding to challenges in a globalised world. London communique from 18th May 2007. 2007. Http://www.dfes.^v.uk/londonbologna/uploads/documents/LondonCommuniquefinalwithLo ndonlogo.pdf (29. 2. 2008) Trunk Sirca, Nada, Armand Faganel, AAateja Brejc, Franc Čuš, Marinka Drobnič-Košorok, Aleksander Janeš, Karmen Kern-Pipan, Katarina Košmrlj, Anja Lesjak, Miha Pauko, Karmen Rodman, Klemen Širok. 2007. Poročilo o vzpostavljanju sistema institucionalnih zunanjih evalvacij slovenskih visokošolskih zavodov v letu 2006 = 2006 report on building the external evaluations system of Slovenian higher education institutions. Koper: Fakulteta za management Koper. Usher, Alex in Massimo Savino. 2006. A world of difference: a global survey of university league tables. Virginia Beach, Toronto, Melbourne: Educational policy institute. Vossensteyn, Hans. 2006. Quality management: international experiences in teaching and research. Predavanje na seminarju Management in higher education. Univerza na Primorskem, Fakulteta za management Koper, Izola, 23. 8. - 1. 9. 2006. Wed lin, Linda. 2006. Ranking business schools: forming fields, identities and boundaries in international management education. Cheltenham, UK, Northampton, AAA : Edward Elgar. West-Burnham, John. 1997. Managing quality in schools: effective strategies for quality based improvement. 2. izd. London: Financial times. Prentice Hall: Pearson Education. Zakon o javnih agencijah. 2002. Uradni list Republike Slovenije, št. 52/2002. ZViS - Zakon o visokem šolstvu. 1993. Uradni list Republike Slovenije, št. 6711992, ZViS-UPB2 - Zakon o visokem šolstvu, uradno preči^eno besedilo. 2004. Uradni list Republike Slovenije, št. 100/2004. ZViS-UPB3 - Zakon o visokem šolstvu, uradno precixeno besedilo. 2006. Uradni list Republike Slovenije, št. 119/2006. 73 Vprašalnik za člane komisij za pilotne institucionalne zunanje evalvaciie Priloga 1 9 PRILOGE Priloga 1: Vprašalnik za člane komisij za pilotne institucionalne zunanje evalvacije Vprašdnik je navenjen članom komisij za zunmjo evdvazijo, ki so sod^ovdi v pilotnih institucionalnih zunanjih evdvacijdt NKfta prvič in ponovno vpisanih stuc 2.2 Znanstveno-raziskovafna dejavnost entov ter ab so ven tov. Vrsta projektov in dejavnosti 2007 2006 2005 Prijavljeni Odobreni Tekoči Prijavljeni Odobreni Tekoči Prijavljeni Odobreni Tekoči Temeljni Aplikativni Po Program 5 CRP Znanie za CRP Konkurenčnost Skupaj Mladi raziskovalci 2.3 Zaposleni Zaposleni 2007/2008 2006/2007 2005/2006 Visokošolski učitelji, raziskovalci in sodelavci Redni Redni - Pogodbeni Strokovni sodelavci 2.4 Prostorske razmere Vrsta prostorov Lokacija 1 Lokacija 2 Lokacija 3^ Lokacija Skupaj VSZ Predavalnice Kabineti Drugi prostori Skupaj 80 Vzorec samoevalvaciiskeaa poročila o izobraževalni dejavnosti Priloga 3 2.5 Financiranje Prihodki 2006 2005 2004 Prihodki za izvajanje javne službe od tega: - prihodki iz sredstev javnih fiiianc - "dru^ prihodki iz izvajanja javiie Prihodki iz naslova izvaiania tržne delavnosti Drugi prihodki Skupaj 3 DODIPLOMSKA ŠOLA Kratka predstavitev dodiplomske šole VŠZ, ki lahko vsebuje npr. osnovne podatke o študijskih programih in njihovem izvajanju. 3.1 Vpis - števifo in nekatere značilnosti študentov 1 2007/2008 2006/2007 2005/2006 Vrsta programa Progra Progra Stuc en ti Progra 'rogra Studenti PrograProgra Studenti ZViS-A ZViS-UPB2 ZViS-A ZViS-UPB2 ZViS-A ZViS-UPB2 ZViS-A ZViS-UP82 ZViS-A ZViS-UPB2 ZViS-A ZViS-UPB2 Program 1 Program 2 1 Skupaj Preglednica 7: Število razpisanih mest in vpisanih studentov v 1. letnik Studijski Način 2007/2008 2006/2007 2005/2006 program študija Razpis Vpis Razpis Vpis Razpis Vpis PROGRAMI Redni Izredni PROGRAM 2 Redni Izredni Skupaj Preglednica 8: Število prvič in ponovno vpisanih študentov v 1. letnik v študijskem letu Studiiski program Način študija Lokacija 1 Lokaciia 2 Lokaciia 3 Lokaciia 4 PROGRAM 1 Redni Izredni PROGRAM 2 Redni Izredni Skupaj Preglednica 9: Struktura študentov 1. letnika programov glede na način zaključka srednje šole (vodstot kih) ----.Zaky^ek srednje Studiiski proaram "----^ 2007/2008 2006/2007 2005/2006 2004/2005 M PM/ZI M PM/ZI M PM/ZI M PM/ZI PROGRAM 1 Redni Izredni PROGRAM 2 Redni Izredni Skupaj 81 Vzorec samoevalvaciiskeaa poročila o izobraževalni dejavnosti Priloga 3 Preglednica 10: Struktura studentov 1. letnika glede na vrsto končane srednje šole (v Končana srednja šola 2007/2008 2006/2007 2005/2006 PROGIWM 2 PROGRAM 1 PR0GR;yyl 2 PR0GR>!JkA 1 PROGRAM 2 PROGRAM 1 R 1 R i R 1 R 1 R 1 R 1 Gimnazija Ekonomski tehnik Dru^a srednja strokovna šola Srednja strokovna šola (3+2) Preglednica 11: Povprečna starost prvič vpisanih študentov v 1. letnik in v višje letnike po Študijski program in način 1. letnik 2. letnik' 3. letnik' PROGRAM 1 Redni študij Izredni študij PROGRAM 2 Redni študij Izredni študij Opomba: 'vpis po merilih za prehode. Preglednica 12: Struktura študentov po spolu (v odstotkih) Studijski Način 2007/2008 2006/2007 2005/2006 2004/2005 proeram študija M Z M Z M 2 M Z PROGRAMI Redni Izredni PROGRAM 2 Redni Izredni Opombi: M • mo^i, Z - žen5l<£. Letnik v NS 2007/2008 2006/2007 2005/2006 študija PROGRAM 1 PROGRAM 2 PROGRAM 1 PROGRAM 2 PROGRAM 1 PROGRAM 2 1. letnik R 1 2. letnik R 1 3. letnik R 1 Absolventi R 1 Skupaj R I Opombe: v preglednico so zajeti pnrič in ponovno vpisani študenti; N5 - način študija, R ■ redni študij, iZ - izredni študij. 3.2 Študenti VSI v tujini Raven 2007/2008 2006/2007 2005/2006 2004/2005 Dodiplomska šola 3.3 Učinkovitost študija in diplomanti Preglednica 15: Napredovanje študentov (v odstotkih %) 2007/2008 2006/2007' 2005/2006' Napredovanje PROGRAM 1 PROG RAM2 PROGRAMI PROGRAM 2 PROGRAM 1 PROGRAM 2 R 1 R 1 Iz1.v2. Iz 2. v 3. Opombi: R - redni študij, 1 ■ izredni študij; ' samo rec nI študij. 82 Vzorec sanrcevalvaciiskeaa Doročila o raziskovalni dejavnosti Priloga 4 Preglednica 16: Povprečno število pristopov k Izpitu in povprečna ocena [TTTTinzr: zrz^ ^ -^nn^cnm I 2005/2006 ' onnAi Studijski program PROGRAMI PROGRAM 2 Način študija Redni izredni Redni Izredni 2006/2007 Pristopi Ocena Pristopi Ocena 2004/2005 Pristopi Ocena Preglednica 17: Pregled uspešnosti študentov po predmetih studijskega Predmet programa Ime predmeta NS R ili J21 i6I (7) Opombe: NS - način študija, R ■ redni študij, I - izredni študij; (1) - število vsBh pristopov k izpitu v studijä^em letu; (2) ■ število študentov, ki so pristopili k izpitu; (3) - povprečna ocena; (4) - povprečno število pristopov za pozitivno oceno; (5) - povprečna pozitivna ocena; {6) število študentov, ki so v študijskem letu opravili izpit, (7) - delež pozitivno ocenjenih študentov: (7) = (6)/(2); - ni podatka. Preglednica 18: Povprečni čas študija (vletih) Studijski program Način študija 2006/2007 2005/2006 2004/2005 PROGRAM 1 Redni Izredni PROGRAM 2 Redni Izredni Skupaj VSI Naikraiši čas študii Naidaljši čas študiia Študijski program 2006/2007 2005/2006 2004/2005 Skupno št. diplomantov VSZ R 1 R 1 R 1 PROGRAM 1 PROGRAM 2 Skupaj Zaposljivost diplomantov VŠZ predstavi podatke o zaposljivosti in zaposlenosti diplomantov ter metode in orodja, katerimi spremlja zaposljivost diplomantov. 3.4 Ocena stanja in usmeritve Opaziti je ... . To gre pripisati ... . V pritiodnje zato na fakulteti načrtujemo sprememb iz preteklega leta Program 2o ugotovili, da .... Zato uvajamo .... 4 PODIPLOMSKA ŠOLA Predstavitev Podiplomske šole. 4.1 Vpis študentov, število in nekatere značilnosti študentov Na podlagi Študijski program 2007/2008 2006/2007 2005/2006 ProaraProaram Študenti' ProaraProaram Študenti ProaraProaram Študenti Program 1 Program 2 Skupaj 83 Vzorec samoevalvaciiskeaa poročila o izobraževalni dejavnosti Priloga 3 Preglednica 21: Število razpisanih mest in vpisanih študentov Študijski program in letnik 2007/2008 2006/2007 2005/2006 Razpis Vpis Razpis Vpis Razpis Vpis PROGRAMI PROGRAM 2 PROGRAM 3 1. letnik 2. letnik' PROGRAM 4 1. letnik 3. letnik' Skupaj Preglednica 22: Vpis v 1. letnik glede na predhodno Izobrazbo (v odstotkih) Študijski program 2007/2008 2006/2007 2005/2006 2004/2005 UN VS' UN VS UN VS UN VS PROGRAMI PROGRAM 2 PROGRAMS PROGRAM 4 Preglednica 23: Povprečna starost prvič vpisanih študentov v 1. letnik in v višje letnike po Studijski program 1. letnik 2. letnik' 3. letnik' PROGRAMI PROGRAM 2 PROGRAM 3 PROGRAM 4 Opomba: 'vpis po merilih za prehode. Preglednica 24: Struktura študentov po spolu (v odstotkih %) Študijski program 2007/2008 2006/2007 2005/2006 2004/2005 M Z M Z M Z M Z PROGRAMI PROGRAM 2 PROGRAM 3 PROGRAM 4 Opombi: M - moi