© Nova univerza, 2018 DIGNIT AS Revija za človekove pravice Slovenian journal of human rights ISSN 1408-9653 Evalvacija kakovosti Fakultete za državne in evropske študije z vidika njenih diplomantov Liliana Brožič Article information: To cite this document: Brožič, L. (2014). Evalvacija kakovosti Fakultete za državne in evropske študije z vidika njenih diplomantov, Dignitas, št. 63/64, str. 116-142. Permanent link to this doument: https://doi.org/ 10.31601/dgnt/63/64-7 Created on: 16. 06. 2019 To copy this document: publishing@nova-uni.si For Authors: Please visit http://revije.nova-uni.si/ or contact Editors-in-Chief on publishing@nova-uni.si for more information. This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License. 117 DIGNITAS n Evalvacija kakovosti Fakultete za državne in evropske študije z vidika ... PovzETEk Med nekdanjimi študenti Fakultete za državne in evropske štu- dije smo izvedli evalvacijo z namenom ovrednotiti njeno kakovost. v naboru evalvacijskih modelov smo se odločili za evalvacijsko raziskavo, med tipi evalvacij pa za sumativno evalvacijo. Izbrani metodološki pristop je evalvacija četrte generacije, kjer je vloga evalvatorja mediator v procesu evalvacije in presojanja, z name- nom doseči konsenz med udeleženci. Evalvacija je potekala v času od 25. junija do 25. avgusta 2014. vanjo smo uspeli vključiti nekdanje študente fakultete v celotnem razponu njenega delovanja. zanimalo nas je, kako ocenjujejo fa- kulteto in kako ocenjujejo svoje pridobljeno znanje s poudarkom na uporabi tega znanja na trgu delovne sile. zraven pa še ali in kako so pripravljeni sodelovati s fakulteto tudi v prihodnje. Ključne besede: Fakulteta za državne in evropske študije, eval- vacija, nekdanji študentje, kakovost, Alumni klub. Quality evaluation of the Graduate school of government and european studies from the perspective of its graduates AbSTrA cT We have conducted an evaluation survey among former stu- dents of the Graduate School of Government and European Stud- ies in order to evaluate its quality. Among the variety of evaluation Evalvacija kakovosti Fakultete za državne in evropske študije z vidika njenih diplomantov Liliana Brožič 118 DIGNITAS n Iz življenja Fakultete za državne in evropske študije models we opted for the evaluation research and chose the sum- mative evaluation type. The chosen methodological approach is the fourth generation evaluation, where the evaluator takes on the role of mediator in the evaluation and assessment process with the aim to reach a consensus among the participants. The evaluation was conducted between 25 June and 25 Au- gust 2014. We have managed to include former faculty students over the entire period of its operation. We were interested in their assessment of the faculty and the assessment of their acquired knowledge based on its usefulness in the labour market. In addi- tion, we asked them if and how they were prepared to cooperate with the faculty in the future. Key Words: Graduate School of Government and European Studies, evaluation, graduates, quality, Alumni club. 1. Uvod Področje evalvacij je relativno mlada znanstvena veda, ki se je razvila v okviru sociologije z namenom ugotavljanja in vrednote- nja učinkovitosti različnih programov, ki jih financira država na področju zdravstva, sociale, šolstva in drugje. Torej na področjih, kjer uspešnosti ni možno ovrednotiti z dobičkom, ceno ali števil- ko. Tak način vrednotenja je težji, saj je treba uvesti nove, drugač- ne načine za njegovo ocenitev. Ta pa se lahko od ocenjevalca do ocenjevalca razlikuje. r elativno preprost uvod v teorijo evalvacij, katere starost lahko ocenimo na približno zadnjih šestdeset let. v letu 2010 je nastal članek z naslovom Evalvacija kot znanstve- na veda in njen pomen za kakovost v visokem šolstvu 1 . k pisa- nju je veliko prispevalo dejstvo, da je istega leta spomladi vlada r epublike Slovenije ustanovila Nacionalno agencijo za kakovost v visokem šolstvu (v nadaljevanju NAkvIS). Njena ustanovitev je takrat bila imperativ za pisanje članka o teoriji evalvacij in možni uporabi spoznanj na tem področju v povezavi z inplementacijo metodoloških pristopov pri evalvacijah v visokem šolstvu. od ta- krat mineva štiri leta in NAkvIS je opravila veliko dela. veliko se je v kakovostnem smislu spremenilo tudi na slovenskih univerzah in fakultetah. 1 L. Brožič in A. Anžič, Dignitas, 2010, št. 47/48. 119 DIGNITAS n Evalvacija kakovosti Fakultete za državne in evropske študije z vidika ... Pričujoči članek je nastal, da predstavi in osveži evalvacijsko teorijo in ovrednoti kakovost študija na Fakulteti za državne in evropske študije (v nadaljevanju FDŠ) z vidika njenih diploman- tov. Nekdanji študentje so pomemben dejavnik za vsak višješol- ski in visokošolski sistem. So najboljši vrednostni kazalnik vsake izobraževalne institucije posebej. Po njih zagotovo lahko sodimo kakovost fakultete. večinoma so nekdanji študentje združeni v Alumni klube, ki po posameznih fakultetah različno delujejo. Slo- venska zakonodaja na področju visokega šolstva in s tem tudi NA- kvIS ju prepoznavata kot pomemben kazalnik uspešnosti fakul- tet. z namenom, da bi vse našteto preverili, smo v Alumni klubu FDŠ izvedli evalvacijsko raziskavo. 2. Evalvacija kot znanstvena veda beseda »evalvacija« v slovenskem jeziku pomeni ocenitev, vre- dnotenje, medtem ko slovar angleškega jezika besedo pojasnjuje tudi kot preračunavanje, določitev vredosti. v literaturi se pojavlja tudi oblika besede »evaluacija«, vendar je zelo redka. »Definicije evalvacij so zelo različne in variirajo med trditvami, da gre za javno politiko (policy analysis) in so povezane s pred- sodkom funkcije evalvacij« 2 . Model evalvacij na področju analize politik je sestavljen iz večih procesov. Prvi v tej metodologiji je proces strukturiranja problema, sledi proces napredovanja, proces predlogov in proces spremljanja. Peti proces je evalvacija, v kate- rem je le-ta zasnovana na spremljanju in vrednotenju. »Na splošno je v analizi politik izraz evalvacija sinonim za oceno, rangiranje, ocenjevanje; to so vse besede, ki vsebujejo prizadevanje za anali- ziranje rezultatov politik v smislu določene množice vrednot« 3 . Na podobnosti in razlike med evalvacijskimi raziskavami in javnimi politikami opozarjata Geva – May in Pal. Te razlike so pomemb- ne posebej v zasnovi evalvacije, raziskovalnih metodah, definici- ji problema, interpretaciji podatkov in argumentaciji rezultatov evalvacije 4 . vrednostni vidik evalvacij ali »sistematično raziskavo vrednosti in uspešnosti nekega predmeta« so najbolje opisali avtorji Eisner 2 I. Geva – May, L. A. Pal, Good Fences Make Good Neighbours, Policy Evaluation and Policy Analysis – Exploring the Differences, Evaluation, 1999, 3, str. 246. 3 N. Dunn, Public Policy Analysis: An Introduction, 1994, str. 403. 4 I. Geva – May, L. A. Pal (op. pod črto št. 2), str. 259-277. 120 DIGNITAS n Iz življenja Fakultete za državne in evropske študije (1979), Glass (1969), House (1980), Scriven (1967) in Stufflebeam (1974). Našteti avtorji vidijo evalvacijo kot proces, ki vsebuje tako opisovanje kot tudi presojo. bistvena prednost evalvacij je povra- tna informacije, ki omogoča izboljšavo obstoječega programa ali aktivnosti. Evalvacijo bi lahko opisali kot analitično preiskavo, ki temelji na zbiranju in analizi dokazov, rezultat česar je izdelava zaključkov in priporočil iz konkretnih dokazov 5 . kot najpreprostejšo definicijo evalvacije omenja Patton: ugota- vljanje doseganja ciljev določenega programa, lahko pa vsebuje tudi oceno izvedbe, procesa, nepričakovanih učinkov in vplivov. Izraz evalvacija uporablja tudi širše, in sicer »kot vsak poskus po- večanja človeške učinkovitosti preko sistematične raziskave, ki je osnovana na zbiranju podatkov« 6 . Evalvacijska raziskava je raziskava, ki »uporablja sistematične, standardizirane metode družboslovnih znanosti za ocenjevanje družbenih intervencij in socialnih programov«. osrednja prednost evalvacije je izdelava vrednostne presoje, sklepnih ugotovitev in končna ocena. Najpomembnejše pri eval- vacije je, da vsebuje argumentacijo, ki vzpodbuja vse vpletene v procesu, da z močnimi argumenti evalvacijske ugotovitve in pre- dloge lahko sprejmejo ali ovržejo 7 . začetek evalvacijskih raziskav ponavadi povezujemo s krizo drža- ve blaginje, v smislu krčenja sredstev države za javne programe, kar je vzpodbudilo ocenjevanje njihove uspešnosti in učinkovitosti 8 . rihterjeva pravi, da je iz zgodovinski dejstev mogoče razbrati, da je prepoznavanje pomena evalvacij pogosto odvisno od poli- tičnih in ekonomskih razmer. začetki evalvacij segajo v leto 1845. Dolgo obdobje je bila evalvacija socialnih programov in politik »obrobni del lokalnih zdravstvenih, socialnih in izobraževalnih birokracij« 9 . v združenih državah Amerike je bilo zlato obdobje evalvacijskih raziskav, ki jih je financirala država, v 60-ih letih. Po navedenem obdobju je država začela krčiti sredstva, namenjena socialnim politikam, evalvacije so tako prevzele vlogo ugotavlja- 5 V. Valovirta, Evaluation Utilization as Argumentation. Evaluation, 2002, 1, str. 60–80. 6 L. Rihter, Evalvacije na področju socialnega varstva in njihov pomen za prilagajanje sodobnih držav blaginje na izzive globalizacije, 2004, str. 83–137. 7 V. Valovirta (op. pod črto št. 5), str. 60–80. 8 M. Macur, Vpliv privatizacije na kakovost zdravstvenih storitev - evalvacija z vidika uporabnika, 2000, str. 35. 9 L. Rihter (op. pod črto št. 6), str. 83. 121 DIGNITAS n Evalvacija kakovosti Fakultete za državne in evropske študije z vidika ... nja uspešnosti, učinkovitosti in racionalnosti posameznih progra- mov 10 . Tendenca po zmanjševanju finančnih sredstev na področju so- cialnih politik, v zdravstvu in izobraževanju je še vedno prisotna, oziroma je s spreminjanjem javnih politik v trendu zmanjševanja sredstev vedno bolj opazna. Navedeno avtorji 11 razumejo kot zu- nanje in notranje pritiske. zunanji pritiski so povezani predvsem s financiranjem storitev v javnem sektorju, kjer se v zadnjih letih kre- pijo mehanizmi kontrole, ki intenzivneje nadzorujejo sredstva, stro- ške in storitve v javnem sektorju. Notranji pritiski izvirajo iz splošne etnične in profesionalne obveznosti strokovnih delavcev. Dejstvo je, da morajo zaposleni v javnem sektorju pri sodelovanju v izvaja- nju različnih javnih politik izkazovati vedno več znanja, strokovno- sti in inovativnosti, da pri kandidiranju na različne aktivnosti lahko zraven sodelujejo oziroma pridobijo dodatna sredstva. Evalvacije so bile v preteklosti najbolj pogoste na področju iz- obraževanja in zdravstva. večina avtorjev 12 govori o štirih genera- cijah evalvacij. Evalvacije prve generacije so imele predvsem funkcijo merjenja. obenem s pojavom prvih merjenj se je pojavil tudi izraz evalvacija. vključeval je predvsem teste in testiranje študentov, evalvator je imel povsem tehnično funkcijo merjenja in to v kvantitativnem smislu. Evalvacije druge generacije so pridobile s funkcijo opisa. Eval- vacije prve generacije so se izkazale za pomanjkljive, saj niso za- gotavljale celotne informacije o nekem izobraževanju. v zDA so tako uvedli osemletno študijo, ki naj bi ugotovila kakovost študija na srednjih šolah in fakultetah, pri čemer so bili upoštevani vsi vidiki evalviranja (testi, ocenjevanje programov, ciljev, učinkov ...). vloga evalvatorja je tako postala opisovanje, ki pa ne izključuje merjenja 13 . Evalvacije tretje generacije so pridobile na kakovosti s pre- sojo. zgolj testiranje in opisovanje ni bilo več dovolj. od eval- vatorja so pričakovali še presojo. Evalvator je pridobil vlogo razsodnika, hkrati pa ohranil deskriptivno in tehnično funkcijo. Pristop je prinesel nove probleme, prvič so bili evalvaciji pod- vrženi tudi cilji. Presoja bi morala temeljiti na standardih, ki še 10 Ibidem. 11 B. Mesec, Različice kvalitativnih raziskav, 2004, str. 22. 12 Guba, Lincoln, Madaus in drugi V: M. Macur (op. pod črto št. 8), str. 50-78. 13 Id., str. 33. 122 DIGNITAS n Iz življenja Fakultete za državne in evropske študije niso bili določeni, evalvatorji se niso počutili kompetentne za vlogo razsodnika, vendar so vlogo vseeno opravljali, saj so bili še najbolj objektivni 14 . Avtorja četrte generacije evalvacij sta Egon Guba in Yvonna Lincoln. Po njuni teoriji se evalvacije delijo na štiri faze, in sicer: • v prvi fazi evalvator identificira udeležence (osebe, ki dolo- čijo, kaj bomo evalvirali, osebe, ki z evalvacijo pridobijo, in osebe, ki z evalvacijo zgubijo) in odkriva njihove zahteve; • v drugi fazi se krog informacij med udeleženci razširi tako, da vse seznanimo z ugotovitvami in ostalimi relevantnimi podatki; • v tretji fazi se evalvator bolj angažira v smislu povezovanja in reševanja ostalih odprtih vprašanj; • v četrti fazi poskušajo vsi udeleženci in evalvator najti konč- no rešitev s konsenzom 15 . Funkcija evalvacije vloga evalvatorja Namen evalvacije 1. generacija MErJENJE Tehnična (pozna instrumente merjenja) Meriti uspešnost testirancev (študentov v šoli) 1800–1900 obdobje reforme 1900–1930 obdobje učinkovitosti in testiranja 2. generacija oPIS opisna (izdela opis prednosti in slabosti programa glede na njegove cilje) Izboljšanje programa (formativna evalvacija) 1930– 1945 Taylerjevo obdobje 1946–1957 obdobje nedolžnosti 3. generacija PrESoJA razsodnik Presoditi smiselnost ciljev in koristnost programa 1958–1972 obdobje ekspanzije 1973 – obdobje profesionalizaije 4. generacija PoGAJA- NJE Mediator v procesu evalvacije in presojanja Doseči konsenz med udeleženci Tabela 1: Guba, Lincoln (1989): Fourth Generation Evaluation. Četrta kolona je dodana klasifikacija po Madaus in drugi (1993). Oba vira ločeno v Macur, 2000. 14 Ibidem. 15 J. Toulemonde, C. Fontaine, E. Laudren, P. Vincke, Evaluation in Partnership, Practical Sugestions for Improving their Quality, Evaluation, 1998, 2, str. 171–188. 123 DIGNITAS n Evalvacija kakovosti Fakultete za državne in evropske študije z vidika ... Četrta generacija evalvacije po Gubi in Lincolnovi ima veliko privržencev in tudi tistih, ki njune teorije na zagovarjajo. Po lite- raturi sodeč je najbolj sporno ravno doseganje konsenza med vsemi udeleženci evalvacije. za podrobnejše razumevanje raz- lik med prvimi tremi generacijami evalvacij in četrto generacijo evalvacij je smiselno poznati temeljna načela četrte generacije evalvacij: Evalvacija zajame integralen družbeno politični proces, ki vklju- čuje mnenja in interese udeležencev in evaluatorjev, predvsem pa širše kulturno, politično in socialno okolje. Evalvacija zahteva proces sodelovanja vseh udeležencev, pri če- mer mora biti dosežen splošni konsenz o končni odločitvi oziro- ma stališču. Na ta način naj bi našli najboljšo skupno opcijo, ki bi bila za vse prisotne optimalna. Evalvacija je proces poučevanja in učenja hkrati. v procesu evalvacije se v sodelovanju z vsemi udeleženci vsi učijo od drugih, sami poučujejo druge in z aktivnim sodelovanjem pridobivajo na širjenju lastnega znanja, pri čemer se porajajo nove rešitve. Evalvacija je kontinuiran, ponavljajoč se in močno divergen- ten proces. Program ali ukrep, ki ga evalviramo, je kljub temu, da teče v okviru začrtanega načrta, dovzeten za stalne spremembe in izboljšave, ki so potrebne za dosego aktualnih ciljev. Ima svoj začetek in konec, vendar ob ponovnem začetku stečejo ne iste, a podobne aktivnosti. Evalvacija je porajajoč se proces. Evalvacije kot postopka ni možno vnaprej načrtovati do te mere, da bodo vse aktivnosti na- tančno po časovnici. v program, ki ga evalviramo, je vključenih toliko različnih dejavnikov, npr. udeleženci, okolje, različne vsebi- ne, posebnosti posameznega dogodka, ki se dejansko lahko ves čas spreminjajo. Hkrati ne moremo zagotoviti okoliščin, kjer bi se isti proces lahko ponovil z istimi pogoji. vsak proces evalvacije je unikaten. Evalvacija je proces z nepredvidljivimi ugotovitvami. Aktivno sodelovanje vseh udeležencev, poučevanje in učenje v procesu ter sestavine procesa, pri katerih je možnost preminjanja relativ- no visoka, privedejo do končnih ugotovitev, ki niso bile pričako- vane, in ne samo to, morda nam tudi niso všeč in jih ne želimo. Posebej pomembo je poznati vzroke za posamezna stališča, ki jih imajo različni udeleženci, in njihov vpliv pri iskanju skupne- ga konsenza. 124 DIGNITAS n Iz življenja Fakultete za državne in evropske študije Evalvacija je proces, ki oblikuje realnost. Gre za oblikovanje op- timalnega realnega stanja v nekem procesu, nikakor ne moremo govoriti o odkritju 16 . Dejstvo je, da je četrta generacija evalvacij doprinesla k razvoju novosti na področju evalvacij predvsem v smislu uvajanja kvali- tativnih metod raziskovanja, s čimer so evalvacije pridobile pred- vsem na širšem konteksu obravnavanja posameznega procesa in posledično na kakovosti. vendar sta avtorja doživela tudi veliko kritik. Ena izmed najbolj pogostih kritik četrte generacije evalvacij je ravno iskanje konsenza med vsemi udeleženci evalvacije. Dabi- nett in richardson ugotavljata, da je v procesu evalvacije zelo po- membno, kdo ima moč odločanja in vplivanja na segmente evalva- cije, ki sam proces evalviranja lahko dejansko preusmeri v povsem drugo/svojo smer. zagovarjata namreč dejstvo, da je vedno nekdo (zunaj ali znotraj procesa), ki posamezno evalvacijo financira ozi- roma je že uvodoma financiral program, ki se evalvira. ravno tako se v prosecu evalvacije lahko pojavijo posamezni udeleženci 17 , ki s pozicije moči poskušajo na postopek procesa evalvacije vplivati, npr. ravnatelj, vodja izobraževalnega programa ... itn. 18 Gregoryjeva argumentira kritiko četrte generacije evalvacij kot omejitve, ki jih deli na strukturalne, administrativne in socialne 19 . Med strukturalne omejitve šteje dejstvo, da je vsaka evalvacija, ki želi biti participativna, dejansko politično dejanje. Evalvacije, ki naj bi k nekemu cilju kaj doprinesle, morajo biti organizirane z neke pozicije moči. Moč je dejansko politika, gre torej za moč odločanja 20 . Guba in Lincolnova glede na našteta načela četrte ge- neracije evalvacij dejansko dopuščata doseganje konsenza vseh udeležencev, poudarjata upoštevanje vseh udeležencev in njiho- vih mnenj, ki sooblikujejo končne ugotovitve in brez konsenza vseh končne ugotovitve ni. v tem delu Gregoryjeva posebej opo- zarja, da so določene javne politike že pravnoformalno sprejete in na način Gube in Lincolnove nek udeleženec v procesu evalvacije dejansko nasprotuje javno sprejeti politiki na določenem podro- 16 M. Macur (op. pod črto št. 8), str. 26 in A. J. Huebner, S. C. Bett, Examining Fourth Generation Eva- luation, Application to Positive Youth Development, Evaluation, 1999, 3, str. 340–358. 17 Angleško besedo »Stakeholders« slovenska strokovna literatura prevaja kot udeleženci ali nosilci interesov, torej vsi tisti, ki v procesu sodelujejo oziroma imajo v njem nek interes in nanj lahko tudi vplivajo. 18 G. Dabinett, T. Richardson, The European Spatial Approach, The Role of Power and Knowledge in Strategic Planning and Policy Evaluation, Evaluation, 1999, 2, str. 220–236. 19 A. Gregory, Problematizing Participation, A Critical Review of Approaches to Participation in Eva- luation Theory, Evaluation, 2000, 2, str. 179–199. 20 Dudley V: Ibidem. 125 DIGNITAS n Evalvacija kakovosti Fakultete za državne in evropske študije z vidika ... čju. Navedeno postavlja v posebno neugoden položaj ravno eval- vatorja, ki naj bi bil kot mediator ključna oseba četrte generacije evalvacij. znanje, vrednote in motivacija udeležencev v procesu evalvacij se zdijo še posebej pomembni predvsem z vidika uporabe meto- dologije in povsod tam, kjer so teme razprav zelo raznolike. Gregoryjeva opozarja, da je pristop Gube in Lincolnove pre- cej naiven pri iskanju konsenza. Lauglin in broadbent trdita, da avtorja napačno predvidevata, da rešitve oziroma predlogi glede ciljev, odnosov in izhodišč »ne morejo kar pasti iz konsenza« in da je potrebno o določenih vsebinah razpravljati in poiskati stališča pri strokovnjakih 21 . Pri administrativnih omejitvah Guba in Lincolnova po mnenju Gregoryjeve predvsem zdravita simptome in ne odpravita vzro- kov zastojev dokumentacije, ki nastajajo v procesu evalvacije. v drugi fazi evalvacije naj bi se krog informacij med udeleženci raz- širil tako, da se vsi seznanijo z ugotovitvami in ostalimi relevantni- mi podatki. v praksi dejansko v tej fazi prihaja do zastojev. Socialne omejitve se nanašajo predvsem na dejstvo, da je eval- vacija lahko uspešna le, če je v kontekstu kulturnih, političnih in socialnih vplivov okolja. Naloga evalvatorja naj bi bila, da se pred začetkom procesa evalvacije seznani s socialnim okoljem, kar po mnenju Gregoryjeve predstavlja problem. Na ta način je vloga evalvatorja priviligirana in prepotencirana. za dobro poznava- nje socialnega okolja predlaga prisotnost dodatnega udeleženca v procesu evalvacije, ki naj bi bil strokovnjak na svojem podro- čju 22 . 2.1. Metodološki pristopi v evalvacijskih raziskavah Macurjeva in rihterjeva 23 v svojih doktorskih disertacijah opo- zarjata na večno dilemo, in sicer ali pri evalvacijskih raziskavah uporabljati kvantitativne ali kvalitativne metode. Pri izvajanju najrazličnejših raziskav in evalvacij avtorji name- njajo največ pozornosti metodam evalvacije oziroma metodolo- škemu pristopu k raziskavam. Na voljo imamo tri vrste metod, ki se uporabljajo pri izvajanju evalvacij: kvalitativno, kvantitativno 21 Lauglin in Broadbent V: Ibidem. 22 Ibidem. 23 M. Macur (op. pod črto št. 8), str. 35 in L. Rihter (op. pod črto št. 6), str. 83–137. 126 DIGNITAS n Iz življenja Fakultete za državne in evropske študije in kombinirano. Med kvantitativne metode spadajo vprašalniki, testi in razpoložljive baze podatkov, medtem ko med kvalitativne metode sodijo opazovanja, intervjuji in izbrane skupine - pilot- ske skupine 24 . bistvena razlika med obema metodama je, da so kvantitativne metode bolj enostavne, matematično in statistično natančne, vendar razen številk kakšnih posebnih kakovostnih rezultatov ne dobimo, medtem ko je pri kvalitativnih metodah nabor podatkov ali izsledkov bolj pester, vendar težje merljiv in bolj zahteven za interpretacijo. zaradi navedenega mnogi avtorji 25 zagovarjajo kombinirano metodo oziroma »mixed me- thod analyses«. Health meni, da kvalitativna (ali naturalistična) metoda variira glede na raziskovalno paradigmo, metode in do- mneve, vendar so pri taki raziskavi rezultati jasni in enostavni, hkrati pa obstaja možnost, da si rezultate interpretira vsak in- dividualno in pove svoje mnenje, medtem ko pri kvalitativnih (konvencionalnih, pozitivističnih) raziskavah, evalvacijah oziro- ma rezultatih te možnosti nimamo 26 . Nau zagovarja kombinacijo kvalitativne in kvantitativne metode, saj pravi, da lahko edino tako zagotovimo nabor podatkov, ki dajejo celovito sliko, ki je uporaba samo ene metodologije ne zagotavlja 27 . Pri kombinaciji obeh metod lahko pride do nabora različnih podatkov, ki lahko vodijo h kontradiktornim rezultatom in ugotovitvam, medtem ko nekateri uporabljajo kvalitativne raziskave v preveliki meri, kar škodi kakovosti rezultatov predvsem v kontekstu zagotavlja- nja njihovih ponovitev 28 . 24 L. Sharp, J. Frechtling, C. Mahoney, S. Berkowitz, G. Silverstein, User – Friendly Handbook for Mixed Method Evaluations, http://www.nsf.gov/pubs/1997/nsf97153/start.htm (zadnjič obiskano: 5. 2. 2015). 25 J. Hearn, J. Lawer, G. Dowswell, Qualitative Evaluations, Combined Methods and Key Challenges. General Lessons from the Qualitative Evaluation of Community Intervention in Stroke Rehabilitaion, Evaluation, 2003, 1, str. 30–54; L. Hantrains, Comparative Research Methods, Social Research Update, 1995, 13, http://sru.soc.surrey.ac.uk/SRU13.html (zadnjič obiskano: 5. 2. 2015); M. Levin – Rozalis, Abduction: A Logical Criterion For Programme and Project Evaluation, Evaluation, 2000, 4, str. 415–432; D. Winwright, Can Sociological Research Be Qualitative, Critical and Valid, The Qualitative Report, 1997, 2, http://www.nova.edu/ssss/QR/QR3-2/wain.html (zadnjič obiskano: 5. 2. 2015). 26 W. A. Health, The Proposal in Qalitative Research, The Qualitative Report, Vol. 3, 2 (1997), http:// www.apac.org.uk/alms/sessions/4/TheProposalInqualitativeResearch.pdf (zadnjič obiskano: 5. 2. 2015). 27 S. D. Nau, Mixing Methodologies: Can Bimodal Research be a Viable Post-Positivist Tool?, The Qualitative Report, 1995, Vol. 2, 3, (1995), http://www.nova.edu/ssss/QR/QR2-3/nau.html (zadnjič obiskano: 5. 2. 2015). 28 J. Connell, C. Lynch, Waring, Constrains, Compromises and Choice, Comparin Three Qualita- tiv Research Studies, The Qualitative Report, 2001, 4, http://nsuworks.nova.edu/cgi/viewcontent. cgi?article=1990&context=tqr (zadnjič obiskano: 5. 2. 2015). 127 DIGNITAS n Evalvacija kakovosti Fakultete za državne in evropske študije z vidika ... 2.2.Tipi evalvacij Migličeva deli evalvacije na tri tipe, in sicer: analiziranje potreb po usposabljanju in načrtovanje usposabljanja ali predformativno evalvacijo (ang. Preformative Evaluation), formativno evalvacijo (ang. Formative Evaluation) in sumativno evalvacijo (ang. Summa- tive Evaluation). Pri analiziranju potreb po usposabljanju in načrtovanju uspo- sabljanja opozarja, da gre dejansko za prvi korak oziroma prvo fazo v nizu vseh dejavnosti, ki zajemajo proces usposabljanja. Le-ta zajema v naprej določeno oceno potreb po usposablja- nju, ki je izdelana v skladu s strateškimi načrti organizacije ozi- roma drugimi temeljnimi dokumenti, ki se navezujejo na razvoj organizacije 29 . Formativna evalvacija sledi predformativni in se dejansko ukvarja z ugotavljanjem prednosti in slabosti programa usposa- bljanja v vseh njegovih razvojnih fazah, kot npr. v trajanju aktiv- nosti, vsebini, časovnem razporedu, reakcijah udeležencev, po- rabi virov ... Dejansko gre za proces, ki traja ves čas in se ukvarja s posameznimi operacijami usposabljanja. To je evalvacija, ki jo pogosto imenujejo notranja, preučuje proces »od spodaj in od znotraj«. Sumativna evalvacija je evalvacija, ki se ukvarja z uspešnostjo programa po končanem procesu. opisuje, kaj je bilo doseženo, kakšne so posledice, učinki in včasih tudi ali učinki upravičujejo stroške. Dejansko gre za evalvacijo »od zgoraj in od zunaj«. Njene informacije so povezane z odločitvami, ali se program ukine, raz- širi, skrajša itn. 30 . rihterjeva in Mesec med vrste evalvacij uvrščata formativno in sumativno evalvacijo, pri čemer na zadevo gledata širše, in sicer pravita, da formativna evalvacija poleg evalvacije procesa vključu- je tudi evalvacijo razultatov (ciljev), medtem ko sumativna eval- vacija lahko poleg evalvacije rezultatov vključuje tudi evalvacijo procesa. »bistvena razlika med njima je torej v samem namenu in ne toliko z vidika predmeta evalvacije« 31 . Frechtling in Sharp poznata dva tipa evalvacij; pri formativni pričakujeta odgovore na vprašanje, ki se začenjajo z do kakšne 29 G. Miglič, Ugotavljanje potreb po usposabljanju ter vrednotenje učinkov usposabljanja v državni upravi, 2002, str. 63. 30 Ibidem. 31 Mesec v: L. Rihter, Analiza in evalvacija programov na področju socialnega varstva, 2004, str. 95. 128 DIGNITAS n Iz življenja Fakultete za državne in evropske študije mere, kako, na kakšen način, pri sumativni evalvaciji pričakujeta odgovore na vprašanja, ki se začnejo s kaj je bilo, kako ste nare- dili, kakšni so bili… z navedenim prikazom le pojasnjujeta, da je sumativna evalvacija stvar preteklosti, nekaj, kar se je že zgodilo, formativna pa je nekaj, kar traja in v procesu trajanja so možne ali celo nujne stalne spremembe 32 . 2.3. Modeli evalvacij kot pravi Migličeva, je proces evalvacije sestavljen iz dveh postopkov, in sicer iz določanja meril za merjenje uspešnosti in uporabe ustreznih modelov, metod in tehnik za ugotavljanje spre- memb pri vodenju programa 33 . Literatura omenja najrazličnejše možnosti izbire modelov, me- tod in tehnik, ki jih lahko uporabimo v procesu evalvacije, zelo redko povsem natančno pove in prikaže, kako so pravzaprav bile evalvacije izpeljane v praksi. Iz taiste literature je razvidno, da eval- vacije v praksi potekajo, vendar se glede poimenovanje modela evalvacije, ki je v rabi oziroma so ga v konkretnem primeru upora- bili, niso povsem držali tipičnih značilnosti posameznega modela evalvacije. Iz pregleda literature lahko zaključimo, da je vsak evalvacijski proces ne glede na tipologijo in izbrani model dejansko zgodba zase, torej unikatna evalvacija. Ideje o povsem identičnih ponovi- tvah so dobesedno utopične. Modeli evalvacij v literaturi izhajajo iz dveh znanstvenih para- digm: paradigma model avtorji, ki ga/jo omenjajo POZITIVISTIČNA kvantitativne metode: vprašalniki, testi, obstoječe baze podatkov. Eksperimentalni model Strcher in Davis Sistemska analiza Hause, Macur Evalvacijska raziskava Herman, Morris, Fritz-Gibbon 32 L. Sharp, J. Frechtling, C. Mahoney, S. Berkowitz, G. Silverstein (op. pod črto št. 24). 33 G. Miglič (op. pod črto št. 29), str. 56. 129 DIGNITAS n Evalvacija kakovosti Fakultete za državne in evropske študije z vidika ... KONSTRUKTIVNA kvalitativne metode: opazovanja, intervjuji, ciljne skupine, študija dokumentov, študija primerov. Študija primera Hause odzivna evalvacija Herman, Morris, Hause Demokratična evalvacija Macdonald Iluminativna Parlett in Hamilton Pluralistična Smith in cantley Naturalistična Tabela 2. Tabela je izdelana v kombinaciji naslednjih virov: Mi- glič (2002), Macur (2000), Sharp in ostali (1997). kot je razvidno iz predstavljenih modelov evalvacij 34 , so se le ti razvili iz kombinirane uporabe kvantitativnih in kvalitativnih metodoloških pristopov; v nekaterih primerih bi težko ločili ali je evalvacija formativna ali sumativna. Iz pregleda literature s področja evalvacij je evidentno, da se v teoriji kot tudi v praksi uporabljajo najrazličnejše kombinacije metodologij, pristopov, modelov in, kar je bilo že večkrat poudarjeno, vsaka evalvacij- ska raziskava je drugačna od druge. Pomembno v razvoju eval- vacij je, da le-te postajajo vedno bolj kompleksne in dovršene v svojih ugotovitvah, predlogih, predvsem pa skozi sam proces evalvacije. 3. Evalvacija na področju visokega šolstva bolonjski proces vodi k večji združljivosti in primerljivosti sistemov visokega šolstva, udeležencem izobraževanja olajšuje mobilnost, ustanovam pa pomaga pritegniti študente in strokov- njake z drugih kontinentov. v isoko šolstvo se je tako v zadnjem času moderniziralo s sprejetjem strukture treh ciklov, ki znotraj nacionalnih kontekstov vključuje tudi možnost vmesnih kvalifi- kacij, povezanih s prvim ciklom, ter sprejetjem evropskih stan- dardov in smernic za zagotavljanje kakovosti 35 (Standards and Guidelines for Quality Assurance in the European Higher Edu- cation Area). 34 več o modelih evalvacij v članku Evalvacija kot znanstvena veda in njen pomen za kakovost v viso- kem šolstvu, avtorja L. Brožič in A. Anžič (op. pod črto št. 1). 35 T. Debevec (ur.), K. Šubic, Š. Grošelj, D. Škodnik, Spremljanje, ugotavljanje in zagotavljanje kakovosti v Slovenskem visokošolskem prostoru v letih 2007 in 2008: Metaporočilo Senata za evalvacijo, 2009, str. 6. 130 DIGNITAS n Iz življenja Fakultete za državne in evropske študije v skladu s standardi evropske mreže agencij za zagotavljanje kakovosti v visokem šolstvu (European Association for Quality Assurance in Higher Education-ENQA) je evalvacijski senat Sveta za visoko šolstvo od septembra 2007, ko je prevzel svoje naloge do konca svojega delovanja v letu 2010, opravil na področju kako- vosti v visokem šolstvu veliko dela in z njim dosegel pomemben napredek, o čemer pričajo letna metaporočila. Med drugimi nalo- gami je moral senat z intenzivnim delom izpolniti temeljni pogoj za članstvo v evropski mreži agencij za zagotavljanje kakovosti v visokem šolstvu, ki zahteva nepretrgano opravljanje zunanjih eval- vacij najmanj dve leti, h katerim je potrebno pritegniti tudi tuje strokovnjake in jih zato prevesti tudi v angleški jezik ter tako pri- praviti vso potrebno dokumentacijo. z javno objavo metaporočila je tako izpolnjen eden izmed ključnih pogojev za enakovredno sodelovanje v tej elitni skupini 36 . Skrb za zagotavljanje kakovosti visokega šolstva je v sodobni družbi ena izmed osnovnih nalog, države podpisnice bolonjske deklaracije pa so si jo zadale kot eno izmed stalnih nalog v pove- zavi z evropsko dimenzijo zagotavljanja kakovosti v visokem šol- stvu, kamor umeščajo naslednje elemente kakovosti: samoevalva- cijo, zunanjo evalvacijo, akreditacijo in izboljšanje 37 . Nacionalna komisija za kvaliteto visokega šolstva je bila obli- kovana leta 1996 in prenovljena leta 2000. bila je predhodnica Agencije za zagotavljanje kakovosti v visokem šolstvu. Izdelala je Merila za spremljanje, ugotavljanje in zagotavljanje kakovosti visokošolskih zavodov, študijskih programov ter raziskovalnega, umetniškega in strokovnega dela (2004). »Prva« merila imajo tri področja evalviranja: visokošolske zavode, študijske programe in znanstvenoraziskovalno delo. Izvedla je pilotske institucionalne zunanje evalvacije 38 (2006), vzpostavila sistem zagotavljanja kako- vosti, nudila podporo izboljševanju visokošolskih zavodov, vzpo- stavila minimalne standarde delovanja v visokem šolstvu ter pre- verila »prva« merila v praksi 39 . 36 Id., str. 8. 37 Ibidem. 38 Filozofska fakulteta Univerze v Ljubljani, Naravoslovno-tehnična fakulteta Univerze v Ljubljani, v isoka zdravstvena šola Univerze v Mariboru in v isoka šola za upravljanje in poslovanje Novo Mesto so bile med kandidatkami in tudi izbrane za pilotske institucionalne zunanje evalvacije izvedene v letu 2006. 39 F. Čuš, M. Pauko, Organizacija in izvedba pilotnih zunanjih evalvacij kakovosti visokošolskih zavodov, V: Mednarodna konferenca o razvoju organizacijskih znanosti, Ustvarjalna organizacija: zbornik 26. mednarodne konference o razvoju organizacijskih znanosti, Slovenija, Portorož, 28.-30. marec 2007, 2007, str. 384–390. 131 DIGNITAS n Evalvacija kakovosti Fakultete za državne in evropske študije z vidika ... kot že navedeno, jo je nasledil Svet za visoko šolstvo in njegov evalvacijski senat. Na podlagi 51. e člena zakona o visokem šolstvu (v nadalje- vanju: zv is) 40 je vlada r epublike Slovenije s posebnim sklepom ustanovila Nacionalno agencijo r epublike Slovenije za kakovost v visokem šolstvu (NAkvIS) 41 , ki je pričela z delovanjem 1. marca 2010, ko je z delom prenehal Svet r epublike Slovenije z visoko šolstvo. Evalvacije v visokem šolstvu so sicer določene v 80. členu zakona o visokem šolstvu, ki o kakovosti pravi: »k akovost visokošolskih zavodov, študijskih programov ter znanstvenoraziskovalnega in umetniškega ter strokovnega dela ocenjujejo visokošolski zavodi (samoevalvacija) in agencija (zu- nanja evalvacija). Ugotovitve iz samoevalvacijskih poročil in poročil o zunanjih evalvacijah se upoštevajo ob podaljšanju akreditacije visokošol- skih zavodov in njihovih študijskih programov« 42 . Merila za akreditacijo in zunanjo evalvacijo visokošolskih zavo- dov in študijskih programov 43 v 20. členu določajo glede podaljšanja akreditacije, da se v po- stopku za podaljšanje akreditacije visokošolskega zavoda ozi- roma študijskega programa ugotovitveni in dokazni postopek izvaja z zunanjo evalvacijo in konča z odločitvijo o podaljšanju akreditacije. v nadaljevanju 21. člen o zunanji evalvaciji pravi, da je zunanja evalvacija postopek celostne presoje delovanja viso- košolskega zavoda oziroma izvajanja študijskih programov. Pre- sojata se predvsem napredek in razvoj od zadnje akreditacije na vseh področjih presoje, še posebej pa notranji sistem kakovosti visokošolskega zavoda. Temelj za presojo napredka in razvoja je samoevalvacijsko poročilo visokošolskega zavoda, iz katerega je razvidno, da spremlja svoje delovanje po vseh področjih presoje iz teh meril. Področja presoje so našteta v naslednjem 23. čle- nu, kjer so navedeni vpetost v okolje, delovanje visokošolskega zavoda, kadri, študenti, materialni pogoji, zagotavljanje kakovo- 40 Uradni list RS, št. 32/2012, http://www.uradni-list.si/1/content?id=108446 (zadnjič obiskano: 5. 2. 2015). 41 Sklep o ustanovitvi Nacionalne agencije Republike Slovenije za kakovost v visokem šolstvu (Uradni list RS, št. 114/09), http://www.pisrs.si/Pis.web/pregledPredpisa?id=AKT_612edpisa?id=AKT_612 (za- dnjič obiskano: 5. 2. 2015). 42 ZViS-UPB7, str. 2977. 43 Merila za akreditacijo in zunanjo evalvacijo visokošolskih zavodov in študijskih programov (Ura- dni list RS št. 40), http://www.pisrs.si/Pis.web/pregledPredpisa?id=MERI35 (zadnjič obiskano: 13. 1. 2015). 132 DIGNITAS n Iz življenja Fakultete za državne in evropske študije sti, inovativnosti in razvojne naravnanosti. k akovost študijskih programov se presoja predvsem po organizaciji in izvedbi. Pod- laga za presojo organizacije in izvedbe je akreditiran študijski program in vse spremembe, nastale po zadnji akreditaciji. v iso- košolski zavod je povezan z razvojem okolja s stalnim sodelova- njem kadrov in študentov z njim. v isokošolski zavod spremlja zaposljivost oziroma zaposlenost svojih diplomantov. v isokošol- ski zavod spremlja učne izide in pridobljene kompetence, da bi študentom oziroma diplomantom poleg zaposlovanja in nadalj- njega izobraževanja omogočil tudi vključevanje v družbene pro- cese in javno življenje. NAkvIS je v decembru 2013 pripravila poročilo 44 z naslovom k akovost v slovenskem visokem in višješolskem prostoru v letih od 2010 do 2013 v katerem med drugim poleg drugih področjih navedenih v 23. členu avtorji navajajo tudi pomen spremljanja nekdanjih študentov. Poudarjajo sicer, da se slovenske univerze naslanjajo predvsem na podatke iz drugih javnih virov glede za- posljivosti svojih študentov in njihovih kompetenc, kljub temu, da nekatere že anketirajo svoje študente. odnosi fakultet z njiho- vimi diplomanti so sicer formalno urejeni s klubi, a poročilo na- vaja, da njihova dejavnost še ni najbolje razvita in vpeta v razvoj- ne dejavnosti fakultet, še posebej ne v njihove notranje sisteme zagotavljanja kakovosti 45 . v nadaljevanju so avtorji poročila zapi- sali, da so kompetence in učni izidi za študente jasno in ustrezno opredeljeni z akreditiranimi študijskimi programi, na ravni uni- verz pa so sprejeti primerni predpisi za spremljanje doseganja učnih izidov in kompetenc. Med bolj pomanjkljivo urejeno pa ocenjujejo spremljanje učnih izidov in kompetenc na trgu dela oziroma v delovnih okoljih, kjer se diplomanti zaposlijo. Po nji- hovih ugotovitvah univerze pretežno šele vzpostavljajo sisteme za spremljanje učnih izidov in kompetenc pri diplomantih. Po- vratna zanka, ki bi privedla do posodabljanja študijskih progra- mov in vsebin z vključevanjem izsledkov analiz o zaposlenosti in zaposljivosti diplomantov ter preverjanje kompetenc se šele vzpostavlja 46 . 44 J. Širok, Kakovost v slovenskem visokošolskem in viöješolskem prostoru v letih od 2010 do 2013, 2013, str. 9, 19, 20–22, 45, 48 in 72. 45 Id., str. 9. 46 Ibidem. 133 DIGNITAS n Evalvacija kakovosti Fakultete za državne in evropske študije z vidika ... 4. Metodologija evalvacije Ideja o izvedbi evalvacije kakovosti študija na FDŠ je nastala v Alumni klubu fakultete. Pravilnik o njegovem delovanju določa, da je Alumni klub FDŠ notranja organizacijska enota fakultete, ki je namenjena ohranjanju in krepitvi stikov med diplomanti ter fa- kulteto na vseh družbeno koristnih področjih.Izhajali smo iz pred- postavke, da so nekdanji študentje najbolj verodostojna skupina za izvedbo evalvacije kakovosti študija. FDŠ je pričela z svojim de- lovanjem v letu 2001 in po dobrih trinajstih letih je preteklo dovolj časa, da so nekdanji študentje lahko z veliko verjetnostjo verodo- stojno ocenili pridobljeno znanje na fakulteti in ga ovrednotili z vidika uporabnosti v praksi oziroma v delovnem procesu. Na sestavo vprašalnika so vplivali tudi statistični podatki, ki smo jih pridobili v referatu fakultete. ob vpisu v študijski proces študentje lahko navedejo podatke tudi o zaposlitvi. Tako so v raz- ličnih obdobjih navedli, da jih je 86 brezposelnih ali so iskalci za- poslitve, 980 da so zaposleni, od tega jih je bilo 697 zaposlenih v javni upravi in 247 v gospodarstvu. Glede na pridobljene podatke smo se še bolj osredotočili na ugotavljanje kakovosti pridobljenih znanj po preteku časa od zaključka študija v povezavi delovnimi izkušnjami pridobljenimi v delovnem razmerju. vprašalnik je bil sestavljen iz 33 vprašanj in razdeljen na tri vse- binske sklope. Prvi sklop je bil namenjen ugotavljanju splošnih podatkov o diplomantih fakultete kot npr: ali so bili v času študi- ja zaposleni, kdaj so se vpisali, na kateri program, kdaj so študij dokončali itn. Drugi sklop je bil namenjen vrednotenju samega procesa študija kot npr: ocenjevali so kakovost vsebin, njihovo iz- vedbo in organizacijo, kakovost predavalnic, podpornega osebja, informiranosti, pridobljeno znanje, kakovost mentorjev itn. v tre- tjem sklopu nas je zanimalo ali jih sodelovanje s fakulteto zanima tudi v prihodnje, v kakšni obliki, ali jim znanja pridobljena v času študija koristijo pri njihovem delu, ali so morda zaradi dokončanja študija napredovali oziroma zaslužijo več,... in kakšna je po njiho- vem mnenju dodana vrednost študentov, ki so končali študij na FDŠ. vprašalnik je bil izdelan s pomočjo spletnega orodja moja- anketa.si in na voljo za izpolnjevanje med 25. junijem in 25. av- gustom 2014 na povezavi http://www.mojaanketa.si/surveys/ results/480821525/ v rubriki standardne ankete. vabilo k sodelo- 134 DIGNITAS n Iz življenja Fakultete za državne in evropske študije vanju v evalvaciji je bilo objavljeno na spletnih straneh fakultete in posredovano na spletne naslove nekdanjih diplomantov FDŠ in članom Alumni kluba. za boljše razumevanje pridobljenih rezultatov smo dodatno zaprosili vodstvo fakultete za nekaj statističnih podatkov. Sporo- čili so nam, da je do 22. avgusta 2014 na FDŠ diplomiralo 1113 študentov. Naš cilj je bil doseči vsaj 5% vzorec v deležu vseh štu- dentov, večji vzorec pa bi samo še bolj pripomogel k večji repre- zentativnosti ugotovitev. Prednost takega pristopa k evalvaciji, ki je sumativna, je ugo- tavljanje kakovosti diplomantov fakultete za obdobje od 2001 do 2014. Torej ugotavljamo nekaj kar se je zgodilo vpreteklosti. kljub temu so ugotovitve vedno dober imperativ za prihodnje generacije študentov in jih je možno deloma že vključiti v obsto- ječe programe izobraževanja. veliko večji izziv bi bilo ugotavlja- nje bodočih potreb in znanj študentov za prihodnje generacije kar pa bi bilo bolj pragmatično izpeljati kot raziskavo ali poseb- no študijo z vljučevanjem več različnih področij. Slednja bi bila bolj teoretična in bi lahko imela manjšo uporabno vrednost. Pri obstoječi evalvaciji nismo zajeli ugotavljanja kakovosti nekda- njih študentov z vidika predavateljev. v kolikor bi to storili bi bila verjetnost v zanesljivost pridobljenih podatkov in ugotovi- tev bistveno večja. k takemu pristopu, kjer se v evalvacijo vključi študente in predavatelje, nas je sicer motiviralo delo Armanda Faganela, ki je v zaznavanju kakovosti visokošolskih storitev 47 poudaril pomen sodelovanja študentov v notranjih in zunanjih evalvacijah. ocenili smo, da tovrstne raziskave med nekdanjimi študenti, torej danes diplomanti, magistri in doktorji znanosti za nazaj ne bi uspeli izvesti, zato smo se odločili za povsem svoj pristop za katerega menimo, da prinaša dobre povratne infor- macije fakulteti za nadaljnje delo. 5. r ezultati Do 25. avgusta 2014 je vprašalnik izpolnilo 200 nekdanjih štu- dentov FDŠ s čimer smo pridobili odziv 17,96% v vzorcu vseh, ki so zaključili študij na fakulteti. Sodelovalo je 93 moških in 106 žensk, ena oseba rubrike spol ni izpolnila. Povprečna starost je 47 A. Faganel, Zaznavanje kakovosti visokošolskih storitev, 2010, str. 71-72. Podatki o raziskavi so na str. 127–151. 135 DIGNITAS n Evalvacija kakovosti Fakultete za državne in evropske študije z vidika ... bila 43,7 let. Med sodelujočimi v evalvaciji je bilo 98,5% oseb zaposlenih. Fakulteta nam je posredovala podatke o študentih in kje so za- posleni. zanimalo nas je iz katerih okolij prihaja največ študentov in kdo so njihovi delodajalci. Prejeli smo naslednje podatke: Delodajalec Št. 1. Ministrstvo za notranje zadeve 184 2. občine 84 3. Upravne enote 81 4. Ministrstvo za obrambo 74 5. carinska služba 20 6. bolnišnice 16 7. Davčna uprava rS 12 8. zavod za pokojninsko in invalidsko zavarovanje 12 9. Sodstvo 11 10. zavod za zaposlovanje 11 Tabela 3. Najbolj množično so se na vprašalnik odzvali tisti, ki so se vpi- sali na FDŠ v študijskem letu 2008/2009 in sicer 13,9%, sledili so vpisani v naslednje študijsko leto 2009/2010 z 13%, na tretjem me- stu so bili vpisani v študijsko leto 2003/2004 z 10,6% in na četrtem mestu so bili vpisani v študijskem letu 2010/2011 z 10,2%. Izmed vseh sodelujočih je bilo 52,2% vpisanih na znanstveni magistrski program »državne in evropske študije«. Sledi strokovni magistrski program »javna uprava« z 26,6% in strokovni magistrski študij »mednarodne in diplomatske študije« z 14,3%. Med vsemi sodelujočimi jih je študij največ končalo v letu 2012 in sicer 17,3%, sledijo jim tisti, ki so študij končali leta 2011 z 16,3%, na tretjem mestu so tisti, ki so zaključili 2013 z 12,4% in na četr- tem povsem novi »nekdanji« študentje, ki so študij zaključili letos z 10,4%. v delu, ki je bil namenjen ocenjevanju kakovosti posameznih elementov v procesu izobraževanja, kjer je bila uporabljena Likar- tovi lestvica od 1 do 5, so se sodelujoči v evalvaciji odločili kot je razvidno iz tabele 4. 136 DIGNITAS n Iz življenja Fakultete za državne in evropske študije vprašanje 48 ocena kako ocenjujete kakovost mentorja/ice, mentorjev pri vaši zaključni nalogi 4,66 kako ocenjujete kakovost predavateljskega kadra 4,39 kako ocenjujete kakovost študija na FDŠ glede organizacije študija 4,35 kako ocenjujete kakovost podpornega osebja 4,26 kako ocenjujete kakovost izvedbe vsebin 4,23 kako ocenjujete kakovost spletnih strani fakultete 4,23 kako ocenjujete kakovost informiranosti študentov 4,16 kako ocenjujete kakovost predavalnic 4,08 kako ocenjujete kakovost storitev knjižnice 3,79 Tabela 4. 48 v delu, ki je bil namenjen ocenjevanju pridobljenega znanja na fakulteti po zaključku študija glede na opravljanje konkretnega dela po posameznih področjih so se nekdanji študentje odločili na lestvici od 1 do 5 kot je razvidno iz tabele 5. področje 49 ocena razumevanje in interpretacija predpisov 4,4 Področje razumevanja pisnih besedil 4,35 znanja in veščine pisanja strokovnih besedil 4,2 Sposobnost argumentacije stališč v skupini razpravljalcev 4,17 Sposobnost kakovostnega organiziranja sistemskih rešitev 4,14 Samostojno nastopanje pred večjo skupino 4,12 znanja in veščine pisanje znanstvenih besedil 3,84 Tabela 5. 49 v delu vprašalnika, kjer nas je zanimala dodana vrednost nek- danjih študentov FDŠ, torej tista znanja in veščine, ki so jih lahko preizkusili pri svojem delu po preteku časa (43.6% sodelujočih je študij zaključilo do leta 2010), so sodelujoči ocenili kot je navede- no v tabeli 6. 48 vrstni red vprašanj v vprašalniku je bil drugačen kot je to navedeno v tabeli. za namen tega besedila so vprašanja razvrščena glede na višino ocene, kot so jo ocenili sodelujoči. Najvišja ocena in pripada- joče vprašanje sta tako na prvem mestu. 49 Glede razvrščanja vsebin velja enako kot v tabeli 4. 137 DIGNITAS n Evalvacija kakovosti Fakultete za državne in evropske študije z vidika ... vprašanje 50 da ne Ali ste priporočili študij na fakulteti kateremu od prijateljev 89% 11% Ali menite, da ste zaradi dokončanja študija uspešnejši 88,1% 11,9% vam znanja, ki ste jih pridobili, koristijo pri vašem delu 87,9% 12,1% Ali ste zainteresirani za bolj intenzivno sodelovanje s fakulteto v prihodnje 69,4% 30,6% Ali ste med študijem vzpostavili kakovostne osebne stike, ki vam pridejo prav 67,2% 32,8% Ste tekom študija navezali stike ter spoznali strokovnjake s področja študija 62,6% 37,4% Ste zaradi dokončanja študija na fakulteti poslovno napredovali 45,8% 54,2% zaslužite več zaradi dokončanja študija 43,3% 56,7% Tabela 6. 50 Pri ugotavljanju interesa za bolj intenzivno sodelovaje s fakul- teto so bile na voljo ponujene štiri možnosti z dodatno možnostjo predlagati svoj obliko sodelovanja. Med navedenimi možnosti so se sodelujoči v največji meri odločili za obisk dogodkov, ki jih or- ganizira fakulteta, na drugem mestu je možnost vpisa na nadalj- nji študij, na tretjem mestu izvedba predavanja, ki bi ga pripravili osebno s svojega področja dela in na četrtem objava članka v re- viji Dignitas. vprašalnik je vseboval tudi štiri vprašanja odprtega tipa in si- cer: • k atero pridobljeno znanje bi posebej izpostavili? • Ali ste kakšne vsebine na fakulteti posebej pogrešali? • Ali menite, da bi bilo treba v študijske vsebine dodati še ka- kšno področje študija in katero? • k akšna ali katera je po vašem mnenju dodana vrednost štu- dentov, ki so študij končali na FDŠ?. Na prvo vprašanje v sklopu vprašanj odprtega tipa je večina torej 165 od 200 sodelujočih ali 82.25% izpostavila znanje iz prava EU, razumevanje evropskih predpisov in delovanja EU, čovekove pravice, ustavno sodno varstvo, poznavanje zakonodaje itn. Samo 35 sodelujočih ni želelo nobene vsebine posebej izpostaviti. 50 Glede razvrščanja vsebin velja enako kot v tabeli 4 in 5. 138 DIGNITAS n Iz življenja Fakultete za državne in evropske študije Na drugo vprašanje je 128 sodelujočih ali 64% odgovorilo, da niso v času študija nobene vsebine posebej pogrešali. Med ostali- mi odgovori pa so izstopali predlogi po več konkretnih primerih iz prakse, po možnosti iz slovenske in evropske sodne prakse, ne- kaj sodelujočih pa je predlagalo dodatno znanje tujega jezika s poudarkom na strokovni terminologiji. Slednjih je bilo malo. Na tretje vprašanje je 107 sodelujočih ali 53,5% odgovorilo z ne. Torej menijo, da v študijske vsebine ni treba dodati dodatnih področij študija. Nekaj predlogov je bilo tudi tu povezanih z doda- tnim znajem tujega jezika ter sem in tja kakšen predlog na temo dati več poudarka praktičnim primerom ali pa iskanju konkretnih rešitev. Pri četrtem vprašanju so se vprašani zelo razpisali. Samo 17 sodelujočih ni odgovorilo na to vprašanje. Poudarjali so interdi- sciplinarnost, široko poznavanje pravne ureditve EU in sloven- ske zakonodaje, poznavanje delovanja javne in državne uprave, procese odločanja, večjo osebno suverenost na svojem področju dela, kakovost predavateljev v smislu njihovega osebnega pozna- vanja področja, njegove zgodovine in osebne udeležbe na raz- ličnih funkcijah delovanja države. Študentom veliko pomeni, da jim teme podajajo ljudje, ki so visoko znanstveno in strokovno usposobljeni in imajo osebne izkušnje na področju vsebin, ki jih predavajo. Pomembno jim je, da so predavane teme aktualne in s pridobljenim znanjem lahko tvorno sodelujejo in prispevajo na svojem konkretnem delovnem mestu. Žal so nekateri posamezniki navedli, da v svojem delovnem okolju ne morejo s svojim znanjem prispevati k napredku državnega organa v katerem so zaposleni. Tako so navedli vedno večjo zaprtost sistema javne uprave na eni strani strani in nezmožnost najti zaposlitev kljub diplomi in kako- vostnem znanju pridobljenem v času študija na drugi. Slednjih je bilo samo 1,5%. 6. Ugotovitve Evalvacija kakovosti FDŠ z vidika njenih diplomantov je torej sumativna evalvacija pri kateri smo ugotavljali kaj in kako je bilo, torej nekaj kar je bilo izvedeno v izobraževalnem procesu za na- zaj, seveda vse z namenom, da bi v kakovostnem smislu vplivali na izobraževalni proces bodočih diplomantov fakultete. Skoraj 18% delež sodelujočih glede na celotno število tistih, ki so štu- 139 DIGNITAS n Evalvacija kakovosti Fakultete za državne in evropske študije z vidika ... dij zaključili na fakulteti, pomeni pomemben in reprezentativni vzorec z vidika verjetnosti in zanesljivosti pridobljenih podatkov. Nedvomno je pomemben dejavnik dejstvo, da gre za vzorec magi- strov (znanosti in stroke) in doktorjev znanosti, ki so predhodno že zaključili različen nabor fakultet. Še posebej pa velja omeniti, da je 98,5 % delež vprašanih že zaposlenih s poudarkom na javni upravi. Navedeno nas navaja k dvema ključnima sklepoma. Prvi je nedvomna ta, da bi veljalo razmisliti o širitvi ponudbe na fakulteti. Torej na trgu delovne sile preveriti ali obstaja potreba po kakem novem znanju, kompetencah, ki jih fakulteta morda lahko ponudi. Drugi sklep pa je, da je fakulteta usmerjena v področje javne upra- ve, kjer novih zaposlitev v zadnjih letih ni. Hkrati ta isti skelp do- polnjuje dejstvo, da slovenska javna uprava očitno potrebuje nova znanja ali pa jih mora posodabljati in razvijati skladno z novostmi, ki vplivajo tako na domači kot tudi evropski prostor. Na FDŠ se torej vpisujejo študentje s predhodno izkušnjo na visokošolskem študiju kar daje rezultatom v vprašalniku v tistem v delu, kjer so ocenjevali kakovost posameznih elementov v pro- cesu izobraževanja, še večjo težo. Namreč med vsemi naštetimi elementi je najnižjo oceno na Likartovi lestvici od 1 do 5 dobila knjižnica z oceno 3,79, kar je več od povprečne ocene 3. Najvišja ocena v tej rubriki je bila dodeljena kakovosti mentorjev in sicer 4,66. Menimo, da je tu prišlo najbolj do izraza dejstvo, da so preda- vatelji na fakulteti v večinskem delu osebe z dolgoletnimi izkušnja- mi na področju delovanja javne uprave in različnih mednarodnih institucij. Torej ljudje, ki so sodelovali v procesih nastajanja države in njene zgodovine hkrati pa so še vedno aktivni pri njenem delo- vanju in oblikovanju prihodnjih rešitev. Navedeno študentom, ki so že zaposleni v večinskem deležu v tej isti javni upravi, zagotovo prinaša dodano vrednost na dva načina; spoznavajo dodatne oko- liščine z več zornih kotov in lahko tudi sami vplivajo na oblikova- nje novih rešitev. zaradi navedenega ni presenetljivo, da se je na področju oce- njevanja pridobljenega znanja na fakulteti na prvem mestu z oce- no 4,4 znašlo razumevanje in interpretacija predpisov kot najve- rejtneje tisto področje, ki v javni upravi pomeni osnovo za njeno delovanje. Na zadnjem mestu v tej rubriki pa znanja in veščine pi- sanja znanstvenih besedil z oceno 3,84, ki je seveda nadpovpreč- na. Pri tej oceni se seveda postavlja vprašanje zakaj bi pa morali v javni upravi obvladati znanja in veščine pisanja znanstvenih bese- 140 DIGNITAS n Iz življenja Fakultete za državne in evropske študije dil. Tako znanje ni nujno, je pa zelo dobrodošlo. večina zaposle- nih v javni upravi ima v povprečju višjo izobrazbo od slovenskega povprečja, zato je prav, da je ta kakovostna v svojem delovanju. za magistre in doktorje znanosti v slovenskem prostoru pa mora biti tovrstno znanje minimalni standard. Nekdanji študentje predlagajo malo sprememb. Pravzaprav gre zgolj za dopolnitve, kljub temu je o njih smiselno razmisliti. Nabolj zanimiva ugotovitev iz evalvacije je nedvomno ta, da so se nekdanji študentje najbolj razpisali pri vprašanju odprtega tipa in sicer kakšna ali katera je dodana vrednost študentov, ki so štu- dij končali na FDŠ. Na kratko lahko njihove odgovore strnemo v dejstvo, da gre za zaposlene v javni upravi z visokim zavedanjem svojega poslanstva in širokim spektrom razumevanja delovanja države, unije in potreb njunih prebivalcev. ocene nekdanjih študentov so zelo visoke. Logični sklep je, da so s študijem zadovoljni, še posebej v delu, ki je povezan z njihovo zaposlitvijo, torej kariero. 7. zaključek Pri evalvaciji kakovosti FDŠ z vidika njenih diplomantov smo izhajali iz pozitivistične znanstvene paradigme v tistem delu, kjer smo uporabili kvantitativne metode. konstruktivno paradigmo pa v delu, kjer so bile uporabljene kvalitativne metode. Med mo- deli smo uporabili evalvacijsko raziskavo, med tipi evalvacij pa su- mativno evalvacijo. ocenjujemo, da gre v konkretnem primeru za evalvacijo četrte generacije, kjer je vloga evalvatorja mediator v procesu evalvacije in presojanja, naš namen pa doseči konsenz med udeleženci. zavedamo se omejitev vloge evalvatorja v tem konkretnem primeru, kjer se moramo strinjati z Gregorijevo glede možnosti pristranskega vrednotenja ugotovitev. Namreč biti nek- danji študent na FDŠ hkrati lahko pomeni določeno obliko pripa- dnosti instituciji. obstaja tudi možnost, da so se za sodelovanje v evalvaciji odločali večinsko tisti nekdanji študentje, ki so bili s študijem bolj zadovoljni od drugih. kljub temu pridobljeni podatki, rezultati kot tudi evalvacijska raziskava v celoti lahko pomembno prispevajo k povratni zanki, kot to imenujejo avtorji poročila iz NAkvIS, ali enemu od elemen- tov v procesu evalvacije, kot to pojmuje evalvacijska teorija. 141 DIGNITAS n Evalvacija kakovosti Fakultete za državne in evropske študije z vidika ... bolj pomembno je, kako se lotiti področja spremljanja kako- vosti izobraževalnega procesa fakultete v prihodnje v tistem delu, kjer je mogoče vključiti nekdanje študente. Fakulteta izvaja eval- vacijske procese v času trajanja izobraževanega procesa. z odmi- kom časa pa je tehten pokazatelj kakovosti fakultete znanje, ki ga je moč uporabiti na trgu delovne sile. Tako se zdi smiselno nekda- nje študente še naprej aktivirati v aktivnosti fakultete v različnih iz- vedbenih oblikah. večji poudarek bi kazalo nameniti vzpodbudi k pisanju prispevkov s področja dela iz katerih prihajajo študentje. Iz ugotovitev izhaja, da so vsebinska področja fakultete in javna uprava zelo povezani in logično bi bilo, da se izmenjava mnenj, izkušenj in predlogov nekje zbira in obdeluje. Praviloma so temu namenjene revije, ki jih izdajajo fakultete zato, da je zagotovljen razvoj vsebin za katere so bile ustanovljene. r evija Dignitas je bila vključena v vprašalnik kot ena od ponujenih možnosti za sodelo- vanje s fakulteto in uvrstila se je na četrto mesto po interesu vpra- šanih. 142 DIGNITAS n Iz življenja Fakultete za državne in evropske študije