Gregor Cerjak
Zagotavljanje kakovosti v evropskem visokem šolstvu: okvir in trendi
Strokovni članek UDK 378+005,336.3(4)
KLJUČNE BESEDE: visoko šolstvo, bolonjski proces, kakovost, kvaliteta izobraževanja
POVZETEK - V prispevku je predstavljen sistem zagotavljanja kakovosti v evropskem visokošolskem prostoru in njegov zgodovinski vznik v okviru bolonjskega procesa. Predstavljena je analiza pomembnih sodobnih trendov, ki zagotavljajo kakovost na širši evropski ravni, predstavljeni pa so tudi različni dejavniki uspeha in ovire pri implementaciji teh procesov in politik na nacionalnih in institucionalnih ravneh, s posebnim ozirom na zagotavljanju kakovosti v slovenskem visokošolskem prostoru. V prispevku je tudi premislek o tem, kakšen vpliv so imeli razmah eksternih evalva-cij in akreditacij ter njihova internacionalizacija in standardizacija na razvoj kakovosti izobraževanja. V tej zvezi je podrobneje predstavljen konceptualni in strateški premik na področju zunanjega preverjanja kakovosti, od skladnosti z merili [compliance] do izpopolnjevanja [improvement], ki ga zagovarjajo številni deležniki in si ga prizadevajo izvesti nekatere države, da bi odpravile neujemanje med zagotavljanjem kakovosti in razvojem izobraževanja.
Professional paper UDC 378+005,336.3(4)
KEY WORDS: higher education, Bologna process, quality assurance, quality of education
ABSTRACT - The paper presents the system of quality assurance in European higher education area and its historical formation in the Bologna process. Principal trends, shaping quality assurance at the European level today are analysed. An account of various factors of success and obstacles to implementation at the national and institutional levels of the processes and politics is given. It also addresses the quality assurance arrangement in Slovenian higher education. Furthermore, the paper sets out to trace the impact that proliferation of an external evaluation and accreditation with the focus on internationa-lisation and standardisation has had on educational development. Finally, the paper provides an account of the conceptual and strategic shift in external quality monitoring in many countries away from accountability and compliance towards improvement that aims to address and redeem the separation of quality assurance and educational development.
1 Uvod
Kakovost je že od nekdaj ključni del akademske tradicije. Z naraščanjem množičnosti študija v drugi polovici dvajsetega stoletja in spremembami na trgu dela je postalo vse bolj pomembno tudi zagotavljanje kakovosti. V evropskem visokošolskem prostoru so se velike spremembe na tem področju odvile zlasti v okviru bolonjskega procesa, projekta uskladitve nacionalnih zakonodaj na področju visokega šolstva z namenom oblikovanja enotnega evropskega visokošolskega prostora kot pogoja za povečanje konkurenčnosti in privlačnosti evropskega šolstva in gospodarstva nasploh. Bolonjska deklaracija je kot enega glavnih ciljev procesa postavila zagotavljanje kakovosti, številni dokumenti, ki so ji sledili in jo dopolnjevali, pa so to zavezo le še dodatno potrdili in konkretizirali.
Na področju visokega šolstva ni sprejete enostavne in kratke definicije kakovosti, saj ima vsak izmed deležnikov (študenti, akademsko in administrativno osebje,
vodstva šol, delodajalci, sindikati, donatorji, mediji in država) svoje prioritete in iz tega izhajajoče razumevanje kakovosti. H kompleksnosti prispeva tudi kulturni vidik, saj se visokošolske institucije razlikujejo po vrsti, poslanstvu, velikosti, starosti in geografski lokaciji, zato je smiselno, da vsaka institucija znotraj splošnega okvira usmeritev in standardov določi kakovost glede na lastne specifične danosti in jo meri tudi z lastnimi merili. Na podlagi spoznanja, da ni možna enostavna definicija kakovosti, je bil ob sodelovanju vseh najpomembnejših deležnikov pripravljen tudi krovni dokument za zagotavljanje kakovosti v evropskem visokošolskem prostoru Standards and Guidelines for quality assurance in the European higher education area [Standardi in smernice za zagotavljanje kakovosti v evropskem visokošolskem prostoru]. S strani ministrov, pristojnih za visoko šolstvo, je bil potrjen leta 2005. Zamišljen je bil kot splošni referenčni okvir, ki naj bi bil implementiran pri razvoju sistemov zagotavljanja kakovosti v posameznih državah, in sicer tako za notranje sisteme visokošolskih institucij kot za agencije, ki izvajajo zunanje zagotavljanje kakovosti ter za evalvacije teh agencij. Za posamezne države je pomembno, da so pri implementaciji zadosti fleksibilne in smiselno upoštevajo lastni institucionalni, zgodovinski in kulturni kontekst. S tem lažje zagotovijo podporo različnih deležnikov pri uvedbi sprememb in razvoj žive kulture kakovosti.
2 Naraščajoči pomen zagotavljanja kakovosti v visokošolskem izobraževanju
V prvih desetletjih po drugi svetovni vojni so se po vsem svetu vsa prizadevanja v zvezi z visokim šolstvom osredotočala na povečanje števila visokošolskih diplomantov. Cilj je bil sprostiti dostop do visokošolske izobrazbe, upoštevajoč pri tem tudi načelo družbene enakosti. Z vključitvijo velikega števila prebivalstva iz vseh družbenih slojev so želeli izvršiti preobrazbo visokega šolstva iz elitnega v množično. Kvantitativna rast je bila naravnost neverjetna, o čemer priča dejstvo, da je bila več kot polovica visokošolskih institucij ustanovljenih v času po drugi svetovni vojni (Wester-heijden et al., 2007). Z množičnostjo se je močno povečal pritisk visokega šolstva na proračun. Ko je nato v sedemdesetih in osemdesetih letih dvajsetega stoletja nastopila še gospodarska kriza, so se vlade praviloma odzvale tako, da so močno okrepile svojo vlogo v razmerju do visokega šolstva in ga soočile z imperativom, da z manj denarja naredi več, a ne na račun kakovosti. Sledeč zgledom iz poslovnega sveta in industrije, so v osemdesetih in devetdesetih letih uvedle nove usmerjevalne prijeme, ki so pogosto vključevali notranje in zunanje zagotavljanje kakovosti, redkeje pa tudi akreditacijo (Westerheijden et al., 2008). Ti pristopi so zmanjšali neposreden vladni nadzor (in posledično tudi transakcijske stroške ministrstev), v zameno pa so predvideli preverjanje in zagotavljanje institucionalne odgovornosti, kar je bilo zaupano neodvisnim agencijam (Reichert, 2008). Takšen razvoj je bilo moč opazovati širom Zahodne Evrope, medtem ko so države Srednje in Vzhodne Evrope ubrale lastno pot. Po vzoru Združenih držav Amerike so v glavnem uvedle sisteme akreditacij (a za
razliko od ZDA docela centralizirane in z veliko mero vladnega nadzora), katerih vloga je bila, da podprejo obsežno prilagoditev visokošolskega izobraževanja potrebam postkomunistične družbe (množičnost študija, kurikularne spremembe, vznik zasebnih visokošolskih institucij) (Kohoutek, 2009).
3 Razvoj zagotavljanja kakovosti v okviru Bolonjskega procesa
Raznolikost je bila aksiom evropskega visokega šolstva. O mednarodnih standardih in primerljivosti so v določeni meri razmišljale kvečjemu majhne in tranzicijske države. To se je spremenilo z začetkom Bolonjskega procesa, za katerega je značilna vse večja konvergenca visokošolskih politik v srednje- in vzhodnoevropskih ter zahodnoevropskih državah. Slednje so postopoma, večina že do leta 2005, privzele sistem akreditacij, kot so to prve storile že po padcu Berlinskega zidu (Sursock, 2011). Bolonjski proces je prinesel nov kontekst internacionalizacije in znatno pospešitev razvoja tudi drugih vidikov zagotavljanja kakovosti, kar vse je prispevalo k oblikovanju nacionalnih sistemov zagotavljanja kakovosti (Westerheijden et al., 2007).
Ključni dogodek se je odvil 19. junija leta 1999 v Bologni, kjer so pristojni ministri za visoko šolstvo iz devetindvajsetih evropskih držav podpisali t. i. Bolonjsko deklaracijo (v proces se je v poznejših letih vključilo še več evropskih in evro-azijskih držav). Temeljni cilj deklaracije je bil oblikovanje enotnega evropskega visokošolskega prostora za večjo mobilnost študentov in profesorjev, pa tudi za večjo primerljivost, transparentnost in kakovost posameznih visokošolskih sistemov, institucij, študijskih programov in diplom. Reforma je v ta namen uvedla številne novosti, od uvedbe dvo-oz. tristopenjskega študija, skrajšanja trajanja študija ob povečani intenzivnosti, spodbujanja mobilnosti študentov in učiteljev do vzpostavitve kreditnega sistema (ECTS) za vrednotenje študijskih obveznosti itd. Države pristopnice so se zato morale zavezati k uskladitvi nacionalne zakonodaje na področju visokega šolstva (Zgaga, 2004).
Vprašanje zagotavljanja kakovosti je deklaracija naslovila s splošno zavezo k podpiranju vseevropskega sodelovanja pri razvoju primerljivih kriterijev in metodologij. V prihodnjih letih pa so številni dokumenti, ki so sledili deklaraciji, zagotavljanje kakovosti visokega šolstva podrobneje razdelali, zato je to tudi v praksi postalo ključna usmeritev na poti do povečanja konkurenčnosti in privlačnosti evropskega visokošolskega prostora. Z Berlinskim komunikejem iz leta 2003 je bila kakovost uvrščena med prioritetne cilje in, kar je najpomembnejše, pri njenem zagotavljanju sta bili poudarjeni avtonomija in odgovornost visokošolskih institucij. Z Bergenskim komunikejem iz leta 2005 je bil sprejet krovni dokument z naslovom Evropski standardi in smernice za zagotavljanje kakovosti v evropskem visokošolskem prostoru [European Standards and Guidelines for Quality Assurance in the European Higher Education Area; v nadaljevanju ESG], (Sursock, 2011). ESG so razvili v t. i. skupini E4, ki jo tvorijo deležniki iz visokošolskih institucij (EUA in EURASHE) in študenti (ESU), vodilno vlogo pri njihovi pripravi pa je imelo združenje agencij za zagotavljanje kakovosti v
visokem šolstvu (ENQA). Pri tem gre za nedvomno poglavitni dosežek Bolonjskega procesa z vidika zagotavljanja kakovosti.
ESG so zasnovani kot nadnacionalni referenčni okvir, v katerem so tri osnovne skupine standardov s pripadajočimi podrobnejšimi smernicami, ki le-te dopolnjujejo in osvetljujejo. Standarde in smernice naj bi upoštevale in implementirale v svojo prakso tako visokošolske institucije kot nacionalne agencije za zagotavljanje kakovosti v visokem šolstvu. Dokument vsebuje tri ključna področja regulative: standarde in smernice za zagotavljanje kakovosti znotraj visokošolskih institucij (1. del ESG), za zunanje zagotavljanje kakovosti visokega šolstva (2. del ESG) ter za zunanje zagotavljanje kakovosti agencij (3. del ESG) (ENQA, 2005). Standardi in smernice so oblikovani tako, da jih je mogoče aplicirati ne glede na lokalni kontekst, strukturo ali velikost agencij in visokošolskih institucij. Gre za »mehko« obliko regulacije, za vir pomoči in vodenja za visokošolske institucije pri razvijanju lastnih sistemov za zagotavljanje kakovosti kot tudi za agencije, ki izvajajo zunanje zagotavljanje kakovosti. Večji del odgovornosti za kakovost tako še vedno nosijo visokošolske institucije in nacionalni sistemi zagotavljanja kakovosti (Reichert, 2008).
Prvi del ESG postavlja normo, da imajo visokošolske institucije vzpostavljen notranji sistem zagotavljanja kakovosti, ki zaobjema vse glavne elemente izobraževalnega procesa. V skladu s standardi in smernicami vsebujejo nacionalni sistemi za spremljanje ugotavljanja in zagotavljanja kakovosti v visokem šolstvu dva bistvena mehanizma: evalvacijo in akreditacijo. Poglavitni instrument je akreditacija, ki je uradno objavljena zunanja potrditev ali zavrnitev ustreznosti institucije ali študijskega programa, temelji pa na predhodni evalvaciji. Sistem akreditiranja je praviloma vzpostavljen na ravni države (V Sloveniji je zagotavljanje kakovosti v visokem šolstvu ter razvojno in svetovalno delo na tem področju zaupano Nacionalni agenciji Republike Slovenije za kakovost v visokem šolstvu (NAkViS), ki je leta 2010 prevzela naloge Sveta Republike Slovenije za visoko šolstvo). Z uspešno opravljeno akreditacijo prejme institucija potrditev, da izpolnjuje (minimalne) standarde.
Implementacija ESG resda ni strogo vzeto obvezna, vendar ima lahko neupoštevanje neželene posledice, zlasti za nacionalne agencije za zagotavljanje kakovosti, katerim se lahko odreče polno članstvo v ENQA in uvrstitev v Evropski register agencij za zagotavljanje kakovosti v visokem šolstvu (EQAR), ki je bil uradno priznan z Londonskim komunikejem iz leta 2007, operativen pa je postal z letom 2008 (Kohoutek, 2009). ESG so spodbudili nadaljnje prilagoditve na področju zagotavljanja kakovosti: agencije, ki izvajajo zunanje evalvacije in akreditacije, so podvržene novi zahtevi, da morajo biti tudi same predmet rednih evalvacij, medtem ko ESG od visokošolskih institucij zahtevajo, da interno zagotavljajo kakovost na področjih, ki poprej niso bila nujno urejena.
Uspešnost implementacije ESG v institucionalno realnost je odvisna od številnih dejavnikov, ki jo lahko pospešujejo v skladu z izvorno začrtanimi cilji - v tem primeru delujejo kot gonila - ali pa jo zavirajo oziroma preusmerjajo. Potek implementacije je odvisen od (Westerheijden in Kohoutek, 2014): □ prevoda ESG v nacionalno ureditev zagotavljanja kakovosti;
□	implementacije nacionalnih visokošolskih politik na področju zagotavljanja kakovosti (standardi, smernice, postopki, akreditacijske zahteve itd.) s strani posamezne visokošolske institucije;
□	nacionalnega upravljanja na področju visokega šolstva, če ima posledice za kakovost izobraževanja (zakoni, uredbe, pravilniki, postopki, kadrovska politika, financiranje itd.);
□	odziva na zahteve, ki jih postavljajo zunanji in notranji deležniki visokošolskih institucij (študenti, delodajalci, poklicna in strokovna združenja idr.) v zvezi s kakovostjo izobraževanja (način poučevanja, kapacitete itd.) in kvaliteto diplomi-rancev (zaposljivost, državljanstvo itd.);
□	odziva na zahteve mednarodnih znanstvenih in strokovnih izobraževalnih skupnosti glede njihovega področja izobraževanja (standardi glede znanja, kompetenc, metodologije itn.);
□	napetosti med akademiki in administrativno stranjo institucije;
□	napetosti med centralno administracijo (ki ima institucionalni fokus) in oddelki (ki imajo fokus na disciplino).
V številnih evropskih državah se je za trdovratno oviro pri uspešni implementaciji 1. dela ESG izkazala finančna podhranjenost visokega šolstva zaradi varčevalnih ukrepov. Nezadostno financiranje je imelo daljnosežen vpliv na kakovost poučevanja (pojav negativne selekcije itd.) in nasploh na kulturo kakovosti. Posebej močna ovira v tem kontekstu je nezadovoljstvo notranjih deležnikov s politiko kakovosti v ozračju zategovanja pasu in prekomernih delovnih obremenitev. To je vplivalo tudi na nastanek napetosti med akademiki in administracijo ter med centralno administracijo in posameznimi oddelki (Land in Rattray, 2014). Velika ovira je, da je navade težko spreminjati in da ti poskusi praviloma naletijo na odpor akademskega osebja. Spremembe je možno uspešno izvesti le, če se akademsko osebje (pa tudi menedžment in študente) prepriča, da te spremembe koristijo kakovosti. Splošna ugotovitev je, da sta bila v prvi fazi po sprejetju ESG pogosteje in bolj dosledno implementirana 2. in 3. del (zunanja evalvacija in evalvacija agencij), manj pa 3. del ESG (notranji sistemi kakovosti) (Harvey, 2008).
Za učinkovito implementacijo sistemov in ukrepov zagotavljanja kakovosti mora biti izpolnjenih več pogojev. Na ravni posameznikov predvsem zaupanje v koristnost evalvacij ter pripravljenost za investiranje časa in truda v izboljševanje. Na ravni institucij pa zadostna stopnja avtonomije, sposoben in spremembam zavezan menedžment ter zadostni resursi za izpeljavo sprememb (Reichert, 2008).
4 Kratek zgodovinski pregled sistema zunanjega zagotavljanja kakovosti v Sloveniji
Zunanje zagotavljanje kakovosti v Sloveniji sega v leto 1993, ko je bil sprejet Zakon o visokem šolstvu - ZViS (Uradni list RS, št. 67/93; v nadaljevanju: ZViS). Na njegovi podlagi je bil leta 1994 kot neodvisni organ ustanovljen Svet za visoko šolstvo
Republike Slovenije. Zadolžen je bil za strateška vprašanja v zvezi z zagotavljanjem kakovosti. Sledeč novim kriterijem in postopkom, ki jih je vzpostavil, je začel izvajati naloge, povezane z akreditiranjem študijskih programov in visokošolskih zavodov. Leta 1996 je bila na pobudo Rektorske konference na ravni univerz ustanovljena Nacionalna komisija za kvaliteto visokega šolstva (NKKVŠ), da bi, sledeč evropskim trendom, promovirala razvoj notranjega in zunanjega sistema kakovosti v slovenskem visokošolskem prostoru (opozarjala je na težave z evalvacijo, visokošolske ustanove je seznanjala s pristopi in metodami na evropski ravni). ZViS je bil v naslednjih letih večkrat spremenjen in dopolnjen, pri čemer je ostal sistem zagotavljanja kakovosti praktično nespremenjen celih 10 let. Z novelo ZViS iz leta 2004 je bil Svet preimenovan v Svet Republike Slovenije za visoko šolstvo (SVŠ). Še vedno je izvajal akredita-cije, po novem pa je bil pristojen tudi za habilitacijo visokošolskih učiteljev, znanstvenih delavcev in visokošolskih sodelavcev samostojnih visokošolskih zavodov. Novi ZViS je predvidel tudi ustanovitev agencije za kakovost v visokem šolstvu, vendar do tega ni prišlo. Del nalog zunanjega zagotavljanja kakovosti (zunanje evalvacije) je še naprej opravljala NKKVŠ. S spremembami in dopolnitvami ZViS iz leta 2006 so bile pristojnosti SVŠ razširjene na področje evalvacij študijskih programov, znanstveno--raziskovalnega, umetniškega in strokovnega dela, visokošolskih zavodov in višjih strokovnih šol. Leta 2007 je te naloge prevzel od NKKVŠ. V okviru SVŠ so delovali trije senati - akreditacijski, evalvacijski in habilitacijski.
Leta 2007 je bil v sestavi Ministrstva za visoko šolstvo, znanost in tehnologijo ustanovljen tudi Urad RS za visoko šolstvo (v nadaljevanju: Urad), in sicer kot strokovna služba SVŠ, z novelo ZViS leta 2008 pa je bil skupaj s SVŠ preoblikovan v t. i. »drug državni organ«, in sicer SVŠ, kot njegova administrativno-strokovna služba. SVŠ ni imel formalno izoblikovanega internega sistema za zagotavljanje lastne kakovosti. Leta 2010 je bil na podlagi novele ZViS iz leta 2009 s Sklepom o ustanovitvi Nacionalne agencije Republike Slovenije za kakovost v visokem šolstvu (Uradni list RS, št. 114/2009) ustanovljen NAKVIS kot nevladni neposredni proračunski uporabnik, s pooblastilom, da upoštevajoč ESG profesionalizira postopke evalvacije in jih izvaja ter spremlja po vnaprej določenih kriterijih. NAKVIS je s tem prevzel naloge SVŠ. Vključen je v EQAR in je polnopravni član Evropskega konzorcija za akredi-tacijo ECA, Srednje- in vzhodnoevropskega združenja agencij za kakovost v visokem šolstvu CEENQA ter Mednarodnega združenja agencij za zagotavljanje kakovosti INQAAHE, čaka pa še na odločitev o včlanitvi v ENQA (Debevec et al., 2013; Komljenovič in Zgaga, 2012).
Med dejavniki, ki so olajševali implementacijo ESG v slovenskem visokošolskem prostoru, lahko omenimo, da zanj sistem akreditacij ni bil novost, saj smo prvo akredi-tacijsko telo dobili že leta 1994. Dodamo lahko, da so bili notranji sistemi zagotavljanja kakovosti v številnih visokošolskih institucijah že v precejšnji meri vzpostavljeni, vsaj na nekaterih področjih, in da so bile pri njihovem snovanju upoštevane evropske-izkušnje.
Med dejavniki, ki so zavirali implementacijo ESG, lahko omenimo nekatere najvidnejše, ki se tičejo najvišje ravni prevoda ESG v nacionalno ureditev zagotavljanja kakovosti:
V	Sloveniji sta bili po letu 2003 glede sistema zunanjega zagotavljanja kakovosti opazni dve nasprotujoči si težnji, obe pa sta izhajali iz politične opcije vlade in njenih vsakokratnih zakonodajnih sprememb. Prva težnja se je izrazila v noveli ZVis iz leta 2004 in predstavlja nadaljevanje takrat obstoječega sistema z nekaterimi adaptacijami, ki so upoštevale mednarodni razvoj. To težnjo je kmalu zaustavila in zamenjala druga, vendar je ponovno prišla do izraza najprej v letu 2008 z novelo ZViS in nato v letu 2009 s sklepom o ustanovitvi NAKVIS, s čimer je bila dosežena intenca novele ZVis iz 2004, da se ustanovi od vlade neodvisno nacionalno strokovno agencijo, ki vključuje vse deležnike in deluje v skladu z ESG. Druga težnja je prišla do izraza med letoma 2005-2008 z vladno odločitvijo, da umakne pravno podlago za agencijo in ponovno zaupa nalogo akreditiranja SVŠ, s hkratno spremembo njegove sestave in pristojnosti ter tako s tesnejšo povezavo z ministrstvom (Komljenovič in Zgaga, 2012). Tudi po dokončani vzpostavitvi NAKVIS-a so bili še prisotni poskusi vmešavanja politike v odločanje agencije, z željo po uvedbi sprememb (predvsem gre za nov način sestave sveta agencije), ki ne bi zagotavljale obvezne neodvisnosti, reprezentativnosti in strokovnega odločanja ter bi s tem zavrle trenutne postopke. To bi zelo otežilo vključevanje v EQAR in ENQA in s tem zmanjšalo mednarodno veljavo slovenskega visokošolskega sistema in listin (Ule, 2012).
V	nacionalnem sistemu zagotavljanja kakovosti je določen čas obstajala institucionalna zmeda. Odnos med SVŠ in NKKVŠ je bil do leta 2007 nedorečen. Telesi sta delovali vzporedno, brez pravega sodelovanja. NKKVŠ je bila zadolžena za izvajanje zunanjih evalvacij, SVŠ pa za akreditacije in habilitacije visokošolskih zavodov.
Med ovirami lahko navedemo še odpor na ravni administrativnega osebja zaradi velikega administrativnega bremena, ki ga predstavljajo akreditacije. K okrepitvi takšnega odnosa je prispevalo tudi dejstvo, da med NAKVIS in visokošolskimi institucijami ni vzpostavljena povratna zanka. Institucije imajo pogosto vtis, da njihovi utemeljeni predlogi niso upoštevani. Pojavlja se tudi očitek, da NAKVIS ne obvešča ažurno pristojnega ministrstva o akreditaciji novih in spremembi že akreditiranih programov.
Na hitrost implementacije ESG so vplivale tudi specifike nastanka NAKVIS, ki je od SVŠ prevzel veliko število nerešenih vlog za akreditacijo, poleg tega pa je imel veliko dela tudi s preoblikovanjem meril in postopkov v skladu z novim sistemom zagotavljanja kakovosti. SVŠ je bil namreč zaradi preteklega vpletanja politike zadnje leto svojega delovanja skoraj neoperativen (Ule, 2012).
5 Cilji zagotavljanja kakovosti in vloga ESG - pogled nazaj in v prihodnost
Mineva deset let od sprejetja ESG. V letu 2015 je bila na ministrski konferenci v Erevanu (Armenija) sprejeta revidirana verzija ESG. Nova verzija predvsem dopolnjuje pomanjkljivosti in odpravlja določene nejasnosti. Večina sprememb je bila v 1. delu ESG, ki se tiče notranjih sistemov zagotavljanja kakovosti v institucijah. Več je poudarka na poučevanju in procesu učenja, eksplicitno je opredeljeno razmerje do drugih orodij bolonjskega procesa, kot so učni izidi in ogrodje kvalifikacij. Kako lahko ocenimo dosedanji vpliv ESG na področju zagotavljanja kakovosti, gledano v širšem evropskem kontekstu? Kako je zagotavljanje kakovosti vplivalo na kakovost visokega šolstva? Bolonjsko reformo so si njeni pobudniki izvorno zamišljali kot proces povečevanja kakovosti in to ne le v ožjem smislu zagotavljanja kakovosti kot specifičnega institucionalnega procesa. Izhodiščna domneva je bila, da bo mednarodna primerljivost kurikularnih struktur in sistemov zagotavljanja kakovosti okrepila sodelovanje, konkurenčnost, mobilnost, medsebojno zaupanje in izmenjavo dobrih izkušenj. Povečanje kakovosti je bilo pričakovano kot naravna posledica teh širših in globljih procesov. Vrh tega naj bi bolonjski proces povečal kakovost poučevanja. Pričakovano je bilo, da bodo procesi zagotavljanja kakovosti spodbudili oz. okrepili preusmeritev fokusa institucij na pogosto zanemarjeno vprašanje kakovosti poučevanja, tako da bi se osredotočilo predvsem na študente in presojo učnih izidov (Reichert, 2008).
Vprašanje uresničevanja teh ciljev in vizij presega domet pričujočega prispevka. Pozornost bomo zožili samo na zagotavljanje kakovosti. Ugotovimo lahko, da je bila osrednja pozornost namenjena zunanjemu zagotavljanju kakovosti s strani neodvisnih agencij, njihovemu medsebojnemu prepoznavanju ter uskladitvi z deležniki glede skupnih standardov in smernic (ESG).
Med pozitivnimi posledicami lahko ugotovimo naslednje. ESG so ponudili okvir, ki ga je bilo moč spodbujati od zgoraj navzdol in implementirati od spodaj navzgor. Predstavljali so dobro osnovo za vzpostavljanje menedžmenta kakovosti, doprinesli so k transparentnosti, primerljivosti in s tem omogočili tesnejšo evropsko integracijo in sodelovanje. V splošnem so bili zamišljeni kot fleksibilni, z dovolj prostora za interpretacijo. Morda je še najpomembnejše, da so ESG podprli lastno odgovornost visokošolskih institucij za svojo kakovost in da morajo same razviti postopke za zagotavljanje kakovosti, ne pa se zanašati na agencije ali vlado. Zelo pomemben vidik pri ESG je tudi, da odražajo premik pozornosti od čisto ponudbene perspektive, ki je pri univerzah prevladovala poprej, k interesom študentov in deležnikov (Harvey, 2008, Land in Rattray, 2014).
Če preidemo še na negativne posledice. Številni poznavalci, deležniki in teoretiki, ki sicer menijo, da je zunanje zagotavljanje kakovosti v osnovi koristno, že nekaj časa ugotavljajo, da obstoječi sistemi evalvacij in akreditacij v resnici ne podpirajo izboljšav. Trdijo, da evalvacije in tudi samo-evalvacije praviloma preverjajo povečini kvan-
titativne elemente, ki jih je lažje meriti, in ki jih splošna javnost tudi dojema kot bolj objektivne, vendar ne zajamejo kompleksnega in dinamičnega fenomena kakovosti v visokem šolstvu (Harvey in Newton, 2010; Kamšek, 2011). Evalvacije ne temeljijo dovolj na refleksiji in analizi. Dodaten očitek je, da gre pri zagotavljanju kakovosti v okviru bolonjskega procesa pretežno za agencije in da so zunanje evalvacije za visokošolske institucije težko administrativno breme, ki ga dojemajo kot niz docela od zunaj postavljenih zahtev. To ne spodbuja kulture kakovosti, ampak bolj kulturo prileganja standardom in golega formalizma. To ima pogosto za posledico naraščanje napetosti med akademskim osebjem ter strokovnim osebjem in menedžmentom, kar pripelje do paradoksne ločenosti procesov zagotavljanja kakovosti na eni ter procesa poučevanja in učenja na drugi strani (Land in Rattray, 2014).
Opisane negativne posledice izhajajo predvsem iz okoliščine, da se pri implementaciji na ESG vse od začetka ni gledalo kot na vodilo za dobro prakso, ampak vse prepogosto kot na svete, v skalo vklesane zapovedi. Agencije in institucije so se pretirano osredotočile na doseganje standardov (mentaliteta »odkljukavanja«) in so slepo posnemale nove zglede in jih niso znale umestiti v svoje pretekle dobre izkušnje pri obvladovanju kakovosti. Problem torej niso ESG sami po sebi, ampak zgrešeni poskusi njihovega mehaničnega privzemanja, brez kritične distance in posluha za lokalni kontekst in pretekle izkušnje (Williams, 2011).
Danes je vse več tistih, ki zagovarjajo stališče, da bi morale evalvacije pravzaprav preverjati izboljšave na področju poučevanja in učnih izidov, in sicer podkrepljene z raziskavami, namesto da ugotavljajo doseganje (minimalnih) standardov in s tem (domnevno) potrjujejo odgovornost [accountability] visokošolske institucije ali študijskega programa. Poleg tega bi morale podpirati institucije, da razvijejo mehanizme ugotavljanja šibkih točk in njihovega reševanja. Logika predlaganega alternativnega pristopa k evalvaciji visokošolskih institucij je naslednja: institucije si morajo prizadevati izboljševati kakovost; če dokažejo, da jim uspeva izboljševati kakovost, se smatra, da so javno odgovorne; ni potrebe po dokazovanju odgovornosti na način preverjanja, ali dosegajo od zunaj postavljene standarde (Harvey in Newton, 2007). Proces je dvosmeren: na eni strani so pomembni top-down menedžerski procesi, ki za izboljševanje kakovosti skrbijo z zagotavljanjem institucionalne avtonomije, s prizadevanjem po učinkovitosti in transparentnosti; ustvarjajo skupno vizijo, vrednote in delegiranje odgovornosti. Na drugi strani pa te procese dopolnjujejo skupne vrednote in odnos do kulture kakovosti institucije med različnimi deležniki na podlagi soudeležbe pri snovanju sprememb. Notranja kultura kakovosti mora biti demokratizirajoč proces, ki vključuje vse deležnike na vseh ravneh in ki povečuje kakovost tako na institucionalni kot programski ravni (Gvaramadze 2008). Zagovorniki tega pristopa predlagajo, da bi bil poudarek na evalvaciji transformativnega momenta, torej na evalvaciji izpopolnjevanja kritičnih, reflektivnih in ustvarjalnih kompetenc študentov znotraj izobraževalnega in raziskovalnega procesa. Poleg tega bi se ocenjevalo, kako so vzpostavljeni procesi prepoznavanja in prenašanja dobrih izkušenj v poučevanju, učenju in raziskovanju. Prav tako naj bi večjo težo dobile študentske ankete in različne analize študijskih dosežkov študentov. Skratka, poudarek je na nenehnem izboljše-
vanju (tako na institucionalni kot na individualni ravni), uporabi samoevalvacije kot temeljnega načela ter močni udeležbi vsega osebja in študentov (Harvey in Newton, 2007; Gvaramadze, 2008, Kamšek, 2011).
6 Trendi in perspektive razvoja pri zagotavljanju kakovosti
Z zgoraj navedenimi izzivi se bodo lahko prizadevanja za zagotavljanje kakovosti uspešno spopadla le, če bodo omogočila več kreativnosti in raznolikosti pri uporabi metod in postopkov. Dodaten izziv bo predstavljala potreba po uravnoteženju akademskih in političnih interesov znotraj visokošolskega izobraževanja. Zaznamo lahko naslednje trende, ideje in pomisleke. Prvič, vse bolj se uveljavljajo alternativni načini merjenja in primerjanja »kakovosti« z raznimi nacionalnimi in globalnimi lestvicami, kar prinaša zaostritev konkurenčnega boja, po drugi strani pa gre pogosto za poenostavljene informacije, ki ne ponujajo nujno prave slike o kakovosti institucij. Zagotavljanje kakovosti, osredotočeno na izboljševanje, bo moralo najti načine, da se tej prevladi upre. Nadaljnji trend je povečano zanimanje za rezultate. Po eni strani so vlade in pristojna ministrstva v razmerah splošnega varčevanja bolj pozorne na porabo sredstev, hkrati pa potrebe na trgu dela narekujejo večjo pozornost zaposljivosti. Vse opaznejši trend, ki se bo le še krepil, je marketizacija visokošolskega izobraževanja, ki vključuje tendenco po uvajanju šolnin ter na strani visokošolskih institucij večji delež sredstev, namenjen oglaševanju in pozicioniranju na trgu. V povezavi s tem je tudi trend vzpona specializiranih (nadnacionalnih) agencij za zagotavljanje kakovosti na določenem področju oz. disciplini (npr. EQUIS akreditacija za poslovne programe) (Blättler, 2011). Spričo teh trendov bo še toliko pomembneje, da bosta strateški mene-džment in zagotavljanje kakovosti delovala usklajeno (z izboljšano povezavo med sistematično preverbo učinkov zagotavljanja kakovosti in strateškim planiranjem), prav tako ali še bolj pomembna pa bo temeljita vključitev vseh deležnikov, ki so direktno vpleteni v poučevanje in učenje (Gvaramadze, 2008). Pomembne so v tem oziru pobude, da bi zmanjšali pomen kontrole kakovosti in odgovornosti ter bi več pozornosti namenili povečevanju kakovosti, z naslonitvijo na raziskovanje učinkovitosti različnih metod. Nujno bo tudi zmanjšati veliko administrativno breme, ki ga za institucije predstavljajo akreditacije. Pomemben korak v tej smeri je izbira institucionalne akre-ditacije namesto programskih akreditacij (v tej smeri gredo sistemi npr. v Nemčiji in na Nizozemskem) ali pa nekakšne vmesne rešitve. Ker takšen pristop predpostavlja veliko odgovornost institucij za organiziranje in izvajanje študijskih programov, so temelj za uveljavitev manj intenzivnih in manj omejujočih postopkov zunanjega spremljanja kakovosti, torej za prehod na institucionalno evalvacijo, učinkoviti in skladni notranji sistemi kakovosti. Za Slovenijo lahko ugotovimo, da bo treba v ta prehod, če naj bo uspešen, vložiti še veliko napora (Debevec, 2013).
7 Zaključek
Na področju visokega šolstva prihaja do nenehnih sprememb, kar velja še zlasti za obdobje zadnjih petnajstih let, ko se je v evropskem prostoru odvijal proces bolonjske reforme. Veča se število visokošolskih institucij in študentov, pospešuje se internacionalizacija izobraževanja, v prakso vstopajo nove tehnologije, po nastopu krize pa so se zmanjševala proračunska sredstva za visoko šolstvo. Zaradi stalnih sprememb in izzivov mednarodne konkurence in mobilnosti je za vsako državo in za vsako posamezno visokošolsko institucijo ključno, da pozna dejansko stanje kakovosti svojih študijskih programov, raziskovalnega in pedagoškega dela, upravljanja in primerljivosti z drugimi visokošolskimi institucijami. Na osnovi tega poznavanja tudi skrbi za izboljšave. To lahko zagotovi samo sistematična, strukturirana in nenehna kontrola kakovosti visokošolskih institucij. V evropskem visokošolskem prostoru to področje ureja krovni dokument z naslovom Evropski standardi in smernice za zagotavljanje kakovosti v evropskem visokošolskem prostoru. Posameznim državam služi kot vodilo za vzpostavitev sistemov za notranje zagotavljanje kakovosti znotraj visokošolskih institucij, za zunanje zagotavljanje kakovosti visokega šolstva s strani neodvisnih agencij ter za zunanje zagotavljanje kakovosti teh agencij. Implementacija standardov in smernic kakovosti na institucionalni ravni je odvisna od številnih med seboj povezanih dejavnikov, ki lahko delujejo kot gonila ali kot ovire: menedžment, financiranje, politični in pravni okvir, učinkovito komuniciranje, družbene okoliščine, zgodovinska tradicija, načrtovanje, nasprotovanje deležnikov ali pomanjkanje njihovega angažmaja, odnosi itn. V Sloveniji je nalogo akreditiranja visokošolskih zavodov in študijskih programov najprej opravljal Svet Republike Slovenije za visoko šolstvo, nato pa je v letu 2010 njegovo delo prevzela Nacionalna agencija Republike Slovenije za kakovost v visokem šolstvu. Na potek implementacije evropskih standardov in smernic so vplivali različni dejavniki, najobčutneje na ravni nacionalne ureditve zagotavljanja kakovosti, in sicer največ zaradi različnih političnih teženj.
Če je tradicionalni, prevladujoči pristop k zagotavljanju kakovosti osredotočen na doseganje (minimalnih) standardov, ki jih postavlja zunanji, državni nadzor in regulacija, pa novi pristopi poudarjajo pomen osredotočenosti na sposobnost za spremembe, torej na nenehno zagotavljanje in izpopolnjevanje kakovosti v visokem šolstvu. Vsaka institucija mora imeti vzpostavljen notranji sistem kakovosti, ki določa in oblikuje splošne dolžnosti vseh zaposlenih, zlasti pa vodstva, ki organizira delovanje institucije. Dobro zasnovan sistem kakovosti vključuje vse pomembne deležnike visokošolske institucije, ki sodelujejo pri posamezni dejavnosti. Premik razvojnega težišča visokošolske institucije od doseganja standardov k nenehnemu izboljševanju kakovosti se osredotoča predvsem na dimenzijo poučevanja in učenja.
Gregor Cerjak
Quality Assurance in European Higher Education: Framework and Trends
Quality is an umbrella term for various properties and outcomes to be provided by education provision - primarily that relevant topics and useful contents are being taught - and quality has always been an integral part of the academic tradition, developing abreast with it. Following increasing massification of higher education and changes in the labour markets coupled with crisis, induced the national budgetary constraints. In the second half of the twentieth century, quality assurance was quick to garner prominence and attention. The 70's and 80's saw governments introducing new regulatory approaches that in many cases included internal and external quality evaluation by independent agencies (Western Europe), and less commonly accreditation. The latter approach was the preferred choice of Central and Eastern European countries, especially from the 90's on, following the example of the United States, although in a fully centralized manner and with strongly pronounced governmental control. The role of the accreditation systems was to advance the extensive adjustment of higher education to the needs of the post-communist societies (massification of higher education, curricular changes, and the emergence of private higher education institutions).
However, diversity was prevalent. International standards and questions of comparability were an issue for only the smaller countries and countries in transition. All of this was changed by the Bologna process, the project of harmonisation of national higher education legislations. The Bologna process grew out of rising awareness of the constant changes in the field of higher education: ever increasing numbers of higher education institutions and students, accelerated processes of internationalisa-tion, new technologies, etc. For each country and each individual higher education institution, keeping track of the quality of study programmes, research and educational work, management, and comparability to other higher education systems and institutions, became of utmost importance, as well as utilising this overview for enhancement actions. Among the crucial aspects of Bologna process was the recognition of the unified quality assurance processes as one of the central pillars supporting the competitiveness of the European higher education and its economy in general.
Mostly by 2005, Western European countries gradually adopted the systems based on accreditation procedures, the same as the Central and Eastern European countries, Slovenia included, had done after the fall of the Berlin Wall. The Bologna Declaration addressed quality assurance with a general commitment to endorsement of Europe-wide cooperation in developing comparable criteria and methodologies. In the years to follow, this commitment was concretised by various documents, most notably by the European Standards and Guidelines for Quality Assurance in the European Higher Education Area (hereinafter referred to as European Standards and Guidelines), which were adopted in 2005 and revised in 2015 after several years of consultation rounds among the stakeholders. The European Standards and Guidelines serve as a
transnational tripartite reference framework for designing systems of internal quality assurance within the higher education institutions, external quality assurance of higher education institutions by independent agencies, and for the quality assurance agencies themselves. They are not standards for quality, nor do they prescribe how the quality assurance processes should be implemented, but they provide the guidelines, covering the areas vital for successful quality provision and learning environments in higher education.
The standards and guidelines were designed to be applicable, irrespective of the structure and size of the agencies or institutions and in the widest variety of local contexts. They provide support and guidance to all higher education institutions in developing their own systems for quality assurance, as well as to agencies which perform the external quality assurance. Implementation of the European Standards and Guidelines and compliance thereto is not stricto sensu compulsory. However, failing to do so, may lead to unwanted consequences, particularly for the national agencies for quality assurance, seeing their efforts to gain or maintain full membership in the European Association for Quality Assurance in Higher Education thwarted.
Success of the implementation into institutional reality of the European Standards and Guidelines is dependent upon various interrelated factors, which may function either as drivers, supporting the implementation in accordance with its initially set goals, or as barriers, obstructing or shifting its course away from the original direction. These factors are management, financing, political and legal framework, communication, social circumstances, historical tradition, stakeholders' attitudes, etc. The course of implementation depends on the translation of the European Standards and Guidelines into the national governance of quality assurance, on the implementation of national quality assurance and education policies into individual institutions, on the tensions between the academic and administrative strata of the institutions, and so forth. For a successful implementation several conditions have to be met. Regarding the level of the individuals involved, confidence in usefulness of evaluations and willingness to invest time and one's efforts to achieve enhancement are of great importance. Regarding the level of institutions, however, an adequate degree of autonomy, competent and change oriented management, coupled with sufficient resources, are crucial.
In the case of Slovenia, the most prominent implementation driver was arguably its history of previously carried out accreditations from the beginning of the 90's onwards. Moreover, several higher education institutions had already established their internal systems of quality assurance (covering at least some areas) by taking stock of the existing European good practices. As for the barriers: due to lack of the unitary political will, the independent National Agency for quality Assurance in Higher Education (in accordance with the second and third part of the European Standards and Guidelines) was established relatively late, in 2010, which in turn led to a slower and less homogenous (across various institutions) implementation pattern of the first part of the European Standards and Guidelines.
Moving on to assessing the impact of the European Standards and Guidelines on quality assurance in a wider European context, a set of marked negative and positive impacts are to be highlighted. Beginning with the latter, the European Standards and Guidelines:
□	offered a framework that could be promoted top to bottom and implemented bottom-up;
□	supported the principle that the higher education institutions are themselves responsible for their quality;
□	introduced greater clarity regarding quality indicators and procedures;
□	contributed to transparency and comparability, thereby providing solid grounds for closer European integration and cooperation;
□	were conceived to be flexible, allowing needed space for interpretation;
□	reflected a shift in focus from a predominantly supply side perspective, prevalent among higher education institutions before, to the interests of students and stakeholders.
Following the considerations of various stakeholders, certain negative aspects of implementing the European Standards and Guidelines may also be outlined:
□	the external evaluations and accreditations are placing a heavy administrative burden on the higher education institutions, which often perceive them as a mere external imposition;
□	evaluations and self-evaluations typically fail to take full account of the complex and dynamic nature of quality in higher education;
□	this generally leads to promoting a culture of compliance and sheer formalism, which tends to instigate tensions between the academic and administrative personnel and management;
□	all of the above outlined consequences may result in the paradoxical separation of quality assurance processes on the one hand and the teaching and learning processes on the other.
These negative consequences stem largely from the fact that from the onset the European Standards and Guidelines were seen less as good practice guidelines and more as enshrined commandments. The agencies and institutions focused excessively on compliance with the standards („tick box mentality"), blindly imitating new examples without trying to fit them in their own previous good quality assurance practices. The real problem are therefore arguably not the European Standards and Guidelines as such, but the misguided attempts to adopt them in a mechanical way.
Growing numbers of contemporary scholars have argued, that the true task of quality assurance would be to survey the improvements in teaching and learning, supported by research, instead of checking for compliance with the (minimal) standards, supposedly exhibiting accountability of an institution or a study programme. The logic of this alternative model to evaluation is accordingly: if the institutions manage to prove to have enhanced quality, they may be considered to be accountable; there is no need to further prove accountability by way of checking for compliance with externally set standards. Where the prevalent approach to quality assurance fo-
cuses on compliance with standards determined by external governmental regulation, the alternative approach emphasises the importance of focusing on the capacity for quality enhancement.
Lending credibility to the proposed conceptual and strategic shift in external quality monitoring away from accountability and compliance towards improvement, aiming to address and redeem the gap between the quality assurance and educational development, is the course taken by the stakeholders in revising the European Standards and Guidelines in 2015. The revision addressed mainly the first part, placing stronger emphasis on the teaching and learning processes; also, links to other tools of the Bologna process, such as learning outcomes and qualifications framework, have been made explicit. Notwithstanding, the needs of international comparability and transparency seem to dictate retention of the model that preserves some form of compliance verification.
LITERATURA
1.	Blättler, A. et al. (2011). EQAF - a report from a continuing journey into quality. In: Blättler, A. et al. (ur.). Building bridges: Making sense of quality assurance in European, national and institutional contexts. Brussels: EUA.
2.	Debevec, T. et al. (ur.) (2013). Agencija spodbuja kakovost visokega šolstva. Ljubljana: Nacionalna agencija Republike Slovenije za kakovost v visokem šolstvu.
3.	ENQA (2005). Standards and guidelines for quality assurance in the European higher education area. Retrieved on 3/25/2015 from the Internet: http://www.enqa.eu/wp-content/uploads/2013/06/ ESG_3edition-2.pdf.
4.	ENQA (2015). Standards and guidelines for quality assurance in the European higher education area - osnutek. Retrieved on 3/25/2015 from the Internet: https://revisionesg.files.wordpress. com/2014/10/esg-draft-endoresed-by-bfug.pdf.
5.	Gvaramadze, I. (2008). From quality assurance to quality enhancement in the European Higher Education Area. European Journal of Education, 43, No. 4, pp. 443-455.
6.	Harvey, L. (2008). Using the European Standards and Guidelines: Some concluding remarks. In: Beso, A. et al. (ur.). Implementing and using quality assurance: strategy and practice. Brussels: EUA.
7.	Harvey, L. and Newton, J. (2007). Transforming Quality Evaluation: Moving on. In: Westerheijden, D. F. et al. (ur.). Quality Assurance in Higher Education: Trends in Regulation, Translation and Transformation. Dordrecht: Springer, str. 225-245.
8.	Harvey, L. and Newton, J. (2010). Transforming quality evaluation. Routledge: Quality in higher education.
9.	Kamšek, K. (2011). Improvement and accountability concepts in external quality assurance of higher education in Slovenia. Magistrsko delo. London: Institute of education, University of London.
10.	Kohoutek, J. (2009). Setting the stage: Quality assurance, policy change and implementation. In: Kohoutek, J. (ed.). Implementation of the Standards and Guidelines for quality assurance in higher education in the Central and East-European Countries. Bukarešta: Cepes.
11.	Komljenovič, J. and Zgaga, P. (2012). Quality assurance in Slovenian teacher education: between national regulation and internationalization. In: Harford, J. et al. (ur.). Quality assurance and teacher education: international challenges and expectations. Oxford: Peter Lang.
12.	Land, R. and Rattray, J. (2014). Policy drivers and barriers to implementation: Contexts of practice. In: Eggins, H. (ur.). Drivers and barriers to achieving quality in higher education. Rotterdam: Sense Publishers.
13.	Merila za akreditacijo in zunanjo evalvacijo visokošolskih zavodov in študijskih programov (2010). Uradni list Republika Slovenije št. 95. Pridobljeno dne 25. 3. 2015 s svetovnega spleta: http://www.pisrs.si/Pis.web/pregledPredpisa?id=MERI35.
14.	Reichert, S. (2008). Looking back - looking forward: Quality assurance and the Bologna process. In: Beso, A. et al. (ur.). Implementing and using quality assurance: strategy and practice. Brussels: EUA.
15.	Starc, J. (2010). Notranje zagotavljanje kakovosti v visokošolskih institucijah. Novo mesto: Pedagoška obzorja, 25 št. 5, str. 76-86.
16.	Sursock, A. (2011). Fifteen Years of Quality Assurance in Europe: Lessons learnt. In: Blättler, A. et al. (ur.). Building bridges: Making sense of quality assurance in European, national and institutional contexts. Brussels: EUA.
17.	Ule, A. (2012). Resnični razlogi posega v NAKVIS. Pridobljeno dne 25. 3. 2015 s svetovnega spleta: http://blog.kvarkadabra.net/2012/09/resnicni-razlogi-posega-v-nakvis.html.
18.	Westerheijden, D. F. and Kohoutek, J. (2014). Implementation and translation: From European Standards and Guidelines for quality assurance to education quality work in higher education institutions. In: Eggins, H. (ur.). Drivers and barriers to achieving quality in higher education. Rotterdam: Sense Publishers.
19.	Westerheijden, D. F. et al. (2007). From design and implementation to impact of quality assurance: An overview of some studies into what impacts improvement. Routledge: Tertiary education and management.
20.	Westerheijden, D. F. et al. (2008). The first decade of working on the European higher education area: The Bologna process independent assessment. Twente: Center for higher education policy.
21.	Williams, P. (2011). One fleet, many ships, same destination? In: Blättler, A. et al. (ur.). Building bridges: Making sense of quality assurance in European, national and institutional contexts. Brussels: EUA.
22.	Zakon o visokem šolstvu (ZVis) (1993). Uradni list Republike Slovenije št. 67. Pridobljeno dne 25. 3. 2015 s svetovnega spleta: http://www.uradni-list.si/1/objava.jsp?urlid=201232&stevilka=1406.
23.	Zgaga, P. (2004). Bolonjski proces: oblikovanje skupnega evropskega visokošolskega prostora. Ljubljana: Pedagoška fakulteta.
Gregor Cerjak, strokovni sodelavec v Nuklearni elektrarni Krško. E-naslov: gcerjak@gmail.com