Vrste in vloge instrumentov za zagotavljanje kakovosti visokošolskih zavodov
Karmen Rodman
Univerza na Pri morskem, Fa kulteta za ma nage ment Ko per, Can karj eva 5, Ko per
karmen.rodman@fm -kp.si
Cilj prispevka je identifikacija vlog instrumentov zagotavljanja kakovosti visokošolskih zavodov. V prispevku opredelimo instrumente za zagotavljanje kakovosti visokošolskih zavodov, predstavimo razlike med njimi in namene, zaradi katerih se instrumenti uporabljajo. Ugotavljamo, da imajo instrumenti za zagotavljanje kakovosti samo dve vlogi v managementu kako -vosti visokošolskih zavodov: izboljševanje delovanja in prikazovanje odgovornega delovanja. Ta dva namena instrumentov nista združljiva, sta komplementarna in sta v hierarhičnem odnosu z vidika managementa kakovosti. Poleg tega ugotavljamo, da presoje kakovosti visokošolskih zavodov pogosto ne vključujejo presoje uporabnosti rezultatov de I ovanja visokošolskih zavodov. Gre za zunanji vidik kakovosti, ki je med različnimi informacijami najbolj verodostojen, v praksi pa najpogosteje zapostavljen.
Ključne besede: kakovost, visokošolski zavod, zagotavljanje kakovosti, prikazovanje odgovornega delovanja, izboljševanje delovanja
1 Uvod
Evropsko visoko šolstvo je pred desetletji kraljevalo v prestižnosti in tradicionalnosti v svetovnem merilu. V zadnjem desetletju pa sta se pozitivno zaznavanje in ugled spreobrnila v pomanjkljivo prožnost nacionalnih izobraževalnih sistemov v Evropi, ki se na potrebe gospodarstva in družbe ne odzivajo dovolj. Raven učinkovitosti in uspešnosti evropskih visokošolskih zavodov je eden glavnih razlogov za slabšanje položaja teh v primerjavi z visokošolskimi zavodi v Združenih državah Amerike (Power, 2007: 21).
Potreba po gospodarski konkurenčnosti Evrope sooča visokošolske akterje na institucionalni, nacionalni in evropski ravni s številnimi izzivi in zahteva odgovorno delovanje. Odgovornost visokošolskih zavodov je zagotoviti trajnostni razvoj svoje dejavnosti in izvajalcev izobraževalnih storitev (visokošolskih zavodov ter učiteljev in drugih zaposlenih) (Rodman, Faganel in Trunk Širca, 2007: 90-91). To se na koncu izraža v kakovosti diplomanta, v smislu njegove ustreznosti zahtevam poslovnega okolja (kar je kot osnovni namen visokošolskih zavodov zapisalo 92 odstotkov zunanjih deležnikov; Selingo, 2003 v Ruben, 2004: 10).
Iz te osnovne odgovornosti pa izhaja skrb visokošolskega zavoda za transparentno prikazovanje svojega dela in učinkov (strateškim) deležnikom, kar omogoča, da deležniki dostopa-jo do (zanje) ključnih informacij o visokošolskem zavodu in se zato bolj racionalno odločajo o sodelovanju z njim ali pa njihovo zaznavanje kakovosti visokošolskega zavoda sloni na bolj verodostojnih informacijah. Trenutna transparentnost 'vrednotenja' kakovosti je v evropskem visokošolskem prostoru označena kot kritična (Scheele, 2004: 22-23).
Zavedanje o odgovornosti visokošolskega zavoda in zunanji pritiski, katerim je ta izpostavljen (več v Faganel, Trunk Širca in Dolinšek, 2005: 317; Srikanthan in Dalrymple, 2003 v Rodman in Trunk Širca, 2008: 55; Čepar, 2009: 159-161), vplivajo na prilagajanje nacionalnih visokošolskih sistemov dogajanju v okolju. Od začetka bolonjskega procesa leta 1999 visokošolski akterji iz evropskih držav oblikujejo smernice, ki naj jim visokošolski zavodi in drugi akterji v visokošolskem prostoru sledijo pri svojem delovanju. Temeljne usmeritve so zapisane v listinah bolonjskega procesa oziroma komunikejih srečanj evropskih ministrov1, pristojnih za visoko šolstvo. V listinah je področje kakovosti eno od devetih izpostavljenih
1 Towards the European higher education area. Dosegljivo na: http://www.bologna-berlin2003.de/pdf/Prague_communiquTheta.pdf (19.5.2010). Realising the European higher education area. Dosegljivo na: http://www.bologna-berlin2003.de/pdf/Communique1.pdf (19.5.2010).
področij, v listini iz leta 2005 ministri za visoko šolstvo pripisujejo področju kakovosti celo najpomembnejšo vlogo.
V navedenih evropskih listinah je kakovost obravnavana v smislu zagotavljanja kakovosti2. Strokovnjaki (Crozier, Curvale in Henard, 2005: 9, 18) navajajo naslednje smernice na področju zagotavljanja kakovosti v evropskem visokem šolstvu:
■	krepitev nacionalnih visokošolskih politik [v smeri obvladovanja zagotavljanja kakovosti]. Bolonjski proces namreč ne predvideva nadnacionalnega sistema za zagotavljanje kakovosti, temveč prenaša odgovornost za to na nacionalno in institucionalno raven;
■	vključevanje deležnikov v procese zagotavljanja kakovosti. Predvsem je opaziti vključevanje študentov v te procese, ki segajo od udeležbe v procesih notranje evalvacije do sodelovanja v evalvacijskih in akreditacijskih komisijah. Drugi deležniki so v veliki meri vključeni samo kot prejemniki periodičnih publikacij o rezultatih evalvacijskih in akreditacijskih postopkov;
■	povečevanje odgovornosti visokošolskih zavodov za svoje delovanje, prenos moči s pretežno nacionalne na institucionalno raven oziroma povečana decentralizacija.
Z decentralizacijo skrbi za kakovost se organi na višji institucionalni ravni odzivajo z razvojem nacionalnih sistemov zagotavljanja kakovosti. Vendar pa avtorji (Jeliazkova in Westerheijden, 2002: 435) navajajo, da se zmanjšuje transpa-rentnosti med visokošolskimi sistemi zagotavljanja kakovosti. Obveščanje deležnikov, ki sodi med aktivnosti zagotavljanja kakovosti, je uporabljeno kot sredstvo za uravnavanje trga izobraževalnih storitev (prav tam). Posledice se kažejo v naraščajoči rabi instrumentov, med katerimi so pridobivanje akreditacij, opravljanje evalvacij, umestitve v lestvice razvrščanja in podobno.
Razumevanje razlik med instrumenti za zagotavljanje kakovosti visokošolskih zavodov in njihovih namenov pa je pogosto nejasno. Zato v prispevku opredelimo instrumente za zagotavljanje kakovosti visokošolskih zavodov, predstavimo njihove ključne značilnosti in namene, zaradi katerih se ti uporabljajo. Da bi namembnost instrumentov dejansko razumeli, osvetlimo tudi informacije, ki jih presojevalci uporabljajo v instrumentih za zagotavljanje kakovosti.
Glede na redko slovensko literaturo na področju zagotavljanja in managementa kakovosti v šolstvu, so ugotovitve v prispevku pomembna podlaga za snovanje in obvladovanje sistema managementa kakovosti v visokošolskih zavodih. Nedvoumnost pri razumevanju pomena instrumentov za zagotavljanje kakovosti in njihovih vlog je pogoj za njihovo
uspešno rabo ter za načrtovanje in uresničevanje ciljev mana-gementa kakovosti.
2	Metodologija
Prvi del raziskovanja je namenjen proučitvi temeljnih pojmov v prispevku. Predstavljeni so instrumenti za zagotavljanje kakovosti visokošolskih zavodov ter njihove lastnosti. V ta namen smo analizirali literaturo priznanih tujih strokovnjakov s področja kakovosti v visokem šolstvu. V drugem delu s pomočjo analize, primerjave in kritične interpretacije razpoložljive literature tujih in domačih avtorjev ter organov na mednarodni ravni identificiramo namene instrumentov za zagotavljanje kakovosti. Pri snovanju ugotovitev uporabljamo tudi sekundarne podatke že opravljenih raziskav na mednarodni ravni. Na podlagi primerjav prispevkov različnih avtorjev oblikujemo sklepe, ki jih na koncu tudi povzemamo.
3	Vrste instrumentov za zagotavljanje kakovosti visokošolskih zavodov
Visokošolski sistemi za zagotavljanje kakovosti združujejo različne instrumente, ki omogočajo spremljanje, ocenjevanje ali ugotavljanje kakovosti3 visokošolskih zavodov. V literaturi (The Danish Evaluation Institute, 2003; Scheerens, 2007; Schwarz in Westerheijden, 2004; Orsingher, 2006; Vossensteyn, 2007) zasledimo predvsem dva instrumenta za zagotavljanje kakovosti visokošolskih zavodov: akreditacijo (angl. accreditation) in evalvacijo (angl. evaluation). Pri tem se razume, da se (Hämäläinen et al., 2001: 7; Schwarz in Westerheijden, 2004: 3):
■	akreditacija deli na akreditacijo in podelitev veljavnosti (angl. approval), pri čemer se podelitev veljavnosti nanaša na notranjo (Harvey, 2004: 7) ali zunanjo potrditev izpolnjevanja meril in standardov. Primer notranje potrditve veljavnosti je potrditev ustreznosti izobraževalnega programa pri organu visokošolskega zavoda, ki mu sledi proces akreditacije. Primer zunanje potrditve veljavnosti pa je vpis v razvid izvajalcev javno veljavnih programov vzgoje in izobraževanja (značilen za Slovenijo) in se lahko izvede po pridobljeni akreditaciji;
■	evalvacija deli na evalvacijo in vnovično evalvacijo (angl. follow-up).
The European higher education area, achieving the goals. Dosegljivo na: http://www.boIogna-bergen2005.no/Docs/00-Main_doc/050520_Ber-gen_Communique.pdf (19.5.2010).
Towards the European higher education area: responding to challenges in a globalised world. Dosegljivo na: http://www.dfes.gov.uk/londonbo-logna/uploads/documents/LondonCommuniquefinalwithLondonlogo.pdf (19.5.2010).
The Bologna process 2020 - The European higher education area in the new decade. Dosegljivo na: http://www.ond.vlaanderen.be/hogeronder-wijs/Bologna/conference/documents/Leuven_Louvain-la-Neuve_Communiqu%C3%A9_April_2009.pdfRealising the European higher education area (19.5.2010).
2	Zagotavljanje kakovosti je del managementa kakovosti, osredotočenega na pridobitev zaupanja, da bodo [ali so] zahteve kakovosti izpolnjene (Slovenski standard SIST EN ISO 9000 2005, 19; Slovenski standard SIST ISO 9004 2002, 42).
3	Kakovost pomeni stopnjo, na kateri skupek svojstvenih [značilnosti] izpolnjuje zahteve (Slovenski standard SIST EN ISO 9000, 2005: 16).
V tem prispevku uporabljamo pojem akreditacija za označitev pozitivnega rezultata akreditacijske sheme4 in ne vključuje podelitve veljavnosti. Pojem evalvacija pa vključuje evalvacijo in vnovično evalvacijo. V nadaljevanju pojasnjujemo posamezne pojme.
Izraz akreditacija se v praksi in literaturi uporablja za označitev akreditacijske sheme in pozitivnega rezultata akreditacijske sheme - podeljene akreditacije (Hämäläinen et al., 2001: 7; Di Nauta et al., 2004: 9). V članku pojma ločujemo. Akreditacija pomeni akreditacijsko shemo (kar po navadi zasledimo v literaturi), pozitiven rezultat akreditacijske sheme pa pomeni podeljeno/pridobljeno akreditacijo.
Z institucionalnega vidika je akreditacija proces presoje, ki vodi do potrditve ali zavrnitve ustreznosti objekta presoje. Objekt presoje se proučuje skozi standarde in merila, ki so po navadi manj zahtevni, transparentno sprejeti in predhodno opredeljeni (Harvey, 2004: 7). Kot metoda presojanja se pri akreditaciji uporablja ocenitev (angl. estimation) (potencialnih) značilnosti objekta presoje, ponekod pa tudi evalvacija. Končni rezultat akreditacije je binarna odločitev: objekt presoje ustreza ali ne ustreza standardom in merilom. V praksi pa je opaziti tudi bolj »mehke« odločitve. Številni akreditacijski organi namreč izrekajo »pogojno« akreditacijo, ki od visokošolskega zavoda zahteva določene popravke in dopolnitve (kot je to pri akreditacijah EQUIS, ABET, BAC, AMBA5).
Akreditacija ima v evropskih praksah več pomenov. V ožjem pomenu se nanaša na programsko in specializirano akreditacijo. Obe se uporabljata za potrjevanje ustreznosti študijskega programa posameznega visokošolskega zavoda (ali izobrazbe v primeru specializirane akreditacije). Specializirane akreditacije imajo dve posebnosti. Njihov namen je bolj usmerjen v zagotavljanje kakovosti, ki je potrebna za vstop v določeno poklicno skupino (na primer med računovodje, inženirje) in na specifičen trg dela. Specializirana akreditacija se pojavlja v obliki certificiranja oziroma licenciranja. Druga posebnost, ki se prav tako nanaša na namen rabe tega instrumenta, pa je njena naravnanost v prikazovanje odgovornega delovanja visokošolskega zavoda predvsem do zunanjih deležnikov (v večini delodajalcev). V širšem smislu pa akreditacija pomeni akademsko ali institucionalno akreditacijo, katere podelitev pomeni potrditev doseganja ali preseganja določenih meril kakovosti na ravni visokošolskega zavoda. Podeljena
akreditacija je potrditev statusa, legitimnosti in ustreznosti objekta presoje (Harvey, 2004: 5).
Evropska praksa (Orsingher, 2006; Schwarz in Wester-heijden, 2004) kaže, da je akreditacija včasih razumljena kot skrajna oblika sumativne evalvacije6, čeprav se v sklepnem dejanju od te pomembno razlikuje. Pri akreditaciji je izrečena sodba - Hofmann (2006: 18) navaja, da je akreditacija akt odločanja -, medtem ko je proizvod procesa evalvacije izdelava smernic za izboljševanje delovanja visokošolskega zavoda. Pri akreditaciji se tako srečujemo z zadovoljevanjem standardov in meril, ki pa se ne prilagajajo hitro spreminjajočemu se okolju in delovanju nacionalnega visokošolskega prostora (Darchini et al., 2006: 8). Evalvacija je s tega vidika precej bolj prilagodljiv instrument. Ustreznejše je akreditaci-ji pripisati naravo sumativne presoje (Gola, 2004: 26), in ne evalvacije. Značilno pa je, da je akreditacija rezultat evalvacije oziroma sledi evalvacijskem procesu, ni pa to obvezna praksa (Hämäläinena et al., 2001: 7; Gola, 2004: 26; Hofmann, 2006: 18, 54). Danes je akreditacija osrednji instrument za zagotavljanje kakovosti visokošolskih zavodov v Evropi in Združenih državah Amerike (Hämäläinen et al., 2001: 14).
Evalvacija je kognitivna dejavnost, naravnana na presojo posamezne dejavnosti [objekta presoje], ki je izvedena po vnaprej jasno določenih postopkih, z namenom, da se ustvarijo zunanji učinki (Gola, 2004: 25). Evalvacijske sheme7 se razlikujejo glede na vrsto evalvacije. Tako ločimo notranjo evalvacijo, zunanjo evalvacijo in vnovično evalvacijo (Vossensteyn, 2007). V nadaljevanju pojme podrobneje pojasnjujemo.
Notranja evalvacija (angl. internal evaluation) vključuje merila, orodja in postopke, ki jih upravlja in (ne pa nujno tudi) izvaja visokošolski zavod sam. Lahko so bolj ali manj usklajeni s smernicami presoje zunanjega organa za zagotavljanje kakovosti, kar je po navadi odvisno od spodbude s strani tega organa (Vossensteyn, 2007). Za notranjo evalvacijo je značilno, da oseba ali organ [visokošolskega zavoda], ki je odgovoren za evalvacijo, spodbudi subjekte v različnih fazah procesa k sodelovanju (Eurydice, 2004: 12). Lahko se izvede enkratno ali pa je to ponavljajoči se proces (Hofmann, 2006: 54).
V literaturi se pojem notranja evalvacija pogosto pojavlja enoznačno s samoevalvacijo. Nekaj avtorjev (Scheerens, 2007: 11) pa pojma ločuje. O notranji evalvaciji lahko govorimo, kadar zaposleni in vodstvo visokošolskega zavoda evalvirajo
4	Akreditacijska shema je institucionaliziran in sistematično izveden pregled objekta presojanja, ki se konča s formalno sumativno odločitvijo o ustreznosti njegove kakovosti glede na predhodno formalno zastavljene standarde in merila. Vključuje vse postopke in procese, ki vodijo do končne odločitve.
5	EQUIS - evropska akreditacija za poslovne šole, ABET - ameriške akreditacije za aplikativno naravoslovje, BAC - institucionalne in programske akreditacije britanskega akreditacijskega sveta, AMBA - mednarodne programske akreditacije. Več o različnih akreditacijah in primerjavah med temi navajajo Pečar in soavtorji (2008).
6	Evalvacija je sumativna, ko je povezana s prikazovanjem odgovornega delovanja do različnih deležnikov Sumativna evalvacija se redko naslanja na podatke in kazalnike (je kvalitativna) ter v sklepnem dejanju ocenjuje objekt presoje (Darchini et al., 2006: 8; Gola, 2004: 25). Evalvacija je formativna, kadar je njen namen sprotno izboljševanje objekta presoje. Formativna evalvacija je predvsem kvalitativna presoja. Izvedejo jo strokovnjaki, ki pa se pogosto naslanjajo na kvantitativne podatke in kazalnike. Vključeni strokovnjaki oziroma evalvatorji končajo proces s podajanjem pisnih priporočil. Za takšen tip evalvacije je bolj pomembno nenehno spremljanje in izboljševanje kot identifikacija pomanjkljivosti objekta presoje (Darchini et al., 2006: 8; Gola, 2004: 25).
7	Evalvacijska shema vključuje institucionalizirane in sistematično izvedene dejavnosti za zagotavljanje kakovosti objekta presoje. Rezultat evalvacijske dejavnosti ni neposredna podelitev veljavnosti objekta presoje (Schwarz in Westerheijden, 2004: 2-3), temveč oblikovanje priporočil za izboljševanje objekta presoje.
subjekt presoje in je rezultat presoje uporabljen za zagotavljanje kakovosti visokošolskega zavoda pri notranjih in zunanjih deležnikih (na primer študentih ali pri organih za zagotavljanje kakovosti na višji institucionalni ravni, kot podlaga pri zunanjem presojanju). Samoevalvaci^ja pa pomeni evalvacijo, ki jo naredijo zaposleni in vodstvo visokošolskega zavoda za notranje namene: za diagnosticiranje, samorefleksijo in izboljševanje delovanja. Torej je samoevalvacija namenjena predvsem notranjim deležnikom. Izraz notranja evalvacija se prav tako lahko uporablja, kadar pri izvajanju evalvacije svetuje zunanji objekt presoje, vendar je pobudnik evalviranja, oskrbovalec s podatki in uporabnik rezultatov evalviranja notranji deležnik (na primer zaposleni in vodstvo visokošolskega zavoda). Tako tudi odgovornost za izvedbo evalviranja nosijo notranji deležniki. Torej ni vsaka notranja evalvacija samoevalvacija. Lahko rečemo, da je samoevalvacija zvrst notranje evalvacije. V članku zato uporabljamo samo pojem »notranja evalvacija«, ki pa vključuje tudi samoevalvacijo.
Glavni namen notranje evalvacije je spreminjanje (Eury-dice, 2004: 132) v smeri izboljševanja delovanja. Notranja evalvacija je instrument za prikazovanje odgovornega delovanja, predvsem pa instrument za dvig kakovosti (angl. enhancement) (Crozier, 2005: 19). Hofmann (2005: 27) označuje [notranjo evalvacijo] kot naložbo visokošolskega zavoda v lasten razvoj. Na drugi strani pa obstajajo avtorji, ki koristnost ali namembnost notranje evalvacije označujejo precej ozko. Evropsko združenje univerz (EUA), na primer, kot organ na višji institucionalni ravni označuje notranjo evalvacijo samo kot pripravljalno fazo za zunanje zagotavljanje kakovosti (Crosier et al., 2007: 55) - torej za informiranje zunanjih deležnikov. Takšna opredelitev notranje evalvacije je zelo ozka in izključuje poglavitno korist, ki jo lahko ima visokošolski zavod - pridobitev informacij za takojšnje izboljševanje delovanja.
Poleg notranje evalvacije sistemi za zagotavljanje kakovosti vključujejo tudi zunanjo evalvacijo (angl. external evaluation). Ta združuje merila, orodja in postopke, ki jih upravljajo in izvajajo zunanji organi za zagotavljanje kakovosti ali osebe, ki niso neposredno vključene v delovanje evalviranega visokošolskega zavoda (Eurydice, 2004: 11; Hofmann, 2006: 54). Poleg ocenjevanja kvantitativnih in kvalitativnih dejavnikov je pomembna naloga evalvatorjev v procesu zunanje evalvacije dajanje smernic za izboljšanje delovanja objekta presoje. S prepoznavanjem pomanjkljivosti v delovanju in z opozarjanjem na priložnosti in nevarnosti iz okolja lahko zunanja evalvacija prispeva k nadaljnjemu izboljšanju delovanja visokošolskega zavoda. Presojanje se pri zunanji evalvaciji konča s povratno informacijo visokošolskemu zavodu in drugim deležnikom (Eurydice, 2004: 131).
V nekaterih sistemih za zagotavljanje kakovosti zunanji evalvaciji sledi vnovična evalvacija (angl. follow-up). Kot samo ime pove, takšna evalvacija ponuja visokošolskim zavodom vnovično zunanjo strokovno oceno objekta presoje ozi-
roma ugotavljanje napredka. Izhodišče vnovične evalvacije so izsledki predhodne evalvacije visokošolskega zavoda. Rezultat tega procesa presoje so ugotovitve o spremembah v delovanju in predlogi za nadaljnje izboljšanje visokošolskega zavoda. Vnovična evalvacija lahko sumativno evalvacijo preoblikuje v formativno in kot taka ponuja več možnosti za dopolnitev najpogostejšega namena zunanje evalvacije - prikazovanje odgovornega delovanja visokošolskega zavoda se lahko razširi v nenehno izboljševanje delovanja. V Evropi je raba vnovične presoje redka (Scheele, 2004: 23). Primera uspešno razvitega mehanizma vnovične evalvacije sta Avstrija in Finska.
V	nekaterih državah (Združeno kraljestvo, nordijske države) je bolj kot zunanja evalvacija značilna revizija institucionalne8 kakovosti (angl. audit), ki se od zunanje evalvacije razlikuje v tem, da ocenjuje kakovost mehanizmov za zagotavljanje kakovosti, ki so jih sprejeli posamezni visokošolski zavodi [_] (The Danish Evaluation Institute, 2003: 20; Hofmann, 2005: 8). To pomeni, da v središču presoje niso rezultati procesov visokošolskega zavoda, temveč mehanizmi, ki vplivajo na rezultat. Z revizijo institucionalne kakovosti se presoja, kako je visokošolski zavod izpolnil lastna pričakovanja s tem, da je uresničil svoje izbrane standarde [glede sistema managementa kakovosti] (Hofmann, 2005: 8).
Revizija institucionalne kakovosti se razlikuje od akre-ditacije, saj ne ugotavlja, ali visokošolski zavod izpolnjuje minimalne pogoje ali standarde kakovosti. Kljub temu nekateri avtorji (Hämäläinen et al., 2001: 16) in nacionalni sistemi (Finska) uvrščajo revizijo institucionalne kakovosti med zvrsti akreditacije. Takšno razmišljanje izhaja iz razumevanja revizije institucionalne kakovosti kot oblike akreditiranja notranjega sistema managementa kakovosti visokošolskega zavoda.
Scheerens (2007: 1-2, 8) navaja še druge instrumente za zagotavljanje kakovosti, ki jih v večini sistemov za zagotavljanje kakovosti v visokem šolstvu ne omenjajo:
■	monitoriranje (angl. monitoring) je [sistematično in] nenehno spremljanje kakovosti objekta presoje. Ni namenjeno izrekanju sodb, temveč notranjemu informiranju;
■	ocenitev, ki pa se v angleškem izrazoslovju ločuje na dve zvrsti glede na objekt presoje. Če je objekt presoje posamezen učitelj, se uporablja angleški izraz »appraisal«. Če pa se evalvirajo dosežki posameznih študentov, se uporablja angleški izraz »assessment«.
V	tem prispevku instrumente za zagotavljanje kakovosti poimenujemo z izrazom presoja (angl. judgement), kadar skupaj obravnavamo vse opisane instrumente. Presoja je sistematičen [_] in dokumentiran proces za pridobitev dokazov presoje z namenom ugotoviti, v kakšnem obsegu objekt presoje izpolnjuje merila presoje (Marolt in Gomišček, 2005: 115). Presojo prve strani vodi organizacija sama ali jo v njenem imenu vodi nekdo drugi (prav tam). Po navadi se uporablja za notranje namene in lahko tvori osnovo za izjavo o samoustreznosti. Presojo druge strani vodijo [deležniki] organizacije ali druge osebe na zahtevo [deležnikov, na primer
8 Institucionalna raven se v skladu z londonskim komunikejem (Towards the European higher education area: responding to challenges in a globalised world 2007, 1) nanaša na visokošolski zavod. Vse ostale objekte presoje kakovosti v visokem šolstvu (učitelja, nacionalni organ zagotavljanja kakovosti v visokem šolstvu, visokošolski sistem) izključujemo iz obravnave v pričujočem delu.
študentov, državnih organov, delodajalcev] (prav tam). Presojo tretje strani vodijo zunanje neodvisne organizacije (prav tam). Te organizacije so po navadi pooblaščene in izdajo potrdilo o usklajenosti z zahtevami (v obliki certifikata, akreditacije, registracije in podobno) ali zaključno poročilo o ugotovitvah.
4 Vloge instrumentov za zagotavljanje kakovosti visokošolskih zavodov
Pojav pregledovanja kakovosti s strani deležnikov (ang. audit society) se je začel pojavljati v 80. letih prejšnjega stoletja (Hämäläinen et al., 2001: 14). Povečan pritisk deležnikov na visoko šolstvo z zahtevo po prikazovanju kakovosti delovanja visokošolskih zavodov pa se pojavi vzporedno s povečano decentralizacijo visokega šolstva. Decentralizacija izobraževalnih politik in prenos odločanja na institucionalno raven se tako pojavlja skupaj s povečano težnjo po prikazovanju odgovornega delovanja visokošolskih zavodov (Scheerens, 2007: 1).
Prikazovanje odgovornega delovanja navajamo kot prvi cilj managementa kakovosti visokošolskih zavodov. Osnovni namen prikazovanja napredka deležnikom je ustvarjanje, vzdrževanje ali stopnjevanje zaupanja med deležniki, kar je nujno za pridobitev sredstev, udeležencev in podpore v okolju. Pri tem prikazovanje odgovornega delovanja ni mišljeno samo kot »dokazovanje« učinkovite porabe sredstev finančnim institucijam v smislu dobrega povračila naložbe, temveč kot sposobnost spreminjanja vseh udeležencev procesa, ki so sposobni upoštevati zahteve različnih skupin deležnikov (Srikanthan in Dalrymple, 2003).
Elmore in soavtorji (v Scheerens, 2007: 3-5) ločujejo tri »teorije« prikazovanja odgovornega delovanja glede na uporabnika informacij. V ospredju teh »teorij« je namen, zaradi katerega visokošolski zavod prikazuje svoj napredek. Te »teorije« so:
■	tehnično prikazovanje odgovornega delovanja oziroma administrativen nadzor, pri čemer izvršilna oblast (država, ustanovitelj) sprejema odločitve o financiranju, nagrajevanju, sankcioniranju ali javni izpostavitvi delovanja visokošolskega zavoda na osnovi ugotovitev presoje njegove kakovosti;
■	prikazovanje odgovornega delovanja za potrebe [strateškega] deležnika, pri čemer so informacije deležniku v pomoč pri sprejemanju odločitev o sodelovanju z visokošolskim zavodom;
■	prikazovanje odgovornega delovanja za potrebe strokovnega razvoja visokošolskega zavoda, pri čemer je informacija osnova za nadaljnji strokovni razvoj oziroma učenje organizacije.
Navedene oblike prikazovanja odgovornega delovanja so razvrščene po padajočem vrstnem redu glede na formalnost meril in standardov, po katerih se objekt presoja, glede na zunanji značaj postopkov v nasprotju z notranjim in glede na sumativno naravnanost teh v nasprotju s formativno. V praksi visokega šolstva se pogosto prepletajo in dopolnjujejo. Iz literature pa je mogoče razbrati, da prevladuje prva »teorija« oziroma administrativni nadzor snovalcev visokošolskih politik. Scheerens (2007: 14) govori o naraščajoči »funkcionalni
decentralizaciji« visokega šolstva na področju kakovosti, ki jo opisuje kot:
■	centralizacijo nadzora, ki jo izvaja predvsem država prek svojih organov (Srikanthan in Dalrymple, 2004: 278), ter spodbujanje rabe zunanjih instrumentov za zagotavljanje kakovosti;
■	decentralizacijo skrbi za kakovost, ki je prenesena na institucionalno raven.
Več avtonomije kot imajo akterji, večji je pritisk na »nadzor nad kakovostjo« (Eurydice, 2004: 134) oziroma na dvig odgovornosti visokošolskega zavoda (Hofmann, 2005: 6, 24). Zagotavljanje kakovosti je tako »mehki« poseg oblikovalcev visokošolskih politik na evropski in mednarodni ravni, s katerim lahko ti akterji pozivajo visokošolske zavode h kakovostnem delovanju na sicer decentraliziranem trgu izobraževanja. Vse pogosteje pa so ti posegi »trdi«, in sicer kadar nacionalni sistemi za zagotavljanje kakovosti povezujejo rezultate presoj kakovosti z javnim potrjevanjem veljavnosti in javnim financiranjem visokošolskih zavodov. Posledice takšnega delovanja so sprejetje in uresničitev pobud oblikovalcev visokošolske politike glede kakovosti pri posameznem visokošolskem zavodu, ne pa nujno tudi dvig njegove kakovosti. Nekatere raziskave označujejo dejavnosti za zagotavljanje kakovosti celo kot zavajajoče in kot igro med strokovnjaki (Harvey, 2004: 16) ter kot toge in neučinkovite (Srikanthan in Dalrymple, 2004: 278).
Izboljševanje delovanja je tako bolj želen kot pa realen cilj nacionalnih visokošolskih politik. Različne raziskave o namenih nacionalnih sistemov za zagotavljanje kakovosti visokošolskih zavodov (Campbell in Rozsnyai, 2002; The Danish evaluation institute, 2003; Reichert in Tauch v Schwarz in Westerheijden, 2004: 13) so pokazale, da zapisi nacionalnih organov izpostavljajo »izboljševanje« kot najpogostejši [želeni] cilj teh sistemov. Danski evalvacijski inštitut (The Danish Evaluation Institute, 2003: 14) poroča, da ima kar 92 odstotkov članic Evropskega združenja za zagotavljanje kakovosti v visokem šolstvu (ENQA) takšen cilj. Vendar pa sta Schwarz in Westerheijden (2004: 14) v svoji raziskavi ugotovila, da imajo samo štiri evropske države od enajstih evalvacijske in akredi-tacijske sheme usmerjene v izboljševanje delovanja (to so Norveška, Finska, Danska in Švedska). Evropski sistemi za zagotavljanje kakovosti so v praksi naravnani k cilju »prikazovati odgovorno delovanje«. Namreč če je evalvacijska shema for-mativnega značaja, usmerjena v diagnosticiranje in snovanje smernic za izboljševanje (ne pa v sodbo) ter v prvi vrti notranji instrument, takrat lahko govorimo o usmerjenosti v učenje [oziroma izboljševanje kakovosti] objekta presoje (Scheerens, 2007: 3). Sumativna evalvacijska shema pa se zaključi s sodbo (lahko posredno, kot je, na primer, vpliv na obseg državnega financiranja; Schwarz in Westerheijden, 2004: 30) ter je v prvi vrsti zunanji instrument - takrat govorimo o usmerjenosti v prikazovanje odgovornega delovanja. Obstajajo pa tudi primeri v visokošolski praksi (na primer Češka republika; Schwarz in Westerheijden, 2004: 14), kjer instrumente uspešno kombinirajo in dosegajo sinergijske učinke tega.
Tudi iz analize Barnettovih konceptov kakovosti v visokem šolstvu (Kump, 1994: 21) prepoznamo le dva namena zagotavljanja kakovosti visokošolskih zavodov. Barnett (prav
tam) navaja, da je management kakovosti v visokem šolstvu lahko tesno povezan:
■	z objektivističnim konceptom kakovosti, pri katerem je kakovost merjena instrumentalno, sumativno in enotno na ravni nacionalnega ali lokalnega visokošolskega sistema. V praksi se takšno razumevanje kakovosti pojavlja v akreditacijskih in evalvacijskih shemah. Koncept usmerja organizacijo v prikazovanje odgovornega delovanja;
■	z relativističnim konceptom kakovosti, pri katerem ni v rabi absolutnih dokazov, ki bi vplivali na pridobivanje veljavnega pogleda na kakovost visokošolskega zavoda. Glavni namen je razvrščanje visokošolskih zavodov (angl. ranking) in ima značaj sumativnega ocenjevanja. Koncept usmerja organizacijo v prikazovanje odgovornega delovanja;
■	z razvojnim konceptom kakovosti, ki je del notranjega okolja visokošolskega zavoda in je odvisen od organizacijske kulture. Koncept nakazuje formativni značaj presojanja kakovosti in usmerja organizacijo v nenehno izboljševanje delovanja.
Vendar pa v literaturi zasledimo še dva enakovredna cilja sistemov za zagotavljanje kakovosti visokošolskih zavodov (Weusthof in Frederiks v Schwarz in Westerheijden, 2004: 12-13):
■	veljavnost študijskega programa visokošolskega zavoda ali izobrazbe (angl. validation). Podeljevanje veljavnosti je pomembno predvsem zaradi priznavanja visokošolskega zavoda in dosežkov v tujini, pri mobilnosti študentov in pri zaposlovanju diplomantov v tujini, zato je to cilj predvsem manjših držav (Schwarz in Westerheijden, 2004: 14);
■	innformiranost deležnikov. Objavljanje informacij, kot so dosežki študentov (angl. assessment), podatki o študijskih programih, izobrazbi, ki jo podeljuje posamezen visokošolski zavod, je v več kot polovici držav podpisnic bolonjske deklaracije predpisano (Eurydice, 2007: 57). Tudi obvezno ali priporočeno objavljanje informacij o presojanju kakovosti je urejeno v večini držav podpisnic bolonjske deklaracije, ki imajo vzpostavljeno zunanje presojanje kakovosti visokošolskih zavodov (prav tam). Navedena cilja sta tesno povezana s prikazovanjem odgovornega delovanja. Omenjena cilja managementa kakovosti omogočata sprejetje in potrjevanje visokošolskega zavoda v okolju ter vplivata na njegovo prepoznavnost in ugled. Zato v prispevku zadnja dva cilja managementa kakovosti uvrščamo v cilj »prikazovanje odgovornega delovanja« in ju ne obravnavamo ločeno.
Prav tako pod okrilje cilja »prikazovanje odgovornega delovanja« umeščamo doseganje transparentnosti, nacionalno in mednarodno primerljivost ter razvrščanje oziroma rangira-nje visokošolskih zavodov. Te cilje danski evalvacijski inštitut (The The Danish Evaluation Institute, 2003: 14) ločuje od prikazovanja odgovornega delovanja. Glede na to, da je razlog za takšne dejavnosti obveščanje trga in deležnikov o odgovornem delovanju, te razloge združujemo v cilj »prikazovanje odgovornega delovanja«. Tako ločujemo le dva poglavitna cilja managementa kakovosti: prikazovanje odgovornega delovanja in izboljševanje delovanja.
Iz navedenega razmišljanja sledi vprašanje, ali je ločevanje teh dveh ciljev nujno. Glede na ugotovljene različnosti med instrumenti in glede na to, da se cilji prikazovanja odgovornega delovanja ne kažejo nujno v spodbujanju in doseganju višje ravni kakovosti delovanja visokošolskega zavoda, študijskega programa ali izobrazbe, kot je predvidena z akre-ditacijskimi standardi ali merili (Jeziazkova, 2001; Jeziakova in Westerheijden v Schwarz in Westerheijden, 2004: 13), ocenjujemo, da združljivost teh ni smiselna.
Postavlja pa se vprašanje, ali sta cilja »prikazovanje odgovornega delovanja« in »izboljševanje delovanja« enakovredna cilja managementa kakovosti ali sta v hierarhičnem odnosu. Prikazovanje odgovornega delovanja je naravnano na prikazovanje napredka v kakovosti objekta. To pa je odvisno od naporov za izboljševanje delovanja, ki ustvarja stvarne dokaze, o katerih se obvešča deležnike. Prikazovanje odgovornega delovanja je tako samo del managementa kakovosti, ki prenaša informacije o dosežkih visokošolskega zavoda do deležnikov, vpliva na zaupanje deležnikov v visokošolski zavod in na delovanje visokošolskega zavoda v prihodnosti. Prikazovanje odgovornega delovanja je tako ena od dejavnosti na poti do cilja, in ne osnovni cilj managementa kakovosti.
Zato je prikazovanje odgovornega delovanja v podrejenem odnosu v primerjavi z izboljševanjem delovanja visokošolskega zavoda. Izboljševanje delovanja daje »material« za prikazovanje odgovornega delovanja in je hkrati ena temeljnih odgovornosti visokošolskega zavoda za uresničevanje svojega trajnostnega razvoja. Ključni cilj managementa kakovosti mora [zato] biti dvig kakovosti (Srikanthan in Dalrymple, 2004: 276).
4.1 Raba informacij pri presojanju kakovosti visokošolskih zavodov
Dvig kakovosti je v veliki meri odvisen od kulture kakovosti v visokošolskih zavodih in med zunanjimi deležniki. V tem trenutku je kultura kakovosti v visokošolskih zavodih na nezadovoljivi ravni (Hofmann, 2005: 25). Trditev nas izzove, da v nadaljevanju identificiramo naravnanost instrumentov zagotavljanja kakovosti na način, da analiziramo rabo različnih informacij pri presojanju kakovosti visokošolskih zavodov. Pri tem je potrebno poudariti, da je to le eden izmed vidikov prepoznavanja naravnanosti instrumentov zagotavljanja kakovosti visokošolskih zavodov.
Danski evalvacijski inštitut navaja (The Danish Evaluation Institute, 2003: 23), da se za presojanje kakovosti visokošolskih zavodov najpogosteje uporabljajo podatki o študentih presojanega visokošolskega zavoda. Tem sledijo podatki o akademskem osebju, administrativnem osebju in nato finančni podatki. Najredkeje pa se uporabljajo statistični podatki, ki se nanašajo na trg dela. Statistični podatki so obstoječi podatki, ki jih visokošolski zavod lahko priskrbi v lastnem informacijskem sistemu (The Danish Evaluation Institute, 2003: 29). Ponekod (na primer na Danskem) pa se pri presojanju upoštevajo statistični podatki, ki jih priskrbi zunanja organizacija (na primer statistika trga dela).
Pogosto se dogaja, da je spremljanje in ugotavljanje (ne pa nujno zagotavljanje) kakovosti visokošolskih zavodov
vezano izključno na rabo vprašalnikov kot edinega instrumenta [pridobivanja podatkov] (Hofmann, 2005: 26). Poleg tega je proces zbiranja podatkov nesistematično urejen in poteka v različnih intervalih, vprašalniki in njihova raba pa so pogosto različni znotraj posamezne univerze (med fakultetami, katedrami ali področji proučevanja) (prav tam). Tako so rezultati neprimerljivi in težko uporabni v presojah. Še posebno so rezultati manj verodostojni, če deležniki o njih niso obveščeni, če informacije niso javne in če akcijski plan ni določen. V evropskih državah se najpogosteje izvaja raziskava med diplomanti, najredkeje pa raziskava med delodajalci (The Danish Evaluation Institute, 2003: 30). Kljub pogostim raziskavam o zadovoljstvu diplomantov je raba teh podatkov omejena (ENQA, 2008: 86).
Obravnavanje virov informacij je tesno povezano z vsebino informacij. Usmerjenost presoj samo na vložke v procese visokošolskih zavodov ni več aktualno (zaposlitveni kader, vstopni pogoji, letno financiranje, načrtovani učni načrti, zmogljivosti visokošolskega zavoda). Med letoma 1980 in 1990 se je poudarjal predvsem proces ustvarjanja kakovostnega izobraževanja in kakovostnega diplomanta, vendar pa se je v poznejših letih pozornost preusmerila v rezultate (Schwarz in Westerheijden, 2004: 11-12). Zdaj je za evalvacije in akre-ditacije značilno presojanje vložkov, procesov in rezultatov. Danes Evropska komisija poziva, da se pozornost presoj usmeri v učne rezultate študentov (Commission of the European communities, 2009: 4). Temu je treba dodati, da je načrtovanje učnih dosežkov enostavnejši del spremljanja kakovosti na tem področju. Snovanje procesa presoje o doseganju zastavljenih učnih dosežkov je precej bolj težavno. Tako več kot polovica evropskih držav podpisnic bolonjske deklaracije poroča, da učne dosežke študentov presojajo samo v nekaterih visokošolskih zavodih ali celo v nobenem (Bologna process stocktaking report, 2009: 55). Med državami, ki ocenjujejo, da se presojajo učni dosežki študentov v visokošolskih zavodih, pa le redke predstavijo primere takšnega presojanja (prav tam). Obstajajo pa tudi primeri, ko države načrtujejo sistemsko nacionalno ureditev tega dela presoj, in sicer kot zunanjo presojo učnih dosežkov študentov (prav tam).
Evropski organi poročajo, da razvoj zunanjega zagotavljanja kakovosti poteka zelo hitro, vendar pa mu razvoj notranjega zagotavljanja kakovosti ne sledi z enakim ritmom. Napredek je viden na področjih, s katerim se visokošolski zavodi ukvarjajo že dlje časa, na primer notranje potrjevanje študijskih programov visokošolskega zavoda in objavljanje informacij o visokošolskem zavodu (Bologna process stocktaking report, 2009: 8). Najmanjši napredek pa je viden pri razvoju notranje presoje učnih dosežkov študentov, pri čemer so ti pogosto zamenjani za cilje študijskega programa, ki niso merljivi (prav tam).
Iz analize uporabljenih virov ugotavljamo, da se presoje kakovosti visokošolskih zavodov omejujejo na elemente notranjega okolja visokošolskega zavoda (na vložke, procese in rezultate). Presojanje uporabnosti rezultatov je tako najbolj zapostavljeno področje kakovosti visokošolskih zavodov. Zunanji deležniki so tisti, ki visokošolskemu zavodu lahko dajo koristno informacijo o uporabnosti rezultatov delovanja visokošolskih zavodov. Kot rezultat se lahko šteje znanje diplomanta, ki ga ta uporablja v delovni organizaciji, ideja ali
raziskovalni dosežek visokošolskega zavoda, ki se uporabi v praksi, ali drugi prispevki visokošolskega zavoda, ki spodbudijo spremembe pri različnih subjektih v okolju oziroma družbi. Današnje presoje kakovosti visokošolskih zavodov se najpogosteje končajo s prepoznavanjem rezultatov, ki so vidni neposredno po končanem procesu. Ne presoja pa se, ali so ti rezultati v praksi uporabni.
Ocenjujemo, da je vidik tistih deležnikov, ki niso neposredno vpleteni v delovanje visokošolskega zavoda, bolj nepristranski kot vidik notranjih deležnikov. Poznavanje in upoštevanje tega vidika pri managementu visokošolskega zavoda pa omogoča izognitev prevlade interesov samo nekaterih notranjih deležnikov. Pridobivanje informacij od zunanjih strateških deležnikov in njihovo povezovanje s temeljnimi in strateškimi usmeritvami visokošolskega zavoda ustvarja kakovostnejša izhodišča za razvoj in izboljševanje, za ustvarjanje konkurenčnih prednosti in trajnostnega razvoja posameznega visokošolskega zavoda.
5 Sklep
Zaradi vse večjega pritiska različnih deležnikov na zagotavljanje kakovosti visokošolskih zavodov je bil temeljni namen prispevka pojasniti osnove za ciljno uporabo instrumentov zagotavljanja kakovosti. Cilji prispevka so doseženi na treh področjih.
V začetku prispevka smo predstavili instrumente za zagotavljanje kakovosti ter njihove značilnosti, kar je še zlasti pomembno za njihovo ločevanje, saj smo med proučevanjem literature in na podlagi prakse ugotovili, da so nekateri instrumenti razumljeni enoznačno. Med evalvacije uvrščamo notranjo, zunanjo in vnovično (zunanjo) evalvacijo, pri tem pa samoevalvacijo razumemo kot zvrst notranje evalvacije. Najpogosteje uporabljen instrument zagotavljanja kakovosti visokošolskih zavodov je akreditacija. Poznamo pa tudi revizijo institucionalne kakovosti, ki pomeni »akreditacijo« ali certificiranje notranjega sistema managementa kakovosti visokošolskega zavoda.
Analizirali smo vloge instrumentov za zagotavljanje kakovosti v managementu kakovosti visokošolskega zavoda in ugotovili, da kljub številnim namenom, ki so navedeni v literaturi, imajo instrumenti le dva namena: izboljševanje delovanja in prikazovanje odgovornega delovanja. Pri analizi odnosov med tema dvema vlogama instrumentov smo ugotovili, da namena instrumentov nista združljiva, sta komplementarna in sta v hierarhičnem odnosu z vidika managementa kakovosti.
Ugotavljamo, da v praksi prevladuje prikazovanje odgovornega delovanja, čeprav si visokošolski akterji želijo prevlado izboljševanja delovanja nad prikazovanjem odgovornega delovanja. Razlog za to je v nerazviti ali ne dovolj razviti kulturi kakovosti v visokošolskih zavodih. Poleg literature, ki takšno trditev podpira, smo razvitost kulture kakovosti prikazali na primeru rabe različnih informacij pri presojanju kakovosti visokošolskih zavodov.
Iz podatkov o rabi različnih informacij smo ugotovili, da so podatki o uporabnosti rezultatov visokošolskega zavoda (o koristnosti znanja diplomantov za delovanje v poslovnem svetu, vplivu ideje ali drugih raziskovalnih dosežkov na
delovanje poslovnih organizacij), ki jih visokošolski zavodi dobijo od zunanjih deležnikov (predvsem delodajalcev oziroma poslovnih organizacij) najredkeje uporabljena informacija v presojah. Presoje kakovosti visokošolskih zavodov so še vedno naravnane na notranje informacije (to so informacije iz informacijskega sistema visokošolskega zavoda in informacije, ki jih dajejo notranji deležniki, med katere uvrščamo tudi študente). Te informacije pa so pogosto orodje interesov (samo nekaterih) notranjih deležnikov. Informacije o uporabnosti rezultatov visokošolskih zavodov, ki nam jih posredujejo zunanji deležniki, ocenjujemo kot enako (ali še bolj) koristne in nepristranske glede na notranje informacije. Ocenjujemo, da je razlog za odsotnost teh informacij višja stopnja težavnosti zbiranja podatkov glede na metode pridobivanja notranjih podatkov, predvsem pa šibka kultura kakovosti v visokošolskih zavodih in med zunanjimi deležniki.
Ugotavljamo, da je prihodnost razvoja managementa kakovosti visokošolskih zavodov odvisna od razvitosti kulture kakovosti. Ta mora postati pomembno razvojno področje managementa v prihodnosti. Visokošolski zavodi se morajo zavedati svoje odgovornosti, ki jo imajo pri oblikovanju svojih rezultatov, in sprejeti dejstvo, da so elementi kakovosti visokošolskega zavoda tudi v zunanjem okolju. Ko management visokošolskega zavoda razume in sprejme miselnost, da je kakovost njegovega delovanja vidna tudi skozi uporabnost njegovih rezultatov v praksi, je pripravljen ta zunanji vidik kakovosti obvladovati in upravljati.
Poleg vključitve zunanjega vidika kakovosti v management kakovosti visokošolskega zavoda pa je pri razvoju kulture kakovosti pomembna naravnanost managementa kakovosti in managementa visokošolskega zavoda nasploh na izboljševanje. Zato je treba namenskost presoj prenesti na višjo raven, in sicer iz namena prikazovati odgovorno delovanje v namen izboljševati delovanje visokošolskega zavoda. Naravnanost na izboljševanje delovanja v smeri uresničevanja temeljnih in strateških usmeritev visokošolskega zavoda namreč samodejno ustvarja vsebino za prikazovanje odgovornega delovanja njihovim deležnikom.
Literatura
Bologna process stocktaking report. (2009). Dosegljivo na: http:// www.ond.vlaanderen.be/hogeronderwijs/Bologna/conference/ documents/Stocktaking_report_2009_FINAL.pdf (19.5.2010). Commission of the European communities. (2009). Report on progress in quality assurance in higher education. Dosegljivo na: http://ec.europa.eu/education/higher-education/doc/report09_ en.pdf (19.5.2010). Crozier, F., Curvale, B. & Henard, F. (2005). Quality convergence study. Helsinki: European Network for Quality Assurance in Higher Education. Čepar, Ž. (2009). Socio-ekonomski dejavniki povpraševanja po visokošolskem izobraževanju v Sloveniji. Doktorska disertacija, Univerza na Primorskem, Fakulteta za management Koper. Darchini, D., Giannini, S. & Gola, M. (2006). Quality assurance and evaluation of programmes at the University of Bologna. Assessing quality in European higher education institutions; disse-mination, methods and procedures. Uredila: Orsingher, C. New York, Heidelberg: Physica-Verlag.
Di Nauta, P., Omar, P. L., Schade, A. & Scheele, J. P. (2004). Accre -ditation models in higher education: experiences and perspecti-ves, ENQA workshop reports 3. Helsinki: ENQA.
ENQA. (2008). Quality procedures in the European higher education area and beyond - second ENQA survey. Helsinki: ENQA. Dosegljivo na: http://www.enqa.eu/files/ENQA%20Occasio-nal%20papers%2014.pdf (19.5.2010).
Eurydice. (2004). Evaluation of schools providing compulsory edu-cation in Europe. Bruselj: Eurydice European unit.
Eurydice. (2007). Focus on the structure of higher education 2006/07. Bruselj: Eurydice European unit.
Faganel, A., Trunk Širca, N. & Dolinšek, S. (2005). Managing diversity and moving towards quality assurance in Slovenian higher education. Conference papers INQAAHE conference, 317-326. Wellington, 29.3. - 1.4.2005.
Green, D. (1994). What is quality in higher education? Buckingham in Bristol: SRHE in Open University Press.
Harvey, L. (2004). The power of accreditation: views of academics. Accreditation models in higher education. Uredili: Di Nauta, P., Omar, P. L., Schade, A. & Scheele J.P. Helsinki: European Network for Quality Assurance in Higher Education.
Hämäläinen, K., Haakstad, J., Kangasniemi, J., Lindeberg, T. & Sjölund, M. (2001). Quality assurance in the Nordic higher education. Helsinki: European Network for Quality Assurance in Higher Education.
Hofmann, S. (2005). 10 years on: Lessons learned from the insti-tutional evaluation programme. Bruselj: European University Association.
Hofmann, S. (2006). Mapping external quality assurance in Central and Eastern Europe. Helsinki: European Network for Quality Assurance in Higher Education.
Gola, M. M. (2004). Premises to accreditation: a minimum set of accreditation requirements. Accreditation models in higher edu cation. Uredili: Di Nauta, P., Omar, P. L., Schade, A. & Scheele J.P. Helsinki: European Network for Quality Assurance in Higher Education.
Jeliazkova, M. & Westerheijden, D. F. (2002). Systemic adaptation to a changing environment: Towards a next generation of quality assurance models. Higher education, 44 (3/4): 433-448.
Kump, S. (uredila). (1994). Kakovost visokega šolstva. Novosti CRU, 5-6. Ljubljana: Center za razvoj univerze.
Marolt, J. & Gomišček, B. (2005). Management kakovosti. Kranj: Moderna organizacija.
Orsingher, C. (uredila). (2006). Assessing quality in European higher education institutions; dissemination, methods and procedures. New York, Heidelberg: Physica-Verlag.
Pečar, Z., Gramc, B., Leben, A., Trunk Širca, N., Rodman, K., Koš-mrlj, K., Faganel, A., Brejc, M. & Širok, K. (2008). Razvoj sistema kakovosti v terciarnem izobraževanju: zaključno poro -čilo projekta v okviru ciljno-raziskovalnega programa »Konku-renčnost Slovenije 2006-2013«. Ljubljana: Fakulteta za upravo, Koper: Fakulteta za management.
Power, S. (2007). Policy synthesis of EU research results. EU Research in Social Science and Humanities. Brussels: European commission, Directorate General for Research.
Rodman, K., Faganel, A. & Trunk Širca, N. (2007). Premik v vzpostavljanju sistema zagotavljanja visokošolske kakovosti v letu 2006. Vodenje v vzgoji in izobraževanju 5 (2): 89-101.
Rodman, K. & Trunk Širca, N. (2008). On following the standards and guidelines for quality assurance in the European higher education area: a Slovenian case study. International Journal of Services and Standards, 4 (1): 54-69.
Ruben, B. D. (2004). Pursuing excellence in higher education: eight fundamental challenges. San Francisco: Wiley.
Scheele, K. (2004). Licence to kill: about accreditation issues and James Bond. Accreditation models in higher education. Uredili: Di Nauta, P., Omar, P. L., Schade, A. & Scheele J.P. Helsinki: European Network for Quality Assurance in Higher Education.
Scheerens, J. (2007). Toward a quality assessment and assurance system in Slovenian initial education (primary and lower secondary): philosophy and main components. Prispevek na delavnici Kakovost v izobraževanju: evalvacija, ocenjevanje in spremljanje. Portorož, 24.-25.11.2007.
Schwarz, S. & Westerheijden, D. F. (uredila). (2004). Accreditation and evaluation in the European higher education area. Dordrecht, Boston, London: Kluwer Academic Publishers.
Slovenski standard SIST EN ISO 9000. (2005). Ljubljana: Urad Republike Slovenije za standardizacijo in meroslovje.
Slovenski standard SIST ISO 9004. (2002). Ljubljana: Urad Republike Slovenije za standardizacijo in meroslovje.
Srikanthan, G. & Dalrymple, J. (2003). Developing alternative perspectives for quality in higher education. International Journal of Educational Management, 17 (3): 126-136.
Srikanthan, G. & Dalrymple, J. (2004). A synthesis of a quality management model for education in universities. International Jour nal of Educational Management, 18 (4): 266-279.
The Danish Evaluation Institute. (2003). Quality procedures in Euro -pean higher education. Helsinki: European Network for Quality Assurance in Higher Education.
Vossensteyn, H. (2007). Quality management: international experiences in teaching and research. Izročki iz STIK seminarja: Management in higher education. Univerza na Primorskem, Fakulteta za management Koper, Izola, 23.8.-1.9.2006.
Karmen Rodman je doktorirala na Univerzi na Primorskem, Fakulteti za management Koper. Osrednja tema doktorske disertacije sodi v področje managementa kakovosti visoko -šolskih zavodov. Njena raziskovalna področja so koncepti kakovosti, management kakovosti in instrumenti za zago -tavljanje kakovosti v visokem šolstvu ter trženjski vidiki zagotavljanja kakovosti. Sodelovala je v projektni skupini za razvoj modela zunanjih evalvacij in presojala proces prvih pilotnih zunanjih evalvacij v slovenskem visokem šolstvu.