117 VREDNOTENJE KAKOVOSTI ^L KOT PODPORA ODLOČANJU IN ^ VODENJU Vrednotenje izobraževalnih programov na podlagi ekspertnega sistema DEX in matrike portfelja UVOD Tema tega prispevka je teorija odločanja, kakršno zagovarjajo strokovnjaki Fakultete za organizacijske vede iz Kranja. Teorija poudarja ne le vrednotenje proizvodnih programov, temveč tudi razvojno-raziskovalne projekte in izobraževalne programe v okviru razvoja tržnega portfelja. Ker kakovost določenega proizvoda ali storitve vpliva na strategijo našega delovanja in s tem tudi na odločanje o smernicah delovanja v prihodnosti, je namen tega prispevka: • predstaviti že oblikovani model analize portfelja, ki je eno od orodij strateškega planiranja; matrika portfelja nam omogoča pregled razvoja programov institucije, njihovo razlago (zakaj je določen program slab, dober ali odličen) in njihove razvojne smernice: katere programe (tečaje, seminarje) naj institucija izboljša in kaj naj izboljša, katere programe naj pospešeno izvaja, katere pa opušča; • selektivna obravnava programov (tečaja ...), katere cilj je na podlagi ugotovljene kakovosti določiti poslovno strategijo za vsak program posebej in posredno za izobraževanje odraslih v instituciji kot celoti. VREDNOTENJE - KAJ VREDNOTIMO? Z analizo portfelja, ki temelji na ekspertnem sistemu DEX, na podlagi glavnih in podrejenih kriterijev, ki jih vnesemo v računalniški program DEX, vrednotimo tržno privlačnost in konkurenčno sposobnost (sliki). Tržna privlačnost programa in institucije Pri tem dobimo odgovor na vprašanje, kako privlačno je tržišče za posamezni program. S kriteriji, ki smo jih sami določili in vnesli v ekspertni sistem DEX, ocenjujemo konkurenco (storitve konkurentov in njihova cena) in trg (v ekspertni sistem vnesemo vrednosti za naš delež na trgu, velikost trga, zahtevnost trga). Enako ocenjujemo tržno privlačnost posameznega programa/tečaja. Ocenjujemo jo z vidika: - fleksibilnosti (vnesemo vrednosti po vnaprej postavljenih kriterijih za fleksibilnost z vidika vsebine, lokacije, termina); - ugleda programa (ocenjujemo in vnašamo vrednosti po vnaprej določenih kriterijih za primernost cene, glede na to, ali program zagotavlja certifikat/licenco, ocenjujemo mnenje strank - z anketami, vprašalniki...); - trženja (način trženja: pošta, javno, osebno). 118 Vsak program/tečaj v ekspertnem sistemu ocenimo z merskimi lestvicami. Selektivna razlaga posameznega programa/tečaja je končni izpis vrednosti oziroma kakovosti posameznega programa: na podlagi selektivne razlage uvrstimo ovrednoten program/tečaj v matriko portfelja, hkrati pa nam izpis DEX pokaže, kje so pomanjkljivosti programa z vidika tržne privlačnosti. Na podlagi rezultatov se lahko na primer odločimo za nov način oglaševanja ali pa se usmerimo v pridobitev referenčne listine za določen program ... Na podlagi izpisa DEX pa lahko sestavimo tim, ki se bo ukvarjal le z razvojem tržne privlačnosti. Konkurenčna sposobnost programa Pri tem dobimo odgovor na vprašanje, kako močna ali šibka je konkurenčna sposobnost posameznega programa, torej, kako kaže notranjo moč. Temeljne domene ocenjevanja z vnaprej določenimi kriteriji so: • program/tečaj - vrednotimo z vidika vsebine, organizacije, finančne uspešnosti; • kadri - vrednotimo: usposobljenost (strokovno, pedagoško-andragoška izobrazba, stopnja), dodatna znanja, število (vseh kadrov, lastnih kadrov); • pogoj - vrednotimo: dodatno ponudbo, gradivo (na primer primerno/neprimerno), oprema (računalniška, druga), prostore (kakovost, fleksibilnost). Selektivna razlaga programa/tečaja nam s sistemom DEX izpiše vrednosti posamezne domene in celotnega programa/tečaja. Na podlagi selektivne razlage uvrstimo ovrednoten program/tečaj v matriko portfelja, hkrati pa nam izpis sistema DEX pokaže prednosti oziroma pomanjkljivosti našega programa/tečaja z vidika konkurenčne sposobnosti. Na podlagi izpisa določamo, ali bomo v prihodnje (dolgoročno ali kratkoročno) vlagali v Vrednotenje izobraževalnih programov nam služi kot podpora odločanju. razvoj in dodatno usposabljanje kadrov ali morda za kakovostnejši program potrebujemo novo, sodobno gradivo, ali pa ugotovimo, da naši prostori niso primerni. Na osnovi položaja v matriki, v katero po končni oceni kakovosti uvrstimo program, in na osnovi drugih analiz (na primer analiza tipa kaj-če: na primer, kaj dosežemo, če izboljšamo oglaševanje ali zamenjamo predavatelja) in selektivne razlage skušamo poiskati izrazite prednosti in slabosti posameznih različic (na primer, kaj dosežemo, če zmanjšamo število udeležencev v skupini ali če ponudimo dodatno gradivo ...). Za vsak program lahko oblikujemo poslovno strategijo- Za najkakovostnejše programe - kvadrat vodilni - in tiste, ki bi to lahko postali - kvadrata intenziviranje in vodilnost - se oblikuje strategija rasti, ki vključuje intenzivnejša vlaganja v razvoj in trženje programa. Za slabše programe (v drugih kvadratih) skušamo oblikovati strategije za njihovo izboljšanje, če je to izvedljivo in smotrno, ali pa jih začnemo opuščati - Priloga 1. DEX - LUPINA EKSPERTNEGA SISTEMA Predstavljena analiza portfelja temelji na uporabi ekspertnega sistema, ki je preizkušen na izobraževalnih programih, ki potekajo (vir: diplomska naloga Tanje Ilievski). Ekspertni sistem DEX je nastal v sodelovanju Fakultete za organizacijske vede iz Kranja (avtor: dr. Vladislav Rajkovič) in Inštituta Jožefa Štefana (avtor: Marko Bohanec) - Priloga 2. V računalniški program DEX vnesemo kriterije, ki jih (glavni in podrejeni kriteriji) uporabimo za vrednotenje kateregakoli programa/ tečaja. Skratka, vsak program/tečaj v ekspertnem sistemu ocenimo z merskimi lestvicami. 119 Selektivna razlaga posameznega programa/tečaja (Priloga 3) pa je končni izpis vrednosti oziroma kakovosti posameznega programa. Na podlagi selektivne razlage uvrstimo ovrednoten program/tečaj v matriko port-felja. Koordinati matrike tržnega portfelja sta tržna privlačnost in konkurenčna sposobnost. Da bi dobili oceno posameznega programa v okviru teh dveh kazalcev in s tem njihovo pozicijo v matriki, za vsako koordinato razvijemo bazo znanja v programu DEX. To poteka v dveh fazah: 1. Določanje odločitvenih kriterijev (parametrov, atributov) za opis izobraževalnih programov Pri tej fazi je posebej pomembno, da ne spregledamo kriterijev, ki bistveno vplivajo na odločitev (načelo polnosti). Pri oblikovanju modela skušamo izpolniti nekatere druge zahteve, kot so strukturiranost, neredudant-nost in operativnost (merljivost) kriterijev. Pri tem moramo: • napraviti spisek kriterijev (navedene je možno še dopolniti), • strukturi rati kriterije - rezultat je drevo kriterijev, • napraviti merske lestvice = zaloga vrednosti/glej: domena. 2. Določanje funkcij koristnosti tako imenovanih odločitvenih pravil, ki določajo načine združevanja vrednosti kriterijev z nižjih ravni v vrednost njihovega nadrejenega kriterija (po principu kaj-če) Na podlagi navedenega bi se tako analizirani tečaj uvrstil v levi spodnji kvadrat matrike portfelja — institucija bi se odločila za prenehanje izvajanja tečaja oziroma njegovo opustitev. 120 SKLEPNE MISLI Analiza rezultatov ponazarja trenutno stanje vrednotenih programov. Poudarek je seveda na odpravljanju slabosti. Vsekakor pa to ni vse. Poskrbeti je treba tudi za to, da se prednosti oziroma boljše ocene ne poslabšajo. Skratka sistem omogoča evalvacijo: čez nekaj mesecev ali na začetku nove izobraževalne sezone analizo ponovimo, da ugotovimo, ali smo kaj izboljšali. Prestavljeni model se lahko uporablja tudi: • za ocenjevanje učiteljev, • za ugotavljanje primernosti projektov za razpis, • za ugotavljanje primernosti učnega gradiva in pripomočkov. PRILOGE Priloga 1 Tržna privlačnost in konkurenčna sposobnost Ekspertni program DEX z možnostjo instalacije najdete na spletnih straneh Fakultete za organizacijske vede Kranja: www.uni-mb.si/ new/fov LITERATURA M. Bohanec, V. Rajkovič, T. Rogelj: Teorija odločanja, elektronsko študijsko gradivo. T. Bandžova, M. Bohanec, V. Rajkovič: Organizacija (1995, št. 7, str. 427-438); Vež parametrski odločitveni modeli. M. Bohanec, V. Rajkovič: Modeliranje večkriterijskega odločanja: industrijske aplikacije DEX-a. M. Bohanec, V. Rajkovič, O. Šuštaršič, J. Šuštaršič: Kako storiti več za kakovost zdravstva in šolstva. Ekspertni sistem DEX: Fakulteta za organizacijske vede Kranj, Inštitut Jožef Štefan. O z O > tr CL < z ■NI tč co jt o n > M N "c podvajanje ali odpuščanje intenziviranje vodilnost nadaljevanje rast vodilnost postopno nadaljevanje opuščanje racionalizacija rast opuščanje postopno opuščanje finančni vir nizka zmerna Visoka KONKURENČNA SPOSOBNOST VSEBINH Ostali kvadrati: Poizkušamo izboljšati ali postopno opuščamo Vlaganje v razvoj »ZVEZDE« Vlaganje v razvoj SOLIDNI NEPRIMERNI IZVEDLJIVOST Priloga 2 Tabela 1: Shematično drevo kriterijev KONKURENČNE SPOSOBNOSTI KRITERIJ KONKURENČNA SPOSOBNOST TEČAJ FINANČNA USPEŠNOST VSEBINA STABILNOST ZAOKROŽTEČ CELOVJZVED OMEJITVE ŠTJJDELEŽENCEV PREDZNANJE KADRI ŠTEVILO VSEH LASTNIH usposobljenost STROKOVNA PEDAGOŠKA STOPNJA IZOBR. POGOJI PROSTORI KAKOVOST FLEKSIBIL OPREMA RAČUNAL. OPREMA OSTALA OPREMA gradivo DODAT. PON. OPIS Konk. sposobnost izobr. Programa Ocena teč. v širšem pomenu besede Finančna uspešnost programa Ustreznost vsebine Celovitost izvedbe oz. organiziranost Zaokroženost programa Celovitost izvedbe oz. originalnost Omejitve tečaja Število udeležencev Potreba po predznanju Kadri Število predavateljev Število vseh predavateljev Število lastnih predavateljev Usposobljenost predavateljev Strokovna usposobljenost kadrov Pedagoška usposobljenost kadrov Stopnja izobrazbe Pogoji za delo Prostori, kjer se izvajajo tečaji Kakovost prostorov Fleksibilnost prostorov Opremljenost prostorov Računalniška oprema Ostala oprema (tabla, grafoskop..) Gradivo Dodatna ponudba (bivanje, kava..) Tabela 2: Shematično drevo kriterijev TRŽNE PRIVLAČNOSTI KRITERIJ OPIS TRŽNA PRIVL. Privlačnost trga za izobr. Program TEČAJ Tečaj gledan skozi tržišče FLEKSIBIL Fleksibilnost, prilagodljivost tečaja VSEBINE Fleks.vsebine (prilagoditev stranki) TERMINA Fleks.termina (prllag.term.stranki) LOKACIJE Fleks.lokac. (prllag.lokac. stranki) INTERES Zanimanje po izobr. programu UGLED Ugled tečaja AVTORIZ Certifikati o avtorizaclji distribucije MNENJE STR Mnenje strank o kakovosti tečaja PRIMER_CENE Primernost cene TRŽENJE Trže nje izobraževalnih programov NAČINI Načini trženja PROSP POŠTA Uporaba prospektov in pošte OSEB STIKI Uporaba osebnih stikov OGLAŠEV Uporaba oglaševanja v medijih CELOVIT_PON Povezanost z ostalimi tečaji TRŽIŠČE Vpliv tržišča takšnega kot je KONKURENCA Razvitost konkurence na trgu PRISOTNOST Prisotnost konkurence na trgu CENA Cena konkurence TRG Zanimivost trga VELIKOST Velikost trga NAŠ DELEŽ Naš delež na trgu ZAHTEVNOST Zahtevnost trga DOMENA Nizka, srednja, visoka, zelo visoka Slab, dober, zelo dober, odličen Izguba,pok.stroš.,m_dobiček, v_dob. Neprimerna, primerna, zelo primerna Mala, srednja, velika Manjša, večja Slaba, dobra, odlična So zelo velike, so, jih ni Omejeno, neomejeno Je potrebno, ni potrebno Neprim., prim., z prim., odlični Nezadostno, zadostno, odlično Nezadostno, zadostno, odlično Nezadostno, zadostno, odlično Slaba, dobra, odlična Srednja, dobra, odlična Slabša, boljša visoka Neprim., prim., z prim., odlični Neustrezni, ustrezni, zelo ustrezni Nezadostna, dobra, odlična Slaba, dobra, odlična Slaba, dobra, odlična Slaba, dobra, odlična Slaba, dobra, odlična Slaba, dobra, odlična Slaba, dobra, odlična DOMENA Slaba, dobra, zelo dobra, odlična Slab, dober, zelo dober, odličen Slaba, dobra, odlična Slaba, dobra, odlična Slaba, dobra, odlična Slaba, dobra, odlična Majhen, srednji, velik Slab, dober, odličen Ne, da Slabo, dobro, odlično Neprimerna, primerna, zelo primer. Neprim., prim., z prim., odlični Neprimerni, primerni, zelo primerni Ni, v manjši meri, v večji meri Ni, v manjši meri, v večji meri Ni, mali, veliko Brez pov., manjša, el.celov.pon. Neprim., prim., z prim., odlični Zelo močna, močna, šibka Je prisotna, ni prisotna Nižja, enaka, višja Nezanimiv, zanimiv, zelo zanimiv Majhen, srednji, velik Slab, dober, odličen Velika, srednja, majhna Priloga 3 Tabela 3: Prednosti in slabosti T6 SELEKTIVNA RAZLAGA OPCIJE T6 PREDNOSTI Kriteriji Vrednosti VSEBINA zelo primerna STABILNOST velika ZAOKROŽ_TEČ večja OPREMA odlična RAČ_OPREMA odlična STROKOVNA odlična SLABOSTI Kriteriji ^ Vrednosti KONKURENČNA_SPOSOB nizka KADRI neprimer. ŠTEVILO nezadost. LASTNIH nezadost. OMEJITVE so zelo velike ŠT. UDELEŽENCEV omejeno PREDZNANJE je potrebno PEDAGOŠKA slabša