ERK'2019, Portorož, 331-334 331 Samoevalvacija študentov na pisnih izpitih pri predmetih s področja regulacijske tehnike David Nedeljković Univerza v Ljubljani, Fakulteta za elektrotehniko, Tržaška cesta 25, SI-1000 Ljubljana E-pošta: davidn@fe.uni-lj.si Self-evaluation of Students at Courses in the Field of Control Engineering Various forms of self-evaluation are important elements in quality assurance systems that are implemented in the field of education. At the university level it is expected, that the students could perform self-assessment of their learning outcomes objectively. However, Dunning-Kruger effect is frequently detected in self-assessment, when candidates evaluate their abilities as greater than they are, but on the other hand, candidates with factually superior abilities underestimate themselves. At University of Ljubljana, Faculty of Electrical Engineering, two first-cycle (bachelor) study programs in the field of electrical engineering were introduced with the Bologna process in 2009/2010: academic and professional. Both programs comprise the Power Engineering option, where students attend compulsory courses Control Engineering (CE) on academic level or Fundamentals of Control Engineering (FCE) on professional level. The assessment at both courses is in the form of written and oral exam, and a simple self-assessment of written exam has been introduced: before the beginning of the written exam, the students were asked to make a forecast of their result; after the completion of the written exam, they were asked to forecast their result again, now according to their experience. The survey takes into account 538 individual written exams at course CE and 562 ones at course FCE, all from study years 2011/2012 to 2018/2019. At course CE, the average students' forecast prior to the exam was 73.63% and the average self-assessment after the exam was 73.04%, both well matched by students' average actual written exam result at 71.56%. Figures for course FCE are much more different: the average forecast prior to the exam was 65.98%; the average self-assessment after the exam slipped to 59.21% and student's average actual result lowered to 55.69%. Detailed analysis confirms Dunning-Kruger effect, which is more pronounced at course FCE (professional level). 1 Uvod Različne oblike samoevalvacij so pomemben element v sistemih zagotavljanja kakovosti, ki se uveljavljajo na področju izobraževanja [1]. Ena izmed možnosti je tudi samoocenjevanje kandidatov na preizkusih znanja, pri čemer pričakujemo, da bodo študenti na terciarnem nivoju izobraževanja zaradi ustrezne predhodne usposobljenosti znali svoje učne izide objektivno ovrednotiti [2, 3]. Ob tovrstnem samoocenjevanju pa pogosto zaznamo t. i. Dunning-Krugerjev učinek [4], ko študenti, ki sicer dosežejo nadpovprečne rezultate, sami sebe ocenijo nižje, kot so ocenjeni s strani ocenjevalca; podobno pa študenti, ki jih ocenjevalci ocenijo kot podpovprečne, sami sebi prisodijo višjo oceno. Ta učinek je izrazit celo pri študentih, ki se usposabljajo za pedagoške poklice [5]. Na Fakulteti za elektrotehniko Univerze v Ljubljani po bolonjski prenovi [6, 7] od študijskega leta 2009/2010 dalje izvajamo dva triletna dodiplomska študijska programa 1. stopnje s področja elektrotehnike: univerzitetni program Elektrotehnika (BUN-E) in visokošolski strokovni program Aplikativna elektrotehnika (BVS-AE). Študenti univerzitetnega programa ob vpisu v 3. letnik izberejo eno izmed štirih smeri, med katerimi je tudi smer Energetika in mehatronika (EM). Na tej smeri poslušajo predmet Regulacijska tehnika (RT), kjer se pripravijo na delo tako z linearnimi kot tudi nelinearnimi regulacijskimi sistemi s področja močnostne elektrotehnike. Izpit pri tem predmetu je pisni in ustni, pri čemer imajo študenti možnost opravljanja pisnega dela izpita z dvema kolokvijema. Na visokošolskem strokovnem programu pa študenti že ob vpisu v 2. letnik izberejo eno izmed petih smeri; med njimi je tudi smer Energetska tehnika in avtomatizacija postrojev (ETAP). Tu se v 2. letniku vključijo v obvezni predmet Osnove regulacijske tehnike (ORT), pri katerem usvojijo temeljna znanja iz regulacij s področja močnostne elektrotehnike. Tudi pri tem predmetu je preverjanje znanja v obliki pisnega in ustnega izpita, z možnostjo opravljanja pisnega dela izpita z dvema kolokvijema. Že pred uvedbo prenovljenih programov smo pri predmetih s področja regulacijske tehnike vpeljali samoevalvacijski mehanizem za študente, ki so napovedovali svoje dosežke na pisnih preverjanjih znanja [8]. V nadaljevanju bodo predstavljeni rezultati raziskave samoocenjevanja študentov pri predmetih s tega področja za celotno obdobje po bolonjski prenovi študijskih programov. 2 Samoevalvacija študentov kot napovedovanje rezultatov pisnih izpitov Študente smo pred začetkom pisnega dela izpita ali kolokvija, torej preden so se seznanili z izpitnimi vprašanji in nalogami, zaprosili za enominutni razmislek, po katerem so napovedali, kakšen rezultat pisnega izpita pričakujejo glede na svojo pripravljenost. Študenti so svojo napoved podali zaokroženo na 5 odstotnih točk. 332 Po zaključku pisnega dela izpita ali kolokvija smo študente še enkrat prosili za enominutni razmislek, po katerem so ponovno napovedali svoj rezultat. To, drugo napoved so seveda podali na podlagi svojih konkretnih izkušenj pri reševanju nalog in odgovarjanju na vprašanja pisnega dela izpita ali kolokvija. Tudi tokrat je bila napoved rezultata zaokrožena na 5 odstotnih točk. Zaradi omejenih časovnih okvirov po uvedbi prenovljenih študijskih programov žal nismo utegnili nadaljevati s prakso, po kateri so študenti na ogledu svojih pisnih izdelkov prejeli kopije svojih (rešenih) izpitnih pol in točkovalnik s pravilnimi odgovori oz. rešitvami, na podlagi katerega so morali še sami oceniti svoj pisni izpit. Vseeno pa smo vse študente povabili na ogled pisnih izpitov, kjer jim je bil izročen tudi točkovalnik, tako da so lahko temeljito preverili, kako so bila njihova opravila na pisnem delu izpita vrednotena; v primeru kakršnih koli odstopanj ali nejasnosti smo morebitne ugotovljene napake pri ocenjevanju pisnih izpitov seveda popravili. 3 Rezultati V raziskavo smo vključili vse izpitne roke in kolokvije po prenovi študijskih programov, od 1. kolokvija pri predmetu Regulacijska tehnika v študijskem letu 2011/2012 z dne 30.11.2011, do izpitnega roka pri predmetu Osnove regulacijske tehnike z dne 26.06.2019. Številne izjeme, ki bi lahko popačile celotno sliko, so iz analize izvzete – npr. študenti, ki se kljub prijavi izpita niso udeležili, a so bili zato ocenjeni z 0 %. Pri predmetu Regulacijska tehnika je bilo obravnavanih 538 izpitov ali kolokvijev v osmih študijskih letih na skupaj 43 izpitnih ali kolokvijskih rokih. Od tega je skupaj 16 kolokvijskih rokov: po 8 v posameznem študijskem letu za 1. kolokvij (skupaj 232 prvih kolokvijev) in 2. kolokvij (skupaj 207 drugih kolokvijev) ter 27 rednih izpitnih rokov (skupaj 99 izpitov). Iz teh številk je razvidno, da je večina študentov (od skupaj 258 prvovpisanih na ta predmet v obravnavanih letih) pristopila k opravljanju izpita s kolokviji. Povprečna udeležba študentov na rednih izpitnih rokih je namreč manj kot 4, na 2. kolokviju, kjer je pogoj za udeležbo uspešno opravljen 1. kolokvij, pa je v povprečju sodelovalo več kot 25 kandidatov. Povprečna prehodnost s 1. na 2. kolokvij je bila 89,22 %. Za predmet Osnove regulacijske tehnike smo obravnavali 562 izpitov ali kolokvijev iz osmih študijskih let. Skupno število prvovpisanih študentov pri tem predmetu v zajetih letih je bilo 242. Skupno število izpitnih ali kolokvijskih rokov je bilo enako kot pri predmetu Regulacijska tehnika (43, od tega 16 kolokvijskih rokov in 27 rednih izpitnih rokov), pri čemer je bilo upoštevanih skupaj 180 prvih kolokvijev in 126 drugih kolokvijev ter 256 pisnih izpitov. Hitro razberemo, da je pri tem predmetu prehodnost s 1. na 2. kolokvij 70,00 %, kar je precej manj kot pri predmetu Regulacijska tehnika. Zato je tudi povprečna udeležba na 2. kolokviju manj kot 16 kandidatov, povprečna udeležba na rednem izpitnem roku pa več kot 9. V tabeli 1 so za izpite in kolokvije pri predmetu Regulacijska tehnika prikazani povprečni doseženi rezultat, povprečna napoved pred pisanjem in povprečna napoved po pisanju, skupaj s standardnimi odkloni. Za predmet Osnove regulacijske tehnike pa so relevantni podatki prikazani v tabeli 2. Tabela 1. Napovedi in rezultati pisnih izpitov in kolokvijev pri predmetu Regulacijska tehnika Število Povprečje (%) STD Doseženi rezultat A 538 71,56 20,64 Napoved pred pisanjem B 538 73,63 11,13 Napoved po pisanju C 538 73,04 17,13 Razlika napovedi pred B–A 538 2,07 17,93 Razlika napovedi po C–A 538 1,48 15,62 Tabela 2. Napovedi in rezultati pisnih izpitov in kolokvijev pri predmetu Osnove regulacijske tehnike Število Povprečje (%) STD Doseženi rezultat A 562 55,69 25,45 Napoved pred pisanjem B 562 65,98 12,52 Napoved po pisanju C 562 59,21 19,30 Razlika napovedi pred B–A 562 10,29 23,69 Razlika napovedi po C–A 562 3,52 16,87 Na sliki 1 sta podana histograma za predmeta Regulacijska tehnika (a) in Osnove regulacijske tehnike (b). Histograma prikazujeta deleže študentov, ki so napovedali določen rezultat pred pisanjem in po pisanju, in deleže študentov, ki so takšen rezultat pisnega izpita ali kolokvija dosegli. Očitne so višje frekvence pri tistih napovedih rezultatov, ki so mnogokratnik 10 %, od frekvenc za vmesne rezultate (razredi na 5 %). Izjema je pri predmetu Osnove regulacijske tehnike, kjer je napoved 75 % tudi pogosta. Zato razmišljamo, da bi v prihodnje napovedi podajali zaokroženo na 10 odstotnih točk. V nadaljevanju je za predmet Regulacijska tehnika predstavljena odvisnost doseženih rezultatov od napovedi pred pisanjem (slika 2 a) in od napovedi po pisanju (slika 3 a). Podobna predstavitev za predmet Osnove regulacijske tehnike je na slikah 2 b in 3 b. 333 a) Regulacijska tehnika b) Osnove regulacijske tehnike Slika 1. Deleža napovedanih rezultatov pisnih izpitov in kolokvijev pred pisanjem in po pisanju ter delež konkretno doseženih rezultatov pri predmetih Regulacijska tehnika in Osnove regulacijske tehnike a) Regulacijska tehnika b) Osnove regulacijske tehnike Slika 2. Doseženi rezultati pisnih izpitov in kolokvijev v odvisnosti od napovedi pred pisanjem pri predmetih Regulacijska tehnika in Osnove regulacijske tehnike Doseženo povprečje pri predmetu Regulacijska tehnika je občutno višje kot pri predmetu Osnove regulacijske tehnike; odstopanje obeh napovedi od doseženega rezultata pa je pri predmetu univerzitetnega študijskega programa RT v primerjavi z ORT bistveno manjše. Za oba predmeta je, skladno s [4], značilno, da so se kandidati, ki so dosegli visok rezultat (več kot 90 %), pri obeh napovedih podcenili, s tem da so ti kandidati pri Regulacijski tehniki napoved po pisanju znatno povišali in se z njo bolj približali svojemu dejanskemu dosežku. Pri nižjih doseženih rezultatih (manj kot 60 %) pa opažamo, da so pričakovanja kandidatov pred in tudi po pisanju bila znatno višja od dosežkov. Še posebej je to izrazito pri predmetu Osnove regulacijske tehnike, kjer je delež kandidatov, ki so se na izpit pomanjkljivo pripravili (dosežek pod 50 %) kar 41,64 %. K temu znatno pripomore udeležba (in predvsem poskušanje) povsem nepripravljenih kandidatov na 1. kolokviju, kajti takšen poskus ne šteje v omejeno število opravljanj izpita pri posameznem predmetu. Pri predmetu Osnove regulacijske tehnike je pred pisanjem svoje znanje ocenilo negativno 0% 5% 10% 15% 20% 25% 30% De le ž Rezultat (%) Napoved pred pisanjem (%) Napoved po pisanju (%) Doseženi rezulat (%) 0% 5% 10% 15% 20% 25% 30% De le ž Rezultat (%) Napoved pred pisanjem (%) Napoved po pisanju (%) Doseženi rezulat (%) 0 10 20 30 40 50 60 70 80 90 100 0 10 20 30 40 50 60 70 80 90 100 Napoved pred pisanjem (%) Doseženi rezulat (%) Linear (Doseženi rezulat (%)) 0 10 20 30 40 50 60 70 80 90 100 0 10 20 30 40 50 60 70 80 90 100 Napoved pred pisanjem (%) Doseženi rezulat (%) Linear (Doseženi rezulat (%)) 334 (napovedanih manj kot 50 %) 10 kandidatov, od tega kar 6 kandidatov z 0 %. Za primerjavo navedimo, da je delež kandidatov z dosežkom pod 50 % pri predmetu Regulacijska tehnika samo 15,43 %, pri čemer je pred pisanjem svoje znanje negativno (manj kot 50 %) ocenilo 5 kandidatov – nihče med njimi pa ni napovedal skrajnih 0 %. 4 Sklepne ugotovitve Predstavljeni rezultati samoevalvacije pri pisnih preverjanjih znanja za predmeta Regulacijska tehnika (na programu BUN-E) in Osnove regulacijske tehnike (program BVS-AE) kažejo, da pričakovanja študentov visokošolskega programa (zlasti pred seznanitvijo z izpitnimi vprašanji) v povprečju bistveno presegajo njihove dejansko dosežene rezultate. Povprečna pričakovanja študentov na univerzitetnem programu so zelo blizu njihovim dejanskim dosežkom. Za oba predmeta pa se potrjuje Dunning-Krugerjev učinek, ki smo ga zaznali že pri poskusnem samoocenjevanju študentov na študijskih programih pred bolonjsko reformo. Študenti z realno boljšimi dosežki namreč izkazujejo višjo kritičnost do svojega znanja in večinoma podajajo nižjo lastno oceno, študenti s podpovprečnimi dosežki pa se, tudi v luči doseganja pozitivne ocene, sami ocenjujejo precej bolje. a) Regulacijska tehnika b) Osnove regulacijske tehnike Slika 3. Doseženi rezultati pisnih izpitov in kolokvijev v odvisnosti od napovedi po pisanju pri predmetih Regulacijska tehnika in Osnove regulacijske tehnike Literatura [1] V. Podgornik, J. Mažgon: Self-Evaluation as a Factor of Quality Assurance in Education, Review of European studies. ISSN 1918-7181. - Vol. 7, no. 7 (2015), str. 407- 415. [2] D. Rus Kolar: Students' self-evaluation in the context of practical pedagogical training, People: international journal of social sciences. ISSN 2454-5899. - Vol. 4, iss. 1 (2018), str. 700-715. [3] S. Kalender Smajlović, M. Smodiš: Razlike med ocenjevanjem in samoocenjevanjem kliničnega usposabljanja s strani kliničnih mentorjev in študentov Fakultete za zdravstvo Angele Boškin, Obzornik zdravstvene nege : strokovno glasilo Zveze društev medicinskih sester in zdravstvenih tehnikov Slovenije = journal of the Nurses Association of Slovenia. ISSN 1318-2951. - Letn. 53, št. 2 (2019), str. 128-136. [4] J. Kruger, D. Dunning: Unskilled and Unaware of It: How Difficulties in Recognizing One's Own Incompetence Lead to Inflated Self-Assessments, Journal of Personality and Social Psychology,1999, Vol. 77, No. 6, str. 1121-1134. [5] M. Podgoršek, A. Lipovec: Vpliv Dunning-Krugerjevega učinka pri študentovem samoocenjevanju, Novodobni izzivi družbe: znanstvena monografija, Rakičan : RIS Dvorec, 2016, str. 145-154. [6] Bolonjska deklaracija, Bolonja, 19.06.1999, http://www.arhiv.mvzt.gov.si/fileadmin/mvzt.gov.si/page uploads/doc/dokumenti_visokosolstvo/Bolonjski_proces/ Bolonjska_deklaracija_slo.pdf, dostopno 15.07.2019. [7] Zakon o visokem šolstvu (uradno prečiščeno besedilo) /ZViS-UPB2/ Ur.l. RS, št. 100/2004. [8] D. Nedeljković: Napovedani in doseženi rezultati pisnih izpitov pri predmetih s področja regulacij, Zbornik dvajsete mednarodne Elektrotehniške in računalniške konference ERK 2011, 19.-21. september 2011, Portorož, Slovenija. - Zv. B, str. 429-432. 0 10 20 30 40 50 60 70 80 90 100 0 10 20 30 40 50 60 70 80 90 100 Napoved po pisanju (%) Doseženi rezulat (%) Linear (Doseženi rezulat (%)) 0 10 20 30 40 50 60 70 80 90 100 0 10 20 30 40 50 60 70 80 90 100 Napoved po pisanju (%) Doseženi rezulat (%) Linear (Doseženi rezulat (%))