Tina Pogorelčnik in Eva Boštjančič Sprejemanje rezultatov študentskih anket o pedagoškem delu med visokošolskimi učitelji in njihov odziv nanje Povzetek: Na Univerzi v Ljubljani se vsak semester izvaja študentska evalvacijska anketa, ki je name- njena spremljanju mnenja študentov o posameznih predmetih in pedagoškem delu visokošolskih učite- ljev ter visokošolskih sodelavcev. Cilj raziskave je bil analizirati, kako visokošolski učitelji in sodelavci sprejemajo to povratno informacijo in kako se odzivajo nanjo. Na anketni vprašalnik je odgovorilo 244 visokošolskih učiteljev in sodelavcev, od katerih jih 15 povratnih informacij študentov ne bere, zato je končni vzorec zajemal 229 oseb. Udeleženci imajo do povratnih informacij na splošno pozitiven odnos, manj enotni pa so pri strinjanju o tem, ali bi morale imeti poglavitno vlogo pri odločitvah o napredova- nju. Negativne povratne informacije jih sicer motivirajo, da izboljšajo svoje pedagoško delo, pozitivne pa v njih vzbudijo občutke samozavesti. Večini dajo ideje, kako spremeniti svoj način poučevanja, ter jih k spremembi tudi spodbudijo. Statistično pomembne razlike so se pokazale med asistenti v primerjavi z docenti, izrednimi in rednimi profesorji pri občutenju samozavesti ob prejemu pozitivnih povratnih informacij ter občutenju dvoma o lastnih sposobnostih kot visokošolski učitelj ob prejemu negativnih povratnih informacij. Ugotovitve lahko služijo organom univerz pri razumevanju odzivanja visoko- šolskih učiteljev ter kot smernice pri oblikovanju strategij za ravnanje s povratnimi informacijami o pedagoškem delu. Ključne besede: študentske evalvacije poučevanja, povratne informacije, visokošolski učitelji, peda- goško delo, Univerza v Ljubljani UDK: 378 Znanstveni prispevek Tina Pogorelčnik, mag. psih., Univerza v Ljubljani, Filozofska fakulteta, Oddelek za psihologijo, Aškerčeva 2, SI-1000 Ljubljana, Slovenija; e-naslov: pogorelcnik.t@gmail.com Dr. Eva Boštjančič, redna profesorica, Filozofska fakulteta, Oddelek za psihologijo, Aškerčeva 2, SI-1000 Ljubljana, Slovenija; e-naslov: eva.bostjancic@ff.uni-lj.si Let./Vol. 74 (140) Številka 3/2023 Str. 51-70 ISSN 0038 0474 Pogorelčnik, Boštjančič 52 Sodobna pedagogika/Journal of Contemporary Educational Studies Uvod Povratna informacija omogoča razvoj strokovnih kompetenc in pripomore k razmišljanju o diskrepanci med trenutnim in želenim stanjem pri opravljanju neke naloge, kar ponuja tudi možnost napredka (Hardavella idr. 2017, str. 328). Uporabljamo jo za izboljšanje kakovosti poučevanja posameznih deležnikov, za odločitve o napredovanju in kot dokazovanje institucionalnih odgovornosti, kamor sodi zagotavljanje ustrezne kakovosti poučevanja (Kember idr. 2002, str. 419). Izraz študentske evalvacije poučevanja (angl. student evaluation of teaching) označuje evalvacijo študentov o učiteljih in učinkovitosti njihovega poučevanja, navezuje pa se tudi na oceno poučevanja učiteljev (Harvey 2011, str. 4). Formalne študentske evalvacije poučevanja prinašajo podatke o ravni zadovoljstva študen- tov in o tem, ali kakovost poučevanja ustreza zahtevam visokega šolstva, vendar pa postanejo učinkovito sredstvo šele, ko deležniki pripravijo ustrezen akcijski načrt, kako ravnati skladno s povratnimi informacijami, ki so jih prejeli (Harvey 2011, str. 6). Povratne informacije, pridobljene v obliki študentskih evalvacijskih anket, učiteljem s formativne perspektive zagotovijo informacije za izboljšanje pedago- škega dela, kar zajema informativne nasvete z možnimi strategijami za načrtova- nje in implementacijo izboljšav svojega dela (Marsh 1984, str. 707). Na Finskem študentske evalvacijske ankete uporabljajo izključno za tovrstne namene. Vsak učitelj ima možnost upoštevati in uporabiti povratne informacije študentov po lastni presoji in interesu (Lutovac idr. 2016, str. 239). S sumativne perspektive so uporabne za merjenje, spremljanje in vzdrževanje kakovosti poučevanja na univerzah na globalni ravni (prav tam, str. 707). A pogosta so tudi nestrinjanja glede njihovega namena (Penny 2003, str. 399), kadar so upoštevane pri odločanju o napredovanju in habilitacijah visokošolskih učiteljev (Marsh 1984, str. 708). Ena izmed najpogostejših skrbi kritikov je dvom o zanesljivosti in veljavnosti študent- skih mnenj oziroma o tem, koliko so študenti sposobni podati primerne evalvacije pedagoškega dela. Skrbi se nanašajo predvsem na razlike med študenti in učitelji v dojemanju kakovostnega poučevanja ter na povezanost teh zaznav z dejavniki, ki niso povezani z dobrim poučevanjem (Penny 2003, str. 401). Pogosto se kritike Pogorelčnik, Boštjančič 53 študentskih evalvacijskih anket nanašajo tudi na same evalvacijske pripomočke, saj številni nimajo preverjenih psihometričnih značilnosti (Richardson 2005, str. 395). Tudi interpretacija povratnih informacij je lahko zahtevna in dopušča možnost neprimernega ravnanja na njihovi podlagi, tako v formativne kot tudi v sumativne namene (Franklin 2001, str. 92). Standardi in smernice za zagotavljanje kakovosti v Evropskem visokošolskem prostoru (ESG) določajo okvir za notranje in zunanje zagotavljanje kakovosti. V okviru notranjega zagotavljanja kakovosti so institucije dolžne spremljati in redno preučevati svoje programe, da bi zagotovile doseganje zanje določenih ciljev ter se odzivale na potrebe študentov in družbe. Ti pregledi bi morali voditi k stalne- mu izboljševanju programa. V revidiranje programov morajo biti vključeni tudi študenti, zajemajo pa na primer ocenjevanje pričakovanj, potreb in zadovoljstva študentov glede na program. Te informacije lahko univerze pridobijo s študentski- mi evalvacijskimi anketami (Standardi in smernice za zagotavljanje kakovosti v Evropskem visokošolskem prostoru 2015). Na Univerzi v Ljubljani se za spremljanje zadovoljstva izvaja študentska evalvacijska anketa, namenjena spremljanju mnenja študentov o posameznih predmetih in pedagoškem delu visokošolskih učiteljev ter visokošolskih sodelavcev, saj tako določa Zakon o visokem šolstvu (Kakovost UL b.d.). Študentske evalva- cijske ankete na Univerzi v Ljubljani zajemajo ocenjevanje predmetov, pedagogov in splošnih pogojev študija. V anketi na 1. in 2. stopnji študija študenti izražajo svoje mnenje o posameznih predmetih in pedagoškem delu visokošolskih učiteljev ter visokošolskih sodelavcev, o splošnih vidikih študijskega procesa ter o obvezni študijski praksi, če se ta izvaja. V anketi na 3. stopnji študija pa študenti ocenjujejo splošne vidike študija, posamezne temeljne predmete, mentorstvo, raziskovanje v okviru študija in strokovno pomoč. Ocenjevanje poteka v elektronski obliki prek spletnega informacijskega sistema ali v papirni obliki (Pravilnik o študentski anketi na Univerzi v Ljubljani 2014). Rezultati teh anket so za pedagoško osebje dragocen vir informacij, ki omogočajo refleksijo lastnega dela in iskanje področij za izboljšave. Vprašanje dostopa do teh podatkov je ključnega pomena. Pogosto so rezultati dostopni tako učitelju kot tudi vodstvenim in administrativnim strukturam fakultete ali univerze. Komunikacija teh rezultatov je formalna, na primer v obliki individualnega poročila, ki vključuje tudi primerjavo z drugimi predmeti, drugimi izvajalci in preteklimi leti. Za izboljšave se lahko uporabljajo na več načinov. Medtem ko je nekaterim učiteljem prepuščeno, da samostojno določijo potrebne spremembe, lahko fakultete ali univerza opredelijo smernice ali ponudijo podporne programe za pedagoški razvoj. Prakse se razlikujejo od fakul- tete do fakultete, pri čemer so nekateri pristopi obvezni, drugi pa priporočeni. Na podlagi rezultatov ankete lahko organi članice in posamezni izvajalci izboljšujejo študijske programe, predmetnike, načine izvedbe pedagoškega dela (Študentske ankete b.d.). Rezultati ankete o izvajalcih se uporabijo tudi kot podlaga za izdelavo mnenja študentskega sveta o pedagoškem delu izvajalca (prav tam). Povratna informacija o opravljenem delu je pomembna za razvoj vseh zaposle- nih, zato smo v pričujoči raziskavi analizirali, kako visokošolski učitelji sprejemajo povratno informacijo o pedagoškem delu in se odzivajo nanjo, kakšne vedenjske Sprejemanje rezultatov študentskih anket o pedagoškem delu med visokošolskimi ... 54 Sodobna pedagogika/Journal of Contemporary Educational Studies spremembe naredijo na njihovi podlagi in katere strategije bi jim pri ravnanju z njimi najbolj koristile. S tem želimo prispevati k razumevanju področja, ki v slovenskem okolju še ni dovolj raziskano. Doživljanje visokošolskih učiteljev ob povratni informaciji študentov Večina visokošolskih učiteljev na kognitivni ravni dojema povratno informa- cijo študentov kot dvosmeren proces, kjer pridobijo informacije, ali so študenti pridobili pričakovana znanja, ter kot vir informacij za izboljšanje svojega pedago- škega dela, kot vir koristnih informacij za izboljšanje procesa poučevanja (Chan idr. 2014, str. 282; Lutovac idr. 2016, str. 246) in kot proces zagotavljanja kakovosti (Wong in Moni 2014, str. 405) in občutka lastne kompetentnosti (Lutovac idr. 2016, str. 246). Pogosto jih spodbudijo k razmisleku o njihovem slogu poučevanja, številni pedagogi pa navajajo, da študentske povratne informacije obravnavajo resneje, če na ankete odgovori večje število študentov (Wong in Moni 2014, str. 406). Povratna informacija vpliva tudi na motivacijo učiteljev. Demotivirane za na- daljnje delo se počutijo predvsem, kadar se povratna informacija nanaša na vidike, na katere sami nimajo vpliva oziroma jih ne morejo zlahka spremeniti, kot na primer opazke, vezane na njihove osebnostne lastnost, ali pričakovanja študentov, ki jih težko izpolnijo (Arthur 2009, str. 449). Večina učiteljev izraža nestrinjanje z uporabo povratne informacije študentov kot edinega merila pri odločitvah o napredovanju (Chan idr. 2014, str. 285). Doživljanje povratne informacije študentov na čustveni ravni je precej neraz- iskano področje (Stein idr. 2012, str. iii). Učitelji pozitivno povratno informacijo doživljajo kot potrditev, da svoje delo opravljajo dobro, kar jim dvigne moralo, vpliva na njihovo zadovoljstvo ter tudi na njihovo poklicno in osebno identiteto (Arthur 2009, str. 448). Ob negativni povratni informaciji pa doživljajo občutke sramu, razočaranja in bolečine, pogosto dvomijo o smislu svojega dela. Pedagoški delavci na začetku svoje kariere doživljajo močnejši čustveni odziv na negativne povratne informacije kot učitelji z dolgoletno kariero, čeprav so tudi oni doživljali občutke bolečine in nehvaležnosti. 40 % učiteljev na podlagi povratnih informacij pogosto razmišlja o spremembi svojega poučevanja (Hendry idr. 2007, str. 148), medtem ko nekaj več kot 40 % uči- teljev to spremembo tudi naredi. Pogosto so spremenili učna gradiva, predavano snov poglobili oziroma predavali o več podrobnostih, skozi aktivnosti spodbujali kompetence študentov na različnih nivojih in implementirali različne načine ocenjevanja (Arthur 2009, str. 449). Nekateri učitelji menijo, da povratne infor- macije študentov nasprotujejo splošno znanim dejstvom in da študenti prosijo za neutemeljene spremembe, saj ne vedo, kaj je za njih dolgoročno koristno (Arthur 2009, str. 450). Pogorelčnik, Boštjančič 55 Strategije, kako ravnati s povratno informacijo študentov Številni pedagoški delavci menijo, da ni zadostne podpore ustanove, v kateri delajo, da bi lahko povratno informacijo ustrezno uporabili (Wong in Moni 2014, str. 406). Kot manj učinkovito strategijo za ravnanje s povratnimi informacijami doživljajo pogovor o prejeti evalvaciji z usposobljenim kolegom, medtem ko kot učinkovite doživljajo prejemanje nasvetov o kakovostnem poučevanju od usposo- bljenega kolega; pogovor z usposobljenim kolegom o tem, kaj pomeni kakovostno poučevanje; da ga usposobljeni kolega opazuje pri poučevanju. Kot najbolj učin- kovito strategijo pa doživljajo opazovanje poučevanja učitelja, ki konsistentno prejema pozitivne povratne informacije (Hendry idr. 2007, str. 150). Pedagoški delavci potrebujejo podporo predvsem ob prejemu negativnih po- vratnih informacij, saj s tem zmanjšamo verjetnost, da se bodo počutili ogrožene s strani univerze (Wong in Moni 2014, str. 406).Vendar zgolj ponujanje podpore pri ravnanju s povratnimi informacijami ne bo spodbudilo učiteljev, da povratne in- formacije uporabijo za izboljšanje svojega poučevanja, če niso za to tudi motivirani (Smith 2008, str. 527). Raziskovalni problem Splošne izzive, povezane s študentskimi evalvacijskimi anketami Univerze v Ljubljani, je analiziral Vehovar (Vehovar 2021, str. 2), percepcijo anket pri štu- dentih in njihov odnos do sodelovanja pa so raziskovali Rizvić in sodelavci (Rizvić idr. 2021, str. 18). Ker analize zaznav pri visokošolskih učiteljih in sodelavcih v slovenskem okolju še ni bilo, smo si zastavili naslednja raziskovalna vprašanja: – Kako pogosto visokošolski učitelji in sodelavci berejo povratne informacije o pedagoškem delu, ki jih dajo študenti? – Kako visokošolski učitelji in sodelavci študentske povratne informacije o pedagoškem delu doživljajo na kognitivni in čustveni ravni? – Kakšne vedenjske spremembe naredijo visokošolski učitelji in sodelavci na podlagi povratnih informacij o pedagoškem delu? – Katere strategije pri ravnanju s povratnimi informacijami študentov o peda- goškem delu bi visokošolskim učiteljem in sodelavcem najbolj koristile? – Ali se odzivanje asistentov na povratno informacijo razlikuje od odziva viso- košolskih učiteljev? Metoda Udeleženci Na Univerzi v Ljubljani je bilo leta 2022 zaposlenih 6661 ljudi, 3032 moških in 3633 žensk, od tega 43,8 % visokošolskih učiteljev in visokošolskih sodelavcev (Letno poročilo 2022, 2023, str. 76). V raziskavi je sodelovalo 244 visokošolskih Sprejemanje rezultatov študentskih anket o pedagoškem delu med visokošolskimi ... 56 Sodobna pedagogika/Journal of Contemporary Educational Studies učiteljev in sodelavcev, ki so zaposleni na Univerzi v Ljubljani, od tega je 119 (48,8 %) žensk, 121 (49,6 %) moških ter 4 (1,6 %) osebe, ki se niso opredelile. Njihova povprečna starost je bila 45,3 leta (SD = 10,1). V preglednici 1 so predstavljeni udeleženci glede na fakulteto, na kateri po- učujejo, v preglednici 2 pa glede na habilitacijski naziv (Merila za volitve v nazive visokošolskih učiteljev, znanstvenih delavcev ter sodelavcev Univerze v Ljubljani 2016, str. 3). Največ udeležencev dela na filozofski in biotehniški fakulteti, najpo- gostejša naziva na habilitacijskem področju med sodelujočimi pa sta bila asistent in redni profesor. Fakulteta N % Filozofska fakulteta 45 18,1 Biotehniška fakulteta 31 12,5 Fakulteta za elektrotehniko 21 8,5 Fakulteta za matematiko in fiziko 20 8,1 Fakulteta za kemijo in kemijsko tehnologijo 17 6,9 Ekonomska fakulteta 14 5,6 Fakulteta za farmacijo 14 5,6 Naravoslovnotehniška fakulteta 14 5,6 Fakulteta za družbene vede 13 5,2 Akademija za glasbo 10 4,1 Fakulteta za šport 9 3,6 Fakulteta za upravo 7 2,8 Fakulteta za arhitekturo 4 1,6 Fakulteta za pomorstvo in promet 4 1,6 Pravna fakulteta 4 1,6 Akademija za gledališče, film, radio in televizijo 3 1,2 Zdravstvena fakulteta 3 1,2 Fakulteta za računalništvo in informatiko 2 0,8 Fakulteta za socialno delo 2 0,8 Fakulteta za strojništvo 1 0,4 Medicinska fakulteta 1 0,4 Pedagoška fakulteta 1 0,4 Ni odgovora 8 3,3 Preglednica 1: Razporeditev udeležencev glede na fakulteto, na kateri poučujejo (N = 248) Pogorelčnik, Boštjančič 57 Akademski naziv N % Asistent 63 25,8 Redni profesor 55 22,5 Docent 53 21,7 Izredni profesor 46 18,9 Višji predavatelj 8 3,3 Drugo 8 3,3 Lektor 5 2,0 Strokovni sodelavec 3 1,2 Bibliotekar 1 0,4 Preglednica 2: Razporeditev udeležencev glede na habilitacijski naziv (N = 242) Pripomočki Osnova anketnega vprašalnika je bil Vprašalnik o pristopu do povratnih informacij (angl. Approach to Feedback Inventory; Hendry idr. 2007, str. 155), dodatna vprašanja pa smo vključili, izhajajoč iz raziskovalnih vprašanj. Končni vprašalnik je vključeval osnovne deskriptivne podatke (spol, starost, habilitacijski naziv in fakulteta, na kateri poučujejo) ter vprašanja o načinu zbiranja povratnih informacij študentov, pogostosti branja povratnih informacij in o njihovem doje- manju, o doživljanju na kognitivni in čustveni ravni, o vedenjskih spremembah, ki so jih naredili na podlagi povratnih informacij študentov, ter o strategijah pri ravnanju s povratnimi informacijami. Udeleženci so na vprašanja odgovarjali z oceno na petstopenjski lestvici – na področju pogostosti (1 – nikoli, 2 – redko, 3 – v polovici primerov, 4 – pogosto, 5 – vedno) in strinjanja (1 – močno se ne strinjam, 2 – ne strinjam se, 3 – niti se ne strinjam niti se strinjam, 4 – strinjam se, 5 – močno se strinjam). Anketni vprašalnik je vseboval tudi neobvezna vprašanja odprtega tipa o vedenjskih spremembah, doživljanju na čustveni ravni ter o strategijah pri ravnanju s povratnimi informacijami. Postopek Pri zbiranju podatkov smo sodelovali z rektoratom Univerze v Ljubljani. Povabilo k izpolnjevanju anketnega vprašalnika je rektorat poslal vsem članicam Univerze v Ljubljani, te pa so ga posredovale vsem zaposlenim pedagoškim de- lavcem. Kasneje smo povabilo za izpolnjevanje anketnega vprašalnika ponovno posredovali tajništvom vseh članic, pri katerih do tistega trenutka še nihče izmed zaposlenih ni izpolnil ankete. Zbiranje podatkov je potekalo od 2. marca do 7. aprila 2022. Sprejemanje rezultatov študentskih anket o pedagoškem delu med visokošolskimi ... 58 Sodobna pedagogika/Journal of Contemporary Educational Studies Analizo kvantitativnih podatkov smo opravili s programoma R in Jamovi. Pri analizi odgovorov na odprta vprašanja smo uporabili dve osnovni kvalitativni tehniki: kategoriziranje in kodiranje. Pri kodiranju smo določemu delu besedi- la, v našem primeru odgovorov na odprta vprašanja, pripisali ključno besedo z namenom kasnejše identifikacije tega dela besedila. Kodirali smo simultano, kar pomeni, da smo dodelili enako kodo, kadar sta dva različna odgovora nosila isto informacijo. Nato je sledila kategorizacija, ko smo kode povezali v hierarhično strukturo oziroma v kategorije (Saldaña 2016, str. 207). Rezultati Spremljanje zadovoljstva študentov Povratne informacije študentov, ki so visokošolskim učiteljem in sodelavcem na voljo v visokošolskem informacijskem sistemu, bere 229 udeležencev (93,9 %), od tega jih 24,0 % tovrstne povratne informacije prebere enkrat letno, 49,3 % dvakrat letno, 24,0 % večkrat letno, štiri osebe so označile odgovor drugo. Drugi najpogostejši način spremljanja zadovoljstva študentov s pedagoškim delom je pogovor s študenti (70,9 %) ali priprava lastne ankete (23,4 %). Povratnih informacij ne bere 6,2 % udeležencev. Kot razlog so navedli, da jih ne prejmejo, da ne vedo, kje so objavljene, da so jih v preteklosti prebirali, a niso vsebovale koristnih informacij oziroma so jih prizadele. Te udeležence smo iz nadaljnjih analiz izključili. Splošna stališča do povratnih informacij študentov Visokošolski učitelji in sodelavci se s trditvijo, da jih odnos študentov do nji- hovega pedagoškega dela zanima, najpogosteje strinjajo (preglednica 3). Prav tako se v večji meri strinjajo, kot nestrinjajo, da so povratne informacije dober kazalnik kakovosti pedagoškega dela ter da jim omogočajo osebnostni in karierni razvoj. Manj pa se strinjajo s tem, da so povratne informacije študentov zanesljiv in velja- ven način vrednotenja pedagoškega dela ter da povratne informacije študentov ne bi smele imeti poglavitne vloge pri sprejemanju odločitev o napredovanju. Pogorelčnik, Boštjančič 59 Delež v % M SD Močno se ne strinjam Se ne strin- jam Niti se ne strinjam niti se strinjam Stirnjam se Popolnoma se strinjam Zanima me odnos študentov do mojega pedagoškega dela. 3,9 0 0,4 19,2 76,4 4,2 1,8 Povratne informacije so dober kazalnik kakovosti pedagoškega dela. 3,5 5,7 22,6 44,5 22,7 3,4 1,7 Povratne informacije študen- tov mi omogočajo osebnostni in karierni razvoj. 4,8 10,5 16,6 47,6 20,5 3,3 1,7 Povratne informacije študen- tov so zanesljiv in veljaven način vrednotenja pedagoške- ga dela. 5,7 17,9 34,9 33,2 8,3 2,9 1,6 Povratne informacije študen- tov ne bi smele imeti pogla- vitne vloge pri sprejemanju odločitev o napredovanju. 8,3 22,3 40,2 20,1 9,2 2,7 1,6 Preglednica 3: Deleži, povprečne vrednosti in standardne deviacije odgovorov visokošolskih učiteljev in sodelavcev na trditve o povratnih informacijah študentov (N = 229) Kognitivni, čustveni in vedenjski odziv ob povratnih informacijah študentov Povratne informacije študentov o pedagoškem delu večino visokošolskih učiteljev in sodelavcev pogosto ali vedno spodbudijo k razmišljanju o njihovem poučevanju (preglednica 4). Pogosteje kot v polovici primerov jim dajo tudi ideje, kako spremeniti svoj način poučevanja. Redkeje kot v polovici primerov menijo, da je povratne informacije težko interpretirati in da se nanašajo na področja, ki jih je težko spremeniti. Negativne povratne informacije jih pogosteje kot v polovici primerov motivirajo, da izboljšajo svoje pedagoško delo, redkeje kot v polovici pri- merov pa zaradi negativnih informacij dvomijo o svojih sposobnostih kot visoko- šolski učitelji ali sodelavci. Ob prejemu pozitivne povratne informacije študentov o svojem pedagoškem delu se velika večina udeležencev pogosto ali vedno počuti samozavestno, ob prejemu negativne povratne informacije študentov pa redkeje kot v polovici primerov občutijo čustva, kot so sram, žalost in razočaranje. Po- gosteje kot v polovici primerov povratne informacije študentov udeležence spod- budijo k spremembi njihovega načina poučevanja, približno enak delež učiteljev Sprejemanje rezultatov študentskih anket o pedagoškem delu med visokošolskimi ... 60 Sodobna pedagogika/Journal of Contemporary Educational Studies in sodelavcev pa je redko ali pogosto na podlagi povratnih informacij študentov spremenilo svoj način poučevanja. Večini pa je pri upoštevanju predlogov študen- tov pogosto ali vedno pomembno tudi število prejetih povratnih informacij. Delež v % M SD Nikoli Redko V polovici primerov Pogosto Vvedno Povratne informacije študentov o mojem pedago- škem delu me spodbudijo k razmišljanju o mojem poučevanju. 0 4,4 9,6 40,2 45,9 4,3 0,8 Povratne informacije študentov o mojem pedago- škem delu mi dajo ideje, kako spremeniti moj način poučevanja. 1,8 21,4 23,1 34,5 19,2 3,5 1,1 Povratne informacije študentov o mojem pedago- škem delu je težko interpretirati. 6,11 48,5 25,3 17,9 2,2 2,6 0,9 Povratne informacije študentov se nanašajo na področja, ki jih je težko spremeniti. 2,6 37,5 29,7 29,2 0,9 2,9 0,9 Negativne povratne informacije študentov me moti- virajo, da izboljšam svoje pedagoško delo. 0,9 14,4 25,3 40,2 19,2 3,6 0,9 Ob prejemu pozitivne povratne informacije študen- tov o svojem pedagoškem delu se počutim samoza- vestno. 0,9 4,8 10,0 45,0 39,3 4,2 0,9 Zaradi negativne povratne informacije študen- tov dvomim o svojih sposobnostih kot visokošolski učitelj. 18,8 51,1 20,1 8,7 1,3 2,2 0,9 Ob prejemu negativne povratne informacije študen- tov o svojem pedagoškem delu občutim čustva, kot so sram, žalost in razočaranje. 22,7 39,3 19,2 15,3 3,5 2,4 1,1 Povratne informacije študentov o mojem peda- goškem delu me spodbudijo k spremembi načina poučevanja. 1,3 15,3 31,0 38,9 13,5 3,5 0,9 Pri upoštevanju predlogov študentov mi je pomemb- no število povratnih infomacij. 4,8 8,7 15,3 41,5 29,7 3,8 1,1 Na podlagi povratnih informacij študentov o mojem pedagoškem delu sem spremenil/a svoj način pouče- vanja. 2,2 30,1 29,7 31,0 7,0 3,1 0,9 Preglednica 4: Deleži, povprečne vrednosti in standardne deviacije odgovorov na posamezne postavke glede pogostosti (N = 229) Na odprto vprašanje o mislih, čustvih in vedenjskem odzivu ob pozitivni (spodbudni) povratni informaciji je odgovorilo 156 udeležencev. Največ udeležen- cev (32 %) je navedlo, da pozitivno povratno informacijo doživljajo kot potrditev za dobro opravljeno delo, na primer: »Prijetno sem se počutila, saj je pozitiven Pogorelčnik, Boštjančič 61 odziv študentov potrdil moje načrte in prepričanja o primernosti in učinkovitosti določenega načina dela zanje.« ali »Je potrditev dela in lani so mi celo solze pri- tekle, ker je bilo toliko nekih lepih in pozitivnih komentarjev.« Pozitivno povratno informacijo doživljajo tudi kot znak, da je njihov vloženi trud povrnjen oziroma prepoznan (16 %): »Potrditev, da delam dobro, da je bil vložen trud prepoznan in se je obrestoval, da študenti cenijo moje delo in so z njim zadovoljni.« Pogosto udeleženci doživljajo tudi občutke veselja (30 %), zadovoljstva (22 %) in ponosa (8 %). Pozitivna povratna informacija udeležencem daje motivacijo za nadaljevanje dela (24 %), daje smisel delu (9 %) in krepi njihovo samozavest (8 %). Na vprašanje o mislih, čustvih in vedenjskem odzivu ob negativni povratni informaciji je prav tako odgovorilo 156 udeležencev. Najpogosteje so omenili, da po negativni informaciji študentov izboljšajo izpostavljeno problematiko (39 %), pri čemer jih je 18 % navedlo, da to izboljšajo samo, kadar je kritika utemeljena. Pogosto negativni povratni informaciji sledi tudi razmislek (29 %). O razlogih za kritiko jih razmišlja 10 %, 9 % pa o tem, ali je kritika smiselna. Negativno povratno informacijo nekateri doživljajo kot vir napredka (N = 6) ali kot kritiko (N = 5). Zaradi negativnih povratnih informacij 10 udeležencev dvomi o svojem poklicu, štirje udeleženci pa tudi o svojih sposobnostih. Nekateri negativne povratne informacije doživljajo kot maščevanje študentov, najpogostejši občutek pa je razočaranje (17 %), na primer: »Občutil sem razočara- nje, še posebej, ker sem v predavanja vložil veliko truda, nato pa te ocenjuje nekdo, ki verjetno sploh ni bil na predavanjih. Pri nas je anketiranih študentov malo, in če te le eden ali dva ocenita slabo, je skupna ocena bistveno nižja.« Pogosto občutijo tudi žalost (13 %) in jezo (13 %), redkeje pa nelagodje, sram, zaskrbljenost, hvale- žnost, presenečenje, negotovost, strah, užaljenost, otopelost. Spremembe po prejeti povratni informaciji študentov Na vprašanje o spremembah pri svojem pedagoškem delu (vedenje, pristopi, metode in drugo), ki so jih naredili na podlagi povratnih informacij študentov, je odgovorilo 171 udeležencev. Spremembe na področju vsebine, ki jo obravnavajo v okviru pedagoškega dela s študenti, je naredilo 38 % udeležencev, na primer več primerov iz prakse (N = 19), večja usklajenost obravnavane snovi med različnimi izvajalci predmeta (N = 7), manj obravnavane snovi (N = 5). Metodo razlage oziroma tehniko poučevanja je spremenilo 36 % udeležencev. Devet udeležencev je navedlo, da zdaj razlagajo bolj poglobljeno, šest udeležencev, da so svoje pedagoške ure naredili bolj interaktivne. Štirje udeleženci so uvedli obratno poučevanje, trije pa uporabo sodobnejših orodij. Spremembe na področju komunikacije je naredilo 32 % udeležencev – da spodbujajo sodelovanje (N = 16), dajejo jasnejša navodila (N = 14), študentom pogosteje ponudijo povratne informacije o njihovem delu ter pogosteje preverjajo razumevanje. Na splošno je delo na podlagi sprememb pri- lagodilo 29 % udeležencev. To vključuje spremembe prezentacij, strukturiranost predavanj, manj obveznosti pri predmetu, boljšo pripravljenost na delo oziroma pedagoško uro, bolj individualen pristop ter spremembe časovnega načrta dela. Sprejemanje rezultatov študentskih anket o pedagoškem delu med visokošolskimi ... 62 Sodobna pedagogika/Journal of Contemporary Educational Studies Spremembe na področju retorike je naredilo 18 % udeležencev, kar zajema hitrejši, počasnejši, glasnejši ali tišji govor. 16 % udeležencev je naredilo spremembo na področju ocenjevanja. Primeri uvedenih sprememb so sprotno ocenjevanje (N = 5) in bolj objektivno ocenjevanje (N = 4). Na področju gradiv je spremembe naredilo 13 % udeležencev. To vključuje spremembe pri dostopu do gradiv (N = 8) in uvedbo dodatnih gradiv (N = 8). Na vprašanje o razlogih za neaktivnost (pri pedagoškem delu – vedenje, pristopi, metode in drugo) po prejetih povratnih informacijah je odgovorilo 96 ude- ležencev. Kot najpogostejši razlog so navedli neizvedljivost študentskih želja (32 %) ter da je problematiko izpostavilo premajhno število študentov (18 %). Eden izmed udeležencev je na primer navedel: »Včasih se najdejo izolirana mnenja, ki se ne ujemajo s komentarji večine. Vsega se ne da upoštevati, ker bi se splošno stanje s tem poslabšalo.« Strategije pri ravnanju s povratnimi informacijami študentov Visokošolski učitelji in sodelavci se s povratimi informacijami študentov spoprijemajo na različne načine in uporabljajo različne strategije. Največjo korist vidijo v nasvetih usposobljenega kolega, kako izboljšati svoje poučevanje, manj jim pomaga zgolj pogovor ali da bi ta kolega opazoval njihovo pedagoško delo. Na vprašanje, kako bi utemeljili izbiro strategije, ki bi jim pri ravnanju s po- vratnimi informacijami študentov najbolj koristila, je odgovorilo 121 udeležencev. Največ (16 %) jih je poudarilo korist opazovanja (na primer opazovanje kolega pri poučevanju sorodnih vsebin in opazovanje skozi daljše obdobje). Pri opazovanju so v ospredje postavili predvsem vir novih idej (N = 4), opazovanje konkretnih primerov (N = 3), videti različne pristope, ozaveščanje načinov poučevanja in ozaveščanje pomanjkljivosti. Razlike v odzivanju na povratne informacije glede na habilitacijski naziv Shapiro-Wilkov test za preverjanje normalnosti porazdelitve podatkov je po- kazal, da podatki niso porazdeljeni normalno. Zato smo uporabili neparametrični Kruskal-Wallisov test (Van Hecke 2013, str. 242) in post hoc Dunnov test, kjer smo upoštevali Bonferronijev popravek za večkratno testiranje (Benko 2015, str. 46). Število asistentov , ki ob prejemu pozitivne povratne informacije nikoli (z = –1,891, p = 0,058) ali redko (z = –1,891, p = 0,058) čutijo samozavest, je statistično značil- no manjše v primerjavi s številom visokošolskih učiteljev (docenti, izredni in redni profesorji), ki vedno občutijo samozavest. Asistenti tudi pogosteje kot učitelji ob prejemu negativne povratne informacije občutijo dvom o svojih sposobnostih (z = –1,868, p = 0,061). Pogorelčnik, Boštjančič 63 M asistenti M visokošol. učitelji χ 2 p* Povratne informacije študentov o mojem pedagoškem delu me spodbudijo k razmišljanju o mojem poučevan- ju. 4,206 4,292 1,131 0,287 Povratne informacije študentov o mojem pedagoškem delu mi dajo ideje, kako spremeniti moj način pouče- vanja. 3,524 3,476 0,087 0,768 Povratne informacije študentov o mojem pedagoškem delu je težko interpretirati. 2,571 2,612 0,007 0,933 Povratne informacije študentov se nanašajo na pod- ročja, ki jih je težko spremeniti. 2,904 2,864 0,138 0,709 Negativne povratne informacije študentov me moti- virajo, da izboljšam svoje pedagoško delo. 3,730 3,599 0,474 0,491 Ob prejemu pozitivne povratne informacije študentov o svojem pedagoškem delu se počutim samozavestno. 4,349 4,054 5,707 0,017 Zaradi negativne povratne informacije študentov dvo- mim o svojih sposobnostih kot visokošolski učitelj. 2,413 2,149 3,790 0,051 Ob prejemu negativne povratne informacije študen- tov o svojem pedagoškem delu občutim čustva, kot so sram, žalost in razočaranje. 2,428 2,333 0,231 0,631 Povratne informacije študentov o mojem pedagoškem delu me spodbudijo k spremembi mojega načina pou- čevanja. 3,508 3,449 0,102 0,749 Pri upoštevanju predlogov študentov mi je pomemb- no število povratnih informacij. 3,873 3,775 0,079 0,777 Na podlagi povratnih informacij študentov o mojem pedagoškem delu sem spremenil/a svoj način pouče- vanja. 3,063 3,136 0,272 0,601 Opombe: Pri vseh kategorijah je stopnja prostosti 1; * p ≤ 0,05 Preglednica 5: Razlike v odzivanju na povratne informacije med asistenti in visokošolskimi učitelji (N = 210) Razprava Velika večina visokošolskih učiteljev in sodelavcev, ki so sodelovali v raziskavi, spremlja zadovoljstvo študentov s pedagoškim procesom vsaj na en način. Večina ga spremlja prek povratnih informacij študentov, ki so jim na voljo v visokošol- skem informacijskem sistemu, dve tretjini udeležencev se s študenti pogovori, nekateri pripravijo svojo anketo, nekateri pa zadovoljstvo študentov spremljajo na drugačen način. Ta ugotovitev je spodbudna, kljub temu pa je pomembno k branju povratnih informacij spodbuditi tudi tiste visokošolske učitelje in sodelavce, ki jih trenutno ne berejo, še pred tem pa raziskati, kako bi jih k temu najbolj učinkovito spodbudili. Raziskava, ki jo je izvedel Flodén (2016, str. 1060), kaže, da so glavni Sprejemanje rezultatov študentskih anket o pedagoškem delu med visokošolskimi ... 64 Sodobna pedagogika/Journal of Contemporary Educational Studies vir povratnih informacij študentov anonimna pisna ocenjevanja pedagoškega dela, kot povratna informacija pa se uporabljajo tudi informacije s sestankov s predstavniki študentov in pripombe med pedagoškimi urami. Večina udeležencev odgovarja, da jih odnos študentov do njihovega peda- goškega dela zanima, kar je spodbudno. Skoraj polovica pa jih tudi meni, da so te povratne informacije dober kazalnik kakovosti pedagoškega dela ter da jim povratne informacije študentov omogočajo osebnostni in karierni razvoj. Flodén (prav tam) prav tako navaja, da imajo učitelji pretežno pozitiven odnos do povra- tnih informacij, saj so ti navedli, da jim omogočajo izboljšanje načina poučevanja. Tretjina udeležencev v raziskavi meni, da so povratne informacije zanesljiv in veljaven način vrednotenja pedagoškega dela, tretjina pa se s to trditvijo niti ne strinja niti strinja. Razmeroma enakovredno porazdelitev udeležencev smo ugo- tovili glede trditve, ali bi povratne informacije študentov morale imeti poglavitno vlogo pri sprejemanju odločitev o napredovanju ali ne. Največji delež udeležencev se sicer s tem niti ne strinja niti strinja, enakomeren delež udeležencev pa se je razporedil med poloma, ki se s tem strinja oziroma ne strinja. Tako razporeditev mnenj lahko morda pripišemo dejstvu, da si osebe, ki dobivajo večinoma pozitivne in dobre povratne informacije, prizadevajo, da bi ti rezultati imeli poglavitno vlogo pri odločitvah o napredovanju, učitelji, ki prejemajo razmeroma slabe povratne informacije, pa si tovrstnega sistema ne želijo. Druge raziskave kažejo, da večina učiteljev izraža nestrinjanje z uporabo povratne informacije študentov kot edinega merila pri odločitvah o napredovanju (Chan idr. 2014, str. 285). Veliko večino udeležencev povratne informacije študentov o pedagoškem delu vedno ali pogosto spodbudijo k razmišljanju o njihovem poučevanju, kar se sklada tudi s predhodnimi študijami (Hendry idr. 2006, str. 148; Wong in Moni 2014, str. 402). Vse udeležence povratne informacije študentov nekoliko spodbudijo k raz- mišljanju o pedagoškem delu. Več kot polovica udeležencev meni, da je povratne informacije študentov težko interpretirati in da se nanašajo na področja, ki jih je težko spremeniti, kar se prav tako sklada z ugotovitvami Wong in Moni (2014, str. 402). Več kot polovico udeležencev pa negativne povratne informacije pogosteje kot v polovici primerov motivirajo, da svoje pedagoško delo izboljšajo. Ob prejemu pozitivne povratne informacije študentov o svojem pedagoškem delu se večina učiteljev in sodelavcev vedno ali pogosto počuti samozavestno, kar se sklada z ugotovitvijo raziskave, ki sta jo izvedla Wong in Moni (prav tam). Pou- darili so tudi, da jo doživljajo kot potrditev za dobro opravljeno delo in kot znak, da je njihov trud povrnjen. Doživljajo tudi veselje, zadovoljstvo in ponos, nekateri so celo omenili, da daje smisel delu in krepi njihovo samozavest. Rezultati se skladajo z ugotovitvami Arthur (2009, str. 448), ki je ugotovila, da pozitivno povratno infor- macijo doživljajo kot potrditev, da svoje delo opravljajo dobro, da jim dvigne moralo in vpliva na njihovo zadovoljstvo. Ob prejemu negativne povratne informacije pa večina udeležencev redkeje kot v polovici primerov občuti čustva, kot so sram, žalost in razočaranje, več kot polovica pa jih tudi redkeje kot v polovici primerov dvomi o svojih sposobostih kot visokošolski učitelj ali sodelavec. Ugotovitve so v nasprotju z rezultati raziskave Arthur (prav tam), da ob negativni povratni infor- maciji učitelji pogosto doživljajo občutke sramu, razočaranja in bolečine, pogosto Pogorelčnik, Boštjančič 65 tudi dvomijo o smislu svojega dela. Pri odprtih vprašanjih so naši udeleženci sicer navedli, da ob negativni povratni informaciji občutijo razočaranje, žalost, jezo ali splošno neugodno počutje, vendar je omenjene občutke poudarila manj kot tretjina udeležencev. Navedli so tudi, da omenjena čustva občutijo za kratek čas, nato pa oblikujejo akcijski načrt, kako izboljšati izpostavljeno problematiko, ali pa zgolj razmislijo o napisanem. Na podlagi teorije čustev širjenja in gradnje (Fredrickson 2001, str. 219) lahko sklepamo, da je za njih značilna čustvena spirala usmerjena navzgor. To pomeni, da učitelji povratno informacijo študentov doživljajo kot priložnost za osebni in poklicni razvoj, motivacijo za nove izzive in jo dojemajo manj osebno. Večini udeležencev pogosteje kot v polovici primerov povratne informacije dajo ideje, kako spremeniti način poučevanja, več kot polovico udeležencev pa povratne informacije študentov tudi spodbudijo k spremembi poučevanja. Obe ugotovitvi se skladata z rezultati Wong in Moni (2014, str. 402). Na podlagi povra- tnih informacij je svoj način poučevanja pogosto spremenila tretjina udeležencev, tretjina v polovici primerov, tretjina pa redko. Rezultati so skladni z ugotovitvijo Wong in Moni (prav tam), da učitelje predlogi študentov skoraj vedno zanimajo, medtem ko se jim le v polovici primerov zdijo vredni ukrepanja. Področja, na katerih so udeleženci najpogosteje naredili spremembe, so prilagajanje vsebine (na primer več primerov iz prakse), ki jo predavajo, metode razlage (na primer bolj poglobljena razlaga), komunikacija (na primer jasnejše podajanje navodil ali spodbujanje študentov), prilagajanje dela (na primer struktura predavanj ali prezentacij), retorika (hitrejši, počasnejši, glasnejši ali tišji govor), ocenjevanje (na primer sprotno ali bolj objektivno) ter gradiva (na primer dostopnost, dodatna gradiva). Ugotovitve se skladajo z rezultati drugih raziskav (npr. Arthur 2009, str. 449). Pri upoštevanju predlogov študentov je večini udeležencev vedno ali pogosto pomembno število sodelujočih, kar se ujema tudi z enim izmed najpogostejših razlogom, ki so ga navedli, zakaj sprememb niso naredili. Poudarili so namreč, da sprememb niso naredili, tako kot je na primer ugotovila tudi Arthur (prav tam, str. 450), saj je problematiko oziroma spremembo izpostavilo premajhno število študentov. Drugi najpogostejši razlogi, zakaj sprememb niso naredili, pa so, da so želje neizvedljive, da so si mnenja študentov nasprotujoča in da so predlogi nesmiselni. Pedagoški delavci na splošno menijo, da nimajo zadostne podpore ustanove, v kateri delajo, da bi lahko povratno informacijo ustrezno uporabili (Wong in Moni 2014, str. 406), podobno je navedlo tudi nekaj udeležencev naše raziskave. Menijo, da bi večjo podporo pri ravnanju s povratnimi informacijami potrebovali predvsem mlajši zaposleni, da se naučijo razviti odnos do negativnih komentarjev. Predlogi, ki so jih navedli, so na primer organizacija medsebojnih pogovorov ali splošno svetovanje mlajšim sodelavcem. Pri vprašanju o uporabi posamezne strategije so se udeleženci najpogosteje strinjali, da bi bili koristni nasveti usposobljenega kolega, kako izboljšati lastno poučevanje, enako sta ugotovila tudi Wong in Moni (2014, str. 403). Udeleženci v naši raziskavi so poudarili, da jim opazovanje po- nuja na primer vir novih idej, pristopov in načinov poučevanja. Zanimivo je tudi spoznanje, da skoraj petina udeležencev meni, da jim ne bi koristila nobena izmed omenjenih strategij. Sprejemanje rezultatov študentskih anket o pedagoškem delu med visokošolskimi ... 66 Sodobna pedagogika/Journal of Contemporary Educational Studies Rezultati naše raziskave so pokazali tudi statistično pomembne razlike med poklicnimi skupinami. Asistenti pogosteje kot visokošolski učitelji ob pozitivni povratni informaciji občutijo samozavest, pogosteje kot visokošolski učitelji pa tudi dvomijo o svojih sposobnostih ob prejemu negativne povratne informacije. Zato bi predvsem asistenti oziroma zaposleni z manj leti delovnih izkušenj na področju visokošolskega izobraževanja potrebovali več pozornosti pri soočanju s povratnimi informacijami študentov o svojem pedagoškem delu. Večjo občutljivost asistentov lahko pripišemo dejstvu, da o vsebini, ki jo poučujejo, vedo veliko, medtem ko ne vedo veliko o tem, kako poučevati (Kugel 1993, str. 327). Zaposleni z manj leti delovnih izkušenj so v obdobju oblikovanja svojega sloga poučevanja in lahko še niso razvili zaupanja vanj, kar pripomore k večji občutljivosti za izrazito pozitivne ali negativne povratne informacije. Nekaj udeležencev je omenilo tudi željo po obveznem pedagoškem izobraževanju – to je denimo na večini univerz na Švedskem postalo že nujen pogoj za zaposlitev kot predavatelj ali za napredovanje v naziv profesorja (Ödalen idr. 2019, str. 340). Omejitve in predlogi za nadaljnje raziskovanje V raziskavi so sodelovali pretežno visokošolski učitelji in sodelavci, ki po- vratne informacije študentov, dostopne v visokošolskem informacijskem sistemu, dejansko tudi berejo, zato je treba biti pri prenosu spoznanj raziskave v prakso previden. Zanimivo bi bilo dobiti vpogled v stališča oseb, ki teh informacij ne berejo, in podrobneje raziskati njihov vidik. Ključnega pomena bi bilo ugotoviti, kako bi lahko omenjene spodbudili, da bi te povratne informacije začeli redno spremljati oziromo brati. Kljub razmeroma velikemu vzorcu v raziskavi niso sodelovali zaposleni z vseh članic Univerze v Ljubljani, čeprav smo jih k sodelovanju povabili. Smiselno bi bilo raziskati, zakaj je bila udeležba zaposlenih na nekaterih fakultetah tako nizka (na primer komunikacija med vodstvom in zaposlenimi, organizacijska klima).V prihodnje bi lahko vzorec razširili tudi na druge slovenske univerze, saj bi do razlik morda prišlo zaradi drugačnega načina vodenja in drugačne organiza- cijske kulture. V raziskavi smo tudi primerjali asistente z visokošolskimi učitelji ob predpo- stavki, da ti že dlje časa poučujejo v visokem šolstvu. Bolj smotrno bi bilo zbirati podatke o delovni dobi in primerjati na tak način. Še ena izmed pomanjkljivosti je, da je to prva raziskava o tej tematiki, zaradi česar rezultatov ne moremo primerjati s prejšnjimi raziskavami v slovenskem okolju. Prvič je bil razvit tudi vprašalnik, ki se za namene prihodnjih raziskav lahko izboljša. Nekatera vprašanja (na primer o doživljanju čustev ob pozitivni oziroma negativni informaciji) bi lahko oblikovali kot zaprta, kar bi olajšalo postopek analize. Izbiro »niti se ne strinjam niti se strinjam« bi bilo smiselno spremeniti v »sem neodločen/a«. Naša raziskava je obravnavala asistente in visokošolske učitelje, zato bi v pri- hodnosti lahko podrobneje analizirali tudi perspektivo sodelujočih študentov, kako bi jih lahko spodbudili k pogostejšemu in vsebinsko bogatejšemu izpolnjevanju Pogorelčnik, Boštjančič 67 anket. Kot omenjeno v razpravi bi bilo smiselno podrobneje raziskati predvsem pogled študentov na časovno komponento izvajanja anket ter ali bi si želeli večje obveščenosti o namenu in posledicah povratnih informacij, ki jih podajo. Zaključek Z raziskavo smo osvetlili, kakšni so odzivi visokošolskih učiteljev in sodelavcev na študentsko povratno informacijo o pedagoškem delu. Ugotovili smo, da so nji- hove reakcije na splošno ugodne, vendar ostaja še vrsta možnosti, kako to metodo razvoja zaposlenih dopolniti oziroma nadgraditi. V semestrsko ocenjevanje peda- goškega dela je vključenih res veliko študentov, zato so tudi povratne informacije dovolj kakovostne za nadaljnje ukrepanje. Najbolj koristna strategija za ravnanje s povratnimi informacijami se udeleženim v raziskavi zdijo nasveti usposobljenega kolega, kako izboljšati lastno poučevanje, ter opazovanje pedagoškega dela kolega, ki je prejel pozitivne povratne informacije študentov. Predlagali so tudi nekaj drugih strategij, na primer pogovor s študenti o povratnih informacijah, ki bi jih lahko izvajali v obliki fokusnih skupin z nekaj izbranimi študenti. Poudarili so, da bi si želeli več strokovnih vsebin s področja poučevanja, saj visokošolski učitelji in sodelavci niso nujno tudi pedagoško usposobljeni. Nekaterim se zdi pomembno izobraževanje s področja pedagogike ali psihologije opraviti enkrat letno, smiselno se jim zdi tudi, da bi bilo obvezno. Želijo si tudi prevetritve študentskih evalva- cijskih anket, in sicer so navedli, da si želijo več odgovorov na odprta vprašanja in manj številčnega ocenjevanja ter da bi bile na splošno krajše. Menimo, da bi lahko k vsebinsko bogatejšim odgovorom pripomoglo to, da bi tudi študenti do- bili informacijo o vedenjskih spremembah, ki jih na podlagi njihovih predlogov naredijo učitelji in sodelavci. Večja obveščenost o namenu in posledicah njihovih povratnih informacij bi morda študente spodbudila k vestnejšemu izpolnjevanju anket. Tudi drugi raziskovalci opozarjajo, da je ključnega pomena opolnomočiti študente z usmeritvami, kako podati povratne informacije, ki omogočajo razvoj visokošolskih učiteljev. Dobro razvit sistem podajanja kakovostnih povratnih informacij lahko dojemamo kot pozitivno povratno zanko ali spiralo. Visokošolskim učiteljem in sodelavcem kakovostne povratne informacije omogočajo karierni in osebnostni razvoj. Kakovostnejše poučevanje učiteljev pri študentih spodbuja interes za izo- braževanje in jim omogoča, da se med pedagoškim procesom več naučijo. Uspešni in zadovoljni študenti pa tako dosegajo boljše rezultate, kar pripomore k večji uspešnosti fakultete oziroma univerze. Tudi to je eden izmed razlogov, zakaj je treba to metodo razvoja zaposlenih nenehno razvijati. Sprejemanje rezultatov študentskih anket o pedagoškem delu med visokošolskimi ... 68 Sodobna pedagogika/Journal of Contemporary Educational Studies Pogorelčnik, Boštjančič Literatura in viri Arthur, L. (2009). From performativity to professionalism: Lecturers’ responses to student feedback. Teaching in Higher Education, 14, št. 4, str. 441–454. Benko, T. (2015). Primerjava in statistično razvrščanje bančnih sistemov držav članic Evropske unije glede na izbrane kazalce. Magistrsko delo. Ljubljana: Ekonomska fakulteta. Dostopno na: https://repozitorij.uni-lj.si/IzpisGradiva.php?id=70494&lan- g=eng&prip=dkum:11008277:d4 (pridobljeno 6. 6. 2022). Cornes, S., Torre, D., Fulton, T. B., Oza, S., Teherani, A. in Chen, H. C. (2022). When students’ words hurt: 12 tips for helping faculty receive and respond constructively to student evaluations of teaching. Medical Education Online, 28, št. 1, str. 1–8. Chan, C. K. Y ., Luk, L. Y . Y . in Zeng, M. (2014). Teachers’ perceptions of student evaluations of teaching. Educational Research and Evaluation, 20, št. 4, str. 275–289. Dawson, P ., Henderson, M., Mahoney , P ., Phillips, M., Ryan, T ., Boud, D. in Molloy , E. (2018). What makes for effective feedback: Staff and student perspectives. Assessment & Evaluation in Higher Education, 44, št. 1, str. 25–36. Flodén, J. (2017). The impact of student feedback on teaching in higher education. As- sessment & Evaluation in Higher Education, 42, št. 7, str. 1054–1068. Franklin, J. (2001). Interpreting the numbers: Using a narrative to help others read student evaluations of your teaching accurately. New Directions for Teaching and Learning, 2001, št. 87, str. 85–100. Fredrickson, B. L. (2001). The role of positive emotions in positive psychology: the broaden -and-build theory of positive emotions. American Psychologist, 56, št. 3, str. 218–226. Golding, C. in Adam, L. (2016). Evaluate to improve: Useful approaches to student evalua- tion. Assessment & Evaluation in Higher Education, 41, št. 1, str. 1–14. Hardavella, G., Aamli-Gaagnat, A., Saad, N., Rousalova, I. in Sreter, K. B. (2017). How to give and receive feedback effectively. Breathe, 13, št. 4, str. 327–333. Harvey, L. (2011). The nexus of feedback and improvement. V: P . Mertova in S. N. Cheni- cheri (ur.). Student feedback: The cornerstone to an effective quality assurance system in higher education Chandos Publishing, str. 3–26. Hendry, G. D., Lyon, P . M. in Henderson-Smart, C. (2007). Teachers’ approaches to teaching and responses to student evaluation in a problem-based medical program. Assessment & Evaluation in Higher Education, 32, št. 2, str. 143–157. Kember, D., Leung, D. Y . P . in Kwan, K. P . (2002). Does the use of student feedback questio- nnaires improve the overall quality of teaching? Assessment & Evaluation in Higher Education, 27, št. 5, str. 411–425. Kugel, P . (1993). How professors develop as teachers. Studies in Higher Education, 18, št. 3, str. 315–328. Letno poročilo 2022. (2023). Dostopno na: https://www.uni-lj.si/o_univerzi_v_ljubljani/ organizacija__pravilniki_in_porocila/poslovno_financno_in_letno_porocilo_ter_pro- gram_dela/ (pridobljeno 4. 9. 2023). Lutovac, S., Kaasila, R., Komulainen, J. in Maikkola, M. (2016). University lecturers’ emo- tional responses to and coping with student feedback: A Finnish case study . European Journal of Psychology of Education, 32, št. 2, str. 235–250. Marsh, H. W . (1984). Students’ evaluations of university teaching: Dimensionality, reliabi- lity, validity, potential biases, and utility. Journal of Educational Psychology, 76, št. 5, str. 707–754. Merila za volitve v naziv visokošolskih učiteljev, znanstvenih delavcev ter sodelavcev Uni- verze v Ljubljani. (2016). Dostopno na: https://www.uni-lj.si/mma/merilaupb4250520 21/2021060309501675/?m=1622706616 (pridobljeno 25. 3. 2022). 69 Ödalen, J., Brommesson, D., Erlingsson, G. Ó., Schaffer, J. K. in Fogelgren, M. (2019). Teaching university teachers to become better teachers: The effects of pedagogical training courses at six Swedish universities. Higher Education Research and Develo- pment, 38, št. 2, str. 339–353. Penny , A. R. (2003). Changing the agenda for research into students‘ views about university teaching: Four shortcomings of SRT research. Teaching in Higher Education, 8, št. 3, str. 399–411. Pravilnik o študentski anketi na Univerzi v Ljubljani. (2016). Dostopno na: https://www. uni-lj.si/o_univerzi_v_ljubljani/organizacija__pravilniki_in_porocila/predpisi_sta- tut_ul_in_pravilniki/2014092609210542/ (pridobljeno 25. 3. 2022). Richardson, J. T. E. (2005). Instruments for obtaining student feedback: A review of the literature. Assessment & Evaluation in Higher Education, 30, št. 4, str. 387–415. Rizvić, A., Žurić, A., Ljubijankić, H., Kavaš, L. in Muha, Ž. (2021). Evalvacijske študentske ankete UL: percepcija vprašalnika s strani študentov ter odnos do sodelovanja. Dosto- pno na: http://ul.1ka.si/uploadi/editor/1633844999PRP_projekt_Evalvacijsketudent- skeanketeUL.pdf (pridobljeno 15. 3. 2022). Saldaña, J. (2016). The coding manual for qualitative researchers. Sage: London. Samoevalvacija študijskih programov. (b.d.). Dostopno na: https://kakovost.uni-lj.si/samo- evalvacija-studijskih-programov/ (pridobljeno 27. 3. 2022). Smith, C. (2008). Building effectiveness in teaching through targeted evaluation and response: connecting evaluation to teaching improvement in higher education. As- sessment & Evaluation in Higher Education, 33, št. 5, str. 517–533. Standardi in smernice za zagotavljanje kakovosti v Evropskem visokošolskem prostoru. (2015). Dostopno na: https://www.enqa.eu/wp-content/uploads/2015/11/ESG_2015. pdf (pridobljeno 29. 8. 2023). Stein, S. J., Spiller, D., Terry, S., Harris, T ., Deaker, L. in Kennedy, J. (2012). Unlocking the impact of tertiary teachers’ perceptions of student evaluations of teaching. Dostopna na: https://ako.ac.nz/assets/Knowledge-centre/NPF-09-008-The-impact-of-studen- t-evaluations-on-teaching-behaviour/RESEARCH-REPORT-Unlocking-the-impact -of-tertiary-teachers-perceptions-of-student-evaluations-of-teaching.pdf (pridobljeno 28. 3. 2022). Študentske ankete. (b. d.). Dostopno na: https://kakovost.uni-lj.si/samoevalvacija-studij- skih-programov/studentske-ankete/ (pridobljeno 25. 3. 2022). Van Hecke, T . (2012). Power study of anova versus Kruskal-Wallis test. Journal of Statistics and Management Systems, 15, št. 2/3, str. 241–247. Vehovar, V . (2021). Študentske evalvacijske ankete Univerze v Ljubljani: Pregled izzivov. Dostopno na: http://ul.1ka.si/uploadi/editor/1636904563Ankete_UL_pregled_ izzvov_2021FF .pdf (pridobljeno 15. 3. 2022). Vrh, M., Vehovar, V . in Brečko, B. N. (2017). Študentske ankete Univerze v Ljubljani. Eval- vacijsko poročilo za programe prve in druge stopnje. Pregledna analiza. Dostopno na: http://ul.1ka.si/uploadi/editor/1499080647PorociloUL_julij2017.pdf (pridobljeno 15. 3. 2022). Wong, W . Y . in Moni, K. (2014). Teachers’ perceptions of and responses to student evaluati- on of teaching: Purposes and uses in clinical education. Assessment & Evaluation in Higher Education, 39, št. 4, str. 397–411. Zakon o visokem šolstvu. (2021). Dostopno na: http://www.pisrs.si/Pis.web/pregledPredpi- sa?id=ZAKO172#. (pridobljeno 31. 8. 2023). Sprejemanje rezultatov študentskih anket o pedagoškem delu med visokošolskimi ... 70 Sodobna pedagogika/Journal of Contemporary Educational Studies Tina POGORELČNIK (University of Ljubljana, Slovenia) Eva BOŠTJANČIČ (University of Ljubljana, Slovenia) THE RECEPTION AND RESPONSE OF HIGHER EDUCATION TEACHERS TO FEED- BACK OF THEIR STUDENTS ON THEIR TEACHING PERFORMANCE Abstract: The University of Ljubljana conducts a student evaluation survey to monitor students‘ opi- nions on individual courses and the teaching performance of higher education teachers and colleagues. The aim is to examine their reception and response to feedback on their teaching performance. The data was collected through a survey questionnaire. 244 teaching staff members at the University of Ljubljana participated in the survey, 15 of whom did not read the student feedback. The final sample consisted of 229 people. The surveyed members of staff generally have a positive attitude towards the feedback. However, their opinion on whether the received feedback should play a major role in promotion decisions is less unanimous. Negative feedback motivates the surveyed teachers to improve their teaching, while positive feedback instils feelings of self-confidence. The received feedback gives most of the surveyed teachers ideas on changes in teaching style and encourages them to improve their teaching. The results show statistically significant differences between teaching assistants on the one hand, and assistant professors, associate professors and professors on the other hand. The most signi- ficant difference was in the evoked feelings of confidence when receiving positive feedback and evoked feelings of doubt about one‘s abilities. The findings can offer insight into the reception and response of higher education teachers to feedback. Thus, the conclusions of this thesis can aid the management of the University of Ljubljana in developing strategies for dealing with feedback. Keywords: student evaluation of teaching, feedback, higher education teachers, pedagogical work, University of Ljubljana Email for correspondence: pogorelcnik.t@gmail.com Pogorelčnik, Boštjančič