UPORABNA INFORMATIKA 114 2022 - πtevilka 2 - letnik XXX KRATKI ZNANSTVENI PRISPEVKI Učinkovitost laboratorijskih vaj v virtualnem laboratoriju Mojca Ciglarič Univerza v Ljubljani, Fakulteta za računalništvo in informatiko, V ečna pot 113, Ljubljana mojca.ciglaric@fri.uni-lj.si Izvleček V obdobju epidemije Covid-19 so se študentje po vsem svetu soočali z daljšimi obdobji odrezanosti od svojih profesorjev , asistentov in kolegov študentov , saj so pedagoške dejavnosti potekale oddaljeno preko spletnih učilnic, virtualnih laboratorijev in telekonferenč- nih platform. V okviru enega od predmetov na FRI smo skušali ovrednotiti učinkovitost laboratorijskih vaj v obliki oddaljenega učenja. Študente smo za del vsebine razdelili v dve skupini, ena je imela klasično frontalno poučevanje, druga pa se je učila praktičnih veščin oddaljeno s pomočjo elektronskih navodil. Učinkovitost učenja smo merili s številom točk, ki jih je študent za nalogo iz te vsebine dobil na izpitu. Pokazalo se je, da med skupinama ni bilo statistično značilnih razlik v znanju, kar pomeni, da takšne metode lahko uspešno vključujemo v poučevanje tudi takrat, ko nam tega ne predpisujejo vladne uredbe. Ključne besede: oddaljeno učenje, virtualni laboratorij, uporaba IT v pedagoškem procesu Effectiveness of laboratory work in a virtual laboratory Abstract During the Covid-19 epidemic, students around the world were faced with periods of isolation from their professors, assistants and fellow students as pedagogical activities took place remotely through online classrooms, virtual labs and teleconferencing platforms. In one of the courses at FRI, we attempted to evaluate the effectiveness of laboratory work in the form of distance learning. For a section of the course contents, the students were divided into two groups. One of the groups had classic frontal teaching while the other studied remotely by means of electronic instructions. The effectiveness of learning was measured by the number of points that the students received for one of the exam questions related to the chosen contents. No statistically significant differences in knowledge were determined, which means that distance learning can be successfully included in the pedagogical process even when not required by the government. Keywords: Distance learning, virtual laboratory , IT -supported learning and teaching 1 U VO D Pandemija Covid-19 je po vsem svetu omejila pou- čevanje. Študentje so se soočali z daljšimi časovni- mi obdobji, ko se je od njih pričakovalo, da ostanejo doma in se učijo sami. Medtem ko je bilo frontalno poučevanje relativno enostavno prenesti v virtualni prostor s pomočjo telekonferenčnih orodij, so prak- tično delo in laboratorijske vaje zahtevali več pozor- nosti. Študenti pri praktičnem delu niso mogli dobiti takojšnjega odziva in namigov za odpravljanje težav. Koncept in strukturo laboratorijskih vaj je bilo treba spremeniti in prilagoditi za učenje na daljavo z manj interakcijami, obenem pa je bilo treba pripraviti več namigov za dodatne informacije in iskanje le teh na spletu. Od pedagoškega osebja se je pričakovalo, da se bo hitro prilagodilo spletnim tehnologijam in no - vim pedagoškim pristopom ter nemudoma izdelalo učno gradivo za podporo študentom pri samostoj- nem učenju s pomočjo informacijske tehnologije. Govindarajan in Srivastava [3] gledata obdobje oddaljenega poučevanja med epidemijo kot globalni eksperiment, za katerega ne vemo, kakšne posledice bo imel dolgoročno. Številne študije [15, 21, 24-29] sicer kažejo, da ima lahko učenje na daljavo poziti- ven vpliv na učne rezultate, v času pandemije je bilo tudi večinoma dovolj uspešno, vendar je treba pred posploševanjem teh rezultatov upoštevati vse speci - fične okoliščine. Ne vemo, koliko pedagogov svojih rezultatov ni želelo objaviti, ker njihovi študenti niso bili dovolj uspešni. Ne vemo, koliko študentov je štu- Informatika_02-2022.indd 114 8.7.22 13:44 UPORABNA INFORMATIKA 115 2022 - πtevilka 2 - letnik XXX Mojca Ciglarič: Učinkovitost laboratorijskih vaj v virtualnem laboratoriju diralo težje kot običajno, ker so morali ostati doma in niso imeli drugega dela. Prav tako ne vemo, kakšni bi bili dolgoročni učinki izolacije in pomanjkanja so- cialnih stikov, če bi visokošolske dejavnosti v celoti daljše časovno obdobje ponujali na spletu. Rotas in Cahapay [22] opisujeta več kategorij težav, s katerimi so se slušatelji srečali pri učenju na daljavo med pan- demijo: motnje v internetni povezljivosti, neustrezni učni viri, prekinitve električne energije, prezahtevne učne enote, slaba komunikacija med vrstniki, kon- flikt med učenjem in domačimi opravili, finančne težave, zdravstvene težave in težave z duševnim zdravjem (tudi pri družinskih članih). Adedoyin in Soykan [23] navajata, da je digitalna transformacija izvajanja poučevanja prinesla več izzivov, ki izvirajo iz domačega okolja: različna tehnološka opremlje- nost in stopnja znanja, socialno-ekonomski dejavni - ki, motnje, ki jih povzročajo družinski člani in hišni ljubljenčki, digitalne kompetence, težavno oddaljeno ocenjevanje in nadzor izpitov, velika delovna obre - menitev pedagogov. Težavo v raziskavah predsta- vlja tudi vrednotenje učinkov oddaljenega učenja na učne rezultate. Lai in Bower [30] sta analizirala 365 člankov in ugotovila, da je bilo oprabljenih mnogo različnih načinov vrednotenja učinkov. Zato je za posploševanje ugotovitev o uspešnosti oddaljenega poučevanja še prezgodaj. Namen tega članka je ugotoviti, ali je tehnološko podprto učenje praktičnih veščin na daljavo brez prisotnosti pegdagoga lahko enako učinkovito kot klasično frontalno učenje. Med epidemijo so se po- javljali argumenti tako za kot proti, neizpodbitne so bile težave zaradi socialne izoliranosti, kljub temu pa smo v tem času pridobili nove izkušnje, spretnosti in tudi tehnično opremo, ki bi jih lahko v pedagoškem procesu še naprej uporabljali, če seveda znamo po- kazati, da z njimi ne povzročamo škode oziroma ne poslabšujemo kakovosti študija. Oddaljeno učenje mora biti primerno strukturira- no in mora upoštevati sodobne ugotovitve in metode poučevanja [20]. Konstruktivizem je prvi opisal Pia- get [4], ki je ugotovil, da se človek uči tako, da znanje sam aktivno odkriva in si ga sestavlja v smiselno ce - loto. Vigotsky [5] pa je izpostavil, da je bistven temelj učenja interakcija, sodelovanje z drugimi osebami. V oddaljenem oziroma e-učenju so tako danes bistve- ni koncepti konstruktivizem, izkustveno učenje in sodelovanje [6,7]. Pomanjkanje interakcije pri odda- ljenem učenju skušamo nadomestiti z mešanim uče- njem po različnih poteh – v kombinaciji s klasičnim učenjem z neposrednimi stiki [8, 9, 10], kar ima po- zitiven vpliv na motivacijo in pridobivanje znanja [1, 2, 11-13]. Naše ugotovitve o učinkovitosti samostoj- nega učenja praktičnih veščin na daljavo so skladne z zgornjimi in niso pomembne le v kontekstu pan - demije. Obstaja več situacij, v katerih je za učitelje ali študente potrebno ali vsaj priročno izvajati dele učnega procesa v virtualnem prostoru, na primer, ko se soočajo s pomanjkanjem prostora ali računalniške opreme ali ko morajo študenti opraviti svoje labora - torijske vaje izven predvidenega urnika. Izvajanje laboratorijskih vaj na daljavo v tako ime - novanih virtualnih laboratorijih se v literaturi poja - vlja predvsem na področjih naravoslovja in tehnike. Achuthan s soavtorji [14] preučuje vpliv oddaljene izvedbe praktičnih vaj v strojništvu. Poroča, da so oddaljeni uporabniki izvedli naloge v 30% krajšem času in dosegli 200% boljše rezultate. Barros in so- avtorji [12] so izvedli eksperiment v virtualnem ke- mijskem laboratoriju, kjer so opazovali predvsem sodelovanje med oddaljenimi študenti. Študenti z bolj intenzivnim sodelovanjem so dosegli značilno višje končne ocene. Winkelmann in soavtorji [16] so ugotovili, da so bile študentske ocene pri izvajanju kemijskih poskusov v navideznem svetu Second Life primerljive ali nekoliko boljše kot pri fizičnih posku- sih. Na področju računalništva je podobnih poročil malo. Tobarra in soavtorji [17] so opazovali zadovolj- stvo študenotv pri uporabi virtualnega laboratorija pri učenju kibernetske varnosti. Poročajo o visoki stopnji sprejetosti med študenti in o zadovoljstvu z uporabo, ne ovrednotijo pa učinkovitosti učenja. Powell in soavtorji [18] uporabljajo preprost virtual- ni laboratorij in navajajo visoko učinkovitost učenja, vendar te trditve ne podprejo empirično. Kapici [19] navaja srednješolske rezultate, kjer se je izkazalo, da je kombinacija fizičnih in virtualnih laboratorijev dala boljše rezultate učenja kot zgolj fizična ali zgolj virtualna izvedba. 2 Me T o Do Log Ij A Naš glavni interes je bil uporaba principov mešanega (angl. blended) in konstruktivističnega učenja pri la- boratorijskem delu v okviru predmeta Računalniške komunikacije na strokovnem študiju računalništva in informatike, da bi olajšali oddaljeno, tehnološko podprto učenje praktičnih veščin. Opazovali smo le eno krajše poglavje iz vsebine predmeta. S tem smo Informatika_02-2022.indd 115 8.7.22 13:44 UPORABNA INFORMATIKA 116 2022 - πtevilka 2 - letnik XXX Mojca Ciglarič: Učinkovitost laboratorijskih vaj v virtualnem laboratoriju izločili vpliv socialne izoliranosti in pomanjkanja motivacije, ki sta se sicer pokazala kot moteča dejav- nika med daljšimi odbodbji dela od doma. Za opazovanje smo izbrali enega od temeljnih konceptov, ki jih študenti potrebujejo, da obvladajo računalniške komunikacije, in sicer naslavljanje IP , segmentacijo naslovnega prostora, podomrežja in konfiguracijo omrežja. Razumevanje in obvladova- nje teh konceptov je ena najpomembnejših praktič- nih veščin za računalniške inženirje in temelj za razu- mevanje delovanja interneta. Obenem pa je vsebina dovolj strukturirana, da jo je enostavno preverjati na izpitu in natančno točkovati izpitna vprašanja. Praktične laboratorijske vaje so glavno orodje za pridobivanje izkušenj med študijem, predvsem v znanosti in tehnologiji, vendar so pogosto omejene s fizičnim prostorom, opremo in sredstvi, ki so na voljo v visokošolskih institucijah. Med pandemijo so bile laboratorijske vaje omejene zaradi dela od doma in karanten. Potrebe po socialnem distanciranju je bila prisotna tudi takrat, ko je bila fizična prisotnost že mogoča. Da smo lahko zagotavljali visoko kako- vost izobraževanja, smo v zasebnem oblaku name- stili virtualni laboratorij, kompleksno infrastrukturo, ki študentom omogoča lažji dostop do laboratorijske opreme in računalniških virov, potrebnih za vaje. Do vaj so lahko dostopali od koder koli in kadarkoli prek interneta, s čimer smo presegli časovne in prostorske ovire med pedagogi in študenti. Računalniške komunikacije so na študiju računal- ništva začetni predmet, niti za predmet niti za samo uporabo virtualnega laboratorija ni bilo potrebno kako posebno predznanje ali uporaba orodij, zgolj uporaba brskalnika. Uporaba brskalnika današnjim generacijam večinoma ne predstavlja težave, ker pa gre tu za študente računalništva, pa glede potrebne- ga predznanja ali spretnosti tudi v praksi ni bilo ni - kakršnih težav. Študentje v testni skupini so dobili nabor nalog, ki so jih morali opraviti v virtualnem laboratorij - skem okolju, medtem ko prisotnost asistenta ali pro - fesorja med laboratorijskim delom ni bila potrebna. Naloge so bile oblikovane tako, da so spodbujale ustvarjalnost in kreatovnost pri delu, spremljal pa jih je sistem spletne učilnice s forumom, kjer so lahko medsebojno komunicirali in izmenjevali svoje izku - šnje, in nasvete za pot do rešitve. Prek brskalnika so študentje dostopali do svojega virtualnega omrežja s tremi navideznimi računalniki, katerih omrežne na- stavitve so morali konfigurirati v skladu z navodili. Ta so bila dovolj ohlapna, da so lahko naloge opravili na različne načine in z različnimi zaporedji korakov. Nazadnje so morali praktično preveriti ustrezno de- lovanje, na primer medsebojno omrežno dosegljivost sistemov. Študentje v kontrolni skupini so imeli klasične laboratorijske vaje, kjer jim je napotke predstavil asi - stent, in jim pokazal, kaj morajo narediti, naloge pa so nato opravljali v učilnici ob prisotnosti asistenta. Obe skupini študentov sta dobili na izpitu eno od na - log iz vsebine, ki je bila zajeta v opisan eksperiment in rezultat našega eksperimenta je primerjava števila točk, pridobljenih na izpitu, med skupinama. Gradivo za učenje na daljavo je bilo pripravljeno na način, ki je omogočal konstruktivistično učenje: navodila so pustila dovolj prostora za ustvarjalnost študentov in jih spodbudila k iskanju dodatnih in - formacij na internetu. Odprt je bil študentski forum za spodbujanje razprav o sorodnih temah. Zaradi različnih načinov podajanja vsebin in interakcij lah- ko izvajanje označimo tudi kot mešano učenje (ang. blended learning). Po zaključku semestra so imeli študentje možnost opravljati izpit na treh izpitnih rokih v tekočem štu- dijskem letu. Dva od teh sta bila v mesecu neposre- dno po zaključku semestra in ta dva izpitna roka smo si izbrali za opazovanje rezultatov. V oba izpitna roka smo vključili podobno strukturirano nalogo iz opazovanega poglavja in jo točkovali z 10 točkami. Edina neodvisna spremenljivka našega eksperi - menta je metoda poučevanja, testni skupini pa sta tradicionalno frontalno učenje (krajše FU) in odda- ljeno učenje z nalogami, ki se izvajajo v virtualnem laboratoriju (krajše OU). Odvisna spremenljivka je število točk, osvojenih pri opazovanem izpitnem vprašanju o IP naslavljanju. Naša ničelna hipoteza H0 pravi, da bo število točk, pridobljenih pri opazovani izpitni nalogi, ena- ko pri obeh skupinah, FU in OU. Alternativna hipo - teza Ha pravi, da bo število točk pri skupinah FU in OU različno. Poskušali smo čim bolj odpraviti vse prikrite spremenljivke, ki bi lahko vplivale na rezultat: vse - bina predavanj je bila enaka, preostale naloge so bile enake, študentje so uporabljali enaka orodja. Na ta način upamo, da smo izolirali učinke pristopa pou- čevanja/učenja od drugih spremenljivk. Informatika_02-2022.indd 116 8.7.22 13:44 UPORABNA INFORMATIKA 117 2022 - πtevilka 2 - letnik XXX 3 R EZULTATI Po zaključku semestra se je opazovanih dveh izpitnih rokov udeležilo skupno 33 študentov, od tega 10 iz testne in 23 iz kontrolne skupine. Tabela 1 prikazuje velikost obeh skupin in deleže, tabela 2 pa prikazuje deskriptivno statistiko za pridobljeno število točk na izpitu za obe skupini. T abela 1: V elikost skupin. Vsi študenti OU FU Število 33 10 23 Delež 100 % 30,30 % 69,70 % T abela 2: Deskriptivna statistika za število točk na izpitu. N Min Max Povprečje Mediana Std. dev . Varianca OU 10 0 10 5,91 6 2,41 5,79 FU 23 2 10 8,30 9 3,46 11,99 Izvedli smo t-test za neodvisne vzorce, v kate - rem smo primerjali testno skupino OU in kontrolno skupino FU. Bistvenih razlik v številu točk med obe- ma skupinama pri α = 0,05 ni bilo: t(31) = 1,97, p = 0,0573. Tako ne moremo zavrniti ničelne hipoteze H0 in sprejeti alternativne hipoteze Ha. Eksperimentalni rezultati torej kažejo, da lahko pričakujemo, da bodo študenti pri tehnološko podprtem oddaljenem uče- nju pokazali primerljivo znanje kot pri tradicional - nem frontalnem učenju. Rezultati so skladni z ugo- tovitvami številnih drugih raziskovalcev o učinkih e-učenja, tehnološko podprtega učenja in učenja v virtualnih laboratorijih. Ne glede na naše zadovoljstvo z eksperimental- nim rezultatom moramo komentirati tudi možne grožnje veljavnosti ugotovitev. Notranjo veljavnost smo kontrolirali tako, da smo skrbeli, da je metoda učenja edina razlika med skupinama, vse ostalo je bilo enako oziroma smo imeli pod nadzorom. Zuna - nja veljavnost študije pomeni, da je možno ugotovi- tve posplošiti. Ker se naša raziskava osredotoča na razmeroma majhno poglavje vsebin iz enega samega predmeta, je naše rezultate možno robustno posplo- šiti le na podobne kontekste in podobno populacijo, torej na študente dodiplomskega študija računalni- štva, ki poslušajo računalniške komunikacije ali po- doben predmet z dovolj praktičnimi vsebinami (npr. programiranje, porazdeljeni sistemi). Veljavnost konstrukta preverja, ali res merimo to, kar mislimo, da merimo? V našem primeru menimo, da merimo (ocenjujemo) pridobljeno znanje s pre - prostimi vprašanji o dejstvih, naučenih v virtualnem laboratoriju ali v fizični učilnici. To je najpreprostejša metoda ocenjevanja znanja. Raziskovalna skupnost se strinja, da je problem ocenjevanja znanja, zlasti v virtualnih učilnicah in laboratorijih, kompleksen. V našem primeru se moramo zavedati, da verjetno le površno ocenjujemo faktografsko znanje, pri čemer prezremo študentovo ustvarjalnost in sposobnosti reševanja problemov ter analitične sposobnosti, ki jih je morda razvil pri učenju. Veljavnost zaključkov pomeni sprejemanje pravilnih zaključkov glede me- tode učenja in rezultatov. To smo kontrolirali z izbiro objektivnih in enostavno preverljivih meril (točke), neodvisnih od subjektivnih ocen pedagoga. V izogib napačne ali pretirane interpretacije rezultatov našega eksperimenta smo na tem mestu izpostavili različne pomisleke, ki bi lahko ogrozili veljavnost rezultatov. 4 DISKUSIJA Rezultati kažejo, da je tehnološko podprto učenje na daljavo v virtualnem laboratoriju za majhne učne enote prineslo primerljive učne rezultate kot tradici- onalno frontalno učenje. Čeprav v resnici nismo pričakovali, da bodo raz- like med skupinami statistično značilne, smo menili, da bi skupina OU lahko pokazala boljše rezultate kot skupina FU. Naše domneve so temeljile na neformal- nih interakcijah s študenti, ki so nam dali pozitivne povratne informacije o svojih izkušnjah z oddaljenim učenjem in delom v virtualnem laboratoriju. Povpreč- no število točk na izpitu je bilo v resnici pri oddalje- nem učenju višje, čeprav razlike niso bile značilne. Menimo, da sta dve možni razlagi, zakaj med skupinama ni bilo značilnih razlik. Prvič, e-izobra- ževanje je znano po visoki stopnji osipa, kot navajata na primer Xu in Xu [27]. Pedagogi morajo pri obliko- vanju vsebin skrbeti za ohranjanje motivacije in po - zornosti študentov. Če smo bili v tem neuspešni, je bilo morda delo za nekatere študente nezanimivo in se zaradi pomanjkanja motivacije niso naučili vsega, kar bi lahko. Druga razlaga se nanaša na metodolo- gijo ocenjevanja. Izpitna vprašanja so bila namerno preprosto strukturirana, da bi olajšala objektivno ocenjevanje. Vendar pa taka preprosta orodja ne me- rijo dobro sposobnosti reševanja problemov ali dru - gih naprednih pridobljenih znanj. Če bi v izpit vklju- čili bolj odprta problemska vprašanja, bi bila morda celotna slika drugačna. Mojca Ciglarič: Učinkovitost laboratorijskih vaj v virtualnem laboratoriju Informatika_02-2022.indd 117 8.7.22 13:44 UPORABNA INFORMATIKA 118 2022 - πtevilka 2 - letnik XXX Zavedamo se, da je vzorec majhen in da smo pre - verjali zgolj eno poglavje iz vsebine predmeta. V vir- tualni laboratorij smo v vmesnem času že vključili dodatne vsebine, zato prihodnje načrtujemo razširi- tev raziskave na več vsebin in na večji vzorec, prav tako pa razmišljamo tudi o drugačnih načinih pre- verjanja znanja. Na podlagi naših izkušenj podajamo nekaj na- svetov za uspešno implementacijo in integracijo teh - nološko podprtega oddaljenega učenja v obstoječe predmete. Na podlagi naših opažanj menimo, da je takšno učenje bolj primerno za praktične vsebine kot za teoretične koncepte, saj praktično delo ohranja študente aktivne in motivirane. Vsebiine je treba zato skrbno izbrati. Začeti je treba s preprostimi koncepti in nezapletenimi vsebinami in po pridobljenih prvih izkušnjah postopno dodati podporo za bolj zaplete - ne vsebine. Pri predmetu Računalniške komunikacije smo začeli z omrežnim naslavljanjem, kot je opisano v prispevku, nato pa smo postopno vključili dinamič- no usmerjanje z BGP , omrežno programiranje in var- nost omrežnih storitev z uporabo industrijskih do- brih praks. Pri snovanju navodil za spletno gradivo priporočamo upoštevanje načel konstruktivističnega in mešanega učenja. Dobra strategija je usmerjanje študentov k odgovoru v več korakih (npr. z namigi) in jim ne omogočiti zgolj preverjanja pravilnosti od- govora. Nekateri študenti so namreč poročali, da vča- sih potrebujejo le manjši namig za nadaljevanje. 5 S KLEP Naša raziskava kaže, da lahko samostojno, tehno- loško podprto oddaljeno učenje manjših učnih enot pri predmetu Računalniške komunikacije daje dobre rezultate in omogoči pričakovano pridobitev zna- nja dodiplomskim študentom računalništva. Ver- jamemo, da je rezultate mogoče posplošiti vsaj na predmete, podobne Računalniškim komunikacijam v okviru študija računalništva. V luči digitalne preo- brazbe visokega šolstva po epidemiji covid-19 bomo na Univerzi v Ljubljani še naprej združevali tradicio- nalne in tehnološko podprte učne metode, da bi na- šim študentom zagotovili kakovostno izobraževanje in visok nivo praktičnega znanja. Nadaljnje raziskovalno delo na tem področju načrtujemo v smeri širitve na večje število študen- tov, na daljši časovni okvir, z večjim številom vaj in tudi s kompleksnejšimi vajami, ter z večkratnim preverjanjem pridobljenega znanja na različne nači- ne. Opisane metode poučevanja pa uvajamo tudi v druge predmete. Upamo, da bodo opisane ugotovi - tve vzbudile zanimanje tudi na drugih fakultetah ali univerzah in bodo spodbudile in opogumile pedago - ge k vključevanju podobnih metod v svoje predmete. L ITERATURA [1] Dziuban, C., Graham, C.R., Moskal, P.D. et al. (2018). Blen- ded learning: the new normal and emerging technologies. Int J Educ Technol High Educ 15, 3. https://doi.org/10.1186/ s41239-017-0087-5. [2] Brinson, J.R. (2015). Learning outcome achievement in non- -traditional (virtual and remote) versus traditional (hands-on) laboratories: A review of the empirical research, Computers & Education, Vol. 87, pp. 218-237, https://doi.org/10.1016/j. compedu.2015.07.003. [3] Govindarajan V., Srivastava A. (2020). What the Shift to Vir- tual Learning Could Mean for the Future of Higher Educati- on. Harvard Business Review. Available online at: https://hbr. org/2020/03/what-the-shift-to-virtual-learning-could-mean- -for-the-future-of-higher-ed (dostopano jan. 2022). [4] Piaget, J. (1973). To Understand is to Invent. New York: Gros- sman. [5] Vygotsky, L. (1930-1978). Mind in society. Cambridge, MA: Harvard University Press. [6] Nančovska Šerbec, I., Strnad, M., Rugelj, J. (2009). Students‘ attitude to active forms of e-learning. In: M. Čičin-Šain, (ed.). Proceedings Rijeka: MIPRO, 100-103. [7] Ben-Ari, M. (2001). Constructivism in Computer Science Edu- cation. Jl. of Computers in Mathematics and Science Tea- ching, 20 (1), 45-73. [8] Garrison, D.R., Vaughan, N.D. (2008). Blended Learning in Higher Education. San Francisco: Jossey-Bass. 9[] Singh, H. (2003). Building Effective Blended Learning Pro- grams. Education Technology, 43 (6), 51-54. [10] Lapuh Bele, J., & Rugelj, J. (2007). Blended learning - an opportunity to take the best of both worlds. International Journal of Emerging Technologies in Learning (iJET), 2(3). https://doi.org/10.3991/ijet.v2i3.133. [11] M. Anisetti et al. (2007). Learning Computer Networking on Open Paravirtual Laboratories, in IEEE Trans. on Educ., vol. 50, no. 4, pp. 302-311, doi: 10.1109/TE.2007.904584. [12] B. Barros, T. Read and M. F. Verdejo (2008). »Virtual Collabo- rative Experimentation: An Approach Combining Remote and Local Labs,“ in IEEE Trans. on Education, vol. 51, no. 2, pp. 242-250, May 2008, doi: 10.1109/TE.2007.908071. [13] Kalyuga, S. (2007). Enhancing instructional efficiency of inte- ractive e-learning environments: A cognitive load perspecti- ve. Educational Psychology Review, 19(3), 387–399. https:// doi.org/10.1007/s10648-007-9051-6 [14] Achuthan, K., Raghavan, D., Shankar, B. et al.(2021). Impact of remote experimentation, interactivity and platform effecti- veness on laboratory learning outcomes. Int J Educ Technol High Educ 18, 38 (2021). https://doi.org/10.1186/s41239- 021-00272-z [15] Kolil, V.K., Muthupalani, S. & Achuthan, K. (2020).Virtual experimental platforms in chemistry laboratory education and its impact on experimental self-efficacy. Int J Educ Technol High Educ 17, 30 (2020). https://doi.org/10.1186/s41239- 020-00204-3 [16] Kurt Winkelmann, Wendy Keeney-Kennicutt, Debra Fowler, Maria Lazo Macik, Paola Perez Guarda & Connor Joan Ahl- Mojca Ciglarič: Učinkovitost laboratorijskih vaj v virtualnem laboratoriju Informatika_02-2022.indd 118 8.7.22 13:44 UPORABNA INFORMATIKA 119 2022 - πtevilka 2 - letnik XXX born (2020). Learning gains and attitudes of students per- forming chemistry experiments in an immersive virtual wor- ld, Interactive Learning Environments, 28:5, 620-634, DOI: 10.1080/10494820.2019.1696844 [17] Tobarra, L.; Robles-Gómez, A.; Pastor, R.; Hernández, R.; Duque, A.; Cano, J. (2020). Students’ Acceptance and Tracking of a New Container-Based Virtual Laboratory. Appl. Sci. 2020, 10, 1091. https://doi.org/10.3390/app10031091 [18] Powell, V.J.H. et. al., (2007). VLabNet: A Virtual Laboratory Environment for Teaching Networking and Data Communica- tions. Proc. ISECON 2007. [19] Kapici, H.O., Akcay, H. & de Jong, T. (2019). Using Hands- -On and Virtual Laboratories Alone or Together-Which Works Better for Acquiring Knowledge and Skills?. J Sci Educ Tech- nol 28, 231–250 (2019). https://doi.org/10.1007/s10956-018- 9762-0 [20] Jedrinović S., Ferk Savec V., Rugelj J. (2019) Innovative and Flexible Approaches to Teaching and Learning with ICT. In: Väljataga T., Laanpere M. (eds) Digital Turn in Schools—Re- search, Policy, Practice. Lecture Notes in Educational Tech- nology. Springer, Singapore. https://doi.org/10.1007/978- 981-13-7361-9_12. [21] Geng S., Law K.M.Y., Niu, B. (2019). Investigating self-direc- ted learning and technology readiness in blending learning environment. Int J Educ Technol High Educ 16, 17. https:// doi.org/10.1186/s41239-019-0147-0. [22] Rotas, E. E., & Cahapay, M. B. (2020). Difficulties in Remo- te Learning: Voices of Philippine University Students in the Wake of COVID-19 Crisis. Asian Journal of Distance Educati- on, 15(2), 147-158. [23] Adedoyin, O. B., & Soykan, E. (2020). Covid-19 pandemic and online learning: the challenges and opportunities. Inte- ractive learning environments, 1-13. [24] Dietrich, N., Kentheswaran, K., Ahmadi, A., Teychené, J., Bessière, Y., Alfenore, S., ... & Hébrard, G. (2020). Attempts, successes, and failures of distance learning in the time of COVID-19. Journal of Chemical Education, 97(9), 2448-2457. [25] Konecki, M. (2020). Impact of distance learning on motivation and success rate of students during the covid-19 pandemic. In 2020 43rd International Convention on Information, Com- munication and Electronic Technology (MIPRO) (pp. 813- 817). IEEE. [26] Iglesias-Pradas S., Hernández-García A., Chaparro-Peláez J., Prieto J. L (2021). Emergency remote teaching and stu- dents’ academic performance in higher education during the COVID-19 pandemic: A case study, Computers in Human Be- havior, Vol. 119, ISSN 0747-5632, https://doi.org/10.1016/j. chb.2021.106713. [27] Xu D., Xu Y. (2019). The Promises and Limits of Online Higher Education: Understanding How Distance Education Affects Access, Cost, and Quality. American Enterprise Institute. [28] Gambo, Y., Shakir, M.Z. (2021). Review on self-regulated learning in smart learning environment. Smart Learn. En- viron. 8, 12 (2021). https://doi.org/10.1186/s40561-021- 00157-8 [29] Rashid T., Asghar H. M., Technology use, self-directed le- arning, student engagement and academic performance: Examining the interrelations, Computers in Human Behavior, Vol. 63, 604-612, ISSN 0747-5632, https://doi.org/10.1016/j. chb.2016.05.084. [30] Lai J. W., Bower M. (2019). How is the use of technology in education evaluated? A systematic review. Computers & Education, 133, 27-42. https://doi.org/10.1016/j.compe- du.2019.01.010.  Mojca c iglarič je diplomirala, magistrirala in doktorirala na Fakulteti za računalništvo in informatiko Univerze v Ljubljani, kjer je tudi zaposlena. Je vodja Laboratorija za računalniške komunikacije in dekanja FRI, pučuje predmete s področja računalniiških komunikacij in porazdeljenih sistemov . Njena raziskovalna zanimanja vključujejo komunikacijske protokole, porazdeljene sisteme in infrastrukture, metode poučevanja ter varnost. Je avtorica ali soavtorica več kot 70 člankov , 5 poglavij v monografijah in dveh knjig. Mojca Ciglarič: Učinkovitost laboratorijskih vaj v virtualnem laboratoriju Informatika_02-2022.indd 119 8.7.22 13:44