U P O R A B N A I N F O R M A T I K A 32020 - πtevilka 1 - letnik XXVIII zNANStVENI prISpEVkI Iztok Bitenc, Borut Werber, Marko Urh Univerza v Mariboru, Fakulteta za organizacijske vede, Kidričeva cesta 55a, 4000 Kranj iztok.bitenc@um.si, borut.werber@um.si, marko.urh@um.si Kombinirano učenje – izkušnje in rešitve Izvleček Ob uvedbi kombiniranega e-učenja smo se na fakulteti predavatelji in študenti srečali z novimi izzivi. Posebej se je to pokazalo pri učenju računalniškega programiranja in podobnih predmetih, ki od študentov zahtevajo sprotno usvajanje znanja in logično kombini- ranje tega znanja pri reševanju zastavljenih problemskih nalog. Tu smo zaznali povečano odsotnost študentov, plagiatorstvo in izje- mno povečanje obremenitev predavateljev pri pregledovanju in ocenjevanju problemsko usmerjenih e-nalog. Rešitve smo našli na več področjih. Uvedli smo več načinov motiviranja študentov za sprotno delo. Spremenili smo vsebino e-nalog, da osnovni pregled pra- vilnosti oddane kode izvede računalnik. Prilagodili smo nastavitve orodja za podporo e-študiju za čim hitrejši pregled in ocenitev e- -nalog. Namesto informativnih e-nalog smo izvedli e-predavanje kot videokonferenco. Z vzporednim izvajanjem predavanj in vaj smo študentom dali več časa za usvojitev novih znanj. Rezultat teh in tudi drugih ukrepov je danes za približno tretjino povečana udeležba študentov na prvem izpitnem roku. Ključne besede: e-učenje, kombinirano učenje, Moodle, praktične izkušnje Abstract Blended e-learning introduced new challenges for teachers and students in our faculty. This was especially true for computer pro- gramming class and similar subjects, where students need to build up their knowledge on a regular basis and logically combine the acquired knowledge in problem-solving e-lessons. We have noticed an increased absence from classes and plagiarism, as well as an extraordinary increase of teachers‘ workload when grading the submitted problem-solving e-lessons. Solutions were found in different fields. We have introduced many methods to motivate students for regular study activities. Requirements for e-lessons were changed in order to use the computer as a first tool to assess the correctness of the submitted computer code. We have also changed the settings in Moodle‘s review module in order to streamline the grading of e-lessons. A videoconference was used instead of an e-lecture. By combining lectures and exercises in a timetable, we have given the students more time to master the new knowledge. The introduction of these and certain other measures improved the attendance of students in the first exam period by about one third. Keywords: E-learning, blended learning, Moodle, practical experience. 1 UvoD Po splošni definiciji je učenje proces ustvarjanja no- vega znanja in pridobivanja veščin skozi izkušnje. Na Fakulteti za organizacijske vede Univerze v Ma- riboru (FOV) nam je bolj domača definicija, ki jo po- nuja Slovar slovenskega knjižnega jezika za področje šolstva: programirano učenje je individualizirano učenje po vnaprej natančno pripravljenem gradivu s pomočjo priprav za učenje ali posebnih knjig. Seve- da bo potrebno to definicijo dopolniti, saj je silovit razvoj informacijske in komunikacijske tehnologi- je (IKT) z novimi učnimi metodami in orodji moč- no posegel tudi v domeno izobraževanja. Za FOV je že kmalu po prelomu tisočletja postalo zanimivo področje e-izobraževanja, saj smo imeli v preteklo- sti veliko število izrednih študentov, ki so jim naši predavatelji predavali na več kot 10 lokacijah po vsej Sloveniji. V e-izobraževanju smo videli možnost U P O R A B N A I N F O R M A T I K A4 2020 - πtevilka 1 - letnik XXVIII Iztok Bitenc, Borut Weber, Marko Urh: Kombinirano učenje – izkušnje in rešitve zmanjšanja obremenitve predavateljev in znižanje stroškov, povezanih s predavanji na lokacijah. Tako smo v enem od laboratorijev pričeli poskusno uvajati e-izobraževanje s podporo učne platforme Moodle že leta 2004 (Leskovar, 2005). Ker so se tudi na nivoju univerze pričele odvijati aktivnosti v zvezi z uvedbo e-študija, smo z razvojem lastne rešitve počakali. Kot člani Univerze v Mariboru smo na osnovi strategije univerze leta 2011 vpeljali posebno obliko e-študija – tako imenovano kombinirano učenje (blended lear- ning) – klasično poučevanje v kombinaciji z e-študi- jem, ki je bilo podprto na nivoju univerze z Moodle učno platformo. Približno polovica predavanj in vaj se je tako namesto v klasični obliki v predavalnicah začela izvajati izključno z računalnikom. Seveda smo ob uvedbi začeli zaznavati težave: od zamujanja pri oddaji e-nalog, povečane odsotnosti študentov na e- -predavanjih in vajah, pojava plagiatorstva pri oddaji e-nalog do preobremenjenosti učiteljev zaradi pre- gledovanja velikega števila e-nalog. Več let smo tako iskali in izboljševali organizacijske in tudi vsebinske rešitve, ki jih v tem prispevku želimo predstaviti. 2 oPreDelitev Pojmov Preden opredelimo problem in predlagamo možne rešitve, je potrebno opredeliti osnovne pojme, ki se uporabljajo na tem področju. E-študij omogoča platformo, ki ob vsakem času in na vsakem mestu omogoča nadgradnjo znanj in spretnosti (Gowda & Suma, 2017). Zagotavlja platformo, v kateri posame- znik dobi prilagojen paket, ki je povezan s ključnimi tematskimi področji, s pomočjo samovodenega pro- cesa. To predstavlja sodelovanje tehnologije, pedago- gike in akreditacije, in sicer s ciljem pripraviti privla- čen koncept učenja, imenovanega e-učenje. Glede na vključenost e-učenja v pedagoški proces ločimo dva koncepta: študij na daljavo in kombini- rano učenje (»blended learning«). Medtem ko študij na daljavo običajno predstavlja študij, kjer študenti ves študij izvajajo od doma na osnovi gradiv, nalog in testov, sprva v papirnati obliki in niso nikoli fizič- no skupaj s predavatelji (Siemens idr., 2015)online learning, and blended learning. With the intent of in- forming future research and practice in the emerging discipline of digital learning, this tertiary study fo- cuses on the history and state of distance education, and the under- standing of the large body of empi- rical research as captured by secondary studies (i.e., meta-analyses and systematic literature reviews, ka- sneje izvedeno v obliki »on-line study«, je kombini- rano učenje mešanica klasičnega učenja v učilnici v kombinaciji z e-študijem, ki omogoča delo na daljavo z uporabo sodobnih informacijskih tehnologij (Ken- ney & Newcombe, 2011; Nazarenko, 2015). Z vidika usmerjenosti ločimo v učitelja usmerjeno učenje (Te- acher-Centric learning) in v učence usmerjeno učenje (Learner Centric Learning) (Gowda & Suma, 2017). Medtem ko v učitelja usmerjeno učenje poudarja pomen pripravljenega predmetnika s postavljenimi temami, vsebinami in cilji, ki jih učitelj s svojim po- sredovanjem učencem poskuša doseči, se v učence usmerjen študij posveča učencem kot posamezni- kom, njihovim željam in potrebam, saj učenci dobi- jo aktivno vlogo v učnem procesu (skupinsko delo, medsebojno ocenjevanje, podajanje snovi s strani učencev, igranje vlog, učenje z igro …), učitelj pa je predvsem v vlogi usmerjanja in organiziranja iz- menjave znanj med učenci (Gowda & Suma, 2017). V več raziskavah so proučevali razlike med e-študi- jem in klasičnim študijem (Daymont & Blau, 2008; Gowda & Suma, 2017; Nazarenko, 2015; William T. Kaufman, 2015). Večinoma ugotavljajo, da je osip študentov večji pri e-študiju in se kot najbolj opti- malna oblika kaže kombinirano učenje. V praksi se je pokazalo, da je zelo pomembno, kaj se pri posame- znem predmetu uči in kaj se pri posameznem pred- metu zahteva. Ugotavlja se, da je pri e-študiju zelo pomembna komunikacija predavatelja s študentom, saj slednji hitreje izgubi interes in se izgubi, če mu pri delu ne pomaga predavatelj (Moore, 2014). Še več, ni dovolj čas komuniciranja, temveč kvaliteta komuni- ciranja. Osebna motivacija, oblika študijskih gradiv, učno okolje in organizacijska podpora so ključni de- javniki, ki vplivajo, da več študentov prekine e-študij (Wang, Foucar-Szocki, Griffin, O’connor, & Sceiford, 2003). V raziskavi (Anderson, 2008) so proučevani dejavniki, ki vplivajo na uspešno izvedbo e-učenja. Med slednje spadajo lastnosti študentov, učiteljev, razpoložljiva tehnologija, vsebina predmetov, pod- pora študentom, organiziranost inštitucije, lastnosti družbe in stroški. V tem prispevku se osredotočamo na predavatelje, študente in organiziranost predme- tov. 3 ŠTUDIJ NA FOV Na FOV imamo seminarski način študija – predava- nja in vaje se za vsak predmet izvajajo praktično vsak U P O R A B N A I N F O R M A T I K A 52020 - πtevilka 1 - letnik XXVIII Iztok Bitenc, Borut Weber, Marko Urh: Kombinirano učenje – izkušnje in rešitve delovni dan v tednu po 3 šolske ure, običajno po dva predmeta vzporedno, pogosto tudi trije. Prvi izpitni rok je običajno 2–3 tedne po izteku predavanj in vaj. To pomeni za študente in predavatelje precej natrpan urnik. Prav tako nimamo predpisane obvezne pri- sotnosti na predavanjih in vajah. Z večjim številom udeležencev (do 150 študentov) se običajno srečamo v prvem letniku, ko vsi študenti obiskujejo skupni predmetnik, predmeti pa so bolj informativni. V viš- jih letnikih se študenti razdelijo na 3 programe in so skupine velike od 10 do 40 študentov, zahtevnost predmetov in obveznosti študentov pa se povečajo. V študijskem letu poslušajo študenti okrog 8 pred- metov in 700 ur predavanj in vaj. Programska oprema za e-študij je Moodle (http:// moodle.org/). To je odprtokodna učna platforma, ki izobraževalcem, administratorjem in učencem zagotavlja enoten, zanesljiv in integriran sistem za ustvarjanje prilagojenih učnih okolij. Z več deset ti- soč namestitvami in več kot 90 milijoni uporabnikov je največja učna platforma na svetu. Je enostavna za uporabo, preko licence GNU odprtokodna, podprta z močno skupnostjo organizacij in razvijalcev. Pre- vedena je v slovenščino, zanjo pa obstaja tudi več sto vtičnikov, ki dodatno razširijo njeno uporabnost (Moodle, 2019). Na FOV za podporo e-študiju prete- žno uporabljamo univerzitetni strežnik, dostopen na naslovu https://estudij.um.si/, pri enem predavatelju pa tudi lokalno namestitev (https://swqlab.fov.um.si/ moodle/). Eden od uporabljenih Moodlovih vtičnikov je tudi odprtokodni spletni videokonferenčni sistem Big Blue Button (BBB) (http://bigbluebutton.org/), ki Moodlovi spletni učilnici doda aktivnost »videokon- ferenca«. BBB podpira deljenje video in avdio vsebin, naprednih predstavitev z uporabo table (kazalec, približevanje, risanje), javne in zasebne klepetalnice, deljenje zaslona in podobno. Študent spremlja pre- davatelja (živa slika in glas predavatelja, deljen ekran predavatelja – »tabla«, kjer predavatelj lahko kaže prosojnice ali npr. piše programsko kodo, klepetal- nica, kviz) in ostale udeležence (klepetalnica, zvok, deljen ekran) v realnem času in se aktivno odziva na način, ki mu ga omogoči moderator sestanka (Big Blue Button, 2019). 4 IzKUŠNJe z e-ŠTUDIJem V PRAKSI Opažene težave pri izvajanju e-študija in njihove rešitve lahko v grobem razdelimo v dve kategoriji: 1) posamezne rešitve pri specifičnih zahtevah in 2) obvladovanje velikega števila udeležencev. Pri obeh imamo podkategoriji: a) organizacijske rešitve, kjer so spremenili način izvedbe predavanj in vaj, in b) vsebinske rešitve, kjer so dejansko spremenili vsebi- no predmetov. 5 ReŠITVe SPecIFIčNIH zAHTeV Predmeti, ki so se še iz časov pred uvedbo e-študi- ja izkazali za težavne, so predmeti, kjer študente uči- mo osnove računalniškega programiranja v drugem letniku informacijske smeri študija. Predmeti so ime- li v zgodovini poučevanja veliko različnih imen in 5 različnih programskih jezikov (trenutno sta aktualna jezika JavaScript in Java), jedro vsebine pa večinoma ostaja isto. Študente na konkretnem višjenivojskem programskem jeziku učimo osnov programiranja: od ukazov programskega jezika preko metod, ki se uporabijo za analizo problema in za izgradnjo algo- ritma za programsko rešitev, do dejanskega pisanja in razhroščevanja kode. Cilj predmetov je usposobiti študente, da samostojno na podlagi zahtev izdelajo pravilno delujoč program. Predmeti so med zahtev- nejšimi, saj se programiranja ne da naučiti »na pa- met«, ampak mora študent dejansko razumeti načela programiranja in obvladati pravilno uporabo gra- dnikov programskega jezika. Brez tega študent na izpitu, ki se vedno izvaja na računalniku, za zadano nalogo in v omejenem času enostavno ni sposoben sestaviti algoritma delovanja in na računalniku napi- sati delujoče programske kode. Zahtevano znanje se pri vsakem predmetu tokom predavanj in vaj postopno nadgrajuje, kar pomeni, da mora študent za uspešno nadaljevanje vsaj dobro poznati vsebine prejšnjih predavanj in vaj. Študent, ki izpusti dan predavanj ali vaj, mora manjkajočo snov samostojno predelati do naslednjega dneva, si- cer tvega, da naslednjim predavanjem ne bo mogel uspešno slediti. Ob običajnem razporedu dveh pred- metov dnevno se je tako samostojno delo izkazalo kot zahtevna naloga. Pri klasičnem podajanju predmeta pred uved- bo e-študija smo sprotno delo poskusili »vsiliti« z vmesnimi kolokviji, ki so se na koncu sešteli v oce- no predmeta, vendar je na ta način uspelo zaključiti predmet le boljšim študentom oz. v povprečju manj kot tretjini. Začetne kolokvije je pisala večina študen- tov, izrazit osip se je pokazal, ko je snov postala zah- tevnejša, npr. delo z datotekami, sploh pa pri upora- U P O R A B N A I N F O R M A T I K A6 2020 - πtevilka 1 - letnik XXVIII Iztok Bitenc, Borut Weber, Marko Urh: Kombinirano učenje – izkušnje in rešitve bi eno- in dvodimenzionalnih tabel (array). Ko smo iskali razloge za osip študentov, smo pogosto dobili odgovor, da je snov postala prezahtevna in da bodo ta predmet pustili »za konec«, ko bodo imeli več časa. Iz rezultatov drugih študij izhaja, da nimamo s tem težav le pri nas (Daymont & Blau, 2008). Tak način študentskega »dela« ima pri e-študiju dodatno neprijetno posledico: povzroči dodatno obremenitev pedagoških delavcev, ki morajo v dneh pred izpitni- mi roki znova nadzorovati oddaje e-nalog predme- tov, ki so se dejansko že iztekli in zanje nimajo več predvidenih pedagoških ur. E-študij smo kot člani Univerze v Mariboru vpe- ljali v obliki kombiniranega učenja – klasično pou- čevanje v kombinaciji z e-študijem. Ker nismo imeli veliko predhodnih izkušenj, je bila prva delitev časa med njima približno 50 % predavanj in vaj v e-obliki. Novonastale e-naloge so dobile dve vsebini: samo- stojno učenje manjših omejenih vsebin (npr. predsta- vitev in uporaba tekstovnih, računskih, datumskih … funkcij in metod) in utrjevanje že obdelane snovi. Primer dela naloge za utrjevanje predstavljene snovi je prikazan spodaj. Vse e-naloge so bile zastavljene tako, da bi jih bolj- ši študenti rešili v približno eni uri, slabši pa v treh urah. Le redki študenti so reševali e-naloge v tistih urah, ki se bile predvidene po urniku in ko smo pre- davatelji sedeli pred svojimi računalniki in čakali na njihova vprašanja (sinhrona e-predavanja ali vaje). Študenti so e-naloge razumeli kot asinhrona preda- vanja ali vaje in so e-naloge oddali enkrat v tistem dnevu, običajno v večernih urah. Zato smo predava- telji hitro prilagodili svoj način dela in čas za oddajo e-nalog temu »urniku«. Tako je zadnji čas za oddajo e-nalog (običajno 20:00) postal dejansko čas, ko smo začeli pregledovati oddane e-naloge. Delali smo torej izven rednega delovnega časa, vendar smo to kma- lu uredili s pogodbami o delu na domu. Na žalost se je prav tako hitro pokazalo, da je veliko (tudi do polovice) študentov razumelo e-naloge kot dodaten prosti čas in jih niso rešili na sprejemljiv način, jih sploh niso rešili ali pa so v skrajnih primerih oddali rešitve svojih sošolcev, to je plagiate. Ker niso prede- lali predvidene snovi, vsi ti študenti niso imeli dobre osnove za naslednja predavanja, zato so jim sledili z opaznimi težavami. Rešitev, kako pripraviti študente k redni oddaji e-nalog, smo najprej poiskali v prisili: oddane spre- jemljive e-naloge so postale pogoj za pristop k izpitu. Še vedno pa nismo rešili težave glede prepoznega oddajanja e-nalog. Prisile, to je »zapiranja« nalog po pretečenem roku za oddajo, nismo mogli uporabiti iz več razlogov:  že v prvem poskusu časovne omejitve oddaje se je pokazalo, da je kasneje potrebno za vsakega za- mudnika posebej ročno nastaviti možnost oddaje,  oddane e-naloge so pogoj za pristop k izpitu in zato oddaja ne sme biti onemogočena,  za zaključek pa smo dobili še pravno mnenje, da časovno ne smemo omejiti oddaje, ker to ni v skla- du z neobveznim obiskom vaj in predavanj, kar pomeni, da študent lahko zamudi oddajo. Zato smo se namesto »prisile« odločili uporabiti »spodbudo«. Uvedli smo sistem točkovanja: za od- dano e-nalogo, ki je sprejemljiva, je dobil študent toč- ko. Vsaj eno točko za vsako e-nalogo je moral dobiti, da je lahko pristopil k izpitu. Študent je lahko do- bil dodatno točko, če je v roku oddal e-nalogo. Če je zbral več kot 85 % možnih točk, je to pomenilo, da je pravočasno oddal štiri od petih e-nalog, zato se mu je končna ocena predmeta zvišala za 1 oceno. Namesto U P O R A B N A I N F O R M A T I K A 72020 - πtevilka 1 - letnik XXVIII Iztok Bitenc, Borut Weber, Marko Urh: Kombinirano učenje – izkušnje in rešitve 8, ki jo je »prislužil« na izpitu, je dobil 9. Predstavljeni model spodbude smo uporabili pri drugi generaciji študentov, ki so imeli e-študij. Izkazal se je za sicer uporabnega, vendar je bilo preveč enostavno priti do dodatne točke pri končni oceni predmeta. Zato smo ga delno spremenili. Sedaj že več let uporabljamo 3-točkovno lestvico. Prvo in obvezno točko dobi študent, ko odda spre- jemljivo nalogo. Drugo dobi za pravočasno oddajo, tretjo pa, če izpolni dodatne, natančno opredeljene zahteve. Primer take naloge je prikazan na sliki 1. Osnovna naloga je, da študent napiše kodo, ki bo iz- pisala tabelo množenja do 10. Precej časa smo prihranili, ko smo način pregle- dovanja in ocenjevanja nalog prilagodili postopku, ki ga podpira Moodle. Na začetku smo pregledova- li e-naloge in dajali ocene v modulu za ocenjevanje, toda v eni od Moodlovih posodobitev prikaza od- danih e-nalog ni bilo več mogoče urediti po datumu oddanih e-nalog. To je povzročilo preveč zamude pri iskanju naknadno oddanih nalog, zato smo ta način pregledovanja in ocenjevanja hitro nadomestili z mo- dulom Ogled vseh oddaj. V tem modulu vidimo in oce- nimo več e-nalog naenkrat, lahko pa ga tudi do neke mere prilagodimo našim potrebam, kot je prikazano na sliki 2. Slika 2 je bila narejena na širini ekrana 1920 točk, a smo morali prilagoditi postavitev stolpcev, da ima- mo na enem ekranu vidne vse podatke, ki jih potre- bujemo za ocenjevanje. V stolpcih, ki so skriti, bi bili sicer prikazani: slika uporabnika (študenta), ime in priimek, številka ID, naslov e-pošte in stanje odda- je, vendar bi bil zato stolpec Komentarji odziva, ki ga uporabljamo za sporočila študentom, izven vidnega področja okna. Viden bi postal šele z dodatnim pre- mikanjem levo-desno, za kar pa potrebujemo miško z dodatno funkcionalnostjo srednjega gumba. Postopek pregledovanja in ocenjevanja e-naloge se začne, ko študent prilepi (»paste«) kodo nalo- ge kot navadno besedilo v okvir za oddajo naloge. Prednost take oddaje pred oddajo datoteke je, da je za ocenjevalce vsebina naloge »oddaljena« samo en klik. Ocenjevalci besedilo izberemo in »prilepi- mo« v pripravljeno ogrodje programa, pregledamo kodo in jo poskusimo izvesti. Na podlagi rezultata nato damo ali oceno ali pa pripombe (komentarje) na nalogo. Pripombam na vrhu dodamo datum in čas nastanka pripombe, ki ga uporabimo za preverjanje, ali je študent nalogo dopolnil. Resda bi za to lahko uporabili tudi stolpec Komentarji oddaje, kamor se sa- modejno zapiše čas oddaje komentarja, toda vsebina stolpca je privzeto skrita in zahteva dodaten klik za razkritje, komentarji pa so prikazani po naraščajo- čem zaporedju (zadnji je vedno na dnu), kar zahteva še dodatno pomikanje vsebine okna. Držimo se tudi pravila, da študentu ne damo ocene, dokler njegova naloga ni sprejemljiva. Tako se izognemo nekaj kli- kom, ki so potrebni za podaljšanje roka za oddajo naloge, ki se privzeto zapre po ocenitvi. Seveda smo uvedli tudi druge spremembe v iz- vedbi predavanj in vaj. Kot vsebinsko spremembo smo na vseh kontaktnih predavanjih in vajah zače- li močno poudarjati pomen rednega in sprotnega dela. Takoj na začetku študentom povemo, da bodo morali začetniki pri programiranju za pozitivno oce- no vložiti nekaj deset ur v tipkanje in preskušanje Slika 1: Primer e-naloge. U P O R A B N A I N F O R M A T I K A8 2020 - πtevilka 1 - letnik XXVIII Iztok Bitenc, Borut Weber, Marko Urh: Kombinirano učenje – izkušnje in rešitve delovanja programske kode, ker je to edini znani na- čin, kako se naučiti samostojnega programiranja. V prvi polovici predavanj ali vaj jim to tudi stalno ome- njamo. Prvi dan običajno predstavimo tudi najslabši scenarij, ki se pogosto zgodi študentom, ki »odloži- jo« predmet. Čaka jih intenziven študij v avgustu, s plačevanjem inštruktorja, udeležbo na zadnjem izpi- tnem roku v študijskem letu in, za okrog polovico ta- kih študentov, ponavljanje letnika. Uspešnost takega pristopa je zaradi relativno nizkega števila udeleže- nih študentov (8–15 študentov) težko točno izmeri- ti. V zadnjih nekaj letih sta na preskusnem izpitnem roku (neuradni izpit, ki ga pišejo takoj ob zaključku predmeta, rezultat pa se upošteva pri uradnem izpi- tnem roku samo v primeru pozitivne ocene) običaj- no prisotni okrog dve tretjini študentov, kar je opa- zen napredek glede na eno tretjino iz obdobja pred e-študijem. Kot organizacijsko prilagoditev smo uvedli vzpo- redno izvajanje predavanj in vaj: Po dveh ali treh dneh predavanj (spoznavanja z novo snovjo) sledita dan ali dva vaj (utrjevanje nove snovi). Tako lahko študenti, ki so npr. manjkali na predavanju ali sno- vi na predavanju niso dobro razumeli, na vajah še vedno usvojijo uporabo nove snovi. S tem odpade- jo težave zaradi neznane snovi pri nadaljnjih pre- davanjih. Predavateljem veliko časa prihrani uporaba pre- prečevanja oddaje nalog (zaklepanje), ko se predmet izteče in je bil izveden prvi izpitni rok. Ker študenti – zamudniki ne morejo več normalno oddati zahte- vanih e-nalog, stopijo v stik s predavateljem ali asi- stentom. S tem pa ga opozorijo nase in zato asistentu ali predavatelju ni potrebno dva tedna pred vsakim izpitnim rokom več dni zapored pregledovati oddaje e-nalog za predmete, ki so se zaključili že pred več meseci. Moodle sicer lahko nastavimo, da ob vsaki oddaji e-naloge dobi predavatelj ali asistent e-poštno sporočilo, toda v praksi se je izkazalo, da to močno obremeni e-poštni predal in lastnika predala, zato smo to možnost izključili. Večino močno zamujenih e-nalog tako študenti – zamudniki opravijo s poši- ljanjem nalog preko e-pošte, kar je za izvajalca bolj priročno kot globoko v Moodlovih menijih odklepati za vsakega zamudnika vsako e-nalogo posebej. Omeniti velja tudi, da smo v študijskem letu 2017– 18 za nekatere predmete zmanjšali število ur e-vaj in e-predavanj in povečali število kontaktnih ur. Razlog za to najbolje ilustrira primer odlične študentke, ki je dosegala nadpovprečne rezultate pri vseh predme- tih, bila uvrščena na dekanovo listo najuspešnejših študentov, bila vedno prisotna na predavanjih in va- jah, a je kljub temu za nalogo, planirano za eno šol- sko uro, zaradi neobičajne tipkarske napake porabila Slika 2: Prilagojeno okno za ocenjevanje vseh oddaj e-nalog U P O R A B N A I N F O R M A T I K A 92020 - πtevilka 1 - letnik XXVIII Iztok Bitenc, Borut Weber, Marko Urh: Kombinirano učenje – izkušnje in rešitve celih 5 ur samostojnega dela. Če bi isto nalogo delala v klasični predavalnici, bi ji predavatelj pomagal v nekaj sekundah. Tukaj se kaže, kako so predmeti, ki zahtevajo logično razmišljanje, povezavo na pred- hodna znanja in sklepanje (matematika, statistika, računalniško programiranje …), manj primerni za e- -način učenja kot predmeti, ki zahtevajo pomnjenje dejstev, primerjanje, analizo, sintezo in razvrščane. Tukaj pričakujemo kritiko bralcev s pripombo, da to ne drži, saj je večina tečajev programiranja narejena v spletnih verzijah s primeri. Res je, tudi mi študentom kot dopolnilno gradivo predlagamo uporabo sple- tnih učilnic, kot je www3school, kjer najdejo razlage in primere osnovnih ukazov. Opazili pa smo, da štu- denti pristopajo k problemom na parcialen način, to pomeni, da ne preučijo snovi od začetka do konca, ampak poiščejo samo rešitev za trenuten problem, ostalo pa preskočijo. Tako pogosto v e-nalogah dobi- mo sicer delujoče rešitve, ki pa uporabljajo metode in kodo, ki je študentom sploh nismo predstavili. Štu- denti je običajno niti ne zanjo razložiti, ker so jo samo prekopirali s spleta. Seveda to postavlja pod vprašaj, ali so se s takim načinom kopiranja kode sploh kaj naučili o uporabi te kode. Težava je tudi v tem, da večina spletih učilnic brezplačno ponuja samo osno- ve, ki pogosto niso dovolj za naše potrebe. Za rešitve višjega nivoja pa je pri mnogih spletnih učilnicah po- trebno plačilo. Značilnost učenja programiranja je nadgradnja in povezovanje predhodnih ukazov z novimi in tudi is- kanje in odpravljanje napak. Zato smo v predavanja uvedli vprašanja v obliki kratkih praktičnih nalog, v katerih študenti takoj preverijo uporabo in delovanje predstavljene snovi. Študent, ki je prisoten na pre- davanjih, te naloge reši tekom predavanj, odsoten študent pa mora zamujeno opraviti sam, za kar po- trebuje bistveno več časa, kot če bi se udeležil preda- vanj in vaj. Rešitve teh kratkih nalog študent odda v spletni učilnici predmeta. Oddaja hkrati služi kot »seznam prisotnosti« za tisti dan predavanj ali vaj, saj Moodle takoj označi naloge, ki niso bile oddane pravočasno, v tem primeru do konca predavanj. Druga prednost sprotnih nalog je, da se študent spozna z napakami v kodi in njihovim odpravlja- njem. Da bi študenti čim prej spoznali večino mo- žnih napak začetnikov, smo uvedli način predavanj s sodelovanjem študentov za katedrom. Prostovoljec (zanimivo, da se študenti sami radi javijo) rešuje na- logo za katedrom s projekcijo svojega dela na platno, predavatelj pa sledi reševanju in hkrati pomaga osta- lim študentom v predavalnici. Na ta način se tudi pokažejo napake, ki jih predavatelj zaradi praktičnih izkušenj ne dela, a včasih vzamejo več deset minut predavanj, preden so skupaj odpravljene. Dodatno tudi spodbujamo boljše študente, ki so svojo nalogo že zaključili, da kot demonstratorji pomagajo sošol- cem pri pisanju kode in odpravljanju napak in na tak način neposredno izvajajo učenje med seboj. Kot dejavnik (ne)uspešne uporabe e-učenja se je pokazala tudi kultura študentov. Precej študentov pristopa k opravljanju študija po pragmatičnem na- čelu: do cilja z najmanj napora. Ena od »metod« tega načina študija je kopiranje rešitev v stilu »samo da nekaj oddam«. Ta dejanja ne le da povzročajo luknje v znanju študentov, ampak tudi nepotrebno dodatno delo za predavatelje, saj morajo ob vsebini preverjati tudi plagiatorstvo. Še posebej je to vidno pri e-na- logah, kjer vsi študenti doma rešujejo isto nalogo in imajo čas, da poiščejo rešitve prejšnjih generacij ali dobijo rešitev od boljšega študenta. Pretekle rešitve enostavno onemogočimo z delnim spreminjanjem besedila naloge (npr. namesto »izpišite najboljše tri …« zahtevamo »izpišite najboljše štiri …«), za tekoče pa imamo v okviru univerze na strežniku za e-štu- dij nameščen vtičnik Detektor podobnih vsebin 2.0, ki v nekaterih primerih pomaga, pri oddaji računalniške kode pa pogosto ne. Glavna težava je, ker študenti v besedilu e-naloge že dobijo dele kode ali pripravljene podatke, detektor pa to označi kot plagiat. Tako se dejanski plagiati skrijejo v množici lažnih zadetkov. Da bi olajšali proces učenja, študentom omogoča- mo uporabo povzetkov ukazov, ki vsebujejo vse uka- ze, potrebne za izdelavo izpitne naloge. Povzetki niso zapisani kot rešitev, temveč kot sestavni deli kode, ki jo mora študent ustrezno združiti. Kljub opozori- lom, naj takoj začnejo uporabljati povzetek ukazov, študenti z nizko motivacijo to naredijo šele tik pred izpitom. Tako jim povzetek ukazov ne pomaga veli- ko, ker zaradi pomanjkanja praktičnih izkušenj, ki bi jih pridobili z rednim delom, enostavno ne znajo teh delov kode smiselno uporabiti. 6 ObVLADOVANJe VeLIKegA ŠTeVILA UDeLežeNceV Veliko število pomeni več deset študentov, ki v istem dnevu oddajo svoje e-naloge, ki jih je treba pregledati in oceniti do naslednje izvedbe vaj ali predavanj. Tu moramo ločiti naloge glede na zvrst: U P O R A B N A I N F O R M A T I K A10 2020 - πtevilka 1 - letnik XXVIII Iztok Bitenc, Borut Weber, Marko Urh: Kombinirano učenje – izkušnje in rešitve  informativne, v katerih študenti samostojno pre- delajo določene vsebine,  formativne, v katerih študenti usvojijo izbrane ve- ščine, in  problemske, kjer morajo združiti zanje in veščine pri reševanju zastavljenega problema. Moodle ponuja pester nabor gradnikov in orodij za razvoj informativnih nalog pa tudi za samodejno preverjanje kakovosti informacij, ki naj bi jih študenti z nalogo usvojili. Ta zvrst nalog tako potrebuje veliko začetnega vloženega dela: od oblikovanja vsebine za vsako nalogo, prenosa te vsebine z Moodlovimi gra- dniki v e-nalogo do zasnove, oblikovanja in izdelave testnih nalog in samodejnega točkovanja. Ko pa je taka e-naloga na Moodlu pripravljena, potek njenega reševanja v celoti izvaja računalnik in tako postane število udeleženih študentov nepomembno. Preda- vatelj ne dela več na nalogi posameznega študenta, ampak le nadzoruje uspešnost študentov in v prime- ru odstopanj od pričakovanih rezultatov ali velike- ga števila vprašanj študentov spremeni ali dopolni e-nalogo. Praktične izkušnje so pokazale, da se na tak način lahko nekatere predmete izvede skoraj v celoti, vključno z zaključnim izpitom. Preverjanje pravilnih rešitev formativnih nalog je bolj zapleteno, saj so običajno odgovori opisni in je preverjanje pravilnosti odgovorov težko realizirati z razpoložljivimi Moodlovimi orodji. Najbolj zahtev- ne za preverjanje pa so problemske naloge, ki so pri učenju programiranja najbolj zastopane. V Moodlu nimamo orodij, ki bi preverjala pravilnost oddane programske kode, zato je vse delo na strani predava- teljev. Ko smo prvič oblikovali e-naloge, v katerih so morali študenti samostojno reševati zastavljene pro- bleme in oddati delujočo kodo rešitve, se je izkazalo, da že pri približno 15 oddanih e-nalogah le-teh ni bilo mogoče kakovostno pregledati v predvidenem času treh šolskih ur. E-naloge so bile na začetku kopije nalog, ki so jih študenti delali v računalniški učilnici. Tam je predava- telj ali asistent sproti na računalniku vsakega študenta lahko spremljal njegovo delo in preverjal, ali je koda pravilna. Pri e-nalogah pa je pregledovanje potekalo na enem samem računalniku in te »paralelnosti« ni bilo. Prav tako se je pojavilo dodatno delo, ker je bilo vsako oddano e-nalogo v obliki stisnjene (»zip«) da- toteke Visual Basic projekta potrebno prenesti s stre- žnika, prekopirati vsebino na disk predavateljevega računalnika in nato projekt odpreti z Visual Studijem. Postopek je trajal manj kot minuto, toda ko to pomno- žimo z nekaj deset nalogami, se je že tako predolg čas pregledovanja nalog opazno podaljšal. Ko smo analizirali stanje, smo ugotovili, da mora- mo prilagoditi e-naloge. Naloga študentov je oddati delujočo kodo, mi pa smo e-nalogam poleg zahtev, kako naj koda deluje, dodali še zahtevo, da koda naredi podrobno opisan izpis. Primer take naloge je predstavljen na sliki 1 zgoraj. Logika je enostavna – če je koda napisana pravilno, bo tudi izpis rezultatov njenega delovanja pravilen. Tako smo za osnovno »pregledovanje« uporabili računalnik – če je izpis de- lovanja bil tak, kot je bilo zahtevano, nam ni bilo več treba podrobno pregledovati kode vrstico za vrstico, ampak smo samo še pregledali ključne sklope kode. Če pa izpis ni bil zadosti podoben zahtevanemu, smo nalogo enostavno zavrnili, ne da bi pregledovali kodo. Na tak način smo uspeli skrajšati čas s pribli- žno 7 ur za 37 e-nalog na 3–4 ure, kar je bilo bistveno bližje predvidenim trem šolskim uram. Zbrati več deset ljudi ob istem času na istem me- stu je težava, s katero se vsak dan srečujemo v pre- davalnicah. Tudi pri tem smo si pomagali z uporabo sodobne IKT. Pri predmetu Informatika in računalništvo v prvem letniku že od leta 2004 uporabljamo lokalno verzijo Moodla (Leskovar, 2005) in od leta 2014 že prej omenjeni Moodlov vtičnik Big Blue Button (BBB). Namestitev vtičnika je enostavna, za delovanje pa se potrebuje spletni brskalnik z nameščenim javanskim izvedbenim okoljem JRE 1.8. Moodle je nameščen lo- kalno na virtualnem računalniku s štirimi procesorji, štirimi GB pomnilnika, 100 GB prostora na disku in 64-bitnim Linux Ubuntu operacijskim sistemom. Stre- žnik je nekaj let star HP-jev strežnik Proliant DL380 G7 z 12 jedri, 64 GB pomnilnika, 2,5 TB velikim di- skovnim poljem, VMware programsko opremo in 1 GB hitro omrežno povezavo. Na tej konfiguraciji je brez vidnih težav potekalo e-predavanje z neposre- dnim prenosom slike in zvoka ter deljenjem ekrana s 43 hkrati prijavljenimi študenti. Strojne zahteve so sicer nižje – večina začetnih testnih sej z do 16 uporab- niki je potekala na običajnem osebnem računalniku s 4-jedrnim procesorjem, 16 GB pomnilnika in 100 MB omrežne povezave. Na tej konfiguraciji smo izvedli tudi dejansko videokonferenco s 7 udeleženci. Izvedba »videokonferenčnega« predavanja (seje) z BBB je precej podobna klasičnemu predavanju, le da ga študenti spremljajo preko računalnika. Zato je pred začetkom predavanja treba poskrbeti za dobro U P O R A B N A I N F O R M A T I K A 112020 - πtevilka 1 - letnik XXVIII osvetlitev delovnega mesta predavatelja in primerno ozadje. Administrator Moodla zažene sejo in preda- vatelju dodeli pravico moderatorja. Predavatelj mora pred začetkom javnega dela seje v BBB naložiti po- trebne dokumente (podprta je večina oblik, kot so pdf, doc, ppt …) in v primeru, da pri izvedbi preda- vanja potrebuje tudi tablo, le-to nadomestiti z delje- njem dela ekrana svojega računalnika s študenti. Do- bra rešitev je, da je deljeni del ekrana na istem mestu in iste velikosti, ko je okno BBB za prikazovanje na- loženih dokumentov. Priporočljivo je tudi, da ima na svojem računalniku že vnaprej pripravljeno besedilo vprašanj, ki jih namerava zastaviti študentom tekom predavanja, in da že zažene aplikacije ali programe, ki jih namerava uporabiti med predavanjem. Na za- četku prve seje naj bi bil poleg predavatelja prisoten tudi administrator Moodla, da pomaga študentom, ki imajo težave pri prijavi na sejo. Ker so se te težave vedno pojavile, se je prvo predavanje običajno začelo z 10- do 30-minutno zamudo. Ko se predavanje (javni del seje) začne, predava- telj takoj prosi študente, da v BBB onemogočijo svoje mikrofone in da naj za komunikacijo uporabljajo le vgrajeno okno za klepet. S tem preprečimo zvočne motnje, ki običajno nastanejo na strani študentov. Med predavanjem predvaja prosojnice in ostale pri- pravljene dokumente, ki jih lahko tudi označuje ali po njih riše z vgrajenimi orodji. Ko potrebuje prikaz računalniškega ekrana (npr. za prikaz delovanja apli- kacije), potegne okno te aplikacije v področje, ki ga s študenti deli na svojem ekranu. Za sprotno preverja- nje razumevanja predavanja (in ugotavljanje dejanske prisotnosti študentov pred njihovimi ekrani) prilepi (»paste«) prej pripravljena besedila vprašanj in odgo- vorov v modul kviz, ki ga z dvema klikoma postavi v klepetalnico. Ker Moodle beleži vse dejavnosti štu- dentov v vgrajeno bazo podatkov, lahko te podatke uporabimo za različne statistike (Leskovar in Baggia, 2015) ali celo za zbiranje točk za končno oceno. Tak način izvedbe predavanj zahteva od predava- telja nekaj prilagajanja. Poleg nenavadnega občutka ob predavanju ekranu, mora stalno spremljati klepe- talnico, da odgovori na vprašanja študentov ali doda- tno pojasni snov. Paziti mora tudi na pravilno prekla- pljanje (prestavljanje v deljeno območje ekrana) med okni aplikacij, katerih vsebino predstavlja študentom. Prednosti take izvedbe e-predavanja so predvsem na strani predavatelja. Na tak način lahko hitro pred- stavi nove vsebine, za katere še nima pripravljenih modulov na Moodlu. Ker je snov študentom predsta- vljena v obliki predavanja in ne e-naloge, mu ni tre- ba preverjati odgovorov študentov na e-naloge, kar pri nekaj 10 študentih zahteva nesorazmerno veliko časa. Na študentski strani cenijo tako obliko preda- vanj predvsem študenti iz oddaljenih krajev in tisti, ki zjutraj težko vstanejo. Najbolje opiše njihovo mnenje anekdota, ki smo jo doživeli na enem prvih preda- vanj, ko je študent pri vklopljenem mikrofonu neko- mu navdušeno razlagal: »Pet do osmih vstanem, si skuham kavo, vklopim računalnik in poslušam pre- davanje.« Navsezadnje imajo e-predavanja tudi eko- loško prednost, saj prihranijo nekaj deset litrov gori- va, ko študentom ni treba osebno priti na predavanja. 7 KLASIčNA V PRImeRJAVI z e-PReDAVANJI Sedaj po večletnih izkušnjah lahko z gotovostjo po- trdimo, da je s strani izvajalcev za e-predavanja po- trebno več dela in več časa kot za klasična predava- nja, kar pa klub večjemu vloženemu delu ne pome- ni boljšega uspeha med študenti (Daymont & Blau, 2008; William T. Kaufman, 2015). Za e-predavanja moramo najprej proučiti teorijo, izbrati neko poglav- je in ga v strnjeni obliki podati v elektronski obliki kot besedilo, kodo, primere, rešitve, povezave, fil- me ali slike. Dodatno moramo pripraviti e-učilnico, naložiti ustrezne dokumente, predstavitve, primere in filme na ustrezna mesta in jih časovno ustrezno odpreti študentom. Sledi zbiranje rezultatov študen- tov in njihova ocena. Na koncu predmeta je potrebno za vsakega študenta zbrati rezultate za vsa preda- vanja in vaje in na osnovi tega ovrednotiti njihovo delo. Ker se skoraj nikoli ne zgodi, da bi vsi študenti v roku oddali svoje e-naloge, lahko vsak dan pose- bej preverjamo, če je kak od zamudnikov oddal na- loge. Dodatno moramo odgovarjati na vprašanja, ki jih študenti postavljajo med izdelavo e-predavanj ali vaj. Za iskanje ene napake lahko porabimo tudi več ur kljub izkušnjam v programiranju. Dodaten problem povzroča razlika med posameznimi gene- racijami študentov. Redko se namreč zgodi, da druga generacija predela isto količino snovi kot predhodna, zato je potrebno že pripravljena gradiva za predava- nja vsako leto prilagajati glede na hitrost sprejemanja znanj posamezne generacije. Kakor koli gledamo, je porabljen čas nesorazmeren z rezultati (Daymont & Blau, 2008) in glede na odzive študentov v anketah smo pri predmetu osnov programiranja iz 50 % prešli na 20 % e-predavanj in e-vaj. Iztok Bitenc, Borut Weber, Marko Urh: Kombinirano učenje – izkušnje in rešitve U P O R A B N A I N F O R M A T I K A12 2020 - πtevilka 1 - letnik XXVIII Iztok Bitenc, Borut Weber, Marko Urh: Kombinirano učenje – izkušnje in rešitve Asinhron in sinhron način izvedbe e-predavanj in e-vaj je naslednje vprašanje, ki se nam je porajalo ob prehodu na e-študij. Sinhron način pomeni, da se v času e-predavanj izvaja neposredna komunika- cija s študenti v obliki predavanj, informacij in na- vodil. Kljub temu da Moore ugotavlja pomen spro- tne komunikacije s študenti (Moore, 2014), samo en sodelavec prakticira tak način poučevanja in odziv med študenti ni najboljši, saj s tem izničimo bistve- no prednost e-študija – časovno in krajevno neod- visnost. Če mora študent točno ob določenem času biti prijavljen in poslušati predavanja preko elek- tronske povezave, ne vidi prednosti pred klasičnimi predavanji s tem, da tak način predavanj spremlja še slabša slišnost, slaba vidljivost, možnost prekinitev in možnost motenja v domačem okolju. Drugačen je odziv med študenti, če imajo na razpolago komu- nikacijo s predavateljem, ko potrebujejo nasvet ali pomoč, tudi če to ni takrat, ko sami izvajajo e-nalo- ge. Vprašanja študentov med in po predavanjih so največji pokazatelj o tem, ali študenti spremljajo in v kolikšni meri obvladajo podano snov. Zanimivo je, da študenti postavijo več vprašanj na klasičnih pre- davanjih kot na e-predavanjih, kljub temu da imajo možnost zastaviti vprašanje znotraj Moodla le klik stran. Tudi če potrebujejo pomoč pri iskanju napa- ke, se redki odločijo in pošljejo prošnjo za pomoč. Prednost klasičnih predavanj in vaj se v tem primeru pokaže tudi zaradi tega, ker ostali slišijo odgovor na postavljeno vprašanje, pri e-predavanjih pa je odgo- vor le za enega študenta. Uporaba e-učenja za potrebe predštudija (Ander- son, 2008) oziroma spoznavanja osnov se je pokazala kot odlična, a je žal odvisna od kulture študentov. Medtem ko je v nekaterih zahodnih državah običaj- no, da študenti predelajo uvodno snov, preden pri- dejo na predavanja, je ta kultura pri nas bolj izjema kot pravilo. 8 UgOTOVITVe Kljub prednostim, ki jih e-študij omogoča študen- tom, se kaže, da v primerjavi s klasičnimi predavanji nima večjega uspeha, poleg tega pa še od študen- tov zahteva večjo samodisciplino in organiziranost (Daymont & Blau, 2008). Kot bolj optimalna rešitev se ponuja kombinirano učenje, ki pa samo po sebi še ne zagotavlja stimulativnega učnega okolja, zato se predlaga, da predavatelji v večji meri vključijo sode- lovanje študentov in sodelovanje med njimi samimi (Kenney & Newcombe, 2011). Večinoma te ugotovi- tve lahko potrdimo tudi iz naših izkušenj. Predmeti, ki zahtevajo intenzivno kombiniranje predhodnih znanj in logičnega razmišljanja – tipičen predstavnik je učenje računalniškega programiranja – so manj primerni za izvedbo v obliki e-študija. Vendar tudi tu obstaja veliko rešitev, ki olajšajo delo predavateljem in povečajo uspeh študentom: predavatelji nepresta- no vzpodbujamo študente za samostojno, redno in sprotno delo, izboljšali smo razporeditev tega dela s primernim kombiniranjem predavanj (nova snov) in vaj (utrjevanje snovi). Predavateljem smo olajša- li pregledovanje e-nalog, ko smo za osnovno oceno pravilnosti delovanja oddane kode uporabili raču- nalnik in ko smo prilagodili orodja za ocenjevanje (Moodla) pri pregledovanju e-nalog, ali celo upora- bili videokonferenco pri izvedbi e-predavanj. Po več letih takega načina izvajanja predmetov osnove računalniškega programiranja smo z rezul- tati zadovoljni. Težko je sicer narediti zanesljivo pri- merjavo s prejšnjimi leti, ker je način dela in s tem tudi zbrani podatki precej drugačni. Če pa primerja- mo stari način dela, ko je približno tretjina študentov zaključila predmet s kolokviji, s številom študentov, ki so v zadnjih nekaj letih pristopili k »preskusne- mu izpitu«, je sedaj številka bistveno višja – vedno je nad 60 odstotki, v zadnjem študijskem letu smo dosegli celo 82 odstotkov. Najbolj razveseljivo pa je, da večina študentov ta preskusni izpit tudi uspešno opravi. LITeRATURA [1] Anderson, T. (2008). The Theory and Practice of Online Lear- ning (Fifth Prin). AU Press, Athabasca University. Pridobljeno od aupress@athabascau.ca [2] Big Blue Button. Overview (pridobljeno jul. 2019) dosegljivo na spletnem naslovu https://bigbluebutton.org/ [3] Daymont, T., & Blau, G. (2008). Student performance in on- line and traditional sections of an undergraduate manage- ment course. Journal of Behavioral and Applied Manage- ment, 275–295. Pridobljeno od http://www.ibam.com/pubs/ jbam/articles/vol9/no3/jbam_9_3_3.pdf?origin=publication_ detail&sa=U&ei=8OdxU5W9I4eeyAS1-IDoCA&ved=0CCEQF jAB&usg=AFQjCNFZdwkwCvxuftcomZNP1wWZfNlNCg [4] Gowda, R. S., & Suma, V. (2017). A comparative analysis of traditional education system vs. e-Learning. IEEE Interna- tional Conference on Innovative Mechanisms for Industry Applications, ICIMIA 2017 - Proceedings, (Icimia), 567–571. https://doi.org/10.1109/ICIMIA.2017.7975524 [5] Kenney, J., & Newcombe, E. (2011). Adopting a blended learning approach: Challenges encountered and lessons le- arned in an action research study. Journal of Asynchronous Learning Network, 15(1), 45–57. https://doi.org/10.1016/j.sb- spro.2014.01.992 U P O R A B N A I N F O R M A T I K A 132020 - πtevilka 1 - letnik XXVIII Iztok Bitenc, Borut Weber, Marko Urh: Kombinirano učenje – izkušnje in rešitve [6] Leskovar, Robert. Podpora izvajanja študija s paketom „Mo- odle“ - izkušnje in perspektive = Studies implementation support using the „moodle“ package - experience and per- spectives. V: KALUŽA, Jindřich (ur.). Sinergija metodologij : zbornik 24. mednarodne konference o razvoju organizacijskih znanosti, Slovenija, Portorož, 16.-18. marec 2005 = Syner- gy of methodologies : proceedings of the 24th International Conference on Organizational Science Development, Slove- nia, Portorož, March 16-18, 2005. Kranj: Moderna organiza- cija. 2005, str. 550-557. [7] Leskovar, R. & Baggia, A. (2015). Zločin in kazen: udeležba na avditornih in videokonferenčnih predavanjih ter uspešnost reševanja nalog. V Bernik M. in Rajkovič U. (Ur.), Vzgoja in izobraževanje v informacijski družbi - VIVID 2015, Kranj: Fa- kulteta za organizacijske vede, str. 287-296. [8] Moodle, pregled (pridobljeno jul. 2019), https://docs.moodle. org/37/en/About_Moodle [9] Moore, J. (2014). Effects of online interaction and instructor presence on students’ satisfaction and success with onli- ne undergraduate public relations courses. Journalism and Mass Communication Educator, 69(3), 271–288. https://doi. org/10.1177/1077695814536398 [10] Nazarenko, A. L. (2015). Blended Learning vs Traditional Learning: What Works? (A Case Study Research). Proce- dia - Social and Behavioral Sciences, 200(October), 77–82. https://doi.org/10.1016/j.sbspro.2015.08.018 [11] Siemens, G., Skrypnyk, O., Joksimovic, S., Kovanovic, V., Dawson, S., & Gasevic, D. (2015). The history and state of blended learning. Preparing for the Digital University: A review of the history and current state of distance, blended, and onli- ne learning, 234. https://doi.org/10.13140/RG.2.1.3515.8483 [12] Wang, G., Foucar-Szocki, D., Griffin, O., O’connor, C., & Sce- iford, E. (2003). Departure, abandonment, and dropout of e- -learning: Dilemma and solutions. James Madison University, (October). [13] William T. Kaufman. (2015). Traditional vs. Electronic Le- arning Environment. Education and Human Deve- lopment Master’s Theses. Paper 537. Pridobljeno od http://digitalcommons.brockport.edu/cgi/viewcontent. cgi?article=1554&context=ehd_theses.  Iztok bitenc je zaposlen kot predavatelj na Fakulteti za organizacijske vede Univerze v Mariboru na področju Informacijski sistemi, kjer sodeluje pri predmetih s področja osnov informatike, različnih programskih jezikov, razvoja spletnih rešitev in baz podatkov. Je avtor več strokovnih in znanstvenih člankov, raziskovalno pa se udejstvuje pri iskanju praktičnih rešitev z uporabo sodobne informacijske tehnologije.  Borut Werber je docent na Fakulteti za organizacijske vede Univerze v Mariboru na študijskem programu Organizacija in management infor- macijskih sistemov. Glavna področja njegovega raziskovanja so informacijski sistemi, IKT, podkožni mikročipi in informatika v mikro-podjetjih. Aktivno sodeluje kot evalvator NAKVIS-a pri akreditacijah in reakreditacijah visokošolskih študijskih programov in institucij v Sloveniji in tujini. Kot evalvator sodeluje tudi pri notranjih evalvacijah Univerze v Mariboru. Kot recenzent aktivno sodeluje na domačih in mednarodnih konferencah ter domačih in tujih publikacijah.  marko Urh je višji predavatelj na Fakulteti za organizacijske vede Univerze v Mariboru, svojo strokovno in znanstveno pot je začel v Policiji kot razvijalec geografskih informacijskih sistemov. Glavna področja njegovega raziskovanja so informacijski sistemi, e-izobraževanje, management in razvoj kadrov. Objavil je več domačih in mednarodnih člankov in prispevkov z omenjenih področij. Aktivno sodeluje na domačih in mednarodnih konferencah ter je recenzent domačih in tujih publikacij.