Uporabnost personaliziranega spletnega učnega okolja
112 1 Ines Kožuh , Andrej Sarjaš , Zoran Jeremic , Matjaž Debevc
1 Univerza v Mariboru, Fakulteta za elektrotehniko, računalništvo in informatiko {ines.kozuh, andrej.sarjas, matjaz.debevc}@uni-mb.si
2 University of Belgrade, School of Business Administration, Serbia zoran.jeremic@gmail.com
Usability of a pesonalized online learning environment
In this paper we present usability evaluation of the online learning environment Online Presence for Learning (OP4L). Sixty-two students of Computer Science of the average age of 20 years were using the system for three weeks. They were learning collaboratively to write a computer program in the C programming language. They were assessing usability of the OP4L online learning environment with the System Usability Scale (SUS). The final SUS score was 67.38 (SD = 13.64), which means that the students accepted the system usability marginally. In the SUS score there were no statistically significant differences between three groups of the students classified with regard to their knowledge of the C programming language.
1 Uvod
Z razvojem učenja na daljavo se nenehno pojavljajo nove izboljšave sistemov, ki tak način učenja omogočajo in podpirajo. Uveljavljajo se personalizirana učna okolja, kjer uporabniki prevzemajo nadzor nad svojim učnim procesom [1]. Pomembna značilnost teh personaliziranih sistemov je, da lahko uporabniki dostopajo do njim prilagojenih spletnih izobraževalnih vsebin, spreminjajo uporabniški vmesnik in težavnost učenja, ter komunicirajo z drugimi uporabniki kar znotraj učnega sistema. Ustvarja se občutek spletne vseprisotnosti. Pri tem se uporabljajo različne storitve in orodja, kot na primer storitve spletnih družabnih omrežij [2], ki podpirajo izmenjavo znanja [3] in ustvarjanje skupnosti [4].
Ena izmed pomanjkljivosti personaliziranih učnih okolij je, da še vedno ni formalne rešitve za izmenjavo in integracijo podatkov iz različnih programskih orodij [5]. Podatki se potrebujejo za zagotavljanje spletne prisotnosti, vendar vsa orodja ne predstavljajo semantično identičnih podatkov na enak način [6]. Rešitev za medsebojno delovanje različnih orodij v personaliziranem učnem okolju je uporaba tehnologij semantičnega spleta [7].
Kot element semantičnega spleta se v personaliziranem spletnem učnem okolju Online Presence for Learning [8] uporabljajo ontologije. Sistem vključuje izobraževalne storitve za priporočanje uporabniku ustreznih učnih virov.
Zadovoljitev tehnoloških potreb pa ne zadostuje za uporabno in učinkovito učenje na daljavo [9] [10]. Potrebno je namreč razumeti tudi uporabnike in njihovo delo z orodji [11][12]. Iz tega razloga je potrebno personalizirane sisteme oceniti tudi z uporabniškega vidika.
V članku tako predstavljamo personalizirano spletno učno okolje OP4L in postopek ter rezultate njegovega ocenjevanja s pomočjo metode SUS in ustreznih statističnih raziskav, s čimer smo želeli preveriti uporabnost in uspešnost njegove uporabe v realnem učnem okolju.
2 Spletno učno okolje OP4L
Spletno učno okolje OP4L je razširjeno okolje DEPTHS [7], ki podpira integracijo s socialnim omrežjem Facebook. Učno okolje temelji na Moodlu, integriran pa je tudi program za modeliranje ArgoUML [13].
Učno okolje OP4L je namenjeno sodelovalnemu učenju, ki je v sistemu podprto s tremi storitvami [14]:
1.	Storitev semantičnega označevanja (angl. Semantic Annotation and Indexing Service),
2.	Storitev priporočanja virov (angl. Resource Recommendation Service) in
3.	Storitev priporočanja sledilcev (angl. Peers Recommendation Service).
S storitvijo semantičnega označevanja sistem indeksira spletne vire v javno dostopnih repozitorijih in vsebinah uporabnikov znotraj sistema. Na osnovi semantičnega označevanja sistem uporabniku samodejno priporoča spletne vire in med učenjem mu tako ni potrebno zapuščati spletnega učnega okolja, da lahko dostopa do spletnih virov. Sistem zagotavlja uporabniku tudi nemoteno komunikacijo s souporabniki učnega okolja prek storitve priporočanja sledilcev. Sistem samodejno priporoča, koga naj uporabnik kontaktira, če potrebuje pomoč pri reševanju naloge. Uporabnik lahko komunicira z osebo, ki jo je sistem izbral kot najprimernejšo, prek Moodle klepeta. V kolikor pa ta oseba ni dosegljiva v učnem okolju OP4L, ji lahko uporabnik pošlje sporočilo prek elektronske
222
Kožuh, Sarjaš, Jeremič, Debevc
pošte ali neposredno iz učnega okolja na Facebook. Pri tem sistem uporabniku prikaže, ali je oseba na Facebooku dosegljiva za klepet ali ne. Slika 1 prikazuje spletno učno okolje OP4L. V osrednjem delu je prikazana naloga, ki jo uporabniki spletnega učnega okolja rešujejo. Pod besedilom naloge so prikazane ključne besede priporočenih virov. V levem delu je seznam priporočenih sledilcev.
Slika 1. Spletno učno okolje OP4L.
Za delovanj e storitve semantičnega označevanja se uporablja storitev KIM [15], za komunikacijo s storitvijo Facebook pa se uporabljajo aplikativni programski vmesniki. Implementirana storitev RESTful zagotavlja komunikacijo med vsemi komponentami znotraj sistema. Za obojestransko mapiranje med RDF trojno semantiko in objektno orientiranim Java modelom se uporablja ogrodje Jenabean [16] [14].
3 Ocenjevanje uporabnosti spletnega učnega okolja OP4L
3.1 Sodelujoči
V raziskavi je sodelovalo 62 študentov Fakultete za elektrotehniko, računalništvo in informatiko Univerze v Mariboru. Vsi udeleženci so bili moškega spola in stari med 19 in 25 let. Povprečna starost je bila 20 let. Vsi so imeli izkušnje s programiranjem. Šestinštirideset udeležencev (74,2%) je bilo novincev z znanjem osnovnih funkcij v programskem jeziku C. Štirinajst udeležencev (22,6%) je bilo poznavalcev z znanjem kompleksnih struktur v programskem jeziku C in dva udeleženca (3,2%) sta bila strokovnjaka v programiranju, saj sta poznala obsežno modularno programiranje. Udeležence smo razdelili v sedem skupin, s čimer smo zagotovili enostavnejše učenje in uporabo storitev učnega okolja. Pred začetkom raziskave so udeleženci podpisali soglasje, da se strinjajo, da sodelujejo v raziskavi.
3.2	Postopek raziskave
Udeleženci raziskave so uporabljali spletno učno okolje OP4L v maju 2012 z namenom, da bi ocenili uporabnost sistema. Učno okolje so uporabljali tri tedne za sodelovalno učenje na daljavo. Vsaki skupini udeležencev je bila dodeljena različna naloga iz programiranja s ciljem zapisati računalniški program v programskem jeziku C.
Delo je bilo razdeljeno v tri tematske sklope:
1.	Predlaganje in oddaja predloga rešitve.
2.	Programiranje in oddaja programa.
3.	Ocenj evanj e programa.
Vsak tematski sklop smo časovno omejili na teden dni. V prvem tematskem sklopu so udeleženci v spletnem učnem okolju OP4L predlagali rešitve zastavljene naloge. Sistem je omogočal medsebojno komentiranje in ocenjevanj e rešitev. Udeleženci so lahko komunicirali z Moodle klepetom, s Facebook storitvijo in prek elektronske pošte. Storitev priporočanja virov je omogočala dostop do zunanjih spletnih virov znotraj učnega okolja. Do izteka roka prvega tematskega sklopa so morali udeleženci končni predlog rešitve naložiti na sistem. V drugem tematskem sklopu so udeleženci pisali računalniški program v programskem jeziku C in ga morali do konca tedna naložiti na sistem. V času programiranja so lahko uporabljali iste komunikacijske storitve kot v prvem tednu. V tretjem tematskem sklopu je sistem udeležencem omogočal vpogled v programe drugih članov skupine. Programe so ocenjevali na osnovi petih kriterijev, ki jih je določil mentor.
3.3	Raziskovalna metoda
Uporabnost spletnega učnega okolja OP4L smo ocenjevali z metodo System Usability Scale (SUS) [17]. Preverjali smo zahtevnost uporabe spletnega učnega okolja, njegovo gotovost med uporabo in zadovoljstvo uporabnikov. Vsak udeleženec je po treh tednih uporabe učnega okolja izpolnil vprašalnik, v katerem je ovrednotil 10 trditev s pomočjo Likertove lestvice od 1 do 5, pri čemer je 1 pomenila, da se s trditvijo nikakor ni strinjal in 5 da se je popolnoma strinjal.
Podatke zbrane po SUS metodi smo izračunali po postopku, ki ga metoda predvideva [17]. Rezultat po SUS metodi lahko dosega vrednost med 0 in 100. Če udeleženci sistem ocenijo bližje številu 100, je kakovost sistema boljša. Uporabili smo deskriptivno statistiko, Spearmanov koeficient korelacije za določanje statistično značilnih povezav in neparametrični test za določanje razlik med neodvisnimi skupinami - Kruskal-Wallisev test. Podatke smo obdelali s statističnim programom SPSS 20.0.
ACCEPTABILITY RANGES ADJECTIVE RATINGS
NOT ACCEPTABLE
\\\\\\\\\\\\\\\\\\\\\\\\ I
MARGINAL	ACCEPTABLE
WSB3Î/SS///SSS/S/SS
WORST IMAGINABLE
POOR
OK
GOOD EXCELLENT
BEST IMAGINABLE
±
J_i—LL
1
■ I ■ I
i i i ■ i
10
20
30
40 50 60 SUS Score
Slika 2. Razlaga ocen po metodologiji SUS [18].
70
80
90
100
3.4 Rezultati
Rezultat izračuna po metodi SUS je 67,38. Po lestvici prikazani na sliki 2 rezultat pomeni, da je spletno učno okolje OP4L na meji sprejemljivega.
Slika 3 prikazuje razpršenost rezultatov SUS posameznih uporabnikov. Najnižja ocenjena vrednost uporabnosti sistema je 20, najvišja pa 87,50. Standardni odklon ocenjenih vrednosti SUS znaša 13,64.
sprejemljivosti, tako ni bilo znanje, ki je bilo potrebno, da je udeleženec uspešno rešil nalogo.
V prihodnje načrtujemo poglobljeno ocenjevanje uporabnosti spletnega učnega okolja OP4L, saj bomo z uporabniškega vidika posebej ocenili storitev priporočanja virov in storitev priporočanja sledilcev kot dve temeljni storitvi učnega okolja OP4L.
Tabela 1. Rezultati Kruskal-Wallisovega testa.
Slika 3: Razpršenost rezultatov SUS.
Rezultati Kruskall-Wallisovega testa (tabela 1) so pokazali, da v ocenjeni uporabnosti spletnega učnega okolja med skupinami z različnim znanjem programiranja ni bilo statistično značilnih razlik (p = ,363), kljub temu da so povprečni rangi SUS rezultata naraščali glede na naraščanje znanja iz programiranja v programskem jeziku C od novincev do strokovnjakov. Prav tako je rezultat analize korelacije s Spearmanovim koeficientom potrdil, da med rezultatom SUS in znanjem programiranja ni bilo statistično značilne povezave.
4 Zaključek
V članku smo predstavili spletno učno okolje OP4L in prikazali ocenjevanje njegove uporabnosti. Rezultati ocenjevanja po metodi SUS so pokazali, da je uporabnost sistema na meji sprejemljivega. Ocenjevanje uporabnosti statistično ni bilo povezano z znanjem programiranja, kljub temu da je bil cilj uporabe spletnega učnega okolja zapisati računalniški program. Razlog, da uporabnost sistema ni dosegla stopnje
Znanje programiranja	N	Mean Rank
Novinci	46	30,58
Poznavalci	14	32,04
SUS rezultat		
Strokovnjaki	2	49,00
Skupaj	62	
SuS rezultat	
Chi-Square	2,028
df	2
Asymp. Sig.	,363
a.	Kruskal Wallis Test
b.	Grouping Variable: znanje programiranja
Zahvala
Študija, predstavljena v tem članku, je del projekta OP4L (št. projekta SEEERANETPLUS-115) in jo podpira SEE-ERA.NET PLUS Coordination and Support Action of the European Community. Hkrati študijo podpira tudi Javna agencija za raziskovalno dejavnost Republike Slovenije, po pogodbi o financiranju podiplomskega raziskovalnega usposabljanja mladega raziskovalca, številka 1000-11310140.
224
Kožuh, Sarjaš, Jeremic, Debevc
Literatura
[1]	H. Van Harmelen, »Design trajectories: four experiments in PLE implementation, Interactive Learning Environments«, 1744-5191, vol. 16, no. 1, 2008, pp. 3546.
[2]	Z. Jeremic, J. Jovanovic, D. Gaševic, »Personal learning environments on the Social Semantic Web, Journal of Semantic Web«, 2012.
[3]	S. Auer, S. Dietzold, T. Riechert, »OntoWiki - A Tool for Social, Semantic Collaboration«, in Proceedings of the 5th International Semantic Web Conference (ISWC 2006), Athens, GA, USA, pp. 736-749.
[4]	C. McLoughlin, M.J.W. Lee, »Listen and learn: A systematic review of the evidence that podcasting supports learning in higher education«, in C. Montgomerie & J. Seale (Eds), Proceedings of World Conference on Educational Multimedia, Hypermedia and Telecommunications, 2007, pp. 1669-1677.
[5]	Z. Jeremic, N. Milikic, J. Jovanovic, F. Radulovic, M. Brkovic, »OP4L: Online Presence Enabled Personal Learning Environment«, in Proceedings B of the 20th International Electrotechnical and Computer Science Conference (ERK 2011), pp. 417-420, Portorož, Slovenia.
[6]	M. Stankovic, »Modeling Online Presence, In Proceedings of the First Social Data on the Web Workshop«, 2008, Karlsruhe, Germany.
[7]	Z. Jeremic, J. Jovanovic, D. Gasevic, »An Environment for Project-based Collaborative Learning of Software Design Patterns«, International Journal on Engineering Education, vol. 27, no. 1, 2011, pp. 41-51.
[8]	OP4L - Online Presence For Learning, 2011, http://op4l.fon.bg.ac.rs
[9]	S.W. Chou & C. Liu, »Learning effectiveness in a Web-based virtual learning environment: a learner control perspective«, Journal of Computer Assisted Learning, vol. 21 no. 1, 2005, pp. 65-76.
[10]	R. Schulz-Zander, A. Büchter, R. Dalmer, »The role of ICT as a promoter of students' cooperation«, Journal of Computer Assisted Learning, vol. 18, no. 4, 2002, pp. 438-448.
[11]	M.F. Theofanos, J. Redish, »Bridging the gap: between accessibility and usability«, Interactions, vol. 10, no. 6, 2003, pp. 36-51.
[12]	M. Debevc, J. Lapuh Bele, »Usability testing of e-learning content as used in two learning management systems«,	EURODL	(Oslo),	2008, http://www.eurodl.org/materials/contrib/2008/Debevc_B ele.htm
[13]	Tigris.org: Open Source Software Engineering Tools. Argouml, : http://argouml.tigris.org
[14]	I. Kožuh, M. Debevc, V. Devedžic, Z. Jeremic, »Personalizirana spletna prisotnost v izobraževanju«, in A. Bačnik (ur.), B. Trstenjak (ur.), K. Blagus (ur.), M. Kosta (ur.), Mednarodna multikonferenca Splet izobraževanja in raziskovanja z IKT - SIRikt 2012, Kranjska Gora, 21.-24. marec 2012.
[15]	Ontotext, KIM platform, 2011, http: //www. ontotext. com/kim
[17]	J. Brooke, (1996) »SUS: a "quick and dirty" usability scale«, in P. W. Jordan, B. Thomas, B. A. Weerdmeester in A. L. McClelland. Usability Evaluation in Industry. London: Taylor and Francis.
[18]	A. Bangor, P. Kortum, J.A. Miller, »The System Usability Scale (SUS): An Empirical Evaluation«, International Journal of Human-Computer Interaction, vol. 24, no. 6, 2008, pp. 574-594.
[16] Jenabean - A library for persisting java beans to RDF, 2011, http://code.google.eom/p/jenabean