REVIJA INOVATIVNA PEDAGOGIKA JOURNAL OF INNOVATIVE PEDAGOGY Letnik 1, Št. 3 (2025), Stran: 456-471 https://doi.org/10.63069/mbc7w241 - 456- KRITERIJI ZA VREDNOTENJE DIGITALNIH IZOBRAŽEVALNIH VSEBIN 1dr. Alenka Lipovec, 2dr. Mirjam Oblak 1Univerza v Mariboru, Pedagoška fakulteta, Slovenija 2Ministrstvo za vzgojo in izobraževanje RS, Služba za digitalizacijo izobraževanja, Ljubljana, Slovenija Povzetek Prispevek obravnava kriterije za vrednotenje kakovosti digitalnih izobraževalnih vsebin. Poseben izziv na tem hitro razvijajočem se področju predstavlja vzpostavitev enotne terminologije. Smernice EU (v nastajanju) jih opredeljujejo kot kombinacijo digitalnih izobraževalnih virov in podatkov. Zaradi velikega števila kriterijev, njihovega prekrivanja in terminološke nedoslednosti je njihovo razvrščanje zahtevno. Avtorji zato združijo, klasificirajo in razporedijo obstoječe kriterije iz raziskovalnih virov, ekspertne EU skupine za digitalne izobraževalne vsebine in uspešnega španskega projekta v tri stebre, oblikovane po modelu treh C-jev, ter vzpostavijo pregleden in obvladljiv sistem. Kot ilustrativen primer uporabe tega modela prispevek predstavi funkcionalnosti slovenske nacionalne platforme eTorba, kjer so na voljo predvsem učbeniška gradiva. Prispevek dodatno analizira uporabnost metode analize hierarhije, ki omogoča strukturirano dodelitev uteži posameznim kriterijem. Zaključne ugotovitve koristijo učiteljem pri izbiri kakovostnih digitalnih izobraževalnih vsebin ter raziskovalcem in odločevalcem pri razvoju in določanju meril za njihovo kakovost. CRITERIA FOR ASSESSING DIGITAL EDUCATIONAL CONTENT Abstract The paper examines criteria for evaluating the quality of digital educational content. A key challenge in this rapidly evolving field is establishing a unified terminology. Emerging EU guidelines define it as a combination of digital educational resources and data. Due to the large number of criteria, their overlap, and terminological inconsistencies, their classification is complex. To address this, the Ključne besede: digitalne izobraževalne vsebine, kriteriji kakovosti, eTorba, interaktivnost, učni viri Keywords: digital educational content, quality criteria, eTorba, interactivity, learning resources Copyright: © 2025 Avtorji/The author(s). To delo je objavljeno pod licenco Creative Commons CC BY Priznanje avtorstva 4.0 Mednarodna. Uporabnikom je dovoljeno tako nekomercialno kot tudi komercialno reproduciranje, distribuiranje, dajanje v najem, javna priobčitev in predelava avtorskega dela, pod pogojem, da navedejo avtorja izvirnega dela. (https://creativecommons. org/licenses/by/4.0/) Revija Inovativna pedagogika/Journal of Innovative Pedagogy - 457- authors consolidate, classify, and organise existing criteria from research sources, an expert EU group, and a successful Spanish project into three pillars, structured according to the Three Cs model, creating a clear and manageable system. As an illustrative example of this model’s application, the paper presents the functionalities of the Slovenian national platform eTorba, which primarily provides textbook materials. Furthermore, the paper analyses theapplicability of the analytical hierarchy process, which enables a structured assignment of weights to individual criteria. The final findings are beneficial for teachers in selecting high-quality digital educational content, as well as for researchers and policymakers in developing and defining quality assessment criteria. 1 UVOD Akcijski načrt digitalnega izobraževanja 2021–2027 (Ministrstvo za vzgojo in izobraževanje, 2023a) si prizadeva vzpostaviti izobraževalni sistem, ki posameznike učinkovito pripravi na kakovostno življenje in delovanje v digitalni in zeleni družbi, primerljiv z najuspešnejšimi državami. Pri tem ključno vlogo igrajo digitalne izobraževalne vsebine (v nadaljevanju DIV), ki s svojimi značilnostmi in dodano vrednostjo izboljšujejo kakovost učenja. Kljub vse večji uporabi DIV terminologija področja ostaja neenotna, saj se področje nenehno razvija. Evropska komisija jih opredeljuje kot kombinacijo digitalnih izobraževalnih virov in podatkov, kar omogoča večjo personalizacijo učenja. V slovenskem prostoru se sicer uporablja več izrazov, vendar ti niso vedno dosledno opredeljeni. Prispevek obravnava terminološka vprašanja in kriterije za vrednotenje kakovosti DIV. Razprava temelji na različnih modelih in metodah vrednotenja, vključno z evropskimi smernicami in metodologijo analize hierarhije, ki omogoča objektivno vrednotenje kakovosti. Posebna pozornost je namenjena DIV v Sloveniji, predvsem platformi eTorba, kjer analiziramo njene funkcionalnosti in preučujemo priložnosti za izboljšave, zlasti pri širitvi predmetov in večji interaktivnosti učbenikov in drugih e-gradiv. dr. Alenka Lipovec in dr. Mirjam Oblak -458- 2 TERMINOLOGIJA Za digitalne izobraževalne vsebine tako v slovenskem kot evropskem prostoru trenutno ne obstaja usklajena terminologija. Neenotnost ne preseneča, če pomislimo na njihovo pisano zgodovino in širok nabor. Okvir za digitalne kompetence državljanov DigComp 2.2 (Vuorikari idr, 2023) tehnologijo deli na digitalna orodja in na digitalne vsebine, pri čemer slednje razvršča na vire in na podatke. Medtem ko so podatki nekaj, kar je potrebno analizirati in interpretirati, vire uporabnik razume brez tovrstnih opravil. Evropska komisija digitalne izobraževalne vsebine (krajše DIV, ang. digital education content, krajše DEC) opredeljuje kot »podatk[e], ki so ustvarjeni, organizirani, strukturirani, distribuirani in predstavljeni na način, ki je namenjen izpolnjevanju izobraževalnih ciljev« (Evropska komisija, 2023). Med drugim ugotavlja, da se danes pojem digitalnih izobraževalnih vsebin širi preko same vsebine in vključuje orodja in kanale, skozi katere se do vsebine dostopa (npr. sistemi za upravljanje učenja, platforma za učne izkušnje). Ključen sestavni del sodobnih, kakovostnih digitalnih izobraževalnih vsebin so podatki, saj na njihovi podlagi lahko prilagajajo vsebino potrebam posameznega učenca. V slovenskem prostoru se trenutno uporabljajo predvsem pojmi e-gradiva, e-izobraževalni viri in digitalni učni viri. Prvi termin izpušča pomembno informacijo o izobraževalni naravi vsebine, je pa priročen, ker je kratek in skladen s pojmom e-učbeniki. Z vidika neenotne terminologije, skladnosti z evropskimi smernicami in obsegom, ki ga pokriva termin digitalne izobraževalne vsebine, se kaže tudi v slovenskem prostoru najustreznejša raba prav tega termina. 3 E-UČBENIKI KOT DIGITALNE IZOBRAŽEVALNE VSEBINE Prvi koraki k oblikovanju slovenskih e-učbenikov Digitalne izobraževalne vsebine so široko področje, ki naslavljajo tako preproste interaktivne naloge in zvočne ter video posnetke kot tudi virtualno resničnost in kompleksna spletna izobraževanja z elementi umetne inteligence. Ena od najbolj uporabljanih oblik DIV so e-učbeniki, ki se od ostalih ločujejo po tem, da predstavljajo »osnovno učno gradivo za doseganje vzgojno-izobraževalnih ciljev in standardov znanja, opredeljenih v učnem načrtu oziroma katalogu znanja« (Pravilnik o potrjevanju učbenikov). V Sloveniji so bila leta 2011 oblikovana splošna izhodišča za pripravo e-učbenikov, ki izpostavljajo štiri ključne vidike: didaktičnega, strokovnega, tehničnega in organizacijskega (Kreuh idr., 2011). Prvi operativni koraki k oblikovanju e-učbenika v slovenskem prostoru so nastali v okviru E-um skupine. Zmazek idr. (2012) so postavili zahteve, kot npr. usklajenost e-učbenikov Revija Inovativna pedagogika/Journal of Innovative Pedagogy -459- z učnimi načrti, interaktivnost, vključevanje multimedije, induktivni pristop in motivacijska zasnova. Pesek idr. (2014) so posebej poudarili interaktivnost in zastavili kategorizacijo na digitalizirane (d-učbeniki), bogate (r-učbeniki) in interaktivne učbenike (i-učbeniki), pri čemer vsaka kategorija nadgrajuje prejšnjo. Medtem ko so d-učbeniki zgolj digitalne različice tiskanih učbenikov z osnovnimi funkcijami, kot sta prebiranje in dodajanje zaznamkov, r-učbeniki vključujejo multimedijske vsebine, i-učbeniki pa prinašajo najnaprednejšo obliko e-učbenikov, saj omogočajo interaktivne naloge, prilagodljive učne poti, shranjevanje odgovorov in analizo uspešnosti učenca. e-Učbenike opredeljuje tudi Pravilnik o potrjevanju učbenikov (Uradni list RS, št. 34/15 in 27/17), ki povzame omenjeno kategorizacijo. Leta 2015 so na portalu SIO nastali prvi interaktivni učbeniki, najprej za matematiko, ki so služili kot model za druge predmete. Raziskave so potrdile njihovo kakovost ter vlogo pri spodbujanju učenja z razumevanjem in inovativnih pedagoških pristopov (Zmazek idr., 2015). Njihova uporaba izboljšuje učne dosežke, a je učinkovitost odvisna od načina uporabe in usposobljenosti učiteljev (Ferme, 2025). Medtem ko so e-učbeniki marsikje tudi osnovno učno sredstvo, ki lahko nadomesti tiskani učbenik, pa trendi kažejo na vse večji pomen kombiniranih gradiv, kjer digitalna vsebina bogati tiskano z dodatnimi funkcionalnostmi, kot so interaktivne naloge in spremljanje napredka učenca, dodatne multimedijske razlage in podobno. Vse bolj se izkorišča tudi zmožnosti umetne inteligence (na primer za analitiko, inteligentne tutorje, generiranje nalog in povratnih informacij). Za posebne tipe digitalnih izobraževalnih vsebin so nastajali specifični kriteriji kakovosti. Projekt EXPERT (https://project-expert.eu/) je na primer razvil taksonomijo za video razlage, ki jih je možno strojno prevajati (Lipovec, 2022). Slovenski e-učbeniki po letu 2023: eTorba e-Gradiva in e-učbeniki, ki so nastali med letoma 2006 in 2015, so postali zaradi razvoja tehnologije tehnično zastareli. Tako je Ministrstvo za vzgojo in izobraževanje v okviru projekta E-torba 2023 nekatere obstoječe e-učbenike in e-gradiva tehnično in vsebinsko posodobilo z novo razvitim eUrejevalnikom ter razvilo portal, ki omogoča dostop in učenje z njimi (eTorba z eBralnikom). Projekt je bil sofinanciran s strani Evropskega sklada za regionalni razvoj. Objavljena gradiva so recenzirana, jezikovno pregledana in skladna z zakonodajo. Cilj portala je izboljšati dostopnost in učinkovitost učenja ter učence spodbuditi k učenju z zavedanjem, da je učenje zahtevno, a vredno truda. dr. Alenka Lipovec in dr. Mirjam Oblak -460- Digitalne vsebine na eTorbi so zasnovane na pedagoških in didaktičnih načelih, ki temeljijo na izkušnjah učiteljev in raziskavah, še posebej kognitivni teoriji multimedijskega učenja. Mayer opozarja, da si moramo namesto »Kaj lahko naredi tehnologija?« zastaviti vprašanje »Kako deluje človeški um?« ter tako preseči samo zagotavljanje dostopa do učenja (Mayer, 2013). Vsebine na eTorbi so strukturirane tako, da to upoštevajo in omogočajo samostojno učenje. Vsaka učna enota sledi koherentni strukturi. Gradniki, kot so besedilo, slike, zvok, videoposnetki, naloge in simulacije, omogočajo, da je vsebina učinkoviteje prikazana, kar vpliva na razumevanje. Vizualizacija je ključni element kakovostnih izobraževalnih vsebin, saj raziskave potrjujejo, da se ljudje učinkoviteje učimo ob kombinaciji besed in slik kot zgolj iz besed. Poleg tega je lahko tudi interaktivna, kar še dodatno spodbuja razumevanje in angažiranost (Mayer, 2013, Tchoshanov 2013). eTorba daje poseben poudarek interaktivnim elementom, ki jih deli na tri ravni: nizko (fotografije, zvok, video), srednjo (naloge s povratnimi informacijami) in visoko (apleti, didaktične igre). Sledi načelu raznolikih učnih metod, saj vključuje širok spekter nalog, ki spodbujajo radovednost, kritično mišljenje in kreativnost. Omogoča postopno prehajanje med kognitivnimi ravnmi ter prilagajanje različnim učnim pristopom. Ena od prednosti je tudi generiranje nalog, kjer se ob ponovnem dostopu podatki spremenijo, osnovna struktura pa ostane enaka. V prihodnosti se predvideva razvoj funkcionalnosti za učinkovitejše prilagajanje vsebine individualnim potrebam učencev ter boljše spremljanje njihovega napredka, pa tudi vključevanje naprednih tehnologij, kot sta virtualna resničnost in umetna inteligenca. e-Gradiva se na eTorbi učencu odprejo v posebnem orodju, imenovanem eBralnik. To je zasnovano tako, da podpira učenje v digitalnem okolju in omogoča uporabo osnovnih bralnih učnih strategij, razvija učenčevo jezikovno zmožnost in mu pomaga pri razumevanju z vključevanjem jezikovnih tehnologij ter deljenje znanja. Najpomembnejša značilnost eBralnika pa je prilagoditev pogleda in vsebine, ki omogoča tudi učenje na mobilnih napravah. eUrejevalnik je avtorsko orodje, ki omogoča ustvarjanje in urejanje digitalnih izobraževalnih vsebin v skladu s sodobnimi tehnološkimi standardi ter njihovo objavo na portalu eTorba oziroma prenos kot ePUB ali HTML za objavo na drugih portalih ali sistemih za upravljanje učenja. Zasnovan je tako, da omogoča avtorjem enostavno ustvarjanje vsebin s sestavljanjem različnih gradnikov. Posameznemu gradniku lahko avtor določi tudi oblikovno podobo. Pri razvoju so bile upoštevane potrebe uporabnikov, kot je na primer vključitev atributa "alt" za opise slik, kar izboljšuje dostopnost za slepe in slabovidne učence. Revija Inovativna pedagogika/Journal of Innovative Pedagogy -461- 4 KRITERIJI VREDNOTENJA DIGITALNIH IZOBRAŽEVALNIH VSEBIN Digitalne izobraževalne vsebine morajo zadoščati vsem kriterijem tradicionalnih didaktičnih besedil, hkrati pa izkoriščati prednosti (dodano vrednost) digitalnega medija, kot so npr. interaktivnost, povratne informacije, multimedijska podpora in prilagodljivost potrebam vsakega učenca. Justin (2005) poudarja, da na kakovost didaktičnega besedila, njegovo razumljivost in učinkovitost pri učenju vpliva več dejavnikov. Da bralec lažje sledi vsebini, morajo biti ključne informacije jasno izpostavljene že na začetku poglavja s pomočjo naslovov, podnaslovov in poudarjenih ključnih pojmov. Tudi besedišče mora biti prilagojeno ciljni skupini – strokovni izrazi naj bodo uporabljeni premišljeno, definicije in razlage pa dovolj jasne, da jih razumejo učenci z različnimi stopnjami predznanja. Besedilo mora biti tekoče in enostavno za branje. Ker lahko dolge in zapletene povedi zmanjšajo razumljivost, je smiselno ključne informacije predstaviti v preprostih stavkih, medtem ko so bolj zapletene razlage lahko nekoliko daljše. Učenci se lažje aktivno povežejo z učno snovjo, če besedilo spodbuja njihov interes – to lahko dosežemo s problemskim pristopom, postavljanjem vprašanj, vključevanjem primerov in vizualnih elementov. Pomembna je tudi povezanost besedila. Stavki morajo biti med seboj logično povezani, glagolski časi pa uporabljeni dosledno, da jasno izražajo vzročne in časovne odnose. Dobra struktura, jasne povezave med deli besedila ter postopno nadgrajevanje vsebine omogočajo, da učenci ne le razumejo snov, ampak jo tudi uspešno povežejo s svojim predznanjem in praktičnimi primeri. Ker pa morajo v digitalnih izobraževalnih vsebinah učenci svojo pozornost razporediti med različne oblike podatkov, so lahko zato tudi manj učinkovite kot tiskane. Vries (2003 v Grosman, 2011) opozarja, da učenje z elektronskimi gradivi »zahteva visoko kognitivno zmožnost. Uporabniki/bralci morajo biti zmožni določiti probleme, iskati podatke za njihovo reševanje in dejavno sodelovati z gradivi. Šele tako usmerjeno delovanje omogoča uspešno učno sodelovanje«. Zato je v primerjavi s tiskanimi učbeniki za digitalne izobraževalne vsebine kakovostna zasnova še pomembnejša ter zmanjšuje verjetnost, da zaradi kognitivne preobremenitve, tehničnih težav, distrakcij in podobnega »izgubimo« učenca, hkrati pa izkoristimo njihov potencial. V številnih organizacijah in državah predstavljajo standarde kakovosti (na primer UNESCO, 2021, poročilo Digital Education Content in the EU, Evropska komisija, 2023). Nastajajoče smernice za DIV, ki jih pripravlja Evropska komisija, naslavljajo naslednja področja: usklajenost z učnimi cilji in kakovost učnih scenarijev, pravna skladnost in varstvo podatkov, zanesljivost in verodostojnost, spodbujanje učenja in angažiranost, dr. Alenka Lipovec in dr. Mirjam Oblak -462- prilagodljivost in dostopnost, vpliv in ocenjevanje, tehnična uporabnost in varnost ter finančna vzdržnost (Expert Group on Digital Education Content, 2025). Ena od držav, ki je razvila kriterije za vrednotenje DIV za zagotavljanje kakovosti in uporabnosti v izobraževanju, je tudi Španija (INTEF, 2025). Kriteriji zajemajo didaktični vidik, kakovost vsebine ter sposobnost spodbujanja aktivnega učenja. Pomembni so prilagodljivost, interaktivnost in motivacija učencev. Oblika in oblikovanje vplivata na uporabniško izkušnjo, ponovna uporabnost in prenosljivost pa omogočata dostop na različnih napravah. Zagotovljeni morajo biti ponovna uporabnost, prenosljivost, robustnost in tehnična stabilnost, logično zaporedje in povezljivost vsebin, intuitivna navigacija in enostavna uporaba. Posebna pozornost je namenjena tudi dostopnosti vsebin za učence s posebnimi potrebami. Še posebej se učinkovanju medijev (kamor lahko uvrščamo tudi digitalne izobraževalne vsebine) na otroške možgane posveča koncept 3C (Child, Context, Content), ki ga je predlagala Guernsey (2007 v Tiwari, 2020). Vidik učenca (Child) temelji na izhodišču, da se učenje zgodi, ko temelji na njegovem predznanju, ustreza njegovim interesom in ko je količina mentalnega napora (Salomon, 1983), potrebna za razumevanje medija, ravno pravšnja (Guernsey, 2007 v Tiwari, 2020). Učitelji in razvijalci digitalnih vsebin morajo upoštevati, kako interaktivni elementi, vizualna podoba in prilagodljivost vsebin vplivajo na motivacijo in vključevanje učenca v proces učenja. Dejavniki konteksta oziroma okoliščin (Context) kažejo za najmlajše otroke na pomen učiteljev, staršev oziroma skrbnikov, ki jim razlagajo in bogatijo vsebino s svojo razlago ter lahko pomagajo pri prenosu v življenje (Guernsey, 2007 v Tiwari, 2020). Digitalne izobraževalne vsebine morajo nasprotno zagotoviti, da se učenec lahko uči tudi sam (samostojno), pri čemer mu premišljeno prinašajo ustrezne vsebinske elemente ter dejavnosti, ki usmerjajo učenje od priklica do vrednotenja znanja ter prinašajo povratno informacijo o doseganju učnih ciljev. Dejavnik vsebine (Content) predstavlja kakovost digitalnih izobraževalnih vsebin, upoštevajoč primerno raven zahtevnosti, pri čemer je v izobraževalne namene koristno upoštevati multimodalnost (Guernsey, 2007 v Tiwari, 2020). Grigoryan idr. (2022) predlagajo metodo analize hierarhije za objektivno vrednotenje digitalnih izobraževalnih vsebin, saj omogoča primerjavo vsebin in dodeljevanje uteži posameznim kriterijem. Uporaba večkriterijskih metod po njihovih ugotovitvah prispeva k višji kakovosti digitalnega izobraževanja. Revija Inovativna pedagogika/Journal of Innovative Pedagogy -463- 5 TRIJE STEBRI KAKOVOSTI DIGITALNIH IZOBRAŽEVALNIH VSEBIN Na osnovi predstavljenih spoznanj smo z uporabo metode analize hierarhije ustvarili kriterije za izbiro kakovosti DIV, ki so uporabni za slovenski prostor. Predlagane kriterije ilustriramo na primeru e-učbenikov na eTorbi. Izhajamo iz treh stebrov (3C) in vanje umestimo ostale kriterije. Pedagoška zasnova Pedagoška zasnova temelji kontekstu, zajema tri ključna področja in odgovarja na vprašanje: Kako digitalna vsebina podpira učne cilje, pedagogiko in varnost učencev? a) Usklajenost z učnimi cilji in kakovost učnih scenarijev (Educational Content and Pedagogical Alignment). Npr.: Ali je vsebina usklajena z učnim načrtom? Ali podpira razvoj višjih kognitivnih procesov? b) Pravna skladnost in varstvo podatkov (Legal Compliance and Data Privacy). Npr. Ali vsebina ustreza zakonodaji o varstvu osebnih podatkov in Aktu o umetni inteligenci (Uradni list Evropske unije, 2024)? Ali so podatki zaščiteni in varno obdelani? Ali so pogoji uporabe jasno opredeljeni? Zanesljivost in verodostojnost (Reliability and Trustworthiness). Npr.: Ali temeljijo informacije na preverjenih in zanesljivih virih? Ali so vsebine ažurirane? Ali so avtorji navedeni? Pregled DIV na eTorbi kaže, da so trije navedeni kriteriji vsaj delno zagotovljeni. Gradiva so namreč označena z ikonami, ki kažejo, da so bila strokovno pregledana ali pa tudi uradno potrjena na Strokovnem svetu RS za splošno izobraževanje. Uporabniki lahko prispevajo h kakovosti tudi z javljanjem predlogov za popravke. Slika 1: Status gradiv na eTorbi dr. Alenka Lipovec in dr. Mirjam Oblak -464- Uporabniška izkušnja Uporabniška izkušnja temelji na učencu, ki je primarni uporabnik, zajema tri ključna področja in odgovarja na vprašanje: Kako učenci doživljajo digitalno vsebino in ali je dostopna vsem? a) Spodbujanje učenja in angažiranost (Experience and Engagement). Npr. Ali učence motivira k aktivnemu učenju? Ali spodbuja izkušenjsko učenje in učenje z raziskovanjem? Ali omogoča sodelovalno učenje? b) Prilagodljivost in dostopnost (Inclusion and Accessibility). Npr. Ali vsebina omogoča personalizirano učenje? Ali je prilagojena učencem s posebnimi potrebami? Ali podpira različne jezike? c) Vpliv in ocenjevanje (Impact and Assessment). Npr.: Ali je učinek vsebine merljiv? Ali omogoča sledenje napredku učencev? Ali vključuje možnosti za povratne informacije in samoocenjevanje? eTorba spodbuja učenje in angažiranost z več pristopi. V portal sta integrirana slovarja Franček (za osnovno šolo) in Fran (za srednjo šolo), ki pomagata pri razumevanju in raziskovanju pomenov besed. Na domači strani učence k raziskovanju vabijo dnevno osvežene zanimivosti iz učbenikov (rubrika Ali veš), spodbudne misli vzornikov pa poudarjajo vrednost učenja. K večji vključenosti prispevajo tudi igrifikacija, profilne slike, himna eTorbe in možnost deljenja gradiv (slika 2). Slika 2: Sestavljanka (Repnik idr., 2023), Ali veš (Godec idr., 2023) ter funkcionalnost za deljenje znanja (Grubelnik idr., 2024). Prilagodljivost eTorbe omogoča prilagajanje vsebine velikosti zaslona, kar olajša učenje na mobilnih napravah. Uporabniki lahko nastavijo prikaz in zahtevnost vsebine, kar izboljšuje berljivost ter pomaga slabovidnim učencem in tistim z disleksijo. Videoposnetek Kako se učim z eTorbo (Ministrstvo za vzgojo in izobraževanje, 2023b) prikazuje, kako izbrati optimalne nastavitve za učinkovitejše učenje. Samovrednotenje poteka sproti, nekatera gradiva pa omogočajo izbiro zahtevnosti nalog, kar zagotavlja raznoliko evalvacijo znanja. Revija Inovativna pedagogika/Journal of Innovative Pedagogy -465- Trenutno je omejeno na posamezne naloge, saj podrobnejša analitika za spremljanje napredka še ni razvita (slika 3). Slika 3: Prilagodljivost pogleda (Brodnik idr., 2024), kritična presoja (Jankovič Čurič idr., 2023) in diferencirana evalvacija znanja na eTorbi Kakovost vsebine Kakovost vsebine temelji na zadnjem C –vsebini, zajema štiri ključna področja in odgovarja na vprašanje: Ali je digitalna vsebina kakovostna, trajnostna in tehnično učinkovita? a) Besedilni in multimedijski elementi (Textual and Multimedia Elements). Npr. : Ali je vsebina jezikovno ustrezna? Ali so slike, videi in zvok tehnično kakovostni? Ali omogočajo učinkovito učno izkušnjo?) b) Interaktivnost. Npr.: Ali zagotavlja povratne informacije? Ali vključuje dinamične elemente? c) Tehnična uporabnost in varnost (Technical Sustainability and Security). Npr.: Ali zagotavlja združljivost z različnimi sistemi? Ali varuje osebne podatke? Ali omogoča enostavno uporabo na različnih napravah? d) Finančna vzdržnost (Financial Sustainability). Npr.: Ali ima vsebina dolgoročno vrednost? Ali omogoča stroškovno učinkovito uporabo? Ali ponuja odprte izobraževalne vire (OER) ali ugodne licenčne modele? Kot prikazuje slika 4, so besedilni elementi jasno strukturirani s kazalom v celoti ali v drevesni obliki ter enotno oblikovno podobo, ki ločuje ključne informacije od razlage. Vsebina se prikazuje na neskončni strani v enem stolpcu, kar izboljšuje osredotočenost in predvidljivost branja ter zmanjšuje količino podatkov naenkrat. Krajše učne enote so primernejše, saj zahtevajo manj drsenja po strani. Na dnu vsake strani je premica, ki prikazuje učenčev napredek v gradivu. dr. Alenka Lipovec in dr. Mirjam Oblak -466- Slika 4: Postavitev s kazalom in premico na dnu strani, ki kaže, kje v gradivu se učenec nahaja. (Brodnik idr., 2024) Slika 5 prikazuje različne multimedijske elemente na eTorbi. Slika 5: Slika (Tomažič idr., 2023), zvok (Jazbec Colja in Konjar, 2023), video (Kralj Serša idr., 2023). Nekatere primere interaktivnosti z eTorbe prikazuje slika 6. Slika 6: Interaktivno raziskovanje pri matematiki (Bajramović idr., 2023; Pev idr., 2023; Ivanec idr., 2023). Revija Inovativna pedagogika/Journal of Innovative Pedagogy -467- Na eTorbi so digitalne izobraževalne vsebine modularno zasnovane, kar omogoča ponovno uporabo in prilagodljivost za različna predmetna področja. Prenosljivost je zagotovljena s standardiziranimi formati (HTML5, ePub), kar omogoča dostop na različnih napravah, tudi brez interneta. Pomembna je tudi interoperabilnost, saj vsebine podpirajo različne vhodne naprave in omogočajo enostavno navigacijo. Stabilnost in tehnična podpora zagotavljata nemoteno uporabo. Kot odprt izobraževalni vir eTorba omogoča finančno vzdržnost ter široko dostopnost vsebin. 6 KAKO VREDNOTITI KAKOVOST Pri vrednotenju kakovosti digitalnih izobraževalnih virov smo uporabili metodo analize hierarhije, ki omogoča sistematično združevanje in tehtanje različnih kriterijev. Najprej smo različne kriterije razvrstili v tri glavne stebre (glej sliko 7). Znotraj vsake kategorije smo nato kriterije hierarhično združevali v podkategorije. Združevanje je seveda možno tudi na drugačne načine, kar v nadaljevanju vpliva tudi na vrednotenje digitalnih izobraževalnih vsebin. Slika 7: Področja vrednotenja kakovosti digitalnih izobraževalnih virov dr. Alenka Lipovec in dr. Mirjam Oblak -468- Pri vrednotenju DIV je ključno, da se učitelji zavedajo glavnih področij vrednotenja, saj morajo pri dodeljevanju točk zagotoviti uravnoteženost točk med temi kategorijami. To omogoča hierarhično strukturirano, pregledno in objektivno vrednotenje, ki vodi k zanesljivejšim rezultatom in boljši kakovosti izobraževalnih virov. Vrednotenje DIV ponazorimo na hipotetičnem primeru, pri čemer oceno podaja učitelj, ki dobro pozna učence, ki jih poučuje. Vsakemu stebru smo dodelili največ 12 točk: v prvih dveh trikrat po 4, v zadnjem pa štirikrat po 3 točke. Pri pedagoški zasnovi gradivo sledi učnemu načrtu, a zahteva preveč predznanja (3/4). Pravna skladnost je dobra, vendar niso povsem jasni pogoji shranjevanja podatkov (3/4). Nekateri viri niso dovolj natančno navedeni (3/4). Skupno 9/12. Pri uporabniški izkušnji učence motivira in aktivno vključuje (4/4). Prilagodljivost je odlična, saj omogoča rabo na različnih napravah (4/4). Vpliv in ocenjevanje sta solidna, a brez analitike napredka učencev (3/4). Skupno 10/12. Pri kakovosti vsebine manjkajo multimedijski elementi (2/3), interaktivnost je odlična (3/3), tehnična uporabnost prav tako (3/3), gradivo pa je finančno dostopno, saj je odprto (3/3). Skupno 11/12. Skupna ocena gradiva je torej 30/36. 7 ZAKLJUČEK Digitalne izobraževalne vsebine predstavljajo eno izmed največjih priložnosti sodobnega izobraževanja – omogočajo prilagojeno učno izkušnjo, večjo dostopnost in spodbujajo aktivno vlogo učenca pri učenju. Vendar pa njihova učinkovitost ni samoumevna. Le s skrbno načrtovanimi kriteriji kakovosti lahko zagotovimo, da resnično podpirajo učni proces in izboljšujejo razumevanje, motivacijo ter angažiranost učencev. V prispevku predlagamo tri stebre vrednotenja kakovosti digitalnih izobraževalnih vsebin. Pedagoška zasnova zajema usklajenost z učnimi cilji in kakovost učnih scenarijev, pravno skladnost in varstvo podatkov ter zanesljivost in verodostojnost. Uporabniška izkušnja vključuje spodbujanje učenja in angažiranost, prilagodljivost in dostopnost ter vpliv in ocenjevanje. Kakovost vsebine pa zajema kriterije, kot so besedilni in multimedijski elementi, interaktivnost ter tehnična uporabnost in varnost ter finančna vzdržnost. Predlagamo, da so pri vrednotenju DIV temeljna področja (stebri) enakovredno zastopana. Tak sistem omogoča uravnoteženo, pregledno in objektivno vrednotenje, saj učitelj pri dodeljevanju točk upošteva razmerje med vsemi tremi ključnimi področji, kar omogoča celostno analizo kakovosti DIV. Kljub pomenu takšnih standardov oziroma kriterijev je enako pomembno, da se DIV vrednotijo tudi glede na specifične učne cilje in okoliščine njihove uporabe. Učitelji morajo imeti ustrezne digitalne in pedagoške kompetence, ki jim omogočajo tako kritično vrednotenje kot tudi smiselno vključevanje teh virov v pouk. Revija Inovativna pedagogika/Journal of Innovative Pedagogy -469- eTorba predstavlja pomemben korak v smeri digitalizacije izobraževanja in dostopnosti kakovostnih interaktivnih učnih gradiv. Gradiva, vključena v portal, ustrezajo večini ključnih kriterijev kakovosti DIV, saj zagotavljajo jasno strukturirano vsebino, multimedijsko podporo, prilagodljivost različnim učnim potrebam ter interaktivne elemente, ki spodbujajo angažiranost učencev. Poleg tega so e-učbeniki modularno zasnovani, kar omogoča njihovo prilagajanje in ponovno uporabo v različnih učnih kontekstih. Obstoječi sistem eTorbe in metodologija vrednotenja digitalnih virov pa ponujata tudi številne priložnosti za nadaljnji razvoj in nadgradnjo. Eden ključnih izzivov ostaja širitev nabora predmetov, kar bi omogočilo še večjo uporabnost sistema za učence in učitelje na različnih strokovnih področjih. Nadalje bi bilo smiselno okrepiti interaktivnost učbenikov, na primer z dodajanjem simulacij, personaliziranih učnih poti ter umetne inteligence za prilagajanje vsebine posameznim učencem. Rezultati tega prispevka so uporabni tako za učitelje, ki izbirajo kakovostne digitalne izobraževalne vsebine za poučevanje, kot za razvijalce in oblikovalce učnih gradiv, ki želijo izboljšati uporabniško izkušnjo in didaktično vrednost DIV. Poleg tega so ugotovitve pomembne tudi za odločevalce in oblikovalce izobraževalnih politik, saj zagotavljajo strokovno podlago za določanje meril kakovosti digitalnih izobraževalnih virov na nacionalni ravni. S celostnim pristopom, ki združuje tehnološki napredek, pedagoško podporo in strateško načrtovanje, bo mogoče v celoti izkoristiti potencial izobraževalnih vsebin in izboljšati kakovost izobraževanja v prihodnosti. LITERATURA Bajramović, N., Repnik, A., Kociper, M., Cigula, S., Slana Mesarič, M., Antolin, D., Ferk, E., Visočnik, D. (2023). MATEMATIKA 5: i-Učbenik za matematiko v 5. razredu osnovne šole. Ministrstvo za vzgojo in izobraževanje Brodnik, V., Robežnik, N. (2024). Prva svetovna vojna. e-Gradivo z nalogami za ponavljanje in utrjevanje prve svetovne vojne na Slovenskem. Ministrstvo za vzgojo in izobraževanje Grigoryan, N., Harutyunyan, Y., & Grigoryan, Z. (2022). On the method for assessing the quality of e-learning resources. Main Issues Of Pedagogy And Psychology, 9(1), 90–98. https://doi.org/10.24234/miopap.v21i1.430 Evropska komisija (2023). Digital education content in the EU: state of play and policy options. Final report. Publications Office of the European Union. https://data.europa.eu/doi/10.2766/682645 Expert Group on Digital Education Content (2025). Draft -Guidelines for digital education contents. Interni vir Ferme, J. (2025). Slovenian interactive open access textbooks for mathematics. V INTED 2025 Proceedings. IATED. https://doi.org/10.21125/inted.2025 dr. Alenka Lipovec in dr. Mirjam Oblak -470- Godec, G., Glažar, S., & Grubelnik, L. (2023). Naravoslovje 6: i-Učbenik za naravoslovje v 6. razredu osnovne šole. (B. Zmazek, V. Grubelnik, & T. Mušinović Zadravec ur.). Ministrstvo za vzgojo in izobraževanje Republike Slovenije. https://etorba.sio.si/etorba/sl/books/39/read Grosman M. (2011). Večrazsežna pismenost, izziv sedanjosti. V Cotič, M., Medved Udovič, V., Starc S. Razvjianje različnih pismenosti. Univerzitetna založba Annales. Grubelnik, L., Zupan, D., Gosak, M., Markovič, R., Ketiš, B., Repnik, R., & Jug, M. (2023). Fizika 8: i-Učbenik za naravoslovje v 8. razredu osnovne šole (V. Grubelnik, ur.). Ministrstvo za vzgojo in izobraževanje Republike Slovenije. https://etorba.sio.si/etorba/sl/books/41/read INTEF. (2025). National Institute of Educational Technologies and Teacher Training: Digital Education Content Evaluation Criteria. Evaluar Recursos Educativos - INTEF Inštitut za slovenski jezik Frana Ramovša ZRC SAZU. (2024). Fran, slovarji Inštituta za slovenski jezik Frana Ramovša ZRC SAZU (različica 12.1). ZRC SAZU. https://www.fran.si Ivanec, D., Janežič, T., Pustavrh, S., Zmazek, V., Mohorčič, A., Špolad, M., Cencelj, A., Pečovnik Mencinger, A., & Jericijo, O. (2023). VEGA 2: i-Učbenik za matematiko v 2. letniku gimnazije. (S. Repolusk ur.),. Republika Slovenija, Ministrstvo za vzgojo in izobraževanje. https://etorba.sio.si/etorba/sl/books/32/read Jankovič Čurič, M., Janša, J., Jereb, S., Jelovčan Koselj, J., Leben Jazbec, S., Lotrič Komac, T., Vidmar, K., Zamuda, K., Žagar Pernar, T., & Žist, M. (2023). Slovenščina 8: i-Učbenik za slovenščino v 8. razredu osnovne šole (T. Lotrič Komac, ur.). Ministrstvo za vzgojo in izobraževanje Republike Slovenije. https://etorba.sio.si/etorba/sl/books/2/read Jazbec Colja, M., & Konjar, K. (2023). Nemščina 7: i-Učbenik za nemščino kot izbirni predmet v 7. razredu osnovne šole (S. Podgoršek, Ed.). Ministrstvo za vzgojo in izobraževanje Republike Slovenije. https://etorba.sio.si/etorba/sl/books/2/read Justin, J. (2005). Zgradba didaktičnega besedila in problemi njegove evalvacije Šolsko polje, 14. (5/6), 27–61. Kralj Serša, M., Jeršin Tomassini, K., & Nemec, L. (2023). Geografija 1: i-Učbenik za geografijo v 1. letniku gimnazij (T. Kikec, Ed.). Ministrstvo za vzgojo in izobraževanje Republike Slovenije. https://etorba.sio.si/etorba/sl/books/7/read Kreuh, N., Kač, L., & Mohorčič, G. (2011). Izhodišča za izdelavo e-učbenikov. Zavod RS za šolstvo. https://www.zrss.si/digitalna_bralnica/izhodisca-za-izdelavo-e-ucbenikov/ Lipovec, A. (2022). Video lectures taxonomy. In 3rd International JSXGraph Conference: 4-6 October 2022. Universität Bayreuth, Lehrstuhl für Mathematik und ihre Didaktik. https://jsxgraph.org/conf2022/program/lipovec/ Mayer, R. E. (2013). Učenje s tehnologijo. V Dumont, H., Istance, D. in Benavides, F. (ur.). O naravi učenja (str. 163–183)- Zavod RS za šolstvo. o-naravi-ucenja.pdf Ministrstvo za vzgojo in izobraževanje (2023a). Akcijski načrt digitalnega izobraževanja (ANDI) 2021- 2017. https://www.gov.si/assets/ministrstva/MVI/SDIG/Akcijski-nacrt-za-digitalno- izobrazevanje_ANDI-2023_web.pdf Ministrstvo za vzgojo in izobraževanje (2023b). Kako se učim z eTorbo. https://video.arnes.si/watch/z0hllv03wqf7 Pesek, I., Zmazek, B in Mohorčič, G. (2014). Od e-gradiv do i-učbenikov. V I. Pesek, B. Zmazek in V. Milekšič (Ur.). Slovenski i-učbeniki (str. 9–16). Zavod RS za šolstvo. https://www.zrss.si/pdf/slovenski-i-ucbeniki.pdf Revija Inovativna pedagogika/Journal of Innovative Pedagogy -471- Pev, M., Mahnič, B., Tadina Bence, V., Gorše Pihler, M., Lešnik, V., Šabeder, R., Juričinec, M., Bajramović, N., Štaher, A., & Hauptman, A. (2023). Matematika 8: i-Učbenik za matematiko v 8. razredu osnovne šole (J. Senekovič, ur.). Ministrstvo za vzgojo in izobraževanje Republike Slovenije. https://etorba.sio.si/etorba/sl/books/29/read Podvršnik, K., Klemenčič Glavica, M., Kralj, N., & Črv Sužnik, M. (2023). Slovenščina 1: i-Učbenik za slovenščino v 1. letniku gimnazij (K. Podvršnik, ur.). Ministrstvo za vzgojo in izobraževanje Republike Slovenije. https://etorba.sio.si/etorba/sl/books/15/read Pravilnik o potrjevanju učbenikov. Uradni list RS, št. 34/15 in 27/17 Repnik, A., Ferk, E., Antolin, D., Cigula, S., Novak, A., & Visočnik, D. (2023). Matematika 4: i- Učbenik za matematiko v 4. razredu osnovne šole (A. Lipovec, ur.). Ministrstvo za vzgojo in izobraževanje Republike Slovenije. https://etorba.sio.si/etorba/sl/books/25/read Rivas, A. (2021). The platformization of education: a framework to map the new directions of hybrid education systems. UNESCO Salomon, G. (1983) The differential investment of mental effort in learning from different sources. Educational Psychologist 18. Tchoshanov, M. (2013). Engineering of Learning: Conceptualizing e-Didactics. UNESCO Institute for Information Technologies in Education. Engineering of Learning: Conceptualizing e- Didactics Tiwari, S. (2020). Understanding the 3Cs: Child, Content, and Context in Children’s Educational Media. TechTrends 64/3. Tomažič, I., Zidar, P., Dolenc Koce, J., & Ambrožič Avguštin, J. (2023). i-Biologija 1: O biologiji, celicah in genetiki – i-učbenik za biologijo v gimnazijah in srednjih strokovnih šolah (B. Premrov Bajuk, Ed.). Mladinska knjiga Založba. https://etorba.sio.si/etorba/sl/books/46/read Uradni list Evropske unije. (2024). Uredba (EU) 2024/1689 Evropskega parlamenta in Sveta z dne 13. junija 2024 o določitvi harmoniziranih pravil o umetni inteligenci in spremembi uredb (ES) št. 300/2008, (EU) št. 167/2013, (EU) št. 168/2013, (EU) 2018/858, (EU) 2018/1139 in (EU) 2019/2144 ter direktiv 2014/90/EU, (EU) 2016/797 in (EU) 2020/1828 (Akt o umetni inteligenci). Uredba - EU - 2024/1689 - EN - EUR-Lex Vuorikari, R., Kluzer, S., Punie, Y. (2023). DigComp 2.2: Okvir digitalnih kompetenc za državljane. Z novimi primeri rabe znanja, spretnosti in stališč. Zavod RS za šolstvo. https://www.zrss.si/wp-content/uploads/2023/08/DigComp-2-2-Okvir-digitalnih- kompetenc.pdf Zmazek, B., Lipovec, A., Pesek, I., Zmazek, V., Šenveter, S., Regvat, J., Prnaver., K. (2012). What is an e-textbook? Metodički obzori 7(15), 129–130. Zmazek, B., Pesek, I., Antolin Drešar, D., & Lipovec, A. (2015). Slovenian mathematics i- textbooks. V J. Milinković & B. Trebješanin (Eds.), Implementacija inovacija u obrazovanju i vaspitanju - izazovi i dileme = Implementation of innovations in education - challenges and dilemmas: Zbornik radova (pp. 481–488). Učiteljski fakultet, Univerza v Beogradu, Srbija.