Jezik in slovstvo, letnik 69 (2024), št. 4 Magdalena Gapsa DOI: 10.4312/jis.69.4.35-50 Univerza v Ljubljani 1.01 Filozofska fakulteta UČITELJSKE OCENE UPORABNIŠKO DODANIH SOPOMENK V SLOVARJU SOPOMENK SODOBNE SLOVENŠČINE Slovar sopomenk sodobne slovenščine je primer odzivnega slovarja, ki spodbuja uporabniško sodelo- vanje za izboljšanje strojno pridobljene vsebine: slovarski uporabniki lahko v slovar predlagajo nove sopomenke, ki so neposredno vidne in dostopne širši uporabniški skupnosti. V raziskavi preverjamo, kako uporabniške predloge sopomenk ocenjujejo učitelji slovenščine, in sicer primerjalno z drugimi skupinami ocenjevalcev, kot so lektorji, prevajalci in slovaropisci. Učitelji slovenščine so skladno s predpostavkami na splošno pogosteje podajali bolj kategorične odgovore in so bili bolj nagnjeni k zavračanju uporabniških predlogov. V nasprotju s predpostavkami pa so podali najmanj pripomb na gradivo, zlasti v zvezi s pomanjkljivostmi, povezanimi s pomenom in kontekstom. Ključne besede: uporabniško sodelovanje, odzivni slovar, sopomenke, uporabniško ocenjevanje, uči- telji slovenščine Teachers’ Evaluations of User-Suggested Synonyms in the Thesaurus of Modern Slovene The Thesaurus of Modern Slovene is an example of a responsive dictionary that encourages user par- ticipation to improve its automatically generated content: dictionary users can suggest new synonyms that are immediately visible and available to the broader language community. In this study, we inve- stigate how user-suggested synonyms are evaluated by teachers of Slovene compared to other groups of evaluators, such as language editors, translators and lexicographers. As hypothesized, teachers of Slovene were generally more decisive in their responses and more prone to reject users’ suggestions. However, and against expectations, they made the fewest comments on the material, especially related to sense and context related shortcomings. Keywords: user involvement, responsive dictionary, synonyms, user evaluation, language teachers JiS_2024_4-FINAL.indd 35 6. 12. 2024 10:44:41 36 Magdalena Gapsa 1 Uvod Slovar sopomenk sodobne slovenščine (v nadaljevanju SSSS) kot prvi primer no- vega slovaropisnega koncepta t. i. odzivnega slovarja (Arhar Holdt idr. 2018) je bil strojno pripravljen na osnovi že obstoječih prosto dostopnih jezikovnih virov (Krek idr. 2017), nadalje pa se razvija v sodelovanju slovaropiscev in uporabniške skupnosti. Njegova glavna značilnost je, da se odziva na spremembe v jeziku ter na potrebe uporabnikov, hkrati pa je uporabniško sodelovanje ključno za izbolj- šave slovarja, saj uporabniki pomagajo pregledovati strojno pridobljene podat- ke, ki vsebujejo tudi nekaj šuma (tj. nerelevantnih oziroma napačnih podatkov), predlagajo nove sopomenke, ki jih avtomatski postopki niso zajeli, ter ocenjujejo sopomenske kandidate, tako strojno izluščene kot tiste, ki so jih predlagali drugi uporabniki. V različici 1.0, ki je bila temelj za raziskavo, so tako iztočnice kot sopomenke predstavljene v obliki lem, brez podatkov o besednih vrstah ali drugih metapodatkov, ki bi pomagali ločevati npr. med homonimnimi oblikami tipa med – samostalnik in med – predlog, podatki pa ne vsebujejo slovarskih oznak oziroma kvalifikatorjev (razen področnih oznak, podedovanih iz Velikega angleško­sloven- skega slovarja, prim. Krek idr. 2017). Pomembna značilnost slovarja je tudi, da se uporabniški predlogi v vmesniku po- javijo takoj in brez uredniškega posredovanja.1 Tako ima uporabniška skupnost možnost hitrega sodelovanja in tudi odziva na nove predloge. Pred vključitvijo v slovarsko bazo SSSS pa uporabniški predlogi potrebujejo slovaropisni pregled, ki glede na odzivni koncept pri odločitvah upošteva tudi potrebe in želje uporab- nikov. Tem se posveča področje uporabniških raziskav, ki so se v slovaropisju uveljavile v osemdesetih in devetdesetih letih prejšnjega stoletja (npr. Tomaszczyk 1979; Hartman 1987; Atkins 1998; Nesi 2000). Pri razvoju in ocenjevanju slo- varopisnih rešitev poudarjajo pomen zasnove, ki je osredotočena na uporabnika, njihov namen pa je preučevanje, kako uporabniki uporabljajo slovarje in kako iz- boljšati uporabniško izkušnjo, npr. identificirati gradivo, ki ga uporabniki pogosto iščejo, vendar še ni vključeno v vir, ali kako prilagoditi uporabniške vmesnike in predstavitev podatkov glede na pričakovanja in potrebe uporabnikov (Lew in de Schryver 2014: 344–345). V zadnjih dveh desetletjih so bili obstoječi pristopi in metodologije uporabniških raziskav tudi kritično ovrednoteni in ustrezno nadgra- jeni (Bogaards 2003; Tarp 2009; Lew 2015; Kosem idr. 2018), saj so bile starejše študije pogosto kritizirane predvsem zaradi prevelike homogenosti udeležencev tovrstnih raziskav, ki so bili (pre)pogosto študenti, ker je ta skupina najlažje in naj- bolj dosegljiva za raziskovalce. S pojavom in uveljavitvijo digitalnih medijev so uporabniške raziskave ponudile tudi druge metodološke pristope in rešitve (prim. Bergenholtz in Johnsen 2005; Müller-Spitzer 2014; Lew in de Schryver 2014). 1 V odprto dostopni slovarski bazi (Slovar sopomenk sodobne slovenščine 1.0, Krek idr. 2018, dosto- pen na repozitoriju raziskovalne infrastrukture CLARIN.SI) so na voljo strojno pridobljene in delno ročno prečiščene jedrne in bližnje sopomenke. Uporabniki svoje predloge vnašajo prek slovarskega vmesnika, ki se redno in transparentno spreminja. Preden bodo uporabniški predlogi umeščeni v bazo, bodo uredniško pregledani, pri čemer bodo nerelevantni in zlonamerni predlogi izpuščeni. JiS_2024_4-FINAL.indd 36 6. 12. 2024 10:44:41 37Učiteljske ocene uporabniško dodanih sopomenk v Slovarju sopomenk ... V okviru projektov Sopomenke in Kolokacije 2.0 – SoKol, Nadgradnja temeljnih slovarskih virov in podatkovnih baz CJVT UL (SoKol)2 ter Empirična podlaga za digitalno podprt razvoj pisne jezikovne zmožnosti (PROP)3 je bila izvedena obse- žna uporabniška raziskava, ki temelji na ocenjevanju 972 uporabniško predlaganih sopomenskih parov. V raziskavi je sodelovalo 42 ocenjevalcev, izbranih glede na poklic ali jezikovne interese tako, da predstavljajo uporabnike slovarjev in njihove potrebe. V predhodnem delu so opisani rezultati pilotne študije na študentih jezi- koslovnih smeri, ki je razkrila potrebo po dopolnitvah navodil za ocenjevalce ter načinu analiziranja zbranega gradiva (Gapsa 2022), zbirna analiza rezultatov oce- njevanja za vseh 7 skupin, ki nakazuje, na katere omejitve uporabniško dodanega gradiva so se osredotočali ocenjevalci glede na svoj poklic oziroma jezikovne in- terese (Gapsa 2023) ter študija, kako se ocene slovaropiscev razlikujejo od ostalih skupin (Gapsa in Arhar Holdt 2023). Pričujoči prispevek se osredotoča na ocene učiteljev slovenščine. Učitelji slovenščine so bili opredeljeni kot pomembna ciljna skupina uporabni- ških raziskav že ob pripravah koncepta Slovarja sodobne slovenščine (Gorjanc idr. 2015). Sodelovali so v raziskavi odnosa uporabnikov do slovarskih novosti (Arhar Holdt 2020), ki jih je prinesel SSSS, saj ta z novimi jezikovnimi podatki in funkcionalnostmi prinaša tudi nove možnosti podajanja snovi in doseganja učnih ciljev. Kot navajajo Arhar Holdt idr. (2021), izključno strojna priprava slovarja v prvem koraku ni moteča za osnovnošolske učitelje,4 srednješolski učitelji pa so kot problematično izpostavili, da slovar vsebuje zgolj standardno in sodobno besedišče ter da ne vsebuje kvalifikatorjev, ki bi tovrstno besedišče lahko ustrezno opredeljevali. Hkrati so druge raziskave (Arhar Holdt idr. 2020) pokazale, da so učitelji naklonjeni raznim oblikam uporabniškega vključevanja, npr. množičenju, tj. ponavadi prostovoljnemu sodelovanju širše skupnosti k izpolnitvi nekega cilja – v primeru SSSS je to npr. ocenjevanje sopomenskih kandidatov oziroma doda- janje lastnih predlogov. Pričujoči prispevek dopolnjuje spoznanja o učiteljskem odnosu do koncepta od- zivnih virov in uporabniškega sodelovanja. Osredotoča se na ocene, ki so jih uči- telji slovenščine kot prvega jezika podali na uporabniško predlagane sopomenke, s preverbo štirih predpostavk, opredeljenih na osnovi predhodnih izsledkov in pred- videvanj, da je za izobraževalni kontekst trenutna vsebina SSSS lahko pomanjklji- va, in sicer da (I) bodo učitelji prispevali več komentarjev v primerjavi z drugimi skupinami, predvsem na račun (ne)pravilnosti oziroma variantnosti zapisa, more- bitne (terminološke) (ne)ustreznosti itn., (II) bodo pogosteje opozarjali na ome- jitve konteksta oziroma (ne)ustreznost rabe določenih besed oziroma besednih zvez v danem kontekstu ter preostale pomenske omejitve, (III) bodo pogosteje opozarjali na zaznamovanost besed in potrebo po natančnejši opredelitvi, npr. z 2 Spletna stran projekta: https://www.cjvt.si/sokol, dostop 29. 4. 2024. 3 Spletna stran projekta: https://www.cjvt.si/prop/, dostop 29. 4. 2024. 4 Učitelji so potrdili, da je podatkovni šum lahko posebej moteč v šolskih situacijah, a hkrati izposta- vili, da druge karakteristike odzivnih virov te težave odtehtajo (prim. Arhar Holdt idr. 2021). JiS_2024_4-FINAL.indd 37 6. 12. 2024 10:44:41 38 Magdalena Gapsa večjim številom kvalifikatorjev, hkrati pa (IV) bodo v primerjavi z ostalimi skupi- nami pogosteje podajali bolj kategorične odgovore (po principu je sopomenka – ni sopomenka), in sicer bodo redkeje izpostavljali pomanjkljivosti uporabniško do- danega gradiva ter bodo več uporabniških predlogov ocenili kot nesopomenskih. 2 Gradivo in metode5 Osnova za pripravo nabora sopomenskih parov za ocenjevanje je bil seznam 546 slovenskih samostalnikov,6 ki se kot iztočnice pojavljajo v podatkovnih bazah raz- ličnih odprto dostopnih jezikovnih virov: Slovarju sopomenk sodobne slovenščine 1.0 (Krek idr. 2018), podatkovni zbirki sloWNet 3.1 (Fišer 2015), Leksikalni bazi za slovenščino (Gantar idr. 2013) ter Velikem slovensko­madžarskem slovarju (Ko- sem idr. 2021). Nato je bil pridobljen seznam iztočnic iz SSSS, ki imajo vsaj eno uporabniško dodano sopomenko. Skupno je bilo najdenih 972 sopomenk za 307 iztočnic s prej omenjenega seznama 546 samostalnikov. Ciljne skupine uporabnikov so bile izbrane na podlagi tipologije slovarskih upo- rabnikov (Arhar Holdt idr. 2016: 181–184), ki upošteva tri glavne okoliščine upo- rabe slovarja (v izobraževalnem procesu, v poklicne namene ali za prostočasne aktivnosti), ter izsledkov raziskave odnosa uporabnikov do novosti, ki jih je uve- del SSSS 1.0 (Arhar Holdt 2020: 477), ki sta pokazali najbolj zastopane skupine med aktivnimi uporabniki. Na tej podlagi je bilo za pričujočo raziskavo izbranih 7 ciljnih uporabniških skupin: slovaropisci (S), lektorji (L), ljubiteljski raziskovalci jezika (LRJ), tržniki (T), prevajalci (P), študenti (Š) ter učitelji slovenščine (U). Vsaka skupina je obsegala 6 ocenjevalcev, skupno je sodelovalo torej 42 ocenje- valcev. Grafična predstavitev izbranih skupin uporabnikov po tipologiji potencial- nih uporabnikov slovarja je prikazana na sliki 1.7 Podatki za ocenjevanje so bili pripravljeni kot tabela z 972 sopomenskimi pari, ure- jenimi po abecedi glede na iztočnico, in v takšni obliki posredovani ocenjevalcem. Vsak ocenjevalec je moral odgovoriti na vprašanje: »Ali sta besedi v paru sopomen- ki?«. Za vsak sopomenski par je lahko izbral enega izmed štirih možnih odgovo- rov: DA, NE, POGOJNO DA ter NISEM PREPRIČAN/NE VEM. Odgovor DA je bil predviden za primere, ko je bil ocenjevalec prepričan, da sta besedi sopomenki, odgovor NE za primere, ko je bil prepričan, da besedi nista sopomenki ter kadar je šlo za očitne napake oziroma zatipkane besede. Odgovor POGOJNO DA je bil 5 Podrobnejši opis pridobivanja gradiva, izbire sodelujočih uporabniških skupin ter poteka ocenjevan- ja in analize podatkov je opisan v (Gapsa 2023), zato na tem mestu povzemam le ključne podatke o raziskavi. 6 Podatkovni vzorec samostalnikov je bil izbran za različne raziskovalne cilje doktorske raziskave Sopomenskost v Slovarju sopomenk sodobne slovenščine in izbranih različicah wordneta, med kate- rimi je tudi pričujoča uporabniška raziskava. 7 Polne črte nakazujejo skupine uporabnikov glede na okoliščino rabe slovarja, kot jih opredeljuje tipologija (prim. Arhar Holdt idr. 2016), prekinjene pa skupine na prehodu, npr. učitelji uporabljajo slovar v procesu izobraževanja, kar pa je hkrati tudi njihova poklicna raba. JiS_2024_4-FINAL.indd 38 6. 12. 2024 10:44:41 39Učiteljske ocene uporabniško dodanih sopomenk v Slovarju sopomenk ... predviden za pare, ko je ocenjevalec sicer menili, da gre za sopomenki, vendar je hkrati videl tudi omejitve oziroma imel pomisleke, dvome, npr. da sta besedi sopo- menki samo v določenem pomenu, kontekstu, ena ali obe besedi sta zaznamovani itn. Odgovor NISEM PREPRIČAN/NE VEM je bil predviden za primere, ko oce- njevalec ni poznal ene ali obeh besed v paru ali je težko podajal svoje mnenje. V primerih, ko je ocenjevalec odgovorili s POGOJNO DA, je moral obvezno pojasniti, kaj natančno se mu je zdelo problematično ali pomanjkljivo. Pri ostalih treh odgovo- rih so bili komentarji sicer priporočljivi in zaželeni, vendar niso bili obvezni. Slika 1: Predstavitev izbranih uporabniških skupin glede na tri glavne situacije rabe slo- varjev Ker je bil eden glavnih ciljev raziskave preverjanje, kaj ocenjevalci razumejo kot relevantno sopomensko gradivo, so bila navodila v izogib sugeriranju odgovorov zelo splošna. Zato »sopomenka« ni natančneje definirana, možni odgovori so vse- bovali le kratek opis, ne pa tudi primerov. Prav tako ni bilo navodil, kam umestiti mejne primere. Zaželeno je bilo, da ocenjevalci posredujejo lastno oceno in odziv, zato je bila preverba v drugih jezikovnih virih (slovarji, korpusi itd.) odsvetovana, sopomenski pari pa so bili navedeni brez konteksta, kar je hkrati odslikavalo avten- tično izkušnjo z vstopno stranjo strojno pripravljenih gesel v prvi različici SSSS. Analiza odgovorov se je osredotočila na dva vidika: a) odgovore ocenjevalcev, na podlagi katerih je mogoče izračunati ujemanje med ocenjevalci in opazovati sopo- menske pare, glede katerih so se ocenjevalci strinjali, ter b) kategorizacijo komen- tarjev in statistični pregled kategorij danih komentarjev po uporabniških skupinah. Zaradi raznolike narave zbranih podatkov je bilo treba uporabiti različne pristope. JiS_2024_4-FINAL.indd 39 6. 12. 2024 10:44:41 40 Magdalena Gapsa Ujemanje med ocenjevalci je bilo izračunano s Krippendorffovo alfo (Krippen- dorff 1970), kar je zagotovilo primerljivost podatkov med skupinami. Izračuni so bili opravljeni za vsak sopomenski par znotraj vsake skupine uporabnikov. Ker so bili možni odgovori nominalne spremenljivke in ne skala, je bila za določitev distribucije možnih odgovorov izračunana tudi entropija (Shannon 1948).8 Komentarji ocenjevalcev so bili ročno kategorizirani glede na njihovo vsebino. Kategorije so bile določene po načelu »od spodaj navzgor« (angl. bottom-up), torej oblikovane na podlagi analiziranega gradiva in ne vnaprej določene.9 Končni seznam je obsegal 11 kategorij. Kategorije in njihov opis ter primeri kategorizira- nega gradiva so predstavljeni v tabeli 1. Uporabljena je bila večplastna kategori- zacija, saj so nekateri komentarji, čeprav so prihajali od istega ocenjevalca, vse- bovali več informacij, ki bi jih lahko uvrstili v različne kategorije, npr. »narečno in kalk«,10 »potrebna bi bila stilna oznaka, v enem od pomenov« itd. Prav tako je bilo možno opaziti opombe, ki niso bile dovolj pogoste, da bi jih bilo mogoče uvrstiti v ločeno kategorijo. Takšni komentarji so bili podkategorizirani znotraj glavnih kategorij. To je veljalo npr. za omembe specifičnih pomenskih oznak, ki so nakazovale različne vrste zaznamovanosti bodisi iztočnice bodisi uporabniških predlogov (npr. »narečno«, »ljubkovalno«, »pogovorno« itn.). Kategorija Opis Primer komentarja Sopomenski par samo v določe- nem pomenu/ kontekstu predlagana sopomenka je ustrezna v omejenem kontekstu ali dolo- čenem pomenu besede oz. raba je omejena na določene slovnične značilnosti, frazeološko, metafo- rično ali kako drugače preneseno rabo oz. dana ima lahko beseda druge pomene oz. obstaja potreba po razločevanju pomenov »Sopomenki v enem od pomenov.« dialog – dogovarjanje nepopoln/ pomanjkljiv pomen uporabniška sopomenka bi potre- bovala dodatne kvalifikatorje, ki se zdijo nujna sestavina pomena, da bi bili besedi sopomenki »Zaznamovan sinonim za „dober avto“.« avto – mašina neujemanje pomenov besedi v paru sta pomensko po- vezani, vendar ne nujno vedno zamenljivi oz. opisujeta povezane, vendar različne pojme oz. ima ena beseda širši ali ožji pomen itd. »Vsak strokovnjak še nima nujno avtoritete in obratno.« avtoriteta – strokovnjak 8 Treba se je zavedati, da sta oba izračuna zelo občutljiva na najmanjše razlike v odgovorih, zato sta bila uporabljena kot filtrirno orodje za lažjo analizo in primerjavo rezultatov. 9 Pri tem pristopu je prisotna določena mera subjektivnosti pri odločanju, kdaj določen tip podatkov že zahteva lastno kategorijo, prednost pa je, da so na osnovi gradiva oblikovane kategorije lahko enoznačne in enostavneje pripisljive, zato je v analizi manj mejnih primerov. 10 Vsi komentarji so prikazani tako, kot so jih vnesli ocenjevalci, brez odprave pravopisnih pomanjklj- ivosti npr. malih začetnic na začetku povedi ipd. JiS_2024_4-FINAL.indd 40 6. 12. 2024 10:44:41 41Učiteljske ocene uporabniško dodanih sopomenk v Slovarju sopomenk ... Kategorija Opis Primer komentarja Sopomenski par drugo pomen- sko razmerje primeri nadpomenk ali podpo- menk ter primeri meronimije in holonimije, npr. da je x vrsta, produkt, del y »aorta je glavna arterija, ni torej vsaka arterija aorta« aorta – arterija neznana beseda ali pomen ocenjevalci eksplicitno navajajo, da ne poznajo besede same ali v predlaganem pomenu oz. besede še niso zasledili »Ne razumem dobro besede patogen.« virus – patogen razlaga predlagana sopomenka je razlaga, definicija ali opis gesla »Predlagana sopomenka je bolj kot sopomenka pojasnilo iztočnice.« štipendija – denar za šolanje nekompletne besedne zveze večbesedne enote predlagane kot ena beseda »mogoče potem telefonska številka (metonimija - „daj mi svoj telefon“)« telefon – številka vrednotenje ocenjevalci zgolj podajajo svoje mnenje o predlagani sopomenki »Le zakaj?« cigareta – cigaret prevzete besede ena od besed v paru je izposojen- ka, tujka, kalk ali nestandardna izposojenka; ocenjevalci so včasih navedli, iz katerega jezika bi lahko bila beseda izposojena »Prevzeta beseda, ki ponazarja slikovno šalo, ki brez slike nima učinka« šala – meme zaznamovano ena od besed v paru je zaznamo- vana ali potrebuje kvalifikator, oznako ali zaznamek, včasih zelo specifičnega, npr. pogovorno, na- rečno, slengovsko, slabšalno itd. »z dodatno opombo« sla – žeja drugo opombe, ki ne spadajo v zgornje kategorije; lahko se nadalje razvr- ščajo v nekoliko večje podkatego- rije ali priložnostne podkategorije »predlagana sopomenka že vsebuje iztočnico« buča – buča hokaido Tabela 1: Kategorije komentarjev z opisom in primeri uporabe Za določitev morebitnih povezanosti med uporabniškimi skupinami in njihovi- mi najpogostejšimi komentarji so bili izvedeni statistični testi, tj. izdelane so bile kontingenčne tabele in izveden Pearsonov hi-kvadrat test, s katerim lahko ugota- vljamo, ali je povezanost med rezultati dovolj značilna, da jo lahko posplošimo oziroma ali obstajajo statistično pomembne razlike med skupinami – če je vred- nost Pearsonovih rezidualov pod –1,92 ali nad 1,92, pomeni statistično pomembno razliko. Izračuni so predstavljeni v tabeli 3 v naslednjem razdelku. JiS_2024_4-FINAL.indd 41 6. 12. 2024 10:44:41 42 Magdalena Gapsa 3 Rezultati 3.1 Podrobnejša utemeljitev odločitev Prva predpostavka je predvidevala, da bodo učitelji (s pomočjo komentarjev) po- gosteje opozarjali na morebitne neustrezne ali (jezikovno) pomanjkljive uporab- niške predloge. Za preverbo te predpostavke sem primerjala število podanih in kategoriziranih komentarjev med različnimi skupinami ter število kategoriziranih komentarjev za vsako kategorijo znotraj skupin. Številke so prikazane v tabeli 2. Skupno število komentarjev za posamezno kategorijo je v tabeli podkrepljeno, krepko in podčrtano je označeno, katera skupina je prispevala največ komentarjev v posamezni kategoriji. Uporabniška skupina Sl ov ar op is ci L ek to rj i L ju bi te ljs ki r az is - ko va lc i j ez ik a Tr žn ik i Pr ev aj al ci Št ud en ti U či te lji sl ov en - šč in e SK U PA J PO V PR E Č JE Zbranih komentarjev 2.717 363 783 640 1.234 2.593 252 8.582 1.226 Kategoriziranih komen- tarjev11 1.802 388 708 609 1.249 1.845 246 6.846 978 samo v določenem pome- nu/kontekstu 625 51 121 65 166 435 18 1.481 212 nepopoln/pomanjkljiv pomen 5 28 40 31 89 60 35 288 41 neujemanje pomenov 36 56 57 92 200 188 35 664 95 drugo pomensko razmerje 75 44 35 28 80 190 19 471 67 neznana beseda ali pomen 247 53 115 194 166 276 83 1.134 162 razlaga 93 0 17 1 22 65 0 198 28 nekompletne besedne zveze 23 1 9 9 58 17 5 122 17 vrednotenje 6 17 9 11 11 22 1 77 11 prevzete besede 0 19 15 43 36 22 0 135 19 zaznamovano 425 92 247 84 279 426 27 1.580 226 drugo 267 27 43 51 142 144 23 697 100 Tabela 2: Število podanih in kategoriziranih komentarjev po skupinah uporabnikov ter razporeditev kategorij komentarjev po uporabniških skupinah Kot je razvidno iz tabele 2, so učitelji prispevali najmanj komentarjev iz- med vseh skupin – skoraj desetkrat manj kot slovaropisci in študenti, ki so največkrat komentirali gradivo. Tretjina (33 % oziroma 83) kategoriziranih 11 Ponavljajoči se komentarji so bili deduplicirani – če je več ocenjevalcev v isti skupini podalo komen- tar, ki je spadal v isto kategorijo, je bil upoštevan samo enkrat. JiS_2024_4-FINAL.indd 42 6. 12. 2024 10:44:41 43Učiteljske ocene uporabniško dodanih sopomenk v Slovarju sopomenk ... komentarjev se je nanašala na nepoznavanje katere izmed besed v paru. Naj- večje število tovrstnih komentarjev so prispevali študenti (276), vendar je v njihovem primeru to deloma mogoče pojasniti z željo po »pravilnem« reše- vanju naloge in izbiro najbolj varne opcije v primeru dvomov (prim. Gapsa 2022: 314). Hkrati pa učitelji niso opozarjali na primere, kjer je bila namesto sopomenke podana razlaga iztočnice, na kar so največkrat opozarjali slovaro- pisci (93), verjetno zaradi boljšega zavedanja o naravi uporabniško dodanega gradiva in (pre)poznavanja (slovarskih) definicij. Treba pa je opozoriti, da je velik delež tovrstnih primerov na meji med primeri (slovarske) definicije in primeri drugih pomenskih razmerij, npr. nadpomenskosti (prim. Gapsa 2023: razdelek 5.3). Znotraj kategorije drugo so učitelji le nekajkrat opozorili na nepravilnost oziroma variantnost zapisa, npr. pri parih čarovnica – ćudežnica (predlagan zapis s č), denarnica – tošln (predlagan zapis tošl), sosed – mejač (varianta: mejaš) ali živina – živad (varianta: žvad). Le enkrat je bilo opozor- jeno na terminološko ustreznost, in sicer pri paru psihologija – dušeslovje je ocenjevalec opozoril, da dušeslovje »ne deluje kot strokovni izraz /…/«. Te ugotovitve ovržejo predpostavko, da bodo učitelji pogosteje in podrobneje ar- gumentirali svoje odgovore in odločitve, hkrati pa pogosteje opozarjali na (ne) pravilnost oziroma variantnost zapisa, morebitne (terminološke) (ne)ustrez- nosti itn. Komentarje podajajo redkeje od npr. slovaropiscev ali prevajalcev in primerljivo pogosto kot lektorji. 3.2 Osredotočanje na omejitve konteksta in pomena Druga predpostavka je predvidevala, da bodo učitelji pogosteje izpostavlja- li (ne)ustreznost rabe posameznih besed oziroma besednih zvez v določenih kontekstih ter opozarjali na gradivo, ki nujno potrebuje pomensko členitev ali drugačno dopolnitev (pomenskih) informacij. Za preverjanje, ali se opombe učiteljev statistično razlikujejo od drugih skupin, so bili izračunani Pearsonovi reziduali, ki so predstavljeni v tabeli 3. Številke v oklepajih označujejo skupno število komentarjev v posamezni kategoriji na skupino uporabnikov. Statistično pomembne razlike predstavljajo vrednosti pod –1,92, tj. komentarji, ki so manj pogosti kot v drugih skupinah (v tabeli imajo svetlo sivo podlago), ali vrednosti nad 1,92, tj. komentarji, ki so pogostejši kot v drugih skupinah (ti imajo temno sivo podlago). JiS_2024_4-FINAL.indd 43 6. 12. 2024 10:44:41 44 Magdalena Gapsa Kategorija Sl ov ar op is ci L ek to rj i L ju bi te ljs ki r az is - ko va lc i j ez ik a Tr žn ik i Pr ev aj al ci Št ud en ti U či te lji sl ov en šč in e SK U PA J samo v določenem pomenu/kontekstu 11,915 (625) –3,594 (51) –2,597 (121) –5,814 (65) –6,337 (166) 1,798 (435) –4,827 (18) 1.481 nepopoln/ pomanjklj iv pomen –8,132 (5) 2,891 (28) 1,873 (40) 1,064 (31) 5,031 (89) –1,998 (60) 7,664 (35) 288 neujemanje pome- nov –10,496 (36) 2,995 (56) –1,407 (57) 4,286 (92) 7,167 (200) 0,679 (188) 2,282 (35) 664 drugo pomensko razmerje –4,397 (75) 3,351 (44) –1,964 (35) –2,146 (28) –0,638 (80) 5,600 (190) 0,505 (19) 471 neznana beseda ali pomen –2,978 (247) –1,405 (53) –0,209 (115) 9,274 (194) –2,841 (166) –1,692 (276) 6,620 (83) 1.134 razlaga 5,664(93) –3,350 (0) –0,768 (17) –3,958 (1) –2,349 (22) 1,594 (65) –2,667 (0) 198 nekompletne besed- ne zveze –1,607 (23) –2,249 (1) –1,018 (9) –0,562 (9) 7,577 (58) –2,769 (17) 0,295 (5) 122 vrednotenje –3,169(6) 6,050 (17) 0,368 (9) 1,586 (11) –0,813 (11) 0,275 (22) –1,062 (1) 77 prevzete besede –5,961(0) 4,104 (19) 0,279 (15) 8,944 (43) 2,292 (36) –2,384 (22) –2,202 (0) 135 zaznamovano 0,450(425) 0,261 (92) 6,542 (247) –4,769 (84) –0,543 (279) 0,012 (426) –3,951 (27) 1.580 drugo 6,170(267) –1,988 (27) –3,424 (43) –1,396 (51) 1,318 (142) –3,197 (144) –0,408 (23) 696 Tabela 3: Pearsonovi reziduali distribucije kategorij komentarjev med skupinami uporab- nikov Učitelji so, skupaj z drugimi skupinami ocenjevalcev, pogosto opozarjali, da določen uporabniški predlog nima bistvene pomenske sestavine, da bi ga lahko obravnavali kot sopomenskega, zlasti z opozarjanjem na primere nepopolnih oz. pomanjkljivih pomenov (npr. v paru ladja – barkača je komentar nakazoval, da je barkača »stara ladja v slabem stanju«) ter neujemanja pomenov (npr. v paru ar- hiv – zbirka se je komentar nanašal na to, da ima zbirka »širši pomen«). Po drugi strani so redkeje opozarjali na potrebo po pomenski členitvi ali omejitve konte- ksta. Pri opozarjanju na druga pomenska razmerja ni bilo statistično pomembnih odstopanj. JiS_2024_4-FINAL.indd 44 6. 12. 2024 10:44:41 45Učiteljske ocene uporabniško dodanih sopomenk v Slovarju sopomenk ... Ostale kategorije učiteljskih komentarjev so se izkazale bodisi za redkeje rabljene v primerjavi z drugimi skupinami bodisi razlike niso bile statistično pomembne. Izjema so primeri neznanih besed ali pomenov, na katere so učitelji opozarjali pogosteje kot druge skupine (kot npr. v paru koder – loken, kjer je ocenjevalec navedel, da ne pozna besede loken). Navedeni rezultati le delno potrjujejo drugo hipotezo – učitelji so sicer res razmeroma pogosto opozarjali na primere neujema- nja pomenov ter na potrebo po dopolnitvi (pomenskih) informacij, po drugi strani pa so le redko opozarjali na potrebo po pomenski členitvi ali (ne)ustreznost rabe katere izmed besed v paru glede na kontekst. 3.3 Zaznamovanost besedišča in natančnejša opredelitev gradiva Tretja predpostavka je predvidevala, da bodo učitelji pogosteje opozarjali na zaznamovano besedišče, hkrati pa si bodo želeli natančnejšega opisa gradiva, npr. z uvedbo kvalifikatorjev, ki bi opozarjali na zaznamovanost. Podobno kot pri drugi predpostavki so bile tudi tokrat morebitne statistično pomembne razlike določene na podlagi Pearsonovih rezidualov, predstavljenih v tabeli 3. Podatki kažejo, da so učitelji opozarjali na primere zaznamovanega besedišča red- keje kot druge skupine, še redkeje so na to težavo opozarjali le tržniki. Učitelji so največkrat izpostavljali slabšalno, pogovorno ter narečno oziroma regionalno besedišče, le priložnostno pa druge vrste zaznamovanosti, npr. starinskost, ljub- kovalnost ali žargon. Primerov prevzetih besed niso izpostavljali. Le izjemoma so eksplicitno vrednotili gradivo, in sicer pri paru marmelada – sadjemaz je oce- njevalec opozoril, da je sadjemaz »čudna skovanka«. Ti podatki ovržejo predpo- stavko, da bodo učitelji pogosteje opozarjali na zaznamovanost in hkrati izrazili potrebo po natančnejšem kvalificiranju gradiva. 3.4 Bolj kategorični odgovori Četrta predpostavka je predvidevala, da bodo učitelji pogosteje podajali bolj ka- tegorične odgovore, in sicer bodo redkeje podali odgovor POGOJNO DA, hkrati pa bodo bolj naklonjeni zavračanju gradiva z odgovorom NE. Za preverjanje te predpostavke sem primerjala skupno število odgovorov NE in POGOJNO DA v vseh skupinah ocenjevalcev. V tabeli 4 je prikazano skupno število odgovorov, ki jih je podala vsaka skupina. Najvišje vrednosti za vsak odgovor so podčrtane in krepko označene. JiS_2024_4-FINAL.indd 45 6. 12. 2024 10:44:41 46 Magdalena Gapsa Uporabniška skupina Sl ov ar op is ci L ek to rj i L ju bi te ljs ki r az is ko - va lc i j ez ik a Tr žn ik i Pr ev aj al ci Št ud en ti U či te lji sl ov en šč in e PO V PR E Č JE SKUPAJ odgovorov12 5.829 5.823 5.828 5.832 5.831 5.831 5.827 5.829 DA 2.720 3.009 2.916 3.590 2.614 1.797 3.383 2.861 NE 492 1.908 1.924 1.404 1.687 1.187 1.556 1.451 POGOJNO DA 1.956 467 611 300 742 1.940 407 918 NISEM PREPRIČAN/ NE VEM 661 439 377 538 788 907 481 599 Tabela 4: Skupno število posameznih odgovorov na uporabniško skupino Učitelji so redkeje kot druge skupine izbirali odgovor POGOJNO DA, pogosteje so bolj kategorične odgovore podajali le tržniki. Nizko število odgovorov POGOJ- NO DA v kombinaciji z nadpovprečnim številom odgovorov DA in NE kaže na to, da so učitelji manj zadržani do vključitve uporabniških predlogov v slovarsko bazo v predlagani obliki kot npr. slovaropisci in študenti. Rezultati nakazujejo, da so učitelji bolj nagnjeni k binarnemu ocenjevanju sopomenskosti po principu DA – NE in redkeje posegajo po možnosti pogojnega sprejema gradiva. Učitelji so npr. večinsko (vsaj 4 od 6 so podali odgovor NE) zavrnili pare bolnišnica – polik- linika, dopust – odsotnost, izkušnja – dogodivščina, morilec – zastrupitelj, podpis – čačka, prelomnica – zareza, scenarij – recept, kjer so ocenjevalci iz drugih sku- pin večinoma izbirali odgovore DA in POGOJNO DA. Hkrati so učitelji podajali precej ujemajoče se odgovore – vsaj 4 od 6 ocenjevalcev v skupini so se strinjali glede skupno 658 parov (68 % ocenjevanega gradiva), od tega so 3/4 tovrstnih parov ocenili kot relevantno sopomensko gradivo, kar nakazuje, da je uporabniško dodano gradivo uporabno tudi za to skupino. Skupno število odgovorov NE, ki so ga izbrali v nadpovprečnem številu, potrjuje predpostavko, da bodo učitelji zavr- nili več gradiva, velja pa opozoriti, da niso bili med najstrožjimi skupinami, kjer so ljubiteljski raziskovalci jezika in lektorji. 12 Zaradi občasnih manjkajočih odgovorov se skupno število odgovorov razlikuje med skupinami in le redko ustreza številu možnih odgovorov v skupini, torej 5.832, ko vsi (6) ocenjevalci v skupini ocenijo vse sopomenske pare (972). JiS_2024_4-FINAL.indd 46 6. 12. 2024 10:44:42 47Učiteljske ocene uporabniško dodanih sopomenk v Slovarju sopomenk ... 4 Sklep in nadaljnje delo V prispevku sem želela raziskati, kako predlagano sopomensko gradivo v primer- javi z drugimi predstavniki uporabniške skupnosti dojemajo in ocenjujejo učitelji slovenščine, ki so pomembna ciljna skupina slovarskih in drugih jezikovnih virov. Rezultati temeljijo na uporabniški raziskavi in ocenjevanju 972 sopomenskih kan- didatov, ki so jih v prvi različici slovarja predlagali uporabniki SSSS. Kot nakazuje slika 1, učitelji lahko slovar uporabljajo za delo z učenci ali za lastne poklicne potrebe. Pred sodelovanjem v raziskavi niso bili pozvani, naj pri oce- njevanju izberejo enega od obeh vidikov. Zato je potrebna previdnost pri posplo- ševanju zaključkov v luči rabe slovarja za didaktične namene. Nekoliko varneje lahko učitelje sopostavimo z drugimi skupinami s predpostavljeno jezikovno izo- brazbo, tj. lektorji in prevajalci (do določene mere tudi s slovaropisci in študenti)13 in primerjamo ocene jezikovnih strokovnjakov z ocenami skupin, kjer jezikovna izobrazba ni predvidena, tj. tržnikov in ljubiteljskih raziskovalcev jezika. Opazi- mo lahko, da se glede števila prispevanih komentarjev učitelji vedejo podobno kot lektorji, vendar precej drugače kot prevajalci po eni, ter tržniki in ljubiteljski raziskovalci jezika po drugi strani. Učitelji podobno pogosto kot navedene skupi- ne (tj. prevajalci, lektorji, tržniki in ljubiteljski raziskovalci jezika) opozarjajo na omejitve konteksta in pomena, čeprav niso namenili posebne pozornosti izposta- vljanju problemov drugih pomenskih razmerij. Podobno kot tržniki so nekoliko pogosteje kot ostale skupine opozarjali na primere neznanih besed ali njihovih pomenov. Redkeje od ostalih skupin so opozarjali na primere prevzetih besed in zaznamovanosti, niso tudi posebej izpostavljali nekompletnih besednih zvez ali drugih težav z uporabniško dodanim gradivom. Podobno kot ostale skupine so redkeje opozarjali tudi na primere, ki spominjajo na razlage. Rezultati kažejo, da slovarski uporabniki lahko ponudijo uporabne in relevan- tne sopomenske kandidate, tudi po presoji učiteljev slovenščine, hkrati pa je po- membno, da so vključeni v procese izdelave in nadgradnje jezikovnih virov tudi kot ocenjevalci, ki lahko prispevajo svoja mnenja in predloge. Razlike v ocenah različnih ciljnih skupin poudarjajo stalno potrebo po spremljanju prednostnih na- log in potreb skupnosti ter njihovem upoštevanju, da se zagotovi dejanska odziv- nost odzivnih jezikovnih virov. Zahvala Projekt Empirična podlaga za digitalno podprt razvoj pisne jezikovne zmožnos- ti v letih 2021–2024 financira Ministrstvo za kulturo Republike Slovenije. Raz- iskovalni program št. P6-0411 (Jezikovni viri in tehnologije za slovenski jezik) sofinancira Javna agencija za znanstvenoraziskovalno in inovacijsko dejavnost Republike Slovenije iz državnega proračuna. 13 Zaradi drugačne situacije slovarske rabe in vključenosti v projekte, posvečene samemu razvoju slovarja, sta ti skupini različni od ostalih, a med seboj podobni (prim. Gapsa 2023; Gapsa in Arhar Holdt 2023). JiS_2024_4-FINAL.indd 47 6. 12. 2024 10:44:42 48 Magdalena Gapsa Viri Fišer, Darja, 2015: Semantic lexicon of Slovene sloWNet 3.1. Repozitorij raziskovalne in- frastrukture CLARIN.SI. http://hdl.handle.net/11356/1026. (Dostop 18. 3. 2024.) Gantar, Polona, Krek, Simon, Kosem, Iztok, Šorli, Mojca, Kocjančič, Polonca, Grabnar, Katja, Yerošina, Olga, Zaranšek, Petra in Drstvenšek, Nina, 2013: Slovene lexical database 1.0. Repozitorij raziskovalne infrastrukture CLARIN.SI. http://hdl.handle.net/11356/1030. (Dostop 18. 3. 2024.) Kosem, Iztok, Bálint Čeh, Júlia, Ponikvar, Primož, Zaranšek, Petra, Kamenšek, Urška, Koša, Peter, Gróf, Annamária, Böröcz, Nándor, Harmat Császár, Jolanda, Szíjártó, Imre, Šantak, Borut, Gantar, Polona, Krek, Simon, Roblek, Rebeka, Zgaga, Karolina, Logar, Ur- ban, Pori, Eva, Arhar Holdt, Špela in Gorjanc, Vojko, 2021: Comprehensive Slovenian- ­Hungarian Dictionary 1.0. Repozitorij raziskovalne infrastrukture CLARIN.SI. http://hdl. handle.net/11356/1453. (Dostop 18. 3. 2024.) Krek, Simon, Laskowski, Cyprian, Robnik-Šikonja, Marko, Kosem, Iztok, Arhar Holdt, Špela, Gantar, Polona, Čibej, Jaka, Gorjanc, Vojko, Klemenc, Bojan in Dobrovoljc, Kaja, 2018: Thesaurus of Modern Slovene 1.0. Repozitorij raziskovalne infrastrukture CLARIN. SI. http://hdl.handle.net/11356/1166. (Dostop 18. 3. 2024.) Literatura Arhar Holdt, Špela, 2020: How Users Responded to a Responsive Dictionary: the Case of the Thesaurus of Modern Slovene. Rasprave Instituta za hrvatski jezik i jezikoslovlje 46/2. 465–482. DOI: https://doi.org/10.31724/rihjj.46.2.1. Arhar Holdt, Špela, Čibej, Jaka, Dobrovoljc, Kaja, Gantar, Polona, Gorjanc, Vojko, Kle- menc, Bojan, Kosem, Iztok, Krek, Simon, Laskowski, Cyprian in Robnik-Šikonja, Marko, 2018: Thesaurus of Modern Slovene: By the Community for the Community. Čibej, Jaka, Gorjanc, Vojko, Kosem, Iztok in Krek, Simon (ur.): Proceedings of the XVIII EURALEX International Congress, Lexicography in Global Contexts, Ljubljana, 17–21 July 2018. Ljubljana: Ljubljana University Press, Faculty of Arts. 401–410. https://euralex.org/wp- -content/themes/euralex/proceedings/Euralex%202018/118-4-2991-1-10-20180820.pdf. (Dostop 15. 9. 2024.) Arhar Holdt, Špela, Gajek, Elżbieta, Durán-Muñoz, Isabel, Bago, Petra, Hatipoglu, Ciler, Kasperavičienė, Ramunė, Lazić Konjik, Ivana, Rodosthenous, Christos, Volodina, Elena in Weber, Tassja, 2020: Language Teachers and Crowdsourcing: Insights from a Cross-Euro- pean Survey. Rasprave Instituta za hrvatski jezik i jezikoslovlje 46/1. 1–28. DOI: https:// doi.org/10.31724/rihjj.46.1.1. Arhar Holdt, Špela, Kosem, Iztok in Gantar, Polona, 2016: Dictionary User Typology: The Slovenian Case. Margalitadze, Tinatin in Meladze, George (ur.): Proceedings of the XVII EURALEX International Congress: Lexicography and Linguistic Diversity, Tbilisi, 6–10 September 2016. Tbilisi: Ivane Javakhishvili Tbilisi University Press. 179–187. https:// euralex.org/wp-content/themes/euralex/proceedings/Euralex%202016/euralex_2016_015_ p179.pdf. (Dostop 15. 9. 2024.) Arhar Holdt, Špela, Kosem, Iztok in Pori, Eva, 2021: Jezikovni viri CJVT in njihova raba v izobraževalne namene. Ulčnik, Natalija (ur.): Slovenščina na dlani 4. Maribor: Univerza v Mariboru, Univerzitetna založba. 19–36. DOI: https://doi.org/10.18690/978-961-286-521-4. JiS_2024_4-FINAL.indd 48 6. 12. 2024 10:44:42 49Učiteljske ocene uporabniško dodanih sopomenk v Slovarju sopomenk ... Atkins, Beryl T. Sue (ur.), 1998: Using Dictionaries: Studies of Dictionary Use by Langu- age Learners and Translators. Tübingen: Max Niemeyer Verlag. Bergenholtz, Henning in Johnsen, Mia, 2005: Log Files as a Tool for Improving Internet Dictionaries. Hermes: Journal of Linguistics 34. 117–141. DOI: https://doi.org/10.7146/ hjlcb.v18i34.25802. Bogaards, Paul, 2003: Uses and users of dictionaries. Van Sterkenburg, Piet (ur.): A Pra- ctical Guide to Lexicography. Amsterdam, Philadelphia: John Benjamins. 26–33. DOI: https://doi.org/10.1075/tlrp.6. Gapsa, Magdalena, 2022: Ocenjevanje uporabniško dodanih sopomenk v Slovarju sopo- menk sodobne slovenščine – pilotna študija. Fišer, Darja in Erjavec, Tomaž (ur.): Zbor- nik konference Jezikovne tehnologije in digitalna humanistika, 15.–16. september 2022, Ljubljana, Slovenija. Ljubljana: Inštitut za novejšo zgodovino. 308–316. https://nl.ijs.si/ jtdh22/pdf/JTDH2022_Gapsa_Ocenjevanje-uporabnisko-dodanih-sopomenk-v-Slovarju- -sopomenk-sodobne-slovenscine.pdf. (Dostop 15. 9. 2024.) Gapsa, Magdalena, 2023: “But why??” Evaluation of user­suggested synonyms in the Thesaurus of Modern Slovene. Research Square. Rokopis. https://doi.org/10.21203/ rs.3.rs-2775161/v1. Gapsa, Magdalena in Arhar Holdt, Špela, 2023: How Lexicographers Evaluate User Contri- butions in The Thesaurus of Modern Slovene in Comparison to Dictionary Users. Medveď, Marek, Měchura, Michal, Tiberius, Carole, Kosem, Iztok, Kallas, Jelena, Jakubíček, Miloš in Krek, Simon (ur.): Electronic lexicography in the 21st century (eLex 2023): Invisible Lexicography. Proceedings of the eLex 2023 conference. Brno, 27–29 June 2023. Brno: Lexical Computing CZ s.r.o. 178–200. https://elex.link/elex2023/wp-content/uploads/47. pdf. (Dostop 15. 9. 2024.) Gorjanc, Vojko, Gantar, Polona, Kosem, Iztok in Krek, Simon (ur.), 2015: Slovar sodobne slovenščine: problemi in rešitve. Ljubljana: Znanstvena založba Filozofske fakultete. DOI: https://doi.org/10.4312/9789612379759. Hartmann, Reinhard R. K., 1987: Four perspectives on dictionary use: a critical review of research methods. Cowie, Anthony P. (ur.): The Dictionary and the Language Learner. Tübingen: Niemeyer. 11–28. DOI: https://doi.org/10.1515/9783111340500. Kosem, Iztok, Krek, Simon, Gantar, Polona, Arhar Holdt, Špela, Čibej, Jaka in Laskowski, Cyprian, 2018: Collocations Dictionary of Modern Slovene. Čibej, Jaka, Gorjanc, Vojko, Kosem, Iztok in Krek, Simon (ur.): Proceedings of the XVIII EURALEX International Con- gress, Lexicography in Global Contexts, Ljubljana, 17–21 July 2018. Ljubljana: Ljubljana University Press, Faculty of Arts. 989–997. https://euralex.org/publications/collocations- -dictionary-of-modern-slovene. (Dostop 15. 9. 2024.) Krek, Simon, Laskowski, Cyprian in Robnik-Šikonja, Marko, 2017: From Translation Equ- ivalents to Synonyms: Creation of a Slovene Thesaurus Using Word co-occurrence Network Analysis. Kosem, Iztok, Tiberius, Carole, Jakubíček, Miloš, Kallas, Jelena, Krek, Simon in Baisa, Vít (ur.) Proceedings of eLex 2017: Lexicography from Scratch, Leiden, 19–21 September 2017. Brno: Lexical Computing CZ s.r.o. 93–109. https://elex.link/elex2017/ wp-content/uploads/2017/09/paper05.pdf. (Dostop 15. 9. 2024.) Krippendorff, Klaus, 1970: Estimating the Reliability, Systematic Error, and Random Error of Interval Data. Educational and Psychological Measurement 30/1. 61–70. DOI: https:// doi.org/10.1177/001316447003000105. JiS_2024_4-FINAL.indd 49 6. 12. 2024 10:44:42 50 Magdalena Gapsa Lew, Robert in de Schryver, Gilles-Maurice, 2014: Dictionary Users in the Digital Revolu- tion. International Journal of Lexicography 27/4. 341–359. DOI: https://doi.org/10.1093/ ijl/ecu011. Lew, Robert, 2015: Opportunities and limitations of user studies. Tiberius, Carole in Mül- ler-Spitzer, Carolin (ur.) Research into dictionary use. Wörterbuchbenutzungsfor­schung. 5. Arbeitsbericht des wissenschaftlichen Netzwerks „Internetlexikografie“. Mannheim: Institut für deutsche Sprache. 6–16. https://ids-pub.bsz-bw.de/frontdoor/deliver/index/do- cId/3772/file/Research_into_dictionary_use-2015.pdf#page=6. (Dostop 24. 11. 2024.) Müller-Spitzer, Carolin, 2014: Using Online Dictionaries. Berlin, Boston: De Gruyter Mo- uton. DOI: https://doi.org/10.1515/9783110341287. Nesi, Hilary, 2000: The Use and Abuse of EFL Dictionaries: How learners of English as a foreign language read and interpret dictionary entries. Tübingen: Max Niemeyer Verlag. DOI: https://doi.org/10.1515/9783110946031. Shannon, Claude Elwood, 1948: A mathematical theory of communication. The Bell System Technical Journal 27/3. 379–423. DOI: https://doi.org/10.1002/j.1538-7305.1948. tb01338.x. Tarp, Sven, 2009: Reflections on Lexicographical User Research. Lexikos 19/1. 275–296. DOI: https://doi.org/10.5788/19-0-440. Tomaszczyk, Jerzy, 1979: Dictionaries: Users and Uses. Glottodidactica 12. 103–119. JiS_2024_4-FINAL.indd 50 6. 12. 2024 10:44:42