AVTOMATIZIRANI E-TEST PRI MERJENJU ZNANJA ODRASLIH NKa%. Vanda Rebolj POVZETEK Avtorica predstavlja avtomatizirani e-test kot produkt tehnološkega napredka in razvoja pedagoške znanosti. S kratkim zgodovinskim pregledom opozarja na zmote, zaradi katerih se te vrste testi v preteklosti niso splošno uveljavili. Poudarja dodano vrednost avtomatiziranih e-testov v primerjavi s klasičnimi. Zaradi zahtevnejše tehnologije in zaradi interpretacije ter uporabe povratnih informacij so sicer primernejši za izobraževanje odraslih. Rešujejo nekatere probleme, kijih klasični testi ne morejo odpraviti. Odkrivajo balast, ki po nepotrebnem obremenjuje merjenje znanja, opredeljenega po konstruk-tivističnih teorijah in aktualnih ekonomskih potrebah. Avtorica opominja, da je možno precej balasta odvreči, s tem pa v merjenje znanja odraslih vnesti več dostojanstva in vzpostaviti enakopravnejši odnos med testirancem in testatorjem, ki ima tako najmočnejšo vlogo pri pripravi testa, ne pa v nadzoru testiranca. V ekspertnem, to je v pedagoško in tehnološko visoko razvitem okolju svetovno uveljavljenih šol in računalniških družb, avtomatizirano testiranje uporabljajo že desetletja. Tunaj tega področja je izkušenj manj, pri nas pa so skromne in niso deležne večje pozornosti. Kljub temu smo jih v tem prispevku s previdnostjo pri posploševanju povzeli in predstavili, s tem pa poskušali spodbuditi inovativnost v andragogiki. Nekatere pretekle in sedanje pomanjkljivosti na področju e-testiranja pa lahko pokažejo pravo pot nadaljnjega razvoja. Ključne besede: izobraževanje odraslih, merjenje znanja, avtomatizirani e-test, validnost testa KNOWLEDGE MEASUREMENT WITH AUTOMATED E-TESTS IN ADULT EDUCATION - ABSTRACT The author presents the automated e-test as a result of technological advancement and development of pedagogy. In a brief historic review she recalls the mistakes which in the past prevented the tests of this type from being widely accepted. She highlights the added value of automated e-tests, comparing them with the classical tests. Due to their complex technology, the need for interpretation and use of feedback they are more suitable for adult education. They bring solutions for several problems which classical tests did not provide. They clearly reveal all the redundancies in measurement of knowledge, devised upon constructivist theories and economic requirements. The author stresses that numerous unnecessary test elements can be discarded, which will foster dignity in adult knowledge measurement and contribute to creation of a more equal relationship between the testee and the testor, whose primary role is preparing the test and not supervising the testee. In expert environments ofpedagogically and technologically highly developed educational institutions and IT, companies, automatic testing has been practiced for decades. Outside this field, it is practiced less frequently; the occurrence in this country is modest and given little attention. Nevertheless, this article, cautious in generalizations, presents a review of the practice, in order to encourage innovativeness in andragogy. Certain past and present e-testing deficiencies may be used to show the way to future developments. Keywords: adult education, knowledge measurement, automated e-test, test validity UDK: 374.7:371.26 UVOD Zanima nas, ali lahko ob sedanjem tehnološkem napredku, ki učenju odpira nove možnosti, nadgradimo tudi inštrumente in oblike za merjenje^ znanja. Pri tem nas zanima predvsem avtomatizacija testiranja. Kot avtomatizirane bomo pojmovali teste, pri katerih pravilnost rešenih nalog ugotavlja naprava. V zadnjih 50 letih to nalogo prevzemajo vse bolj razviti računalniki in njihovi programi. Za e-test je bistveno tudi, daje do- stopen z računalnikom. A vsaka tehnologija tudi omejuje. Zaradi omejitev tehnologije se morajo sestavljavci nalog prilagajati, kar zahteva spretnosti, poglobljeno poznavanje učnih ciljev, pa tudi razmejevanje na tak način preverljivega od nepreverljivega znanja. Zaradi zahtevnejše tehnologije in samointerpretacije rezultata se zdijo avtomatizirani e-testi primernejši za izobraževanje odraslih kot za izobraževanje mladine. V tem članku bomo ugotavljali, katere probleme pri izobraževanju odraslih lahko rešujejo naprave ter katere značilnosti kognitivnega in psihosocialnega stanja odraslih moramo upoštevati, da avto- Izkušnje z e-testi so fri nas še skromne. matizirani e-test upravičimo. Njegova uporaba ni vezana na vrsto izobraževanja. V formalnem izobraževanju ga lahko uporabimo že pri vpisnem postopku in kasneje pri preverjanju napredka pri študiju. Karierni razvoj lahko pospeši predvsem zaradi odkrivanja tihega znanja odraslih, dostopnega na human in dostojanstven način. Izkušnje z e-testi so pri nas še skromne, zato bomo previdno posploševali. Smo pa z evalva-cijskimi vprašalniki za višje šole - anketiranje je bilo opravljeno v letih med 2005 in 2009 -dobili nekatere iztočnice za razvoj avtomatizirane tehnologije preverjanja in dovolj spodbud. IZKUŠNJE IZ PRETEKLIH NEUSPEHOV Želja, da bi tako kot človeka stehtamo ali mu izmerimo krvni tlak, izmerili tudi njegovo znanje, je mnogo starejša od računalnikov. Iz leta 1640 je avtomat, ki so ga uporabljali za preverjanje pravilnosti računov pri učenju matematike. Avtomat za merjenje znanja iz leta 1924 je lesen stroj z bobnom, na katerem se vrtijo naloge, testiranec pa izbira med več rešitvami. Če izbere pravilno, ga stroj nagradi s piskajočim »klip«, pri napačni pa pograja s hreščečim »klap«. Tudi kasneje lahko srečamo različne poskuse izdelave mehanske učnih strojev za testiranje. Nekateri so hkrati vodili učenca po učni vsebini. Razen poenostavitve in igrivosti testiranja se je zdelo napredno tudi izrivanje živega ocenjevalca. Človek naj bi bil kot ocenjevalec nujno pristranski, celo zlonameren; kadar testiranci tekmujejo za privilegij, pa nujno nepravičen. A ko je bil s težko pričakovano avtomatizacijo testa človek kot ocenjevalec izločen, so avtomatskim testom očitali razčlovečenost in omejevanje na merjenje avtomatskih spretnosti brez sodelovanja višjih duševnih sfer. Tako se je od Galilejeve misli, da je potrebno in možno vse napraviti matematično merljivo, testiranje nagnilo k Protagorovi misli Homo mensura (Človek odmeri). Testatorji pa so se spraševali, ali je subjektivnost preverjanja sploh smiselno povsem odpraviti, saj človek znanje uporablja v subjektivnem svetu. Današnji avtomatizirani e-test ima nekaj papirnatih predhodnikov. Rezultate nalog je možno zapisati z grafičnimi znaki, na primer s črno piko na določenem mestu, kar zmore razbrati optični čitalnik. Kadar uspeh ugotavlja naprava, je treba naloge matematizirati.^ To je nujno tudi takrat, ko je ocena samo opisna, recimo opravil oziroma ni opravil. Matemati-zacija zahteva znanja iz sestave testnih nalog in dobro poznavanje učnih ciljev. S prevzemanjem konstruktivističnih teorij o znanju, ki danes prevladujejo, je tudi »matematiziranje« dobilo nove oblike. Ni treba ovrednotiti vsake posameznosti. Treba je poznati red, ki se skriva znotraj vsebine: rdečo nit, linearne nize bistvenih podatkov, miselni vzorec, skelet, na katerega lahko nanizamo informacije v ustreznih povezavah (Jurman, 1989). Prvotno so za avtomatizirano merjenje znanja večinoma uporabljali testne naloge izbirnega tipa. Te so bile na slabem glasu zaradi možnosti ugibanja pravilnega odgovora in drugih slabosti. Drugačne naloge je pravzaprav omogočila šele računalniška in pred- vsem spletna tehnologija, ki se zdi na tem področju obetavna. V 60. letih, ko seje uveljavljalo učenje z računalnikom, so se pojavile hipoteze, da bo učitelj izgubil svojo vodilno vlogo v učnem procesu (Gerlič, 1995). Tiskani test izbirnega tipa je tedaj dobil elektronsko različico. A kljub velikim vlaganjem v tehnologijo se računalniško učenje skupaj z računalniškim merjenjem znanja ni splošno uveljavilo, dobili pa smo uporabne izkušnje. Razlog je bil v premalo zmogljivi tehnologiji ter tudi v napačnih tezah o psiholoških osnovah učenja in znanja. Testi znanja izbirnega tipa so bili v slovenske šole stihijsko uvedeni v 70. letih - ob velikih pričakovanjih, ker naj bi dosegali visoko stopnjo validnosti in ker naj bi imeli številne prednosti pred klasičnim šolskim spraševanjem. Pokazalo seje, da to ne drži, saj so bile posledice tudi negativne. Še posebno odrasli, ki so imeli praviloma primanjkljaj, so pri ustnem sporočanju še bolj opešali. Težave so bile s sestavo nalog. Nekaterih vsebin učitelji niso znali preveriti v tej obliki, zatekali so se k zasilnim rešitvam, da je bil test popoln. Tako so te vrste testi veljali za manj vredne, kar delno drži še danes. Čeprav se avtomatizirano testiranje znanja na splošno ni uveljavilo, pa se je razvijalo naprej v pedagoško in tehnološko ekspertnem okolju. Tako so v literaturi znani visoko validni testi za kadrovske potrebe IBM ter nekaterih drugih ameriških in evropskih visokotehnoloških okolij ter testi za vpis na svetovno uveljavljene univerze, ki so nekakšna »visoka tehnologija« v pedagoškem okolju. Tako se zdi, da pravzaprav iščemo odgovor, kako razširiti take teste iz ekspertnega v neekspertno okolje. V času informacijske revolucije in evforičnega uvajanja računalnika v izobraževanje so verjeli, da človekova misel lahko postane objektivna, saj s tehnologijo prodremo tja, kamor brez nje ne moremo. Precenjevanje tehnologije ob pedagoško laičnem pristopu informatikov, to je brez pedagogov in psihologov, je spremljalo in pokopalo poskus uvajanja avtomatiziranega e-testiranja. Danes je zaradi višje razvitosti tako tehnologije kot pedagogike avtomatizirani test bolj obetaven. Prelomnico pomeni uveljavljanje spleta 2.0.^ Ko so začeli kot učno okolje uporabljati splet, je bilo nujno e-testi-ranje za povratno informiranje učečega o napredku pri učenju. Prizadevanja računalniških strokovnjakov, ki so v zadnjih letih ob nalogah izbirnega tipa razvijali tudi naloge s prostimi odgovori in konstrukcijske naloge, so se ustavila na meji ekonomičnosti. Programi za take naloge so bili glede na pedagoški rezultat dragi. V laičnem okolju je nastalo veliko pedagoških nesmislov. Razvoj računalniških testnih programov se je tako nadaljeval v smeri prepoznavanja prosto oblikovanih odgovorov in spregledovanja napak, na primer pravopisnih, v sicer vsebinsko pravilnih odgovorih. Predrago je tudi razvijanje programov za nadzor testiranca med testiranjem, da ne bi prepisoval ali kako drugače »goljufal«, in za različna omejevanja, ki so bila predvsem agensi negativnih čustev, da bi ločili osebnost testiranca in njegovo znanje. E-testiranje je torej problem pedagogike in andragogike, tehnologija pa je pri tem koristna danost. Tehnologija je zelo napredovala, vedenje o človeku pa malo, opozarjajo ekonomisti. Izhajati moramo iz človeka, kot ga poznamo, ne iz hipotetičnega ali sintetiziranega človeka. Ekonomisti zato opozarjajo na smotrno rabo tehnologije, pedagogi pa na možnost napak zaradi nepoznavanja človeka ali precenjevanja tehnologije. Eno od pomembnejših načel zahteva, da ne preverjamo za vsako ceno na »modem način«. Kadar torej z neko tehnologijo ne zmoremo izmeriti vsega, ji dodamo drugo. Tako kot o kombiniranem (blended) učenju nekateri avtorji (Alsher, 2005) pišejo o kombiniranem (blended) testiranju in pri tem mislijo na zaporedje testov, med katerimi so nekateri klasični, nekateri pa »online«. V nadaljevanju bomo večkrat pisali o testni proceduri"* ali testnem postopku, katerega element je avtomatizirani e-test. INTUICIJA OCENJEVALCA PRI MERJENJU ZNANJA Ocenjevalčeva subjektivnost lahko vpliva na rezultat, kar pa ni absolutno slabo. Če pri ocenjevanju sodeluje ocenjevalčeva intuicija, je pravzaprav dobro. Intuicija je nezavedna oskrba uma s podatki in odločanje na njihovi podlagi. Kot kognitivna funkcija sodi k spominu (Day, 1999). Čeprav ima pridih ezo-teričnosti, je pomembna pozitivna lastnost ocenjevalca. Intuicija kot jo pojmujemo za potrebe pedagogike, se oblikuje v procesu pridobivanja in predelave informacij za predvidevanje. Z njo testno proceduro očloveči-mo, ker zapolni vrzel zaradi pomanjkanja človečnosti (Jurman, 1989), ki pogosto spremlja avtomatizirane teste. Praviloma največ intuicije prepušča zadnji v nizu inštrumentov, ki sledijo avtomatiziranemu testu, denimo intervju, pogovor ali ustni izpit. Intuicija pri testiranju je pomembna za presojo, kaj je bistveno za napredek nekoga in kako bo obstoječe znanje delovalo na testirančevo prihodnost, denimo na kariero ali na uspeh pri nadaljnjem študiju, pa tudi na motivacijo. Z njo ne delamo velikih popravkov ocene. Ocenjevalec jo uporabi za določanje majhnih razlik, lahko tudi meje med dovolj in premalo. Običajno delež ocene po intuiciji obsega od pet do deset odstotkov. Kljub tako opredeljeni intuiciji slednja pri avtomatiziranem testiranju ni izključena, saj ima testator veliko možnosti zanjo pri pripravi testa. AVTOMATIZIRANI E-TEST PRI MERJENJU ZNANJA ODRASLIH E-teste za kadrovske potrebe predstavlja Vu-kovič (Vukovič, 2006), in to predvsem kot inštrument za selekcijo pri zaposlovanju in premeščanju zaposlenih. Uporabljajo jih v kombinaciji z drugimi metodami, pa tudi kot del testnega postopka ali kadar je rezultat prvega testiranja slab. Med različnimi testi, kijih omenja, so testi usposobljenosti za opravljanje delovnih nalog, s katerimi preverjajo tiho znanje. Ugotavlja, da testiranci brez zadrege odgovarjajo na zahtevnejša ali neprijetna vprašanja. Manj je slabosti, ki jih poznamo pri pogovorih v živo. Vprašani so pri odgovarjanju skrbnejši, nalogam se bolj posvečajo. Imajo čas za razmislek, pri tem pa niso opazovani. Opozarja pa, da e-test ni primeren za najvišja delovna mesta, saj kandidati pričakujejo osebno pozornost. E-testi so pomembni za samoinformiranje posameznika, ali se je smiselno odpraviti na pot priznavanja znanja ali učenja, oziroma za presojo, koliko dela in stroškov bodo morali vložiti v uspeh. Take teste ponujajo nekateri karierni centri in šole, zasledili smo jih tudi pri eni od bank, ki opravlja podjetniško in naložbeno svetovanje. Merjenje znanja, razen v izobraževanju, postaja z avtomatiziranimi postopki tržna kategorija, to je »proizvod«, ki ga je mogoče prodajati. Ker nas zanima avtomatizirano e-testiranje odraslih, se moramo vprašati, katere spremembe v kognitivni strukturi odraslih v različnih obdobjih so pomembne za testiranje. Vemo, da bodo odrasli boljši pri nalogah, tudi kompleksnih, za katere so veščine avtomatizirali ali pa so pridobili metaznanje, ki deluje »upravljavsko« na reševanje posameznih ali parcialnih problemov (Vukman, 2000). Z dolžino življenja torej odrasli v tem smislu pridobivajo, s kopičenjem veščin pa tudi kompenzirajo upadajočo mentalno moč in pešanje semantičnih funkcij. Človekova »zmogljivost« se strukturno spreminja, njena količina pa pri aktivnih odraslih ostaja konstantna tudi v višji starosti. Struktura je unikatna in odvisna od aktivnosti odraslega. Pomembno je, kaj smo počeli s svojim znanjem: smo bili opazovalci ali tudi igralci (Grubiša, 2000). Kompenzacije med veščinami in mentalno močjo bi moralo testiranje omogočati, ne ovirati. Vukmanova o tem piše kot o »relevantnosti problemov« za posamezno starostno skupino. Pri posameznih nalogah je včasih pomembnejša pot do rešitve kot rešitev sama, včasih pa bolj končna rešitev ne glede na pot. V obeh primerih pa so manj pomembni strogo omejeni čas za reševanje, nadzor nad testirancem, spretnost pisanja, koncentracija (čas od branja naloge do začetka reševanja) ali nadrejenost testatorja nad testirancem, ki so pogosta navlaka testiranj. Tehnologija testiranja vedno omejuje, kar velja tudi za e-tehnologijo. V tiskane teste denimo ne moremo vključiti filmskega posnetka, v ustne pa ne simulacij ali nalog izbirnega tipa. Prednosti in slabosti različnih tehnologij testiranja težko primerjamo, saj tudi testne naloge vedno prilagajamo tehnologiji. Alsherjeva opozarja na raznolike možnosti pri pripravi nalog na spletu, recimo igro vlog, reševanje problemov in reševanje praktičnih nalog. Testiranje odraslih moramo obravnavati tudi z vidika socialne komunikacije in glede na psiho-socialne značilnosti odraslih, pri čemer je posebno pomembna predstava o sebi kot zrcalna podoba mnenj drugih (Brečko, 1998). Dosežki lahko predstavo o samem sebi gradijo ali rušijo. Vprašanji »kaj bodo rekli drugi?« in »koliko neznanja sem pripravljen pokazati drugim, da bom obdržal doseženi socialni položaj?«, sta torej pomembni, ko se odrasli odloča za merjenje znanja. Iz tega izvira želja, da bi bilo neznanje intimna zadeva in tako izločeno iz socialnih odnosov. Avtomatizirani e-test lahko omogoči intimnost neznanja in bolj dostojanstveno testiranje. Zaupna informacija, ki jo daje naprava, pa lahko spodbudi učenje, s katerem odrasli doseže testni uspeh, ki ustreza njegovi predstavi o sebi. Tako kot prednosti so raziskave pokazale tudi slabosti avtomatiziranega e-testiranja. Pristna znamenja, ki jih lahko oddaja testator v živem Prednosti in slabosti nekaterih oblik testiranja eh o z LU ai. Q_ Majhen vpliv testatorja Možnost uporabe virov Možnost pomoči pri razumevanju vprašanj Možnost ustvarjanja ugodne klime Testator z odzivom lahko spodbuja Dodatno pojasnjevanje vprašanj Testiranec se lahko prilagaja testatorju Bolj učinkovita uporaba intuicije Manj reguliran in nadzorovan Rezultat je bolj intimen Minimalno stresen Ponovljiv - rezultat ni usoden Možnost izbire časa testiranja Izbira okolja za reševanja testa Možnost izbire trajanja testiranja Uporaba virov znanja Testiranje se približa delovnim zahtevam Možnost odločitve, katero rešitev bomo odposlali Izločitev čoveškega faktorja pri ocenjevanju Skrbnejši pristop k reševanju nalog KLASIČNI PISNI TEST USTNI TEST AVTOMATIZIRANI E-TEST ^ O CÜ ^ OO Subjektivnost ocenjevanja Močno nadzorovan Stresen Časa ni mogoče izbirati Določenost Trajanje določeno vnaprej Rezultati so znani drugim Večja trema Rezultat je neizbrisen Vprašanje vsebuje testatorjev stil Močno reguliran in nadzorovan Posledice rezultata so lahko trajne Več možnosti, da na oceno znanja vpliva nebistveno Nevarnost nerazumevanja vprašanj Neodzivnost testatorja - ni človeške spodbude Majhna raznolikos vprašanj zaradi omejitev v tehnologiji Prilagajanje vsebine tehnologiji Neosebnost in tehnicizem Rebolj, 2008 stiku, so za testiranca spodbuda. Podoben pomen imajo znamenja, ki jih oddajajo drugi te-stiranci v skupini. Teste, ki vsebujejo z videom simulirane socialne agense (slike ali filme ljudi v živahnih medsebojnih odnosih in z izraženimi čustvi), smo pripravili za e-gradivo za predmet poslovno komuniciranje (Slivar, 2010). Med 24 uporabniki v anketi nihče ni označil odgovora, da se počuti osamljen, zato menimo, da socialnim potrebam testiranja zlahka ustrežemo. Med tehtne slabosti sodi odsotnost pomoči, če testiranec vprašanja ne razume. Po podatkih iz nekaterih raziskav okoli 12 odstotkov napačnih odgovorov pri testih izbirnega tipa lahko pripišemo nerazumevanju nalog in ne neznanju. Razumevanje nalog je lahko povezano s testi-rančevo predhodno izkušnjo, ki je pri sestavi nalog ne moremo izločiti. Slabost ublažimo tako, da ključna znanja preverjamo na primer z več nalogami različnega tipa, upoštevamo pa dva boljša odgovora. To pa test lahko vsebuje le izjemoma, ker testiranca obremenjuje. Slabosti testnega sistema, denimo diskrimina-tornost' »neprave« zahtevnosti glede na testira-no populacijo ali testne destruktorje,® lahko odkrivamo s statističnimi indikatorji (Costagliola, 2008), zato moramo, razen zadovoljstva uporabnikov, to je testirancev in testatorjev, uspešnost spremljati tudi statistično. Bolj izpopolnjeni testni programi vsebujejo tudi te funkcije. NEKATERI VIDIKI NAČRTOVANJA AVTOMATIZIRANEGA E-TESTIRANJA O vsebini nalog Ko načrtujemo vsebino, moramo upoštevati aktualno pojmovanje znanja: znanje moramo znati najti, pomnimo zlasti temeljno, šteje pa znanje, ki ga znamo uporabiti ali prenesti na druge situacije. To seveda vpliva na izbor testne vsebine. Iz izkušenj, ki jih imamo največ s predavatelji višjih in visokih šol, ko postanejo testatorji, vemo, da za to potrebujejo prakso. Predavatelji poznajo temeljno vsebino, zato potrebujejo predvsem metodološko usmerjanje. Merjenje znanja je tako bliže delovnim nalogam kot klasičnemu šolskemu merjenju ali ocenjevanju znanja. Testirančevi izdelki so unikati. Lahko jih pripravlja na daljavo, torej na spletu, saj je nadzor nad nastajanjem unikatov odveč. Konstruktivistične teorije o človekovi kogniciji, po katerih je znanje struktura, pri vsakem človeku drugačna in zgrajena z učenjem, nas usmerjajo, da najdemo pravo mero pri obsegu vsebine in da ne pretiravamo z merjenjem podrobnosti. V strukturi merimo predvsem njene »statično pomembne« dele, ne pa vseh »gradbenih elementov«. Družbene koncepte, ki temeljijo na uspešnem posamezniku, humanisti kritizirajo, vendar danes prevladujejo. Odgovornost za uspeh učenja se pri teh konceptih prenaša na učečega, zato se povečuje zahteva po deležu samoučenja v vseživljenjskem učenju posameznika. Kadar je učeči med učenjem sam, mora izvedeti, koliko že zna in koliko bo moral še vložiti za dosego cilja. Temu so namenjena elektronska sa-motestiranja, na primer pred učenjem in med učenjem, pa tudi na koncu učenja kot napoved uspešnosti na zaključnem merjenju - izpitu. Če učenec ni zadovoljen, se še uči in test ponovi, učenje torej regulira (Zimmermann, 1998). AVTOMATIZIRANI E-TEST V TESTNI PROCEDURI Ker je znanje sestavljeno iz veščine iskanja znanja, spominsko osvojenega fonda informacij, sposobnosti učenja drugih in veščin uporabe znanja, moramo testiranje organizirati tako, da bomo preverili vse to. Niz različnih inštrumentov v smiselnem vrstnem redu omogoči popolnitev celote, to je celovito »izmero« znanja pri ustrezni validnosti testnega postopka. Predavatelji višjih šol v napovedi pogojev, da obveznost šteje za opravljeno, na spletnih straneh šol navajajo, kolikšno vrednost imajo posamezni inštrumenti v testnem postopku, kar prikazujemo na naslednji sliki. Testiranje veščin in kompetenc (denimo komuniciranje, tuji jezik, uporaba računalniških programov) Avtomatizirani e-test 40-80 % Ustni izpit, diskusija ali nastop 60-20 % Testiranje strokovnega teoretskega znanja (denimo ekonomija, delovno pravo, elektronsko poslovanje, psihologija) Avtomatizirani e-test 50 % Reševanje problema ali naloge na daljavo 20 % Ustni izpit, diskusija ali nastop 30% Testiranje strokovnega teoretskega znanja (denimo poslovna matematika, ekonometrija, statistika, psihologija) Avtomatizirani e-test 60-75 % Reševanje problema ali naloge na daljavo 0-2Q % Ustni izpit, diskusija ali nastop 40-25 % Testiranje socialnih kompetenc in integriranosti v skupnost (testiranja praviloma izvajajo organizacije, kot so karierni centri) Avtomatizirani e-test 40-60 % Reševanje problema ali naloge na daljavo 0-20% Intervju, diskusija ali nastop 40-25 % Rebolj, 2004-2008 Socialne veščine in znanje o odnosih merimo posredno oziroma s projekcijo znanja v bolj preverljive situacije. Taki testi so manj občutljivi, kar pomeni, da ne preverjajo podrobnosti, ampak globalno stanje. POZORNOST PREVERJANJU VIŠJIH RAVNI ZNANJA Med pomembnejše zahteve sodi zagotavljanje ravni znanja, ki jo lahko preverjamo z e-te-stom. Koliko kognitivnega napora, kompleksnosti in uporabnosti vsebuje znanje, ki ga lahko merimo? V diplomski nalogi (Lesnik, 2007) je študentka analizirala 24 testov iz slovenskih organizacij, ki izvajajo računalniške tečaje in tečaje tujih jezikov, programe iz menedžmenta in komunikacije. Stranke se lahko avtomatizirano testirajo pred vključitvijo v njihov izobraževalni program. Ugotovila je, da preverjajo samo najnižje stopnje v zna- nju, to je prve tri po Bloomu. Nekatere testne naloge so zelo preproste in za njihovo rešitev ni potrebno znanje, ampak izločanje najmanj smiselnih odgovorov. Vse naloge naj bi bile kompleksne, kar denimo pomeni, da preverjajo povezanost znanja, da preverjajo tudi posredna znanja ali teorijo in njeno uporabo. Namesto krajšega ali daljšega besedila lahko vsebujejo slike in grafe ali zahtevajo računanje. Z enim multimedijskim elementom lahko zastavimo več nalog. Pri sestavi testa izbiramo raznolike naloge. Pomembno je, katero raven znanja zmore izslediti neka naloga. Po Skribetovi (Skribe, 2007) višje ravni, denimo sposobnost interpretacije ali ugotavljanja vzročno-posledične povezanosti, odkrivajo samo naloge z večstransko izbiro in kombinirane naloge. Z enostavnimi nalogami preverjamo samo tri najnižje stopnje v znanju, kot jih opredeljuje Bloom. Strokovnjaki, na primer Jurman, opozarjajo, da s taki- mi testi lahko delamo škodo, ker promoviramo nižje ravni miselnih procesov. V izobraževanju odraslih prevladuje potreba po najvišjih ravneh znanja. Po izkušnjah se nepripravljeni sestavljavci nalog zatekajo k enostavnim nalogam. Za predavatelje zato pripravimo seminar, na katerem jih o tem ozavestimo in jim pokažemo nekatere tehnike priprave kakovostnih nalog ter primere dobre prakse. Psihično naporna je priprava rešitev nalog, še posebno napačnih, kadar sestavljamo izbirni test. Ponujene napačne rešitve morajo biti dovolj bistroumne, da so neprepoznavne. Smejo zavajati, a ne smejo izražati škodoželjnosti. Če želimo zagotoviti ponovljivost testa z naključnim izborom, moramo za preverjanje istega učnega cilja sestaviti več, najmanj pet, enakovrednih različic nalog. Vse to je prezahtevno za enega človeka. Na šolah smo zasledili prakso, da člani predmetnih aktivov za svoje področje in tudi študenti vse leto zbirajo vprašanja v posebnem e-predalu, pred začetkom vsakega študijskega leta pa jih njihov urednik izbere in ovrednoti. Uvrsti jih v teste, po evalvacijah pa tista, ki so slabša, zastarela ali izpeta, izloči. Tako se testni sistem postopoma izboljšuje. Med skromnim številom raziskav o e-testira-nju tako rešitev podpira raziskava o faktorjih validnosti testiranja (Pokpong, 2006). V njej poudarjajo, da je validnost možno maksimizi-rati tako, da naloge in njihove rešitve, pravilne in napačne, pripravlja več avtorjev, zaključno recenzijo in redakcijo pa opravi eden. NEIZOGIBNO BREME TESTIRANJA Med učitelji je nekoč krožila šala o očetu, doktorju matematičnih znanosti, ki je tarnal učiteljici svojega prvošolca, da otroku ne more pomagati, ker tudi on ne zna rešiti njegove domače naloge. Ko mu je nekoč nekaj rešil, pa je bil otrok v šoli kaznovan s sličico polža. Iz naših višjih šol poznamo primere, ko so izredni študenti z bogatimi znanji, dokazanimi v praksi, dosegali slabe testne rezultate iz osnov svoje stroke. Da bi testiranje pokazalo resnično znanje brez balastnih spretnosti, bi morali postopek testiranja natrenirati, kar pomeni predvsem: • znanje je treba izraziti na zahtevani način, ta način pa si moramo obuditi, • testi vsebujejo testatorjev stil, prilagajanje stilu pa je veščina, • psihološko razbremenitev: v znanih situacijah se hitreje skoncentriramo in smo manj psihološko obremenjeni. Alcher (2005) je zapisal: »Test zahteva izkopavanje iz sebe, to pa ni vsakdanje opravilo.« Na teste so bolje pripravljeni tisti študenti, ki obiskujejo študijski proces v živo, saj je test praviloma njegov podaljšek, elektronsko pa se pogosteje testirajo študenti v študiju na daljavo, ki te izkušnje nimajo. Če želimo čim več testnega balasta ločiti od čistega merjenja znanja, testirancem omogočimo pripravo na e-testiranje. Najpogosteje so to poskusni testi, ki jih računalnik naključno izbere iz zbirke nalog. Število poskusov je iz tehnoloških razlogov omejeno. Na voljo je dovolj časa, da testiranec ponovi, kar slabše obvlada. Za preprečevanje transfera med testiranji, ki ga tehnologija ne more preprečiti, obstajajo različne možnosti. Na primer, naj bo nalog toliko, da testiranca utrudijo in ne more ponavljati testiranja na isti dan ali pa mu računalnik dovoli ponavljanje poskusa, seveda z drugimi nalogami, čez nekaj dni, s čimer transfer izničimo. Za uspeh, razen znanja, potrebujemo torej tudi veščine za testiranje. Profesor z graške univerze je pojasnil, zakaj bodo kandidati, razpršeni po Evropi, veljavni izpit opravljali doma. Na izpitni dan so namreč zjutraj na spletni strani univerze lahko odprli unikatne kompleksne naloge, rešitve pa so morali oddati do pozne popoldanske ure. »Seveda bi v tem času lahko našli koga, ki bi to opravil brez priprave, a to bi bilo le srečno naključje, sreče pa je na izpitih vedno nekaj.« Skupinski pogovor s študenti računovodji po končanem testiranju V program Računovodja (kasneje je postal izbirna smer programa Ekonomist) se je vključilo več študentov, ki so dolga leta opravljali naloge s področja financ tudi na vodilnih mestih, a so imeli formalno samo srednješolsko izobrazbo in po predvidevanjih zelo veliko tihega znanja. Šole so jim omogočile merjenje tega znanja s testiranjem, uspešnim pa so priznale opravljene izpite. Pred testiranjem so dobili navodila, gradiva in možnost največ trikratnega poskusnega testiranja. Kako je bilo po prvem poskusnem testiranju? Tako, tako. Je bilo potrebno? Seveda, nujno. Zakaj? Ker znaš samo to, kar delaš v službi, drugo so luknje. Ker ne poznaš sodobnih izrazov, Ker si »navit« na delo, ne pa na učenje. Ker se ne znaš več izražati... Koliko odstotkov točk ste dosegli? (Tišina.) Kdo je dosegel več kot polovico točk? (Tišina.) Ste dosegli tretjino točk? Tako nekako. Ste se potem učili? Seveda. Kolikokrat ste ponovili poskusni test? Dvakrat, trikrat. Se vam zdi primerno, da ste začeli z avtomatiziranim testom, namesto da bi vas predavateljica takoj preverila v živo? Zelo. Ce tega ne bilo, se večina za testiranje sploh ne bi odločila. Misliš, da nekaj znaš, potem se izkaže drugače in je človeka sram. Se vam je zdel testni postopek pravšen (e-test, izdelek, intervju) ? Bil je korekten. Bil je kombinacija učenja in testiranja. Dobili smo potrditev, da že nekaj smo. To je najpomembneje, ko sedimo med bruci. Rebolj, 2004, Višja strokovna šola Ljubljana ANALIZA PODATKOV O AVTOMATIZIRANEM E-TESTU IZ LETNIH EVALVACIJ Podatke smo povzeli iz poročil o letnih evalva-cijah višjih strokovnih šol, kjer od študijskega leta 2004/2005 dalje uporabljajo primerljive inštrumente za refleksijo študentov, evalvacij-ske vprašalnike za predavatelje in statistično analizo uspešnosti študentov. Zajeli smo študijska leta od 2004/05 do 2008/09. Evalvacijski inštrumenti za študente so bili anonimni, zato smo upoštevali samo odgovore drugih letnikov, tako daje vsak študent odgovarjal samo enkrat, in sicer ne glede na to, ali je bil vpisan v klasični ali e-študij. Predavatelji se med študijskimi leti menjajo, zato smo upoštevali vprašalnike iz zadnjega študijskega leta, v katerem so odgovarjali. Statistiko uspešnosti študentov so posredovali referenti na šolah. Vključenih je bilo devet šol (prvo leto ena, nato tri, zadnji dve leti pa devet šol), in sicer s programi Ekonomist (pred združitvijo Komercialist in Računovodja), Poslovni sekretar. Informatika in Organizator socialne mreže (uveden leta 2007/08). Dve šoli imata karierni center, v katerem študenti z avtomatiziranimi e-testi lahko preverijo svoja znanja za nekatere poklice. Čeprav vključene šole izmenjujejo dobre izkušnje, so se uvajanja avtomatiziranega e-testira-nja lotile različno in v različnem obsegu, ker je bilo to odvisno od pripravljenosti predavateljev. Avtomatizirano e-testiranje so študenti opravljali znotraj petdnevnega intervala, v katerem so se lahko največ dvakrat poskusno testirali z naključno izbranim testom. Predavateljem smo svetovali, naj avtomatizirano preverjajo samo tisto, čemur zaupajo. Predmeti, pri katerih so uporabili take teste, so bili zaradi odvisnosti od volje predavateljev različni. Tehnična podlaga so bili brezplačni odprtokodni programčki' za teste, ki so jih priredili ali po predlogah na novo izdelali tehniki na šolah. Ti programi so podpirali naslednje tipe testnih nalog: PROGRAM Št, anketiranih študentov, ki so uporabljali AeT Št. strokovnih področij (predmetov) z AeT Št. avtorjev nalog Delež uspešnih (v%) Povprečna ocena na AeT Povprečna ocena iz predmeta - vsi študenti Programi višje šole - vsi 77 13 14 67,5 7,6 7,3 Poslovni sekretar 32 4 6 62,5 7,8 7,2 Ekonomist 18 3 4 77,8 8,1 7,4 Informatika 10 4 2 80,0 6,8 7,5 Organizator socialne mreže 17 2 2 58,8 7,8 7,4 Karierni center - vsi* 45 9 18 Komunikacija 22 1 81,8 Računalništvo in informatika 27 3 70,3 Podjetništvo 12 1 91,7 Socialne veščine 18 4 61,1 SKUPAJ višje šole in karierni center 122 22 32 AeT - avtomatizirani e-test * - isti študent se je lahko udeležil testiranj z več področij • naloge izbirnega tipa, • naloge s povezovanjem pravilnih parov, • naloge z vpisovanjem znakov ali skupin znakov, • naloge z izbiranjem med dvema alternativama. Kljub skromnim tehničnim možnostim z njihovo ustvarjalno rabo lahko dobimo raznolike naloge. Testiii programčki so podpirali naslednje vrste nalog:^ 1. izbirni tip z eno ali več pravilnimi rešitvami, brez njih ali s samimi pravilnimi; 2. alternativni tip z izbiro med dvema rešitvama, od katerih sta lahko tudi obe napačni ali pravilni; 3. dopolnjevalni tip: substitucijske naloge z vstavitvijo besedila, slike ali niza znakov v besedilo ali sliko; 4. tabelarični tip: predelava ali dopolnitev tabelarično ali grafično prikazanih podati^ov; 5. grupiranje dveh ali več enakovrednih ali enakoznačnih pojmov (naloge urejanja); 6. ranžirni tip: iskanje ali oblikovanje niza rešitev po danem kriteriju; 7. komponentni tip: naloge konsttuiranja celote iz delov ali nove celote iz dane. Testiranje je bilo na vseh šolah ponovljivo. Naključni izbor nalog za ponovljivi test so na dveh šolah zagotavljali ročno, na preostalih pa računalniško. Predvideni čas neprekinjenega reševanja je bil 45 minut, študenti pa so imeli na voljo 120 do 200 minut. Po izteku časa je testiranec izgubil dostop. Vprašanje za študente: Kako ste zadovoljni z izvedbo avtomatiziranega testiranja vašega znanja? (Označite, prosimo, odgovor, ki vam ustteza, in ga utemeljite.) N = 122 Zadovoljstvo % Zelo sem zadovoljen 47 Sem zadovoljen 21 Delno sem zadovoljen 11 Nisem zadovoljen 14 Drugo 7 SKUPAJ 100 Dve ttetjini vprašanih sta bili s testiranjem zadovoljni (zadovoljni in zelo zadovoljni skupaj). Nezadovoljni so bili tisti, ki jih je vsebina testa presenetila, saj so pričakovali drugačna vprašanja. Nekateri v take teste ne verjamejo zaradi možnosti ugibanja in pomanjkanja »resnosti«, vendar slednjega niso argumentirali. Zadovoljni so testiranci, ki menijo, da z avtomatizacijo povečamo pravičnost ocene. Največ pa jih ceni udobje in sproščenost med testiranjem ter možnost poprave rezultata z neopaznim učenjem po poskusnem testiranju. Študente smo tudi vprašali, na katere načine lahko najbolj zanesljivo dokažejo, kaj znajo in koliko. Iz odgovorov je razvidno, da je avtomatizirani e-test na drugem mestu med 12 najpogostejšimi oblikami preverjanja (Rebolj, 2011). Kljub nepoznavanju takega načina preverjanja in nevajenosti so ga študenti že od začetka dobro sprejeli. Študente smo vprašali tudi: Katere prednosti in slabosti ima preverjanje znanja, pri katerem vas oceni »naprava«? N = 122 Odgovarjali so prosto, zato smo sorodne odgovore grupirali. Vsakdo je lahko navedel tako prednosti kot slabosti. Največ prednosti je povezanih s samopodobo, to je s skrbjo za uspeh oziroma strahom pred neuspehom. Na drugem mestu je možnost izbire optimalnega časa glede na počutje, na tretjem pa bolj dostojanstvena in spoštljiva izpitna situacija. Odgovor, da ni pomembnih prednosti, je na zadnjem mestu. Največ jih tudi meni, da pomembnih slabosti ni. Slaba petina pogreša socialno interakcijo in njene učinke, ki so agensi pozitivnih čustev. Skoraj enako število se jih slabše počuti, če so prepuščeni stroju. Slednje je bilo velika težava v začetnem obdobju učenja na spletu, a je z vedno boljšimi spletnimi okolji, ki so upoštevala socialne dejavnike učenja, skoraj izginila. Pri merjenju znanja pa jo znova zaznavamo. Tudi slabosti na naslednjih mestih so predvsem pojavne oblike socialnega deficita, na primer slabša motivacija. Tudi pri e-testiranjih bi bilo smiselno vključevati prave ali simulirane (vir- ODGOVORI - PREDNOSTI Število odgovorov Rang Nima pomembnih prednosti. 12 8 Lahko izberem čas, ko se dobro počutim, ko sem »fit«, ko sem umirjen, ko imam mir. 71 2 Izbiram čas, ko se počutim pripravljen. 41 5 Vsi smo preverjeni z enakim metrom, ocena je pravičnejša, ni negativnih čustev predavateljev, ni vpliva mnenja predavatelja iz drugih preverjanj znanja. 53 4 Imam več časa, kot počasnež nisem pod pritiskom, kot »ziheraš« imam čas za preverjanje rešitev, brez nervoze uporabljam vire, lahko uporabim več virov, lahko si pomagam z internetom. Neuspeh se ne zdi usoden, preverjanje je manj šolsko, bolj sem sproščen. 82 1 Nisem nadzorovan, ne počutim se »zaporniško«, ne počutim se kot poreden otrok. 68 3 Vzdušje je boljše, drugi me ne motijo, edini priganjač je ura, hitreje se skoncentriram, ni poti na testiranje, na kateri narašča strah. 32 6 Testi so enostavnejši, nenaporni, mimogrede opraviš. 18 7 ODGOVORI - SLABOSTI Število odgovorov Rang Nima pomembnih slabosti. 49 1 Počutim se sam, zapuščen, prepuščen samemu sebi. 9 5 Ni šolskega pritiska, zato sem počasnejši, ležeren, manj motiviran. 13 4 Odlašam z začetkom do zadnjega trenutka, bojim se začeti, strah me je zaradi prepuščenosti samemu sebi. 8 6 Pogrešam druge, nimam nikogar za vprašanja, ne vem, ali drugim gre, kar se v predavalnici vidi, ne moreš se nalesti pozitivnih čustev drugih. 21 2 Nasploh mi način »kar naklikam, to dobim« ne ustreza, raje sem med ljudmi kot med stroji. Prepuščanje »mašini« mi je nasploh neprijetno, »mrtvohladnim« obdelavam ne zaupam, to je sprejemljivo le v kombinaciji s preskusi v živo, ko se pokaže, ali je imel računalnik prav. 20 3 Nimam pogojev, da bi se nemoteno testiral. 2 7 tualne) socialne stike. Tako imajo med testiranjem na graški univerzi, ki smo jo že omenili, ves čas po internetnem telefonu na voljo stik s tutorjem, predavateljem in računalničarjem, čeprav jim je znano, da te možnosti 90 odstotkov testirancev nikoli ne uporabi. Vprašanje za študente: Kakšen pomen imajo dodatki, ki jih lahko vsebujejo e-testi, na primer, filmi, slike, nadbesedila ipd.? (Označite za vas najustreznejši odgovor ali pripišite svojega.) N = 122 Vprašan je za predavatelje: Kakšen pomen imajo večpredstavnostni (multimedijski) in interaktivni dodatki v testnih nalogah? (Označite za vas najustreznejši odgovor ali pripišite svojega.) N = 32 PREDNOST/ ŠTUDENTI PREDAVATEUI SLABOST Št. % Št. % Preverjanje znanja je bolj zanesljivo. 14 11,4 4 12,5 Preverjanje je bolj zanimivo. 36 29,5 18 56,3 Preverjamo lahko povezana in kompleksna znanja. 12 9,8 8 25,0 Nimajo niti prednosti niti slabosti. 22 18,0 2 6,3 Nepotrebno zapletejo reševanje nalog, 13 10,7 - Nasploh ovirajo testiranje. 13 10,7 - S tem nimam izkušenj. 12 9,8 SKUPAJ 122 100 32 100 Sole spodbujajo uporabo multimedijskih dodatkov, nadbesedil (hypertext) in drugih možnosti, kijih ponuja spletna tehnologija, čeprav je to povezano z višjimi stroški izdelave testov, težavami zaradi avtorsko zaščitenih del ter zaradi nerazvite didaktike na področju uporabe večpredstavno-sti v izobraževanju. A izkušenj je malo. Njihova korist niti pri študentih niti pri predavateljih ni velika, saj pripomorejo predvsem k zanimivosti testiranja. To se ne ujema z nekaterimi tujimi raziskavami, po katerih prav to omogoča kom- pleksnejše in zahtevnejše naloge. To korist je zaznalo tudi osem naših predavateljev, a premajhen vzorec ne omogoča smele posplošitve. Mnenje študentov, da te vsebine testiranje ovirajo, je verjetno povezano z nespretno uporabo, ker predavatelji še nimajo dovolj didaktičnega znanja. Vprašanje za študente: Kakšen pomen ima za vas poskusno testiranje pred »pravim«? (Označite vse odgovore, ki vam ustrezajo.) N = 122 POMEN ŠT. ODGOVOROV % Spoznam bistvo testiranja. 89 72,9 Spoznam vsebinski okvir 75 61,4 testiranja. Predhodno ocenim 61 50,0 svoje znanje. Postanem bolj vešč 54 44,2 reševanja nalog. Nima nobenega pomena. 31 25,4 Nisem se poskusno 26 21,3 testiral. Drugo. 32 21,3 Največ odgovorov je povezanih z učenjem in dopolnjevanjem vrzeli v znanju. Opravljanje poskusnega testiranja spodbuja radovednost, kaj je še mogoče storiti tik pred zdajci. Slaba polovica vprašanih se zaveda, da je treba usvojiti tudi veščino testiranja, ki razen znanja lahko pripomore k uspehu. Poskusnega testa ne opravlja okoli petina anketiranih, kar je stalni delež tudi iz drugih raziskav. Mednje sodijo tudi tisti, ki si izžrebajo primer testa, začnejo reševati, in če jim gre, odnehajo. Nekateri pa možne teste le pregledajo, pri čemer uporabljajo tudi pregled v skupini in na več računalnikih, da si povečajo število vpogledov. ZAKLJUČEK Odgovor na vprašanje, ki smo si ga posredno zastavili v tem članku, torej ali je na sedanji razvojni stopnji pedagogike oziroma andrago-gike ter računalniške tehnologije avtomatizirani e-test upravičen in dovolj validen, je pozitiven. Potrdimo lahko tudi, da ti testi v merjenje znanja odraslih vnašajo dodano vrednost glede na klasične teste. To so predvsem dostojanstvo med testiranjem, večja dostopnost testiranja, možnost graditve pozitivne samopodobe in uresničevanje pravice, da vsakdo čim manj ovirano upravlja in »gospodari« s svojim znanjem kot integralnim delom lastne osebnosti. S tem je avtomatizirani e-test upravičen predvsem v izobraževanju odraslih, še posebno zato, ker je potrebna ustrezna interpretacija povratne informacije, ki jo da naprava. Vzpostavljamo tudi odnos med andragogiko in računalniško tehnologijo in s tem odgovarjamo na vprašanje, čigav strokovni problem je e-testiranje. Tehnološko podlago, praviloma spletno, morajo pedagogi in andragogi s svojim znanjem in ustvarjalnostjo ustrezno izkoristiti. Nekateri koraki v skromni slovenski praksi so obetavni, na primer zadovoljstvo testirancev, zaupanje učiteljev, dobra validnost v primerjavi s klasičnimi testnimi inštrumenti. To je spodbudno za nadaljnji razvoj in raziskovanje avtomatiziranega testiranja v izobraževanju odraslih. LITERATURA IN VIRI Alsher, P. (2005). Validing Knowledge Through Testing and Assessment. Chief Learning Officer, november 2005. Brečko, D. (1998). Kako se odrasli spreminjamo. Radovljica: Didakta. Costagliola, G. in soavt. (2008). A Web-Based Testing System Supporting Test Quality Improvement. Fiscianot: Universita degli Stadi di Salerno. Cagran, B. (1998). »Učitelj v procesu preverjanja znanja učencev na razredni stopnji«. Sodobna pedagogika, 1: 56. Day, L. (1999). Urjenje intuicije. Ljubljana: Tangram. Gerlič, L (1995). Informacijska tehnologija v učnem procesu. Grubiša, N. (2000). Poti do uspeha. Ljubljana: Marbona. Jurman, B. (1989). Ocenjevanje znanja. Ljubljana: DZS. Lesnik, M. (2007). Znanje odraslih za karierni razvoj. Ljubljana: Pedagoška fakulteta. Pokpong, S. in soavt. (2006). Collaborative e-Testing Construction Using Tools To improve Test Relia- bility. The University of Electro-Communications. Japonska. Rebolj, V. (2005). Elaborat za spletni študij na višji šoli. Ljubljana: Višja strokovna šola. Rebolj, V. (2008). Testiranje pri učenju na spletu. Napotki in primeri. Seminarska publikacija. Ljubljana: B2 d.o.o. Rebolj, V. (2011). »Priznavanje znanja, korak k optimalizaciji izobraževanja«. Andragoška spoznanja, 1: 32. Skribe Dimec, D. (2007). Z merjenjem znanja do naravoslovne pismenosti. Ljubljana: DZS. Slivar, B. in soavt. (2010). Poslovno komuniciranje. Dostopno na: www.inter-es.si/met Vukman Bakračevič, K. (2000). Razvoj mišljenja v odrasli dobi. Maribor: Pedagoška fakulteta. Vukovič, G. in soavt. (2006). Zagotavljanje kadrovskih virov. Maribor: Fakulteta za organizacijske vede, Univerza v Mariboru. Zimmermann, B. J. (1988). »Martinez-Pons«. Manuel Journal of Educational Psyhology, 3: 284. 1 Z merjenjem znanja dohimo kvantitativno izrazen odgovor na vprašanje, koUko nekdo zna od zaključenega kompleksa znanja. Smiselno bomo uporabljali tudi delni sinonim preverjanje znanja, s katerim praviloma ugotavljamo napredek v procesu učenja. 2 Matematizadja je postopek spreminjanja opisnih in drugih nenumeričnih spremenljivk v matematične in merljive. 3 Za čas začetka množične uporabe Interneta v ZDA velja leto 1998. Storitev, kije omogočala zbiranje in urejanje podatkov, je kasneje dobila ime splet 1.0. Splet 2.0 pa v tem članku pojmujemo kot storitev, ki omogoča delo in učenje. 4 Testna procedura ali testni postopek je niz inštrumentov za preverjanje znanja, ki lahko skupaj dajo celotno sliko znanja iz vnaprej določenega okvira in se izvajajo po določenem zaporedju. 5 Diskriminatornost testa je slabost, zaradi katere so nekateri testiranci drugače (bolje, slabse) ocenjeni zaradi neke značilnosti, ki ni povezana z namenom testiranja (na primer kulturno okolje, veščina branja ali uporabe TT, spol). Opazimo jo s statistično obdelavo večjega števila rešenih testov. 6 Testni destruktorji je skupno ime za vse, kar moti testi-ranca ali vpliva na rezultat testiranja in ni povezano z namenom testiranja. 7 Programček je enostaven računalniški program z majhnim številom funkcij, ki ga običajno uporabimo kot dodatek v obsežnejšem programu. 8 Zaradi lažjega razumevanja pedagogov je navedeno ime, ki ga v doktorski dizertadji uporablja Branka Cagran (Učitelj v procesu merjenja znanja na razredni stopnji, 1998).