Prevod preglednega strokovnega prispevka 91 PREGLED EVROPSKIH IN MEDNARODNIH POBUD ZA MEDNARODNE STANDARDE UPORABE TESTOV _Pave BARTRAM_ SHL Group PLC, Surrey, England Prevedla in priredila Dušica Boben Center za psihodiagnostična sredstva, Ljubljana Povzetek: Predstavljeni so vsi glavni mednarodni, evropski in nacionalni projekti, povezani s standardi za uporabo testov, ameriški tehnični standardi, britanski certifikat za kompetentne uporabnike testov, delo in raziskava delovne skupine za teste in testiranje v evropskem združenju psihologov, evropske smernice za proces ocenjevanja , mednarodne smernice za priredbe testov ter mednarodne smernice za uporabo testov. KLJUČNE BESEDE: psihološki testi, testiranje, standardi, smernice, uporaba testov, priredbe testov, isihologov v Portorožu oktobra 1999 in bodo objavljeni v eni naslednjih številk Psiholoških obzorij. GAP PROJEKT EAPA Delovna skupina za razvoj smernic za proces ocenjevanja (Guidelines for the assessment process - GAP) je imela prvi sestanek v Lizboni leta 1997. Usmerjenost te skupine je nekoliko drugačna od tistih iz drugih projektov, ki se osredotočajo bolj ozko na testiranje. Razliko med testiranjem in ocenjevnajem (assessment) je dobro razložila Fernandez Ballesteros (1997a, 1997b) in to lahko strnemo v naslednje: • Testiranje je primarno usmerjeno na merjenje, medtem ko je ocenjevanje (assessment) usmerjeno na problem ali področje. • Testiranje se sklicuje na standardizirane (ali formalizirane) instrumente za merjenje, medtem ko se ocenjevanje (assessment) sklicuje na širok spekter postopkov zbiranja podatkov in na celostno zbiranje podatkov in procesov odločanja, v katerih je testiranje lahko en del. • Ocenjevanje (assessment) se osredotoča na opis in analize posameznika v določeni situaciji, medtem ko je težnja testiranja osredotočena na karakteristične skupine in podskupine posameznikov. • Testiranje lahko zahteva temeljite (poštene, nepristranske) specifične veščine in kompetentnosti, medtem ko ocenjevanje (assessment) temelji na širokem obsegu psiholoških in tudi drugih znanj in ekspertiz. Ta delovna skupina dela v tesni povezavi z EFPPA in ITC projekti, da bi zagotovila uspešen rezultat, ki bi vplival tudi na nekatere mednarodne dogovore. PROJEKTI MEDNARODNE KOMISUE ZA TESTE (ITQ ITC je "združenje nacionalnih psiholoških društev, testnih komisij, založnikov testov in drugih organizacij, da bi promoviralo učinkovito testiranje in politiko ocenjevanja in pravilen razvoj, evalvacijo in uporabo pedagoških in psiholoških inštrumentov" (ITC Cilj, ITC Directory, 1995). © Društvo psihologov Slovenije 1999 standardi za uporabo testov 10 3 Med različnimi dejavnostmi je ITC odgovorno za številne mednarodne projekte. Pred nekaj leti je sprejelo politiko osredotočanja pozornosti na tista področja, kjer je mednarodna koordinacija najbolj pomembna. Kot posledica tega sta se razvila dva glavna projekta. Eden se nanaša na smernice pri priredbi testov, drugi na smernice za uporabo testov. Leta 1999 je član ITC postalo tudi Društvo psihologov Slovenije in pridruženi član Center za psihodiagnostična sredstva, ki je tudi že prej sodeloval na ITC delavnicah. Tako bomo imeli v Sloveniji redne in tekoče informacije o svetovnih dogajanjih na tem področju in seveda tudi možnost, da sami kaj prispevamo. SMERNICE ZA PRIREDBE TESTOV Trinajstčlanski svet, ki predstavlja številne mednarodne oragnizacije, je v zadnjih nekaj letih pripravljal natančen sklop smernic za priredbe psiholoških in pedagoških testov za uporabo v različnih jezikovnih in kulturnih sredinah (Van de Vijver in Hambleton, 1996). To je zelo pomembno področje, saj teste uporabljajo v vedno več državah in velikokrat se test razvije v eni državi in potem prevede za uporabo v drugi državi. Hambleton (1994) je opisal projekt v podrobnostih in kot rezultat predstavil 22 smernic. Te smernice lahko združimo v 4 glavne kategorije: • tiste, ki govorijo o kulturnem kontekstu; • tiste, ki zadevajo razvoj in priredbo instrumentov s tehničnega vidika; • tiste, ki zadevajo testno izvedbo; • tiste, ki zadevajo dokumentacijo in interpretacijo. Vse posredno zadevajo uporabo testov in uporabnike. MEDNARODNE SMERNICE - STANDARDI ZA UPORABNIKE TESTOV Različni evropski projekti in tudi širše zbiranje informacij o tem so bili vir za začetek razvoja osnovnih standardov in smernic ter splošne politike, povezane z etično in strokovno uporabo testov. Glavna tema tega ITC projekta so standardi za dobro uporabo testov in pa vzpodbujanje k dobri praksi pri psihološkem in pedagoškem testiranju. Delo, ki ga je Mednarodna komisija za teste (ITC) do sedaj opravila s promocijo dobre prakse pri © Društvo psihiologov Slovenije 1999 104 Psihološka obzorja / Horizons of Psychology, 8, 4, 91-110 0999) priredbah testov, je pomemben korak naprej k zagotavljanju poenotenja kakovosti priredb testov med različnimi kulturami in jeziki. Kakor koli, pri psihološkem testiranju gre za ključni zadevi. PrviČ, zagotoviti moramo, da dosegajo testi zahtevane minimalne tehnične standarde kakovosti. Drugič, vedeti moramo, da so ljudje, ki jih uporabljajo, kompetentni. V več pogledih je uporabnikova kompetentnost bolj pomembna. Kompetenten uporabnik ne ve samo, kako izvesti testiranje, vrednotiti in pravilno interpretirati, ampak mora biti tudi sposoben ločiti med primernimi in neprimernimi instrumenti. Na sestanku v Atenah leta 1995 je Svet ITC sprejel predlog Dava Bartrama, da pripravi projekt, ki bi bil usmerjen v • kontrolo in regulacijo dostopa do testnega materiala, • smernice za pošteno in etično uporabo testov, • standarde za usposabljanje in določitev kompetentnosti uporabnikov testov. Dolgoročni cilj tega projekta je izdelava sklopa smernic, ki so povezane s kompetentnostjo (znanjem, veščinami, sposobnostmi in drugimi osebnostnimi lastnostmi) uporabnika testov. Te kompetence so podrobno opredeljene v sestavljenih praktičnih kriterijih skupaj s splošnim znanjem, ki jih človek potrebuje za kompetentno uporabo testov. Te kompetence pokrivajo: • profesionalne in etične standarde testiranja, • pravice kandidata (testiranca) in drugih udeležencev v procesu testiranja, • ovrednotenje testov in njihovo izbiro, • testno izvajanje, vrednotenje in interpretacijo, • pisanje poročila in povratna sporočila. Sedanji osnutek smernic predstavlja delo strokovnjakov za psihološko in pedagoško testiranje (psihologi, psihometri, založniki testov, konstruktorji testov) iz različnih držav. Namen tega dokumenta NI izumiti novih smernic, ampak zapisati splošne skupne vsebine, ki se pojavljajo v obstoječih smernicah, kodeksih, standardih in drugih primernih dokumentih, in ustvariti koherentno strukturo, ki bi jo vsakdo razumel in uporabljal. Razvoj osnutka smernic: Smernice naj bi bile osnovne, skupne točke, s katerimi bi se lahko primerjali obstoječi lokalni standardi in iz katerih bi se lahko razvili bolj specifični standardi. Z uporabo smernic kot baze za razvoj lokalnih dokumentov (standardi, kodeksi, izjave o pravicah testirancev itn.) bi bila zagotovljena visoka raven konsistentnosti med narodi. & Društvo psihologov Slovenije 1999 standardi za uporabo testov 105 Priprava smernic se je začela z združevanjem velikega števila gradiv v zvezi s standardi, kodeksi, uporabo testov itn. iz številnih držav. Predvsem pa smo se opirali na: • Standarde za pedagoško in psihološko testiranje [The American Educational Research Association (AERA), American Psychological Association (APA) in National Concil on Measurement in Educationa (NCME) (1985)], • Odgovornosti uporabnikov standardiziranih testov [American Association for Counseling and Development (AACD) (Schäfer, 1992)], • Dodatek smernicam za uporabo psiholoških testov [The Australian psychological Society (APS) (Kendall in sodelavci, 1997)], • Raven A in raven B standardov za uporabo testov za zaposlitev [The British Psychological Society (BPS) (Bartram, 1995; 1996)], • Smernice za pedagoško in psihološko testiranje [The CPA - Canadian Psychological Association, 1987]. Se posebno pomemben je bil APS-ov dokument, ki je združeval veliko tega, kar najdemo v britanski in ameriški publikaciji kot tudi publikaciji Južnoafriškega nacionalnega inštitita za psihološke raziskave (National Institute for Psychological Reseach - NIPR) in različnih založniških smernicah za uporabo testov. V APS je zapisano tudi veliko tega, kar so naredili v delovni skupini za kvalifikacijo uporabnikov testov (TUQWG -Test user Qualifications Working Group) pri JCTP. Analizirali smo vsebino prvega zapisa in izjave kategorizirali v 14 glavnih naslovov. Kjer je bilo potrebno, smo zato, da bi ujeli pravi pomen iz številnih različnih virov, zapisali kar posamezno izjavo. Izjave smo tudi spremenili v običajno obliko (npr.: kompententen uporabnik testov si bo prizadeval... ali kompetenten uporabnik testov lahko...). Ta začetna struktura 14 glavnih poglavij in njihovih vsebin je bila predstavljena v prvem osnutku dokumenta (Guidelines Framework Document). To so bila gradiva za mednarodno delavnico julija 1997 v Dublinu. Namen te ITC delavnice je bil pretehtati in kritično oceniti vse vidike okvirnega dokumenta, da bi naredili osnutek smernic, ki bi imele mednarodno vrednost in sprejemljivost. Udeleženci delavnice so dokument natančno pregledali in predlagali spremembe glede oblike, strukture in vsebine. Po delavnici smo dokument predelali (različica 2.0.) in razposlali vsem tistim, ki so bili pripravljeni dati pripombe. Osnutek dokumenta © Društvo psitiologov Slovenije 1999 106 Psihološka obzorja / Horizons of Psychology, 8, 4, 91-W119991 pregledanih smernic (Guidelines Consultation Document - različica 3.1.) je vseboval že vse komentarje in pripombe na različico 2.0. Kopije različice 3.1. pregledanih smernic in strukturiran list za odgovore smo poslali velikemu številu posmeznikov in organizacij, da bi dobili nadaljnje komentarje. Vseh poslanih dokumentov je bilo 200. Dobili smo 28 podrobnih odgovorov, skupaj z združenimi odgovori iz APA, BPS in nekaterih drugih evropskih strokovnih združenj. Poleti 1988 smo smernice priredili glede na pripombe in ponovno poslali 200 kopij različice 4.1. v pregled. V tem drugem krogu smo dobili 18 formalnih odgovorov. Preko elektronske pošte ali osebno na sestankih pa smo prejeli tudi veliko neformalne podpore. Veliko truda smo vložili v pripravo sedanje različice smernic (5.O.), saj smo želeli upoštevali vse prejete odgovore. Brez izjeme so bili odgovori konstruktivni in v pomoč. Namen smernic je pomoč in ne prisila. Zagotoviti moramo, da take smernice predstavljajo univerzalna ključna načela dobre uporabe testov brez namere, da bi prisilile k zakonski enotnosti razlik v funkcioniranju in praksi med državami ali med področji uporabe. Predlagana struktura loči 3 glavne vidike kompetentnosti: • Profesionalni in etični standardi dobre prakse, ki vplivajo na način, kako je proces testiranja izvajan, in na način, kako uporabnik testov ravna z drugimi, vključenimi v proces. • Znanje, razumevanje in veščine, povezane s procesom testiranja: kaj mora biti uporabnik testov sposoben narediti. • Znanje in razumevanje, potrebno za obveščanje in za podporo procesa testiranja. Te tri komponente se v praksi prepletajo. Vendar je vseeno dobro, da razlikujemo med njimi. Smernice se začenjajo z glavnim namenom, ki ga lahko označimo kot izjavo o poslanstvu uporabnikov testov. Ta zagotovi smer za vse, ki sledijo smernicam. O vsakem vidiku kompetentnosti uporabnikov testov je potrebno razmisliti, kako zagotavlja ta glavni namen. Osnovni cilj smernic je izboljšanje testiranja z opisom kompetentnosti uporabnikov testov. Kompetenten uporabnik testov bo uporabljal teste pravilno, strokovno, etično, upošteval potrebe in pravice tistih, ki so vpleteni v proces testiranja, upošteval, zakaj testira in tudi širši okvir testiranja. To bomo dosegli ob zagotovilu, da ima uporabnik testov vse potrebne © Društvo psihologov Slovenije 1999 standardi za uporabo testov 107 kompetentnosti, da izpelje proces testiranja, in znanje, razumevanje in informiranje o testih in testiranju. Izjava o obsegu opiše, skupaj s ključnim namenom, za koga so smernice, na katere oblike ocenjevanja se nanašajo in kakšen je kontekst ocenjevanja. Podrobne smernice so predstavljene v dveh poglavjih: • podroben opis kompetentnosti uporabnika testov v odnosu do etične uporabe testov, • podroben opis kompetentnosti uporabnika testov v odnosu do dobre prakse pri uporabi testov. Smernice so bile prečiščene skozi številne kroge konzultacij. Predstavljajo poskus združevanja vsebine zelo širokega spektra virov in predstavitve s skupno strukturo in standardno obliko. Pripravljena je bila že zadnja različica smernic, imenovana verzija 2000. Opravljenih je bilo le nekaj matijših popravkov. ITC je smernice že potrdil, prav tako jih je sprejela tudi EFPPA. Sedaj pripravljajo pravila o prevodih in razširjanju. Uradno bodo smernice objavljene leta 2000. Tudi slovensko društvo (zanj Kotnisija za psihodiagnostična sredstva) končuje prevod smernic. Tako smo na 3. kongresu slovenskih psihologov v Portorožu 1999 prvič predstavili osnutek prevoda smernic. V načrtu pa imamo, da smernice kmalu po uradnem izidu originalnih izdamo tudi v slovenskem jeziku.. ZAKUUCEK Namen ITC projekta smernic standardov za uporabo testov je bil, da skupaj zapiše rezultate različnih nacionalnih in mednarodnih pobud. Odgovori, ki smo jih prejeli na ITC konzultacijsko listino, so bili zelo pozitivni. Obstaja zelo močna potreba po mednarodnem konsenzu in zagotavljanju konsistentnosti dobre prakse pri uporabi testov v vseh državah. Delo ITC bo zagotovilo generične standarde (izvleček iz različnih virov: BPS, APA, EFPPA, EAPA in druga evropska združenja), ki uresničujejo univerzalne principe dobre prakse v psihološkem testiranju. Takšen sklop smernic lahko zagotovi skupno bazo, na kateri lahko posamezne države in posamezne specializacije znotraj države zgradijo svoje standarde, ki so prilagojene določenemu kulturnemu, socialnemu in političnemu kontekstu. © Društvo psihiologov Slovenije 1999 108 Psihološka obzorja / Horizons of Psychology. 8. 4, 91-110 (19991 Opredelitev smernic vedno vključuje iskanje ravnotežja med svobodo in odgovornostjo. Moramo biti previdni in ne preveč strogi, da ne zavremo eksperimentiranja pri uporabi novih metod ocenjevanja. Idealizem moramo obložiti tudi z realizmom: smernice naj bodo delovne (praktične) in naj opredelijo zdravo, strokovno delo znotraj sveta, kakršen je. Medtem ko je pravilno, da smernice za teste in testiranja vsebujejo močne etične imperative (na primer pravico posameznika, da je poučen, preden pristane na testiranje), naj ne bi bile oblikovane le tako, da služijo strogo političnim namenom ali narekujejo družbeno akcijo. Naloga smernic in iz njih izhajajočih (nacionalnih aU mednarodnih) standardov je pomoč pri strokovni kakovosti ocenjevanja, ki se kaže v tem, da je primeren, natančen in pošten. Zagotavlja mehanizem, s katerim profesionalna psihološka združenja lahko opravijo svojo dolžnost, ki je skrb za ljudi. LITERATURA American Educational Research Association, American Psychological Association in National Council on Measurement in Education (1985). Standards for educational nad (Psychological testing. Washington DC: American Psychological Association. Arvey, R.D. in Faley, R.H. (1988). Fairness in selecting enifloyees. Reading, Massachusetts: Addison Wesley. Bartram, D. (1996). Test qualifications and test use in the UK: The competence approach. Eurof^ean Journal of Psychological Assessment, 12, 62-71. Bartram, D. (Ur.) z Anderson, N., Kellett, D., Lindley, P.A., in Robertson, I. (uredniki svetovalci). (1995). Review of (personality assessment instrument (Level B) for use in occupational settings. Leicester: BPS Books. Bartram, D. in Coyne, I. (1998). The ITC/EFPPA survey of testing and test use within Eurofe. Proceeding of the British Psychological Society's Occupational Psychology conference, Eastbourne, January. Bartram, D., Lindley, P.A. in Foster, J. (1992). Review of (psychometric tests for assessment in vocational training. Leicester: BPS Books. Cámara, W. (1997). Use and consequences of assessments in the USA: Professional, ethical and legal issues. íi/ro^^eaí/ Journal of Psychological Assessment, li, 140-152. Canadian Psychological Association (1987). Guidelines for educational and (psychological testing. Ottawa: Canadian Psychological Association. Commission for Racial Equality (1992). Psychometric tests and racial ec^uality. Aguide for employers. London: Commission for Racial Equality. © Društvo psihologov Slovenije 1999 standardi za uporabo testov 109 Commission for Racial Equality (1996). Selecting train drivers at British rail: A fair testí London: Commission for Racial Equality. Davidson, G. (1997). The ethical use of psychoogical tests: Australia. European Journal of Psychological Assessment, -13, 132-139. Equal Opportunities Commission (1988). Avoiding sex bias in selection testing: Guidance for employers. Manchester: Equal Opportunities Commission. Evers, A. (1996). Regulations Concerning Test Qualifications and Test use in the Netherlands. ft/TO^e^K Journal of Psychological Assessment, IZ, 153-159. Eyde, L.D., Moreland, K.L. in Robertson, G.J. (1988). Test user i^ualifications: A data-based approach to promoting good test use. Report for the Test User Qualifications Working Group. Washington, DC: American Psychological Association. Eyde, L.D., Robertson, G.J. in Krug, S.E. (1993). Responsible test use: Case studies for assessing human behaviour. Washington, DC: American Psychological Association. Fernandez-Ballesteros, R. (1997a). Task force for the development of guidelines for the assessment process (GAP). The International Test Commission Newsletter, 7, 16-20. Fernandez-Ballesteros, R. (1997b). Guidelines for the assessment process. European Psychologist, Z, 352-355. Foxcrott, CD. (1997). Psychological testing in South Africa: Perspectives regarding ethical and fair practices. European Journal of Psychological Assessment, 13, 229-235. Fremer, J., Diamond, E.E. in Cámara, W.J. (1989). Developing a code of fair testing practices in tducation. American Psychologist, 44, 1062-1067. Gregoire, J. (1997). Regulation of testing practice in European French-speaking countries. The International Test Commission Newsletter, 7, 6-13. Hambleton, R. (1994). Guidelines for adapting educational and psychological tests: A progress report. European Journal of Psychological Assessment, 10, 229-244. ITC Directory. (1995). International Test Commission. Joint Committee on Testing Practices (1988). Code of fair testing practices in education. Washington, DC: Joint Committee on Testing Practices. Kendall, I., Jenkinson, J., De Lemos, M. in Clancy, D. (1997). Supplement to guidelines for the use of psychological tests. Australian Psychological Society. Koene, C.J. (1997). Tests and professional ethics and values in European Psychologists. European Journal of Psychological Assessment, 13, 219-228. Mardberg, B. (1996). Improper use of tests in Sweden. International journal of Selection and Assessment, 4, 146-150. © Društvo psihologov Slovenije 1999 110 Psihološka obzorja / Horizons of Psychology, 8, 4, 91-110 !1999) Moreland, K.L., Eyde, L.D., Robertson, G.J., Primoff, E.S. in Most, R.B. (1995). Assessment of Test user qualifications: A research-based measurement procedure. American Psychologist, 50, 14-23. Saville and Holdsworth Ltd. (1991). Exjual opportunities guidelines for best test practice in the use of personnel selection tests. Surrey: Author. Schäfer, W.D. (1992). Responsibilities of users of standardized tests: RUST Statement Revised. Alexandria, VA: American Association for Counseling and Development. Shackleton, V. in Newell, S. (1994). European management selection methods: A comparison of five countries. International Journal of Selection and Assessment, 2, 91-102. Simner, M.L. (1996). Recommendations by the Canadian Psychological Association for improving the North American Safeguards that help protect the public against test misuse. European journal of Psychological Assessment, 12, 72-82. Van de Vijver, F. in Hambleton, R. (1996). Translating tests: Some practical guidelines. European Psychologist, 1, 89-99. © Društvo psihologov Slovenije 1999