Psihološka obzorja / Horizons of Psychology, 22, 91-104 (2013)
CC = 2223	© Društvo psihologov Slovenije, ISSN 2350-5141
UDK = 159.9.072	Znanstveni raziskovalnoempirični prispevek
Konstruktna veljavnost Testa implicitnih asociacij
za merjenje velikih pet
Gaja Zager Kocjan1*, Andreja Avsec2 in Valentin Bucik2
'Ankaran
2Oddelek za psihologijo, Filozofska fakulteta, Univerza v Ljubljani
Povzetek: V zadnjem času je v psihologiji opazen porast zanimanja za t. i. implicitne mere stališč in osebnostnih lastnosti. Najbolj razširjena implicitna mera je Test implicitnih asociacij - IAT, ki smo ga v naši raziskavi priredili za merjenje velikih petih osebnostnih dimenzij (B5 IAT) in preverili njegove merske značilnosti z dvema vzorcema - na osnovi ugotovitev s prvega vzorca (N = 62) smo test popravili ter ga ponovno preizkusili na drugem vzorcu (N = 75). Pri obeh vzorcih so bili rezultati podobni. Zanesljivosti dimenzij osebnosti, merjenih z B5 IAT, v večini primerov niso dosegle zadovoljive ravni. Razlog je verjetno v manjši ustreznosti nekaterih dražljajev ter precejšnji dolžini testnega postopka. Konvergentna veljavnost B5 IAT z eksplicitnimi merami osebnosti je bila nizka, kar lahko razložimo z različnimi izhodišči in strukturami, na katerih temeljijo implicitne in eksplicitne mere. Rezultati konfirmatorne faktorske analize so na prvem vzorcu pokazali, da lahko korelacije med postavkami IAT razmeroma zadovoljivo pojasnimo s petimi latentnimi dimenzijami, vendar moramo biti pri njihovi interpretaciji posebej previdni zaradi nižjih zanesljivosti nekaterih lestvic B5 IAT in majhnosti vzorca. Drugi vzorec se je v meritvi izkazal za precej nestabilnega, zato konfirmatorne faktorske analize nismo mogli izvesti. Ker gre za prvi poskus priredbe B5 IAT v slovenskem jezikovnem prostoru, ne preseneča, da rezultati niso povsem skladni s pričakovanji. Implicitne mere zaenkrat ne dosegajo ustreznih psihometričnih značilnosti, zato v psihološki praksi še niso uporabne. Kljub temu imajo precejšen potencial pri raziskovanju osebnosti in individualnih razlik, saj premagujejo številne omejitve obstoječih pripomočkov (eksplicitnih mer).
Ključne besede: petfaktorski model osebnosti, implicitne mere, Test implicitnih asociacij - IAT, sestava testa
Construct validity of the Big Five Implicit Association Test
Gaja Zager Kocjan1*, Andreja Avsec2 and Valentin Bucik2
'Ankaran, Slovenia
2Department of Psychology, Faculty of Arts, University of Ljubljana, Slovenia
Abstract: Psychology has recently seen a noticeable increase in interest for implicit measures of attitudes and personality characteristics. The far most known implicit measure is the Implicit Association Test - IAT. We adapted this test in order to assess the Big Five personality dimensions (B5 IAT). We examined B5 IAT measurement characteristics on two samples. Based on the findings of the first sample (N = 62), improvements were made in the B5 IAT, to be tested again on another sample (N = 75). The two studies have shown similar results. The reliabilities of the personality dimensions measured with the B5 IAT failed to achieve a satisfactory level in most cases. The reason probably lies in a lower adequacy of certain stimuli and in the considerable length of the test procedure. The convergent validity of the B5 IAT with explicit measures of personality was low, which may be due to different structures underlying implicit and explicit measures. Results obtained on the first sample have shown that the correlations between IAT adjectives are adequately explained by five latent dimensions. However, these results should be interpreted with caution due to B5 IAT low reliabilities and small sample sizes. The second sample proved to be very unstable, thus the confirmatory factor analysis could not be conducted. Since this is the first attempt to adapt B5 IAT to Slovene language, it is hardly surprising that the results are not entirely consistent with the expectations. As implicit measures currently fail to meet relevant psychometric characteristics, they are not yet applicable in psychological practice. Nevertheless, they have great potential in exploring personality and individual differences, as they overcome many limitations of existing explicit measures.
Keywords: five-factor personality model, implicit measures, Implicit Association Test - IAT, test construction
*Naslov/Address: Gaja Zager Kocjan, Regentova ulica 3, 6280 Ankaran, e-mail: gajazkocjan@gmail.com
V zadnjih dveh desetletjih je veliko pozornost in navdušenje strokovne javnosti pritegnil razvoj t. i. implicitnih mer, ki imajo velik potencial pri raziskovanju osebnosti in individualnih razlik. Gre za novo skupino mer, ki izbranih značilnosti ne ocenjujejo več preko samoocen, pač pa posredno preko posameznikovega vedenja pri testnih nalogah (Wittenbrink in Schwarz, 2007). Obetajo možnost ocenjevanja stališč in drugih lastnosti, do katerih posameznik nima zavestnega dostopa ali pa o njih ne želi poročati (t.i. implicitna kognicija - posameznik do nje ne more dostopati z introspekcijo, vseeno pa vpliva na njegovo presojo in vedenje). Njihov namen je tudi premagovanje omejitev, ki se pojavljajo ob uporabi obstoječih pripomočkov oz. eksplicitnih mer (npr. vprašalniki). Poleg introspektivne nenatančnosti sodijo v ta okvir precejšnja možnost potvarjanja rezultatov zaradi socialno zaželenega odgovarjanja, omejen dostop do informacij o sebi, ki jih hranimo v spominu, omejena napovedna veljavnost eksplicitnih mer (za omejen obseg vedenj) in dejstvo, da velik del socialnega spoznavanja poteka nezavedno (npr. Greenwald in Banaji, 1995; Nosek, Hawkins in Frazier, 2011).
Veliko zanimanje za implicitne mere je vodilo do razvoja številnih merskih metod in spodbudilo raziskave o njihovi učinkovitosti in potencialnih omejitvah. Test implicitnih asociacij (IAT) so leta 1998 razvili Greenwald, D. McGhee in Schwartz. Je najpogosteje uporabljana in najbolj poznana implicitna mera, ki jo tako kakor večino drugih apliciramo ob pomoči računalnika. Njen namen je merjenje samodejnih asociacij med bipolarnima ciljnima kategorijama in bipolarnima kategorijama atributov skozi serijo nalog razvrščanja, ki od udeleženca zahtevajo čim hitrejši odgovor. Dražljaji iz ciljnih kategorij in kategorij atributov se na ekranu pojavljajo v naključnem vrstnem redu zaporedoma eden za drugim, posameznik pa jih mora razvrstiti v ustrezno nadredno kategorijo, zapisano desno ali levo na vrhu zaslona (Greenwald idr., 1998). IAT temelji na enostavnem načelu, da naj bi posamezniki nalogo reševali bolje (tj. z večjo hitrostjo in natančnostjo) takrat, ko se lahko pri tem oprejo na utrjene kognitivne asociacije. Kadar zahteve naloge nasprotujejo samodejnim miselnim povezavam, je posameznik pri njenem reševanju počasnejši in se večkrat zmoti (Schnabel, Asendorpf in Greenwald, 2008), kar lahko primerjamo z govorjenjem v tujem jeziku. Čeprav je naloga izvedljiva, zahteva čas in trud, več pa je tudi napak (Rudman, 2011).
Implicitne mere so z namenom ocenjevanja stališč najprej začeli uporabljati na področju socialnopsiholoških raziskav (npr. Fazio, Jackson, Dunton in Williams, 1995; Greenwald idr., 1998). Pozneje so se razširile na nekatera druga področja, kot so diferencialna psihologija (npr. Asendorpf, Banse in Mücke, 2002), klinična psihologija (npr. Gemar, Segal, Sagrati in Kennedy, 2001), psihologija potrošnika (npr. Maison, Greenwald in Bruin, 2004) in zdravstvena psihologija (npr. Wiers, van Woerden, Smulders in de Jong, 2002). Na področju psihologije osebnosti so se pojavile šele v zadnjih letih (npr. Grumm in von Collani, 2007; Schmukle, Back in Egloff,
2008; Steffens in Schulze König, 2006). Pred tem so v študijah, ki so zajemale koncept osebnosti oz. velikih pet, uporabljali izključno eksplicitne mere (npr. samoocene, tj. osebnostne vprašalnike in postopke, ki temeljijo na samooceni pridevnikov; Schmukle idr., 2008). Vendar pa samoocenjevanje implicitne samopodobe na področju osebnostnih lastnosti ni smiselno, saj z eksplicitnim procesiranjem informacij ne moremo dostopati do samodejnih asociacij.
Največ raziskav implicitne samopodobe na področju osebnosti se je oprlo na petfaktorski model McCraeja in Coste (1987), avtorji pa so kot implicitno mero uporabili IAT. Prvi, ki so se lotili raziskovanja tega področja, so bili Reiman, Bel-Bahar in Harbke (1999, o osebni korespondenci poročata Grumm in von Collani, 2007). Nekateri drugi avtorji so z IAT merili samo posamezne osebnostne dimenzije in večinoma v okviru raziskovalnih vprašanj, ki se v prvi vrsti niso tikala strukture osebnosti. M. Steffens (2004) je na primer raziskovala možnost potvarjanja rezultatov na IAT in se je osredotočila na ekstravertnost ter sprejemljivost, Mierke in Klauer (2003) pa sta ob uporabi IAT za ekstravertnost preučevala, kako izmenično predvajanje dražljajev iz ciljnih kategorij in kategorij atributov pri kombiniranem razlikovanju vpliva na IAT učinek. Med prvimi avtorji, ki so aplicirali vseh pet klasičnih IAT testov za merjenje samopodobe na področju velikih petih osebnostnih lastnosti (B5 IAT), sta bili M. Steffens in S. Schulze König. Preučevali sta, ali B5 IAT bolje napoveduje spontano vedenje kakor eksplicitna mera osebnosti (NEO-FFI). Raziskava je potrdila njuno hipotezo - implicitne lestvice so korelirale predvsem s spontanim vedenjem, eksplicitne pa so se bolje povezovale s samoocenami vedenja (Steffens in Schulze König, 2006). Vedenjsko študijo so izvedli tudi Back, Schmukle in Egloff (2009) in v njej poskušali na osnovi eksplicitnih in implicitne ocene velikih pet napovedovati dejansko vedenje. Sistematičnega raziskovanja psihometričnih značilnosti B5 IAT sta se prva lotila M. Grumm in von Collani (2007), leto pozneje pa so podobno raziskavo izvedli tudi Schmukle, Back in Egloff (2008).
Z našo raziskavo smo želeli eno izmed implicitnih mer - IAT - prenesti v slovenski jezikovni prostor ter raziskati, ali lahko ugotovitve tujih avtorjev potrdimo tudi pri nas. Raziskati smo želeli merske značilnosti in strukturo B5 IAT. Raziskavo razumemo predvsem kot prvi poskus priredbe B5 IAT slovenskemu jezikovnemu prostoru, tj. kot nekakšno pilotno študijo, ki bo glede na dobljene rezultate v prihodnje najverjetneje zahtevala vnos nekaterih popravkov v B5 IAT (tako z vidika strukture, kakor z vidika uporabljenih dražljajev) ter ponovno testiranje, preverjanje merskih značilnosti ipd.
V dosedanjih raziskavah (npr. Back idr., 2009; Grumm in von Collani, 2007; Schmukle idr., 2008; Steffens in Schulze König, 2006) se je notranja skladnost lestvic B5 IAT (nemške verzije) gibala v razponu med 0,51 in 0,88 (M = 0,76) - v prvih treh raziskavah avtorji navajajo razpolovitvene koeficiente, v zadnji pa a koeficiente. Te vrednosti so primerljive z zanesljivostmi eksplicitnih
mer velikih pet. Ker gre v našem primeru za prvi poskus konstrukcije B5 IAT v slovenskem jeziku, težko predvidimo višino koeficientov notranje skladnosti za lestvice B5 IAT. Vseeno pričakujemo, da bodo po zamenjavi problematičnih dražljajev iz prve študije zanesljivosti za popravljeno obliko B5 IAT, uporabljeno v drugi študiji, višje.
Zanima nas tudi odnos med implicitno in eksplicitnimi merami velikih petih osebnostnih lastnosti. Te korelacije so običajno nizke, za kar obstaja več razlogov. Eksplicitne in implicitne mere osebnosti temeljijo na različnih informacijskih procesih (Strack in Deutsch, 2004) in na različnih strukturah (prve na propozicionalnih, druge na asociacij skih; Asendorpf idr., 2002) ter tako ne zagotavljajo enakega vidika evalvacij. Poleg tega naj bi prve merile nezavedna, druge pa zavestna stališča oziroma lastnosti (Petty, Fazio in Brinol, 2009). Če bi to povsem veljajo, bi morale biti korelacije med njimi ničelne. Korelacije lahko zniža tudi vpliv socialno zaželenega odgovarjanja na samoocene (npr. Petty idr., 2009), kar je pri merjenju nekaterih osebnostnih lastnosti (npr. vestnosti ali sprejemljivosti) še posebej verjetno. Pričakujemo torej nizko konvergentno veljavnost B5 IAT - tj. nizke pozitivne korelacije med eksplicitnimi in implicitnimi ocenami istih osebnostnih potez. O podobnih ugotovitvah poročajo tudi M. Grumm in von Collani (2007), Schmukle in sodelavci (2008) ter M. Steffens in S. Schulze Konig (2006).
Čeprav je povezava med dimenzijami implicitne in eksplicitne samopodobe na področju osebnosti nizka, Schmukle in sodelavci (2008) menijo, da so povezave med posameznimi dimenzijami znotraj implicitne oz. eksplicitne samopodobe podobne. Predvidevamo, da se bo tudi v pričujoči raziskavi nakazoval trend v podobni smeri. Pričakujemo podoben vzorec aritmetičnih sredin pri posameznih osebnostnih dimenzijah, merjenih z implicitno oz. eksplicitno mero (osnovani na istem gradivu oz. na enakih dražljajih), ter podobne vzorce korelacij med petimi osebnostnimi dimenzijami, merjenimi z implicitno in eksplicitnimi merami.
Nazadnje želimo preveriti še veljavnost petfaktorskega modela za opis implicitnega koncepta osebnosti, merjenega z B5 IAT. B5 IAT je že bil uporabljen v nekaj študijah, vendar pa sta doslej le dve preverjali tudi njegovo faktorsko strukturo (Grumm in von Collani, 2007; Schmukle idr., 2008). Kot že rečeno, temeljijo implicitne in eksplicitne mere osebnosti na različnih informacijskih procesih (Strack in Deutsch, 2004) in na različnih strukturah (Asendorpf idr., 2002). Faktorska struktura eksplicitnega koncepta osebnosti, ki jo običajno ugotavljamo preko samoocen na vprašalnikih, tako ni nujno enaka faktorski strukturi implicitnega koncepta osebnosti. Možno bi na primer bilo, da je slednja manj kompleksna (če bi jo določala predvsem emocionalna valenca, bi podatkom ustrezal tudi enofaktorski model; npr. Schmukle idr., 2008). Kljub navedenim pomislekom predhodni raziskavi ugotavljata dobro prileganje rezultatov B5 IAT petfaktorskemu modelu. Petfaktorski model naj tako ne bi bil ustrezen le za opis eksplicitnega
(Goldberg, 1990; McCrae in Costa, 1987), pač pa tudi implicitnega koncepta osebnosti. Obe navedeni študiji sicer temeljita na nemški različici B5 IAT, zato se zdi smiselno posebej preveriti, kako je s faktorsko strukturo slovenske verzije testa. Na osnovi ugotovitev navedenih raziskav pričakujemo, da bo petfaktorski model veljaven za opis implicitnega koncepta osebnosti tudi v primeru uporabe slovenske različice B5 IAT.
Metoda
Udeleženci
Testiranja zaprvo študijo sejeudeležilo 62 dodiplomskih študentov psihologije (57 žensk in 5 moških) na Filozofski fakulteti Univerze v Ljubljani povprečne starosti 20,13 let (SD = 1,09), testiranja za drugo študijo pa 75 (68 deklet in 7 fantov) dodiplomskih študentov psihologije povprečne starosti 18,97 let (SD = 0,79). Testiranje je bilo izvedeno v okviru vaj pri predmetih Motivacija in emocije ter Psihologija osebnosti, udeleženci pa so zbrane rezultate uporabili tudi sami pri pisanju poročil.
Pripomočki
Test implicitnih asociacij IAT (Implicit Association Test; Greenwald idr., 1998) smo prilagodili za merjenje velikih petih faktorjev osebnosti (B5 IAT - tj. pet IAT testov: po en IAT test za posamezno osebnostno dimenzijo). Za oblikovanje B5 IAT smo uporabili programsko orodje Inquisit (verzija 3.0.4.0; Draine, 2010) in pri njegovi konstrukciji sledili osnovni strukturi testov IAT (Greenwald idr., 1998). Udeleženci so B5 IAT reševali s pomočjo osebnega računalnika. IAT testi za pet osebnostnih dimenzij so si sledili v enotnem zaporedju: ekstravertnost, vestnost, sprejemljivost, čustvena stabilnost in odprtost za izkušnje. Posamezen IAT test je sestavljajo pet ločenih nalog, ki so skupaj tvorile sedem testnih blokov (tabela 1). Prvi blok, ki je vseboval nalogo razvrščanja dražljajev iz ciljnih kategorij jaz in drugi, je bil vključen le v prvi test (torej na začetek celotnega testnega postopka), ostali štirje testi pa so se začeli neposredno z drugim blokom. Število ponovitev predvajanih dražljajev v posameznih blokih se je v prvi študiji skladalo z osnovno strukturo IAT. V drugi študiji smo po zgledu nekaterih drugih raziskav, ki so vključevale B5 IAT, število ponovitev nekoliko povečali.
Pri poimenovanju kategorij atributov (tj. polov osebnostnih dimenzij - glej tabelo 2), smo skušali slediti kompromisu med strokovnim psihološkim ter bolj poljudnim in pogovornim izrazjem. Vsi udeleženci raziskave so bili sicer študenti psihologije, vendar je bila polovica udeležencev študentov prvega letnika v prvem semestralnem obdobju in zato še niso bili seznanjeni s strokovnimi poimenovanji osebnostnih lastnosti. Pri izboru bipolarnih parov pridevnikov (dražljajev) smo si pomagali z različnimi viri: s slovensko obliko
Tabela 1. Zaporedje testnih blokov v obeh študijah
Blok	Naloga	Št. ponovitev (1./2. študija)	Leva tipka (E)	Desna tipka (O)
1	Razlikovanje ciljnih kategorij	20/25	jaz	drugi
2	Razlikovanje kategorij atributov	20/25	1. pol oseb. poteze	2. pol oseb. poteze
3	Prvo kombinirano razlikovanje - vaja	20/45	1. pol oseb. poteze + jaz	2. pol oseb. poteze + drugi
4	Prvo kombinirano razlikovanje - test	40/45	1. pol oseb. poteze + jaz	2. pol oseb. poteze + drugi
5	Obratno razlikovanje kategorij atributov	30/35	2. pol oseb. poteze	1. pol oseb. poteze
6	Drugo kombinirano razlikovanje - vaja	20/45	2. pol oseb. poteze + jaz	1. pol oseb. poteze + drugi
7	Drugo kombinirano razlikovanje - test	40/45	2. pol oseb. poteze + jaz	1. pol oseb. poteze + drugi
vprašalnikov BFI (John, Donahue in Kentle, 1991) in BFO (Caprara, Barbaranelli, Borgogni, Bucik in Boben, 1997), s študijami Schmukleja in sodelavcev (2008) ter M. Grumm in von Collanija (2007) itd. Ker so se nekateri pari pridevnikov v prvi študiji izkazali za neustrezne (rezultati CFA in pripombe udeležencev, da niso razumeli določenih pridevnikov), smo jih v drugi študiji zamenjali (pridevniki za dimenziji sprejemljivost in čustvena stabilnost). V kolikor je bilo to mogoče, smo se izogibali uporabi nikalnih oblik pridevnikov, ki bi lahko bile vzrok za pojav alternativnih odgovornih setov - npr. razvrščanje vseh pridevnikov, ki se začnejo z ne-, v eno kategorijo (Schmukle idr., 2008). Pridevniki za obe študiji so navedeni v tabeli 2.
Pri analizi rezultatov B5 IAT smo uporabili nekaj specifičnih postopkov. Rezultate B5 IAT smo izračunali iz razlik v reakcijskih časih med dvema ključnima fazama posameznega testa (IAT učinki) na osnovi naprednega točkovalnega algoritma (mera D; Greenwald, Nosek in Banaji, 2003). Razpolovitvene koeficiente zanesljivosti za
B5 IAT smo ocenili na osnovi korelacij med vrednostmi D1 za dve enakovredni polovici posameznega testa. Pri tem nismo uporabili klasične delitve testa po blokih (tj. primerjava blokov za vajo s testnimi bloki), ampak sodo-liho delitev (preko blokov za vajo in testnih blokov hkrati). Ta postopek omogoča nadzor vpliva sprememb v načinu odgovarjanja, ki se zgodijo v procesu reševanja IAT (glej Schmukle in Egloff, 2006). Za vsakega izmed 25 bipolarnih parov pridevnikov smo izračunali ločene IAT učinke (angl. item-specific IAT effects), kar nam je omogočilo analizo faktorske strukture B5 IAT. Postopek njihovega izračuna natančneje opisujejo Schmukle in sodelavca (2008). Skladnost v korelacijskih matrikah »različne poteze-ena metoda« smo ocenili s pomočjo Burtovega koeficienta skladnosti (Burt, 1948).
Vprašalnik velikih pet BFI (Big Five inventory; John idr., 1991) sestavlja 44 postavk, ki merijo prototipne komponente petih velikih faktorjev osebnosti: ekstravertnosti, nevroticizma, vestnosti, sprejemljivosti in odprtosti za izkušnje. Udeleženci strinjanje s posamezno
Tabela 2. Ciljni kategoriji in kategorije atributov ter izbrani pridevniki za B5 IAT v obeh študijah
Kategorija	Dražljaji (pridevniki)
Jaz	moje, sebe, meni, mene, jaz
Drugi	drugi, oni, njih, njim, njihovo
Ekstravertnost	
Ekstravertnost	energičen, dejaven, drzen, družaben, zgovoren
Introvertnost	zadržan, pasiven, plah, samotarski, molčeč
Vestnost	
Vestnost	urejen, natančen, organiziran, delaven, zanesljiv
Brezbrižnost	nemaren, površen, neurejen, len, lahkomiseln
Sprejemljivost	
Prijaznost	zaupljiv/dobronameren, topel, potrpežljiv/sočuten, prijateljski, sodelovalen
Sovražnost	sumničav/zloben, hladen, nestrpen/brezčuten, osoren/nesramen, prepirljiv
Čustvena stabilnost	
Čustvena stabilnost	odporen na stres, veder/sproščen, zadovoljen, umirjen, sproščen/miren
Zaskrbljenost/Nevroticizem	občutljiv, tesnoben, nesrečen, nervozen/živčen, napet/zaskrbljen
Odprtost za izkušnje	
Odprtost v pogledih	bister, izviren, ustvarjalen, inovativen, radoveden
Ozkost v pogledih	okoren v mišljenju, brez domišljije, neustvarjalen, tradicionalen, nezainteresiran
Opomba. Pridevniki oz. imena kategorij, ki smo jih v drugi študiji spremenili, so navedena za poševnico.
postavko izrazijo na petstopenjski lestvici. Šestnajst postavk vrednotimo obrnjeno. Vprašalnik je bil za raziskovalne namene preveden v slovenščino. Vzvratni prevod v angleščino je pokazal zadovoljivo vsebinsko skladnost z originalno obliko (povzeto po Avsec in Sočan, 2007). John in Srivastava (1999) poročata, da se gibajo a koeficienti zanesljivosti v razponu med 0,79 in 0,88. Ugotavljata tudi, da je konvergentna veljavnost BFI (korelacije z NEO-FFI in TDA) zadovoljiva - povprečna vrednost koeficientov korelacij preko vseh faktorjev je v njuni raziskavi znašala 0,75. S konfirmatorno faktorsko analizo sta avtorja potrdila petfaktorsko strukturo vprašalnika. Ustreznost petfaktorske rešitve je bila z eksploratorno faktorsko analizo ugotovljena tudi na slovenskem vzorcu (Avsec in Sočan, 2007).
Pridevniške lestvice velikih pet smo sestavili iz istih pridevnikov, ki smo jih uporabili tudi v B5 IAT (glej tabelo 2). Vsako izmed petih osebnostnih dimenzij zastopa 10 pridevnikov - 5 na pozitivnem in 5 na negativnem polu. Udeleženci morajo na petstopenjski lestvici oceniti, v kolikšni meri je posamezna lastnost, opredeljena s pridevnikom, značilna zanje. Ocene negativnih pridevnikov točkujemo z obratnimi vrednostmi. Pridevniki iz prve in druge študije so se zaradi sprememb v B5 IAT nekoliko razlikovali. Petfaktorska rešitev pri komponentni analizi je na prvem vzorcu pojasnila 49 % skupne variance postavk, na drugem vzorcu pa 51 %. Koeficiente zanesljivosti in konvergentne veljavnosti (korelacije z BFI in BFQ) za posamezne lestvice navajamo v poglavju Rezultati.
Vprašalnik velikih pet - BFQ (Big Five questionnaire; Caprara idr., 1997) meri pet velikih faktorjev osebnosti in deset poddimenzij (energija: aktivnost, dominantnost; sprejemljivost: sodelovanje, prijaznost; vestnost: natančnost, vztrajnost; čustvena stabilnost: kontrola čustev, kontrola impulzov; odprtost: odprtost za kulturo, odprtost za izkušnje). Vsako poddimenzijo zastopa 12 trditev, polovica je pozitivnih in polovica negativnih. Vprašalnik vsebuje tudi lestvico iskrenosti, ki je enako kakor ostale lestvice sestavljena iz 12 postavk (rezultatov te lestvice za namene naše raziskave nismo uporabili, prav tako nismo uporabili rezultatov na posameznih poddimenzijah). Vseh postavk skupaj je 132. Ocenjevalna lestvica je petstopenjska. Udeleženci dobijo za izpolnjevanje vprašalnika zvezek s postavkami, svoje odgovore pa beležijo na poseben odgovorni list. Slovenska verzija vprašalnika je nastala leta 1997 (Caprara idr., 1997). Alfa koeficienti zanesljivosti, ki so jih dobili avtorji originalnega vprašalnika (Caprara, Barbaranelli in Borgogni, 1993), se gibajo v razponu od 0,69 do 0,82, koeficienti iz slovenskega priročnika (Caprara idr., 1997) pa v razponu od 0,67 do 0,85. Bucik (2007) navaja, da je faktorska analiza desetih poddimenzij slovenske verzije vprašalnika pokazala jasno petfaktorsko strukturo - pet nerotiranih faktorjev je skupaj pojasnilo 83 % celotne variance. Avtor poroča tudi o zadovoljivi konvergentni in diskriminativni veljavnosti vprašalnika.
Končni rezultat za posamezno lestvico vseh treh opisanih vprašalnikov osebnosti smo izračunali kot
povprečje vrednosti postavk te lestvice, kar nam je omogočilo medsebojno primerljivost rezultatov. Odgovore na lestvici nevroticizma iz vprašalnika BFI smo vrednotili obrnjeno tako, da smo dobili rezultate za čustveno stabilnost, ki so bili primerljivi z rezultati lestvic čustvene stabilnosti vprašalnikov BFQ in Pridevniške lestvice velikih pet.
Postopek
Postopek testiranja je bil v obeh študijah enak. Udeležencem so bili dodeljeni individualni termini. Ob prihodu smo jim najprej razložili celoten potek testiranja, vsi so tudi podpisali obveščeno soglasje o sodelovanju v raziskavi. Nato je vsak udeleženec individualno v ločenem prostoru rešil B5 IAT. Testi za posamezne osebnostne poteze so bili razvrščeni v enotnem zaporedju: ekstravertnost, vestnost, sprejemljivost, čustvena stabilnost in odprtost. V prvi študiji je reševanje B5 IAT trajalo približno 30 minut, v drugi študiji pa 40 minut (zaradi večjega števila ponovitev). Zatem je vsak udeleženec rešil še preostale teste (BFI, Pridevniške lestvice velikih pet ter v prvi študiji tudi BFQ), in sicer v klasični obliki papir - svinčnik. Njihovo reševanje je trajalo približno 10 minut.
Rezultati
Opisne statistike in normalnost porazdelitve
Tabela 3 prikazuje aritmetične sredine in standardne odklone mer osebnosti, uporabljenih v obeh študijah. Za lažjo orientacijo naj opozorimo, da znaša srednja vrednost lestvic IAT učinka D1 0, srednja vrednost lestvic eksplicitnih mer osebnosti pa 3 (5-stopenjska ocenjevalna lestvica). Upoštevati velja, da srednja vrednost ne pomeni nujno tudi nevtralne vrednosti posamezne dimenzije, saj imajo vse lestvice arbitrarno določeno ničelno oziroma srednjo vrednost. Vzorci aritmetičnih sredin so glede na srednjo vrednost pri B5 IAT in Pridevniških lestvicah velikih pet v prvi študiji zelo podobni (obe meri velikih pet vsebujeta isto gradivo). V drugi študiji je ta podobnost nekoliko manjša.
Glede na Kolmogorov-Smirnov test porazdelitev nobena izmed spremenljivk pri merah osebnosti ne odstopa pomembno od normalne. V večini premerov so tudi vrednosti asimetrije in sploščenosti znotraj okvira dveh standardnih napak. Na osnovi teh ugotovitev smo v nadaljevanju za analizo podatkov uporabili parametrične teste.
MTMM analiza
Na obeh vzorcih smo izvedli MTMM analizo (Campbell in Fiske, 1959) petih osebnostnih dimenzij, merjenih z B5 IAT ter z eksplicitnimi merami osebnosti (tabela 4).
					o											1 1
e					o				4							
					o"	o"			4"							^
						1										
o																
v																i3
					>n	o	m	VO	>n						\	
io o n					O 1	<N o" 1	1	O 1	4"							CŠ
-o e																^
s			S													
o					^^	>n		C^	a\							
e r e S		BFQ			C10« o"	o"		00 o"	4"							00 <N C3 II
a N			SD		^		<N		>n							
e									"4							
£					o"	o"			4"							i3
																
S																CÍ
N					>n	o	<N	00								((
a						VO		00	4							
r o					m"	m"		c^	4"							
^																¿3
																
ti o																o"
-S						m	^	m							>n	II
a					m	ZD	m	c-1			4		4	4		
S r					o" i	ZD i	O	ZD i	4"		4" i	4"	"4	4"	"4 4"	
o		lu			i	1		1			i					i3
n																
^		-tí			a\	00	00	,—i	00				,—i		<D	
-iS						m		<o	"4		4 "4	4 "4	"4	4 "4		
v o n ri		"(U > o	S		<N	i v.o	i z^	O 00	<N		00		<N		i	¿3
		M	4		o"	c^ o"	ZDn	o"	4"		4"	4 4"	"4 4"	4 "4 4"	4 "4 4"	ZD
i		(U														II
o		O														
r o oog		M	SD		00	o	00	m			<N	<N		>n		
		m 1			o"	o"	O	o	4 4"		t-7 4"	4"	"4 4"	4"	4"	i3
-§		u														
		T3														
o																
		' s^ CM				c^	"t	>n				<N	<N			t«
					oc«	c^	ZD		4						4	
r -iS					m"	m"	"t		"4 4"		4"	"4 4"	4"	"4 4"	"4 4"	
																tn
																O
o																
n																
e					a\				00			>n				
%					m	<N					"4		4 "4	4 "4	4	O
-iS s					i	i	ZD 1		i				4"		i	1
					00		VO	<D							V.O	
n					o«	VO		<N	4		4	4		"4		13
e					o"	o"		cS	"4 4"		"4 4"	"4 4"	4"	4"	"4 4"	
ji			S		1	1	1	1	1		1	1	1	1	1	
ta					o	00	<N						<N	>n	<N	
is		BFI			00« o"	<N		O	4 0^4 4"		4 0^4 4"	"4 4"	"4 4"	4"	"4 4"	C3 tí U í>
a																
-G			SD		"t			m							<N	tí
n ie					VO				4		4	4	4	4 "4		>o
ic					o"	o"		ZD	4"		4"	4"	4"	4"	4"	1
o																>o
					>n	>n	t--	m			^	VO		VO		
k							0^«						4	"4	4 "4	o
in					m"	m"		c^	4"		4"	4"	4"		4"	
																;
-S																Í3
																<u
																
o					>n		C^		<N		<N		VO		<N	
1					o«				"4		"4	4	"4	4 "4		M 1
					o"	o"	O	o"	4"		4"	4"	4"	4"	4"	
r a						1	1	1			1	1			1	M
																r
n 4g io							VO	^					<N			i^
					^ o"	o"		ZD 4"	"4 4"		4"	4 "4 4"	"4 4"	4"	4"	O -Ö
ni		9			1	1	1	1	1		1		1		1	¿S
e			S		^		>n	00			>n	<N	^	<N		1
ni															4	>
^ e		g >č3			o"	iO		4"	4"		4"	4"	4"	4"	4"	ifl o u >
r s e		tí §	SD		m	O	m		<N		>n	VO			<N	
n									"4		"4		4			
ta					o"	o"		4"	4"		4"	4"	4"	4"	4"	C3
JS																CÄ
							00					>n	<N			w
^					<N			<N			4 "4			4	4	1
				iS	o"	o"		4"	"4 4"	iS	4"	"4 4"	"4 4"	4"	4"	w
CO	•Si															
(ti	a			-3						"Ö						
"(3	ij 4g															s .
S					W	>	m	>o	O		W	>	m	>o	o	o ^ a, ^
																
Konstruktna veljavnost 1ATza merjenje velikih pet
o*	O
a	e
ss
o	a
;	a
.	<
A	t
<	0
: < O.
i i a
v n n- rt
ni
o v t o O t
S O
II o
II o
s v p 1
r p j o
e e
i-* tP
le
S' rt>
o< J i ' v
n &
a l t (
i p S O .
J N
0	p
1	1 v
d , p "
0 t S O
. N
»
g
fJQ O š u
o.
o
e
n g
n n
o rt s
o o
o.
e
rt
o n- oo < M

o O oo < M
o 4
o
a\
9
I
o "o
I
o
I
o o
I
oo oo
490
o	oo	o	O	o
2	1	o		o
o	5	00	3	O\
I
O
00
1	o -p* oo
o
90 -J
O o o 7 2 1
i
o
O\
O
I
o o
oo	o	oo	5 /	oo
3	21	2	00	2
L*				
oo 7 0
o o
o
o 2
ooo 4 3 4
4
o 4
o 7
I
o
o o
o O
O 1 6 O 2
	oo	o	o	o	O	o
&	3	o	o	2	3	o
-t.	00			0	0	OJ
oo	oo	oo	oo	JO	oo	oo
2	4	2	1	3	o	3
o	00			0		0
oo	oo	oo	JO	oo	oo	oo
2	3	1	4	3	2	2
	0 0	O\	0 0	0	0	0
						
oo 3	oo 7	JO 1«	oo 2	oo o	1 o o	oo 3
t*	0	90	0	O		0
O	r>	zc	<	M
oo	i o	1 o	1 o	JO
o O\	o	3	o OJ	4 0
1 o	i o	1 o	JO	oo
2 0	2	2 o	2	o
1 o	i o	1 O	oo	1 o
21	o	J (JI	8	o O\
O	o	o	oo	o	O	o	o	oo	o
J	o	2 0	2	o O\	J	o 9	2 0	6	o
oo	oo	oo	O	oo	o	o	oo
1	1	1	8	3	o	o1	1
00		o	0	0	9		4
I
o o
O
o o
9

&
1
oo
02
O\
oo	oo	00 /	oo	oo	oo	oo	JO
1	3	O		4	2	o1	8
	0		0	0			0
o	oo	o	O	o
o	3 0	o (Ji	8 0	o
oo o	oo 5	JO 7	oo o	oo
90

o	O	o	o
6	8	3	o
0	0 0	0	
			
I
o o
O\
LA 8
o	o	o	o	O
6 0	3 0	2	o	1
oo	1 o	1 o	JO	1 o
o ON	o	3 0	4 0	2
I
o o
Ul 2
o o
00
o
oo
2o 00
oo
5 9
oo
9 3
oo
o2
O i-^
o O oo < M
o	o	o	o
o	2	o	o
	0	ON	
oo	o	oo	/	oo
21	2	4	o	o
	OJ	0 „O		(Ji |
oo	oo 3	5 o	oo	o o
4	0		8	ON
o	O	oo	o	o	oo	O	o	o	o	oo
o	J 4-	9	o (Ji	o	o1	J 90	2 O	o	o O	21
5
o
o	o	o
2	2	o
o		4
o	o	oo
2	2	3
	0	
oo	oo	o	oo	JO	oo	oo	o	oo	5 /	oo	oo	1 o	1 o
2 0	o1	o 9	9	9 0	2 0	o 8	o 9	8	& &	o	o ON	2 0	o1
I
o o
O\
o	o	oo	O	o
o1	2	1	1	21
	4		Ol	
o	o	O	o	o
o	o1	Ol	o1	o
oo	o	oo	oo	O	oo	oo	oo
2	2	3	1	2	2	1	1
0	0	0	4	O		o	8
*	*	0					
O	oo	oo	oo	oo	5 /	oo	oo	o	oo	JO	oo	oo	oo	oo
8	1	o	1	4	■ 00	2	o	o	4	1	2	o	o	o
0	1 '	ON		0		0		9	0	4-		4		4
o	o	o	o	O
o	o	2	o	J
OJ	9	0	ON	
1 o	1 o	1 o	JO	1 o
o	1	2	1	2
			4-	0
1 o	oo	1 O	oo	1 o
1	o	J	o	2
OJ	9			OJ
1 o	JO	1 o	oo	1 o
	2	2		
OJ	(JI	OJ	8	
JO	oo	1 o	1 o o	oo o
2	4			o
oo	oo	1 o	oo	JO
1	o	1	o	1
		ON	(Ji	o
oo	1 o	1 o	JO	1 o
1	o	o	1	o
o			90	
1 o o	oo	1 O J	1 o	oo
	6		1 '	3
1 o	JO	1 o	1 o	1 o
	1		o	
6	2	3		o1
JO	oo	oo	oo	oo
2		o	o	1
O				
M
<
0
u
o<
B'
te
1
O
r>
O
M
<
Cd F
O
o
M
<
O
F i
tt v i š
e
i
O p
o
M
<
O
o
e
i a
4

t ri ka
m
ks p
i h
O s
m n
O
t v
p r v
5f
a i
I n
a
r
t pp
0
1
o
0 n
1
^
t u
Cd F
Q
Zanesljivosti eksplicitnih mer pri prvem vzorcu (a koeficienti) so večinoma zadovoljive in se gibljejo v razponu od 0,71 do 0,88. Nekoliko nižje zanesljivosti so le pri lestvicah sprejemljivosti vprašalnikov BFI in Pridevniške lestvice velikih pet. Zadovoljiva je tudi zanesljivost (razpolovitveni koeficienti) treh implicitnih lestvic. Nizke in nepomembne korelacije med istimi potezami, merjenimi z B5 IAT na eni strani ter z eksplicitnimi merami na drugi, kažejo na nizko konvergenco med implicitno in eksplicitnimi merami. Občutno višje so korelacije med različnimi eksplicitnimi merami istih osebnostnih potez. Povprečna korelacija med različnimi potezami, merjenimi z B5 IAT (ne glede na predznak), znaša 0,16. Že hiter pregled tabele pokaže, da je ta približno enaka konvergencam med B5 IAT in eksplicitnimi merami. Drugače je pri eksplicitnih merah, kjer so korelacije med različnimi potezami, merjenimi z istim vprašalnikom, v večini primerov nižje od konvergenc med različnimi eksplicitnimi merami. Povprečna korelacija med različnimi potezami, merjenimi z B5 IAT in BFI, znaša 0,10, z B5 IAT in Pridevniškimi lestvicami velikih pet 0,13, z B5 IAT in BFQ pa 0,09 (ne glede na predznak). Če pri pregledu konvergenc med B5 IAT in eksplicitnimi merami izvzamemo negativne korelacije pri sprejemljivosti, so navedene vrednosti najnižje v tabeli.
Vse zanesljivosti eksplicitnih mer pri drugem vzorcu so zadovoljive (od 0,77 do 0,90), prav tako je zadovoljiva je tudi zanesljivost implicitne lestvice ekstravertnosti (0,88), nekoliko nižji pa so koeficienti zanesljivosti za ostale osebnostne poteze, merjene z B5 IAT. Najnižje zanesljivosti iz prve študije (za sprejemljivost in čustveno stabilnost) so se ob spremembi nekaterih problematičnih pridevnikov dvignile, vendar še vedno ne dosegajo zadovoljive ravni. Konvergenci med implicitno lestvico ekstravertnosti na eni strani in eksplicitnima na drugi sta
razmeroma visoki (glede na pričakovanja) in znašata 0,49 (BFI) ter 0,48 (Pridevniške lestvice velikih pet). Obe sta pomembni na 1-odstotni ravni tveganja. Konvergence pri vestnosti in čustveni stabilnosti so nizke pozitivne, nizke negativne pa so pri sprejemljivosti in odprtosti. Korelacije med obema eksplicitnima merama istih osebnostnih potez so tudi v tej študiji občutno višje. Povprečna korelacija med različnimi potezami, merjenimi z B5 IAT (ne glede na predznak), znaša 0,20 in tudi v tem primeru ni opazno nižja od konvergenc. Pri eksplicitnih merah so te korelacije nižje od konvergenc med obema eksplicitnima merama. Povprečna korelacija med različnimi potezami, merjenimi z B5 IAT in BFI, znaša 0,11, z B5 IAT in Pridevniškimi lestvicami velikih pet, pa 0,10 (ne glede na predznak). To so najnižje vrednosti v matriki.
Podobnosti v vzorcih korelacij med petimi osebnostnimi potezami, merjenimi z isto metodo (matrike »različne poteze-ena metoda«), smo z namenom nevtralizacije razlik v zanesljivostih posameznih instrumentov (glej tudi Schmukle idr., 2008) natančneje ocenili s pomočjo koeficienta skladnosti, ki ga izračunamo po sledeči formuli (Burt, 1948):
Cr
Li=l rt(imp)rt(exp)
Yq T2
t(imp)
Yq r2
t(exp)
r. je i-ti poddiagonalni element korelacijske matrike s p spremenljivkami. Vseh elementov je q = p(p - 1)/2. Podobno kakor pri produkt-moment korelaciji se giblje razpon možnih vrednosti v obsegu od -1 do +1. Vrednost 0 označuje popolno neskladje med dvema korelacijskima matrikama. Koeficiente skladnosti iz obeh študij prikazuje tabela 5.
4,0 3,5 3,0 2,5 2,0 <3 1,5 1,0 0,5 0,0
—•— 1. študija —•—- 2. študija
—i—i—i—i—i—i—i—i—i—i—i—i—i—i—i—i—i—i—i—i—i—i—i—i—i
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
komponenta
Slika 1. Cattellov graf drobirja za 25 bipolarnih parov pridevnikov iz B5 IAT v obeh študijah.
Tabela 5. Koeficienti skladnosti med matrikami "različne poteze-ena metoda"
CR	1. študija	2. študija
D1-BFI	0,19	0,64
Dl-Pridevniki	0,39	0,41
D1-BFQ	0,50	/
BFI-Pridevniki	0,93	0,74
BFI-BFQ	0,77	/
Pridevniki-BFQ	0,92	/
Vidimo lahko, da so najvišji koeficienti skladnosti med ko relacijskimi matrikami različnih eksplicitnih mer. Nižje so skladnosti med ko relacijskimi matrikami implicitne in eksplicitnih mer, še posebej nizka je skladnost med korelacijskima matrikama B5 IAT in BFI v prvi študiji. Ta je v drugi študiji bistveno višja,
kar je nekoliko presenetljivo. Razliko lahko pripišemo nasprotnim predznakom v obeh matrikah. Kar šest izmed desetih istoležečih korelacij ima obraten predznak, zaradi česar se vrednost števca v navedeni formuli zniža, posledično pa je občutno nižji tudi koeficient skladnosti med matrikama.
Komponentna analiza
Da bi določili strukturne značilnosti B5 IAT, smo na obeh vzorcih izvedli komponentno analizo z ločenimi IAT učinki za posamezne bipolarne pare pridevnikov - tj. pet ločenih IAT učinkov za posamezno osebnostno potezo (za postopek izračuna glej Schmukle idr., 2008). Za prikaz rezultatov komponentne analize (kot približka EFA) smo se odločili zaradi čim večje primerljivosti metodologije in zaključkov s predhodnimi raziskavami. Test drobirja za ločene IAT učinke bipolarnih parov pridevnikov iz B5 IAT v prvi študiji kaže, da od premice izrazito odstopajo
Tabela 6. Rotirana komponentna matrika (Varimax rotacija s Kaiserjevo normalizacijo) za obe študiji
1. študija - komponente	2. študija - komponente
	1	2	3	4	5	1	2	3	4	5
E1	0,71	0,06	0,02	0,04	0,18	0,77	-0,02	-0,05	-0,18	-0,02
E2	0,74	-0,12	-0,05	-0,03	0,16	0,81	-0,07	0,07	0,10	0,09
E3	0,85	0,04	-0,03	0,07	-0,08	0,72	0,05	-0,32	0,02	-0,13
E4	0,64	0,00	0,20	-0,05	-0,04	0,83	0,07	0,10	0,07	0,16
E5	0,57	0,19	-0,11	0,11	-0,26	0,79	-0,05	-0,05	-0,01	0,16
V1	-0,04	0,36	0,08	-0,14	0,63	-0,08	0,55	0,34	0,03	-0,18
V2	0,17	0,48	-0,17	0,24	0,47	-0,01	0,11	0,64	-0,01	-0,15
V3	0,18	0,34	0,15	-0,02	0,61	-0,19	0,26	0,63	-0,24	0,20
V4	0,08	0,48	0,02	0,13	0,19	0,02	0,23	0,57	0,02	0,09
V5	0,12	0,65	0,08	-0,34	-0,01	0,18	0,45	0,24	0,00	0,28
S1*	0,02	-0,15	0,50	0,19	-0,20	0,21	0,42	-0,08	-0,10	0,59
S2	-0,03	0,43	0,27	0,16	0,01	0,09	0,75	-0,07	0,00	0,03
S3*	0,16	0,67	0,00	0,21	0,06	-0,07	0,64	0,12	0,30	-0,14
S4*	-0,21	0,69	-0,06	0,00	-0,03	0,09	0,75	0,10	-0,12	-0,02
S5	0,00	0,03	0,18	0,53	0,00	-0,20	0,37	-0,03	0,07	0,12
Č1	-0,22	0,24	0,21	0,41	-0,29	-0,04	-0,03	0,60	0,19	-0,02
Č2*	0,22	-0,02	0,12	0,71	-0,06	0,18	0,18	-0,15	0,22	0,59
Č3	-0,13	0,37	0,27	0,34	0,06	0,02	-0,11	0,25	-0,06	0,74
Č4*	-0,12	-0,24	-0,11	0,13	0,62	0,18	0,14	-0,29	0,59	0,32
Č5*	0,06	0,18	-0,28	0,53	0,17	0,23	0,09	-0,13	0,64	0,19
O1	-0,07	0,13	0,66	0,29	0,24	-0,06	0,01	0,20	0,73	-0,01
O2	-0,26	0,19	0,44	0,35	0,12	0,46	0,09	0,18	0,34	-0,16
O3	0,19	-0,14	0,61	0,11	-0,08	-0,11	-0,15	-0,01	0,12	0,34
O4	0,10	0,21	0,58	-0,19	-0,21	0,23	-0,34	0,56	0,20	0,09
O5	-0,07	0,18	0,69	-0,07	0,25	-0,23	-0,08	0,28	0,61	-0,04
Opomba. Odebeljeni koeficienti naj bi bili za posamezno spremenljivko najvišji v vsaki od študij. Z zvezdico (*) so označeni pari pridevnikov, ki smo jih v drugi študiji spremenili.
prve tri komponente. Za primerjavo naj omenimo, da dobimo na nelogaritmiranih podatkih nekoliko drugačno sliko, ki jasno kaže odstopanje prvih petih komponent. V drugi študiji od premice izrazito odstopa prvih pet komponent.
V obeh primerih smo izločili pet komponent ter zaradi primerljivosti s predhodnimi raziskavami in v iskanju čim bolj preproste strukture uporabili pravokotno Varimax rotacijo s Kaiserjevo normalizacijo (pri čemer se zavedamo prepletenosti variance in nekoliko otežene interpretacije komponent, ki izhaja iz uporabe pravokotne rotacije). Tabela 6 prikazuje nasičenja pri posameznih komponentah za obe študiji. Prva komponenta v obeh primerih najvišje nasiča pare pridevnikov za ekstravertnost. V prvi študiji se razmeroma jasna slika kaže tudi pri tretji komponenti, ki visoko nasiča vse pare pridevnikov za odprtost, v drugi študiji pa vse pare pridevnikov za sprejemljivost visoko nasiča druga komponenta. V ostalih primerih je vsaj en par pridevnikov le nizko nasičen s komponento, ki naj bi ji pripadal (tj. pojasnjena varianca se porazdeli med ostale komponente).
Petfaktorska rešitev v prvi študiji skupaj pojasni 48 % variance v spremenljivkah. V drugi študiji vseh pet komponent skupaj pojasni 52 % variance v spremenljivkah. Odstotki pojasnjene variance se v tem primeru nekoliko manj enakomerno porazdelijo med pet komponent tako, da prva pojasni dvakrat več variance kot zadnja.
Tabela 7. Lastnosti komponent - odstotki celotne variance, ki jih pojasnjujejo rotirane komponente v obeh študijah
1. študija	2. študija
Komp.	EV%	AEV%	EV%	AEV%
1	11,61	11,61	14,89	14,89
2	11,03	22,65	10,94	25,83
3	10,01	32,65	9,85	35,69
4	7,81	40,47	8,60	44,29
5	7,61	48,08	7,30	51,59
Opomba. EV% - odstotek celotne variance, ki ga pojasnjuje komponenta (»explained variance«); AEV% - relativni prirast EV%
Stopnja napačnosti modela v populaciji RMSEA (angl. root mean square error of approximation), ki je manj pod vplivom velikosti vzorca ter ne zahteva primerjave merskega modela z ničelnim, je pokazala dobro prileganje modela, saj je znašala 0,00 (dobro prileganje, če RMSEA < 0,05), 90-odstotni interval zaupanja za RMSEA pa se je nahajal v okviru vrednosti 0,000 in 0,036. Standardiziran kvadratni koren povprečja kvadriranih ostankov SRMR (standardized root mean square residual) je znašal 0,10 (dobro, če SRMR < 0,1; pri interpretaciji višine te vrednosti velja upoštevati nizek numerus - koeficient SRMR se z večanjem vzorca niža); pričakovani indeks navzkrižne validacije ECVI (expected cross-validation index) 6,31, normirani indeks prileganja NFI (normed fit index) pa 0,45 (dobro, če NFI > 0,9) (NNFI = 0,81, PNFI = 0,40). Precejšnja razlika med NNFI in PNFI nas opozarja na manjšo parsimoničnost rešitve in tako kaže tudi na manjšo ustreznost petfaktorskega modela. Navedene indekse (z izjemo RMSEA) moramo obravnavati z večjo previdnostjo, saj so zaradi majhnega numerusa manj natančno ocenjeni (več o tem glej v Bollen, 1989 ter Joreskog in Sorbom, 2004).
Glede na to, da je bilo število oseb razmeroma majhno, smo izračunali tudi standardne napake faktorskih uteži. Njihova povprečna vrednost je znašala 0,038, standardni odklon pa 0,006.
Slika 2 prikazuje rezultate konfirmatorne faktorske analize za B5 IAT v prvi študiji. Najvišja faktorska nasičenja so pri ekstravertnosti, sledita vestnost in odprtost. Pri sprejemljivosti in čustveni stabilnosti lahko najdemo tudi nekaj zelo nizkih koeficientov nasičenj (in celo enega nizko negativnega).
Konfirmatorno faktorsko analizo smo poskušali po enakem postopku izvesti tudi na drugem vzorcu, vendar analiza v tem primeru ni bila izvedljiva. Razlog lahko morda iščemo v slabem razmerju med velikostjo vzorca in številom spremenljivk ter v precejšnji homogenosti vzorca, kjer lahko izrazitejše variance pri posameznih indikatorjih pridejo bolj do izraza. Pri prvem vzorcu smo se pri preverjanju (potrjevanju) modela ves čas gibali v območju slabšega prileganja, a se je drugi vzorec v meritvi izkazal za še bolj nestabilnega od prvega. Zaradi neprepričljivih predlogov Lisrela (preko modifikacijskih indeksov) se nismo odločili za preizkus alternativnih modelov.
Konfirmatorna faktorska analiza
Veljavnost petfaktorskega modela smo preverili s konfirmatorno faktorsko analizo, ki smo jo izvedli s pomočjo programskega orodja Lisrel (Joreskog in Sorbom, 2004). Ločene IAT učinke za posamezne bipolarne pare pridevnikov je lahko nasičal le tisti faktor, ki naj bi mu pripadali po petfaktorskem modelu. Kovariance med napakami smo fiksirali na nič. Model smo na variančno-kovariančni matriki ocenili z metodo največjega verjetja (ML).
V prvi študiji je ugotovljeni X znašal 309,59 (df = 265; p = 0,031) in pokazal na neustrezno prileganje modela.
Razprava
V raziskavi smo preverjali merske značilnosti Testa implicitnih asociacij - IAT, ki smo ga priredili za merjenje velikih petih osebnostnih dimenzij. Rezultati komponentne analize na drugem vzorcu ter konfirmatorne faktorske analize na prvem vzorcu so pokazali, da lahko korelacije med pridevniškimi pari v B5 IAT zadovoljivo pojasnimo s petimi latentnimi dimenzijami, vendar pa moramo biti pri njihovi interpretaciji posebej previdni zaradi velike razlike med indeksoma PNFI in NNFI, nižjih zanesljivosti nekaterih lestvic B5 IAT in majhnosti
Slika 2. Konfirmatorna faktorska analiza B5 IAT v prvi študiji (N = 62). Z zvezdico (*) so označeni pari pridevnikov, ki so bili v drugi študiji spremenjeni.
obeh vzorcev. Kljub temu so rezultati dokaj obetavni in kažejo, da se je z implicitnimi merami osebnosti smiselno ukvarjati in jih naprej razvijati.
Predhodne študije poročajo o zadovoljivi notranji skladnosti (a ali razpolovitveni koeficienti) IAT za merjenje velikih petih osebnostnih dimenzij (npr. Back idr., 2009; Grumm in von Collani, 2007; Schmukle, Back in Egloff, 2008; Steffens in Schulze Konig, 2006). Razlog za nižjo zanesljivost nekaterih lestvic B5 IAT v pričujoči raziskavi lahko najverjetneje iščemo v manjši ustreznosti nekaterih izbranih dražljajev. V slovenskem jeziku do danes še nimamo seznama prototipnih pridevnikov, ki bi opredeljevali posamezno dimenzijo osebnosti (v nemških študijah si na primer lahko pomagajo z Ostendorfovim (1994) normativnim seznamom 823 pridevnikov), karje še nekoliko otežilo izbor dražljajev. Morda bi bilo smiselno,
da bi se pridevniki ujemali po dolžini in frekventnosti svojega pojavljanja v slovenskem jeziku. Nekatere besede so udeležencem namreč manj poznane oziroma »domače« od drugih, saj se z njimi v vsakodnevnem pogovornem jeziku redkeje srečujejo (npr. veder - običajno rečemo, da je nekdo vesel, dobrovoljen, redkeje pa v pogovornem jeziku uporabljamo besedo veder; osoren - pogosteje uporabljamo besedi neprijeten ali neprijazen). To je lahko razlog za daljše reakcijske čase pri njihovem razvrščanju. Problematičen je lahko tudi preneseni pomen besed - za procesiranje prenesenega pomena posameznik potrebuje več časa, še posebej če področja, ki ga z IAT merimo, ne pozna dobro (npr. topel vs. hladen).
Omenimo naj še precejšnjo razliko v številu besed, ki jih obsegajo slovensko, nemško in angleško besedišče. Pri pregledu besed, ki so jih uporabili avtorji že navedenih
predhodnih študij, je bilo mogoče najti več takih, ki bi jih v slovenščino prevedli z eno samo besedo (npr. energetic in energy-bursting; restful, at ease in calm). Pri nekaterih dimenzijah (npr. čustvena stabilnost ali odprtost) je bilo mnogo težje sestaviti primeren nabor besed (npr. besed, ki ne bi bile zanikane, ne bi nosile prenesenega pomena in bi se razmeroma pogosto pojavljale v pogovornem jeziku) kakor pri drugih (npr. ekstravertnost). Prav tako je zahtevala veliko pozornosti tudi skrb za to, da besede potencialno ne bi pripadale več nadrednim kategorijam.
Možen razlog za nižjo zanesljivost nekaterih lestvic B5 IAT je tudi dolžina reševanja testa. Baterijo B5 IAT sestavlja pet zaporednih IAT testov. Zaradi utrujenosti, upada motivacije, učinkov učenja ipd. lahko povzroči uporaba več zaporednih testov znižanje zanesljivosti in veljavnosti. Ta učinek pri implicitnih merah ni tako nizek kot pri eksplicitnih in ga zato težko zanemarimo (Perugini in Banse, 2007). Vsi udeleženci so rešili pet IAT testov v enakem zaporedju. To bi utegnil biti eden izmed možnih vzrokov za upad zanesljivosti od prvega proti zadnjemu (ki je še posebej viden v drugi študiji), žal pa raziskava ni bila zasnovana tako, da bi lahko to domnevo enoznačno potrdili.
Obe študiji sta pokazali razmeroma nizke konvergence med implicitno in eksplicitnimi merami velikih petih osebnostnih dimenzij. Implicitno-eksplicitna konvergentna veljavnost B5 IAT je torej nizka. Korelacije med različnimi eksplicitnimi merami istih osebnostnih potez so bile v obeh študijah bistveno višje od implicitno-eksplicitnih konvergenc. O nizkih implicitno-eksplicitnih konvergencah poročajo tudi Schmukle, Back in Egloff, (2008), M. Grumm in von Collani (2007) ter M. Steffens in S. Schulze König (2006). Naj na tem mestu opozorimo, da do danes še vedno ni povsem jasno, kaj implicitne mere pravzaprav merijo. Kljub temu torej, da govorimo o nizki konvergenci z eksplicitnimi merami, je ta konvergenca edina stvar, na katero se lahko opremo v obsežnem in malo raziskanem implicitnem prostoru. Če želimo meriti osebnost implicitno, pa je poleg tega pomembno tudi, da določimo odnos implicitnih mer z eksplicitnimi.
Poleg vpliva metode obstaja za nizke korelacije med implicitnimi in eksplicitnimi merami več razlogov. Eksplicitne in implicitne mere osebnosti temeljijo na različnih informacijskih procesih (prve na propozicionalnih, druge na asociacijskih), zato naj bi bile korelacije med njimi nizke. Schmukle, Back in Egloff (2008) so tako mnenja, da implicitno-eksplicitne konvergence ne bi smele biti edini pokazatelj veljavnosti B5 IAT. Tudi po mnenju Peruginija in Banseja (2007) bi bilo treba pozornost od korelacij med implicitnimi in eksplicitnimi merami preusmeriti k napovedni veljavnosti implicitnih mer. Nizke implicitno -eksplicitne konvergence bi se lahko povezovale tudi z nižjo zanesljivostjo nekaterih lestvic B5 IAT, kar bi sicer lahko korigirali (s popravkom zaradi zmanjšane zanesljivosti mer), a do tega nismo upravičeni zaradi manj natančno ocenjenih zanesljivosti in posledično prevelikega zvišanja korigiranih korelacij. Poleg tega se pri samoocenah osebnosti pogosto srečamo s problemom pojava socialno zaželenih odgovorov, medtem ko je dovzetnost za potvarjanje rezultatov pri implictnih
merah manjša, kar bi ravno tako lahko bil razlog za pojav nizkih implicitno-eksplicitnih konvergenc (Petty idr., 2009). Med dejavniki, ki bi lahko vplivali na znižanje implicitno-eksplicitne skladnosti (in zanesljivosti B5 IAT), omenimo še možnost omejitev v varianci zaradi selekcioniranosti vzorcev. Oba vzorca sta bila majhna in zelo homogena (sestavljena iz devetnajst oziroma dvajsetletnih študentk psihologije).
Na odnos med implicitnimi in eksplicitnimi merami vpliva tudi zaporedje kritičnih faz oziroma kombiniranih nalog (tj. ali posameznik najprej rešuje kompatibilno ali nekompatibilno nalogo). V pričujoči raziskavi so vsi udeleženci reševali B5 IAT s fiksnim vrstnim redom kombiniranih nalog (vedno je bila prva kombinacija jaz + pozitivni pol osebnostne lastnosti). Fiksni vrstni red lahko vodi do precenitve (če je vedno prva kompatibilna kombinacija) ali podcenitve (če je vedno prva nekompatibilna kombinacija) velikosti učinka v primerjavi s študijami, ki zaporedje kritičnih blokov uravnotežijo (Lane, Banaji, Nosek in Greenwald, 2007). Ker je bil vrstni red kombiniranih nalog v pričujoči raziskavi fiksen, njegovega učinka ne moremo oceniti. Tudi ta dejavnik bi tako lahko vplival na znižanje implicitno-eksplicitnih konvergenc.
Glede na nizke konvergence med implicitno in eksplicitnimi merami je precejšnja strukturna skladnost med B5 IAT in Pridevniškimi lestvicami velikih pet v aritmetičnih sredinah, ponekod pa tudi med B5 IAT in eksplicitnimi merami v korelacijskih matrikah (med B5 IAT in BFQ v prvi študiji ter med B5 IAT in BFI v drugi študiji) presenetljiva. Skladnost je sicer nekoliko manjša od tiste, o kateri poročajo Schmukle, Back in Egloff (2008), razlaga zanjo pa bi lahko bila podobna. Čeprav je povezava med dimenzijami implicitne in eksplicitne samopodobe na področju osebnosti nizka, naj bi bile povezave med posameznimi dimenzijami znotraj implicitne oz. eksplicitne samopodobe podobne. Razlika v skladnosti korelacijskih matrik iz pričujoče raziskave in raziskave avtorjev Schmukle, Back in Egloff (2008) (dobili smo nekoliko nižje koeficiente skladnosti) bi se morda lahko povezovala z že omenjenim fiksnim zaporedjem kompatibilnih in nekompatibilnih nalog, ki je lahko vzrok za precenitev ali podcenitev velikosti IAT učinka (Lane idr., 2007).
Rezultati konfirmatorne faktorske analize na prvem vzorcu so kljub nekaterim omejitvam (predvsem majhnost vzorcev in visoko število prostostnih stopenj) spodbudni. Kažejo, da lahko korelacije med pridevniki, vključenimi v IAT, zadovoljivo pojasnimo s petimi latentnimi dimenzijami (ta zaključek zaradi velike razlike med indeksoma PNFI in NNFI sicer ni povsem enoznačen) in tako potrjujejo ugotovitve predhodnih študij (Grumm in von Collani, 2007; Schmukle idr., 2008). Opozoriti velja, da tega zaključka ne moremo posplošiti na implicitni koncept osebnosti v celoti, saj so bili podatki zbrani načrtno glede na petfaktorski model. Poleg tega ima lahko v kontekstu ocenjevanja strukture implicitnega koncepta osebnosti zanašanje na eno samo metodo svoje omejitve. Na eksplicitni ravni je bil petfaktorski model potrjen ob uporabi različnih metod (Goldberg, 1990;
McCrae in Costa, 1987) in tudi na implicitni ravni bi moral biti to eden izmed ciljev v prihodnje (seveda ob uporabi zanesljivih metod). Ponovno poudarjamo tudi, da zaradi nizkih implicitno-eksplicitnih konvergenc ter že v uvodu navedenih teoretičnih predpostavk o razlikah med implicitnimi in eksplicitnimi merami (temeljile naj bi na različnih informacijskih procesih) še vedno ostaja odprto vprašanje, ali ene in druge res merijo istih pet faktorjev.
Pričujoča raziskava ima nekaj pomanjkljivosti, ki omejujejo veljavnost in posplošljivost rezultatov. Glavno omejitev gotovo predstavljata nizka numerusa obeh vzorcev, ki sta bila po strukturi tudi zelo enoznačna, homogena (študentke prvega oziroma drugega letnika psihologije) ter selekcionirana. Naslednja pomanjkljivost je fiksni vrstni red kombiniranih nalog, ki je morda vodil do precenitve oz. podcenitve velikosti IAT učinka (Lane idr., 2007). Ta dejavnik bi tako lahko vplival tudi na znižanje implicitno-eksplicitnih konvergenc. V enakem zaporedju so udeleženci rešili tudi vseh pet IAT testov. Upad zanesljivosti od prvega proti zadnjemu (ki je še posebej očiten pri drugi študiji), bi tako morda lahko pripisali tudi temu vzroku. Celotno testiranje je bilo namreč dolgo (od 30 do 40 minut), zahtevalo pa je stalno koncentracijo in usmerjeno pozornost. Poleg tega je moral udeleženec ves čas testiranja podajati le dva različna odgovora. Dolžina in enoličnost testnega postopka sta tako udeležence utrudila, upadla pa je tudi motivacija. Mnogi so po testiranju omenili, da so zaspani, utrujeni ali naveličani. Prav to je lahko vplivalo na znižanje hitrosti in natančnosti pri reševanju nalog.
V prihodnjih raziskavah bi bilo morda smiselno udeležencem v navodilu naloge poleg oznak kategorij pokazati tudi pridevnike, ki jih bodo morali razvrščati. Tako bi jim omogočili, da se z dražljaji in njihovo ustrezno razvrstitvijo v nadredne kategorij e seznanijo že pred samim reševanjem naloge, zaradi česar bi imeli verjetno manj težav z razumevanjem posameznih besed. Na tak način je konstruiran tudi eden izmed Schnablovih SC-IAT (angl. single category IAT; osebna korespondenca). Razmislili bi lahko tudi o uporabi manjšega števila pridevnikov v posamezni kategoriji. Izbrali bi le tiste, ki so pokazali visoko povezanost s svojimi nadrednimi kategorijami. Variacije v številu dražljajev v posamezni kategoriji imajo namreč le majhen vpliv na psihometrične značilnosti IAT in na povezave s samoocenami, pomembno pa je, da so dražljaji dobri zastopniki svojih nadrednih kategorij (Nosek, Greenwald in Banaji, 2005).
Glede na rezultate (prva študija), lahko torej zaključimo, da je mogoče korelacije med postavkami IAT razmeroma zadovoljivo pojasniti s petimi latentnimi dimenzijami, vendar pa moramo biti pri njihovi interpretaciji nekoliko bolj previdni zaradi nižjih zanesljivosti nekaterih lestvic B5 IAT in majhnega vzorca. Ker predstavlja pričujoča raziskava prvi poskus priredbe B5 IAT slovenskemu jezikovnemu prostoru, ne preseneča, da zanesljivosti dimenzij osebnosti, merjenih z B5 IAT, v večini primerov ne dosegajo zadovoljive ravni (verjetno zaradi neustreznosti nekaterih dražljajev ter precejšnje dolžine testnega postopka). Konvergentna veljavnost B5 IAT z eksplicitnimi merami osebnostnih lastnosti je
nizka. V tem kontekstu do danes še vedno ostaja odprto vprašanje, ali implicitne in eksplicitne mere res merijo iste konstrukte. Kot že rečeno, pa je prav računanje korelacij z eksplicitnimi merami edina možnost, ki jo imamo, saj je implicitni prostor za zdaj le malo raziskan. Ker implicitne mere zaenkrat ne dosegajo ustreznih psihometričnih značilnosti, v psihološki praksi še niso uporabne. Tudi na vprašanje, kaj konkretno merijo, še nimamo jasnega odgovora, zato ni povsem jasno, kako bi si lahko z njimi pomagal psiholog praktik. Kljub temu bi imele lahko v prihodnje precejšen potencial pri raziskovanju osebnosti in individualnih razlik, saj premagujejo številne omejitve obstoječih pripomočkov.
Literatura
Asendorpf, J. B., Banse, R. in Mücke, D. (2002). Double dissociation between implicit and explicit self-concept: The case of shy behavior. Journal of Personality and Social Psychology, 83, 380-393.
Avsec, A. in Sočan, G. (2007). Vprašalnik petih velikih faktorjev BFI [Big Five inventory BFI]. V A. Avsec (ur.), Psihodiagnostika osebnosti [The psychodiagnostics of personality] (str. 171-178). Ljubljana, Slovenija: Filozofska fakulteta, Oddelek za psihologijo.
Back, M. D., Schmukle, S. C. in Egloff, B. (2009). Predicting actual behavior from the explicit and implicit self-concept of personality. Journal of Personality and Social Psychology, 93(3), 533-548.
Bollen, K. A. (1989). Structural equation models with latent variables. New York, NY, ZDA: Wiley.
Bucik, V. (2007). Vprašalnik petih velikih faktorjev BFQ [Big five questionnaire BFQ]. V A. Avsec (ur.), Psihodiagnostika osebnosti [The psychodiagnostics of personality] (str. 153-170). Ljubljana, Slovenija: Filozofska fakulteta, Oddelek za psihologijo.
Burt, C. (1948). The factorial structure of temperamental traits. British Journal of Psychology, 1, 178-203.
Campbell, D. T. in Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 103, 276-279.
Caprara, G. V., Barbaranelli, C. in Borgogni, L. (1993). BFQ - Big Five Questionnaire: Manuale. Firenze, Italija: Organizzazioni Speziali.
Caprara, G. V., Barbaranelli, C., Borgogni, L., Bucik, V. in Boben, D. (1997). Model "velikihpet": Pripomočki za merjenje strukture osebnosti: Priročnik [The "Big Five" model: Accessories for measurement of personality structure: Manual]. Ljubljana, Slovenija: Produktivnost, Center za psihodiagnostična sredstva.
Draine, S. (2010). Inquisit 3.0.4.0 [računalniško programsko orodje]. Seattle, WA, ZDA: Millisecond Software.
Fazio, R. H., Jackson, J. R., Dunton, B. C. in Williams, C. J. (1995). Variability in automatic activation as an unobtrusive measure of racial attitudes: A bona fide pipeline? Journal of Personality and Social Psychology, 69, 1013-1027.
Gemar, M. C., Segal, Z. V., Sagrati, S. in Kennedy, S. J. (2001). Mood-induced changes on the Implicit association test in recovered depressed patients. Journal of Abnormal Psychology, 110, 282-289. Goldberg, L.R. (1990). An alternative "Description of personality": The Big-Five factor structure. Journal of Personality and Social Psychology, 59, 1216-1229. Greenwald, A. G. in Banaji, M. R. (1995). Implicit social cognition: Attitudes, self-esteem, and stereotypes. Psychological Review, 102, 4-27. Greenwald, A. G., McGhee, D. E. in Schwartz, J. L. K. (1998). Measuring individual differences in implicit cognition: The Implicit association test. Journal of Personality and Social Psychology, 74(4), 1464-1480.
Greenwald, A. G., Nosek, B. A. in Banaji, M. R. (2003). Understanding and using the Implicit association test: I. An improved scoring algorithm. Journal of Personality and Social Psychology, 85, 197-216. Grumm, M. in von Collani, G. (2007). Measuring Big-Five personality dimensions with the Implicit association test - Implicit personality traits or self-esteem? Personality and Individual Diferences, 43, 2205-2217.
John, O. P., Donahue, E. M. in Kentle, R. L. (1991). The "Big Five" Inventory-Versions 4a and 54. Berkeley, CA, ZDA: University of California, Institute of Personality and Social Research. John, O. P. in Srivastava, S. (1999). The Big Five Trait taxonomy: History, measurement, and theoretical perspectives. V L. A. Pervin in O. P. John (ur.), Handbook of personality: Theory and research (str. 102-139). New York, NY, ZDA: Guilford. Joreskog, K. G. in Sorbom, D. (2004). L1SREL 8.7 for Windows [računalniško programsko orodje]. Lincolnwood, IL, ZDA: Scientific Software International.
Lane, K. A., Banaji, M. R., Nosek, B. A. in Greenwald, A. G. (2007). Understanding and using the Implicit association test: IV: Procedures and validity. V B. Wittenbrink in N. Schwarz (ur.), Implicit measures of attitudes: Procedures and controversies (str. 59-102). New York, NY, ZDA: Guilford. Maison, D., Greenwald, A. G. in Bruin, R. H. (2004). Predictive validity of the Implicit association test in studies of brands, consumer attitudes and behavior. Journal of Consumer Psychology, 14, 405-416. McCrae, R. R. in Costa, P. T. (1987). Validation of the five-factor model across instruments and observers. Journal of Personality and Social Psychology, 52, 81-90.
Mierke, J. in Klauer, K. C. (2003). Method-specific variance in the Implicit association test. Journal of Personality and Social Psychology, 85, 1180-1192. Nosek, B. A., Greenwald, A. G. in Banaji, M. R. (2005). Understanding and using the Implicit association test: II. Method variables and construct validity. Personality and Social Psychology Bulletin, 31, 166-180.
Nosek, B. A., Hawkins, C. B. in Frazier, R. S. (2011). Implicit social cognition: From measures to mechanisms. Trends in Cognitive Science, 15(4), 152-159.
Ostendorf, F. (1994). Zur Taxonomie deutscher Dispositionsbegriffe [To the taxonomy of German disposition terms]. V W. Hager in M. Hasselhorn (ur.), Handbuch deutschsprachiger Wortnormen [Handbook of German word norms] (str. 382-441). Göttingen, Nemčija: Hogrefe.
Perugini, M. in Banse, R. (2007). Editorial: Personality, implicit self-concept and automaticity. European Journal of Personality, 21, 257-261.
Petty, R. E., Fazio, R. H. in Briñol, P. (2009). The new implicit measures: An overview. V R. E. Petty, R. H. Fazio in P. Briñol (ur.), Attitudes: Insights from the new implicit measures (str. 3-18). New York, NY, ZDA: Psychology Press.
Rudman, L. A. (2011). Implicit measures for social and personality psychology. Thousand Oaks, CA, ZDA: Sage.
Schmukle, S. C., Back, M. D. in Egloff, B. (2008). Validity of the five-factor model for the implicit self-concept of personality. European Journal of Psychological Assessment, 24(4), 263-272.
Schmukle, S. C. in Egloff, B. (2006). Assessing anxiety with Extrinsic Simon Tasks. Experimental Psychology, 53(2), 149-160.
Schnabel, K., Asendorpf, J. B. in Greenwald, A. G. (2008). Using Implicit association tests for the assessment of implicit personality self-concept. V G. J. Boyle, G. Matthews in D. H. Saklofske (ur.), The SAGE handbook of personality theory and assessment: Vol. 2. Personality Measurement and Testing (str. 508528). Thousand Oaks, CA, ZDA: Sage.
Steffens, M. C. (2004). Is the Implicit association test immune to faking? Experimental Psychology, 51, 165-179.
Steffens, M. C. in Schulze König, S. (2006). Predicting spontaneous Big-Five behaviour with Implicit association tests. European Journal of Psychological Assessment, 22, 13-20.
Strack, F. in Deutsch, R. (2004). Reflective and impulsive determinants of social behavior. Personality and Social Psychology Review, 8, 220-247.
Wiers, R. W., van Woerden, N., Smulders, F .T. Y. in de Jong, P. J. (2002). Implicit and explicit alcohol-related cognitions in heavy and light drinkers. Journal of Abnormal Psychology, 111, 648-658.
Wittenbrink, B. in Schwarz, N. (2007). Introduction. V B. Wittenbrink in N. Schwarz (ur.), Implicit measures of attitudes (str. 1-13). New York, NY, ZDA: Guilford.