S. Bitenc Peharc, V. Rot Gabrovec, A. Stopar, A. Tratnik: UMESTITEV IZPITOV IZ ANGLEŠČINE NA ... 
225
Suzana Bitenc Peharc	UD K: 811.111'243:373.5:37.016(4)
Državni izpitni center
suzana.bitenc@ric.si
Veronika Rot Gabrovec
Filozofska fakulteta Univerze v Ljubljani veronika.rot-gabrovec@guest.arnes.si
Andrej Stopar
Filozofska fakulteta Univerze v Ljubljani andrej.stopar@guest.arnes.si
Alenka Tratnik
Fakulteta za organizacijske vede Univerze v Mariboru alenka.tratnik@fov.uni-mb.si
UMESTITEV IZPITOV IZ ANGLEŠČINE NA SPLOŠNI IN POKLICNI MATURI V SKUPNI EVROPSKI JEZIKOVNI OKVIR
1. UVOD
Odkar je bil na pobudo Sveta Evrope v devetdesetih letih zasnovan Skupni evropski jezikovni okvir oziroma SEJO (angl. Common European Framework of Reference oziroma CEFR), je omenjeni dokument kot pomembna zbirka smernic upoštevan pri številnih segmentih poučevanja tujih jezikov po vsej Evropi. Ravni znanja po SEJO najdemo na platnicah učbenikov za tuje jezike, v opisih različnih izobraževanj in na potrdilih o znanju tujih jezikov. Glede na dejstvo, da gre pri SEJO za zelo kompleksno zbirko opisnikov za različne jezikovne zmožnosti, se nujno postavi vprašanje, kako so bile omenjene ravni določene. Zlahka se namreč pojavi dvom v pristope in metode ter sum, da so - še zlasti pri različnih mednarodno uspešnih inštitucijah - navedene ravni predvsem posledica (komercialnih) želja in ne dejanskega standardiziranega umerjanja in umeščanja gradiv.
Tudi v Sloveniji smo ravni znanja po končanem šolanju najprej določili kar z dokumenti (s trenutno veljavnimi učnimi načrti oziroma katalogi znanja), ob tem pa se očitno nihče ni vprašal, na osnovi česa so bile te ravni pravzaprav določene. Po mednarodno sprejetih metodah in postopkih se je namreč raven izpitov (in znanja uspešnih kandidatov) prvič začela določati šele v okviru projekta Državnega izpitnega centra »Umestitev izpitov iz angleščine v Skupni evropski referenčni okvir za jezike«, ki se je z delno finančno pomočjo Evropskega socialnega sklada in Ministrstva za šolstvo in šport začel izvajati jeseni 2008 in ki si je za cilj postavil mednarodno primerljivost ravni zahtevnosti slovenskih izpitov iz angleščine na vseh ravneh izobraževanja.
226 VESTNIK ZA TUJE JEZIKE
Del izsledkov sicer zelo obsežnega projekta predstavljamo v pričujočem članku. Osredotočamo se zgolj na splošno in poklicno maturo iz angleščine, saj sta omenjena izpita namenjena primerljivi populaciji ter imata podobne cilje. Pri obravnavi in primerjavi obeh izpitov smo tokrat poleg vodil Evropske zveze za testiranje in preverjanje znanja pri jezikih (EALTA Guidelines for Good Practice in Language Testing and Assessment 2010) uporabili tudi nekatere smernice strokovnjakov s področja testiranja in preverjanja znanja (Bachman 1990, Bachman & Palmer 1996, Hughes 2002, Madsen 1983, McNamara 2000, Weir 1990), ki so bodisi kot predavatelji na različnih usposabljanjih izpitnih komisij bodisi kot avtorji strokovne literature pomembno vplivali na postavljanje in sestavljanje omenjenih izpitov.
2. SPLOŠNA MATURA
2.1.	Splošno
Splošna matura je zaključni izpit za pridobitev srednje izobrazbe, obenem pa preizkus usposobljenosti kandidatov za univerzitetni študij. Kandidati dokazujejo, da dosegajo standarde znanja, ki so določeni s cilji gimnazijskega programa, in si po končani gimnaziji oziroma maturitetnem tečaju pridobijo srednjo izobrazbo. Če dosežejo določeno število točk, si obenem zagotovijo mesto na izbranem visokošolskem ali univerzitetnem programu oziroma fakulteti. Glede na cilje je splošnomaturitetni izpit iz angleščine torej t. i. prochievement test.
Izpit iz angleščine je del skupnega dela splošne mature (poleg slovenščine in matematike je obvezen tudi tuji jezik). Glede na predmetni izpitni katalog za splošno maturo iz angleščine (ta je usklajen z veljavnimi učnimi načrti za gimnazijo) kandidati dokazujejo razvite receptivne in produktivne zmožnosti, in sicer poslušanje in branje ter govorjenje in pisanje, kot uporabniki angleščine se zavedajo svojega medkulturnega položaja in se temu ustrezno odzivajo, poudarek pa je dan tudi samostojnemu kritičnemu razmišljanju in vrednotenju. Program jih pripravlja na ustrezne jezikovne rabe na javnem, osebnem, poklicnem in izobraževalnem področju, gradiva, ki so predvidena za pripravo, pa kandidatom omogočajo aktivnosti na različnih taksonomskih stopnjah. Nekaj je poznavanja dejstev, podatkov, pojmov in opredelitev, precej več dejavnosti kandidate navaja k aktivni uporabi pridobljenega znanja, del gradiv pa jim omogoča samostojne in izvirne interpretacije, analizo in sintezo, samostojno kritično in utemeljeno vrednotenje.
2.2.	Kandidati
Večina kandidatov, ki opravlja izpit iz angleščine v okviru splošne mature, je gimnazijcev, ki so uspešno končali četrti letnik in s tem zaključujejo svoje srednješolsko izobraževanje. Splošno maturo iz angleščine opravljajo tudi kandidati po uspešno opravljenem maturitetnem tečaju, kandidati, ki sicer opravljajo poklicno maturo, ter tisti, ki v letu, v katerem opravljajo maturo, dopolnijo najmanj 21 let.
S. Bitenc Peharc, V. Rot Gabrovec, A. Stopar, A. Tratnik: UMESTITEV IZPITOV IZ ANGLEŠČINE NA ... 
227
Na leto maturo iz angleščine opravlja med 8000 in 9000 kandidatov, 2000 le-teh opravlja maturo na višji ravni.
2.3.	Cilji
Cilje izpita iz angleščine v okviru splošne mature določa Predmetni izpitni katalog za splošno maturo iz angleščine (Baebler et al. 2008: 7-8, Forštner et al. 2010: 20). Med zmožnostmi in sposobnostmi navaja npr. ustno in pisno posredovanje informacij in razumevanje le-teh, ustno in pisno izražanje lastnega mnenja in razpravljanje o različnih temah, sporazumevanje v vsakdanjih govornih položajih in v medkulturnih okoliščinah. Kandidati, ki maturo opravljajo na osnovni ravni, so zmožni ustno interpretirati predpisana književna besedila, od tistih, ki se prijavijo na višjo raven, pa pričakujemo, da pokažejo poznavanje celovitega umetnostnega besedila ustno in pisno. Zmožni so književno besedilo analizirati in predstaviti lastno mnenje in svoj odnos do besedila. Na višji ravni naj bi bili kandidati sposobni tudi osnovnega medjezikovnega posredovanja (torej v angleščini povzeti bistvo in glavne podatke iz besedila, napisanega v materinščini).
Čeprav je bilo že večkrat jasno povedano, da se pri splošni maturi iz angleščine ne preverja gole faktografije ali pravil, so v Predmetnem izpitnem katalogu za splošno maturo iz angleščine (Baebler et al. 2008) vendarle v razdelku Znanje navedeni tudi poznavanje besedja, glasoslovja, oblikoslovja, skladnje in pravopisa ter sociolingvističnih in pragmatičnih zakonitosti angleščine ter (medkulturno) razumevanje bistvenih vidikov kulture in civilizacije dežel angleškega jezika. Poudariti je treba, da se navedeno preverja v okviru kandidatove aktivne rabe tujega jezika. Nekoliko izstopa le preverjanje poznavanja umetnostnih besedil, kjer mora kandidat s svojimi odgovori, ki so ustrezno podprti z navedki iz samih besedil, dokazati, da je predpisana besedila dejansko prebral.
2.4.	Shema izpita
Shema izpita se bo v prihodnosti precej spremenila, saj je bilo v letih 2009 in 2010 (ob soočanju zelo različnih pogledov na tematiko preverjanja znanja na področju tujih jezikov) uvedenih kar nekaj sprememb, ki so že upoštevane v najnovejšem Predmetnem izpitnem katalogu za angleščino (v času oddaje tega članka še v tisku). Ker v času priprave tega članka še ni dostopen, pa tudi zato, ker je bila pri izpeljavi projekta »Umestitev izpitov iz angleščine v skupni evropski referenčni okvir za jezike« obravnavana sedaj veljavna shema izpitnih pol, v prispevku upoštevamo le slednjo.
Preverjanje znanja angleščine v okviru splošne mature poteka na osnovni in na višji ravni zahtevnosti. Preverjanje je pisno in ustno. Pisna naloga je enotna za celotno državo in je zunanje ocenjena s pomočjo zunanjih ocenjevalcev, ustni del pa je ocenjen notranje (vrednoti šolska izpitna komisija). Vrednost eksternega dela znaša 80 % končne ocene, vrednost internega pa 20 %.
V Izpitni poli 1 (IP1), del A, se preverja bralno razumevanje (20 % končne ocene), v delu B pa poznavanje in rabo jezika (20 % končne ocene). Oba dela prve izpitne pole preverjata jezikovne zmožnosti v kontekstu, ne izoliranih postavk. Iz-
228 VESTNIK ZA TUJE JEZIKE
pitna pola 2 (IP2) preverja slušno razumevanje (10 % končne ocene), v tretji izpitni poli pa kandidati z dvema sestavkoma dokažejo svojo zmožnost samostojnega pisnega sporočanja (10 + 20 % končne ocene). Ustni del znaša 20 % končne ocene.
Predmetni izpitni katalog kot tip izpitnih nalog navaja različne možnosti in opozarja, da so v izpitnih polah lahko vsako leto uporabljene drugačne naloge, a se dejansko to še ni zgodilo. Sprememba, ki je bila vpeljana leta 2009, je bila posebej najavljena: učitelji so bili nanjo posebej opozorjeni pisno (z uradnim dopisom šolskim aktivom anglistov) in ustno (na izobraževalnih seminarjih) že dve leti pred tem.
2.5. Rezultati na spomladanskih rokih 2007, 2008, 2009
Statistična analiza posameznih izpitnih pol, nalog in celo nekaterih vprašanj je dosegljiva v letnih poročilih o splošni maturi (gl. Splošna matura, Statistični podatki 2010). Na tem mestu zato navajamo predvsem tiste podatke, ki so zanimivi za primerjavo izpitnih pol zadnjih treh let, ter tiste, ki v statističnih obdelavah niso omenjeni. Obenem poudarjamo, da bi bila prava primerjalna statistična analiza mogoča šele, ko bi bile v polah uporabljene sidrne naloge (umerjene naloge, ki se skozi leta ponavljajo) in pa sistematično opravljeno predtestiranje.
1	2	3	4	5	6	7	8	9
	vsi/ izbrani vzorec		vsi/ izbrani vzorec					
07	6787/ 5421	3,2/ 3,4	2530/ 2343	4,1/ 4,2	0,79	30,00 %	23,13 %	37,58 %
08	6537/ 5269	3,1/ 3,3	2405/ 2222	4,4/ 4,4	0,77 VR	30,00 %	32,58 % le VR	12,09 OR, 46,16 VR
09	6607/ 5326	3.2 3.3	2299/ 2115	4,5/ 4,5	*1	30,00 %	31,22 % le VR	44,67 % VR
(Friš 2009, Vogel 2008, Šimenc 2007) Legenda
Stolpec 1 Leto izpitne pole Stolpec 2 Število kandidatov na OR Stolpec 3 Povprečna ocena na OR Stolpec 4 Število kandidatov na VR Stolpec 5 Povprečna ocena na VR
Stolpec 6 Indeks zanesljivosti - zaželeno 0,9, pogojno sprejemljivo 0,8.
Stolpec 7 Indeks objektivnosti - zaželeno vsaj 0,80 (idealno 0,90) - dovoljeno največ 10 % s slabim indeksom.
Stolpec 8 Indeks ločljivosti - ustrezen nad 0,20 - meja 20 %
Stolpec 9 Indeks težavnosti - vsota pretežkih (IT < 0,10) in prelahkih (IT > 0,90) vprašanj.
Ni podatka, ker je bil znotraj zaželenih meja.
S. Bitenc Peharc, V. Rot Gabrovec, A. Stopar, A. Tratnik: UMESTITEV IZPITOV IZ ANGLEŠČINE NA ... 229
Razpored točkovnih ocen 2007-2009
■ 1D2«3"4"5"6D7D8
Angleščina			
2009 (N=5.326)	K 18,3	33,0 37,3 36,8 35,2	■1
2008 (N=5.267)	K 19,3		
2007 (N=5.420)	J 15,0	38,0 37,8	BI
		■ 1 D2 13 14 15 «6 07 0 8	
Angleščina (V)			
2009 (N=2.115)	|3.3H	28,6 28,2	25,0
2008 (N=2.222)	1,1 5,6 |	30,2 28,4	18,8
2007 (N=2.342)	13,8	52,1	33,0
■ 1 u2 "3 "4 «5 "6 Bi7 u8
(Friš 2009: 22)
Čeprav je pri evalvaciji testov običajno ključna statistična obdelava pol, nalog in posameznih vprašanj (cf. Madsen 1983: 178-184), naj namesto drugod dostopnih statističnih podatkov na tem mestu kot zanimivost primerjamo izpitne pole glede na vir, iz katerega je bilo vzeto uporabljeno gradivo, dolžino nalog in število vprašanj. Ustnega dela in Pol 3A in 3B tukaj podrobneje ne bomo obravnavali, saj še niso ustrezno umeščene po SEJO.
Podatki, ki morajo načeloma biti omenjeni v specifikaciji izpitnih pol (cf. Bachman & Palmer 1996: 45-53), kažejo naslednje:
•	Viri za besedila, ki so uporabljena v polah IP1A in IP1B, se v zadnjih treh letih niso spremenili. V pregledanih polah je 23 nalog, ki so bile v polah za obe ravni uporabljene 34-krat (nekatere naloge so uporabljene na obeh ravneh). Vsa uporabljena besedilna gradiva so vzeta iz časopisnih člankov, dvakrat iz revijalne griloge časopisa. Nabor časopisov se ne menja.
•	Čas reševanja posameznih pol se ni spremenil; manjša sprememba formalne narave je zabeležena le na prvi strani IP2 (Preverjanje slušnega razumevanja): leta 2007 je čas reševanja označen kot »20 minut«, leta 2008 in 2009 pa »do 20 minut«. Ker se posnetki med seboj po dolžini nekoliko razlikujejo, je spremenjena oznaka pač točnejša.
•	Teme so kljub določeni žanrski enobarvnosti (časopisni članki) raznolike in segajo na številna področja; kljub temu, da nekoliko prevladujejo teme s področja potovanj in okolja, je znotraj omenjenih področij možna široka paleta podtem oziroma različnih pristopov k pisanju.
•	Vizualne podpore (fotografij, ilustracij, skic) pri besedilih v pregledanih polah IP1A, IP1B in IP2 ni.
•	V člankih, ki so uporabljeni v polah za preverjanje bralnega razumevanja in rabe jezika, je uporabljena standardna angleščina. Časopisi, ki služijo kot vir, ne uporabljajo pogovornih oblik ali slenga, občasno je besedilo lahko stilno zaznamovano (npr. naslov prispevka, citat).
•	Na posnetkih, ki so bili v letih 2007-2009 uporabljeni pri slušnem razumevanju, je pri nekaterih izmed govorcev zaznati narečje oziroma lokalno obarvano govorico. Rezultati, ki so pri IP2 primerljivi z interno vrednotenim delom izpita (ustnim izpitom), kažejo, da pola slovenskim dijakom praviloma ne povzroča težav.
230 VESTNIK ZA TUJE JEZIKE
•	V obravnavanem obdobju je prišlo v izpitni poli IP1A do spremembe: namesto treh nalog (kratkih odgovorov na vprašanja, povezovanja in naloge izbirnega tipa 'napačno/pravilno/ni v besedilu' (T/F/NG) na osnovni ravni ter kratkih odgovorov na vprašanja, dopolnjevanja in naloge izbirnega tipa 'napačno/ pravilno/ni v besedilu' (T/F/NG) na višji ravni) kandidati v letih 2009 (in 2010) rešujejo zgolj dve nalogi (kratkih odgovorov na vprašanja, povezovanja na osnovni ravni ter kratkih odgovorov na vprašanja in dopolnjevanja na višji ravni).
•	Skupno število besed v besedilih ostaja na osnovni ravni približno enako, v poli 2009 je v polah za bralno razumevanje na višji ravni nekaj manj besedila. Zmanjšalo se je število vprašanj, verjetno zaradi nekoliko zahtevnejšega tipa naloge. Odločitvi za spremembo tipa naloge je namreč botrovalo mnenje, da naloge izbirnega tipa niso vedno zanesljiv pokazatelj jezikovnega znanja, obenem je komisija kandidatom želela omogočiti, da besedila preberejo nekoliko bolj poglobljeno in se z njimi ukvarjajo tudi na ravni besedila in ne zgolj stavka ali odstavka. Prevladovalo je mnenje, da izbrani tip naloge to omogoča.
3. POKLICNA MATURA
3.1.	Splošno
Poklicna matura je državni izpit z dvojno kvalifikacijo. Je oblika zaključnega izpita, s katerim kandidat pridobi srednjo strokovno izobrazbo, hkrati pa kandidatom omogoča nadaljevanje študija na terciarni ravni, na strokovnih in drugih visokošolskih inštitucijah (prim. Zakon o maturi 2007, 3. člen).
Izpit se opravlja iz štirih predmetov, dva sta splošnoizobraževalna (slovenščina in matematika oziroma tuji jezik), eden strokovnoteoretični, eden pa zaobjema preizkus praktične usposobljenosti za delo v stroki. Kandidati obvezno opravljajo izpit iz slovenščine (oziroma italijanščine ali madžarščine na območjih, kjer živita obe narodni skupnosti) in temeljnega strokovnoteoretičnega predmeta. Kot tretji predmet izberejo bodisi matematiko bodisi tuji/drugi jezik (npr. angleščino), medtem ko četrti predmet predstavlja obliko dokazovanja usposobljenosti za delo v stroki oziroma poklicu.
3.2.	Kandidati
Poklicno maturo opravljajo kandidati srednjega tehniškega in drugega strokovnega izobraževanja, poklicno-tehniškega izobraževanja in poklicnega tečaja (Zakon o maturi 2007, 3. člen). Pogoj za pristop k izpitu je uspešno zaključen (i) zadnji letnik izobraževalnega programa za pridobitev srednje strokovne izobrazbe, (ii) opravljen mojstrski izpit, (iii) uspešno končan četrti letnik gimnazije in (iv) opravljen poklicni tečaj (Zakon o maturi 2007, 24. člen). Populacija, ki pristopa k izpitu, je torej heterogena. Izobraževanje kandidatov se pogosto razlikuje v vsebini (različni katalogi znanja), trajanju (različno število ur izobraževanja) in oblikah priprave (redno vpisani dijaki v nasprotju z odraslimi, ki se izobražujejo v tečajnih
S. Bitenc Peharc, V. Rot Gabrovec, A. Stopar, A. Tratnik: UMESTITEV IZPITOV IZ ANGLEŠČINE NA ... 
231
oblikah). Enotno zahtevnost izpita in enake pogoje naj bi jim zagotavljali predmetni izpitni katalogi (prim. Meglič 2010: 12).
Kandidati maturo lahko opravljajo v treh rokih: spomladanskem, jesenskem in zimskem. Najbolj množično obiskan je spomladanski rok. Tako je v letu 2009 na njem poklicno maturo opravljalo 9507 kandidatov, kar znaša preko 75 % vseh kandidatov, ki so v letu 2009 opravljali poklicno maturo. Tisti, ki so spomladanskem roku istega leta opravljali izpit iz tretjega predmeta, so si večinoma izbrali izpit iz matematike (57,4 %), medtem ko je izpit iz tujega jezika izbralo 3457 kandidatov (42,7 %), od tega iz angleškega jezika 3011 kandidatov (37,2 %). Podobno porazdelitev pri opravljanju izpita iz tretjega predmeta je zaznati tudi na spomladanskih rokih v letih 2008 in 2007, ko si je angleščino izbralo 35,2 % oziroma 34,9 % kandidatov. Ugotovimo lahko, da k izpitu iz angleškega jezika na najštevilčnejšem, spomladanskem roku poklicne mature običajno pristopi približno tretjina kandidatov, ki opravljajo izpit iz poklicne mature. Več kot polovica kandidatov na poklicni maturi torej ne opravlja izpita iz tujega jezika, medtem ko je ta na splošni maturi obvezen za vse.
Od splošne mature se poklicna matura razlikuje tudi v tem, da ne omogoča vpisa v univerzitetne programe. Če se kandidat poklicne mature želi vpisati v tak program, mora opraviti dodaten izpit iz predmeta splošne mature, s pridržkom, da različni univerzitetni programi lahko zahtevajo opravljanje izpitov iz različnih predmetov splošne mature. Uspeh kandidatov, ki se odločajo za opravljanje dodatnega predmeta splošne mature, je razmeroma nizek (v letu 2009 le 53-odstoten; gl. Meglič 2010: 106), kar je pričakovano glede na razlike med strokovnimi in gimnazijskimi programi. Izpit iz angleščine kot dodatnega maturitetnega predmeta sicer opravlja razmeroma veliko kandidatov. V letu 2009 se je zanj odločilo 150 od 1398 kandidatov, ki so opravljali izpit iz dodatnega predmeta.
3.3. Cilji
Predmetni izpitni katalog za poklicno maturo, Angleščina (Košir et al. 2007; trenutno velja katalog za leto 2009, v veljavo pa stopa prenovljeni katalog za leto 2011) od kandidatov zahteva naslednje zmožnosti:
•	razumeti bistvo podatkov v avtentičnih pisnih besedilih različnih virov,
•	razumeti in se ustrezno odzvati na vprašanja, navodila ipd. v interakciji s sogo-vorcem,
•	pogovarjati se/razpravljati v vsakdanjih govornih situacijah in v predvidenih poklicnih položajih,
•	pisno ali ustno izraziti svoja mnenja, prepričanja, občutke na podlagi slikovne ali besedne predloge,
•	ustno povzeti bistvo pisnega besedila, ki se nanaša na splošno ali poklicno področje,
•	ustno predstaviti pri pouku obravnavano splošno ali poklicno temo in o njej razpravljati,
•	pisno se izraziti v obliki pisma, vabila, prošnje, opis, poročila, predstavitve ipd.
•	pisno izraziti svoja mnenja, zanimanja in občutke, predstaviti utemeljitve v zvezi s temami in podtemami, ki jih predpisuje predmetni izpitni katalog.
232 VESTNIK ZA TUJE JEZIKE
Zgoraj zapisani cilji predmetnega izpitnega kataloga za angleščino na poklicni maturi so skladni s Katalogom znanja iz leta 2007 (gl. Gospodarič et al. 2007), ki je skupen vsem tujim jezikom znotraj posameznega programa izobraževanja: srednje strokovno izobraževanje, SSI, poklicno-tehniško izobraževanje, PTI, in srednje poklicno izobraževanje, SPI. Programi so heterogeni, o čemer med drugim priča tudi število ur, ki jih predvidevajo za tuji jezik: angleščina kot tuji jezik v programih SSI in PTI obsega 408 ur, v programu SPI 164 ur, kot drugi tuji jezik v vseh omenjenih programih pa obsega med 30 in 270 ur. Kandidatom je torej resnično skupen le predmetni izpitni katalog.
Katalog znanja je najbolj obsežen v programih SSI in PTI. Za vse tuje jezike opredeljuje splošne in specifične kompetence tujega jezika, poda splošne in učne cilje predmeta, določi minimalne standarde in navede didaktična priporočila, v katerih kot učni pristop opredeli celostno-jezikovni pristop oziroma t. i. komunikacijski model. Katalog znanja opozarja tudi na udejanjanje ključnih zmožnosti in ključne usmeritve pri vrednotenju znanja, in privzema, da mora »strokovno izobraževanje slediti zahtevam naglega vsestranskega razvoja in s tem povezanim poklicnim spremembam« (Gospodarič et al. 2007: 9), kar se odraža tudi pri pouku jezika stroke, ki je v naštetih programih stalnica in predstavlja še en poudarek, ki ga splošna matura ne pozna.
Tako predmetni izpitni katalog kot katalog znanja se navezujeta na SEJO. Novi predmetni izpitni katalog za poklicno maturo iz angleščine za leto 2011 prvič kot pričakovano raven zahtevnosti navaja raven B1, čeprav pred objavo predmetnega izpitnega kataloga izpitne pole še niso bile sistematično standardizirane in ustrezno umeščene glede na okvir. Projekt Državnega izpitnega centra je torej dobrodošel.
3.4. Shema izpita in sestava izpitnega kompleta
Do leta 2011 je v veljavi naslednja shema pisnega izpita.
Izpitna pola	Zmožnost	Čas reševanja	Število točk	Delež pri oceni
IP1	A: Bralno razumevanje B: Poznavanje in raba jezika	60 minut	30	30 %
IP2	Pisno sporočanje	60 minut	30	30 %
	Krajši pisni sestavek Vodeni spis	(20 minut) (40 minut)	(10) (20)	(10 %) (20 %)
Skupaj		120 minut	60	60 %
V prihodnosti bo zgradba pisnega izpita na poklicni maturi iz tujih jezikov poenotena za angleščino, italijanščino in nemščino. Tujejezikovne državne predmetne komisije na poklicni maturi so se za predmetni izpitni katalog za leto 2011 uskladile in se odločile, da naloge iz poznavanja in rabe jezika nadomesti razširjeni del izpita z nalogami iz bralnega razumevanja. Čas reševanja izpitnih pol in njihov delež pri oceni pri angleščini ostaja nespremenjen.
S. Bitenc Peharc, V. Rot Gabrovec, A. Stopar, A. Tratnik: UMESTITEV IZPITOV IZ ANGLEŠČINE NA ... 
233
Predmetni izpitni katalog za pisni del izpita predvideva širok nabor nalog, zaradi česar izbor tipov nalog za posamezen izpitni komplet ni vedno enak.
V	zadnjih petih letih (2005-2009) se je bralno razumevanje preverjalo z dvema nalogama na polo (skupaj 15 točk), uporabljeni so bili naslednji tipi nalog: pravilno/napačno, povezovanje in kratki odgovori. Zmožnost poznavanja in rabe jezika se je ravno tako preverjala z dvema nalogama (skupaj 15 točk), pojavljali pa so se tipi nalog, ki so od kandidatov zahtevali izbiro pravilnega odgovora, izbiro ustrezno obliko glagola, tvorjenje besed ali iskanje ustreznih besed v besedilu. Kot besedilna vrsta se pri zgoraj omenjenih tipih nalog najpogosteje pojavlja časopisni članek.
V	drugi izpitni poli je vključen krajši pisni sestavek, ki od kandidatov običajno zahteva izbiro ene od treh slikovnih in/ali besedilnih iztočnic in kratko argumentacijo odločitve. Krajšemu pisnemu sestavku sledi vodeni spis, ki je približno dvakrat daljši in običajno v obliki pisma odgovarja na pretežno besedilno iztočnico.
Pisnemu delu izpita, predstavljenemu zgoraj, sledi še ustni del, katerega delež pri celotnem izpitu je 40 %, traja 20 minut in vsebuje tri vprašanja, dve od katerih sta, skladno s smernicami katalogov znanja in določili predmetnega izpitnega kataloga, obvezno s področja jezika stroke. Ustnega dela tukaj podrobneje ne bomo obravnavali, saj še ni ustrezno umeščen po SEJO.
3.5. Rezultati na spomladanskih rokih
3.5.1. Spomladanski roki 2007, 2008 in 2009
Spodnja preglednica vsebuje primerjavo uspeha kandidatov na pisnem delu poklicne mature iz angleščine v treh zaporednih spomladanskih rokih (prim. Meglič 2010: 57).
Leto	Št. kand.	1	2	3	4	5	uspeh	pov. oc.
2007	3372	87	546	1388	1071	283	3288	3,3
		(2,6)	(16,2)	(41,2)	(31,8)	(8,4)	(97,5)	
2008	3256	102	522	1148	1058	426	3154	3,4
		(3,1)	(16,0)	(35,3)	(32,5)	(13,1)	(96,9)	
2009	3011	70	526	1153	893	369	2941	3,3
		(2,3)	(17,5)	(38,3)	(29,7)	(12,3)	(97,8)	
Legenda
Stolpec »leto« Stolpci »1-5« Stolpec »uspeh« Stolpec »pov. oc.«
Leto opravljanja mature
Število in odstotek kandidatov, ki so dobili oceno 1, 2 „5 glede na leto Število in odstotek uspešnih kandidatov glede na leto Povprečna ocena glede na leto
Razlike med rezultati spomladanskega roka poklicne mature iz angleščine v letih 2007, 2008 in 2009 pokažejo, da je število nezadostnih ocen leta 2008 naraslo, v letu 2009 pa padlo na raven, nižjo od tiste iz leta 2007. V letu 2009 je
234 VESTNIK ZA TUJE JEZIKE
poklicno maturo uspešno sicer zaključil največji odstotek kandidatov v opazovanem obdobju. Povprečna ocena v vseh treh spomladanskih rokih ostaja skoraj nespremenjena.
Precejšen delež kandidatov (nad dve tretjini) v vseh treh obdobjih dosega oceno 3 ali oceno 4, kar Državna predmetna komisija za poklicno maturo za angleščino (DPKPM ANG) pripisuje sestavi populacije, širokemu naboru različnih programov in tudi usklajenosti poklicne mature s katalogi znanja. Z vsebinskega vidika lahko tudi poklicno maturo torej opredelimo kot tip izpita, ki preverja tako raven jezikovne zmožnosti kot tudi znanje vsebin, doseženo v času izobraževanja in pogojeno s Katalogom znanja. Tudi za izpit iz angleščine na poklicni maturi je torej moč trditi, da je kombinacija prvin t. i. testov uspešnosti (angl. achievement) in testov aktivnega znanja (angl. proficiency) (Alderson et al. 1995: 12, Bachman 1990: 71, McNamara 2000: 7). Upoštevaje vprašanja iz jezika stroke, ki jih kandidati dobijo na ustnem delu izpita, pa ga lahko deloma uvrstimo celo med teste za posebne namene (angl. specific purposes) (Alderson et al. 1995: 12).
Vidimo, da razlike med rezultati glede na rok ali leto opravljanja niso velike. Kandidati so v opazovanih obdobjih najbolj uspešni na spomladanskem izpitnem roku, kar je povezano s strukturo populacije, ki poklicno maturo opravlja v posameznih rokih. DPKPM ANG je v Letnem poročilu 2009 (Meglič 2010: 56-59) zapisala, da raznolikost populacije, ki opravlja poklicno maturo iz angleščine, kliče k razmisleku o uvedbi dveh ravni zahtevnosti izpita, kakršni že pozna splošna matura iz angleščine.
3.5.2. Težavnost pisnega izpita v obdobju 2005-2009
Primerjava posameznih delov dosedanjih izpitnih rokov je težavna z več vidikov:
•	predmetni izpitni katalog za poklicno maturo iz angleščine dopušča širok nabor nalog in ne določa tipov nalog v posameznem izpitnem kompletu, zato se isti tip naloge ne ponavlja na vsakem izpitnem roku;
•	test preverja znanje na več področjih (bralno razumevanje, poznavanje in raba jezika, pisno in govorno sporočanje);
•	ker naloge niso predtestirane oziroma pilotirane, je konstantnost ravni zahtevnosti v celoti odvisna od sestavljavcev testa;
•	test vsebuje tudi naloge z razmeroma odprtimi vprašanji, katerih vrednotenje je odvisno od usposobljenosti in standardiziranosti ocenjevalcev;
•	Državni izpitni center (Ric) pri poklicni maturi statistično obdela le vzorec populacije v spomladanskem izpitnem roku.
Za analizo smo uporabili podatke, ki jih zbira in obdela Ric s pomočjo naključno izbranega vzorca šol, ki zaobseže od 4 do 8 % populacije (v opazovanem obdobju to znaša med 184 in 240 izpitnimi kompleti spomladanskega izpitnega roka). Spodnja tabela predstavlja povprečne vrednosti indeksa težavnosti za posamezne dele pisnega dela izpita po letih.
S. Bitenc Peharc, V. Rot Gabrovec, A. Stopar, A. Tratnik: UMESTITEV IZPITOV IZ ANGLEŠČINE NA ... 
235
Leto	bralno razumevanje (IP1-A)	poznavanje in raba jezika (IP1-B)	pisno sporočanje (IP2)	pisni test skupaj
2005	0,77	0,65	0,76	0,73
2006	0,79	0,61	0,78	0,74
2007	0,75	0,51	0,75	0,69
2008	0,85	0,49	0,73	0,7
2009	0,83	0,47	0,72	0,69
Povprečje petih let	0,80	0,55	0,75	0,71
Zgornje podatke smo dodatno obdelali, pri čemer nas je zanimalo, ali se rezultati bistveno razlikujejo po letih in ali se skupni rezultat testa bistveno razlikuje od njegovih posamičnih delov. Za analizo smo uporabili statistično testiranje hipotez s porazdelitvijo %-kvadrat (Čibej 1988, Ferligoj 1981). Rezultati so pokazali naslednje:
•	Dvostranski test %-kvadrat pove, da se rezultati signifikantno (p=0,05) razlikujejo po letih.
•	Enostranski % -kvadrat test pove le, da obstajajo signifikantne razlike (p=0,05) med celotnim rezultatom in drugim delom izpita (poznavanje in raba jezika).
Razlike po letih, ki so razvidne iz zgornje tabele in so statistično signifikan-tne, v zadnjih treh letih v opazovanem obdobju torej kažejo slabše rezultate na pisnem delu testa. Iz zbranih podatkov žal ni razvidno, ali so taki rezultati posledica zahtevnejših izpitnih pol, slabše pripravljenih kandidatov ali česa drugega. K popolnejši analizi bi nedvomno pripomogle sidrne naloge, torej umerjene naloge, ki se skozi leta ponavljajo, in sistematično opravljeno predtestiranje.
Druga ugotovitev, ki sledi iz statistične analize, pa pokaže signifikantno slabše rezultate pri delu izpita, ki vsebuje naloge o poznavanju in rabi jezika. Rezultati poklicne mature v opazovanem obdobju torej nedvoumno potrjujejo, da imajo kandidati na poklicni maturi glede na celoten pisni test največ težav s poznavanjem in rabo jezika (»slovnico«), medtem ko za ostale dele izpita tega ne moremo trditi. Predmetni izpitni katalog, ki stopa v veljavo z letom 2011, je težišče preverjanja pri prvi izpitni poli prenesel na bralno razumevanje, zato je pričakovati, da rezultati posameznega dela izpitnega kompleta ne bodo več bistveno odstopali od rezultata celotnega pisnega dela.
4. SKUPNI ZAKLJUČKI IN PRIMERJAVA SPLOŠNE IN POKLICNE MATURE 4.1. Splošno
Nekaj pomembnih razlik med splošno in poklicno maturo je:
•	splošna matura ne predvideva izpitnih vprašanj iz jezika stroke;
236 VESTNIK ZA TUJE JEZIKE
•	splošna matura in poklicna matura se razlikujeta glede na pričakovano raven zahtevnosti po SEJO;
•	na razlike med kandidati, ki opravljajo splošno in poklicno maturo, opozarja razmeroma nizek uspeh kandidatov s poklicne mature, ki se odločijo opravljati izpit iz angleščine kot dodatnega maturitetnega predmeta splošne mature;
•	maturi se razlikujeta po shemi in sestavi izpita, kar je glede na opredeljene cilje posameznih izpitov tudi razumljivo;
•	na poklicni maturi kandidati izbirajo med matematiko in angleščino, zato k izpitu iz angleščine na poklicni maturi pristopi le približno tretjina kandidatov, ki opravljajo maturo;
•	na poklicno maturo se zaradi raznolikih programov strokovnega izobraževanja prijavlja bolj heterogena populacija;
•	Predmetni izpitni katalog za poklicno maturo, Angleščina za leto 2011 (Košir et al. 2009) ukinja preverjanje poznavanja in rabe jezika in ta del izpitne pole nadomešča z dodatnimi nalogami iz bralnega razumevanja, medtem ko splošna matura ohranja naloge poznavanja in rabe jezika;
•	tudi novi Predmetni izpitni katalog za splošno maturo, Angleščina (Forštner et al. 2010) je bil - podobno kot tudi prejšnji - ob nastajanju usklajevan z veljavnim učnim načrtom za angleščino na gimnazijah in je sledil priporočilom SEJO;
•	predmetni izpitni katalog na poklicni maturi je usklajen s Katalogom znanja iz leta 2007 (gl. Gospodarič et al. 2007), ki je enoten za vse tuje jezike.
4.2. Primerjava po vodilih EALTE
Primerjava je opravljena na izbranih in za potrebe tega prispevka prirejenih vodilih (gl. EALTA Guidelines for Good Practice in Language Testing and Assessment 2010), ki jih je pripravila EALTA, Evropska zveza za testiranje in preverjanje znanja pri jezikih, in sicer tako za praktične potrebe učiteljev jezikov, obenem pa tudi za uporabo v različnih izpitnih centrih in drugih institucijah, ki se ukvarjajo s testiranjem.
4.2.1. Splošne značilnosti
a.	Kako jasna je specifikacija izpita?
•	Splošna matura (SM) in poklicna matura (PM): Specifikacije za izpitno polo nastajajo in se dopolnjujejo v času trajanja projekta, do sedaj je namesto specifikacije služil vsakoletni predmetni izpitni katalog.
b.	Kakšni so cilji?
•	SM: Kandidati dokazujejo, da dosegajo standarde znanja, ki so določeni s cilji gimnazijskega programa; splošna matura je obenem zaključni izpit za pridobitev srednje izobrazbe in preizkus usposobljenosti kandidatov za univerzitetni študij.
•	PM: Kandidati dokazujejo, da dosegajo standarde znanja, ki so določeni v predmetnem izpitnem katalogu, ki je skladen s Katalogom znanja; kandi-
S. Bitenc Peharc, V. Rot Gabrovec, A. Stopar, A. Tratnik: UMESTITEV IZPITOV IZ ANGLEŠČINE NA ... 
237
dati z opravljeno poklicno maturo pridobijo srednjo strokovno izobrazbo, hkrati pa lahko nadaljujejo študij na terciarni ravni, na strokovnih in drugih visokošolskih inštitucijah.
c.	Na koliko ravneh lahko kandidati opravljajo izpit?
•	SM: Na osnovni in višji ravni.
•	PM: Raven je le ena.
č. Kako je izpit vrednoten?
•	SM: 80 % izpita je vrednoteno eksterno, 20 % interno. Dve vprašanji za interni del pripravi Državna predmetna komisija za splošno maturo za angleščino (DPKSM ANG), eno pa učeči učitelj.
•	PM: Izpit vrednotijo učitelji interno, vendar na podlagi eksternih moderira-nih navodil za ocenjevanje in meril, objavljenih v predmetnem izpitnem katalogu. Ocenjevalci se redno usposabljajo na standardizacijskih seminarjih.
d.	Kdo so kandidati? Koliko jih je?
•	SM: gimnazijci, ki so uspešno končali četrti letnik; kandidati, ki so uspešno opravili maturitetni tečaj; kandidati, ki sicer opravljajo poklicno maturo; tisti, ki v letu, v katerem opravljajo maturo, dopolnijo najmanj 21 let. Vsako leto splošno maturo iz angleščine opravlja med 8000 in 9000 kandidatov.
•	PM: Kandidati srednjega tehniškega in drugega strokovnega izobraževanja, poklicno-tehniškega izobraževanja in poklicnega tečaja. Poklicno maturo iz angleškega jezika vsako leto opravlja približno 3000 kandidatov.
e.	Katere jezikovne zmožnosti preverja izpit?
•	SM: Branje, pisanje, poslušanje in govorjenje, produkcija in recepcija.
•	PM: Branje, poznavanje in raba jezika (do leta 2011), pisanje in govorjenje, produkcija in recepcija.
f.	Kdo sestavlja izpit, kakšne izkušnje imajo sestavljavci?
•	SM: DPKSM ANG; dolgoletni profesorji angleščine z opravljenim strokovnim izpitom, ki učijo v gimnazijskih programih; komisijo praviloma vodi predstavnik oddelka za anglistiko ene izmed slovenskih univerz.
•	PM: Državna predmetna komisija za poklicno maturo za angleščino (DP-KPM ANG); dolgoletni profesorji angleščine z opravljenim strokovnim izpitom; praviloma komisija vključuje predstavnika Zavoda RS za šolstvo (ZRSŠ) in predstavnika oddelka za anglistiko ene izmed slovenskih univerz.
g.	Kakšnega izobraževanja so deležni sestavljavci?
•	SM in PM: Udeležba na občasnih izobraževanjih, ki jih organizira Ric; samoiniciativna (pogosto samoplačniška) udeležba na izobraževanjih v tujini.
h.	Kakšna je raven izpita glede na SEJO? Kako je bila določena?
•	SM: Raven se pravkar določa v okviru projekta umestitve izpitov iz angleščine glede na SEJO, del katerega je tudi usposabljanje presojevalcev - eksper-
238 VESTNIK ZA TUJE JEZIKE
tov, analiza statističnih podatkov in presoja vseh izpitnih pol. Projekt še ni končan. Trenutna ocena ravni je B2 (več v točki 5.).
•	PM: Raven se pravkar določa v okviru projekta umestitve izpitov iz angleščine glede na SEJO, del katerega je tudi usposabljanje presojevalcev - ekspertov, analiza statističnih podatkov in presoja vseh izpitnih pol. Projekt še ni končan. Trenutna ocena ravni je B1 (več v točki 5.).
4.2.2. Zagotavljanje kakovosti izpitnih pol in celotnega poteka izpita
a.	So izpitne naloge pilotirane/predtestirane? Kje in na kakšnem vzorcu?
•	SM: Naloge za izpitne pole so bile nekaj let pilotirane s pristankom Rica, danes se ustanova nekoliko distancira. Tedaj in danes je izvedba pilotiranja takorekoč zasebni projekt članov komisije, ki si prizadevajo za večjo kakovost izpitnih pol. Danes se iz iste želje pilotiranje nadaljuje in še vedno poteka kot interni projekt članov in članic komisije. Vzorec niha med približno 60 in 120 kandidati, saj pilotiranje posega v redno delo, zaradi zagotavljanja tajnosti pa ne more biti opravljeno večkrat v istem razredu.
•	PM: Naloge niso pilotirane/predtestirane. Delno pilotiranje je bilo izvedeno le pred uvedbo nekaterih novih tipov nalog iz bralnega razumevanja. Piloti-ranje je bilo izvedeno samoiniciativno in na premajhnem vzorcu (zaradi zagotavljanja tajnosti in obremenjenosti članic DPKPM ANG, ki imajo dostop do ustrezne populacije).
b.	Kakšne podatke se zbira pri pilotiranju (npr. mnenja učiteljev, kandidatov ...)?
•	SM: Ker pri pilotiranju sodeluje le majhno število posebej izbranih učiteljev, se mnenja učiteljev posebej ne zbira. (Že oddane izpitne pole so sicer kasneje anonimno pregledane s strani dveh profesorjev angleščine, njune pripombe obravnava komisija na svojih sejah). Mnenja kandidatov se ne zbira, ker le-ti niti ne vedo, da opravljajo pilotiranje nalog.
•	PM: Ko je bilo izvedeno pilotiranje, se je zbiralo zgolj statistične podatke. Mnenja učiteljev komisija dobi prek Rica, ki za vsak izpitni komplet pridobi ocene dveh profesorjev, pregledovalcev kompletov.
c.	Kdo obdela pri pilotiranju pridobljene podatke? Kakšne povratne informacije
dobijo sestavljalci testov?
•	SM: Pridobljene podatke je v DPKSM ANG v letih 2007-2009 obdelala glavna ocenjevalka s pomočjo programa, ki ga je dobila na Ricu. Podatke je komisija obravnavala na svojih rednih sejah.
•	PM: Podatke je obdelala DPKPM ANG. Mnenja pregledovalcev izpitnih kompletov komisija obravnava na svojih rednih sestankih.
č. Kako so po izpitnem obdobju obdelane uporabljene naloge?
•	SM: Naloge statistično obdela strokovna služba na Ricu, podatki so na voljo tudi DPKSM ANG, ki redno poda analizo izpitnih pol. Rezultati so zanimivi retrospektivno, žal pa premalo uporabljivi, saj nimamo sidrnih nalog.
S. Bitenc Peharc, V. Rot Gabrovec, A. Stopar, A. Tratnik: UMESTITEV IZPITOV IZ ANGLEŠČINE NA ... 
239
•	PM: Ric obdela le vzorec spomladanskega izpitnega roka in o podatkih obvesti DPKPM ANG. Podatki komisijo silijo v razmislek o oblikovanju prihodnjih nalog, sicer pa se predmetna komisija za poklicno maturo sooča s podobnimi težavami kot komisija za splošno maturo.
d.	Kako izpit odseva veljavne učne načrte in evropske dokumente?
•	SM: predmetni izpitni katalogi, ki so bili pripravljeni za leta 2007-2010, so bili pisani v skladu s tedaj veljavnim učnim načrtom, le-ta pa je upošteval smernice in priporočila Evropskega sveta.
•	PM: predmetni izpitni katalogi morajo biti usklajeni s Katalogom znanja, o čemer poda mnenje tudi ZRSŠ. Predmetni izpitni katalog za 2011 upošteva tudi nekatere smernice (predvideva raven B1).
e.	Ali obstajajo gradiva za pripravo na izpit?
•	SM: Posebnih gradiv za pripravo na maturo ni, če ne štejemo predmetnega izpitnega kataloga in zbirke izpitnih pol iz preteklih let ter predpisanih književnih besedil. Kandidati se pripravljajo s pomočjo potrjenih učbenikov, ki se uporabljajo v gimnazijskem programu, in morebitnih dodatnih gradiv (filmov, časopisnih člankov, spletnih gradiv) po presoji učitelja.
•	PM: Primeri nalog so v predmetnem izpitnem katalogu, obstajajo zbirke ustreznih vaj, potrjeni učbeniki in gradiva, ki jih pripravijo profesorji. Predpisanih gradiv ni.
f.	Ali obstaja izobraževanje za učitelje, ki učijo v programih za opravljanje izpita?
•	SM: Splošno izobraževanje učiteljev poteka v okviru seminarjev za stalno strokovno spopolnjevanje, ki ga v Sloveniji organizirajo Filozofska fakulteta v Ljubljani, ZRSŠ in drugi. Učitelji, ki so zunanji ocenjevalci, se dodatno izobražujejo na seminarjih - standardizacijah v organizaciji Rica.
•	PM: Izvajajo se redna (standardizacijska) usposabljanja v organizaciji ZRSŠ, ki so v zadnjih letih potekala dvakrat letno (po potrebi v dvojni izvedbi). Učitelji se jih morajo udeleževati enkrat na tri leta, če želijo ohraniti status ocenjevalca.
5. POSTAVLJANJE STANDARDOV V SKLADU S »SKUPNIM EVROPSKIM JEZIKOVNIM OKVIROM«
5.1. Uvod
Državni izpitni center je jeseni 2008 začel izvajati projekt »Umestitev izpitov iz angleščine v Skupni evropski referenčni okvir za jezike«, ki ga delno financirata Evropski socialni sklad in Ministrstvo za šolstvo in šport. Cilj projekta je omogočiti mednarodno primerljivost ravni zahtevnosti slovenskih izpitov iz angleščine na vseh ravneh izobraževanja in vsem, ki izpite opravijo, olajšati mobilnost, posredno pa tudi povratno vplivati na poučevanje in učenje tujih jezikov. V okviru pro-
240 VESTNIK ZA TUJE JEZIKE
jekta s strokovnjaki za jezikovno testiranje umeščamo slovenske izpite iz angleščine (nacionalno preverjanje znanja v devetletni osnovni šoli, izpita na poklicni in splošni maturi ter izpita za odrasle) v skladu s skupnimi evropskimi standardi za jezike, zapisanimi v dokumentu »Skupni evropski jezikovni okvir« (The Council of Europe 2001).
Pri izvedbi projekta sledimo postopkom, ki jih priporoča Svet Evrope in so podrobneje opisani v Priročniku o umeščanju jezikovnih izpitov v Skupni evropski jezikovni okvir - v nadaljevanju Priročnik (The Council of Europe 2009). V pomoč so nam tudi druga strokovna gradiva (The Council of Europe 2004, Cizek 2001, Cizek in Bunch 2007, drugi dokumenti in priporočila Sveta Evrope).
Do konca leta 2010 smo s pomočjo sredstev ESS in MŠŠ zaključili dobro polovico vseh aktivnosti, ki so potrebne za dokončen zaključek projekta. Standardizirali bomo receptivne zmožnosti omenjenih izpitov (bralno razumevanje, poznavanje in raba jezika in slušno razumevanje). Da bi cilj projekta dosegli v celoti, bi morali standardizirati še produktivne zmožnosti (pisanje in govorjenje) in standardizacijo zaključiti z validacijo.
Pri izvedbi aktivnosti sodelujemo s slovenskimi strokovnjaki za jezikovno testiranje in z mednarodno uveljavljenim strokovnjakom dr. Spirosom Papageor-giousom z ameriške Univerze iz Michigana (nekateri rezultati so predstavljeni v Papageorgiou 2009).
5.2. Skupni evropski jezikovni okvir (SEJO)
SEJO je danes eden najpomembnejših dokumentov na področju učenja, poučevanja in vrednotenja jezikovnega znanja v Evropi. Uporablja se kot referenčni vir pri nastajanju učnih načrtov, testov znanja, izpitov in učbenikov. Uporabo jezika opisuje z vidika spretnosti, strategij in kompetenc, ki jih mora govorec razviti za uspešno komunikacijo na posameznih področjih (poklicno, javno, zasebno ali izobraževalno).
Skupni evropski jezikovni okvir opredeljuje tudi ravni zahtevnosti, na katerih komunikacija poteka. Znanje razdeli v šest osnovnih ravni zahtevnosti in opisuje, kaj govorec na posamezni ravni zna. Te ravni so opredeljene od nižje proti višji kot:
•	A1: Breakthrough,
•	A2: Waystage,
•	B1: Threshold,
•	B2: Vantage,
•	C1: Effectiveness in
•	C2: Mastery.
Ker v slovenščini še nimamo objavljenega prevoda tega dokumenta, terminologija še ni dokončno ustaljena. Imena ravni (A1-C2) uporabljamo pri postavljanju standardov, v sebi pa združujejo opise posameznih ravni. Za opis posameznih spretnosti, strategij in kompetenc govorca je v SEJO objavljenih še 54 podrobnih lestvic.
S. Bitenc Peharc, V. Rot Gabrovec, A. Stopar, A. Tratnik: UMESTITEV IZPITOV IZ ANGLEŠČINE NA ... 
241
5.3.	Postavljanje standardov
Postopek postavljanja standarda temelji na odločanju o razvrstitvi kandidatov na osnovi informacij, ki jih dobimo s testiranjem. Razvrstimo jih lahko v različne kategorije (npr. ni opravil, zadovoljivo opravil, dobro opravil, odlično opravil) ali pa ugotavljamo, koliko kandidatov je doseglo oziroma ni doseglo postavljenega standarda. Minimalno število točk predstavlja mejo med tistimi, ki standard dosežejo, in tistimi, ki ga ne.
Postopek postavljanja standardov, ki je jedro postopka umeščanja izpitov v skupni evropski jezikovni okvir, je natančno opisan v Priročniku in v Dodatku (The Council of Europe 2004, 2009).
Postopek postavljanja standardov mora biti veljaven. Za zagotavljanje postopkovne, notranje in zunanje veljavnosti sledimo predpisanim postopkom in zbiramo dokumente in podatke o natančnosti in doslednosti rezultatov. Za zagotavljanje zunanje veljavnosti smo se odločili za dve metodi postavljanja meje. Končno mejo postavimo po primerjanju mej po obeh metodah.
V postopku postavljanja standardov slovenskih izpitov iz angleščine sodelujejo strokovnjaki s področja jezikovnega testiranja, t. i. presojevalci (angl. judges). Ti se na osnovi strokovnih podlag, diskusij in statističnih podatkov odločajo o razvrstitvi postavk v posameznem testu/nalogi. Vsako postavljanje standarda se izvede dvakrat, saj presojevalci pred končno odločitvijo vedno razpravljajo in soočijo mnenja.
5.4.	Uporabljena metodologija raziskovanja
5.4.1.	Izbor presojevalcev
Projektna ekspertna skupina sestoji iz 11 presojevalcev, tj. učiteljev angleščine v srednji oziroma osnovni šoli, visokošolskih učiteljev angleščine Univerze v Ljubljani ter dveh strokovnih koordinatoric projekta. Presojevalci imajo dolgoletne izkušnje na področju jezikovnega testiranja in so, ali pa so bili, kot člani ene od predmetnih komisij za pripravo izpitov iz angleščine (splošna matura, poklicna matura, izpiti za odrasle, nacionalno preverjanje znanja) vključeni v sistem preverjanja in ocenjevanja znanja na državni ravni.
5.4.2.	Uporabljeni metodi za standardizacijo izpitnih nalog
Za standardizacijo nalog sta bili izbrani dve uveljavljeni metodi, Basket in Angoff. Pri metodi Basket presojevalci ocenijo, na kateri ravni po SEJO kandidat lahko odgovori na zastavljeno vprašanje/testno postavko (The Council of Europe 2009: 75). Metodo Basket smo uporabili, ker je praktična, jasna in preprosta za uporabo, kar smo prepoznali kot njeno pozitivno prednost. Pri drugi metodi, tj. metodi Angoff, presojevalci vzamejo 100 mejnih kandidatov med dvema ravnema (npr. med B1 in B2), z drugimi besedami, 100 kandidatov, ki bi ravno »prestopili« mejo B1 in dosegli raven B2. Izbrane ravni se določijo na osnovi tega, na katero raven se izpit po specifikaciji umešča. Podobno kot pri prvi metodi, tudi pri Angoff metodi presojevalci za vsako testno postavko posebej določijo, koliko od 100 mejnih
242 VESTNIK ZA TUJE JEZIKE
kandidatov bi to postavko rešilo pravilno (npr. 76 od 100), pri čemer je verjetnost pravilnega reševanja postavke osnovana na imaginarni skupini 100 kandidatov (The Council of Europe 2009: 61). Kljub temu, da metoda Angoff temelji na subjektivni presoji vsakega presojevalca o tem, kdo je mejni kandidat, velja ta metoda za najpogosteje uporabljeno in najbolj znanstveno raziskano standardizacijsko metodo.
5.4.3.	Gradivo
Za vsako standardizacijsko srečanje posebej koordinatorici projekta pripravita gradivo za presojevalce; to vključuje opisnike SEJO za posamezno zmožnost, naloge z rešitvami in navodili za ocenjevanje, posnetek govorjenih besedil pri umeščanju nalog slušnega razumevanja, obrazec za metodo Basket in obrazec za metodo Angoff. Presojevalci gradivo prejmejo po e-pošti praviloma teden dni pred sestankom.
5.4.4.	Delo presojevalcev
Pred vsakim sestankom presojevalci naredijo nalogo seznanjenja z opisniki po SEJO; to je naloga, pri kateri presojevalci posameznemu opisniku za neko zmožnost dodelijo ustrezno raven (npr. opisnik za slušno razumevanje: Can catch the main point in short, clear, simple messages and announcements - A2). Seznanjenje z opisniki in dobro poznavanje le-teh je nujno za določanje ravni zahtevnosti posameznih testnih postavk pri neki izpitni nalogi/izpitu. Na stan-dardizacijskem srečanju presojevalci pregledajo korelacijo svojih ocen z ravnmi opisnikov po SEJO. Opisnikom, pri katerih so odstopanja večja od ene ravni, posvetijo posebno pozornost in skušajo ugotoviti razloge in utemeljitve za razhajanja.
Presojevalci nato pogledajo rezultate prvega kroga obeh metod (dodeljene ocene ravni SEJO, korelacije) za konkretne izpitne naloge, pri čemer si izmenjajo mnenja o težavnosti in dodeljenih ocenah za vsako posamezno postavko. Ob tem utemeljijo tudi, zakaj so neko testno postavko umestili na določeno raven. Za obe metodi se po prvem krogu izračuna tudi meja za neko raven (npr. B1) za posamezno zmožnost; ta je orientacijska in presojevalcem služi za osnovo za umeščanje nalog v drugem krogu. V drugem krogu presojevalci ponovijo postopek umeščanja vseh postavk na neko raven, pri čemer po lastni presoji posamezni postavki lahko dodelijo isto raven kot v prvem krogu ali pa svojo oceno spremenijo. Po drugem krogu se opravijo analize korelacij, postavi pa se tudi dokončna meja za neko raven.
Presojevalci na naslednjem sestanku uvodoma najprej pogledajo in diskutira-jo o rezultatih drugega kroga, postavljeni meji in korelacijah.
S. Bitenc Peharc, V. Rot Gabrovec, A. Stopar, A. Tratnik: UMESTITEV IZPITOV IZ ANGLEŠČINE NA ... 
243
6. REZULTATI STANDARDIZACIJE NALOG NA SPLOŠNI IN POKLICNI MATURI
6.1. Splošna matura na osnovni ravni
Zmožnost, izpitna pola	Bralno razumevanje	Slušno razumevanje	Poznavanje in raba jezika
Število nalog in testnih postavk	2 nalogi, 20 postavk	2 nalogi, 14 postavk	3 naloge, 37 postavk
Število kandidatov	1022	8294	6061
Število možnih točk	20	14	37
Najmanjše število točk in odstotnih točk za dosego ravni B2	16 80 %	11 79 %	26 70 %
Število in delež kandidatov na ravni B2	446 kandidatov, 44 %	4538 kandidatov, 55 %	1288, 21 %
Zanesljivost določanja praga za raven B2	a Basket = 0,94 a Angoff = 0,97	a Basket = 0,92 a Angoff = 0,98	a Basket = 0,96 a Angoff = 0,98
6.2. Splošna matura na višji ravni
Zmožnost, izpitna pola	Bralno razumevanje	Slušno razumevanje	Poznavanje in raba jezika
Število nalog in testnih postavk	2 nalogi, 20 postavk	2 nalogi, 14 postavk	3 naloge, 47 postavk
Število kandidatov	89	8294	2240
Število možnih točk	20	14	47
Najmanjše število točk in odstotnih točk za dosego ravni B2	16 80 %	11 79 %	39 72 %
Število in delež kandidatov na ravni B2	76 kandidatov, 85 %	4538 kandidatov, 55 %	1123 kandidatov, 68 %
Zanesljivost določanja praga za raven B2	a Basket = 0,91 a Angoff = 0,93	a Basket = 0,92 a Angoff = 0,98	a Basket = 0,93 a Angoff = 0,98
244 VESTNIK ZA TUJE JEZIKE
6.3. Poklicna matura
Zmožnost, izpitna pola	Bralno razumevanje	Slušno razumevanje	Poznavanje in raba jezika
Število nalog in testnih postavk	2 nalogi, 15 postavk	/	2 nalogi, 15 postavk
Število kandidatov v vzorcu	184	/	176
Število možnih točk	15	/	15
Najmanjše število točk in odstotnih točk za dosego ravni B1	13 87 %	/	9 60 %
Število in delež kandidatov na ravni B1	111 kandidatov, 60 %	/	53 kandidatov, 30 %
Zanesljivost določanja praga za raven B1	a Basket = 0,91 a Angoff = 0,97	/	a Basket = 0,90 a Angoff = 0,95
6.4. Povzetek rezultatov umeščanja
V postopku postavljanja standardov so se potrdile predvidene ravni zahtevnosti izpitov: maturitetna izpita na splošni maturi se uvrščata na raven B2, izpit na poklicni maturi pa na raven B1. Vendar velja opozoriti, da pragovi za pozitivno oceno na maturi niso enaki pragovom za dosego ravni B2 na splošni maturi oziroma ravni B1 na poklicni maturi.
Raven B2 na splošni maturi na osnovni ravni dosežejo kandidati, ki pri slušnem razumevanju zberejo najmanj 79 % točk, pri bralnem razumevanju najmanj 80 % točk, pri poznavanju in rabi jezika pa 70 % točk oziroma 72 % točk na višji ravni. Če združimo rezultate splošne mature za obe ravni, potem pri slušnem razumevanju raven B2 doseže 55 % vseh kandidatov, pri bralnem razumevanju 47 % vseh kandidatov in pri poznavanju in rabi jezika 29 % vseh kandidatov, ki opravljajo splošno maturo.
Raven B1 na poklicni maturi dosežejo kandidati, ki pri bralnem razumevanju zberejo najmanj 87 % točk in pri poznavanju in rabi jezika 60 % točk. Slušno razumevanje se na poklicni maturi ne preverja. Pri bralnem razumevanju B1 raven doseže 60 % kandidatov v vzorcu, pri poznavanju in rabi jezika pa 30 % kandidatov v vzorcu.
7. ZAKLJUČEK
V članku smo primerjali splošno in poklicno maturo in najprej opozorili na nekatere sistemske in vsebinske razlike med njima, nato pa predstavili del rezultatov projekta umeščanja obeh izpitov v skupni evropski jezikovni okvir (SEJO).
S. Bitenc Peharc, V. Rot Gabrovec, A. Stopar, A. Tratnik: UMESTITEV IZPITOV IZ ANGLEŠČINE NA ... 
245
Raven po SEJO, ki ju je za oba izpita določila ekspertna skupina presojevalcev, v veliki meri ustreza ravni, ki ju za angleški jezik na splošni in poklicni maturi predvidevata predmetna izpitna kataloga in učni načrt oziroma katalog znanj: splošna matura je bila umeščena na raven B2, poklicna matura pa na raven B1. Vendar raven B2 na splošni maturi oz. raven B1 na poklicni maturi po do sedaj zbranih ocenah doseže manj kot polovica vseh kandidatov, ki opravljajo ta dva izpita.
Kljub zadovoljivim prvim rezultatom umeščanja njihova interpretacija zahteva nekoliko previdnosti. Umeščanje izpitov je potekalo na le enem izpitnem kompletu pri posameznem izpitu, zato je na temelju rezultatov opisanega projekta težko trditi, da bi bili rezultati enaki tudi pri umeščanju vseh ostalih doslej uporabljenih izpitnih kompletov oziroma kompletov, ki se bodo na obeh izpitih pojavljali v prihodnosti. Rezultate bi lažje zagovarjali, če bi se sestavljavci izpitnih nalog lahko naslonili na sistemsko urejeno predtestiranje ali pilotiranje. Boljšo primerljivost med različnimi testi, različnimi populacijami oziroma generacijami bi lahko zagotovile tudi sidrne naloge, vendar te v sistemu testiranja, ki vključuje javno objavo izpitnih kompletov po njihovi uporabi na izpitu, žal niso mogoče. Ob sistemskih težavah ne smemo pozabiti niti na dejstvo, da se bosta zasnovi splošne in poklicne mature v prihodnjih letih vsebinsko spreminjali.
Iz ugotovljenega je razvidno, da je projekt umeščanja izpitov po opisnikih SEJO koristen vir podatkov za refleksijo o obstoječih izpitih in razvoju izpitnega sistema. Pri podobnem delu v prihodnje bi bilo smiselno sodelovanje s šolskimi sistemi onkraj slovenskih meja, ki bi lahko potekalo na več ravneh. Ekspertne skupine v tujini bi lahko prispevale ocene slovenskih izpitnih kompletov, s čimer bi vsaj delno odgovorili na pogosto zastavljeno vprašanje, ali »so moje ravni SEJO res enake tvojim?«. Nadalje bi bilo smiselno tudi preverjanje izpitnih nalog na večji populaciji ali, dolgoročno, celo ustanovitev skupne (mednarodne) banke nalog. Oboje bi bistveno prispevalo k evropski primerljivosti, kar je navsezadnje tudi eden od namenov skupnega evropskega jezikovnega okvira.
LITERATURA
ALDERSON, J. Charles/Caroline CLAPHAM/Dianne WALL (1995) Language test instruction and evaluation. Cambridge, New York, Melbourne, Madrid, Cape Town, Singapore, Sao Paulo: Cambridge University Press. BACHMAN, Lyle F. (1990) Fundamental Considerations in Language Testing. Oxford:
Oxford University Press. BACHMAN, Lyle F., Adrian S. PALMER (1996) Language Testing in Practice: Designing and Developing Useful Language Tests. Oxford: Oxford University Press. BAEBLER, Jasna et al. (ur.) (2008) Predmetni izpitni katalog za splošno maturo, angleščina, 2010. Ljubljana: Državni izpitni center. CIZEK, Gregory J. (ur.) (2001) Setting Perfomance Standards, Concepts, Methods, and Perspectives. Mahwah, New Jersey, London: Lawrence Erlbaum Associates, Publishers.
246 VESTNIK ZA TUJE JEZIKE
CIZEK, Gregory J./Michael B. BUNCH (2007) Standard Setting, A Guide to Establishing and Evaluating Performance Standards on Tests. Thousand Oaks, London, New Delhi: SAGE Publications.
ČIBEJ, Jože A. (1988) Matematika: Verjetnostni račun in statistika. Ljubljana: DZS.
EALTA Guidelines for Good Practice in Language Testing and Assessment. 30. avgust 2010. http://www.ealta.eu.org/guidelines.htm.
FERLIGOJ, Anuška (1981) Razvrščanje v skupine z omejitvami. Ljubljana: Inštitut za matematiko, fiziko in mehaniko, Fakulteta za naravoslovje in tehnologijo.
FORŠTNER, Milena et al. (ur.) (2010) Predmetni izpitni katalog za splošno maturo, angleščina, 2012. Ljubljana: Državni izpitni center.
FRIŠ, Darko (ur.) (2009) Letno poročilo, Splošna matura 2009. Ljubljana: Državni izpitni center.
HUGHES, Arthur (2002) Testing for Language Teachers. Cambridge: Cambridge University Press.
GOSPODARIČ Katarina, et al. (2007) SSI + PTI, Katalog znanja, tuji jezik in drugi jezik na narodnostno mešanem območju (408 ur). 22. avgust 2010. http://www. zrss.si/pdf/PPSI_SSI_PTI%20Tuji%20jezik%20in%20Drugi%20jezik.pdf.
KOŠIR, Metka/Nives KREUH/Andrej STOPAR (ur.) (2009) Predmetni izpitni katalog za poklicno maturo, angleščina, 2011. Ljubljana: Državni izpitni center.
KOŠIR, Metka, et al. (2007) Predmetni izpitni katalog za poklicno maturo, angleščina, 2009. Ljubljana: Državni izpitni center.
MADSEN, Harold S. (1983) Techniques in Testing. Oxford: Oxford University Press.
MCNAMARA, Tim (2000) Language Testing. Oxford: Oxford University Press.
MEGLIČ, Janja (ur.) (2010) Letno poročilo za poklicno maturo 2009. Ljubljana: Državni izpitni center.
PAPAGEORGIOU, Spiros (2009) Setting Cut Scores on the Common European Framework of Reference: Workshop Results for the Matura. Neobjavljeno tehnično poročilo.
Splošna matura, Statistični podatki. 20. oktober 2010. http://www.ric.si/splosna_ma-tura/statisticni_podatki/
ŠIMENC, Marjan (ur.) (2007) Letno poročilo, Splošna matura 2007. Ljubljana: Državni izpitni center.
The Council of Europe (2009) Relating Language Examinations to the Common European Framework of Reference for Languages: Learning, Teaching, Assessment (CEFR). A Manual. Strasbourg: Language Policy Division.
The Council of Europe (2004) A Reference Supplement. Strasbourg: Language Policy Division.
The Council of Europe (2001) Common European Framework of Reference for Languages: Learning, Teaching, Assessment. Strasbourg: Council of Europe, Modern Languages Division.
VOGEL, Jerca (ur.) (2008) Letno poročilo, Splošna matura 2008. Ljubljana: Državni izpitni center.
S. Bitenc Peharc, V. Rot Gabrovec, A. Stopar, A. Tratnik: UMESTITEV IZPITOV IZ ANGLEŠČINE NA ... 
247
WEIR, Cyril (1990) Communicative Language Testing. New York, London, Toronto,
Sydney, Tokyo, Singapore: Prentice Hall. Zakon o maturi, Uradni list Republike Slovenije, št. 1/2007 z dne 5. 1. 2007. Ljubljana: Uradni list Republike Slovenije.
POVZETEK
Umestitev izpitov iz angleščine na splošni in poklicni maturi v skupni evropski jezikovni okvir
Članek najprej primerja nekatere vidike slovenske splošne in poklicne mature iz angleščine, nato pa predstavi del rezultatov projekta »Umestitev izpitov iz angleščine v Skupni evropski referenčni okvir za jezike«, ki je potekal v obdobju 2008-10.
Ključne besede: SEJO, splošna matura, poklicna matura, umestitev izpitov ABSTRACT
Slovene Secondary School-Leaving English Exams and CEFR
The article first compares various aspects of two Slovene school-leaving English examinations - the general matura and the vocational matura - and then presents some results of a project conducted in the years 2008-10 titled "Relating English examinations to the Common European Framework of Reference for Languages."
Keywords: CEFR, general matura, vocational matura, relating exams