86     SODOBNA PEDAGOGIKA 5/2006
Dr. Janez Sagadin
Metodolo{ki problemi meril za izbiro kandidatov za vpis na gimnazijo
Povzetek: Razprava obravnava nekatere metodolo{ke probleme in postopke dolo~anja (ocenjevanja) napovedne veljavnosti meril za izbiro kandidatov za vpis na gimnazijo, in sicer meril, ki so kombinacije u~nega uspeha (splo{nega in iz posameznih u~nih predmetov) iz osnovne {ole in rezultatov drugih, enkratnih preizkusov znanja (zunanjih preizkusov, sprejemnih izpitov). Pri tem opozarja tudi na pridr`ke/omejitve pri uporabi rezultatov {olskega ocenjevanja znanja kot prediktorjev (neodvisnih spremenljivk) in kot odvisnih spremenljivk (predikandov) v okviru korelacijskih in regresijskih postopkov. Opozarja tudi na problem, kako v merilih za izbiro kandidatov primerno uravnovesiti te`o uspeha iz osnovne {ole (splo{nega in ocen iz posameznih predmetov) in te`o rezultatov enkratnih zunanjih preizkusov znanja. Nakazuje mo`ne modele re{evanja tega problema in sploh problema meril za sprejem novincev v gimnazijo. Dotakne se tudi merila, ki bi vklju~evalo samo uspeh iz osnovne {ole.
Klju~ne besede: merilo za izbiro kandidatov (za vpis na gimnazijo), u~ni uspeh, uspeh/ocena iz posameznega predmeta, zunanji preizkus znanja, sprejemni izpit, napovedna veljavnost, neodvisna spremenljivka, odvisna spremenljivka, korelacija, regresija.
UDK: 37.012
Izvirni znanstveni prispevek
Dr. Janez Sagadin, redni profesor, Oddelek za pedagogiko in andragogiko, Filozofska fakulteta v Ljubljani, v pokoju; e-po{ta: janez.sagadin@guest.arnes.si
SODOBNA PEDAGOGIKA 5/2006, 86–97
87
1       Uvod
Vpra{anja prehoda u~encev iz osnovne {ole v gimnazijo in v srednje {ole nasploh so metodolo{ke, {olskosistemske, didakti~ne in {e druga~ne narave, so pa po svoje vedno aktualna; vpra{anja izbire kandidatov za vpis na gimnazijo, kadar je vpis omejen, pa so pri nas zadnja leta {e posebej v ospredju zanimanja strokovne in {ir{e javnosti, pri ~emer prihaja tudi do polemik o tem, kak{na merila pri izbiri kandidatov uporabljati.
V tem prispevku se bomo na kratko pomudili ob nekaterih metodolo{kih problemih (tudi o re{itvah, pridr`kih/omejitvah), s katerimi se sre~ujemo pri merilih za izbiro kandidatov za vpis na gimnazije pri nas, vklju~no in {e zlasti s problemi, povezanimi z napovedno (prognosti~no) veljavnostjo teh meril (v nadaljnjem besedilu: merila za izbiro kandidatov).
2       Problemi, re{itve, pridr`ki, omejitve
2.1   Pomisleki in omejitve, povezane z ocenjevanjem znanja
V  zvezi z uporabo uspeha (iz posameznih u~nih predmetov in splo{nega uspeha) iz osnovne {ole kot merila za izbiro kandidatov in pri ugotavljanju (ocenjevanju) napovedne veljavnosti tega merila se sre~ujemo z nekaterimi metodolo{kimi pomisleki in te`avami. Lestvica {olskih ocen ima pet stopenj (od ocene nezadostno oziroma 1 do ocene odli~no oziroma 5), znanje, ki naj bi ustrezalo posameznim ocenam, pa ni dovolj natan~no opredeljeno/normirano, kar velja seveda tudi za najni`jo pozitivno oceno, tako da lestvica nima niti jasnega spodnjega sidra pozitivnega ocenskega podro~ja. V takih okoli{~inah `e po naravi stvari nujno nastajajo razlike med u~itelji glede kriterijev ocenjevanja u~encev/dijakov in nihanje kriterijev pri istem u~itelju. To pa ni ugodna podlaga za uporabo rezultatov ocenjevanja po omenjeni lestvici v vlogah
88     SODOBNA PEDAGOGIKA 5/2006
J. Sagadin
neodvisnih1 in odvisnih spremenljivk v okviru statisti~nih postopkov dolo~anja napovedne veljavnosti spremenljivk, ki zahtevajo (namre~ postopki), da dosegajo spremenljivke, na katerih jih uporabimo, raven intervalnosti ter da je njihovo merjenje ~im manj obremenjeno z napakami in ~im bolj zanesljivo.
V zvezi z zahtevo po intervalnosti smo v zadregi, ali naj se odlo~imo za vpra{ljivo predpostavko, da so {olske ocene prave {tevilske in ekvidistantne vrednosti in da se jim torej omenjeni statisti~ni postopki, kar zadeva intervalnost, prilegajo. Zadrega je huda {e posebej v zvezi s splo{nim uspehom, ko izrazimo njegove kategorije {tevilsko (od 1 do 5) in predpostavimo, da smo pri intervalni spremenljivki. @al se kljub takim zadregam ne moremo vedno odre~i predpostavki o intervalnosti spremenljivk, kakr{ne so ocene oziroma uspehi iz posameznih u~nih predmetov in splo{ni uspeh, ker »obvoznic« na poti do dolo~enih empiri~nih ugotovitev preprosto ni. Tako je tudi pri ugotavljanju napovedne veljavnosti uspeha iz osnovne {ole za uspeh v gimnaziji. @e pri uporabi Pearsonovega koeficienta korelacije2 za ta namen gre za omenjeno predpostavko o intervalnosti spremenljivk ter o njihovem merjenju s ~im manj napakami in s ~im ve~jo zanesljivostjo. Tu je sicer »obvoznica« Pearsonov koeficient kontingence, toda za razne primerjave napovedne veljavnosti razli~nih neodvisnih spremenljivk ter za primerjanje rezultatov razli~nih raziskav je korelacijski koeficient primernej{i. Pri regresijski analizi napovedne veljavnosti neodvisnih spremenljivk pa kontingen~ni koeficient niti ni uporaben. (Naj tu mimogrede spomnimo, da je pri enostavni linearni regresiji, to je pri taki z eno neodvisno spremenljivko, korelacijski koeficient enak standardiziranemu regresijskemu koeficientu.)
Omenjena petstopenska lestvica (pri posameznih predmetih iz petih ocen, pri splo{nem uspehu iz petih kategorij), ki je za rabo v okviru regresijske analize tako `e sama kratka, pa je pri gimnazijskih novincih v splo{nem {e dodatno skr~ena prakti~no samo na vi{je tri stopnje, na nekaterih gimnazijah pa samo na zgornji dve stopnji; celo skr~itev (skoraj) samo na najvi{jo stopnjo ni povsem izvzeta. Zaradi omenjenega kr~enja se ni`ajo korelacije med neodvisnimi in odvisnimi spremenljivkami, kar {e bolj kot za celotno populacijo novincev velja za gimnazije, ki po takem kr~enju prednja~ijo, kot se je pokazalo `e pri raziskavi na generaciji gimnazijskih novincev 1966/673, ko {e niti ni bilo tolik{ne koncentracije novincev z vrhunskimi uspehi iz osnovne {ole, kot je na nekaterih gimnazijah danes. Kontrole nad tem, kako je s takimi vplivi, kolik{ni so, pa nimamo, ker skr~ene lestvice pri novincih namre~ ne moremo podalj{ati, ti prinesejo iz osnovne {ole uspehe, kakr{ne pa~ prinesejo.
1 V okviru postopkov napovedovanja (predvidevanja, ocenjevanja) vrednosti odvisnih spremenljivk na podlagi vrednosti neodvisnih spremenljivk je za neodvisne spremenljivke v splošni rabi tudi izraz prediktorji in za odvisne spremenljivke izraz kriteriji (ker je odvisna spremenljivka kriterij napovedne veljavnosti prediktorja). Odvisnim spremenljivkam se tu prilega tudi izraz predikandi.
2 Ko bomo kasneje govorili o korelaciji ali o korelacijskem koeficientu, bo šlo vedno za ta koeficient, razen tam, kjer bo razvidno, da gre za koeficient multiple linearne korelacije.
3 Gl. Sagadin 1968. Tudi vse druge ugotovitve iz omenjene raziskave, ki jih bomo še navedli, so v tem viru. Italijanski gimnaziji nista bili zajeti v raziskavo.
Metodolo{ki problemi meril za izbiro kandidatov za vpis na gimnazijo
89
Ob o~itanih pomanjkljivostih pa je treba {olskemu ocenjevanju znanja priznati tudi odlike v primerjavi z raznimi enkratnimi preizkusi istega znanja. Denimo, kon~na letna ocena u~en~evega znanja iz posameznega u~nega predmeta je rezultanta procesa ocenjevanja njegovega znanja skozi vse {olsko leto; v tem procesu je mo~ (~e ocenjevanje ustrezno ume{~amo v u~ni proces in izvajamo) fond u~en~evega znanja dale~ podrobneje sondirati kot s kak{nim enkratnim preizkusom ob koncu leta, zato ima tak{na kon~na ocena glede sondiranja in diagnosticiranja u~en~evega znanja prednost pred enkratnimi preizkusi. Povedano velja podobno za osnovno in srednjo {olo. Zato nas ne sme presenetiti, ~e se pri raziskavi izka`e, da uspeh iz osnovne {ole po korelaciji z uspehom v gimnaziji ali drugi srednji {oli preka{a dose`ke enkratnih drugih preizkusov osnovno{olskega znanja.4 Bolj za~udeni smo pravzaprav lahko takrat, ko ni tako. Tedaj se je treba {e bolj kot v obratnem primeru vpra{ati po vzrokih ugotovljenega, pri ~emer tudi ne smemo pozabiti na omenjeno kr~enje uspeha iz osnovne {ole na vi{je stopnje pri novincih in na morebitno prednost rezultatov drugih preizkusov znanja glede variabilnosti; oboje namre~ lahko pove~uje razliko med uspehom iz osnovne {ole in rezultati drugih preizkusov znanja glede korelacije z uspehom v gimnaziji.
V zvezi z lestvico {olskih ocen smo omenili, da znanje, ki naj bi ustrezalo posameznim ocenam, ni dovolj natan~no opredeljeno. Dodajmo, da tega problema tudi noben, mersko {e tako dodelan zunanji preizkus znanja sam po sebi ne re{uje, le izogne se mu lahko, ker za namene izbire kandidatov to~kovnih rezultatov pri zunanjem preizkusu ni treba spreminjati v {olske ocene.
2.2 Izbira/opredeljevanje neodvisnih in odvisnih spremenljivk ter s tem povezana izbira postopkov za analizo podatkov oziroma za dolo~anje napovedne veljavnosti neodvisnih spremenljivk
Kaj ugotovimo o napovedni veljavnosti nekih meril za izbiro kandidatov, je odvisno tudi od tega, kako izberemo oziroma opredelimo odvisno spremenljivko. ^e merila niso dovolj natan~no dolo~ena, pa je treba pri raziskavi o njihovi napovedni veljavnosti opredeliti tako neodvisne kot odvisne spremenljivke. Ugotovitve so tedaj odvisne od na{e odlo~itve glede spremenljivk obeh vrst.
Denimo, v ~asu omenjene raziskave (na generaciji gimnazijskih novincev 1966/67) sta bili merili za izbiro kandidatov uspeh pri sprejemnih izpitih iz sloven{~ine, matematike in tujega jezika ter uspeh iz osnovne {ole. Gimnazije pa niso bile v rabi teh meril poenotene, vsaka je imela glede tega proste roke. Ker postopek izbire kandidatov za vpis ni potekal po enotnih merilih, ki bi lahko bila neodvisne spremenljivke v okviru raziskave, je bilo treba neodvisne spremenljivke ustrezno opredeliti. Smiselno se je bilo odlo~iti za uspehe
4 Tu nismo mislili na posamezno gimnazijo ali drugo srednjo šolo, marve~ na populacijo gimnazij oziroma drugih srednjih šol, ~eprav se moramo ob podobnih ugotovitvah tudi na posamezni šoli vprašati po vzrokih. Pri tem je prav, da najprej pogledamo, kako je s kr~enjem uspeha iz osnovne šole, na zgornji konec ocenjevalne lestvice.
90     SODOBNA PEDAGOGIKA 5/2006
J. Sagadin
(ocene) iz matematike, sloven{~ine in tujega jezika (ki je bil zve~ine angle{ki in v manj{i meri nem{ki) pri sprejemnih izpitih ter za splo{ni uspeh5 in za uspehe (ocene) iz matematike, sloven{~ine, angle{~ine in nem{~ine iz 8. razreda tedanje osemrazredne osnovne {ole. Vsaki izmed teh neodvisnih spremenljivk je bilo treba ustrezno izbrati odvisno spremenljivko. Tako je bil za splo{ni uspeh iz 8. razreda osnovne {ole odvisna spremenljivka splo{ni uspeh v I. letniku gimnazije, za uspeh iz vsakega predmeta (tako za uspeh iz 8. razreda kot za uspeh pri sprejemnem izpitu) pa je bil odvisna spremenljivka uspeh iz ustreznega predmeta v I. letniku. Najvi{jo napovedno veljavnost je pokazal splo{ni uspeh. Vzor~na ocena korelacije med splo{nim uspehom iz 8. razreda in splo{nim uspehom v I. letniku je bila r = 0,653 in determinacijski koeficient r2 = 0,43 ter je torej bilo 43 % variance splo{nega uspeha v I. letniku pojasnjene s splo{nim uspehom iz 8. razreda oziroma z njegovo varianco. Splo{nemu uspehu so sledile ocene iz matematike, sloven{~ine in tujega jezika iz 8. razreda, ki so po napovedni veljavnosti preka{ale ocene sprejemnih izpitov, kar je veljalo najbolj za matematiko.6 [ole pa so se glede teh napovednih veljavnosti tudi razlikovale med seboj, tako da je bilo te`ko sklepati, kak{no merilo za izbiro kandidatov bi ustrezalo vsem gimnazijam. Na podlagi vseh tedanjih ugotovitev pa se je vendarle nakazovala kot mo`na re{itev, katere bistvo je bilo, da naj bi dajale gimnazije v izbirnem postopku prednost kandidatom z bolj{im splo{nim uspehom iz osnovne {ole, znotraj posamezne kategorije splo{nega uspeha pa kandidatom z bolj{imi ocenami iz matematike, sloven{~ine in tujega jezika. Na gimnazijah, ki bi ohranile sprejemne izpite, pa naj bi v okviru tega modela izbirnega postopka ocene iz matematike, sloven{~ine in tujega jezika iz osnovne {ole o sprejemu odlo~ale vsaj v enaki meri kot ocene sprejemnih izpitov. (Kako je bil pri tem opredeljen splo{ni uspeh, smo povedali `e v opombi 5.) Rezultatov raziskave na eni generaciji novincev pa ni bilo mogo~e mehani~no posplo{evati na naslednje generacije. Treba je bilo upo{tevati mo`nost variiranja rezultatov od generacije do generacije in s tem povezano potrebo, da se sprejemna merila od ~asa do ~asa znova raziskovalno preverja.
Tudi pri raziskavi, ki jo je opravil Boris Ko`uh na generacijah srednje{olskih novincev 1992/93, 1993/94 in 1994/95,7 je pokazal najvi{jo napovedno veljavnost splo{ni uspeh in tudi glede prednosti osnovno{olskih ocen iz posameznih predmetov   pred   rezultati   drugih,   enkratnih   preizkusov   osnovno{olskega
5 Splošni uspeh je bil pri raziskavi uporabljen v takile obliki: za odli~en uspeh mora imeti u~enec/ dijak ve~ odli~nih ocen kot prav dobrih in nobene nižje od ocene prav dobro, za prav dober uspeh ve~ odli~nih in prav dobrih ocen skupaj kot dobrih in nobene ocene zadostno, za dober uspeh ve~ višjih treh ocen skupaj kot ocen zadostno, pri zadostnem uspehu pa je ve~ zadostnih ocen kot višjih.
6 Rezultati so bili glede prednosti uspeha iz osnovne šole pred drugimi prediktorji podobni (avtorju tedaj dostopnim) rezultatom drugih raziskav v tedanji Jugoslaviji in tujini (gl. Sagadin 1968, str. 67–69).
7 Za te generacije je že veljalo tedaj uvedeno merilo za izbiro kandidatov (ob omejenem vpisu) v obliki vsote to~k, in sicer tehle treh vrst to~k: a) to~ke, dosežene pri zunanjih preizkusih znanja iz matematike in slovenš~ine (za vsak predmet je bilo možnih najve~ 40 to~k), b) to~ke, dosežene s seštevanjem splošnih uspehov in ocen iz matematike, slovenš~ine in tujega jezika od 5. do 8. razreda osnovne šole (možnih skupaj najve~ 80 to~k) in c) po 5 to~k za Vegovo in Cankarjevo priznanje.
Metodolo{ki problemi meril za izbiro kandidatov za vpis na gimnazijo
91
znanja je bilo podobno, le da so tedaj bili namesto sprejemnih izpitov zunanji preizkusi znanja iz matematike in sloven{~ine. Rezultati te raziskave tudi dobro ponazarjajo, kako lahko napovedne veljavnosti raznih prediktorjev variirajo od generacije do generacije. (Gl. Ko`uh 1997)
Obe omenjeni raziskavi sta bili opravljeni na ustreznih reprezentativnih vzorcih. Za ponazoritev, kako je napovedna veljavnost nekega merila za izbiro kandidatov odvisna tudi od tega, kako opredelimo merilo, in tudi od tega, kako opredelimo odvisno spremenljivko, glede na katero dolo~amo oziroma ocenjujemo napovedno veljavnost merila, pa nam lahko prav pride tudi manj{a, nereprezentativna skupina novincev. Seveda pa ne moremo delati posplo{itev v tem smislu, da bi vrednosti korelacijskih koeficientov in drugih koli~in, dobljenih na taki skupini, posplo{evali na celotno generacijo, iz katere je skupina. Posplo{ujemo lahko le ugotovitev, da je napovedna veljavnost nekega sprejemnega merila odvisna tudi od opredelitve tega merila in od opredelitve odvisne spremenljivke (predikanda). Tako bo tudi v nadaljevanju tega prispevka, skupina bo iz vpisne generacije 2002/03.8
V  na{em primeru (z nereprezentativnimi podatki) je bila korelacija med uspehom iz matematike iz 8. razreda osemrazredne osnovne {ole in uspehom iz matematike v I. letniku gimnazije r = 0,472 in determinacijski koeficient r2 = 0,223 ter je torej bilo 22,3 % variance uspeha iz matematike v I. letniku pojasnjene z varianco uspeha iz matematike iz 8. razreda.9
Korelacija med dose`kom pri zunanjem preizkusu znanja iz matematike (mo`nih je bilo najve~ 30 to~k) in med uspehom iz matematike v I. letniku je bila r = 0,313 in determinacijski koeficient r2 = 0,098 ter je bilo 9,8 % variance uspeha iz matematike v I. letniku pojasnjene z varianco dose`ka pri zunanjem preizkusu znanja.
Kaj pa ~e opredelimo neodvisno spremenljivko (prediktor) kot vsoto uspeha iz matematike iz 8. razreda in dose`ka pri zunanjem preizkusu znanja iz tega predmeta? Korelacija med to vsoto in uspehom iz matematike v I. letniku je bila r = 0,364 in determinacijski koeficient r2 = 0,132 ter je bilo 13,2 % variance uspeha iz matematike v I. letniku pojasnjene z varianco te vsote, kar je za 9,1 odstotne to~ke manj kot v primeru, ko je bil neodvisna spremenljivka samo uspeh iz matematike iz 8. razreda, in za 3,4 odstotne to~ke ve~ kot v primeru, ko je bil neodvisna spremenljivka samo dose`ek pri zunanjem preizkusu znanja.
V  tem primeru smo z vsoto neodvisnih spremenljivk glede napovedne veljavnosti na slab{em, kot ~e bi uporabili kot neodvisno spremenljivko (prediktor) samo uspeh iz matematike iz 8. razreda.
8 Tedaj je bilo merilo za izbiro kandidatov nekoliko spremenjeno v primerjavi z merilom v ~asu Kožuhove raziskave; 5. razred ni bil zajet, skupno število to~k za splošne uspehe in ocene iz matematike, slovenš~ine in tujega jezika od 6. do 8. razreda osemrazredne osnovne šole je bilo najve~ 60 ter prav toliko za zunanja preizkusa znanja iz matematike in slovenš~ine (za vsak predmet po 30 to~k).
9 Delež pojasnjene variance je majhen, vendar nas to tukaj ne zanima, ker nam ne gre za nobeno posploševanje tega rezultata.
92     SODOBNA PEDAGOGIKA 5/2006
J. Sagadin
Pri se{tevanju neodvisnih spremenljivk je namre~ tako, da se v korelaciji med vsoto in odvisno spremenljivko uveljavlja oziroma ponderira vsaka neodvisna spremenljivka sorazmerno s svojim standardnim odklonom. Za to korelacijo je ugodno, ~e z odvisno spremenljivko vi{je korelira neodvisna spremenljivka, ki ima ve~ji standardni odklon od druge neodvisne spremenljivke, in ~e je korelacija med neodvisnima spremenljivka ~im ni`ja.10 V na{em primeru teh ugodnosti ni bilo. Po korelaciji z odvisno spremenljivko je bil v prednosti uspeh iz matematike iz 8. razreda (0,472) pred dose`kom pri zunanjem preizkusu znanja (0,313), po standardnem odklonu pa je uspeh iz 8. razreda (0,70506) zelo zaostajal za dose`kom pri zunanjem preizkusu znanja (3,60312).11
K povedanemu dodajmo, da se (podobno kot pri vsoti dveh neodvisnih spremenljivk) tudi pri vsoti ve~ neodvisnih spremenljivk ponderira vsaka neodvisna spremenljivka sorazmerno s svojim standardnim odklonom ter da je za korelacijo vsote z odvisno spremenljivko ugodno, ~e z odvisno spremenljivko vi{je korelirajo neodvisne spremenljivke, ki imajo ve~je standardne odklone, in ~e so korelacije vsake neodvisne spremenljivke z vsako drugo neodvisno spremenljivko ~im ni`je.12
Dose`ek pri zunanjem preizkusu znanja je zaradi ve~je variabilnosti na bolj{em v primerjavi z uspehom iz 8. razreda glede mo`nosti uveljavljanja pri korelaciji z uspehom v I. letniku tako tedaj, ko nastopa sam kot neodvisna spremenljivka, kot tedaj, ko je v navadni vsoti skupaj z uspehom iz 8. razreda, ne glede na to, ali s to vsoto kaj pridobimo pri dele`u pojasnjene variance odvisne spremenljivke ali ne. Z vidika izbirnega postopka pa je bistveno, da ima dose`ek zunanjega preizkusa znanja, ~e je sprejemno merilo navadna vsota uspeha (ocene) iz 8. razreda in tega dose`ka, sorazmerno preveliko te`o pri izbiri kandidatov. Tu gre v bistvu za problem oziroma za neustrezno ravnanje, ko merimo znanje v dveh razli~nih merskih enotah, dobljena merska {tevila pa preprosto se{tejemo v navadno vsoto, kot da gre pri obeh merjenjih za isto mersko enoto.
Druga~e kot pri sprejemnem merilu v obliki navadne vsote neodvisnih spremenljivk je pri uporabi multiple linearne regresije, tu dobijo neodvisne spremenljivke ustrezne ponderje v obliki parcialnih regresijskih koeficientov.
Poglejmo, kak{en bi bil v na{em primeru izid pri uporabi multiple linearne regresije. Tu neodvisnih spremenljivk ne bomo se{teli v navadno vsoto, vsaka bo ostala samostojna. V na{em primeru je koeficient multiple linearne korelacije med uspehom iz matematike iz 8. razreda in dose`kom pri zunanjem preizkusu znanja kot neodvisnima spremenljivkama ter uspehom iz matematike v I. letniku kot odvisno spremenljivko R = 0,492 in ustrezni determinacijski
10 Do tega sklepa smo prišli na podlagi formule za korelacijo med vsoto dveh spremenljivk in tretjo spremenljivko. Takšno formulo in pot do nje gl. v Guilford 1968, str. 475, formula (A.49). Formula (A.50) za korelacijo med vsoto ve~ spremenljivk in neko spremenljivko je na strani 476.
11 Tu smo povzeli ra~unalniške rezultate, ne da bi jih kaj dodatno zaokroževali.
12 Do tega sklepa smo prišli na podlagi formule za korelacijo med vsoto ve~ spremenljivk in neko spremenljivko.
Metodolo{ki problemi meril za izbiro kandidatov za vpis na gimnazijo
93
koeficient R2 = 0,242 ter torej 24,2 % variance uspeha iz matematike v I. letniku pojasnjene z uspehom iz matematike iz 8. razreda in z dose`kom pri zunanjem preizkusu znanja, z njunim kombiniranim linearnim vplivom na to odvisno spremenljivko.13 Dele` pojasnjene variance se je pove~al v primerjavi z dele`em pojasnjene variance pri uporabi samo uspeha iz 8. razreda kot prediktorja za 1,9 odstotne to~ke, v primerjavi z dele`em pojasnjene variance pri uporabi vsote uspeha iz 8. razreda in dose`ka pri zunanjem preizkusu znanja kot prediktorja za 11 odstotnih to~k, v primerjavi samo z dose`kom pri zunanjem preizkusu znanja kot prediktorjem pa za 14,4 odstotne to~ke. ^e bi s podatki velikega vzorca, reprezentativnega za dolo~eno generacijo oziroma populacijo gimnazijskih novincev, pri{li do takih ugotovitev in ~e bi se morali odlo~iti za najprimernej{i prediktor pri matematiki, bi lahko sklepali, da bi bilo pravzaprav najbolje vzeti kot prediktor samo uspeh iz 8. razreda, saj z navadno vsoto uspeha iz 8. razreda in dose`ka pri zunanjem preizkusu znanja celo izgubimo na dele`u pojasnjene variance uspeha v I. letniku v primerjavi samo z uspehom iz 8. razreda kot prediktorjem, z multiplo linearno regresijo pa tudi ne pridobimo toliko, da bi se spla~alo muditi z njo. Seveda pa ni vedno tako.
Dodajmo {e, da je mo`no v primerih, kakr{en je bil tu, pri vzor~nih raziskavah tudi preizkusiti statisti~no zna~ilnost (signifikantnost) razlike med dele`em pojasnjene variance, ko uporabimo multiplo linearno regresijo, in dele`em, ko je samo uspeh iz 8. razreda prediktor.
Z omejitvijo na matematiko smo `eleli ponazoriti analizo podatkov na poti do odlo~itve glede izbire primerne neodvisne spremenljivke (prediktorja). Sedaj prehajamo h kombinacijam uspeha (splo{nega in iz posameznih predmetov) iz osnovne {ole in dose`kov pri zunanjih preizkusih znanja, ki so z vidika na{e doma~e prakse glede meril za izbiro kandidatov {e aktualnej{e.14
Pa vzemimo (da bo na{e preudarjanje preglednej{e) vsoto splo{nih uspehov in ocen iz sloven{~ine, matematike in tujega jezika od 6. do 8. razreda kot eno neodvisno spremenljivko, vsoto dose`kov pri zunanjih preizkusih znanja iz sloven{~ine in matematike pa kot drugo neodvisno spremenljivko.15 Kot odvisno spremenljivko pa bomo vzeli najprej splo{ni uspeh iz I. letnika. Korelacija med prvo neodvisno spremenljivko in odvisno spremenljivko je 0,274, med drugo neodvisno spremenljivko in odvisno spremenljivko 0,306 in med vsoto neodvisnih spremenljivk in odvisno spremenljivko 0,363 (determinacijski koeficient pa
13 Pri vzor~nih raziskavah upoštevamo, da vzor~na vrednost koeficienta multiple linearne ko-relacije ni nepristranska ocena populacijske vrednosti. Podobno velja tudi za kvadrat tega kore-lacijskega koeficienta oziroma za determinacijski koeficient. Zato uporabimo formulo (ali naredi to ra~unalnik), s katero dobimo primerno prilagojeno oceno determinacijskega koeficienta. Gl. ustrezno formulo npr. v Sagadin 2003, str. 291, in sicer formulo (319). Omenjena pristranskost upada z naraš~anjem velikosti vzorca in se ve~a z ve~anjem števila neodvisnih spremenljivk. Pri velikih vzorcih in pri samo dveh neodvisnih spremenljivkah razlika med prilagojeno in navadno vrednostjo R2 ni velika.
14 Kako je bil v ~asu, iz katerega so (nereprezentativni) podatki, ki jih tu uporabljamo, v merilo za izbiro kandidatov zajet uspeh iz osnovne šole in kako dosežki pri zunanjih preizkusih znanja, smo povedali že v opombi 8.
15 To se prilega merilu za izbiro kandidatov v ~asu, iz katerega so naši podatki.
94     SODOBNA PEDAGOGIKA 5/2006
J. Sagadin
0,132). Vse te korelacije so dokaj nizke, vendar nas to tukaj ne zanima, ampak je bistvena ugotovitev, da smo v tem primeru z vsoto neodvisnih spremenljivk pridobili na korelaciji z odvisno spremenljivko v primerjavi z uporabo samo ene neodvisne spremenljivke, kar pomeni, da je kot merilo za sprejem novincev v gimnazijo bolje kot samo prvo ali samo drugo neodvisno spremenljivko vzeti vsoto obeh. Za omenjeno pridobitev na korelaciji z odvisno spremenljivko je bila ugodna dokaj nizka korelacija (0,255) med neodvisnima spremenljivkama.
Z uporabo multiple linearne regresije pa bi v tem primeru bil koeficient multiple linearne korelacije R = 0,367 in determinacijski koeficient R2 = 0,135 ter bi torej pridobili pri dele`u pojasnjene variance odvisne spremenljivke v primerjavi z uporabo navadne vsote neodvisnih spremenljivk samo 0,3 odstotne to~ke. ^e bi na velikem reprezentativnem vzorcu ugotovili tako majhno pove~anje dele`a pojasnjene variance odvisne spremenljivke, bi to pomenilo, da je kot merilo za sprejem novincev bolje vzeti vsoto neodvisnih spremenljivk, katere uporaba je tehni~no preprosta, in da se ne spla~a muditi se s postopkom z uporabo multiple regresije.
Toda izid ni vedno tak{en. Denimo, pri `e omenjeni Ko`uhovi raziskavi na generacijah srednje{olskih novincev l992/93, 1993/94 in 1994/95 vzor~na ocena korelacije med vsoto to~k, ki je zajela splo{ne uspehe in ocene iz sloven{~ine, matematike in tujega jezika od 5. do 8. razreda (osemrazredne) osnovne {ole ter to~ke zunanjih preizkusov znanja iz matematike in sloven{~ine, kot neodvisno spremenljivko in splo{nim uspehom v I. letniku kot odvisno spremenljivko namre~ pri nobeni generaciji ni presegla korelacije med vsoto to~k (samo) iz osnovne {ole (vsota splo{nih uspehov in ocen iz sloven{~ine, matematike in tujega jezika od 5. do 8. razreda) kot neodvisno spremenljivko in splo{nim uspehom v I. letniku kot odvisno spremenljivko.16 (To~ke za Vegovo in Cankarjevo priznanje tu niso bile zajete.)
Sedaj bomo izvedli z na{imi podatki podobno analizo kot spredaj, le da bo tokrat odvisna spremenljivka vsota splo{nega uspeha ter ocen iz sloven{~ine, matematike in tujega jezika v I. letniku (spredaj je bila odvisna spremenljivka omejena samo na splo{ni uspeh v I. letniku). S tako opredeljeno odvisno spremenljivko je izid analize podatkov takle: korelacija med prvo neodvisno spremenljivko (vsota splo{nih uspehov in ocen iz sloven{~ine, matematike in tujega jezika od 6. do 8. razreda) in novo odvisno spremenljivko je 0,243; korelacija med drugo neodvisno spremenljivko (vsota to~k pri zunanjih preizkusih znanja iz matematike in sloven{~ine) in omenjeno odvisno spremenljivko je 0,454; korelacija med vsoto neodvisnih spremenljivk in odvisno spremenljivko je 0,426; koeficient multiple linearne korelacije med neodvisnima spremenljivkama in odvisno spremenljivko je 0,476. Vse te korelacije se razlikujejo o tistih, ki smo jih ugotovili, ko je bila odvisna spremenljivka omejena samo na splo{ni uspeh v I. letniku. S tem so se spremenile tudi vse napovedne veljavnosti: napovedni veljavnosti posameznih neodvisnih spremenljivk, napovedna veljavnost vsote
16 Tu sta tudi prediktorja pravzaprav vsoti ve~ spremenljivk, vendar to ne onemogo~a omenjene ponazoritve.
Metodolo{ki problemi meril za izbiro kandidatov za vpis na gimnazijo
95
neodvisnih spremenljivk in napovedna veljavnost neodvisnih spremenljivk, dolo~ena z uporabo multiple regresije. Tako smo si ponazorili tudi dejstvo, da je napovedna veljavnost merila za izbiro kandidatov odvisna tudi od tega, kako opredelimo odvisno spremenljivko (predikand), ne le od opredelitve merila samega.
Neodvisna spremenljivka v obliki vsote splo{nih uspehov ter ocen iz sloven{~ine, matematike in tujega jezika od 6. do 8. razreda se glede napovedne veljavnosti ni izkazala v primerjavi z drugo neodvisno spremenljivko, ne v zvezi z odvisno spremenljivko v obliki splo{nega uspeha v I. letniku ne v drugem primeru, ko je imela odvisna spremenljivka obliko vsote splo{nega uspeha ter ocen iz sloven{~ine, matematike in tujega jezika v I. letniku. Ta ugotovitev je vezana na na{e nereprezentativne podatke in je ne smemo posplo{evati. Hkrati je treba povedati, da izid za uspeh iz osnovne {ole ni vedno tako neugoden.17
Vedeti je treba, da je tudi neodvisna spremenljivka v obliki vsote splo{nih uspehov in ocen iz sloven{~ine, matematike in tujega jezika od 6. do 8. razreda pa~ vsota toliko neodvisnih spremenljivk, kolikor je v njej se{tevancev, in da z navadnim se{tevanjem neodvisnih spremenljivk ne pridobimo vedno na prognosti~ni vrednosti, kot smo ugotovili `e spredaj. Na primer ~e bi neodvisno spremenljivko opredelili samo kot vsoto splo{nega uspeha in ocen iz sloven{~ine, matematike in tujega jezika iz 8. razreda, bi z na{imi podatki bila korelacija te spremenljivke s splo{nim uspehom v I. letniku 0,497, z vsoto splo{nega uspeha in ocen iz sloven{~ine, matematike in tujega jezika v I. letniku pa 0,495, torej bi tako opredeljena neodvisna spremenljivka glede teh korelacij prehitela vsoto to~k pri zunanjih dveh preizkusih znanja, medtem ko je korelacija neodvisne spremenljivke v obliki vsote splo{nih uspehov in ocen iz sloven{~ine, matematike in tujega jezika od 6. do 8. razreda s splo{nim uspehom v I. letniku bila 0,274, z vsoto splo{nega uspeha in ocen iz sloven{~ine, matematike in tujega jezika v I. letniku pa 0,243, kar je bilo manj od ustreznih korelacij pri zunanjih preizkusih znanja. Toda ~e bi iz osnovne {ole vzeli v merilo za sprejem novincev v gimnazijo samo vsoto splo{nega uspeha in ocen iz sloven{~ine, matematike in tujega jezika iz 8. razreda, bi (lahko) imela vsota to~k pri zunanjih preizkusih znanja iz matematike in sloven{~ine v sprejemnem merilu preveliko te`o v primerjavi z uspehom iz osnovne {ole, zataknilo pa bi se tudi lahko pri razvr{~anju kandidatov za vpis. Druga~e bi bilo, ~e bi zajeli v merilo za izbiro kandidatov vsoto splo{nega uspeha in vseh {tevilskih ocen iz 8. razreda. Tedaj bi (z na{imi podatki) korelacija med tako zajetim uspehom iz 8. razreda in splo{nim uspehom v I. letniku bila 0,600, korelacija z vsoto splo{nega uspeha in {tevilskih ocen v I. letniku pa celo 0,652.
17 Denimo, v Kožuhovi raziskavi na reprezentativnih vzorcih iz zajetih generacij srednješolskih novincev se je, kot smo že videli, podobna neodvisna spremenljivka – v obliki vsote splošnih uspehov in ocen iz slovenš~ine, matematike in tujega jezika od 5. do 8. razreda – izkazala bolje kot neodvisna spremenljivka v obliki vsote, ki je zajemala poleg omenjenih splošnih uspehov in ocen od 5. do 8. razreda tudi to~ke zunanjih preizkusov znanja iz matematike in slovenš~ine. Tudi tam pa korelacije med vsoto omenjenih splošnih uspehov in ocen od 5. do 8. razreda ter splošnim uspehom v I. letniku niso bile visoke (0,40 za generacijo 1992/93, 0,45 za generacijo 1993/94 in 0,45 za generacijo 1994/95). (Gl. Kožuh 1997, str. 389.)
96     SODOBNA PEDAGOGIKA 5/2006
J. Sagadin
Pri se{tevanju splo{nega uspeha z ocenami iz sloven{~ine, matematike in tujega jezika si lahko zastavimo vpra{anje, ali je ustrezno spreminjati kategorije splo{nega uspeha v {tevilske vrednosti od 1 do 5 (pri kandidatih za vpis in pri sprejetih seveda ni vrednosti 1) ter ga na ta na~in po te`i v vsoti izena~evati z oceno iz posameznega predmeta. Tak{no ponderiranje kategorij splo{nega uspeha je manj sporno, ~e splo{nega uspeha ne se{tejemo le z ocenami iz navedenih treh predmetov, marve~ z vsemi {tevilskimi ocenami (kot smo spredaj `e naredili), ker v tem primeru pomeni ponder splo{nega uspeha v vsoti samo neke vrste »dodano vrednost« k tistemu, kar izra`a vsota vseh {tevilskih ocen.
3      Sklepne misli
Problem, kaj uporabiti v dana{njih razmerah kot merilo za izbiro kandidatov, je treba re{evati raziskovalno, pri ~emer so rezultati raziskav iz preteklosti lahko v pomo~, ni pa jih seveda mogo~e mehani~no prena{ati v dana{nji ~as. Napovedna veljavnost u~nega uspeha (splo{nega in iz posameznih predmetov) variira od generacije do generacije novincev in tudi znotraj iste generacije od {ole do {ole. Zato je treba napovedno veljavnost od ~asa do ~asa znova raziskovalno preverjati. Podobno velja za napovedno veljavnost rezultatov drugih preizkusov znanja. Napovedna veljavnost u~nega uspeha kot prediktorja (neodvisne spremenljivke) je odvisna tudi od tega, kaj vse zajamemo v tak{en prediktor, odvisna pa je tudi od tega, kako opredelimo odvisno spremenljivko (predikand). Spet velja podobno tudi za druge preizkuse znanja.
Ni vseeno, kako kombiniramo u~ni uspeh iz osnovne {ole in uspeh pri drugih preizkusih znanja v merilo za izbiro kandidatov; odlo~itev glede tega mora biti utemeljena z analizo napovednih veljavnosti u~nega uspeha, dose`kov pri drugih preizkusih znanja in mo`nih kombinacij obeh vrst uspehov. Na~elno je sicer smotrno imeti v merilu poleg neodvisne spremenljivke v obliki primerno zajetega uspeha iz osnovne {ole (splo{nega uspeha in ocen iz posameznih predmetov) tudi neodvisno spremenljivko v obliki dose`ka pri kakih drugih preizkusih osnovno{olskega znanja, kakr{ni so lahko dobro pripravljeni in izvedeni zunanji preizkusi znanja ali sprejemni izpiti. Toda prednost take kombinacije se vedno uresni~i, kot smo `e povedali, le z modelom multiple regresije, pri katerem dobijo neodvisne spremenljivke ustrezne ponderje (ute`i) v obliki parcialnih regresijskih koeficientov in s tem vsaka ustrezno te`o v izbirnem postopku. (Opozorili smo tudi na pridr`ke glede uporabe tega modela.) Poudarili in ponazorili smo tudi, da navadno se{tevanje neodvisnih spremenljivk ne pripelje vedno do zvi{anja napovedne veljavnosti merila za izbiro kandidatov. To moramo upo{tevati pri iskanju re{itev po tej poti.
V zvezi z raziskavo na generaciji gimnazijskih novincev 1966/67 smo nakazali {e mo`nost druga~ne re{itve, ki je bila prilagojena razmeram s tedanjimi sprejemnimi izpiti. Morda bi kazalo tudi v zvezi z zunanjimi preizkusi znanja iskati re{itev v podobnih smereh.
Da z navadnim se{tevanjem neodvisnih spremenljivk ne dose`emo vedno zvi{anja napovedne veljavnosti, moramo upo{tevati tudi pri merilu za izbiro
Metodolo{ki problemi meril za izbiro kandidatov za vpis na gimnazijo
97
kandidatov, ~e vanj vklju~imo samo uspeh iz osnovne {ole. Z vidika napovedne veljavnosti ni vseeno, kaj iz osnovno{olskega uspeha zajamemo v tako merilo oziroma kaj vse se{tejemo, ali npr. se{tevek zajame samo splo{ni uspeh in ocene iz zadnjega razreda ali iz ve~ razredov. Zgolj skrb za to, da bo merilo omogo~ilo razvrstitev kandidatov po uspehu in s tem tudi njihovo izbiro, ne zagotavlja, da bo izbira ustrezno opravljena tudi z vidika napovedne veljavnosti.
Pri na{i razpravi smo imeli v mislih metodolo{ke probleme meril za izbiro kandidatov ob omejenem vpisu z vidika celotnih vpisnih generacij. Implicitno pa smo nakazali tudi, da je te`ko sestaviti merila, ki bi ustrezala vsem gimnazijam enako in v zadostni meri. Poseben problem so v tem pogledu izbirne situacije na tistih gimnazijah, na katerih se za vpis mno`i~no prijavijo kandidati, ki so med seboj tako izena~eni po vrhunskih uspehih iz osnovne {ole in hkrati tudi po rezultatih pri sedanjih zunanjih preizkusih znanja, da lahko postaneta ti dve merili premalo ob~utljivi za razlike med kandidati in da bo zato te`ko izvesti njihovo izbiro samo po teh merilih ({e te`je pa samo po uspehu iz osnovne {ole). Za take situacije, ~e bodo nastajale, bo treba iskati izhod v dodatnem merilu ali merilih, ki bodo kandidate primerno diferencirala po znanju.
Pri vsem tem pa ne smemo pozabiti na mo`ne povratne vplive meril za izbiro kandidatov na osnovno {olo, na ugodne in neugodne vplive.
Literatura
Bucik, V. (1997). Osnove psiholo{kega testiranja. Ljubljana: Filozofska fakulteta.
Ferguson, G. A., Takane, Y. (1989). Statistical Analysis in Psychology and Education (6. izd.). New York etc.: McGraw-Hill.
Guilford, J. P. (1968). Osnovi psiholo{ke i pedago{ke statistike. Beograd: Savremena administracija.
Horst, P. (1971). Messung und Vorhersage: Eine Einführung in die psychologische Testtheorie. Weinheim, Berlin, Basel: Verag Julius Beltz.
Ko{melj, B. et al. (2001). Statisti~ni terminolo{ki slovar. Ljubljana: Statisti~no dru{tvo Slovenije in Statisti~ni urad Republike Slovenije.
Ko`uh, B. (1997). Dosedanje izku{nje z zunanjim testiranjem u~encev osnovne {ole. V zborniku: Kongres pedago{kih delavcev Slovenije: Programska prenova na{e osnovne in srednje {ole, str. 386–390. Portoro`: Zveza dru{tev pedago{kih delavcev Slovenije.
Pedhazur, E. J. (1997). Multiple Regression in Behavioral Research: Explanation and
Prediction (3. izd.). Fort Worth, Philadelphia etc.: Harcourt Brace College Publishers.
Sagadin, J. (1968). Prognosti~na veljavnost sedanjih meril za sprejem novincev v gimnazijo v SR Sloveniji. Ljubljana: Zavod za {olstvo SRS.
Sagadin, J. (1993). Poglavja iz pedago{ke metodologije (2. izd.). Ljubljana: Zavod Republike Slovenije za {olstvo in {port.
Sagadin, J. (2003). Statisti~ne metode za pedagoge. Maribor: Obzorja.
Tacq, J. (1997). Multivariate Analysis Techniques in Social Science Research: From Problem to Analysis. London etc.: Sage Publications.