Lijana Zaletel - Kragelj1, Maja Bresjanac2, Anton Grad3, Fajko Bajrovic4
Izkušnje ocenjevalcev pri ocenjevanju del, ki jih študentje Medicinske fakultete predložijo za Prešernovo nagrado
Experience of Reviewers of Student Research Works at the Ljubljana Faculty of Medicine
IZVLEČEK_
KLJUČNE BESEDE: Študentsko raziskovanje, raziskovalno delo, struktura, stil, ocenjevanje
Namen študentskega raziskovanja je pridobivanje tehničnih veščin na področju znanstvenoraziskovalnega dela. Pridobivanje le-teh je že od nekdaj privlačilo del študentov Medicinske fakultete Univerze v Ljubljani. Vsako leto zato nastane veliko raziskovalnih del. Ocenjevalci le-teh smo pri svojem delu v zadnjih nekaj letih naleteli na nekatere probleme. Ker svoje delo jemljemo resno, smo se odločili, da študentom in njihovim mentorjem posredujemo svoje izkušnje in opažanja.
ABSTRACT
KEY WORDS: student research, research work, structure, style, evaluation	209
The purpose of student research is to acquire technical skills in the field of scientific research. Becoming familiar with research techniques has always attracted students at the Faculty of Medicine, University of Ljubljana. Each year, many research works are therefore proposed for evaluation. However, the reviewers have encountered certain specific problems during their work and they have decided to present their experience and observations to the students and their advisors.
1	Doc. dr. Lijana Zaletel - Kragelj, dr.med., Katedra za javno zdravje, Medicinska fakulteta, Univerza v Ljubljani, Zaloška 4, 1525 Ljubljana; lijana.kragelj @nfuni-lj.si
2	Prof.dr. Maja Bresjanac, dr.med., Inštitut za patološko fiziologijo, Medicinska fakulteta, Univerza v Ljubljani, Zaloška 4, 1525 Ljubljana
3	Prof.dr. Anton Grad, dr.med., Katedra za nevrologijo, Medicinska fakulteta, Univerza v Ljubljani, Zaloška 7, 1525 Ljubljana
4	Izr. prof. dr. Fajko Bajrovic, dr.med., Inštitut za patološko fiziologijo, Medicinska fakulteta, Univerza v Ljubljani, Zaloška 4, 1525 Ljubljana
uvod
Raziskovalno delo je že od nekdaj privlačilo del študentov Medicinske fakultete Univerze v Ljubljani (MF UL). To je ob sila napornem programu študija medicine oziroma dentalne medicine vredno vsega občudovanja. Pregled števila del, ki so bila v zadnjih letih predložena v oceno, kaže, da se za nabiranje izkušenj na raziskovalnem področju odloči vsako leto približno desetina študentov MF UL obeh študijskih smeri.
Namen študentskega raziskovanja ni prispevanje k napredku spoznanj na področjih, na katerih študentje raziskujejo, temveč prvenstveno pridobivanje veščin (tehničnih) na področju znanstveno-raziskovalnega dela. Pri tem igra ključno vlogo mentor, saj je nje -govo poslanstvo, da nauči študente prvih kora -kov v znanstveno-raziskovalnem delu, njegova odgovornost pa je zato še večja. Proces je do neke mere podoben procesu v izobraževanju na ravni osnovne šole. Prvo leto šolanja namreč pusti na vsakem otroku neizbrisen pečat, ki se odraža tudi v nadaljevanju nje-2io govega izobraževanja. Učiti mlade ljudi je izjemno odgovorno delo. Za to si je treba vzeti dovolj časa, potrebno pa je imeti tudi dovolj pedagoških izkušenj. Ce se mentorji tega ne držimo, je razočaranje pri študentih lahko izjemno veliko. Da smo to trditev zapisali v prvi osebi množine ni naključje ali napaka, saj smo učitelji, ki smo se v zadnjih nekaj letih znašli v vlogi ocenjevalcev ali članov komisi -je, tudi mentorji.
V zadnjih nekaj letih smo ocenjevalci nalog pri svojem delu naleteli na nekatere probleme. Ker svoje delo jemljemo ali smo ga jemali skrajno resno, smo se odločili, da posredujemo svoje izkušnje in opažanja Komisiji za študijske zadeve, pa tudi študentom in njihovim mentorjem. Posredujemo pa tudi svoje predloge, na kaj moramo biti v proce -su študentskega raziskovanja pozorni in kako bi ocenjevalni postopek lahko izboljšali.
postopek ocenjevanja
Vsako leto ocenjujejo za Prešernovo nagrado predložene naloge trije ocenjevalci, ki priha -jajo praviloma s treh različnih področij medi -
cine. V zadnjih treh letih so bili to strokovnjaki s treh zelo različnih ključnih področij medicine: predklinične, klinične in javno-zdravstvene medicine. Ocenjevalci smo pri svojem delu neodvisni.
Vsako v oceno predloženo študentsko raziskovalno delo ocenjevalci ocenjujemo po Navodilih MF za študentske naloge za Prešernovo nagrado (1). Vsako od del ob predložitvi dobi svoj Ocenjevalni list, ki vsebuje prvine ocenjevanja, ki jih prikazuje tabela 1.
Vsako prvino ocenjevalec oceni z najmanj 0 in največ 5 točkami. Pomembnost dela, zani -mivost dela in obseg dela se pri tem ne ocenjujejo.
Kriteriji niso absolutni, zato se je v zadnjih letih izoblikoval poseben postopek izračunavanja končne ocene nalog za posamezno leto. Glede na izkušnje, pridobljene z analizo rezultatov ocenjevanja Prešernovih nalog v letih 2005 in 2006, smo sumarne rezultate za končno porazdelitev nalog pridobili po naslednjem postopku:
1.	ocene, ki jih oddajo ocenjevalci, se standar -dizira preko vseh ocenjevanih nalog za vsako kategorijo posebej;
2.	surove ocene na lestvici od 0 do 5 se nato pretvori v standardizirane ocene z aritmetično sredino 0 in standardno deviacijo 1;
3.	v naslednjem koraku se za vsako nalogo izračuna povprečje za vsako ocenjevano kategorijo preko vseh treh ocenjevalcev ter skupno povprečno oceno za celotno nalogo;
4.	na koncu se naloge razvrsti od tiste z najvišjo do tiste z najnižjo standardizirano oceno.
S pomočjo opisanega postopka se izognemo vplivu razlik v višini in razponu podanih ocen med različnimi ocenjevalci ter med katego -rijami. Brez uporabe standardizacije bi v konč -ni oceni lahko nesorazmerno prevladoval vpliv tistega ocenjevalca, ki je uporabljal najširši razpon ocen. S standardizacijo vsake kate -gorije ocenjevanja posebej na tak način izenačimo tudi vpliv ocen pri različnih oce-njevanih kategorijah.
Ocenjevalna komisija je vsako leto neko -liko spremenjena. Vsak ocenjevalec ima tri -letni mandat ocenjevanja, vsako leto pa se zamenja eden od ocenjevalcev.
1. Prvine ocenjevanja, ki jih vsebuje Ocenjevalni list postopka ocenjevanja del, ki jih študentje Medicinske fakultete predlože za Prešernovo nagrado.
Prvina ocenjevanja
Utemeljitev načrtovane raziskave Oblikovanje delovne hipoteze (implicitne ali eksplicitne) Ustreznost izbrane metode Razumljivost izbrane metode
Primernost izbranega števila poskusnih živali ali preiskovancev Prikaz rezultatov
Uporaba ustrezne statistične metode Avtorjeva kritičnost do lastnih rezultatov Avtorjeva kritičnost do rezultatov drugih avtorjev Razlaga lastnih rezultatov Dolžina povzetka Informativnost povzetka
Struktura povzetka (izhodišče, namen in hipoteze itd.) Razumljivost povzetka širšemu krogu bralcev Primernost dolžine besedila Kvaliteta slovenskega jezika Sistem citiranja Tveganost delovne hipoteze
Uvod Metode
Rezultati Razpravljanje
Povzetek
Splošna ocena naloge Literatura
Tveganost delovne hipoteze
opažanja ocenjevalcev
v	postopku ocenjevanja PO PREDPISANEM PROTOKOLU
Splošna načela
V	Merilih za ocenjevanje del, ki jih študentje Medicinske fakultete predlože za Prešernovo nagrado (v nadaljevanju Merila za ocenjevanje del), je prvo napotilo, da preve -rimo, ali je delo napisano v skladu s splošni -mi načeli in pravili, ki jih določata tako Medicinska fakulteta kot tudi Univerza v Ljubljani (2). Pri tem se upoštevajo naslednji dokumenti (3-5):
•	Pravilnik o podeljevanju Prešernovih nagrad študentom Univerze v Ljubljani;
•	dokument Mentorstvo in avtorstvo del, ki jih študentje Medicinske fakultete predlo-že za Prešernovo nagrado;
•	dokument Navodila za pisanje del, ki jih študentje Medicinske fakultete predlože za Prešernovo nagrado.
Študentsko raziskovalno delo, predloženo v oceno, mora po teh pravilih biti raziskava, njen končni rezultat pa bodisi novo, doslej še
neznano spoznanje, bodisi pomemben prispevek k doslej še ne dovolj utemeljenemu spoznanju. Tu pripominjamo, da je pri doktorskih nalogah popolnoma utemeljeno slediti temu načelu, pri študentskih nalogah pa je ocenjevanje, ali raziskava, ki jo je izvedel študent (ali več študentov), sledi temu načelu, prepuščeno mentorju. Glede na to, da gre pri študentskem raziskovanju prvenstveno za pridobivanje veščin (tehničnih) na področju znanstveno-raziskovalnega dela, mislimo, da temu načelu ni potrebno slediti v polni meri.
Splošna načela dopuščajo, da je študija lahko prospektivna ali retrospektivna, vendar pa je pri obeh oblikah potrebno paziti na metodološko ali statistično ustrezen pristop, ki bo omogočal verodostojno interpretacijo rezultatov. Še zlasti je treba to upoštevati pri retrospektivnih študijah, ki so bile v tem pogledu doslej najbolj pomanjkljive. Pogloblje -no razmišljanje o metodoloških vidikih štu -dentskih raziskav bomo podali v nadaljevanju svojih opažanj, na tem mestu pa bi radi opo -zorili na to, da premalo razmišljamo o tem, da je razvrstitev raziskav na prospektivne in retrospektivne le ena izmed možnih razvrsti-
1. opazovalne 2. opisne	ali
ali ekspermentalne analitične
4. incidenčne ali prevalenčne
8. za „ ( , ali za preverjanj hipotez
10. osredotočene: na učinek izpostavljenosti ali na izpostavljenost
3. presečne ali
»follow-up«
5. retrospektivne ali prospektivne ali brez usmeritve
eče na:
* individualnih podakih ali agregiranih podatkih
9. temelječe na: rutinskih podatkih ali podatkih posebne raziskave
11. se uporabljajo za: načrtovanje ali vrednotenje učinkovitosti ukrepa
12. se uporabljajo za: reševanje problema na: individualni ali populacijski ravni
Slika 1. Različne razvrstitve raziskav v medicini.
tev, še posebej če upoštevamo širino medicinskih raziskav v vsej njeni razsežnosti, ki zajema tako predkliniko in kliniko kot tudi javno zdravje. Vsako od teh področij ima svoje 212 posebnosti. Ce jih ne upoštevamo, lahko pri ocenjevanju študentom, ki so vložili v raziskovalno delo ob napornem študiju veliko naporov. Slika 1 povzema nekatere značilnosti medicinskih raziskav in s tem razvrstitve, ki jih poleg omenjene še poznamo (6-14). Zdi se nam smiselno, da opozorimo na ta problem, saj so se v preteklosti ocenjevalci znašli v precepu, kako sploh oceniti nalogo, ki ni tipična predklinična (eksperimentalna, v po -gojih laboratorijskega raziskovanja, za prever -janje hipotez), še posebej težavno pa je bilo ocenjevanje sicer maloštevilnih javnozdravs-tvenih raziskav oziroma raziskav, ki so vsebovale tako elemente kliničnega kot tudi javnozdravstvenega raziskovanja.
Različne zasnove (angl. designs) so sku -pek različnih, na sliki 1 predstavljenih značil -nosti medicinskih raziskav. Nabor teh zasnov bomo predstavili pri poglavju Metode.
Zadnja postavka v splošnih navodilih za ocenjevanje je, da bi moral raziskovalni prob -lem biti tak, da je z veliko verjetnostjo moč pričakovati tudi objavo v strokovnih časopisih. Te ocene ocenjevalci v luči drugega navodi -la, namreč tistega, ki pravi, da ne ocenjujemo pomembnosti, zanimivosti in obsega dela, ne
moremo podati. Naša naloga torej ni, da vrednotimo, ali je delo tako dobro izdelano in tako zanimivo, da bi bilo zanimivo za objavo v strokovnem časopisu. Predlagamo, da se ta postavka izloči iz navodil za ocenjevanje, osta -ne pa naj kot priporočilo mentorjem.
uvod
Ocenjevalci imamo pri poglavju Uvod običajno največ pomislekov zaradi preobširnosti. Pogosto je tudi preveč učbeniško teoretično napisan. Zavedamo se, da študent želi pred -staviti vse svoje znanje, ki ga je v času razi -skovanja pridobil v zvezi z vsebino svojega raziskovalnega dela, vendar to ne pomeni, da mora vse to znanje preliti na papir v Uvodu. Nasprotno, Uvod mora biti čim krajši. Znanje seveda študent uporabi, in to kasneje, v prav -zaprav najpomembnejšem poglavju svojega raziskovalnega dela - Razpravi, v katerem »razpre svoja krila« in pokaže vse svoje zna -nje, ko razpravlja o teoretičnih in praktičnih vidikih svoje raziskave in primerja rezultate svoje raziskave z rezultati drugih podobnih raziskav. Kako naj oblikujemo poglavje Uvod, nam morda najbolj nazorno pokažejo navodila avtorjem medicinske znanstveno-raziskoval -ne revije Croatian Medical Journal (CMJ) (15). Ta navodila smo izbrali kot primer, ker so zelo nazorna, saj je politika te revije mlade razi -
skovalce usmerjati pri pisanju znanstveno-ra -ziskovalnih člankov in jim pri tem pomagati, seveda če gre za dobro vsebino. Podlaga tem navodilom je visokošolski učbenik, katerega glavni avtor je glavni urednik te revije, ki v svetu postaja vedno bolj prepoznavna (16, 17). Revija je poleg tega tudi splošna, kar pomeni, da v njej objavljajo članke tako s področja predklinike kot tudi klinike in javnega zdravja. Dodatno pa imajo tudi t. i. »Student-CMJ« rubriko časopisa, ki je namenjena publi-ciranju študentskih raziskovalnih del. V skladu s prakso pomoči manj izkušenim avtorjem se zainteresiranim študentom v okviru tega nudi pomoč in vodenje skozi vse faze znanstvenoraziskovalnega procesa: od ideje preko razvoja hipoteze in zasnove raziskave, zbiranja podatkov, statistične analize, skiciranja članka, vse do korekcije končne verzije članka glede na zahteve recenzenta (18). V okviru tega so izdali tudi že študentske tematske številke (19). Z dovoljenjem glavnega urednika revije CMJ na sliki 2 vizualno predstavljamo, kako naj bi bilo stilistično oblikovano to poglavje.
Uvod začnemo s širšim kontekstom svojega dela in ga nato »ožimo« proti utemeljitvi, zakaj smo se lotili raziskovanja.
Student se mora pri pisanju Uvoda zavedati še, da v svoji nalogi (ne glede na to, ali gre za študentsko raziskovalno delo ali za doktorsko nalogo) nagovarja izobražene bralce, ki jim je potrebno predstaviti specifiko razi -skovanega problema.
Xi'iTti-ii'n -lOifcteTin- ¡^ycpj-li-j n gj it'll:: iff ill's IH-Ihljlv VjHnt f-.a.[) li pftirf trafcrri !□, k^jj: ¿d"fjt |jiL--J:ii;uIMi. i ¡rn v '>'.'	W
amoltirL l-.a «nou
p -Vi r-. r.v». k i - j . Einranirl Lnp*dtihJ
i ;J
Slika 2. Stilistična struktura poglavja Uvod. Povzeto in prirejeno po Guidelines for authors revije Croatian Medical Journal z dovoljenjem glavnega urednika (15).
Glede na Merila za ocenjevanje del bi morali v okviru Uvoda ocenjevati tudi, ali se morda vidi, kako je avtor načrtoval raziskavo, ker pa ta postavka smiselno bolj sodi v poglavje Metode, se bomo tega problema podrobneje lotili kasneje (2).
Utemeljitev načrtovane raziskave
V skladu s tem, kar smo pravkar razložili, se mora poglavje Uvod končati z utemeljitvijo načrtovane raziskave. Ocenjevalci to pogrešamo v številnih študentskih raziskovalnih nalogah. Včasih je ta del nato dodan naslednjemu poglavju naloge Namen in hipoteze, ki pa bi moral biti rezerviran prav za to -opis/predstavitev namena (in ciljev) raziskovanja in hipotez (če gre za raziskavo, ki je namenjena testiranju hipotez).
Na tem mestu moramo poudariti, da nam manjka postavka, pri kateri bi ocenili namen in cilje raziskave. Prav pri tem delu nalog imamo ponavadi velike probleme, saj je pogosto napisan precej zmedeno. Namen in cilj morata biti jasno zastavljena. Morda je lahko v oporo pri njunem oblikovanju naslednji namig:
•	namen raziskave je tisto, za kar si bomo v raziskavi prizadevali;
•	cilj raziskave je tisto, kar moramo med raziskavo doseči, da bi prizadevanja v čim večji meri uresničili.
Oblikovanje delovne hipoteze (implicitne ali eksplicitne)
Hipoteza ali domneva je naš predlog za razumevanje pojavov in procesov (naše mne -nje o povezanosti med pojavi, ki jih razisku -jemo). Lahko je ena sama, ali pa jih je več. Njeno oblikovanje načeloma temelji na predhodnih opazovanjih (raziskavah za postavlja -nje hipoteze), ali pa so razširitev že obstoječih znanstvenih teorij. Pri eksperimentalnih razi -skavah moramo hipotezo vedno imeti, pri nekaterih opazovalnih raziskavah pa ni nujno, saj so nekatere raziskave namenjene postav -ljanju, ne pa preverjanju hipotez. Pri tem tak -šne raziskave niso manj vredne, temveč so drugačne (njihov namen je drugačen). Primer takšnih raziskav so na primer študije prime -rov ali skupin primerov.
213
214
metode
Pri poglavju Metode ocenjevalci po sedanjem protokolu ocenjevanja ocenjujemo tri postavke: ustreznost izbrane metode, razumljivost izbrane metode in primernost izbranega števila poskusnih živali ali preiskovancev. V nadaljevanju se bomo podrobneje lotili razumljivosti izbrane metode in primernosti izbranega števila enot opazovanja, ustreznost izbrane metode pa težko ocenjujemo, saj bi morali biti strokovnjaki s posameznega področja, da bi lahko to korektno ocenili.
Preden predstavimo svoje izkušnje pri teh dveh postavkah, moramo opozoriti, da na samem začetku poglavja Metode pogosto pogrešamo preprost opis časovnih okvirov raziskave (kdaj se je začela in kdaj končala). Nekateri študentje raziskavo opravijo v enem šolskem letu, druge raziskave pa lahko potekajo več šolskih let.
Poleg tega na samem začetku tega poglavja pri večini nalog manjka še opredelitev zasnove raziskave. Res je, da je veliko raziskav (velika večina predkliničnih) eksperimentalnih, natančneje laboratorijskih poskusov, pri kliničnih in javnozdravstvenih raziskavah pa so zasnove lahko tudi drugačne. Nabor večine možnih zasnov raziskav je predstavljen na sliki 3.
Pri uvodnem opisovanju metod svetujemo, da študentje, ki opravljajo svojo raziskavo v okviru večjih raziskovalnih projektov/programov svojih mentorjev, to uvodoma napišejo in osnovni projekt/program v nekaj stavkih predstavijo.
Posebno pozornost pa bomo na koncu namenili še enemu vidiku, ki v sedanjem protokolu ocenjevanja še ni poseben element, po našem mnenju pa bi ga bilo v prihodnosti smiselno posebej umestiti v ocenjevanje - etičnemu vidiku raziskave.
Razumljivost izbrane metode
Pri ocenjevanju razumljivosti izbrane metode ponavadi ni velikih problemov, saj v tem delu poglavja Metode študentje ponavadi skrbno opišejo, kako so raziskavo izvedli.
Primernost izbranega števila poskusnih živali ali preiskovancev
Prav tako tudi pri ocenjevanju števila enot opazovanja (npr. poskusnih živali pri laboratorijskih eksperimentalnih raziskavah, preiskovancev/pacientov pri kliničnih raziskavah in opazovancev pri javnozdravstvenih raziskavah) ponavadi ni velikih problemov, saj je to število največkrat jasno prikazano, vendar pa svetujemo, da bi bilo vsaj pri bolj zapletenih
raziskave primerov ld č s kontrOlami	.,
pregledne presečne	.	kohortne raziskave
raziskave
ekološke raziskave
\ V
OPAZOVALNE _t_
ZASNOVE (TIPI) MEDICINSKIH RAZISKAV
T
EKSPERIMENTALNE
študije primerov in skupin primerov
laboratorijski poskusi	*	terenski poskusi
klinični poskusi
Slika 3. Nabor večine možnih zasnov raziskav pri raziskovanju v medicini.
zasnovah raziskav (običajno pri kliničnih in javnozdravstvenih raziskavah) smiselno dodati diagram poteka izbire enot za analizo (angl. flowchart).
Na tem mestu bi radi še enkrat opozorili na problem, na katerega večkrat opozarjamo - na različnost raziskovanja v predkliniki, kliniki ali javnem zdravju. V Navodilih za pisanje del, ki jih študentje Medicinske fakultete predlože za Prešernovo nagrado, je namreč pri navodilih za poglavje Metode pri statistični analizi napisano, da je najmanjše priporočeno število vzorcev vvsaki skupini 5 (n = 5) (5). To nikakor ne more veljati za klinične raziskave, sploh pa ne za javnozdravstvene. Pri obojih je potrebno veliko večje število enot opazovanja.
rezultati
Pri poglavju Metode ocenjevalci po sedanjem protokolu ocenjujemo prikaz rezultatov in uporabo statističnih metod.
Glede na Merila za ocenjevanje del bi morali v okviru Rezultatov ocenjevati tudi, ali je jasno, da so bile vse meritve dovolj natančne, in ali je pri prikazu upoštevana natančnost meritev (2). Ti dve postavki ocenjevalec, ki prihaja z drugega področja, kot je posamezna naloga, ki jo ocenjuje, ocenjuje relativno težko. V pomoč bi mu bilo, če bi študent v poglavju Razprava v posebnem podpoglavju, v katerem bi razpravljal o dobrih in slabih straneh svoje raziskave, razpravljal tudi o natančnosti svojih meritev.
Etični vidiki raziskave
V preteklosti smo se ocenjevalci srečevali s problemom, da nekatere študentske raziskave niso imele privoljenja Komisije za medicinsko etiko Republike Slovenije, kadar so bile enote opazovanja ljudje, oziroma Veterinarske etične komisije, kadar so bile opazovane enote poskusne živali, pa čeprav bi to bilo potrebno. V zvezi s tem svetujemo, da študentje in njihovi mentorji vložijo prošnjo za privolitev pri ustrezni etični komisiji še pred začetkom raziskave. To velja tudi za javno-zdravstvene raziskave. Tudi pri raziskavah, ki so del večjih raziskovalnih projektov/programov mentorjev, svetujemo, da se vloži prošnja. To je smiselno vsaj zaradi tega, da je raziskava zavedena pri ustrezni etični komisiji za vsak primer, če bi se pojavile kdaj kasneje kakšne nejasnosti. Se posebej to velja za raziskave na ljudeh. To svetujemo tudi pri razi -skavah, pri katerih študentje pregledujejo popise bolezni v preteklosti. Tudi pri tovrst -nih raziskavah se je treba zavedati problema varovanja osebnih podatkov. Morda bi bilo v Navodila MF za študentske naloge za Pre -šernovo nagrado smiselno dopisati, da je za vsako raziskavo, kjer se opazuje ljudi in posku -sne živali, treba imeti privoljenje ustrezne etične komisije, ter v Navodila za pisanje del, ki jih študentje Medicinske fakultete predlo -že za Prešernovo nagrado, da morajo študent -je v poglavju Priloge obvezno priložiti kopijo privoljenja ustrezne etične komisije.
Prikaz rezultatov
V tem poglavju se ne bomo spuščali v pripombe glede prikazovanja rezultatov, ki je specifično za posamezna raziskovalna področja, pač pa podajamo zgolj splošne pripombe.
Tako pri prikazovanju tabel (pravih tabel in preglednic) kot tudi pri prikazovanju slik (diagramov, shem, fotografij) smo prepogo- 215 sto naleteli na to, da študentje ne upoštevajo enega izmed najpreprostejših osnovnih pravil, čeprav jim ga vcepljajo že od samega začetka študija: vsaka tabela oziroma slika mora biti samo-pojasnjevalna (15). To pomeni, da mora biti njeno sporočilo popolnoma jasno, ne da bi brali besedilo, v katerega je umeščena. Upoštevati je potrebno tudi drugo osnovno pravilo - prikazi rezultatov se ne smejo pod -vojevati.
Pri tem se zastavlja vprašanje, kdaj uporabiti kakšen prikaz.
Tabelo ali preglednico (običajno povzetek več tabel v enem tabelaričnem prikazu) uporabimo takrat, kadar želimo predstaviti natančne vrednosti rezultatov, ki jih ne moremo povzeti v nekaj stavkih vezanega besedi -la. Tabelarični prikaz uporabimo tudi takrat, kadar želimo predstaviti primere v študijah primerov (15).
Pri tabelah se nam zdi smiselno poudariti še to, da mora vsaka tabela/preglednica imeti ustrezen naslov, ki je običajno umeščen nad tabelo/preglednico (nasprotno je pri slikah običajno umeščena pod sliko). Sicer pa
bodo študentom morda dobrodošli naslednji namigi:
•	izogibajte se besedam, ki se ponavljajo; vtem primeru jih zakodirajte, kodo/kode pa pojasnite v legendi (legenda je običajno umeščena pod tabelo);
•	elementi tabele naj bi bili organizirani tako, da se sorodni elementi berejo navpično po stolpcu in ne vodoravno po vrstici;
•	vsak stolpec, ki prikazuje numerične podatke, mora v naslovu imeti mersko enoto, ki se nanaša na vse podatke v tem stolpcu (15).
Uporaba ustrezne statistične metode
Pri uporabi statističnih metod smo zasledili trend, da se pri študentskih raziskovalnih nalogah vedno pogosteje uporabljajo statistične metode, ki močno presegajo raven dodiplomskega znanja. Naše mnenje je, naj študentje dodiplomskega študija uporabljajo le metode, ki se jih na tej ravni naučijo interpretirati. Uporaba različnih multivariantnih metod (multipla linearna ali logistična regre-sija, Coxova regresija) ali analize preživetja in analize ROC (od Receiver Operating Characteristics) krivulj je težko sprejemljiva, saj je izven obsega znanja te skupine študentov. Ce uporabijo takšno metodo v svoji nalogi, jim jo je izvedel nekdo drug in seveda tudi interpretiral, to pa ni namen študentskega razisko-
valnega dela. Sprejemljiva bi bila le v primeru, da študent raziskavo izvaja na podatkih, ki se rutinsko spremljajo, zaradi česar nima dela z zbiranjem podatkov, zato se lahko posveti učenju poglobljenih statističnih metod in njihove interpretacije in težo svojega raziskovalnega dela prenese na spoznavanje te metodologije. Za takšne primere bi bilo smiselno proučiti, ali bi bilo potrebno, da bi mentor to vnaprej utemeljil (npr. pri prijavi teme).
Pri opisovanju statističnih metod v poglavju Metode pogrešamo natančen seznam uporabljenih statističnih metod, pri čemer naj bi bilo pri posamezni postavki seznama opisano tudi, v katerem primeru je bila uporabljena določena metoda. Pri tem zelo natančen opis ni potreben, saj je statistična metoda, ki jo uporabi študent, orodje pri njegovem raziskovalnem delu in ne njegov smisel (15). Rav -ni statistične značilnosti (p-vrednosti) morajo biti vedno predstavljene tako v besedilu kot tudi v tabeli ali na sliki. Že več kot desetletje med medicinskimi statistiki velja, da naj bi bile prikazane natančne p-vrednosti, in to na tri decimalna mesta natančno.
Na koncu dodajamo še to, da se nam zdi smiselno, da bi postavko Uporaba ustrezne statistične metode prestavili v poglavje Metode, saj ocenjevanje uporabe ustreznosti izbrane/izbranih statističnih metod smiselno sodi tja.
Slika 4. Stilistična struktura poglavja Razprava. Povzeto in prirejeno po Guidelines for authors revije Croatian Medical Journal z dovoljenjem glavnega urednika (15).
razpravljanje
Pri metodah ocenjevalci po sedanjem protokolu ocenjevanja ocenjujemo tri postavke: avtorjevo kritičnost do lastnih rezultatov, avtorjevo kritičnost do rezultatov drugih avtorjev in razlago lastnih rezultatov.
Pri svojem delu smo ocenjevalci opazili, da študentje posvetijo pozornost predvsem razlagi svojih rezultatov, veliko manj primerjavi rezultatov svoje raziskave z rezultati podobnih raziskav doma in v tujini, še manj ali celo nič pozornosti pa ne posvetijo kritičnosti do svoje raziskave. To je zelo narobe, saj ni raziskave, ki bi imela le dobre strani, pač pa ima vsaka raziskava svoje slabe strani in ome -jitve. Teh se mora mladi raziskovalec v času svojega zorenja zavedati in jih v svoji nalogi tudi zapisati.
Za izboljšanje strukture tega poglavja raziskovalnih nalog ponovno uporabljamo sli -kovno predstavitev stilistične oblike, kot jo predlaga revija CMJ (slika 4).
Avtorjeva kritičnost do lastnih rezultatov
V tem delu razprave študent jasno poda svoje videnje slabih strani in omejitev svoje raziskave in ali se je zavedal morebitnih artefaktov. To naj bi po navodilih sicer ocenjevali v ok -viru poglavja Metode, vendar smiselno bolj sodi v poglavje Razprava (2).
Glede na Merila za ocenjevanje del bi morali ocenjevati tudi, ali je avtor morda preveč kritičen do rezultatov (2). Menimo, da prevelika kritičnost ni vprašljiva. Študentje se morajo na samem začetku raziskovalne poti naučiti, da je kritičnost do rezultatov svojih raziskav pomemben del razprave, saj bralce seznani s pomembnimi omejitvami raziskav, bralcem pa s tem vliva tudi več zaupanja vanje. Veliko večji problem je, da pri velikem številu nalog ta del razprave manjka, včasih je raztresen po celotnem poglavju Razprava, v nekaterih primerih pa ga najdemo celo v po -glavjih Uvod ali Metode.
Preden začnemo razglabljati o treh glav -nih postavkah ocenjevanja, moramo pripomniti še to, da v Razpravi pogosto manjkata dva njena zelo pomembna dela. Prvi je del, v kate -rem študentje razpravljajo o pomenu in upo -rabnosti svojih rezultatov. Vsako raziskovanje
v medicini, ne glede na to, ali gre za predkli-nično, klinično ali javnozdravstveno, mora imeti svoj pomen in svojo uporabnost (apli-kativnost), sicer je samo sebi namen. Drugi je del, ki kaže na zasnovo za avtorjevo nadaljnje raziskovalno delo.
Avtorjeva kritičnost do rezultatov drugih avtorjev
Pri tej postavki je predvsem pomembno, in to tudi ocenjujemo, da študent razpravlja z re -zultati podobnih raziskav. Na tej stopnji poznavanja in veščosti raziskovanja se pri tem pričakuje, da študentje predvsem primerjajo svoje rezultate z rezultati drugih raziskav. Menimo, da za poglobljeno kritičnost do rezultatov drugih avtorjev večina študentov še nima dovolj obsežnega znanja, da bi lahko razpravljali na ta način.
Razlaga lastnih rezultatov
Razlaga lastnih rezultatov je najpomembnejši del razprave in tu se študentje najbolj trudijo. Problem nastane, kadar so bile uporabljene neprimerne statistične metode, tedaj je ta del razprave izjemno težko ocenjevati. Da bi se izognili takim problemom, bi verjetno morali bolj korenito poseči v sistem študentskega raziskovanja, na primer s tem, da bi v novem kurikulumu denimo v tretjem let -niku ponudili izbirni predmet, pri katerem bi se študentje, ki nameravajo med študijem raziskovati, dodatno poučili o statističnih metodah. Druga možnost je, da ustanovi MF posebno telo, ki bi ocenilo primernost stati -stičnih metod še pred njihovo uporabo v po -sameznem primeru.
povzetek
Pri povzetku ocenjujemo dolžino, informativ -nost, strukturo (izhodišče, namen in hipo -teze itd) in razumljivost povzetka širšemu krogu bralcev. Nobenih težav ni pri struktu -ri povzetka, saj so navodila za oblikovanje jasna, pri vseh ostalih postavkah pa so le-te večje ali manjše. Zaradi podrobnih navodil prav tako ni nobenih težav s tem, da bi mor -da bili navedeni le končni sklepi. Študentje vestno sledijo navodilom in bralec vedno dobi celoten pogled na raziskavo.
217
218
Velikokrat pa smo v precejšnji zadregi pri ocenjevanju dolžine povzetka. Glede na navodila naj bi bila tako slovenski kot angleški povzetek dolga eno stran A4-formata. To je zelo raztegljiva omejitev, saj študentje, ki imajo relativno dolge povzetke, uporabijo manjše črke, stiskajo razmik med njimi in razmik med vrsticami, da dosežejo predpisane okvire. Drugi pa, ki imajo morda celo krajše povzetke, a ne uporabijo teh »trikov« in je zato njihov povzetek malo daljši od ene strani, formalno predpisanemu pogoju ne zadostijo. Ocenjevalec je v obeh primerih v dilemi, kako nalogo v tej postavki korektno oceniti. Predlagamo, naj se v prihodnje dolžina povzetka omeji s številom besed, kot je to praksa pri medicinskih revijah. Optimalno število, ki ga predlagamo, je 350-375 besed (v tem prispevku na primer šteje ena stran pri razmiku med vrsticami 1,5 okoli 350-375 besed). Na ta način bi se študentje naučili napisati izvleček brez nepotrebnega balasta, ne da bi bil zato kaj manj informativen.
Naslednji problem, na katerega naletimo, je prav informativnost povzetka. Le-ta je najbolj vezana na predstavitev metod in rezultatov raziskave, kjer naj bi bili predstavljeni ključni rezultati raziskave, dodane pa bi morale biti bistvene statistične značilnosti (p-vrednosti), podane z natančnimi vrednostmi. Natančno razlago, kako naj bi bil sestavljen informativen povzetek, lahko študentje najdejo v navodilih avtorjem številnih medicinskih revij, tudi revije CMJ (15).
Pri ocenjevanju razumljivosti povzet -ka širšemu krogu bralcev ponavadi ni večjih težav, predlagamo pa, naj boljšo oceno pri tem dobijo avtorji, ki v povzetku ne uporabljajo preveč strokovnih izrazov, zlasti ne tujk.
splošna ocena naloge
Pri splošni oceni naloge naj bi ocenjevalci ocenjevali primernost dolžine besedila in kako -vost slovenskega jezika.
Ocenjevanje kakovosti slovenskega jezika ponavadi ni težavno, saj so jezikovno naloge razmeroma dobre. Opozoriti velja le, da bi se bilo smiselno držati pravila, da naj bo v be -sedilu čim manj tujk. Pri tem se zavedamo, da slovenjenje izrazov za vsako ceno ni smi -selno, če pa ustrezen slovenski prevod za tujko
že obstaja in se tudi razmeroma pogosto uporablja, ga vselej uporabimo.
Več dilem imamo ocenjevalci pri ocenjevanju primernosti dolžine besedila, saj natančnih navodil, kako naj ocenjujemo to postavko, v sedanjem protokolu nimamo. Kaj naj bi bilo predolgo in kaj prekratko besedilo, kar naj bi ocenjevali glede na Merila za ocenjevanje del, je zaradi različnosti tem izjemno težko ocenjevati (2). Dodatno v ocenjevalnem listu izrecno piše, da obsega dela pri svojem delu ne ocenjujemo. Ena izmed možnosti, ki smo jo nekateri ocenjevalci pri ocenjevanju te postavke tudi uporabili, je, da ocenjujemo razmerje med poglavjema Uvod in Razprava. Cim daljša je Razprava v primerjavi z Uvodom, tem boljša je ocena. Na ta način bi študente tudi spodbudili k temu, da bi težišče s poglavja Uvod prenesli na poglavje Razprava.
O ustreznosti opremljenosti tabel/preglednic in slik smo razpravljali pri ocenjevanju poglavja Rezultati, čeprav bi glede na Merila za ocenjevanje del to morali ocenjevati pri splošni oceni (2). Razlog je ta, da pri ocenjevanju poglavja Rezultati ocenjujemo tudi postavko »prikaz rezultatov«, opremljenost tabel/preglednic in slik pa je prav to.
Tehnično je kakovost tiska pri oddanih nalogah večinoma zelo dobra.
literatura
Pri sistemu citiranja, ki naj bi ga ocenjevali pri tem poglavju, v večini primerov nimamo velikih problemov, saj so navodila obeh slo -venskih revij, katerih sistema citiranja naj bi se študentje držali, dovolj jasna. Študentje se teh navodil večinoma vestno držijo, proble -me imajo le pri citiranju elektronskih virov.
tveganost delovne hipoteze
Ta postavka pravzaprav od vseh postavk ocenjevalcem dela še največ preglavic, ker ne poznamo njene opredelitve. Glede na vse doslej opisano predlagamo, da jo v prihodnosti izpu -stimo.
ostala opažanja
Dodatno opažanje se nanaša na naslov dela. Naslov je namreč najpomembnejši povzetek
znanstvenega dela. Mislimo, da ne bi bilo odveč, če bi upoštevali pri oblikovanju naslova napotke, ki jih ponovno zasledimo v navodilih avtorjem za objavo člankov v reviji CMJ (15). Naslov naj bi bil informativen med drugim tudi v smislu zasnove raziskave.
pogled v prihodnost
Na koncu dodajamo še nekaj naših predlogov, kako bi ocenjevalni proces po našem mnenju še izboljšali in ga naredili še bolj korektnega.
Prvi izmed teh predlogov je, da bi uvedli tri osnovne kategorije raziskav: predklinič-ne, klinične in javnozdravstvene in za vsako izmed njih morda v bolj oddaljeni prihodnosti uvedli tri različne protokole ocenjevanja, saj se mora raziskovanje na različnih področjih medicine meriti »z različnimi vatli«, kakor
je pred leti dejal eden od sedaj upokojenih učiteljev naše fakultete. Predklinične raziskave se v številnih značilnostih močno razlikujejo od kliničnih in javnozdravstvenih, protokol ocenjevanja pa je bolj »pisan na kožo« predkliničnim raziskavam. Dokler ne bi dosegli dogovora okoli tega pa predlagamo, naj bo tričlanska komisija po možnosti sestavljena iz članov, ki prihajajo vsak z enega širokega področja medicine. Dobrodošlo bi bilo, da bi imela komisija še člana za posvetovanje o sta -tističnih metodah.
Kot drugi predlog podajamo svoje videnje protokola ocenjevanja, ki ga podajamo v tabeli 2.
Na koncu naj dodamo, da bi ocenjevalcem delo zelo olajšali tudi s tem, če bi poenotili ocenjevalni list s predpisano strukturo raziskovalne naloge.
Tabela 2. Prvine ocenjevanja, ki jih vsebuje Ocenjevalni list postopka ocenjevanja del, ki jih študentje Medicinske fakultete predlože za Prešernovo nagrado.
Poglavje	Predlog prvine ocenjevanja
Naslov Uvod
Metode
Rezultati Razpravljanje
Povzetek
Splošna ocena naloge Literatura
Informativnost naslova
Oblikovanje Uvoda v smislu ožanja proti namenu raziskave Utemeljitev načrtovane raziskave Oblikovanje namena Oblikovanje ciljev
Oblikovanje delovne hipoteze (implicitne ali eksplicitne) Opis zasnove raziskave Razumljivost izbrane metode
Primernost izbranega števila poskusnih živali ali preiskovancev
Časovni okviri raziskave
Ustreznost statistične metode
Prikaz rezultatov
Uporaba statistične metode
Oblikovanje Razprave v smislu širjenja proti posploševanju in uporabi rezultatov raziskave
Razlaga rezultatov raziskave in primerjava rezultatov z rezultati podobnih raziskav
Avtorjeva kritičnost do rezultatov drugih avtorjev
Avtorjeva kritičnost do lastnih rezultatov
Število besed v povzetku
Informativnost povzetka
Struktura povzetka (izhodišče, namen in hipoteze itd.) Razumljivost povzetka širšemu krogu bralcev
Primernost dolžine besedila v smislu razmerja med Uvodom in Razpravo, ki naj bo v prid razpravi (U/R < 1) Kakovost slovenskega jezika
Sistem citiranja
219
220
LITERATURA
1.	Univerza v Ljubljani, Medicinska fakulteta. Navodila MF za študentske naloge za Prešernovo nagrado. Ljubljana: Univerza v Ljubljani, Medicinska fakulteta; 2003.
2.	Univerza v Ljubljani, Medicinska fakulteta. 3. Merila za ocenjevanje del, ki jih študentje Medicinske fakultete predlože za Prešernovo nagrado. In: Univerza v Ljubljani, Medicinska fakulteta. Navodila MF za študentske naloge za Prešernovo nagrado. Ljubljana: Univerza v Ljubljani, Medicinska fakulteta; 2003.
3.	Univerza v Ljubljani. Pravilnik o podeljevanju Prešernovih nagrad študentom Univerze v Ljubljani [internet]. Ljubljana: Univerza v Ljubljani; 2008 [citirano 2008 Sep 24]. Dosegljivo na: http://www.uni-lj.si/o_univerzi_vjjub-ljani/statut_in_pravilniki/pravilnik_o_podeljevanju_presernovih_nagrad_studentom.aspx
4.	Univerza v Ljubljani, Medicinska fakulteta. 1. Mentorstvo in avtorstvo del, ki jih študentje Medicinske fakultete predlože za Prešernovo nagrado. In: Univerza v Ljubljani, Medicinska fakulteta. Navodila MF za študentske naloge za Prešernovo nagrado. Ljubljana: Univerza v Ljubljani, Medicinska fakulteta; 2003.
5.	Univerza v Ljubljani, Medicinska fakulteta. 2. Navodila za pisanje del, ki jih študentje Medicinske fakultete predlože za Prešernovo nagrado. In: Univerza v Ljubljani, Medicinska fakulteta. Navodila MF za študentske naloge za Prešernovo nagrado. Ljubljana: Univerza v Ljubljani, Medicinska fakulteta; 2003.
6.	Last JM, ed. A dictionary of epidemiology. 4th ed. Oxford: Oxford University Press; 2001.
7.	Dos Santos Silva I. Cancer epidemiology: principles and methods. 2nd ed. Lyon: IARC; 1999.
8.	Jekel JF, Katz DL, Elmore JG. Epidemiology, biostatistics, and preventive medicine. 2nd ed. Philadelphia: W.B. Saunders company; 2001.
9.	Detels R, McEwen J, Beaglehole R, et al, eds. Oxford textbook of public health. 4th ed. Oxford, New York: Oxford University Press; 2002.
10.	Kleinbaum DG, Kupper LL, Morgenstern H. Epidemiologic research: principles and quantitative methods. New York: Van Nostrand Reinhold; 1982.
11.	Beaglehole R, Bonita R, Kjellstrom T. Basic epidemiology. Geneva: World Health Organization; 1998.
12.	Hennekens CH, Buring JE. Epidemiology in medicine. Boston: Little, Brown and Company; 1987.
13.	Schoenbach, VJ, Rosamond WD. Understanding the fundamentals of epidemiology - an evolving text [internet]. Chapel Hill: University of North Carolina, School of Public Health, Department of Epidemiology; 2000 [citirano 2008 Sep 24]. Dosegljivo na: http://www.epidemiolog.net/evolving/TableOfContents.htm
14.	Fletcher RH, Fletcher SW, Wagner EH. Clinical epidemiology: the essentials. 3rd ed. Baltimore: Williams & Wilkins; 1996.
15.	Croatian Medical Journal. Guidelines for authors: Manuscript preparation and submission. Croat Med J [internet]. 2008 [citirano 2008 Sep 24]; 49: 141-9. Dosegljivo na: www.cmj.hr/Guidelines/Guidelines.pdf
16.	Matko Maruši} i suradnici. Uvod u znanstveni rad u medicini. 3rd ed. Zagreb: Medicinska naklada; 2004.
17.	Zaletel - Kragelj L. Petnajst let revije »Croatian Medical Journal« in njen pomen za Slovenijo. Zdrav Var [internet]. 2008 [citirano 2008 Sep 24]; 47 (3): 151-5. Dosegljivo na: http://www.ivz.si/index.php?akcija=revija_zdravstve-no_varstvo&pdf=200
18.	FOSS-MedRi. Croatian Medical Journal [internet]. [citirano 2008Sep 24]. Dosegljivo na: http://www.foss.hr/Content-Details.aspx?gcgid=2b5d3938-3d93-481e-8bb4-bd71cb5519d9&gcid=03bdee32-40f7-4e4a-bbaa-f1dd8b3639c2
19.	Kovafic N, Aleksandra Mišak A. What can be learned from impact factor of Croatian Medical Journal, 1994-2003? Croat Med J [internet]. 2004 [citirano 2008Sep 24]; 45: 13-7. Dosegljivo na: http://www.cmj.hr/2004/45/1/14968446.pdf
Prispelo 9.12.2009