28 Sodobna pedagogika/Journal of Contemporary Educational Studies Nika Ferbežar in Tina Štemberger Sistematični pregled literature v kontekstu pedagoškega raziskovanja Povzetek: Sistematični pregled literature se je z razvojem in utemeljitvijo natančnih metodoloških načel za njegovo izpeljavo uveljavil kot posebna vrsta raziskave, za katero je značilna visoka stopnja zanesljivosti. V kontekstu pedagoškega raziskovanja pri nas je ta vrsta raziskave za zdaj še razmeroma neznana in se redko uporablja. V prispevku zato najprej predstavimo zgodovinsko ozadje sistematične- ga pregleda literature, ga opredelimo kot posebno vrsto raziskave in ga primerjamo s tradicionalnim pregledom literature. Sledita analiza prednosti in pomanjkljivosti ter predstavitev postopka izvedbe tovrstne raziskave. Na koncu kritično ovrednotimo njegovo rabo v praksi in ga umestimo v pedagoško raziskovanje. Ključne besede: sistematični pregled literature, vrsta raziskave, pedagoško raziskovanje, prednosti in pomanjkljivosti, potek raziskave UDK: 37.012 Znanstveni prispevek Nika Ferbežar, asistentka, Univerza na Primorskem, Pedagoška fakulteta, Cankarjeva 5, SI-6000 Koper, Slovenija; e-naslov: nika.ferbezar@pef.upr.si Dr. Tina Štemberger, izredna profesorica, Univerza na Primorskem, Pedagoška fakulteta, Cankarjeva 5, SI-6000 Koper, Slovenija; e-naslov: tina.stemberger@pef.upr.si Let./Vol. 74 (140) Številka 1/2023 Str. 28–43 ISSN 0038 0474 29 Uvod Sistematični pregled literature (v nadaljevanju: SPL) 1 je natančno določen način zbiranja, vrednotenja in združevanja literature, ki z namenom zmanjšanja subjektivnosti in zagotavljanja sistematičnosti, transparentnosti in ponovljivosti raziskave ter odgovarjanja na zastavljena raziskovalna vprašanja sledi posebnim metodološkim zakonitostim (Petticrew idr. 2008; Snyder 2019; Torgerson idr. 2021; Tranfield idr. 2003). Definiran je kot vrsta raziskave in je v okviru pedagoškega raziskovanja začel pridobivati čedalje večji pomen skupaj z idejami o izobraže- vanju, utemeljenem na spoznanjih raziskav (angl. evidence informed education) (Nelson in Campbell 2017), ki so sprožile preizpraševanja o zanesljivosti podatkov primarnih študij (Newman in Gough 2020). Kot opozarjajo Petticrew idr. (2008), se je treba pri tovrstnih raziskavah vedno vprašati, ali so zastavljene in izpeljane tako, da so njihovi rezultati posplošljivi in relevantni. Njihove omejitve so med drugim čas, izbor vzorca in druge posebnosti konteksta, zato so na njih temelječa spoznanja vezana le na neki del stvarnosti (Davies 2000). Po mnenju avtorjev Davies (2000), Petticrew idr. (2008) ter Torgerson (2003) se navedene omejitve lahko presežejo prav s sistematičnim pregledom literature, ki omogoča vpogled v konsistentnost in variabilnost podatkov. Temeljni pogoj za uresničitev potenciala sistematičnega pregleda literature je, da njegova izpeljava dosledno sledi natančno določenim metodološkim načelom (Newman in Gough 2020; Petticrew idr. 2008). Ta so se oblikovala postopno, ob razvoju sprva nesistematičnih pregledov literatu- re, in danes pomenijo izhodišče za zagotavljanje visoke stopnje transparentnosti, sistematičnosti in zanesljivosti, s čimer se je sistematični pregled literature uve- ljavil kot posebna vrsta raziskave (Newman in Gough 2020) in ga kot takega tudi obravnavamo v tem prispevku. 1 V angleščini systematic literature review, uporabljata se tudi izraza research synthesis in evidence synthesis, ki naj bi po mnenju nekaterih raziskovalcev jasneje izražala vključenost vseh vrst gradiv, tudi tistih, ki jih tradicio- nalno ne bi opredelili kot literaturo (Petticrew in Roberts 2008). V besedilu kljub temu uporabljamo bolj uveljavljen izraz sistematični pregled literature ob predpostavki, da kot literaturo v tem kontekstu razumemo vsa objavljena in neobjavljena gradiva, ki so relevantna za neko raziskovalno vprašanje. Ferbežar, Štemberger 30 Sodobna pedagogika/Journal of Contemporary Educational Studies Opredelitev sistematičnega pregleda literature kot vrste raziskave V izhodišču ločujemo med sistematičnimi in nesistematičnimi pregledi literature, ki se med seboj razlikujejo po metodologiji, namenu, načinu izvedbe in veljavi v znanstveni skupnosti. Tradicionalni pregledi literature, imenovani tudi narativni (angl. narrative review) ali ekspertni (angl. expert review) pregledi (Torgerson idr. 2021), običajno ne sledijo problemski zasnovi ali načrtu, temveč se izvajajo predvsem za vsebinski pregled nekega področja, zaradi česar jih za- znamujeta pristranskost in zmanjšana objektivnost. Navadno vključujejo manj literature, ta pa je izbrana na nesistematičen način ali z namenom, da bi podprla vnaprej opredeljeno hipotezo, pogosto je avtorjem znana že predhodno in ni kritič- no ovrednotena oziroma sta procesa iskanja in izbire literature bralcem neznana (Haddaway idr. 2015; Torgerson idr. 2021). Na drugi strani sistematični pregledi literature sledijo natančno določenim zakonitostim, ki zagotavljajo izčrpnost, visoko stopnjo objektivnosti, transparentnosti in ponovljivosti. Običajno odgo- varjajo na vnaprej zastavljena raziskovalna vprašanja, sledijo načrtu raziskave ter jih za zagotavljanje kakovosti in zaradi potencialne številčnosti pridobljene literature izvaja skupina raziskovalcev. Ker je njihovo metodološko izhodišče jasno določeno, so bolj zanesljivi in se zato tudi vse bolj uveljavljajo v znanstveni skup- nosti (Haddaway idr. 2015; Petticrew idr. 2008; Ridley 2012; Torgerson idr. 2021). V nadaljevanju predstavljamo pregled razlik med običajnim ali tradicionalnim pregledom literature, ki je najpogostejši pristop pri pripravi teoretičnega ogrodja kot podstati za empirično raziskavo, in sistematičnim pregledom literature, ki je opredeljen kot samostojna vrsta raziskave. Ferbežar, Štemberger 31 Tradicionalni pregled literature Sistematični pregled literature Namen Pregled vsebinskega področja. Odgovor na raziskovalno vprašanje. Načrt Ne sledi načrtu raziskave oziroma načrt raziskave bralcu ni znan. Temelji na vnaprej predstavljenem in/ali objavljenem načrtu raziskave. Usmerjenost Teži k subjektivnosti. Stremi k zagotavljanju objektivnosti. Strategija iskanja in vključevanja raziskav Ne obstaja ali ni znana. Pripravljena je sistematična strategija iskanja raziskav skupaj z merili za njihovo vključitev in izključitev, ki so jasno opredeljena že pred izvedbo. Zagotavljanje kakovosti Kakovost vključenih raziskav se ne preverja. Kakovost vključenih raziskav se ovrednoti. Sodelujoči raziskovalci Običajno en raziskovalec. Običajno skupina raziskovalcev. Ponovljivost procesa raziskave Proces izvedbe raziskave ni ponovljiv. Proces izvedbe raziskave je ponovljiv. Vloga Najpogosteje kot teoretična podstat. Vrsta raziskave. Zanesljivost Zanesljivosti ne zagotavlja. Zagotavlja zanesljivost. Preglednica 1: Primerjava tradicionalnega in sistematičnega pregleda literature ter njunih značilnos- ti (prir. po Haddaway idr. 2015; Petticrew idr. 2008; Ridley 2012; Torgerson idr. 2021) Izraz sistematični pregled literature se uporablja tudi kot krovni pojem za različne oblike SPL, ki so se razvile vzporedno s pripadajočimi metodološkimi posebnostmi, da bi lahko dosegale specifične raziskovalne cilje (Xiao in Watson 2019). Med njimi želimo na tem mestu omeniti le najbolj znano in najpogosteje uporabljeno obliko SPL, tj. metaanalizo, v okviru katere statistično analiziramo rezultate dveh ali več raziskav (Deeks idr. 2022). V tuji literaturi (npr. Gunnell idr. 2020; Hennessy idr. 2021; Lunny idr. 2017; Muka idr. 2020) v skladu z naraščajočim zavedanjem o pomenu sistematičnih pregledov literature že zasledimo tudi vse več prispevkov, ki se usmerjajo v pomen in postopek izvajanja sistematičnih pregledov literature na različnih področjih, vključno s pedagoškim (Davies 2000; Torgerson 2003; Torgerson idr. 2021; Zawac- ki-Richter idr. 2020). V slovenskem raziskovalnem prostoru se prispevki na temo sistematičnega pregleda literature (Ščuka 2005; Turk 2021) in tovrstne raziskave (npr. Sodja in Rotar-Pavlič 2019) pojavljajo predvsem v medicini. Na področju vzgoje in izobraževanja smo zasledili le raziskavo, ki temelji na tem pristopu (Ferk Savec in Mlinarec 2022), prispevkov, ki bi predstavili koncept sistematičnega pre- gleda literature ali ki bi poskušali ta koncept umestiti v pedagoško raziskovanje, nismo zasledili. Prav zato v tem prispevku podrobno obravnavamo SPL kot vrsto raziskave in ga umestimo v kontekst pedagoškega raziskovanja. Sistematični pregled literature v kontekstu pedagoškega raziskovanja 32 Sodobna pedagogika/Journal of Contemporary Educational Studies Prednosti in omejitve sistematičnega pregleda literature Kot navajajo Gogh idr. (2012), so SPL izhodišče za nadaljnje razvijanje obrav- navanega področja, saj z rezultati sinteze vseh relevantnih raziskav odgovarjajo na vprašanja, ali je bila neka tematika že raziskana, v kateri meri in kakšne ugotovitve že obstajajo. Odgovori na ta vprašanja raziskovalcu pred izvedbo pri- marne raziskave pomagajo sprejeti odločitev, ali je raziskava resnično potrebna, in če je, v kakšni obliki, da bo privedla do novih spoznanj, nadgradila prejšnja ali razjasnila morebitne nejasnosti (Gogh idr. 2012). S SPL je mogoče zmanjševati omejitve samostojnih primarnih raziskav, zagotavljati vpogled v konsistentnost in kontradiktornost podatkov na obravnavanem vsebinskem področju in odkrivati tista področja, na katerih je zaznan primanjkljaj empiričnih dokazov (Davies 2000; Davis 2014; Gogh idr. 2012; Tranfield 2003; Webster in Watson 2002). Raziskoval- cem omogoča, da se izognejo nepotrebnemu podvajanju raziskovanja in zagotovijo, da njihovo raziskovalno delo zares prispeva k razvoju znanosti določene stroke (Gogh idr. 2012; Gogh idr. 2017). SPL ima z vidika vsebine področja, ki ga proučuje, naslednje prednosti: – usmerja se v razvoj teoretičnega znanja, na primer konstruiranje konceptov teoretičnih modelov (Gogh idr. 2012), – z vidika prakse se prednosti te raziskave kažejo v združevanju več potencial- nih intervencij, ki se ovrednotijo, ob tem se opišejo možnosti njihove uporabe v raznih kontekstih (Davis 2014; Tranfield 2003), – rezultati so lahko izhodišče za odločevalce in druge deležnike, saj je SPL lahko orodje, ki pri proučevanju nekega področja prihrani ogromno časa in omogoča zanesljive rezultate, zaradi česar lahko odločevalci na podlagi znanstvenih študij sprejemajo informirane odločitve, ki naj bi bile zato tudi boljše (Haddaway idr. 2015; Muka idr. 2020; Tranfield 2003). Med prednosti SPL sodi tudi transparentnost celotnega procesa raziskave, kar omogoča njeno ponovitev in dopolnjevanje z novimi podatki (Grant in Booth 2009). Prav zato se SPL čedalje pogosteje izvaja (Jones 2004; Petticrew idr. 2008; Prill idr. 2021). SPL ima tudi pomembne omejitve. Te so med drugim povezane z izzivi zaradi hitro razvijajočih se metodoloških načel, ki so zelo natančno določena in obsežna, kar pomeni, da je postopek, kadar je izveden ustrezno, izjemno zahteven (Gunnell idr. 2020). Poleg zapletenosti postopka izvajanje SPL zahteva veliko časa, sredstev in praviloma tudi večjo skupino usposobljenih raziskovalcev, kar marsikdaj otežu- je izvajanje SPL, zato se raziskovalci odločajo za tradicionalni pregled literature (Borah idr. 2017; Zawacki-Richter idr. 2020). Poleg tega je Ioannidis (2016) zelo kritičen do trenda naraščanja rabe SPL, saj naj bi bili do zdaj opravljeni SPL po njegovi presoji pretežno metodološko neustrezno izvedeni, zavajajoči, neuporabni ali celo odvečni. V nadaljevanju zato predstavljamo izhodišča za pripravo in izved- bo SPL. Ferbežar, Štemberger 33 Proces izvedbe sistematičnega pregleda literature Smernice in s tem tudi proces izvedbe SPL zaznamujejo rigoroznost, objek- tivnost in transparentnost, ki zagotavljajo zanesljivost podatkov in ponovljivost raziskave (Torgerson idr. 2021). Proces izvedbe SPL v nadaljevanju predstavljamo v štirih fazah: (i) načrtovanje, (ii) izvedba, (iii) poročanje in (iv) posodobitev. V okvi- ru načrtovanja obravnavamo (1) opredelitev problema in (2) pripravo protokola. Pri pripravi protokola natančneje opredelimo oblikovanje meril za vključitev ali izključitev literature in zasnovo iskalne strategije. V fazi izvedbe SPL predstavimo ključne korake: (3) iskanje in izbiranje literature, (4) presoja ustreznosti literatu- re, (5) vrednotenje kakovosti literature, (6) kodiranje podatkov ter (7) analiza in sinteza podatkov. Predstavitev poročanja je nekoliko bolj skromna, saj so že na voljo številne razprave o tej temi, zato na kratko orišemo le poglavitne elemente (8) pisanja poročila. V okviru zadnje faze, posodobitve SPL, pa je opisan proces (9) utemeljitve potrebe po posodobitvi SPL in nakazana (10) izvedba posodobitve. Načrtovanje sistematičnega pregleda literature (1) Izhodišče vsake raziskave, tudi SPL, sta opredelitev raziskovalnega problema ter njegova izpeljava v cilje in raziskovalna vprašanja, ki določajo ves nadaljnji potek raziskave (Thomas idr. 2022). (2) Priprava in objava protokola sta eden izmed ključnih korakov v izvedbi SPL. Protokol namreč zagotavlja, da odločitve v procesu izvedbe SPL niso samo- voljne, temveč temeljijo na vnaprej zastavljenem in objavljenem načrtu raziskave, kar vodi v večjo objektivnost (Sahmseer in Moher 2015). Protokol predvideva tudi morebitne izzive v izvedbi, bralcem dopušča vrednotenje kakovosti SPL, prepre- čuje podvajanje SPL, omogoča posodobitve in raziskovalcem, ki delujejo na enakih ali podobnih področjih, dopušča sodelovanje (Sahmseer idr. 2015). Raziskovalci lahko protokole v angleščini objavijo na portalu International Database of Educa- tion Systematic Reviews (IDESR), ki je namenjen prav SPL s področja vzgoje in izobraževanja, vendar je še v začetni fazi razvoja, in na nekaterih drugih temat- sko raznovrstnih portalih, kot so PROSPERO, Research Registry in INPLASY. Natančnejše možnosti objavljanja protokolov opisujeta Pieper in Rombey (2022). Nekateri izmed tovrstnih portalov protokole pred objavo tudi pregledajo in prouči- jo, ali so ustrezni, kar je pomemben korak v SPL, saj na protokolu temelji celotna raziskava. Ustreznost lahko ovrednotijo tudi drugi strokovnjaki s področja, poseb- ni odbori ali mentorji v okviru študijskega procesa (Xiao in Watson 2019). Sistematični pregled literature v kontekstu pedagoškega raziskovanja 34 Sodobna pedagogika/Journal of Contemporary Educational Studies Grafični prikaz 1: Proces sistematičnega pregleda literature (Garner idr . 2016; Gough idr. 2012; Xiao in Watson 2019) Protokol, ki je primerljiv z načrtom raziskave v drugih vrstah raziskav, mora vsebovati administrativne podatke, kot so izjava, da gre za protokol ali posodobi- tev protokola, informacije o registraciji protokola, avtorjih in njihovih prispevkih, navedba potencialnih dopolnitev že obstoječih protokolov ali navedba načrta o poročanju o prihodnjih dopolnitvah zadevnega protokola in informacije o more- bitnih financerjih in drugih podpornikih ter opis njihove vloge. Poleg tega mora vsebovati še opredelitev raziskovalnega problema, namen in cilje ter natančen opis metodologije. Ta opis mora vsebovati nedvoumno navedbo meril za vključitev ali izključitev raziskav, opis iskalne strategije, vire informacij (npr. podatkovne baze), strategije za upravljanje podatkov ter strategije za vrednotenje kakovosti vklju- čene literature (Cumpston in Chandler 2022a; Shamseer idr. 2015). Natančnejše smernice za pripravo protokolov so pripravili Shamseer idr. (2015). SPL vključujejo primarne raziskave, zaradi česar je kakovost SPL odvisna od kakovosti vključenih raziskav. Oblikovanje ustreznih meril za vključitev litera- ture je ključna točka raziskovalnega procesa SPL, pri čemer pa ne sme manjkati dobra iskalna strategija, ki omogoča, da se najde najpomembnejša literatura z obravnavanega področja. Oblikovanje meril za vključitev ali izključitev literature temelji na raziskovalnem problemu in na iz njega izpeljanih raziskovalnih vpra- šanjih. Ta merila lahko vključujejo vrsto literature (npr. znanstvene publikacije), vrsto raziskave (npr. kvantitativne ali kvalitativne), velikost in značilnosti vzorca/ izbora (npr. spol, starost, razred), lokacijo (npr. kraj, država, institucija), leto ob- jave, jezik itn. (Muka idr. 2020; Shamseer idr. 2015). Z iskalno strategijo je nujno najti najbolj relevantne raziskave, ki bodo omogočile pridobivanje odgovorov na Ferbežar, Štemberger Načrtovanje 1. opredelitev problema 2. priprava protokola • oblikovanje meril za vključitev oz. izključitev literature • zasnova iskalne strategije Izvedba 3. iskanje in zbiranje literature 4. ocena ustreznosti lit. 5. vrednotenje kakovosti lit. 6. kodiranje podatkov 7. analiza in sinteza podatkov Poročanje 8. pisanje poročila Posodobitev 9. utemeljitev potrebe po posodobivi SPL 10. izvedba posodobitve SPL 35 raziskovalna vprašanja. Pomembno je, da iskanje ni zastavljeno preširoko, saj to lahko vodi v neobvladljivo količino literature, ki najverjetneje večinoma niti ni relevantna za raziskovalno področje. Preozko in nepopolno zastavljena strategija pa lahko pomeni, da se izpustijo pomembne raziskave, kar lahko ključno vpliva na rezultate SPL (Muka idr. 2020). Strategijo je priporočljivo večkrat testirati in preveriti, ali omogoča ustrezne rezultate, ter jo nato po potrebi tudi večkrat prilagoditi. Raziskovalec lahko že vnaprej izbere nekaj znane ključne literature in preveri, ali jo lahko najde z zasnovano iskalno strategijo (Xiao in Watson 2019). Iskalna strategija je običajno sestavljena iz ključnih besed in iskalnih operatorjev. Pri ključnih besedah je treba paziti na sinonime, okrajšave, različne možnosti zapisa in zastarele izraze, ki so se morebiti uporabljali v starejši literaturi. Iskal- ni operatorji, kot so na primer znaki za krajšanje besed in logični operatorji, se razlikujejo od uporabljenega informacijskega vira. V praksi to pomeni, da bo za vsako podatkovno bazo najverjetneje treba pripraviti ločeno iskalno strategijo in te strategije v poročilu tudi posamično predstaviti. V Preglednici 2 predstavljamo ključne operatorje in njihovo prednostno razvrstitev v iskalni bazi Web of Science. Boolovi operatorji Operatorji bližine Prednostna razvrstitev operatorjev AND (Uporablja se za iskanje vseh pojmov, ki jih ločuje operator.) OR (Uporablja se za iskanje kateregakoli izmed pojmov, ki jih ločuje operator.) NOT (Uporablja se za izločanje določenih pojmov iz iskanja.) NEAR/x (Uporablja se za iskanje pojmov, ki so med seboj oddaljeni za x število mest.) (Kadar se uporabi le NEAR, to pomeni, da sta pojma oddaljena v razponu 15 besed.) 1. NEAR/x 2. SAME 3. NOT 4. AND 5. OR Preglednica 2: Uporaba iskalnih operatorjev v Web of Science (Search operators) Izvedba sistematičnega pregleda literature (3) Iskanje in zbiranje literature danes večinoma potekata prek digitalnih baz podatkov. Za pedagoško področje so najbolj uporabne Web of Science, EBSCO, ProQuest in Scopus, kot primeren se je izkazal tudi Google Scholar (Norris idr. 2008). Med manj značilne načine iskanja literature sodijo vzvratno iskanje (angl. backward search), s katerim raziskovalci pregledajo vire in literaturo v gradivih, ki so bila najdena z osnovno iskalno strategijo, in preverijo, ali kateri izmed navedenih prispevkov ni bil predhodno zajet, pa bi bil lahko uporaben za SPL; nadaljnje iskanje (angl. forward search), s katerim raziskovalci v bazah podatkov s funkcijo beleženja citiranosti (npr. Scholar, Scopus, Web of Science) pregledajo prispevke, ki citirajo literaturo, predhodno zajeto z iskalno strategijo, in presodijo, ali je kateri izmed teh prispevkov uporaben za SPL (Webster in Watson 2002); iskanje po avtorju (angl. backward author search), s katerim raziskovalci pregle- dajo pretekle objave pomembnejših avtorjev, ki jih je zaznala iskalna strategija Sistematični pregled literature v kontekstu pedagoškega raziskovanja 36 Sodobna pedagogika/Journal of Contemporary Educational Studies (Levy in Ellis 2006); in posvetovanje s strokovnjaki, pri čemer se raziskovalci obrnejo neposredno na eksperte z obravnavanih področij (Petticrew in Roberts 2006). Ti načini so zelo uporabni in povečajo možnost identifikacije vse relevantne literature (Xiao in Watson 2019), vendar je treba poudariti, da z njihovo uporabo SPL niso več ponovljivi. To še ne pomeni, da tovrstnih načinov iskanja literature ni smiselno uporabljati, še posebej to velja za področja, na katerih sta celovitost in poglobljenost za obravnavo raziskovalnega vprašanja morebiti bolj pomembni kot sistematičnost in ponovljivost SPL. Literaturo, pridobljeno na vse zgoraj na- vedene načine, zberemo na enem mestu, za kar se lahko uporabijo različna orodja: od najpreprostejših, kot je Microsoft Excel, do kompleksnejših, kot so Cvoidence, DistillerSR, Rayyan ali EndNote, ki so lahko v veliko podporo tudi pri presoji ustreznosti literature (Bramer idr. 2017). (4) Presoja ustreznosti literature temelji na raziskovalnem problemu in predhodno opredeljenih merilih za vključitev ali izključitev raziskav (Xiao in Watson 2019). Raziskovalci si lahko pomagajo s pripravo kontrolnih seznamov, ki zagotavljajo natančnost in sistematičnost presoje (Muka idr. 2020). Vsi podvojeni rezultati in literatura, ki ni skladna z raziskovalnim problemom ali ne ustreza opredeljenim merilom, se na tej točki izločijo. Priporočljivo je, da v tem koraku neodvisno sodelujeta vsaj dva raziskovalca, ki na koncu z razpravo ali na podlagi mnenja tretje osebe uskladita ugotovitve (Gomersall idr. 2015). Togerson idr. (2021) svetujejo tristopenjsko presojo: primarni (angl. prescreening), sekundarni (angl. first-stage screening) in končni pregled (angl. second-stage screening). Na primarni stopnji izločimo vse enote literature, za katere je že na prvi pogled jasno, da vsebinsko ne ustrezajo raziskovalnemu problemu. Na sekundarni stopnji se izbor opravi na podlagi naslovov in povzetkov. Končni pregled pa zajema pregled literature z branjem celotnega besedila (ta stopnja lahko poteka vzporedno s (5) vrednotenjem kakovosti literature). Tak način lahko pomeni tudi prihranek časa, saj ne zahteva branja čisto vseh identificiranih besedil od začetka do konca. (5) Vrednotenje kakovosti literature zahteva (ponovno) branje besedil v celoti, pri čemer se pozornost usmeri na potencialne napake ali pomanjkljivosti v izvedbi, povezane z metodologijo, in na pomanjkljivosti, povezane s poročanjem o izvedeni raziskavi (Muka idr. 2020; Petticrew in Roberts 2006). Kako in na podlagi katerih meril bo literatura ovrednotena, je odvisno od metodološkega pristopa SPL, oblike SPL in značilnosti vključene literature (npr. ali gre za kvantitativne ali kvalitativne raziskave) (Xiao in Watson 2019). Na podlagi ocene se raziskovalci odločijo, kolikšno težo bodo imeli posamezni kosi literature v SPL oziroma ali jih je sploh smotrno vključiti v SPL (Petticrew in Roberts 2006). Tudi v okviru tega koraka je priporočljivo, da končna ocena temelji na presoji vsaj dveh neodvisnih raziskovalcev (Muka idr. 2020). (6) S kodiranjem ali ekstrakcijo podatkov se začnejo informacije o literaturi zbirati na enem mestu (Togerson idr. 2021). Gre za vse podatke, ki so potrebni za opis (npr. leto nastanka, informacijski vir, cilji raziskave, vzorec/izbor) in analizo vključene literature, kar je odvisno predvsem od oblike SPL. Za metaanalizo se tako najpogosteje ekstrahirajo podatki o velikosti učinkov (Torgerson 2003), za splošne preglede literature pa so značilni deskriptivni opisi ključnih ugotovitev Ferbežar, Štemberger 37 študij, ki odgovarjajo na raziskovalno vprašanje SPL (Peters idr. 2020). (7) Pristop k analizi podatkov je odvisen od vrste pridobljenih podatkov; lahko se uporabijo statistične metode, kvalitativna analiza ali kombinacija obojega (Muka idr. 2020; Xiao in Watson 2019). Sinteza kot rezultat analize je več kot le seštevek primarnih raziskav, saj poskuša nadgraditi odgovore, ki jih posamezne študije omogočajo v zvezi z raziskovalnim problemom SPL, in tako oblikovati novo znanje, ki presega spoznanja primarne raziskave (Thomas idr. 2012; Zawacki-Ri- chter idr. 2020). Zaradi številčnosti možnih pristopov k analizi in sintezi podatkov v tem besedilu na kratko predstavljamo le strukturo preproste narativne sinteze, ki je uporabno izhodišče za raznovrstne SPL. Taka sinteza poteka v treh korakih, pri čemer raziskovalec začne z organizacijo kodiranih podatkov v logične katego- rije, ki so izbrane na način, ki ga narekuje raziskovalno vprašanje (npr. glede na starost vključenih oseb). Sledita analiziranje podatkov v okviru teh predhodno opredeljenih kategorij (npr. osebe, mlajše od 20 let, ali osebe, starejše od 20 let) in nato še končna skupna analiza prek vseh kategorij ter s tem tudi vse vključene literature (Petticrew in Roberts 2006). Poročanje o sistematičnem pregledu literature (8) Besedilo poročila mora biti zasnovano tako, da bralcem omogoča ovred- notenje kakovosti izvedbe SPL in ustrezno interpretacijo rezultatov. Obenem mora biti celoten postopek izvedbe opisan tako, da je omogočena ponovljivost ali posodobitev SPL (Cumpston idr. 2022). Zelo natančne in jasne smernice za poro- čanje o izvedenih SPL so navedene v dokumentu The PRISMA 2020 statement (Page idr. 2021), zato jih na tem mestu ne bomo podrobneje opisovali. Dokument vključuje tudi kontrolni seznam (PRISMA 2020 Checklist) in predlogo za prikaz postopka identifikacije literature v podatkovnih bazah (PRISMA 2020 diagram), ki jo prevedeno predstavljamo v nadaljevanju. Posodobitev sistematičnega pregleda literature Z razvojem tematskih področij izvedeni SPL postanejo zastareli in posledično neuporabni ali celo škodljivi (Cumpston in Chandler 2022b). Na zdravstvenem področju zato delujejo organizacije, kot so Kohranova središča in Agency for Healtchare Research and Quality (AHRQ), ki skrbijo, da objavljeni SPL ustre- zajo vsem standardom kakovosti in so ponovljivi. Obenem spremljajo njihovo relevantnost skozi čas in skrbijo za potrebne posodobitve (Chandler idr. 2022; Garner idr. 2016). Na pedagoškem področju (in nekaterih drugih) je bila po zgledu Kohranovih središč ustanovljena organizacija Campbell Collaboration, ki za zdaj v manjši meri izvaja podobne naloge kot Kohranova središča in si še ni pridobila primerljivega ugleda. (9) Garner idr. (2016) navajajo tri glavna vprašanja, na katera morajo razi- skovalci ali organizacije odgovoriti, preden se odločijo o potrebi po posodobitvi ne- Sistematični pregled literature v kontekstu pedagoškega raziskovanja 38 Sodobna pedagogika/Journal of Contemporary Educational Studies kega SPL. Prvo je, ali je SPL še vedno relevanten. SPL je relevanten, ko proučuje za prakso, odločevalce ali raziskovalce še vedno pomemben raziskovalni problem, je odmeven (merilo pri tem je na primer citiranost) in je bil dovolj kakovostno izveden. Drugo vprašanje je, ali so na voljo nova spoznanja, ki bi obogatila SPL. To vprašanje se nanaša na razvoj novih metodoloških pristopov, ki bi prinesli večjo zanesljivost ali poglobljenost rezultatov, če bi se SPL ponovil, poleg tega je vezano na razvoj stroke in nova spoznanja, ki bi SPL lahko vsebinsko obogatila. Zadnje vprašanje pa je, ali bodo nova spoznanja s področja modificirala ugotovitve in kre- dibilnost raziskave. Izvedba SPL je dolgotrajna in zahteva veliko različnih virov, zaradi česar je potreben temeljit premislek o njeni upravičenosti. Posodobitve morajo biti tako dovolj pomenljive in pomembne, da je celoten proces v nekem trenutku za specifično področje smiseln. Ferbežar, Štemberger Slika 1: Predloga za prikaz postopka iskanja literature v podatkovnih bazah v slovenščini (PRISMA 2020 diagram) 39 (10) Posodobitev SPL naj bi čim bolj sledila metodologiji izvornega SPL, razen v primerih, v katerih so bile zaradi zagotavljanja kakovosti potrebne spremembe. Vse spremembe protokola morajo biti jasno predstavljene in argumentirane (Cumpston in Chandler 2022b). V tem prispevku ne predstavljamo podrobnejših smernic za posodobitev SPL. To temo izčrpno obravnavajo na primer Cumpston in Chandler (2022b), Elliott idr. (2017) in Garner idr. (2016). Namesto sklepa: umestitev sistematičnega pregleda literature v pedago- ško raziskovanje Sistematični pregled literature med raziskovalci pridobiva čedalje večjo velja- vo, saj združuje podatke številnih različnih enot literature in temelji na rigidnih metodoloških načelih, ki naj bi, kadar so ustrezno upoštevana, zagotavljala visoko zanesljivost rezultatov (Haddaway idr. 2015; Shamseer in Moher 2015). Vendarle pa ni odveč opozoriti, da je SPL z izvedbenega vidika zelo zahtevna raziskava in da so za kakovostno izvedbo potrebni čas, znanje, sredstva ter veliko kompetentnih raziskovalcev , v nasprotnem primeru lahko postopek hitro vodi v dokaj poenostav- ljen SPL, katerega rezultati so nizke kakovosti ali neuporabni. Obenem želimo poudariti, da je v prispevku predstavljena splošna izvedba SPL, ki je lahko izhodišče za izvajanje katerekoli oblike SPL, vendar hkrati prav zaradi splošnega orisa ne more biti edina referenca za to področje, saj se izvedbeni postopki različnih oblik SPL med seboj močno razlikujejo. Razvoj številnih izved- benih možnosti SPL, ki so se začele pojavljati pred kratkim, je tudi odgovor na eno izmed največjih kritik SPL, ki je specifična prav za pedagoško področje, namreč da gre za vračanje k pozitivističnim pristopom v pedagoškem raziskovanju, ki naj bi v kontekstu SPL konkretno pomenilo privilegiranje kvantitativnih raziskav. Ob tem Gough in Thomas (2016) navajata, da obstoj raznolikih oblik SPL pomeni velik potencial za raziskovanje področja vzgoje in izobraževanja, ki je že samo po sebi izrazito raznoliko, tako horizontalno kot vertikalno. Z uporabo SPL se na pedagoškem področju lahko proučujejo najrazličnejše tematike ter se na njegovi podlagi gradijo teoretično znanje oziroma konceptualni in teoretični modeli, prav tako pa je lahko pomembno orodje za zbiranje in kritično ovrednotenje ter kon- tekstualiziranje raznih intervencij. Poleg tega lahko SPL s svojimi značilnostmi, torej sistematično zbrano, kritično izbrano in ustrezno analizirano literaturo, pos- tavi temeljna izhodišča za odločevalce in oblikovalce politike na področju vzgoje in izobraževanja. Članek je nastal v okviru projekta J5-3099, ki ga finančno podpira Javna agencija za raziskovalno dejavnost Republike Slovenije (ARRS). Sistematični pregled literature v kontekstu pedagoškega raziskovanja 40 Sodobna pedagogika/Journal of Contemporary Educational Studies Literatura in viri Borah, R., Brown, A. W ., Capers, P . L. in Kaiser, K. A. (2017). Analysis of the time and workers needed to conduct systematic reviews of medical interventions using data from the PROSPERO registry. BMJ open, 7, št. 2, str. 1–7. Bramer, W . M., Milic, J. in Mast, F . (2017). Reviewing retrieved references for inclusion in systematic reviews using EndNote. Journal of the Medical Library Association: JMLA, 105, št. 1, str. 84–87. Campbell Collaboration. (b. l). Dostopno na: https://www.campbellcollaboration.org/ (pri- dobljeno 26. 9. 2022). Chandler, J., Cumpston, M., Thomas, J., Higgins, J., Deeks, J. J. in Clarke, M. J. (2022). Chapter I: Introduction. V: J. Higgins, J. Thomas, J. Chandler, M. Cumpston, T . Li, M. Page in V . Welch (ur.). Cochrane handbook for systematic reviews of interventions, version 6.3. Dostopno na: https://training.cochrane.org/handbook/current/chapter-i (pridobljeno 27. 8. 2022). Cumpston, M. in Chandler, J. (2022a). Chapter II: Planning a Cochrane review. V: J. Hig- gins, J. Thomas, J. Chandler, M. Cumpston, T . Li, M. Page in V . Welch (ur.). Cochrane handbook for systematic reviews of interventions, version 6.3. Dostopno na: https:// training.cochrane.org/node/1144 (pridobljeno 27. 8. 2022). Cumpston, M. in Chandler, J. (2022a). Chapter IV: Updating a review. V: J. Higgins, J. Thomas, J. Chandler, M. Cumpston, T . Li, M. Page in V . Welch (ur.). Cochrane handbo- ok for systematic reviews of interventions, version 6.3. Dostopno na: https://training. cochrane.org/handbook/current/chapter-iv (pridobljeno 27. 8. 2022). Cumpston, M., Lasserson, T ., Chandler, J. in Page, M. (2022). Chapter III: Reporting the review. V: J. Higgins, J. Thomas, J. Chandler, M. Cumpston, T . Li, M. Page in V . Welch (ur.). Cochrane handbook for systematic reviews of interventions, version 6.3. Dosto- pno na: https://training.cochrane.org/handbook/current/chapter-iii (pridobljeno 27. 8. 2022). Davies, P . (2000). The relevance of systematic reviews to educational policy and practice. Oxford Review of Education, 26, št. 3–4, str. 365–378. Davis, J., Mengersen, K., Bennett, S. in Mazerolle, L. (2014). Viewing systematic reviews and meta-analysis in social research through different lenses. SpringerPlus, 3, št. 1, str. 1–9. Deeks, J. J., Higgins, J. P . T. in Altman, D. G. (2022). Chapter 10: Analysing data and un- dertaking meta-analyses. V: J. Higgins, J. Thomas, J. Chandler, M. Cumpston, T . Li, M. Page in V . Welch (ur.). Cochrane handbook for systematic reviews of interventions, version 6.3. Dostopno na: https://training.cochrane.org/handbook/current/chapter-10 (pridobljeno 29. 8. 2022). Elliott, J. H., Synnot, A., Turner, T ., Simmonds, M., Akl, E. A., McDonald, S., Salanti, G., Meerpohl, J., MacLehose, H., Hilton, J., Tovey, D., Shemilt, J. in Thomas, J. (2017). Living systematic review: 1. Introduction—the why , what, when, and how. Journal of Clinical Epidemiology, 91, str. 23–30. Ferk Savec, V . in Mlinarec, K. (2022). Inovativna uporaba IKT v kemijskem izobraževanju glede na okvir digitalnih kompetenc za učitelje kemije. V: T . Devjak (ur.). Inovativno učenje in poučevanje za kakovostne kariere diplomantov in odlično visoko šolstvo: Sodobni didaktični pristopi v visokem šolstvu. Ljubljana: Univerza v Ljubljani, Peda- goška fakulteta, str. 109–151. Garner, P ., Hopewell, S., Chandler, J., MacLehose, H., Akl, E. A., Beyene, J., Chang, S., Churchill, R., Dearness, K, Guyatt, G., Lefebvre, C., Liles, B., Marchall, R., Martinez Garcia, L., Mavergames, C., Nasser, M., Qaseem, A., Sampson, M., Soares-Weiser, Ferbežar, Štemberger 41 K., Takwoingi, Y., Thabane, L., Trivella, M., Tugwell, P ., Welsh, E., Wilson, E. C. in Schünemann, H. J. (2016). When and how to update systematic reviews: consensus and checklist. British Medical Journal, 354, str. 1–10. Gomersall, J. S., Jadotte, Y. T ., Xue, Y., Lockwood, S., Riddle, D. in Preda, A. (2015). Condu- cting systematic reviews of economic evaluations. JBI Evidence Implementation, 13, št. 3, str. 170–178. Gough, D. in Thomas, J. (2016). Systematic reviews of research in education: Aims, myths and multiple methods. Review of Education, 4, št. 1, str. 84–102. Gough, D., Oliver, S. in Thomas, J. (2012). Introducing systematic reviews. V: D. Gough, S. Oliver in J. Thomas (ur.). An introduction to systematic reviews. Los Angeles, London, New Delhi, Singapore, Washington DC: SAGE, str. 1–17. Grant, M. J. in Booth, A. (2009). A typology of reviews: an analysis of 14 review types and associated methodologies. Health Information & Libraries Journal, 26, št. 2, str. 91–108. Gunnell, K., Poitras, V. J. in Tod, D. (2020). Questions and answers about conducting systematic reviews in sport and exercise psychology. International Review of Sport and Exercise Psychology, 13, št. 1, str. 297–318. Haddaway, N. R., Woodcock, P ., Macura, B. in Collins, A. (2015). Making literature reviews more reliable through application of lessons from systematic reviews. Conservation Biology, 29, št. 6, str. 1596–1605. Hennessy, E. A., Johnson, B. T. in Keenan, C. (2019). Best practice guidelines and essen- tial methodological steps to conduct rigorous and systematic meta-reviews. Applied Psychology: Health and Well-Being, 11, št. 3, str. 353–381. International Database of Education Systematic Reviews (IDESR). (b. l.). Dostopno na: https://idesr.org/ (pridobljeno 27. 8. 2022). Ioannidis, J. P . A. (2016). The mass production of redundant, misleading, and conflicted systematic reviews and meta-analyses. The Milbank Quarterly, 94, št. 3, str. 485–514. Levy , Y . in T . J. Ellis. (2006). A systems approach to conduct an effective literature review in support of information systems research. Informing Science Journal, 9, str. 182–212. Lunny, C., Brennan, S. E., McDonald, S. in McKenzie, J. E. (2017). Toward a comprehensive evidence map of overview of systematic review methods: paper 1—purpose, eligibility , search and data extraction. Systematic Reviews, 6, št. 1, str. 1–27. Jones, M. L. (2004). Application of systematic review methods to qualitative research: practical issues. Journal of Advanced Nursing, 48, št. 3, str. 271–278. Moher, D., Shamseer, L., Clarke, M., Ghersi, D., Liberati, A., Petticrew, M., Shekelle, P . in Stewart, L. A. (2015). Preferred reporting items for systematic review and meta-a- nalysis protocols (PRISMA-P) 2015 statement. Systematic Reviews, 4, št. 1, str. 1–9. Muka, T ., Glisic, M., Milic, J., Verhoog, S., Bohlius, J., Bramer, W ., Chowdhury, R. in Franco, O. H. (2020). A 24-step guide on how to design, conduct, and successfully publish a systematic review and meta-analysis in medical research. European Journal of Epidemiology, 35, št. 1, str. 49–60. Nelson, J. in Campbell, C. (2017). Evidence-informed practice in education: meanings and applications. Educational Research, 59, št. 2, str. 127–135. Newman, M. in Gough, D. (2020). Systematic reviews in educational research: methodo- logy, perspectives and application. V: O. Zawacki-Richter, M. Kerres, S. Bedenlier, M. Bond in K. Buntins (ur.). Systematic reviews in educational research: methodology, perspectives and application. Wiesbaden: Springer, str. 22–43. Norris, M., Oppenheim, C. in Rowland, F . (2008). Finding open access articles using Google, Google Scholar, OAIster and OpenDOAR. Online Information Review, 32, št. 6, str. 709–715. Sistematični pregled literature v kontekstu pedagoškega raziskovanja 42 Sodobna pedagogika/Journal of Contemporary Educational Studies Page, M. J., Moher, D., Bossuyt, P . M., Boutron, I., Hoffmann, T . C., Mulrow, C. D., Sham- seer, L., Tetzlaff, J. M., Akl, E. A., Brennan, S. E., Chou, R., Glanville, J., Grimshaw, J. M., Hrobjartsson, A., Lalu, M. M., Li, T ., Loder, E. W ., Mayo-Wilson, E., McDonald, S., McGuinness, L. A., Stewart, L. A., Thomas, J., Tricco, A. C. Welch, V . A., Whiting, P . in McKenzie, J. E. (2021). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. British Medical Journal, 372, št. 71, str. 1–11. Peters, M. D., Marnie, C., Tricco, A. C., Pollock, D., Munn, Z., Alexander, L., McInerney, P ., Godfrey, C. M. in Khalil, H. (2020). Updated methodological guidance for the conduct of scoping reviews. JBI Evidence Synthesis, 18, št. 10, str. 2119–2126. Petticrew, M. in Roberts, H. (2008). Systematic reviews in the social sciences: a practical guide. John Wiley & Sons. Pieper, D. in Rombey, T . (2022). Where to prospectively register a systematic review. Syste- matic Reviews, 11, št. 8, str. 1–8. Prill, R., Karlsson, J., Ayeni, O. R. in Becker, R. (2021). Author guidelines for conducting systematic reviews and meta-analyses. Knee Surgery, Sports Traumatology, Arthros- copy, 29, št. 9, str. 2739–2744. PRISMA 2020 Flow Diagram. (2020). PRISMA Statement. Dostopno na: https://prisma-sta- tement.org/PRISMAStatement/FlowDiagram.aspx (pridobljeno 28. 8. 2022). PRISMA 2020 Checklist. (2020). PRISMA Statement. Dostopno na: https://prisma-state- ment.org/documents/PRISMA_2020_checklist.pdf (pridobljeno 28. 8. 2022). Ridley, D. (2012). The literature review: A step-by-step guide for students. London: SAGE. Search operators. (b. l.). Web of Science Core Collection Help. Dostopno na: https://images. webofknowledge.com/images/help/WOS/hs_search_operators.html (pridobljeno 28. 8. 2022). Shamseer, L. in Moher, D. (2015). Planning a systematic review? Think protocols. BMC. Dostopno na: http://blogs.biomedcentral.com/bmcblog/2015/01/05/planning-a-syste- matic-review-think-protocols/ (pridobljeno 27. 8. 2022). Shamseer, L., Moher, D., Clarke, M., Ghersi, D., Liberati, A., Petticrew, M., Shakelle, P . in Stewart, L. A. (2015). Preferred reporting items for systematic review and me- ta-analysis protocols (PRISMA-P) 2015: elaboration and explanation. British Medical Journal, 349, str. 1–25. Snyder, H. (2019). Literature review as a research methodology: An overview and guideli- nes. Journal of Business Research, 104, str. 333–339. Sodja, N. in Rotar-Pavlič, D. (2019). Obravnava bolnika z vrtoglavico v družinski medicini – sistematični pregled literature. Medicinski razgledi, 58, št. 2, str. 203–210. Ščuka, L. (2005). Pomen metaanalize v medicini. Zdravniški vestnik: glasilo Slovenskega zdravniškega društva, 74, št. 1, str. 39–48. Thomas, J., Kneale, D., McKenzie, J. E., Brennan, S. E. in Bhaumik, S. (2022). Chapter 2: Determining the scope of the review and the questions it will address. V: J. Higgins, J. Thomas, J. Chandler, M. Cumpston, T . Li, M. Page in V . Welch (ur.). Cochrane hand- book for systematic reviews of interventions, version 6.3. Dostopno na: https://training. cochrane.org/ handbook/ current/ chapter-02#section-2-1 (pridobljeno 27. 8. 2022). Torgerson, C. (2003). Systematic reviews. London: Bloomsbury Publishing. Torgerson, C., Hall, J. in Light, K. (2021). Systematic reviews. V: A. J. Waring, M. R. Coe in L. V . Hedges (ur.). Research methods and methodologies in education. Thousand Oaks, California: SAGE, str. 217–230. Tranfield, D., Denyer, D. in Smart, P . (2003). Towards a methodology for developing eviden- ce-informed management knowledge by means of systematic review. British Journal of Management, 14, št. 3, str. 207–222. Turk, N. (2021). Metodologija priprave sistematičnih preglednih člankov. Zdravniški vest- Ferbežar, Štemberger 43 nik, 90, št. 7–8, str. 432–442. Webster, J. in Watson, R. T . (2002). Analyzing the past to prepare for the future: Writing a literature review. MIS Quarterly, 26, št. 2, str. 13–23. Xiao, Y. in Watson, M. (2019). Guidance on conducting a systematic literature review. Journal of Planning Education and Research, 39, št. 1, str. 93–112. Zawacki-Richter, O., Kerres, M., Bedenlier, S., Bond, M. in Buntins, K. (2020). Systematic reviews in educational research: Methodology, perspectives and application. Wiesba- den: Springer. Nika FERBEŽAR (University of Primorska, Faculty of Education, Slovenia) Tina ŠTEMBERGER (University of Primorska, Faculty of Education, Slovenia) A SYSTEMATIC LITERATURE REVIEW IN THE CONTEXT OF PEDAGOGICAL RESEARCH Abstract: With the development of precise methodological laws, systematic literature review has been established as distinct type of research characterized by a high degree of reliability. In turn, in the context of pedagogical research in Slovenia, a systematic literature review is relatively unknown and rarely applied. Therefore, the paper first presents the historical background of systematic literature review, defines it as a special type of research, and compares it with traditional literature review. This is followed by an analysis of its advantages and disadvantages and a description of the process of con- ducting this type of research. Finally, its application in practice is critically evaluated and positioned in the context of educational research. Keywords: systematic literature review , type of research, educational research, advantages and disad- vantages, research process. Email for correspondence: tina.stemberger@pef.upr.si Sistematični pregled literature v kontekstu pedagoškega raziskovanja