138 The impact of the number of judges on the reliability of their judgement in standard and latin american dances Abstract In the last decade, great changes have occurred in judges’ judgement of standard and Latin American dances. Initially, four judg- ing criteria were defined and each of them was rated by three judges. This type of judgement was poorly reliable. In 2017 four judging criteria merged into two components, technical and artistic, and each of them was rated by six judges. The aim of our study was to establish whether the higher number of judges has improved the reliability of their judgement. The sample consist- ed of 18 Slovenian judges. In all standard and Latin American dances judges rated the 12 best placed adult dancing couples at the Slovenia Open international competition. The results showed that a higher number of judges results in better reliability of their judgement in all four judging criteria. The values of intraclass correlation coefficients (ICC) were higher in the criteria of technical quality and movement to music (ICC = 0.78), whereas those pertaining to partnering skills and choreography were lower (ICC = 0.67; 0.68). The change in the judging system, with introduction of six judges for the rating of each component, has proven to be reasonable and has improved the reliability of judging. Keywords: sport dance, judging system, aesthetic sports Izvleček V standardnih in latinskoameriških plesih so se v za- dnjem desetletju zgodile velike spremembe v sodni- škem ocenjevanju. V začetni obliki so bili oblikovani štirje ocenjevalni kriteriji, vsakega so ocenjevali po trije sodniki. Ocenjevanje se je izkazalo za slabo zanesljivo. Z letom 2017 so bili štirje ocenjevalni kriteriji združeni v dve komponenti, tehnično in umetniško, vsako pa oce- njuje po šest sodnikov. Z raziskavo smo želeli ugotoviti, ali se je z večjim številom sodnikov izboljšala tudi za- nesljivost ocenjevanja. Vzorec je sestavljalo 18 sloven- skih sodnikov. V vseh standardnih in latinskoameriških plesih so ocenili 12 najbolje uvrščenih članskih plesnih parov na mednarodnem tekmovanju Slovenija Open. Rezultati so pokazali, da se z večjim številom sodnikov zanesljivost ocenjevanja izboljša v vseh štirih ocenje- valnih kriterijih. Vrednosti interklasnih korelacijskih koeficientov (ICC) so bile višje pri kriteriju tehnične kvalitete in gibanja z glasbo (ICC = 0,78), pri kriteriju odnosa plesalec-plesalka in koreografije pa so bile vre- dnosti nižje (ICC = 0,67; 0,68). Sprememba sodniškega sistema z uveljavitvijo šestih sodnikov za ocenjevanje vsake komponente se je izkazala za smotrno in prinaša boljšo zanesljivost sodniškega ocenjevanja. Ključne besede: športni ples, sodniški sistem, estetski športi. Jerneja Premelč Vpliv števila sodnikov na zanesljivost sodniškega ocenjevanja v standardnih in latinskoameriških plesih raziskovalna dejavnost 139 „ Uvod Sodniško ocenjevanje v estetskih športih že od nekdaj pomeni izziv, saj rezultat ni mer- ljiv, kot je pri izmeri razdalje, hitrosti, številu zadetih košev itd., ampak je večinoma od- visen od subjektivne ocene sodnikov. Pri preučevanju sodniških sistemov v estetskih športih je bilo ugotovljenih več pomanjklji- vosti. Med njimi so pristranskost sodnika zaradi večjega izkazovanja naklonjenosti tekmovalcem svojih držav (Seltzer in Glass, 1991; Ste-Marie in Valiquette, 1996; Whissell idr., 1993), ocena sodnika, na katero vpliva ugled tekmovalca (Findlay in Ste-Marie, 2004), »halo učinek«, ki se nanaša na ten- denco sodnikov, da posplošijo svojo oceno na vse segmente športnikovega nastopa, čeprav se ti med seboj razlikujejo (Borman, 1975), vpliv spomina sodnika na predhodni nastop tekmovalca (Ste-Marie, 2003; Ste- -Marie in Valiquette, 1996; Ste-Marie, Va- liquette in Taylor, 2001) idr. Več raziskav je preučevalo zanesljivost in veljavnost sodni- ških sistemov v estetskih športih in s tem povezanih pomanjkljivosti ocenjevanja (Bučar idr., 2014; Leandro idr., 2017; Leon- -Parados in Jemni, 2022; Leskošek idr., 2018; Mack idr., 2019; Ponciano idr., 2018; Premelč idr., 2019). Izkazalo se je, da na ocenjevanje in končni rezultat vplivajo tudi sodnikove tekmovalne izkušnje (Pizzera, 2012), raven sodniške licence (nacionalna/mednaro- dna) (Čuk idr., 2012; Dallas in Kirialanis, 2010; Flessas idr., 2015) in oblikovanje sodniških lestvic (Atiković idr., 2012; Mack, Bryan idr., 2019). V nekaterih estetskih športih so se zavze- mali za spremembe sodniških sistemov z namenom boljše zanesljivosti in pravič- nosti ocenjevanja. Največ sprememb v sodniškem ocenjevanju v estetskih športih je bilo uveljavljenih v športni in ritmični gimnastiki, umetnostnem drsanju ter sin- hronem plavanju (FIG, 2021; FINA, 2017; ISU, 2003). Zahtevnost koreografij in tehničnih elementov je postala številčno ovredno- tena, določeni so bili obvezni elementi in odbitki za napake v izvedbi, tehnična in umetniška komponenta sta se začeli oce- njevati ločeno, na novo so bile oblikovane ocenjevalne lestvice in izračun končnih re- zultatov idr. Spremembe so bile uvedene tudi v plesu, in sicer akrobatskem rokenrolu ter standardnih in latinskoameriških plesih ( W DSF, 2017). V športnem plesu plesalci lahko tekmujejo v treh različnih zvrsteh, in sicer v latinsko- ameriških plesih (samba, čačača, rumba, paso doble, jive), standardnih plesih (angle- ški valček, tango, dunajski valček, počasni fokstrot in hitri fokstrot) ali/in kombinaciji vseh 10 plesov. Uspešnost plesalcev na tek- movanju je odvisna od njihovega plesnega nastopa in sodniške ocene tega. Do leta 2013 se je na vseh tekmovanjih uporabljal sodniški sistem, ki je temeljil na razvrščanju (rangiranju) plesnih parov. Prvi predlog no- vega sodniškega sistema je mednarodna plesna zveza (WDSF) predstavila leta 2008 in je temeljil na oblikovanju pravil, ki so jih razvili pri japonski plesni zvezi po vzoru so- dniškega sistema v umetnostnem drsanju iz leta 2004. Prvič je bil preizkušen leta 2009 v finalu grand slama v Šanghaju (Ambrož, 2010). Po poglobljenem delu, opazovanju in povratnih informacijah je leta 2013 pre- šel v veljavo na najvišjih mednarodnih tek- movanjih. Do leta 2017 so uvedli še nekaj sprememb in ga nadgradili v različico, ime- novano 3.0 (WDSF , 2017). V športnem plesu se tako uporabljata dva sodniška sistema. Star sodniški sistem razvrščanja plesnih pa- rov se uporablja na tekmovanjih nižje ravni, nov sodniški sistem številčnega ocenjeva- nja pa na najvišjih mednarodnih tekmova- njih, kot so WDSF Grand Slam, WDSF Grand Prix, svetovno in evropsko prvenstvo, sve- tovni in evropski pokal (WDSF, 2018a). Gle- de na raven tekmovanja se spreminja tudi število sodnikov, in sicer od 3 do 12. Novi sodniški sistem vključuje štiri ocenje- valne kriterije: tehnična kvaliteta, odnos plesalec-plesalka, gibanje z glasbo in ko- reografija (WDSF, 2017, 2018a) (Slika 1). Pri prvih spremembah sodniškega sistema so vsak kriterij ocenjevali po trije sodniki. Po- javljalo se je vprašanje, ali so trije sodniki dovolj za zanesljivo oceno posameznega kriterija. Vendar je več kot 12 sodnikov na tekmovanjih težko zagotoviti, zato so se odločili, da dva kriterija združijo v tehnično komponento (tehnična kvaliteta, odnos plesalec-plesalka) in dva v umetniško kom- ponento (gibanje z glasbo in koreografija). Vsako komponento ocenjuje po šest so- dnikov z oceno od 0 do 10. Končna ocena plesnega nastopa je odvisna od ocen obeh komponent in je izračunana, kot določa pravilnik ocenjevanja (WDSF, 2017). Namen te študije je bil ugotoviti, kako število sodnikov vpliva na zanesljivost so- dniškega ocenjevanja in koliko sodnikov je potrebno, da lahko govorimo o zanesljivo- sti ocenjevanja. Cilj je bil tudi ugotoviti, ali je pri vseh ocenjevalnih kriterijih potrebno enako število sodnikov. Je zanesljivost oce- njevanja tehnične komponente mogoče doseči z manjšim številom sodnikov in ve- čjim številom pri umetniški komponenti? Odgovor na vprašanje bo omogočal na- tančnejši vpogled v to, ali število sodnikov vpliva na zanesljivost ocenjevanja posame- znih kriterijev. „ Metode Vzorec merjencev Vzorec je sestavljalo 18 sodnikov, od tega dva z nacionalno in 16 z mednarodno so- dniško licenco. Povprečno so imeli 19,6 ± 9 let sodniških izkušenj. Vsi sodniki so opravili letni sodniški izpit in so bili usposobljeni za sojenje po novem sodniškem sistemu. Metode zbiranja in obdelave podatkov Za ugotavljanje zanesljivosti sodniškega sistema so sodniki ocenili 12 najbolje uvr- ščenih članskih plesnih parov (nad 19 let), ki so se udeležili mednarodnega tekmovanja IDSF International Open 201 1 v standardnih in latinskoameriških plesih v Sloveniji. Na podlagi videoposnetkov, predvajanih na Slika 1. Ocenjevalni kriteriji v sodniškem sistemu standardnih in latinskoameriških plesov Opomba. Povzeto po WDSF, 2017. 140 SEM in MD se s povečevanjem števila so- dnikov zmanjšujeta, kar prav tako kaže, da se s povečevanjem števila sodnikov izbolj- šuje zanesljivost ocenjevanja (Tabela 1 ter Sliki 2 in 3). Pri ocenjevanju enega kriterija z dvanajstimi sodniki v primerjavi s tremi se SEM zmanjša od 0,37 do 0,43, MD pa od 1,02 do 1,20. Najnižja SEM, z ocenjevanjem s šestimi sodniki, je pri kriteriju tehnične kvalitete (SEM = 0,70), nekoliko višja je pri kriteriju gibanja z glasbo in koreografije (SEM = 0,82), najvišja pa pri kriteriju odnosa plesalec-plesalka (SEM = 0,88). velikem platnu, so jih ocenili v vseh ocenje- valnih kriterijih z ocenami od 0 do 10 v vseh standardnih in latinskoameriških plesih. Pri zbiranju posnetkov so bile videokamere postavljene ob plesišču na prostoru, kjer stojijo sodniki, s čimer je bil zagotovljen čim bolj enak pogled na plesne pare kot v realnih razmerah. Za vsak plesni par so imeli sodniki na voljo minuto, da ga oce- nijo v enem ocenjevalnem kriteriju, kar je primerljivo s časom, ki ga imajo sodniki na tekmovanju. Za ugotavljanje vpliva števila sodnikov na zanesljivost ocenjevanja so bili izračuna- ni interklasni korelacijski koeficienti (ICC), standardna napaka meritev (SEM) in naj- manjša razlika (MD). ICC so bili izračunani s pomočjo Sperman-Brownove napovedne formule, pri čemer je bilo izbrano različno število sodnikov. r n = ; N = število sodnikov; R = ICC za enega sodnika SEM je bila izračunana kot SD*(1- ICC(2,3)) 1/2 , pri čemer SD predstavlja standardno devia- cijo povprečnih ocen parov za posamezen ocenjevalni kriterij. MD je bila izračunana po formuli SEM*1,96*. Vsi izračuni so bili na- rejeni z irr in psych izdaje softvera R (The R project for statistical computing, 2015). „ Rezultati Vse vrednosti ICC kažejo na slabo zaneslji- vost sodniškega ocenjevanja v primeru, da posamezni kriterij ocenjujejo samo trije so- dniki. S šestimi sodniki zanesljivost doseže sprejemljivo vrednost pri kriteriju tehnične kvalitete (ICC = 0,78) in gibanja z glasbo (ICC = 0,78), medtem ko kriterija odnos ple- salec-plesalka (ICC = 0,70) in koreografija (0,71) to dosežeta pri ocenjevanju s sedmi- mi sodniki. Dobro zanesljivost (ICC ≥ 0,75) (Koo in Li, 2016) kriterija tehnične kvalitete in gibanja z glasbo dosežeta pri ocenjeva- nju s petimi sodniki, druga dva kriterija pa šele pri ocenjevanju z devetimi sodniki. V Tabeli 1 je prikazano, kako se zanesljivost ocenjevanja izboljšuje z večjim številom sodnikov. Vrednosti ICC s povečevanjem števila sodnikov naraščajo (Graf 1), SEM in MD pa se zmanjšujeta. Če en ocenjevalni kriterij ocenjuje šest sodnikov, se vrednosti ICC v primerjavi s tremi sodniki zvišajo od 0,14 do 0,17, v primeru dvanajstih sodnikov pa celo od 0,24 do 0,30. Vrednosti ICC se od enajstih sodnikov naprej zvišujejo le še za 0,01, zato bi bilo povečevanje števila sodni- kov od tu naprej nesmiselno. N (R) 1 + (N-1) * R Tabela 1 Vpliv števila sodnikov na zanesljivost ocenjevanja glavnih kriterijev Število sodnikov Tehnična kvaliteta Odnos plesalec- -plesalka Gibanje z glasbo Koreografija ICC SEM ICC SEM ICC SEM ICC SEM 1 0,37 1,17 0,25 1,33 0,37 1,38 0,26 1,24 2 0,54 1,00 0,40 1,19 0,54 1,18 0,41 1,10 3 0,64 0,89 0,50 1,08 0,64 1,05 0,51 1,00 4 0,70 0,81 0,57 1,00 0,70 0,95 0,58 0,93 5 0,75 0,75 0,63 0,94 0,75 0,88 0,64 0,87 6 0,78 0,70 0,67 0,88 0,78 0,82 0,68 0,82 7 0,80 0,65 0,70 0,84 0,80 0,77 0,71 0,77 8 0,82 0,62 0,73 0,80 0,82 0,73 0,74 0,74 9 0,84 0,59 0,75 0,77 0,84 0,69 0,76 0,71 10 0,85 0,56 0,77 0,73 0,85 0,66 0,78 0,68 11 0,87 0,54 0,79 0,71 0,87 0,64 0,79 0,65 12 0,88 0,52 0,80 0,68 0,88 0,61 0,81 0,63 13 0,88 0,50 0,81 0,66 0,88 0,59 0,82 0,61 14 0,89 0,49 0,82 0,64 0,89 0,57 0,83 0,59 15 0,90 0,47 0,83 0,62 0,90 0,56 0,84 0,58 16 0,90 0,46 0,84 0,61 0,90 0,54 0,85 0,56 17 0,91 0,45 0,85 0,59 0,91 0,53 0,86 0,55 18 0,91 0,44 0,86 0,58 0,91 0,51 0,86 0,53 Opomba. ICC – interklasni korelacijski koeficienti; SEM – standardna napaka meritev. 0,65 0,79 0,88 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 Vrednost ICC Število sodnikov Tehnična kvaliteta Gibanje z glasbo Odnos plesalec-plesalka Koreo grafija Slika 2. Vpliv števila sodnikov na vrednost ICC raziskovalna dejavnost 141 „ Razprava Rezultati kažejo, da se zanesljivost so- dniškega ocenjevanja v standardnih in latinskoameriških plesih pri vseh ocenje- valnih kriterijih izboljšuje s sojenjem več sodnikov. Prejšnje raziskave preučevanja zanesljivosti novega sodniškega sistema z ocenjevanjem treh sodnikov za posamezni kriterij so se izkazale kot slabo zanesljive (Premelč idr., 2019). Odločitev o združeva- nju kriterijev v dve komponenti, tehnično in umetniško, pri čemer vsako ocenjuje po šest sodnikov, se je izkazala kot dobra. Rezultati so pokazali, da je bila zanesljivost ocenjevanja boljša pri ocenjevanju krite- rija tehnične kvalitete in gibanja z glasbo. Tudi v gimnastiki sta Leon-Padros in Jemni (2022) prišla do podobnih ugotovitev, in sicer, da je zanesljivost ocenjevanja boljša pri ocenjevanju tehnične izvedbe kot pri ocenjevanju umetniškega dela. V pravilni- ku sodniškega ocenjevanja standardnih in latinskoameriških plesov (WDSF, 2017) so ocenjevalni kriteriji razdeljeni na več pod- kriterijev. Tehnični elementi, kot so drža, osnovno gibanje in figure pri posameznem plesu, so natančno določeni in opisani (Ho- ward, 2007; Laird, 2009). Prav tako kriterij gi- banja z glasbo, ki opredeljuje časovno skla- dnost, ritmične zahteve, različne ritmične interpretacije itd. (WDSF , 2017). Natančnejša opredelitev teh dveh kriterijev omogoča in pomaga pri natančnosti ocenjevanja, saj sodniki s svojim znanjem prepoznajo do- bro oziroma slabo izvedbo in morebitne napake. Zato sta skladnost in zanesljivost sodniških ocen večji pri kriteriju tehnične kvalitete in gibanja z glasbo. Ocenjevalni kriterij odnosa plesalec-plesalka vključuje ocenjevanje plesne drže para ter vodenje in sposobnosti vodenja pri osnovnih gibih in figurah (WDSF , 2017). Kljub temu je ta kri- terij manj natančno opredeljen v primerjavi s kriterijem tehnične kvalitete, še posebej pri latinskoameriških plesih, ko plesalec in plesalka plešeta v odprti drži, pogosto tudi brez dotika in le z izrazno komunikacijo. V standardnih plesih sta drža plesnega para in vodenje natančno tehnično določena. Plesalko in plesalca v drži povezujejo točke stika, ki jih morata ohranjati med plesom v različnih položajih in tako ohraniti gibanje kot eno, in ne kot gibanje dveh posamezni- kov (Howard, 2007). V članski kategoriji ko- reografija s pravilnikom ni določena, obsta- ja pa seznam figur, katerih pravilna izvedba je natančno opisana v knjigah tehnike po- sameznih plesov (WDSF, 2018b) in jih ple- salci lahko vključijo v svojo koreografijo. Ko- reografije se tako lahko med plesnimi pari zelo razlikujejo, tako po dinamiki gibanja, gibanju po prostoru, izbiri elementov, izbiri drže idr. Nedoločljivost obveznih elemen- tov plesnemu paru omogoča izbor figur, ki skrijejo njegove tehnične pomanjkljivosti in poudarijo kvalitete, vendar pa je zato težje določiti težavnost koreografije. Velik vpliv na vrednotenje koreografije imajo plesal- čeva interpretacija koreografije, osebni stil, ustvarjalnost in izraznost plesalcev. Sodni- ška ocena je odvisna tudi od všečnosti ple- snega para in koreografije posameznemu sodniku, kar najverjetneje vpliva na slabšo zanesljivost ocenjevanja. K izboljšanju za- nesljivosti ocenjevanja kriterija koreografi- je bi verjetno lahko pripomogla določitev obveznih elementov, tako kot so to uvedli v umetnostnem drsanju (ISU, 2003). Dobra stran pri združevanju štirih kriterijev v dve komponenti (tehnična in umetniška) je, da je v vsaki komponenti en kriterij na- tančneje opredeljen s pravilnikom, drugi pa je slabše opredeljen in povezan bolj z dojemanjem estetike posameznega so- dnika. S tem se izboljša zanesljivost vsake komponente. Prav je, da v plesu ostaja poudarek tudi na estetski vrednosti, ki ni strogo določen, saj to plesalcem omogo- ča lastno izražanje skozi ples in ohranja estetsko komponento živo (Bijster 2012a; Byczkowck-Owczarek, 2019; Lapaeva, 2013; Picard, 2006). Seveda se lahko zaradi su- bjektivnega ocenjevanja pojavljajo neso- glasja, manipulacije v sojenju in nestrinja- nje vseh vpletenih. Da bi se temu izognili, je smiselno zagotoviti večje število sodnikov, saj se je izkazalo, da je s tem zanesljivost ocenjevanja boljša in sojenje pravičnejše. Novega sodniškega sistema še vedno ni mogoče uporabljati na vseh ravneh tekmovanj, kar je posledica premajhne- ga števila sodnikov in premalo finančnih sredstev, saj je večje število sodnikov na tekmovanju povezano tudi z višjimi stroški, ki si jih organizatorji tekmovanj težko pri- voščijo. Nekateri plesni strokovnjaki so tudi mnenja, da sta novi sodniški sistem in šte- vilčno ocenjevanje športni ples spremenila predvsem v šport in zanemarila segment umetnosti (Bijster, 2012b; Pletnev, 2012). A kljub temu si mednarodna plesna zveza (WDSF) prizadeva za vključitev športnega plesa med olimpijske športe, zato je nujno, da je sodniški sistem dobro opredeljen, za- nesljiv in veljaven. Poleg tega s številčnim ocenjevanjem tekmovalci in trenerji do- bijo povratno informacijo o tem, v katerih segmentih plesnega nastopa so boljši in v katerih slabši. Na podlagi tega lahko prila- godijo svoj trenažni proces in ga usmerijo ali v izboljšanje tehničnih elementov ali v izraznost, koreografijo itd. Sodniki so strokovnjaki na svojem podro- čju, večinoma so tudi sami bili vrhunski ple- salci in imajo veliko znanja o tehniki plesa in drugih karakteristikah pri ocenjevanju plesalcev. Vendar pa plesno znanje še ne pomeni, da pri sojenju ne prihaja do napak in da so odločitve sodnikov vedno prave, ne glede na to, da nameni sodnika niso slabi. Subjektivnost ocenjevanja lahko vodi do vprašljivih sodniških odločitev, čeprav so kriteriji ocenjevanja določeni v sodni- škem pravilniku. Na omenjene težave pri ocenjevanju v športnem plesu so opozorili tudi Anderlussi idr. (2021), ki so poudarili, da je v sodniškem sistemu nujno čim bolj na- tančno opredeliti kriterije in s tem omejiti subjektivnost ocenjevanja. 0,00 0,50 1,00 1,50 2,00 2,50 3,00 3,50 4,00 4,50 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 Vrednos � MD Število sodnikov Tehn ična kvaliteta Gibanje z glasbo Odnos plesalec-plesalka Koreo grafija Slika 3. Vpliv števila sodnikov na vrednost MD 142 „ Zaključek Novi sodniški sistem v standardnih in latin- skoameriških plesih je z izboljšavami v za- dnjih letih prispeval k bolj kakovostnemu ocenjevanju. Z združitvijo štirih ocenjeval- nih kriterijev v dve komponenti in posle- dično povečanjem števila sodnikov na šest (ti ocenjujejo posamezno komponento) je zanesljivost ocenjevanja višja. Brez odgovo- ra pa ostaja vprašanje, ali bi lahko zaneslji- vost ocenjevanja kriterija odnosa plesalec- -plesalka in koreografije še izboljšali npr. z določitvijo obveznih elementov, odbitkov za napake idr. Prav tako bi bilo smiselno na ocenjevalni lestvici vsaki oceni pripisa- ti opis, ki opredeljuje izvedbo za dosego posamezne vrednosti, predvsem pa najti rešitev za uporabo novega sodniškega sistema na vseh ravneh tekmovanj. Ne- dvomno je športni ples naredil velik korak v smeri kakovostnega ocenjevanja, z doda- tnimi izboljšavami pa ga lahko postavimo na še višjo raven. Omejitev raziskave je bila, da je sojenje potekalo na podlagi videopo- snetkov, ki kljub dobremu prikazu plesnega para ne morejo nadomestiti realnih okoli- ščin, npr. vzdušja, komunikacije plesnega par z gledalci in sodnikom idr. Tudi v priho- dnje bi bilo smiselno preverjanje zaneslji- vosti ocenjevanja na tekmovanjih, ločeno po disciplinah in starostnih kategorijah, saj bi s tem dobili širši vpogled v prednosti in pomanjkljivosti sodniškega ocenjevanja. „ Literatura 1. Ambrož, N. (2010). New judging system. Wor- ld DanceSport magazine, 4, 36–40. 2. Anderlucci, L., Lubisco, A. in Mignani, S. (2021). Investigating the Judges Performan- ce in a National Competition of Sport Dance. Social Indicators Research 156, 783–799. 3. Atiković, A., Delaš Kalinski, S., Bijelić, S. in Avdibašić Vukadinović, N. (2012). Analysis re- sults judging world championships in men‘s artistic gymnastics in the London 2009 year. Sport Logia, 7(2), 93–100. 4. Bijester, F. (2012). Changing the system of judging. Pridobljeno 1. 8. 2013 s https:// archives.dance/2012/07/from-fred-bijster- -changing-the-system-of-judging/ 5. Bijster, F. (2013). Thoughts on Objective Jud- ging. Pridobljeno 1. 8. 2013 s https://archives. dance/2012/04/objective-judging-fred-bij- ster/ 6. Borman, W. C. (1975). Effects of instructions to avoid halo error on reliability and validity of performance evaluation ratings. Journal of applied psychology, 60(5), 556. 7. Byczkowska-Owczarek, D. (2019). Performing on the Boundary of Art and Sport: The Case of Competitive Ballroom Dancers. Czech So- ciological Review, 55(3), 369–392. https://doi. org/10.13060/00380288.2019.55.3.471 8. Čuk, I., Fink, H. in Leskošek, B. (2012). Mode- ling the final score in artistic gymnastics by different weights of difficulty and execution. Science of gymnastics journal, 4(1), 73. 9. Dallas, G. in Kirialanis, P . (2010). Judges‘ evalu- ation of routines in men‘s artistic gymnasti- cs. Science of Gymnastics Journal, 2(2), 49–58. 10. FIG (2021). Main rules. Pridobljeno 2. 2. 2022 s Fédération Internationale de Gymnastique (gymnastics.sport) 11. FINA (2017). Artistic swimming rules. Prido- bljeno 4. 5. 2022 z Artistic Swimming Rules (fina.org) 12. Findlay, L. C. in Ste-Marie, D. M. (2004). A re- putation bias in figure skating judging. Jo- urnal of Sport and Exercise Psychology, 26(1), 154–166. 13. Flessas, K., Mylonas, D., Panagiotaropou- lou, G., Tsopani, D., Korda, A., Siettos, C. idr. (2015). Judging the judges‘ performance in rhythmic gymnastics. Medicine & Science in Sports & Exercise, 47(3), 640–648. 14. Howard, G. (2007). Technique of Ballroom Dancing. Brighton: International Dance Tea- chers‘ Association. 15. ISU (2003). ISU Judging system. Pridobljeno 1. 7. 2022 z ISU Judging System - Internatio- nal Skating Union 16. Koo, T. K. in Li, M. Y. (2016). A Guideline of Se- lecting and Reporting Intraclass Correlation Coefficients for Reliability Research. Journal of chiropractic medicine, 15(2), 155–163. 17. Laird, W. (2009). The Laird tecnique of Latin dancing: New edition completed by Julie Laird. 18. Brightion: International Corporation. 19. Lapaeva, E. (2013) Authenticity versus com- mercialism Part I. Pridobljeno 1. 9. 2014 s https://archives.dance/2013/01/written-by- -ekaterina-lapaeva/ 20. Leandro, C., Ávila-Carvalho, L., Sierra-Pal- meiro, E. in Bobo-Arce, M. (2017). Judging in Rhythmic Gymnastics at different levels of performance. Journal of human kinetics, 60(1), 159–165. 21. León-Prados, J. A. in Jemni, M. (2022). Relia- bility and agreement in technical and artistic scores during real-time judging in two Euro- pean acrobatic gymnastic events. Internati- onal Journal of Performance Analysis in Sport, 22(1), 132–148. 22. Leskošek, B., Čuk, I. in Peixoto, C. J. D. (2018). Inter-rater reliability and validity of scoring men’s individual trampoline routines at European championships 2014. Science of Gymnastics Journal, 10(1), 69–79. 23. Mack, M., Bryan, M., Heyer, G. in Heinen, T. (2019). Modeling judges‘ scores in artistic gymnastics. The Open Sports Sciences Jour- nal, 12(1). 24. Pajek, M. B., Kovač, M., Pajek, J. in Leskošek, B. (2014). The Judging of artistry components in female gymnastics: a cause for concern. Science of gymnastics journal, 6(3), 5–12. 25. Picard, C. J. (2006). From Ballroom to Dance Sport: Aesthetics, Athletics and Body Culture. Albany, NY: State University of New York Press. 26. Pizzera, A. (2012). Gymnastic judges benefit from their own motor experience as gymna- sts. Research quarterly for exercise and sport, 83(4), 603–607. 27. Pletnev, L. (2012) Adjudicator‘s issues. Pri- dobljeno 3. 6. 2014 s https://archives.dan- ce/2012/04/adjudicators-issues-from-leo- nid-pletnev/ 28. Ponciano, K. R., Fugita, M., Figueira Júnior, A. J., da Silva, C. B., Meira Júnior, C. de M. in Bocalini, D. S. (2018). Reliability of judge’s evaluation of the synchronized swimming technical elements by video. Revista Brasileira de Medicina do Esporte, 24, 182–185. 29. Premelč, J., Vučković, G., James, N. in Lesko- šek, B. (2019). Reliability of judging in Dance- Sport. Frontiers in psychology, 10, 1001. 30. Seltzer, R. in Glass, W. (1991). International po- litics and judging in Olympic skating events: 1968-1988. Journal of Sport Behavior, 14(3), 189. 31. Ste‐Marie, D. (2003). Memory biases in gym- nastic judging: Differential effects of surface feature changes. Applied Cognitive Psycholo- gy: The Official Journal of the Society for Appli- ed Research in Memory and Cognition, 17(6), 733–751. 32. Ste-Marie, D. M. in Valiquette, S. M. (1996). Enduring memory-influenced biases in gymnastic judging. Journal of Experimental Psychology: Learning, Memory, and Cognition, 22(6), 1498. 33. Ste-Marie, D. M., Valiquette, S. M. in Taylor, G. (2001). Memory-influenced biases in gym- nastic judging occur across different prior processing conditions. Research Quarterly for Exercise and Sport, 72(4), 420–426. 34. WDSF (2017). Judging System 3.0. Pridoblje- no 5. 4. 2016 z Judging Systems | World Dan- ceSport Federation at worlddancesport.org 35. WDSF (2018a). Competition rules. Pridoblje- no 11. 8. 2022 s Competition Rules | World DanceSport Federation at worlddancesport. org 36. WDSF (2018b). Technique Books. Pridobljeno 11. 8. 2022 s Technique Books | World Dan- ceSport Federation at worlddancesport.org Dr. Jerneja Premelč Univerza v Ljubljani, Fakulteta za šport jerneja.premelc@guest.arnes.si