Jasmina Primožič1, Maja Ovsenik2
Veljavnost, zanesljivost in zamudnost vrednotenja malokluzije z Eismann-Farcnikovim (EF) indeksom3
Assessing Malocclusion with the EF Index: Validity, Reliability and Time Consumption3
IZVLEČEK_
KLJUČNE BESEDE: malokluzija - diagnostika, ortodontija korektivna
Izhodišče. Ortodontska diagnostika nam s pomočjo klasifikacijskih sistemov omogoča razvrstitev posameznih vrst zobnih in čeljustnih nepravilnosti (malokluzij). Za razvrščanje še vedno uporabljamo nekoliko izpopolnjen klasifikacijski sistem po Anglu (1899). Za kvantitativno vrednotenje malokluzij pa imamo različne okluzijske indekse. V Sloveniji je bil razvit Eismann-Farčnikov (EF) indeks, vendar je njegova rutinska uporaba v ortodontskih ambulantah omejena. Namen in hipoteze. Z namenom, da ugotovimo uporabnost EF indeksa v vsakdanji ortodontski praksi, je cilj naloge preveriti njegovo veljavnost, zanesljivost in zamudnost pri vrednotenju malokluzije. Pričakujem, da je EF indeks veljavna in zanesljiva, vendar zamudna metoda za vrednotenje malokluzije. Metode. Raziskovalna naloga je retrospektivna študija. Pri 100 preiskovancih (53 žensk, 47 moških; povprečna starost 15,4 let), ki so bili napoteni k specialistu zobne in čeljustne ortopedije, smo na študijskih modelih stalnega zobovja številčno ovrednotili obseg malokluzije z EF indeksom. Veljavnost indeksa smo preverili tako, da smo ga primerjali z mnenjem desetih slovenskih ortodontov (zlati standard), ki so po lastni presoji razvrstili preiskovance v štiri težavnostne razrede. Za primerjavo smo uporabili koeficient ICC (inter-class correlation coefficient). Diagnostično natančnost EF indeksa smo določili s pomočjo površine pod ROC krivuljo. Zanesljivost EF indeksa smo določili tako, da smo deset naključno izbranih študijskih modelov ponovno ovrednotili, iste modele pa sta ovrednotila še dva meritelja. Skladnost vrednotenja enega meritelja in različnih meriteljev sem določila s koeficientom ICC (intra- in inter-class correlation coefficient). Zabeležili smo tudi čas vsakega vrednotenja malokluzije na pol minute natančno in izračunali povprečno vrednost časa, ki je potreben za ovrednotenje malokluzije z EF indeksom. Rezultati. Ujemanje EF indeksa in zlatega standarda pri vrednotenju obsega malokluzije in razvrščanju preiskovancev vtežavnostne razrede je skoraj popolno (ICC je 0,819). Površina pod krivuljo, ki meri uporabnost ali diagnostično vrednost samega indeksa, znaša 0,846, pri čemer bi bil odličen diagnostični test predstavljen s površino pod krivuljo enako 1,00. Zanesljivost EF indeksa je velika, saj znaša ICC vrednost za enega meritelja 0,994, ICC vrednost treh različnih merite-ljev pa 0,878, kar pomeni popolno skladnost enega in različnih meriteljev. Cas, potreben za vrednotenje malokluzije z EF indeksom, je 27,10 minut. Zaključki. EF indeks je veljaven in zanesljiv ter odlično ponazarja mnenje slovenskih ortodontov. Kljub temu, da je zamuden, je zaradi svoje natančnosti, njegova uporaba pri vsakdanjem diaganostičnem delu v ortodont-ski ambulanti smiselna.
357
1	Jasmina Primožič, dr. dent.med., Katedra za zobno in čeljustno ortopedijo, Hrvatski trg 6, 1000 Ljubljana.
2	Doc. dr. Maja Ovsenik, dr. dent. med., Katedra za zobno in čeljustno ortopedijo, Hrvatski trg 6,1000 Ljubljana.
3	Za raziskovalno nalogo je bilo prejeto Prešernovo priznanje za študente leta 2003.
ABSTRACT
KEY WORDS: malocclusion - diagnosis, orthodontics, corrective
Background. The purpose of orthodontic diagnosis and classification systems is to record different dental and arch anomalies (malocclusions). The modified Angle's method of classifying malocclusion is still the most widely used classification system. For quantitative assessing of malocclusion different occlusal indices are used. The Eismann-Farcnik (EF) index was developed in Slovenia, but it is not routinely used in everyday orthodontic practice. Aim and hypothesis. The aim of this study was to evaluate the validity, reliability and consumption of time in the use of the EF index, in order to assess its usefulness in everyday orthodontic practice. It was hypothesised, that the EF index was a valid and reliable method for assessing malocclusion and although being very time-consuming, it is still a good diagnostic tool for assessing malocclusion. Methods. A set of 100 pre-treatment study casts from the patients in the permanent dentition period of (mean age of 15.4 years, SD = 0.4 year; 53 female, 47 male). Three examiners trained and calibrated in the use the EF index scored the casts. The panel of ten orthodontists individually rated the same casts for their degree of malocclusion severity. The mean rating of the panel on the severity of malocclusion was used as the gold standard for evaluating validity of the EF index. Further, the agreement of the EF index and the gold standard in assessing the severity of malocclusion was evaluated using the ICC (intra-class correlation coefficient). The ROC curve was plotted for the EF index. Ten randomly selected casts were then re-evaluated for reliability study, which was also evaluated using the ICC. Each evaluation was timed and rounded off to the nearest half of minute. Results. There was an almost perfect agreement for the EF index with the decisions of the panel of orthodontists (ICC 0.819). The diagnostic accuracy, as determined by the area under the ROC curve, was found to be very good (0.846). The intra- (ICC 0.994) and inter-examiner (ICC 0.878) 358 reliability was almost perfect. The mean time taken to assess malocclusion was 27.10 minutes. Conclusions. The EF index is a valid and reliable method for assessing malocclusion, and perfectly matches the opinion of Slovenian orthodontists. Although it is a very time-consuming method, its use for diagnostic purposes in everyday clinical orthodontic practise is still advisable.
UVOD
Idealna ali normalna okluzija je stanje, pri katerem so vsi zobje v anatomsko pravilnem položaju in v fiziološko optimalnem stiku z zobmi nasprotnega zobnega loka ter delujejo skladno z ostalimi komponentami žvečnega sistema. Je zgolj teoretični pojem, saj je med prebivalstvom le redko zaznavna. Pomembno jo je razločevati od dobre okluzije, za katero so značilna majhna odstopanja od idealne okluzije, ki nimajo funkcionalnega, fiziološ-ko-estetskega in zdravstveno-profilaktičnega pomena (1).
Rast in razvoj obraza, čeljusti in zob sta odvisna od genetičnih dejavnikov in od dejavnikov okolja. Odkloni od normalnega razvoja povzročijo nastanek malokluzij, ki jih opredelimo kot odstopanja od normalne okluzije (2).
Nastale nepravilnosti lahko privedejo do večje dovzetnosti za poškodbe, bolezni obzobnih tkiv in zobno gnilobo, predstavljajo pa tudi velik psihosocialni problem (3).
Večkrat sta razvrščanje zobnih in čeljustnih nepravilnosti, glede na težo in prednost za obravnavo ter ocena uspešnosti zdravljenja, prepuščena subjektivni presoji strokovnjakov. Da bi se izognili temu, so številni avtorji izdelali različne okluzijske indekse, ki naj bi poenotili merila pri strokovnem ocenjevanju malokluzij in poskušali zmanjšati možnost pristranskega ocenjevanja (4). Kljub temu, da večina v svetu izdelanih indeksov ustreza skoraj vsem zahtevam za idealen okluzijski indeks (5), se nobeden ni uveljavil tako, da bi ga vsesplošno uporabljali (6).
V Nemčiji je Detlef Eismann na podlagi Bjorkove metode (7) izdelal kvantitativno in
objektivno metodo za številčno ocenjevanje potrebe in uspešnosti ortodontske obravnave (8). Izhaja iz predpostavke, da je nepristranska ocena obsega malokluzije možna le z merjenjem posameznih morfoloških znakov, izmerjenih v milimetrih ali kotnih stopinjah. Avtor je posameznemu morfološkemu znaku določil pripadajoče število točk glede na to, koliko nepravilnost prispeva k obsegu malo-kluzije z estetskega in funkcionalnega vidika oziroma njen vpliv na splošno dentalno zdravje, torej, kakšno dovzetnost predstavlja za nastanek drugih bolezni, kot so: zobna gniloba, bolezni obzobnih tkiv ali težave s čeljustnim sklepom.
V Sloveniji so Eismannov indeks Farčnik in sodelavci modificirali tako, da so pri ocenjevanju obsega nepravilnosti k vrednotenju morfoloških znakov dodali še numerično oceno funkcionalnih odklonov dihanja, požiranja in razvad in ga uporabili v longitudinalni pros-pektivni študiji (9).
Eismann-Farčnikov indeks so leta 2001 razvili na podlagi modificiranega Eismanno-vega indeksa (10).
EF indeks temelji na vrednotenju sedemnajstih morfoloških in petih funkcionalnih znakov malokluzije in je uporaben za nume-rično oceno zobnih in čeljustnih nepravilnosti v mlečnem, mešanem in stalnem zobovju. Kliničnemu ugotavljanju funkcionalnih odklonov dihanja, požiranja in razvad pa so dodali še določevanje drže odprtih ust, nepravilno žvečenje in motnje govora.
Kot za vsako diagnostično metodo, sta tudi za okluzijski indeks najpomembnejša kriterija njegova veljavnost in zanesljivost (11-14). Veljavnost okluzijskega indeksa določamo tako, da primerjamo oceno posameznikove malo-kluzije, ki jo določimo z uporabo indeksa, z mnenjem skupine ortodontov, ki subjektivno ovrednoti istega posameznika (15). Čeprav je bil tak način ocenjevanja veljavnosti kritiziran, saj mnenje ortodontov večkrat ni neodvisno od indeksa, ki ga vrednotimo in sta končni oceni posameznikove malokluzije navadno enaki, drugih načinov za ugotavljanje veljavnosti indeksa ni (16). Zanesljivost okluzijske-ga indeksa pa pomeni, da ponovljene ocene posameznikove malokluzije enega ali različnih meriteljev dajo enak rezultat. Se eden izmed pomembnih kriterijev idealnega oklu-
zijskega indeksa je, da mora biti dovolj enostaven za pregled večjega števila oseb, zato ne sme biti drag in časovno zamuden (11).
Z namenom ugotoviti uporabnost EF indeksa pri vsakdanjem diagnostičnem delu v ortodontski ambulanti, je cilj raziskovalne naloge ugotoviti veljavnost, zanesljivost in zamudnost EF indeksa pri vrednotenju posameznikove malokluzije.
METODE IN PREISKOVANCI
Raziskava je bila retrospektivna. Vzorec smo naključno izbrali med pacienti, ki so bili pregledani in obravnavani na Centru za zobno in čeljustno ortopedijo Stomatološke klinike v Ljubljani. V raziskovalno nalogo smo vključili sto preiskovancev, 53 žensk in 47 moških s stalnim zobovjem.
Studijske modele je samostojno ovrednotilo deset ortodontov, tako da so jih po lastni presoji razvrstili v štiri težavnostne razrede (lahka, srednja, težka in zelo težka malokluzija). Povprečna ocena posameznikove malokluzije je predstavljala zlati standard.
Studijske modele smo nato ovrednotili z EF indeksom. Vrednotenje malokluzije z EF indeksom temelji na merjenju in beleženju sedemnajstih morfoloških znakov malokluzije in petih funkcionalnih znakov malokluzije. Morfološki znaki obsegajo ugotavljanje prostorskih razmer v zobnem loku (tesno stanje in vrzeli), nepravilnosti zob (distopije, rotacije in nagibe), nepravilnosti v medčeljustnih odnosih in impaktiranost zob. Za merjenje linearnih vrednosti morfoloških znakov malokluzije smo uporabili kljunasto merilo z nonijem (Zurher modell, Dentaurum 042-751-00, Ispringen, Nemčija), za merjenje morfoloških znakov malokluzije kotnih vrednosti pa merilo po Eismannu (8).
Funkcionalni znaki malokluzije po EF indeksu so bili klinično določeni. Dihanje skozi usta je bilo ovrednoteno s pomočjo detektorja dihanja, ki registrira razliko v temperaturi zraka ob pretoku skozi nos ali usta pri nepopolnem ustničnem stiku (17). Požiranje je bilo vrednoteno tako, da je pacient požiral majh-nekoličine vode, preiskovalec pa je pri tem palpiral aktivnost maseterske in temporal-ne mišice. Netipljiva kotrakcija mišice je bila ovrednotena kot atipično požiranje. Motnje
359
360
žvečenja so bile ovrednotene ob prisotnosti enostranskega funkcionalnega križnega griza, sprednjega križnega griza in odprtega griza. Motnje govora so bile zaznavane med pogovorom (motena izreka S, R in T).
Ugotovljene in izmerjene morfološke ter funkcionalne znake malokluzije smo vrednotili s pomočjo ocenitvene tabele. S seštevkom numerično ovrednotenih znakov malokluzi-je, izraženih s pripadajočim številom točk, smo preiskovancu določili obseg malokluzije in ga uvrstili v ustrezen razred lahke (1-15 točk), srednje (16-40 točk), težke (41-65 točk) in zelo težke (več kot 66 točk) nepravilnosti.
Izmed sto preiskovancev smo jih naključno izbrali deset. Slednjim smo ponovno določili težo malokluzije. Iste študijske modele sta izmerila še dva meritelja: specialist zobne in čeljustne ortopedije in specializant zobne in čeljustne ortopedije.
Pri vrednotenju študijskih modelov smo merili čas, ki smo ga porabili, na pol minute natančno.
Pri vrednotenju veljavnosti EF indeksa smo kot zlati standard uporabili mnenje 10 slovenskih ortodontov. Veljavnost sem vrednotila z uporabo koeficienta ICC (Intra-Class Correlation Coefficientom). Za EF indeks smo narisali ROC krivuljo. Z odstotkom površine pod ROC krivuljo smo določili celotno diagnostično natančnost EF indeksa. Popoln diagnostični test bi predstavljal površino, enako 1,00, pod ROC krivuljo.
Za ugotavljanje ponovljivosti našega vrednotenja obsega malokluzije (zanesljivost meri-telja) in vrednotenja malokluzije različnih meriteljev (zanesljivost različnih meriteljev)
100 % 80 % 60 % s 40% 20 % 0 %
				
				- IV
				- III
				■=■ II ° I
				
				
zlati standard
EF Indeks
Slika 1. Razvrščanje preiskovancev v težavnostne razrede.
smo uporabili koeficient ICC (Intra-class Correlation Coefficient).
Za razlaganje koeficienta ICC smo uporabili interpretacijo po Landisu in Kochu (18), pri čemer pomeni vrednost ICC < 0,4 rahlo do zmerno ujemanje, 0,41-0,60 dobro ujemanje, 0,61-0,80 odlično ujemanje in 0,81-1,00 popolno ujemanje.
Za statistično obdelavo podatkov smo uporabili računalniški program SPSS za Windows, verzija 12.0 (SPSS Inc., Chicago IL).
REZULTATI
Na sliki 1 je prikazana primerjava razvrščanja preiskovancev glede na obseg malokluzije, ovrednotene z EF indeksom, in glede na zlati standard v štiri težavnostne razrede.
Skladnost pri vrednotenju malokluzije z EF indeksom in zlatim standardom je bila določena s koeficientom ICC. Slednji je znašal v povprečju 0,819 (0,731-0,878). Vrednosti za senzitivnost in specifičnost za EF indeks in ustrezna ROC krivulja so prikazane na sliki 2. Analiza krivulje pokaže, da ima indeks ustrezno konkavnost in monotoničnost. Površina pod krivuljo, ki meri uporabnost ali diagnostično vrednost samega indeksa, znaša 0,846 (0,773-0,919), pri čemer bi bil odličen diagnostični test predstavljen s površino pod krivuljo, enako 1,00.
Za ugotavljanje zanesljivosti vrednotenja obsega malokluzije z EF indeksom enega meri-telja in različnih meriteljev smo uporabili koeficient ICC (intra-class correlation coefficient). Vrednost ICC za enega meritelja je znašala 0,994 (0,982-0,998), ICC vrednost treh različnih meriteljev pa 0,878 (0,691-0,965).
Cas potreben za vrednotenje malokluzije z EF indeksom je 27,10 (25,67-28,53) minut.
DISKUSIJA
Okluzijski indeksi so bili izdelani za različne namene (6) in jih lahko razdelimo na diagnostične metode (19), epidemiološke metode (7, 13, 20), metode vrednotenja potrebe po ortodontski obravnavi (12,13,21-25), metode vrednotenja uspešnosti ortodontske obravnave (8, 26) ter metode vrednotenja zahtevnosti ortodontske obravnave (27).
Slika 2. ROC krivulja za EF indeks.
EF indeks zahteva merjenje sedemnajstih morfoloških znakov malokluzije in njihovo vrednotenje. Poleg tega EF indeks vrednoti še funkcionalne znake malokluzije in ga lahko uporabljamo v obdobju mlečnega, mešanega in stalnega zobovja (9). EF indeks temelji na vrednotenju malokluzije na študijskih modelih, kar zahteva dodatne klinične postopke odtiskovanja čeljustnic, ki so časovno zamudni in za pacienta neprijetni.
Veljavnost indeksa določamo tako, da njegovo vrednotenje malokluzije primerjamo z mnenjem skupine ortodontov, ki predstavlja zlati standard (28). Zato je bilo v raziskavi uporabljeno mnenje desetih slovenskih orto-dontov, s katerim smo primerjali vrednotenjeEF indeksa. Raziskava je pokazala, da je EF indeks veljaven, saj je pokazal skoraj popolno ujemanje z mnenjem ortodontov (ICC 0,819). Verjetno je to posledica dejstva, da vrednoti veliko število malokluzijskih znakov in je zato natančnejši. Vseeno pa je treba poudariti, da visoka stopnja veljavnosti EF indeksa, ki je bil razvit v Sloveniji, potrjuje dejstvo, da indeks odraža mnenje ortodontov države, v kateri je bil razvit (29).
Vsak diagnostični test ima neko intrinzično natančnost (veljavnost), ki jo lahko povzamemo kot ploščino pod ROC krivuljo. Skupna
diagnostična natančnost, določena z odstotkom površine pod ROC krivuljo, je bila za EF indeks 0,846, pri čemer bi bil odličen diagnostični test predstavljen s površino pod krivuljo, enako 1,00. To pomeni, da ima EF indeks zelo dobro diagnostično natančnost in veljavnost.
Okluzijski indeks mora biti natančen (zanesljiv in ponovljiv), torej morajo večkratne meritve istega meritelja ali različnih meri-teljev posamezniku določiti enako stopnjo težavnosti (5).
Ponovljivost vrednotenja malokluzije enega meritelja je bila skoraj popolna, saj je ICC znašal 0,994 (0,982-0,998). Prav tako je bila skoraj popolna skladnost vrednotenja malo-kluzije treh različni meriteljev, ICC je namreč znašal 0,878 (0,691-0,965). To je verjetno posledica dejstva, da so vsi trije meritelji pred začetkom merjenja dobili natančna navodila za uporabo okluzijskih indeksov in bili kalibrira-ni. EF je torej zanesljiva metoda za določanje teže malokluzije.
Trije meritelji, pri katerih sem ugotovila popolno skladnost vrednotenja obsega maloklu-zije in razvrščanja preiskovancev v težavnostne razrede, predstavljajo populacijo strokovnjakov, ki bi uporabljala metode vrednotenja malokluzije pri vsakdanjem delu.
Pri ugotavljanju zamudnosti vrednotenja malokluzije z EF indeksom je treba predpostaviti, da je bil upoštevan le čas vrednotenja študijskih modelov in ne čas, ki je še dodatno potreben za odtiskovanje čeljustnic in klinično določanje funkcionalnih nepravilnnosti. V povprečju porabimo za vrednotenje malokluzije z EF indeksom 27 minut, kar pomeni, da je EF zamudna diagnostična metoda.
ZAKLJUČKI
Rezultati raziskave kažejo, da je EF indeks veljavna in zanesljiva metoda. Ker so malokluzije heterogen problem, je njihovo diagnosticiranje in vrednotenje zahtevno. EF indeks, kljub temu, da je zamuden, vrednoti veliko število maloklu-zijskih znakov, zato je zelo natančna in uporabna metoda za diagnostiko pri vsakdanjem delu specialista zobne in čeljustne ortopedije.
361
LITERATURA
1.	Mohl D. A textbook of occlusion. Chicago (IL): Quintessence Publishing Co. Inc.; 1988.
2.	Farčnik FM. Zdravljenje malokluzij s Fränklovimi regulatorji funkcije. Seminar Slovenskega ortodontskega društva; 1996 marec; Ljubljana, Slovenija. Ljubljana: Slovensko ortodontsko društvo; 1996.
3.	Shaw WC, Addy M, Ray C. Dental and social effects of malocclusion and effestiveness of orthodontic treatment: a review. Comm Dent Oral Epidemiol 1980; 8: 36-45.
4.	Bitenc- Ovsenik M. Zanesljivost intraoralnih meritev morfoloških znakov zobnih in čeljustnih nepravilnosti pri štirinajstletnikih [doktorsko delo]. Ljubljana: Univerza v Ljubljani; 2003.
5.	Shaw WC, Richmond S, O'Brien KD et. al. Quality control in orthodontics: Indices of treatment need and treatment standards. Br Dent J 1991; 170: 107-112.
6.	Shaw WC, Richmond S, O'Brien KD. The use of occlusal indices: A European perspective. Am J Orthod Dentofac Orthop 1995; 107: 1-10.
7.	Björk A, Krebs A, Solow B. Amethod for epidemiological registration of malocclusion. Acta Odontol Scand 1964; 22: 27-41.
8.	Eismann D. Amethod of evaluating the efficiency of orthodontic treatment. Trans Eur Orthod Soc 1974: 223-32.
9.	Korpar M et al. Changes in the orofacial system between the 3rd and the 9th years of age. In: Farčnik F, editor. Preventive and interceptive orthodontics. Book of Proceedings, Slovenian Orthodontic Society, Rantovi dnevi, Ljubljana; 1994 p. 41-7.
10.	Ovsenik M. EF indeks za obdobje mlečne, mešane in stalne denticije [delovni osnutek priročnika]. Ljubljana: Univerza v Ljubljani; 2002.
11.	Tang ELK, Wei SHY. Recording and measuring malocclusion: A review of the literature. Am J Orthod Dentofac Orthop 1993; 103: 344-51.
12.	Brook P, Shaw WC. The development of an index of orthodontic treatment priority. Eur J Orthod 1989; 11: 309-20.
13.	Summers CJ. The Occlusal Index. Am J Orthod 1971; 59: 552-567.
14.	Buchanan IB, Shaw WC, Rishmond S, et al. A comparison of the reliability and validity of the PAR Index and Summers' Occlusal Index. Eur J Orthod 1993; 15: 27-31.
15.	Beglin FM, Firestone AR, Vig KWL et al. A comparison of the reliability and validity of 3 occlusal indexes of orthodontic treatment need. Am J Orthod Dentofac Orthop 2001; 120: 240-6.
16.	Carlos J. Evaluation of different indices of malocclusion. International Dental Journal 1970; 20: 606-17.
362 17. Farčnik FM, Rudel D. The breathing detector - a new device in functional diagnosis of malocclusion. Zobozdrav
Vestn 1995; 3-5: 244-7.
18.	Svedström-Oristo A-L, Pietilä T, Pietilä I et al. Outlining the morphological characteristics of acceptable occlusion. Comm Dent Oral Epidemiol 2000; 28: 35-41.
19.	Angle EH. Classification of malocclusion. Dent Cosmos 1899; 41: 248-64.
20.	Baume LJ, Horowitz HS, Summers CJ et al. A method for the measurement of occlusal characteristics. (developed for the Commission on Classification and Statistics of the FDI, (COCSTOC) Study Group 2 on dentofacial abnormalities, 1969-72). Int Dent J 1974; 24 (1): 90-7.
21.	Draker HL. Handicapping labio-lingual deviations: a proposed index for public health purposes. Am J Orthod 1960; 46: 295-305.
22.	Grainger RM. Orthodontic treatment priority index. Vital Health Stat 1 1967; 2 (25): 1-49.
23.	Salzmann JA. Handicapping malocclusion assessment to establish treatment priority. Am J Orthod 1968; 54:749-65.
24.	Lundström A. Need for treatment in cases of malocclusion. Trans Europ Orthod Soc 1977: 111-23.
25.	Espeland LV, Ivarsson K, Stenvik A. A new Norwegian index of orthodontic treatment need related to orthodontic concern among 11-year-olds and their parents. Comm Dent Oral Epidemiol 1992; 20 (5): 274-9.
26.	Richmond S, Shaw WC, O'Brien KD et al. The development of the PAR Index (Peer Assessment Rating): reliability and validity. Eur J Orthod 1992; 14 (2): 125-39.
27.	Daniels C, Richmond S. The development of the index of complexity, outcome and need (ICON). J Orthod 2000; 27: 149-62.
28.	Firestone AR, Beck FM, Beglin FM et al. Evaluation of the peer assessment rating (PAR) index as an index of orthodontic treatment need. Am J Orthod Dentofacial Orthop 2002; 122: 463-9.
29.	Firestone AR, Beck FM, Vig KWL et al. Validity of the Index of Complexity, Outcome, and Need (ICON) in Determining Orthodontic Treatment Need. Angle Orthod 2002; 7.
Prispelo 18.8.2006