Elektrotehniški vestnik 84(3): 85-92, 2017 Izvirni znanstveni članek
Določitev optimalnih znacilnic za zaznavo sprememb bele mozganovine
Žiga Lesjak, Boštjan Likar, Franjo Pernuš, Žiga Špiclin
Univerza v Ljubljani, Fakulteta za elektrotehniko, Tržaška 25, 1000 Ljubljana, Slovenija E-pošta: ziga.lesjak@fe.uni-lj.si
Povzetek. Postopki strojnega ucenja omogočajo medsebojno primerjavo vpliva in določitev optimalnih znacilnic za zaznavo sprememb lezij bele moZganovine (LBM) ter s tem identifikacijo slikovne informacije, ki ključno vpliva na zmoznost zaznave teh sprememb. Z uporabo razvršcevalnika z nakljucnimi gozdovi smo na zbirki klinicnih magnetnoresonancnih (MR) slik 20 bolnikov, obolelih za multiplo sklerozo, ovrednotili in medsebojno primerjali pomembnost znacilnic za zaznavo sprememb LBM s primerjavo z natancnimi referencnimi obrisi. Dolocili smo nabor optimalnih znacilnic, zanesljivost ocene pomembnosti znacilnic in obcutljivost na izbrani postopek razvršcanja. Ker izbor znacilnic doloca za zaznavo sprememb pomembne MR-sekvence in njihove nastavitve, ga lahko uporabimo za optimiziranje postopka zajema MR-slik. S tem lahko skrajšamo cas MR-preiskave in tako znizamo stroške ter zmanjšamo obremenitev bolnikov in medicinskega osebja. S predlagano metodologijo izbire optimalnih znacilnic lahko nacrtamo postopke zaznave sprememb z vecjo obcutljivostjo in specificnostjo, kar v klinicni praksi omogoca natancnejše spremljanje in boljše razumevanje poteka bolezni.
Ključne besede: izbor znacilnic, zaznava sprememb, lezije bele mozganovine, multipla skleroza, obdelava slik
Selection of optimal features for white brain matter change detection
Machine learning algorithms can be used to determine the set of optimal features required for white matter lesion (WML) change detection. Identification of such features facilitates better understanding about which image information is the most important for the change detection. Using a random forest classifier, we evaluated and compared the importance of various image-derived features for the lesion change detection, assessed the reliability of the estimated feature importance and, finally, determined the ability to generalize the feature importance estimation to other classifiers. Evaluation was performed on a clinical database of magnetic resonance (MR) images of 20 Multiple Sclerosis patients by comparing them to corresponding reference WML changes delineations. The selection of optimal features may affect the setup of the MR acquisition parameters and the selection of sequences needed for the lesion change detection and as such can be used to optimize MR acquisition, for instance, to remove MR sequences not contributing to the change detection. Such optimizations may potentially decrease the cost and time required to acquire an MR patient study, a clear benefit for both the patients and medical personnel. The proposed feature selection methodology provides a basis to develop change detection methods with a high accuracy and specificity, which, in turn, would enable the clinicians a better insight into disease progression, increase their understanding of the underlying pathological processes and allow them to make a timely and fully-informed decision in case of ineffective treatments. Keywords: feature selection, change detection, white matter lesions, multiple sclerosis, image analysis
Prejet 19. marec, 2017
Odobren 15. maj, 2017
1 Uvod
Proces avtomatske zaznave sprememb med dvema ali vec magnetnoresonancnimi (MR) slikami glave vkljucuje primerjanje lastnosti soleznih struktur v teh slikah. Te lastnosti opišemo z znacilnicami struktur, pri cemer je najosnovnejša znacilnica sivinska vrednost. Znacšilnice so lahko tudi bolj kompleksne, kot na primer oddaljenost opazovanega slikovnega elementa od ventri-klov, histogram sivinskih vrednosti v okolici opazovanega slikovnega elementa, na podlagi prostorsko poravnanega atlasa dolocšena a priori verjetnost, da opazovani slikovni element pripada dolocšeni mozšganski strukturi, itn. Izbira primernega nabora znacilnic je vselej pogojena s konkretnim problemom, ki ga zšelimo resšiti.
Pri nacrtovanju postopkov za analizo in razgradnjo medicinskih slik se pogosto srecšamo s tehnicšnimi vprašanji, povezanimi s predobdelavo in pripravo znacilnic, kot na primer: Kakšen tip glajenja slik naj uporabim? Katere MR-sekvence naj uporabim? Ali naj slike predhodno preslikam v skupni prostor? V kaksšnem vrstnem redu naj izvedem te postopke? Tudi s stališca klinicne uporabe tehnologij analize slik se porajajo pomembna vprašanja: Kateri protokoli zajema slik so najustreznejsši za poznejsšo avtomatsko obdelavo? Kakšna naj bo prostorska locljivost zajema slik? Pri majhnem zacšetnem naboru znacšilnic lahko optimalen nabor znacilnic poišcemo na preprost nacin, in sicer s poizkušanjem vseh mogocih kombinacij znacilnic. Z vecanjem zacetnega nabora znacilnic pa tak pristop kaj hitro postane neprakticšen in racšunsko prezahteven,
86
LESJAK, LIKAR, PERNUS, SPICLIN
saj se prostor iskanja optimalnih znacilnic z večanjem začetnega nabora povečuje eksponentno. Iz teh razlogov se pri večjem začetnem naboru znacilnic posluzujemo naprednejših postopkov za iskanje optimalnih znacilnic.
Najpogosteje uporabljeni postopki za zaznavo sprememb v beli mozganovini so tisti, ki temeljijo na analizi sivinskih vrednosti solezšnih slikovnih elementov. Osnovi princip zaznave sprememb s temi postopki je vrednotenje podobnosti vrednosti ene ali vecš znacšilnic soleznih slikovnih elementov. V okviru tega dela bomo na primerih lezij bele mozganovine (LBM) pri bolnikih, obolelih za multiplo sklerozo (MS), raziskali različne načine za ocenjevanje pomembnosti znacilnic za zaznavanje sprememb bele mozganovine. Kot osnovno orodje za določitev pomembnosti znacilnic in izbor optimalnih znacšilnic bomo uporabili razvrsšcševalnik z naključnimi gozdovi (ang. random forests). Nato bomo z uporabo drugih razvrsšcševalnikov preverili zanesljivost z nakljucšnimi gozdovi ugotovljene pomembnosti znacilnic. Tako bomo ugotovili, ali dobljene zanesljivosti lahko pripisšemo posameznim znacšilnicam in ali izbrani optimalni nabor znacšilnic na splosšno lahko ucšinkovito uporabimo z drugimi razvrščevalniki.
1.1 Izbiranje znacilnic
Izbiranje znacilnic (ang. feature selection) je proces izbire optimalne podmnozice znacilnic za čim boljše razvrsšcšanje. Iz (zacšetnega) nabora z izbiranjem znacšilnic zmanjsšamo dimenzijo prostora znacšilnic, ne da bi spremenili pomen znacilnic. Ti postopki se razlikujejo od postopkov za znizanje dimenzionalnosti prostora znacilnic, ki temeljijo na projekcijah (npr. metoda osnovnih komponent - ang. principal component analysis) ali kom-presiji (npr. z uporabo teorije informacij). Izbiranje znacilnic prinese številne prednosti, od katerih so najpomembnejše: 1. izognjenje prenasičenju (ang. over-fitting) pri učenju razvrščevalnika in s tem povezano izboljšanje razvrščanja, 2. pohitritev in poenostavitev razvrščevalnika in 3. poglobljeno razumevanje pomembnosti znacšilnic, uporabljenih za graditev razvrsšcševalnika.
Iskanje optimalnih znacšilnic vnese v proces gradnje razvrsšcševalnika dodatno raven zahtevnosti. V nasprotju z gradnjo razvrščevalnika brez izbora znacilnic, kjer le naučimo oziroma poiščemo optimalne parametre razvrsšcševalnika, moramo pri gradnji razvrsšcševalnika z izborom znacšilnic razsširiti dimenzijo prostora iskanja z dodatnim podprostorom optimalnih znacšilnic. Tako moramo pri učenju razvrščevalnika poiskati optimalne parametre razvrsšcševalnika pri trenutni optimalni pod-mnozici znacilnic, pri tem pa se moramo zavedati, da na splosšno optimalni parametri razvrsšcševalnika s polnim naborom znacšilnic niso nujno enaki optimalnemu naboru znacilnic pri razvrščevalniku, ki je zgrajen z optimalno podmnozico znacilnic [2]. Postopke izbora znacšilnic delimo glede na to, kako poteka proces iskanja optimalnega podprostora znacilnic [11].
Glede na način delovanja lahko postopke izbiranja znacilnic razdelimo na: 1. postopke s filtriranjem, 2. z ovojem (ang. wrapper methods) in 3. z vgrajenim izborom (ang. embedded methods). Postopki s filtriranjem ocenijo ustreznost posameznih znacilnic z intrinzičnimi lastnostmi podatkov - najpogosteje z razvrščanjem znacilnic glede na neko oceno pomembnosti, pri čemer so najmanj pomembne nato odstranjene iz zacšetnega nabora znacšilnic. Prednosti teh postopkov so preprosta implementacija, racšunska nezahtevnost in dobro skalira-nje za visokodimenzionalen začetni nabor znacilnic. Taki postopki so neodvisni od razvrsšcševalnika, kar omogocša predhodno izbiranje optimalnih znacilnic, s katerimi nato lahko preizkusšamo razlicšne razvrsšcševalnike. Tak pristop je hkrati tudi njihova največja pomanjkljivost, saj je izbor optimalnih znacilnic na splošno vezan na uporabljeni razvrščevalnik. Dodatna slabost teh postopkov je tudi to, da so v veliki vecšini univariatni, kar pomeni, da pri izbiri optimalnih znacilnic upoštevajo le eno znacšilnico hkrati in zanemarijo njihove medsebojne odvisnosti. Pozneje so bili razviti številni multivaria-tni postopki, ki na račun višje računske zahtevnosti uposštevajo tudi odvisnost med razlicšnimi znacšilnicami.
Postopki za izbiro znacilnic z ovojem delujejo tako, da problem iskanja parametrov razvrščevalnika "ovijejo" z dodatnim nivojem - iskanjem po prostoru vseh različnih mogocših podmnozšic polnega nabora znacšilnic. Tako moramo za vsako mogočo podmnozico znacilnic ponovno naucšiti razvrsšcševalnik. Ker pri tem racšunska zahtevnost raste eksponentno s številom znacilnic v začetnem naboru, se za iskanje optimalnega nabora znacilnic v prostoru vseh podmnozšic znacšilnic navadno uporablja hevristično iskanje. Glavni prednosti teh postopkov sta uposštevanje interakcije med podmnozšicami znacšilnic in razvrsšcševalnikom ter uposštevanje medsebojnih odvisnosti znacilnic. V primerjavi s postopki s filtriranjem so ti postopki izpostavljeni prenasicšenju in racšunsko zelo zahtevni.
Tretji razred postopkov za izbiro znacilnic so postopki z vgrajenim izborom, pri katerih je iskanje optimalnega nabora znacilnic ze vgrajeno v sam razvrščevalnik. Tako pri iskanju optimalnih parametrov razvrsšcševalnika hkrati iščemo tudi optimalno podmnozico znacilnic. Prednost teh postopkov je v tem, da upoštevajo interakcijo med razvrsšcševalnikom in podmnozšico znacšilnic, hkrati pa so računsko učinkovitejši kot postopki z ovojem. Pregled postopkov za izbiro znacšilnic skupaj z njihovimi prednostmi in slabostmi je prikazan v tabeli 1.
1.2 Izbor znacilnic z uporabo naključnih gozdov
Naključni gozdovi so v zadnjih letih postali eno glavnih orodij tako pri strojnem učenju na splošno, kot tudi za specificšne naloge, kot je obdelava medicinskih slik [3], [5], [7]. V literaturi so se naključni gozdovi za namen razvrščanja znacilnic odrezali zelo dobro ze na številnih problemih, tudi pri razvrščanju nelinearnih podatkov s kompleksnimi medsebojnimi interakcijami.
DOLOČITEV OPTIMALNIH ZNAČILNIČ ZA ZAZNAVO SPREMEMB BELE MOŽGANOVINE	87
Tabela 1: Razvrstitev in pregled postopkov za izbiro znacilnic ter njihove splošne prednosti in slabosti
Razred	Prednosti	Slabosti	Ime postopka
Filtriranje (uni-variatno)	Hitri, dobro skaliranje, neodvisni od razvrsšcševalnika	Ne upoštevajo medsebojnih odvisnosti znacilnic	X2, evklidska razdalja
Filtriranje (mul-tivariatno)	Uposštevajo medsebojno odvisnost znacšilnic, neodvisni od razvrsšcševalnika	Racunsko zahtevni, slabo skaliranje	Korelacijska izbira znacilnic, Markov blanket filter
Postopki z ovojem	Preprosti, uposštevajo razvr-sšcševalnik, uposštevajo medsebojne odvisnosti znacilnic	Racunsko zahtevni, obcut-ljivi na prenasicenje	Sequential forward selection, Beam search, Simulated annealing, Genetic algorithms
Postopki z vgra- Upoštevajo razvršcevalnik, Izbor odvisen od izbranega Odločitvena drevesa, utezeni jenim izborom upoštevajo medsebojne od- razvrščevalnika	naiven Bayesov razvščevalnik,
visnosti znacilnic	utezeni vektorski SVM
Naključni gozdovi spadajo med skupinske metode (ang. ensamble methods), ki za vsak problem razvrščanja uporabijo več posameznih odločitvenih dreves. Posamezna odločitvena drevesa so zgrajena na podlagi naključne podmnozice učnih podatkov (ang. bootstraping). Tako je vsako drevo zgrajeno z različnim, naključno izbranim naborom značilnič. Razvrščanje oziroma na-povedno vrednost, ki pomeni verjetnost razvrstitve z na-ključšnimi gozdovi, dobimo tako, da zdruzšimo razvrstitve posameznih dreves v gozdu. V primerjavi z uporabo posameznih odločšitvenih dreves se naključšni gozdovi izkazejo za natančnejše in bolj zanesljive. Žal pa se njihove strategije razvrsščšanja v nasprotju s posamičšnimi odločšitvenimi drevesi ne da tako preprosto interpretirati. Pri posameznih odločšitvenih drevesih lahko pomembnost posamezne značilniče hitro razberemo ze iz njenega hierarhičnega polozaja v odločitvenem drevesu, pri na-ključšnih gozdovih pa moramo za določšitev pomembnosti značšilnič uporabiti druge pristope.
Najpreprostejsši pristop za določšitev pomembnosti značilnič v naključnem gozdu je preštevanje uporabe posamezne značšilniče uporabljene prek vseh dreves v gozdu. Ta pristop na splošno ni najbolj primeren, saj moramo za zanesljivo očeno pomembnosti poleg pojavnosti posameznih značilnič v gozdu odločitvenih dreves upoštevati še: 1. število vzorčev, ki jih razvrsti posamezna razvejitev v drevesu, in 2. kakovost razvrščanja posamezne razvejitve. Naprednejsši pristop za določšitev pomembnosti značilnič dobimo, če s številom vzorčev utezeno povprečimo sposobnost ločevanja posameznih značilnič za vse razvejitve vseh dreves v gozdu [6]. Pri tem lahko sposobnost ločevanja merimo z izboljšanjem koefičienta Gini oziroma z zmanjšanjem entropije, od koder izhaja tudi ime očene pomembnosti: pomembnost Gini (ang. Gini Importance - GI).
Najnaprednejša mera za izračun pomembnosti značilnič s pomočjo naključnih gozdov je tako imenovana pomembnost točnosti s permutacijo (ang. Permutation Accuracy Importance - PAI). Ža očeno pomembnosti po tem postopku potrebujemo dodatno validačijsko zbirko podatkov X. Nato
posamezen stolpec, ki pomeni eno znacilnico v vhodnih podatkih Xj, naključno premešamo in tako izničimo njen vpliv na napovedno vrednost Y. Pomembnost posamezne permutirane znacšilnice nato dolocšimo tako, da podatke s permutirano znacilnico uporabimo na nakljucnem gozdu in opazujemo spremembo napovednih vrednosti Y. Pomembnost permutirane znacilnice lahko tako definiramo kot relativno razliko v tocnosti napovednih vrednosti Y pred permutacijo in po njej, pri cemer lahko za definicijo tocnosti izberemo razlicne validacijske metrike. Ta postopek ponovimo za vsako posamezno znacilnico, katere pomembnost zelimo oceniti. Prednost postopka PAI je, da ni specificšen za nakljucšne gozdove, in ga lahko zato uporabljamo za oceno pomembnosti znacšilnic razlicšnih razvrsšcševalnikov.
2 Materiali in Metode
Za dolocitev pomembnosti znacilnic za zaznavo sprememb bele mozganovine smo uporabili postopek z vgrajenim izborom znacilnic, ki temelji na razvršcanju vzorcev z nakljucnimi gozdovi. Le-ta nam namrec ze po svoji zasnovi omogocša dolocšanje pomembnosti posameznih znacšilnic.
2.1 Validacijska zbirka slik
Za ucenje in validacijo naucenega nakljucnega gozda smo uporabili javno objavljeno longitudinalno zbirko MR-slik z referencnimi obrisi sprememb LBM [8]. Zbirka vsebuje referencne in kontrolne MR-preiskave 20 MS bolnikov. Slike so bile zajete na 1,5T Philips MR-napravi v Univerzitetnem klinicnem centru v Ljubljani. Vsaka MR-preiskava vsebuje 2D T1w (spin echo sequence, TR=600 ms, TE=15 ms, FA=90o, vzorcenje 0,9x0,9x3 mm brez razmika med rezinami), 2D T2w (spin echo sequence, TR=4500 ms, TE=100 ms, FA=90o, vzorcenje 0,45x0,45x3 mm brez razmika med rezinami) in 2D FLAIR sliko (TR=11000, TE=140, TI=2800, FA=90, vzorcenje 0,9x0,9x3 mm brez razmika med rezinami).
88
LESJAK, LIKAR, PERNUS, SPICLIN
V tabeli 2 so prikazani demografski podatki o bolnikih, njihovo bolezensko stanje in trenutna terapija. Cas med zaporednimi MR-preiskavami bolnikov je bil od 81 do 723 dni (mediana: 311, IQR: 223). Vsi bolniki so podali pisno soglasje za uporabo slik za namen tega dela, njihove slike pa so bile pred računalniško obdelavo anonimizirane. Referenčni obrisi sprememb LBM so bili zgrajeni na podlagi slike razlik in so kot taki zaradi visoke občutljivosti dobro orodje za validacijo postopkov zaznave sprememb LBM [8].
Slike iz zbirke smo psevdonaključno ločili v dve skupini, pri čemer je testna skupina vsebovala 66 % vseh slik, validačijska skupina pa preostalih 33 % slik. Pri razporejanju slik bolnikov smo pazili, da sta bili obe skupini uravnotezšeni v smislu enake porazdelitve skupnega volumna LBM pri posameznih bolnikih.
2.2	Začetni nabor znacilnic
Iz vsakega para dveh zaporednih MR-preiskav smo izločšili naslednji nabor začšetnih značšilnič: a) sšest enostavnih značšilnič sivinskih vrednosti referenčšnih in kontrolnih T1w, T2w in FLAIR slik, b) dve značilniči oddaljenosti opazovanega slikovnega elementa od stene ven-triklov oziroma mozšganske skorje in č) sedem značšilnič, ki so pomenile vse mozne kombinačije slike podobnosti STI različnih MR-sekvenč [8]:
DMsti (xi) = ||Fm (xi) -Bm (xi)||, (1)
pri čemer se Bm in F m nanašata na predobdelano referenčno oziroma kontrolno MR-sliko sekvenče M, xi je sivinska vrednost slikovnega elementa i, ||-|| pa L2 norma razlik istolezšnih slikovnih elementov. Skupaj smo iz vsakega para zaporednih MR-preiskav izločili 15 značšilnič.
Začetni nabor preprostih in pomenljivih značilnič nam omogočša preprosto vrednotenje in interpretačijo rezultatov, zaradi njihovega relativno nizkega sštevila pa je obvladljiva tudi račšunska zahtevnost.
2.3	Učenje naključnega gozda
Pri učenju naključnega gozda moramo izbrati številne parametre, kot so: število odločitvenih dreves v gozdu, največja globina odločitvenih dreves, število vzorčev, uposštevanih pri vsakem razčepu odločšitvenega drevesa, itn. V našem primeru smo začetne parametre izbrali na podlagi relevantne literature, in sičer take, ki so se pri podobnih problemih izkazali za ustrezne [1], [9]. Parametre smo v poskusih prilagodili. Ustreznost izbranih parametrov smo kvalitativno preverili z opazovanjem Dičeovega podobnostnega koefičienta (DSC - ang. Dice similarity coefficient) razvrščevalnika na učni in validačijski zbirki slik pri različnih vrednostih parametrov (število dreves, maksimalna globina dreves itd.), med učenjem in po njem. V poskusih uporabljeni parametri so prikazani v tabeli 3.
Naključni gozd smo učili postopoma, in sičer tako, da smo za vsakega od n bolnikov naučili po k odločitvenih
dreves. Celoten gozd je tako obsegal n x k odločitvenih dreves. Ker je lahko vseh dreves veliko in s tem učenje računsko zelo zahtevno, hkrati pa lahko pride do pre-nasičenja, smo po končanem učenju obdrZali le t po kakovosti razvrščanja najboljših dreves, preostala pa smo zavrgli. Za določitev najboljših odločitvenih dreves smo uporabili vzorče iz slik istih bolnikov kot za učenje, le da vzorčev nismo dečimirali, za kriterij zmozšnosti oziroma kakovosti razvrsščšanja dreves pa smo uporabili metriko DSC. Ustreznost modela smo na konču ovrednotili z izračunom občutljivosti (ang. true positive rate - TPR), nespečifičnosti (ang. false positive rate - FPR) in metriko DSC na validačijski zbirki slik.
Pri učenju naključnih gozdov moramo biti pozorni na razprsšenost vzorčev in razmerje med sštevilom vzor-čev v posameznih razredih. Ker je prostornina sprememb LBM v primerjavi s prostornino čelotne bele mozšganovine izjemno majhna, smo morali posebno pozornost nameniti tudi ustrezni izbiri učšnih vzorčev pri posameznem bolniku. Izkaze se, da naključni gozdovi delujejo najbolje, če sta obe skupini vzorčev enakomerno zastopani. Zato smo pri učenju razvrščevalnika poleg čelotnega nabora pozitivnih vzorčev (tj. LBM) za vsakega bolnika izbrali še enako število negativnih vzorčev (z območja zdrave bele mozganovine). Da bi zajeli večji del variabilnosti negativnih vzorčev, smo za vsakega bolnika vzorče vzorčili večkratno, pri čemer smo pozitivne vzorče preprosto pomnogoterili, medtem ko so bili negativni vzorči vselej izbrani naključšno. Ker so bili vzorči normalizirani ze kot del postopka predobdelave pri pripravi zbirke slik [8], končnih izbranih vzorčev za učenje izbora značilnič in učenje razvrsščševalnika nismo dodatno normalizirali.
2.4 Analiza zanesljivosti in posplosljivosti
S pomočjo naučenega in validiranega naključnega gozda smo nato opazovali pomembnost posameznih značilnič z dvema različnima postopkoma: GI in PAI. Zanimalo nas je, kako stabilne oziroma zanesljive so tako pridobljene očene pomembnosti značilnič, zato smo naključni gozd naučili večkrat, pri čemer smo pri posameznem pročesu učenja odstranili po eno značilničo iz čelotnega začetnega nabora in s pomočjo korelačije opazovali, kako se kot poslediča odstranitve značšilniče spremeni očena pomembnosti preostalih značšilnič.
Ker se v praksi pogosto uporabljajo različni razvrščevalniki, smo v nadaljevanju preverili, ali se ugotovljene pomembnosti značšilnič z uporabo naključšnih gozdov lahko posplosšijo na druge razvrsščševalnike. Vprašali smo se: "Ali so značilniče, ki so pomembne za razvrsščšanje z uporabo naključšnih gozdov, enako pomembne tudi, če uporabimo druge postopke razvrščanja?". Da bi odgovorili na to vprašanje, smo na enaki učšni zbirki slik naučšili nekatere od pogosto uporabljenih razvrsščševalnikov: kvadratičšna diskriminan-tna analiza (ang. Quadratic Discriminant Analysis -QDA), Adaboost in naivni Bayes (ang. Naive Bayes).
DOLOČITEV OPTIMALNIH ZNAČILNIČ ZA ZAZNAVO SPREMEMB BELE MOŽGANOVINE	89
Tabela 2: Demografski podatki bolnikov in trenutna terapija
Spol	Starost	Tip bolezni MS	Terapija
			2 brez zdravil
			6 Gilenya
14 zensk 6 mosških	od 19 do 50 let mediana: 34 let	1 sekundarno-progresivna 14 recidivno-remitentna 5 neznano	2 Copaxon 2 Tysabri 1 Tecfidera 1 Aubagio 6 neznano
Tabela 3: Parametri, uporabljeni pri graditvi naključnih gozdov
Opis parametra	Vrednost	Omejitve
št. odločitvenih dreves na bolnika (k)	št. značilnic	min 15, maks 40
št. značilnic, upoštevanih za razcep	%/št. značilnic
maksimalna globina odločitvenih dreves	%/št. značilnic min 3
končno število odločitvenih dreves	150
min. št. vzorcev za razcep	300
min. št. vzorcev v listu	50
Tabela 4: Metrike kakovosti razgradnje slik z naključnim gozdom na učni in validacijski zbirki slik.
Zbirka slik	TPRt	FPRt	DSC
Učna Validacijska	0,834 0,823	0,055 0,080	0,882 0,863
t občutljivost, ^ specifičnost
Zanimalo nas je tudi, kako sprememba parametrov razvrsščševalnika vpliva na očeno pomembnosti značšilnič, zato smo ponovno naučšili nov naključšni gozd, tokrat s spremenjenimi parametri glede na tabelo 3: maksimalna globina drevesa 5, minimalno sštevilo vzorčev za razčep 2, minimalno število vzorcev v listu 1 in 150 dreves v gozdu, pri čemer so bila drevesa izračunana na podlagi slik vseh bolnikov. Za vse naučšene razvrsščševalnike smo izračšunali metriko pomembnosti značšilnič PAI, pri čemer smo za kakovost razvrščanja uporabili metriko DSC. S korelačijo PAI novih razvrsščševalnikov in originalnega naključšnega gozda pa smo primerjali, ali so očene pomembnosti, pridobljene z naključšnim gozdom, prenosljive na druge razvrsščševalnike.
3 Rezultati
Tabela 4 kazše metrike, ki jih naučšeni naključšni gozd dosega na validacijski zbirki slik. Vidimo, da se rezultati med učno in validacijsko zbirko slik le malo razlikujejo, kar kaže na to, daje naključni gozd dobro naučen in da ne prihaja do občutnega prenasičenja.
V tabeli 5 in na sliki 1 so prikazane vrednosti metrik GI in PAI (mediana in IQR), ki vrednotita pomembnost
posameznih značilnic. Mediana in IQR sta bili uporabljeni namesto srednje vrednosti in standardne deviacije, ker je bilo mogoče ze kvalitativno oceniti, da porazdelitve vrednosti GI in PAI niso normalne. Izračšun mediane in IQR je bil narejen na posameznih razredih vzorčev iz validacijske zbirke.
Oba postopka za določitev pomembnosti kot najboljšo značilnico izbereta STIFLAIR, kar se ujema z ugotovitvami v strokovni literaturi, kjer se STIflair pogosto uporablja za zaznavanje sprememb LBM [4], [10]. Napovedi GI in PAI se, kljub določšenim odstopanjem dobro ujemata tudi za druge značšilniče (korelačija Pearson r = 0, 82). Opazimo tudi, da pri določenih značilnicah PAI dosega negativne vrednosti. Pri teh značilnicah je kljub skrbni izbiri parametrov in validačiji prisšlo do rahlega prenasičšenja razvrsščševalnika. Posledičšno se rezultati razgradnje sprememb LBM in s tem vrednost validacijske metrike izboljšajo, ko pri izračunu PAI "izklopimo" to značilnico.
Stabilnost očene pomembnosti značšilnič GI in PAI, določena kot korelacija GI/PAI med naključnim gozdom, ki je bil naučšen na polni učšni zbirki, in naključšnim gozdom, ki je bil naučšen na učšni zbirki, ki smo ji odstranili določeno značilnico, je prikazana v tabeli 6. Iz rezultatov vidimo, da je GI izjemno stabilna, saj znaša njena povprečna korelacija 0,991 in se ne glede na to, katero značšilničo odstranimo iz nabora začšetnih značšilnič, le malo spremeni (minimalna vrednost kore-lacije rmin = 0,978). Pomembnost z metriko PAI izkazuje nizjo stabilnost (povprečna korelacija r = 0,822) in večjo variabilnost le-te, pri čemer je padec korelacije s PAI večji za značilnice, ki so pomembnejše. Med padcem korelacije s PAI in pomembnostjo značilnice
90
Tabela 5 GI.
Ime znacšilnice	Mediana GI (x10-2)	GI IQR (x10-2)	Mediana PAI (x10-2)	PAI IQR (x10-2)
STIFLAIR	5,08	29,01	1,17	3,35
STIflaIR+T2w	4,69	29,23	0,93	0,59
STIflair+tiw	1,97	14,64	0,07	1,23
dvENT	0,99	5,80	0,84	0,85
flair2	0,66	4,25	0,31	0,54
FLAIR1	0,38	3,27	0,45	0,53
stitiw	0,00	0,00	0,00	0,02
STIFLAIR+T2w+T1w	0,00	0,04	-0,04	0,13
T1w1	0,00	0,13	0,01	0,08
T1w2	0,00	0,26	-0,02	0,10
STIT1w+T2w	0,00	0,63	-0,05	0,16
T2w1	0,00	0,80	0,14	0,23
T2W2	0,00	1,05	0,14	0,27
STIt2w	0,00	1,36	-0,07	0,35
diC	0,00	1,46	0,34	0,19
dVENT - oddaljenost od ventriklov, dIC - oddaljenost od roba možganov
LESJAK, LIKAR, PERNUS, SPICLIN
: Ocene pomembnosti žnacilnic glede na metriki GI in PAI. Znacilnice so urejene glede na padajoče vrednosti mediane
STIplair STIEIAIR + TCW STIpLAIR + tlw
dvent
FLAIRj FLAffi,! STItiw
STIflAir + t2w + t1w
Tlwi T1w2 STItiw + t2w T2wi T2wa STIt2w
dic
0.02 0.01 0.0 0.01 0.02 0.03 0.04 0.05 0.06
Pomembnost
Slika 1: Pomembnosti žnacilnic glede na metriki GI in PAI. Znacilnice so urejene glede na padajoce vrednosti mediane GI.
po GI lahko namrec opazimo relativno visoko negativno korelacijo r = -0, 798.
Predno lahko analiziramo zmožnost prenosa pridobljenih ocen pomembnosti žnacilnic na druge razvrscevalnike, je le-te treba ustrezno nauciti. Uspešnost ucenja razvršcevalnikov smo preverili na enak nacin kot pri ucenju originalnega nakljucnega gozda. Relativne razlike naucenih razvršcevalnikov med ucnim in validacijskim setom niso presegale 4 % glede na DSC. Za vsak posamezni razvršcevalnik smo s pomocjo validacijske zbirke izracunali tudi PAI, ki smo ga s pomocjo korelacije primerjali s PAI in GI iz nakljucnega gozda. Iz tabele 7 in slike 2 je razvidno, da se razlicšni razvrsšcševalniki kljub temu, da dosegajo primerljive zmoznosti v smislu validacijskih metrik (npr. DSC), zanašajo na razlicne kombinacije znacilnic.
Tabela 6: Stabilnost ocene pomembnosti znacilnic glede na metriki GI in PAI. Vecja vrednost korelacije kaze na vecjo stabilnost.
Odstranjena	Korelacija	Korelacija
znacšilnica	z GI	s PAI
T1w1	0,983	0,819
T1w2	0,988	0,799
T2W1	0,988	0,826
T2W2	0,996	0,848
FLAIR1	0,995	0,867
flair2	0,986	0,858
STIt1w	0,997	0,833
stit2w	0,996	0,849
STIflair	0,978	0,589
STIT1w+T2w	0,990	0,868
STIflair+t1w	0,997	0,862
STIFLAIR+T2w	0,996	0,729
STIFLAIR+T2w+T1w	0,994	0,819
dVENT	0,995	0,890
dIC	0,991	0,876
Povprecje	0,991	0,822
dVENT - oddaljenost od ventriklov
djC - oddaljenost od roba mozganov
Tabela 7: Korelacija PAI razlicnih razvršcevalnikov s PAI in GI nakljucnega gozda.
Razvrsšcševalnik	Korelacija s GI	Korelacija s PAI
QDA	0,332	0,287
Adaboost	-0,042	0,470
Naivni Bayes	0,550	0,543
Nakljucšni gozd	0,096	0,535
□
-T
PAI
GI
GI PAI
DOLOČITEV OPTIMALNIH ZNAČILNIČ ZA ZAZNAVO SPREMEMB BELE MOŽGANOVINE
91
Slika 2: Tri najpomembnejše znacilnice glede na metriko PAI za vsakega od štirih različnih razvršcevalnikov: naivni Bayes, Adaboost, QDA in naključni gozd.
4 Razprava
V okviru tega poglavja smo proučili enega od računsko relativno nezahtevnih postopkov za določanje pomembnosti značilnic za zaznavo sprememb LBM iz longitudinalnih MR-preiskav glave. Pri tem smo se osredinili zlasti na stabilnost oziroma zanesljivost postopka izbora optimalnih značilnič ter prenosljivost teh značilnič na druge postopke razvrščanja. Splošen in zanesljiv postopek za določitev pomembnih značilnič za zaznavo sprememb LBM bi namreč pripomogel k boljšemu razumevanju problema oziroma kritične informačije za zaznavo teh sprememb, kar bi lahko posledično privedlo do novih, izboljšanih postopkov zaznave sprememb LBM ter do bolj optimalnega izbora in nastavitev slikovnih sekvenč zajema MR-preiskave.
Primerjali smo dve različni metriki (GI in PAI) za vrednotenje pomembnosti značilnič. S tem namenom smo naučšili naključšni gozd na naboru petnajstih značšilnič, ki so bile v relevantni literaturi pogosto uporabljene v postopkih za zaznavo sprememb LBM, temelječih na primerjavi sivinske informačije: intenzitete referenčnih in kontrolnih T1w, T2w in FLAIR slikovnih sekvenč ter intenzitete različšnih kombinačij STI (slika podobnosti sekvenč). Dodali pa smo tudi značšilniče o anatomskem polozaju na podlagi oddaljenosti opazovanega slikovnega elementa od ventriklov in od roba mozšganske skorje.
Analiza pomembnosti značšilnič je kot najpomembnejšo značilničo za zaznavanje sprememb LBM pokazala STIFLAIR, kot pomembni pa sta se izkazali tudi STIFLAIR+T2w in razdalja med opazovanim slikovnim elementom in ventrikli. Te ugotovitve sovpadajo z dosedanjimi ugotovitvami nevroradiologov in drugih strokovnjakov, saj se razlike v lezijah najlepše opazijo na STI-sliki podobnosti sekvenč FLAIR ali T2w, najpogosteje pa se pojavljajo v neposredni okoliči ventriklov [10].
Oceno pomembnosti z GI dobimo inherentno že iz naučenega naključnega gozda, medtem ko PAI izračunamo s pomočjo dodatne validacijske zbirke in je kot taka uporabna tudi za oceno pomembnosti značilnic drugih razvršcevalnikov. Pomembnost GI se izkaze kot izjemno robustna na rahle spremembe v naboru uporabljenih značilnic, medtem ko PAI izkazuje rahlo nizjo robustnost, zlasti če iz nabora značilnic odstranimo pomembnejše znacilnice. Kljub temu je korelacija med ocenami pomembnosti GI in PAI, pridobljenimi z originalnim nakljucšnim gozdom in nakljucšnimi gozdovi, ki so jim bile odstranjene specifične znacilnice, visoka in v povprečju dosega 0,991 za GI in 0,822 za PAI.
Ugotovili smo, da neposredna posplošitev izbora optimalnih znacšilnic z uporabo nakljucšnih gozdov na druge razvrsšcševalnike ni mogocša. Primerjava z drugimi razvrsšcševalniki je pokazala, da se pomembnost posameznih znacšilnic spreminja od razvrsšcševalnika do razvrščevalnika (slika 2). Do razlik v oceni pomembnosti značilnic pa lahko pride ze v posameznih razvrsšcševalnikih, kot smo to pokazali na primeru naključnih gozdov. S spreminjanjem parametrov razvrsšcševalnika namrecš hitro dobimo drugacšno oceno pomembnosti značilnic, zato moramo biti pri učenju razvrsšcševalnika previdni ter ga vselej dobro validirati.
Eden od ciljev določitve pomembnosti značilnic za longitudinalno zaznavo sprememb LBM je vsekakor tudi izboljšanje oziroma optimizacija zajema MR-slik v klinični praksi. V zadnjem času se namreč radiologi na klinikah vse pogosteje srečujejo s problemom izbire ustreznih MR-sekvenc in njihovih parametrov za čim bolj optimalen zajem slik bolnika. Katere in koliko različnih sekvenc je treba zajeti, kakšno naj bo vidno polje in kako tanke naj bodo rezine zajetih 3D MR-slik? Vsi ti parametri zajema so kompromis med časom zajema slik in njihovo kakovostjo. V klinični praksi še danes zajete MR-slike pogosto pregledujejo ročno, rezino za rezino. Za tak način pregledovanja se slike navadno zajemajo v debelejših rezinah (npr. 3 mm ali celo 5 mm), saj radiolog v praksi zaradi časovnih omejitev stezka pregleda slike z večjim številom rezin.
Kljub temu pa zadnje klinične smernice za zaznavanje sprememb LBM iz MR-slik priporočajo zajem 3D izo-tropnih MR-slik s prostorsko ločljivostjo 1 mm [12]. V literaturi namreč poročajo, da izotropno zajete MR-slike s prostorsko ločljivostjo 1 mm ali manj občutno pripomorejo k natančnosti avtomatske analize slik. Sklepamo lahko, da bi slike višje ločljivosti izboljšale tudi postopke zaznave sprememb LBM. Zanimivo bi bilo ovrednotiti vpliv ločljivosti slik na zaznavanje sprememb LBM, za kar bi potrebovali razsširjeno zbirko slik, ki vsebuje slike, zajete pri različnih prostorskih ločljivostih. Ce bi se izkazalo, da so za avtomatsko zaznavo sprememb LBM potrebne slike višje ločljivosti, ki za zajem potrebujejo dalj časa, bi bilo smiselno proučiti tudi, ali lahko katero od MR-sekvenc opustimo. Za rutinsko spremljanje bolnikov z MS se namreč uporabljajo številne MR-
92
LESJAK, LIKAR, PERNUS, SPICLIN
sekvence, kot so T1- in T2-utežene slike, T1-utežene slike s kontrastom, FLAIR, DWI itn. Rezultati analize pomembnosti posameznih slikovnih sekvenc kažejo, da je za avtomatsko zaznavanje sprememb LBM dalec najpomembnejša sekvenca FLAIR, posredno pa tudi T1-utezena sekvenca, saj se uporablja za razgradnjo zdravih mozganskih struktur (npr. mozganska skorja, ventrikli). Zajem preostalih sekvenc bi lahko opustili in s tem skrajšali cas, ki ga potrebujemo za kontrolno slikanje MS bolnika, kar bi lahko zmanjšalo tudi s tem povezane strosške obravnave teh bolnikov.
Treba pa se je zavedati, da optimalni protokol zajema MR-slik za zaznavo sprememb LBM nikakor ni zadosten za rutinsko spremljanje tako kompleksne bolezni, kot je MS. LBM so namreč le eden izmed pomembnih slikovnih biomarkerjev bolezni MS. Za druge biomar-kerje, kot so na primer lezije ob mozganski skorji ali pa meritve atrofije posameznih predelov mozganov, bi bil optimalen izbor MR-sekvenc za avtomatsko analizo gotovo drugacen. Za optimalen nabor protokolov za MR-preiskavo bolnikov z MS bi tako morali oceniti vpliv razlicšnih MR-sekvenc na postopke za zaznavo sprememb sštevilnih razlicšnih pomembnih slikovnih bi-omarkerjev ter pri tem upoštevati casovne in financne omejitve, s katerimi se srecujemo v klinicni praksi.
Zahvala
Raziskavo je omogocila Javna agencija za raziskovalno dejavnost Republike Slovenije v okviru projektov J7-6781, J2-7211 in J2-7118.
Literatura
[1]	Antonio Criminisi and J. Shotton. Decision Forests for Computer Vision and Medical Image Analysis. Springer Science & Business Media, January 2013. Google-Books-ID: nUhDAAAAQBAJ.
[2]	Walter Daelemans, Véronique Hoste, Fien De Meulder, and Bart Naudts. Combined Optimization of Feature Selection and Algorithm Parameters in Machine Learning of Language. In Nada Lavrac, Dragan Gamberger, Hendrik Blockeel, and Ljupco Todorovski, editors, Machine Learning: ECML 2003, number 2837 in Lecture Notes in Computer Science, pages 84-95. Springer Berlin Heidelberg, September 2003. DOI: 10.1007/978-3-540-39857-8_10.
[3]	Ramon Diaz-Uriarte and Sara Alvarez de Andres. Gene selection and classification of microarray data using random forest. BMC Bioinformatics, 7:3, 2006.
[4]	Colm Elliott, Douglas L. Arnold, D. Louis Collins, and Tal Arbel. Temporally consistent probabilistic detection of new multiple sclerosis lesions in brain MRI. IEEE transactions on medical imaging, 32(8):1490-1503, August 2013.
[5]	Colm Elliott, Simon J. Francis, Douglas L. Arnold, D. Louis Collins, and Tal Arbel. Bayesian classification of multiple sclerosis lesions in longitudinal MRI using subtraction images. In Proceedings of the 13th international conference on Medical image computing and computer-assisted intervention: Part II, MICCAI'10, pages 290-297, Berlin, Heidelberg, 2010. SpringerVerlag.
[6]	Jerome H. Friedman. Greedy Function Approximation: A Gradient Boosting Machine. The Annals of Statistics, 29(5):1189-1232, 2001.
[7]	A. Geert Heidema, Jolanda MA Boer, Nico Nagelkerke, Edwin CM Mariman, Daphne L. van der A, and Edith JM Feskens. The challenge for genetic epidemiologists: how to analyze large numbers of SNPs in relation to complex diseases. BMC Genetics, 7:23, 2006.
[8]	Ziga Lesjak, Franjo Pernuš, Boštjan Likar, and Ziga Spiclin. Validation of White-Matter Lesion Change Detection Methods on a Novel Publicly Available MRI Image Database. Neuroin-formatics, May 2016.
[9]	Andy Liaw and Matthew Wiener. Classification and regression by randomForest. R news, 2(3):18-22, 2002.
[10]	Bastiaan Moraal, Dominik S. Meier, Peter A. Poppe, Jeroen J. G. Geurts, Hugo Vrenken, William M. A. Jonker, Dirk L. Knol, Ronald A. van Schijndel, Petra J. W. Pouwels, Christoph Pohl, Lars Bauer, Rupert Sandbrink, Charles R. G. Guttmann, and Frederik Barkhof. Subtraction MR Images in a Multiple Sclerosis Multicenter Clinical Trial Setting. Radiology, 250(2):506-514, February 2009.
[11]	Yvan Saeys, Inaki Inza, and Pedro Larrafiaga. A review of feature selection techniques in. Bioinformatics, 23(19):2507-2517, October 2007.
[12]	H. Vrenken, M. Jenkinson, M. A. Horsfield, M. Battaglini, R. A. van Schijndel, E. Rostrup, J. J. G. Geurts, E. Fisher, A. Zijdenbos, J. Ashburner, D. H. Miller, M. Filippi, F. Fazekas, M. Rovaris, A. Rovira, F. Barkhof, N. de Stefano, and MA-GNIMS Study Group. Recommendations to improve imaging and analysis of brain lesion load and atrophy in longitudinal studies of multiple sclerosis. Journal of Neurology, 260(10):2458-2471, October 2013.
Žiga Lesjak se je leta 2012 diplomiral na Fakulteti za elektrotehniko Univerze v Ljubljani, kjer se je po diplomi zaposlil kot mladi raziskovalec. Njegovo področje raziskovanja obsega obdelavo in analizo biomedicinskih slik s poudarkom na postopkih avtomatske zaznave sprememb iz magnetnoresonančnih slik glave.
Boštjan Likar se je rodil leta 1971. Na Fakulteti za elektrotehniko v Ljubljani je diplomiral leta 1995, magistriral leta 1998 ter doktoriral leta 2000. Istega leta je doktoriral tudi na Medicinski fakulteti v Utrechtu na Nizozemskem. Leta 1996 je bil izvoljen v naziv asistent, leta 1999 v naziv višji predavatelj, leta 2001 v naziv docent, leta 2006 v naziv izredni profesor in leta 2011 v naziv redni profesor na Fakulteti za elektrotehniko Univerze v Ljubljani. Njegovo raziskovalno delo v Laboratoriju za slikovne tehnologije obsega vizualno kontrolo kakovosti, sisteme s strojnim in racšunalnisškim vidom ter obdelavo in analizo biomedicinskih in hiperspektralnih slik.
Franjo Pernuš je na Fakulteti za elektrotehniko v Ljubljani diplomiral leta 1976, magistriral leta 1979 ter doktoriral leta 1991. Od leta 1976 je zaposlen na Fakulteti za elektrotehniko v Ljubljani, kjer je redni profesor in vodja Laboratorija za slikovne tehnologije. Njegovo raziskovalno podrocšje obsega racšunalnisški vid, obdelavo medicinskih slik ter uporabo metod obdelave slik in razpoznavanja vzorcev pri razlicšnih biomedicinskih in industrijskih problemih.
Žiga Spiclin je leta 2011 doktoriral na Fakulteti za elektrotehniko Univerze v Ljubljani, kjer je trenutno zaposlen kot raziskovalec. Ukvarja se z razvojem in vrednotenjem numericšnih postopkov za prostorsko poravnavo slik, izboljsšanje kakovosti slik in razgradnjo slik za uporabo v biomedicini in aplikacijah racšunalnisškega vida.