Lara Dular1, Gregor Brecl Jakob2, Lina Savšek3, Jožef Magdič4, Bojan Rojc5, Žiga Špiclin6 napovedovanje kliničnega poteka multiple skleroze iz magnetnoresonančnih slik: predhodni rezultati raziskave The Prediction of Multiple Sclerosis Disease Course from Magnetic Resonance Images: Preliminary Study Results izVleček KLJUČNE BESEDE: napovedovanje poteka multiple skleroze, analiza MR-slik, strojno učenje napovednih modelov IZHODIŠČA. Zgodnje prepoznavanje bolnikov z multiplo sklerozo, pri katerih obstaja tve- ganje za napredovanje bolezni in/ali prehod v sekundarno progresivno multiplo sklerozo, je pomembna neizpolnjena klinična potreba. Namen raziskave je učenje in vrednotenje napovednih modelov napredovanja invalidnosti pri bolnikih z multiplo sklerozo iz MR-slik. METODE. Iz T1-poudarjenih slik in slik z izbrisanim signalom vode smo s samo- dejno analizo določili prostornino 268 možganskih struktur in prostornino ter število poškodb bele možganovine. S temi meritvami smo učili tri uveljavljene modele razvrš- čevalnikov, četrti model pa je temeljil na konvolucijski nevronski mreži in se je učil ne- posredno na sivinskih vrednostih MR-slik. REZULTATI. Najboljši rezultat je dosegel četrti model z vrednostjo površine pod krivuljo delovanja sprejemnika 74 %, točnostjo 76 % in občutljivostjo 51 %, model na osnovi razvrščevalnika z naključnimi gozdovi pa je dosegel najvišjo občutljivost 54 %. Navedeni rezultati se skladajo z rezultati v prete- klih raziskavah. RAZPRAVA. Zmožnost vnaprejšnjega prepoznavanja povečanega tve- ganja napredovanja invalidnosti neposredno iz MR-slik je obetavna raziskovalna smer. Nadaljnje izboljšave napovednih modelov bi omogočile predčasno ukrepanje, da se lahko prepreči ali odloži napredovanje invalidnosti in/ali prehod v sekundarno progresivno mul- tiplo sklerozo. 1 Asist. Lara Dular, Laboratorij za slikovne tehnologije, Katedra za biomedicinsko tehniko, Fakulteta za elektrotehniko, Univerza v Ljubljani, Tržaška cesta 25, 1000 Ljubljana 2 Asist. dr.Gregor Brecl Jakob, dr. med., Klinični oddelek za bolezni živčevja, Nevrološka klinika, Univerzitetni klinični center Ljubljana, Zaloška cesta 2a, 1000 Ljubljana 3 Asist. dr. Lina Savšek, dr. med., Nevrološki oddelek, Splošna bolnišnica Celje, Oblakova ulica 5, 3000 Celje; Medicinska fakulteta, Univerza v Ljubljani, Vrazov trg 2, 1000 Ljubljana 4 Asist. Jožef Magdič, dr. med., Klinika za nevrologijo, Univerzitetni klinični center Maribor, Ljubljanska ulica 5, 2000 Maribor 5 Doc. dr. Bojan Rojc, dr. med., Nevrološka dejavnost, Oddelek za interno medicino, Splošna bolnišnica Izola, Polje 40, 6310 Izola; Oddelek za psihologijo, Fakulteta za matematiko, naravoslovje in informacijske tehnologije, Univerza na Primorskem, Glagoljaška ulica 8, 6000 Koper; Katedra za fizioterapijo, Fakulteta za vede o zdravju, Univerza na Primorskem, Polje 42, 6310 Izola 6 Izr. prof. dr. Žiga Špiclin, Laboratorij za slikovne tehnologije, Katedra za biomedicinsko tehniko, Fakulteta za elektrotehniko, Univerza v Ljubljani, Tržaška cesta 25, 1000 Ljubljana; ziga.spiclin@fe.uni-lj.si 51Med Razgl. 2023; 62 Suppl 1: 51–57 6 Multipla skleroza 2023_Mr10_2.qxd 4.4.2023 8:45 Page 51 poznavanja povečanega tveganja za napre- dovanje bolezni izjemnega pomena. Za napovedovanje prihodnjega napre- dovanja bolezni, merjenega z razširjeno lestvico stopnje prizadetosti (Expanded Disability Status Score, EDSS), so v nedavnih raziskavah uporabili razvrščevalnike, ki temeljijo na strojnem učenju (angl. machine learning, ML). Branco in sodelavci so za 220 bolnikov napovedovali povečanje EDSS po triletnem obdobju na podlagi odgovorov iz vprašalnikov (angl. patient reported outcome measures), pridobljenih v času osnovnega obi- ska. Preizkusili so več razvrščevalnikov, kot so logistična regresija, naključni gozdovi (angl. random forests, RF), naivni Bayesov razvrščevalnik in metoda podpornih vek- torjev (angl. support vector machines, SVM). Z modelom RF so dosegli najvišjo obču- tljivost in specifičnost (85 %) (2). V podobni raziskavi so Pinto in so- delavci na podlagi podatkov (kot so starost, spol, starost ob začetku bolezni, klinični 52 L. Dular, G. Brecl Jakob, L. Savšek, J.Magdič, B. Rojc, Ž. Špiclin napovedovanje kliničnega poteka … izHoDiŠča Potek multiple skleroze (MS) se precej razlikuje med posameznimi bolniki. Pri večini bolnikov (nad 85 %) je prisotna reci- divno-remitentna oblika multiple skleroze (RRMS), za katero so značilna ponavljajo- ča občasna poslabšanja oz. zagoni bolezni in kasnejše remisije (1). Poznejše (trajno) napredovanje invalidnosti in pojav sekun- darno progresivne oblike multiple sklero- ze (SPMS) veljata za pomemben mejnik v kliničnem razvoju RRMS, katerega zna- čilnost je postopno poslabšanje z malo ali brez zagonov. Oblika SPMS naj bi se v popu- laciji bolnikov z RRMS razvila v 2–3 % na leto. Kljub razpoložljivosti zdravljenja, ki vpliva na imunsko odzivnost in spreminja potek bolezni med zagoni, pri več kot 80 % bolnikov z RRMS sčasoma bolezen preide v obliko SPMS. Za učinkovito zdravljenje bolnikov, pri katerih obstaja večje tveganje za napredovanje invalidnosti zaradi bolezni in prehod v obliko SPMS, je sposobnost pre- aBstraCt KEY WORDS: prognosis of multiple sclerosis disease course, MR image analysis, machine learning of prognostic models BACKGROUNDS. Early identification of multiple sclerosis patients at risk of disease pro- gression and/or progression to secondary progressive multiple sclerosis is an important unmet clinical need. This research aimed to train and evaluate predictive models of dis- ability progression in patients with multiple sclerosis from MR images. METHODS. The volumes of 268 brain structures and the volume and number of white matter lesions were determined from T1-enhanced and water-attenuated MR images through the automatic analysis of these images. We used these measurements to train three established clas- sifier models, while the fourth model was based on a convolutional neural network and was trained directly on the gray values of MR images. RESULTS. The fourth model achie- ved the best area under the receiver operating characteristic curve value of 74%, the accu- racy of 76% and sensitivity of 51%, and the random forest classifier-based model achieved the highest sensitivity of 54%. The stated results are consistent with the results of pre- vious research. DISCUSSION. The ability to identify increased risk of disability progression from MR images is a promising research direction. Further improvements in predictive models would enable early intervention to prevent or delay the progression of disability and/or the transition to secondary progressive multiple sclerosis. 6 Multipla skleroza 2023_Mr10_2.qxd 4.4.2023 8:45 Page 52 podatki o zagonih, EDSS in simptomi 187 bolnikov zadnjih petih let) usposobili in pri- merjali modele ML, učene s podatki, zbra- nimi v različno dolgih časovnih obdobjih, npr. zadnjih dveh, treh, štirih in pet let. Najboljše rezultate s površino pod krivuljo delovanja sprejemnika (angl. area under receiver operating curve, AUROC) 86%, obču- tljivostjo 76 % in specifičnostjo 77 % so dosegli z modelom SVM in podatki iz za- dnjih dveh let opazovanja (3). Napredovanje bolezni so napovedo- vali tudi neposredno iz MR-slik z modeli globokega učenja (angl. deep learning, DL). Na naboru podatkov 181 bolnikov so Taloni in sodelavci učili in vrednotili model DL ResNet50 na skladih petih zaporednih rezin T1-poudarjenih slik. Prepoznali so pet koro- nalnih in pet sagitalnih skladov z vrednostjo AUROC, večjim od 72 oz. 81 % (4). Storelli in sodelavci so usposobili napovedni model DL na T1- in T2-poudarjenih MR-slikah 373 bolnikov, da bi napovedali povečanje EDSS po dvoletnem obdobju opazovanja. Njihov model je dosegel točnost 80 % in AUROC 80 % (5). V tej predhodni raziskavi smo učili modele ML in DL in vrednotili ter med- sebojno primerjali njihove sposobnosti napovedovanja prihodnjega povečanja EDSS iz MR-slik 393 bolnikov z MS. metoDe zajem podatkov raziskave Poteka retrospektivna klinična raziskava, v kateri zbiramo podatke kliničnih in MR- -preiskav bolnikov z MS iz štirih zdrav- stvenih ustanov. Soglasje Komisije Republike Slovenije za medicinsko etiko smo pri- dobili dne 16. 2. 2022 pod številko soglasja 0120-570/2021/5. Raziskava trenutno vključuje 393 bol- nikov z multiplo sklerozo (63 % žensk), sta- rih 18–75 let, s povprečno starostjo 39,6 ± 10,3 let. Upoštevani so podatki 869 MR- -preiskav glave s T1-poudarjenimi slikami in slikami, ki so nastale s tehniko slikanja z zasičenjem signala iz tekočine (angl. fluid attenuated inversion recovery, FLAIR), zaje- timi na petih različnih MR-napravah, in sicer Signa® HDxt (GE HealthCare™, Chicago, Illinois, ZDA), Achieva® (Philips Medical Systems® Nederland B.V., Best, Noord-Brabant, Nizozemska), Achieva dStream® (Philips Medical Systems® Nederland B.V., Best, Noord-Brabant, Nizozemska), MAGNETOM® Aera (Siemens®, München, Bavarska, Nemčija), MAGNETOM® Vida fit (Siemens®, München, Bavarska, Nemčija). Ob zajemu MR-slik je bil povpre- čni čas od diagnoze 7,5±6,0 let. Vključitveni kriteriji za osebe v raziskavi, MR-preiskave in kriteriji napredovanja bolezni so poda- ni v sliki 1. obdelava magnetnoresonančnih slik Vse T1-poudarjene in s FLAIR-tehniko zaje- te slike so bile sivinsko obnovljene in pro- storsko poravnane glede na možganski atlas Montrealskega inštituta za nevro- logijo (Montreal Neurological Institute, MNI 152) z afino preslikavo (6). Obdelane T1-poudarjene slike smo razmejili v 268 možganskih podstruktur z uporabo mode- la AssemblyNet in pridobili prostorninske deleže glede na ocenjeno prostornino loba- nje (7). V slikah, zajetih s tehniko FLAIR, smo opravili razmejitev poškodb v beli možganovini z modelom DeepMedic in pridobili podatek o prostornini in številu teh poškodb (8). napovedni modeli Napovedne modele smo učili z namenom razvrščanja bolnikov z MS v dve skupini: v prvo s potrjenim prihodnjim povečanjem EDSS; torej z napredovanjem bolezni (angl. with disease progression, wDP) in v drugo za bolnike brez potrjenega povečanja EDSS; torej brez napredovanja bolezni (angl. no disease progression, nDP). Prostornine mo- žganskih podstruktur, prostornine ter število poškodb (razbrano z MR-slik), demografske 53Med Razgl. 2023; 62 Suppl 1: 6 Multipla skleroza 2023_Mr10_2.qxd 4.4.2023 8:45 Page 53 54 L. Dular, G. Brecl Jakob, L. Savšek, J.Magdič, B. Rojc, Ž. Špiclin napovedovanje kliničnega poteka … UKC Maribor SB Celje SB Izola UKC Ljubljana Bolezen MS Obdobje 2011–2022 Vsaj tri ocene EDSS Vsaj en MR T1–poudarjena in s FLAIR tehniko zajeta slika Vidno polje vsaj 10 x 10 x 10 cm Korak vzorčenja v vsaki osi slike do 5 mm Vizualna kontrola kakovosti 3 • 486 bolnikov z MS • 1.248 MR • 4 bolnikov z MS • MR 37 994 Vključitveni kriteriji Kriteriji MR (1) EDSS 1,5 če EDSS < 1,0∆ ≥ 0 (2) EDSS 1,0 če EDSS 1,0 in 5,5 (3) EDSS 0,5 če EDSS 5,5 ∆ ≥ ≤ ∆ ≥ ≥ 0 0 > Kriteriji napredovanja bolezni DA DA NE • bolnikov z MS • MR 303 746 Brez napredovanja • bolnikov z MS • MR 90 150 Z napredovanjem Sprememba EDSS? Potrjena čez 6 mesecev? Vsaj en MR 6 mesecev pred spremembo EDSS? slika 1. Zajem podatkov raziskave. UKC – Univerzitetni klinični center, SB – splošna bolnišnica, MS – multipla skleroza, EDSS – razširjena lestvica stopnje prizadetosti (angl. expanded disability status score), FLAIR – zasičenje signala iz tekočine (angl. fluid attenuated inversion recovery). 6 Multipla skleroza 2023_Mr10_2.qxd 4.4.2023 8:45 Page 54 podatke (starost, spol) in klinične podatke (izhodiščni EDSS, trajanje bolezni) smo uporabili za učenje modelov RF, SVM in Gaussove procese (GP). Učili smo tudi model DL vizualne geometrijske skupine (angl. visual geometry group, VGG), ki na vhodu sprejme obdelani T1-poudarjeno sliko in s FLAIR-tehniko zajeto sliko (9). Vsi mode- li vrnejo dvojiško odločitev wDP ali nDP. Vsi modeli so bili učeni in vrednote- ni neodvisno s štirikratnim prečnim pre- verjanjem, kjer so bili podatki v pregibih medsebojno primerljivi glede na delež MR-preiskav iz vsake ustanove, starost, razmerje med spoloma in razmerje bolni- kov wDP ali nDP. rezultati Kakovost napovedi z modeli smo ovred- notili z AUROC, točnostjo, občutljivostjo in specifičnostjo. Med VGG in ostalimi modeli smo s statističnimi testi ovredno- tili razlike za posamezno mero, in sicer z DeLongovim testom za AUROC ter z McNemarjevim testom za točnost, obču- tljivost in specifičnost. Rezultati analize so navedeni v tabeli 1, o statistično značilni razliki pa poročamo pri mejni vrednosti α = 0,05 napake prve vrste. Model DL VGG je presegel ostale tri modele ML glede na AUROC. Kot je raz- vidno iz tabele 1, sta modela GP in SVM dosegla višjo specifičnost, znatno nižji vrednosti AUROC in občutljivosti, model SVM pa primerljivo točnost. Glede na nizko občutljivost in visoko specifičnost lahko opazimo, da sta modela GP in SVM razvr- stila le majhen delež testnih primerov kot primere wDP. Model RF je dosegel najvišjo občutljivost (54 %), a hkrati najnižjo speci- fičnost (70 %). Skladno z najvišjim AUROC je model VGG dosegel najboljše razmerje med občutljivostjo (51 %) in specifičnost- jo (83 %). razpraVa Naši rezultati AUROC, prikazani v tabeli 1, so v skladu z raziskavo Talonija in so- delavcev, kjer sta bili AUROC 72 % in 69 % doseženi za 2D-modele, naučene na koro- nalnih in aksialnih skladih petih rezin (4). Vendar naš model ni dosegel AUROC 81 % kot modeli v raziskavi Talonija in sodelav- cev, naučeni na sagitalnih skladih 2D MR- rezin. Podobno velik vzorec bolnikov in arhitekturo modela VGG kot v pričujoči raziskavi so v svoji raziskavi uporabili Storelli in sodelavci, kjer so poročali o AUROC 80 %, točnosti 80 %, specifi- čnosti 90 % in občutljivosti 57 % (5). Naši rezultati, prikazani v tabeli 1, so nekoliko slabši v vseh merah vrednotenja, neskladje pa je lahko posledica razlik v skupini bolnikov, raznovrstnosti MR-slik (v naši raziskavi so bile slike posnete na štirih lokacijah) in predvsem v odstotku primerov 55Med Razgl. 2023; 62 Suppl 1: tabela 1. Rezultati vrednotenja napovednih modelov napredovanja bolezni multiple skleroze. Navedene p-vrednosti so bile izračunane glede na rezultate modela vizualne geometrijske skupine. AUROC – povr- šina površina pod krivuljo delovanja sprejemnika (angl. area under receiver operating characteristic curve), GP – Gaussovi procesi, RF – naključni gozdovi (angl. random forests), SVM – metoda podpornih vektorjev (angl. support vector machines), VGG – vizualna geometrijska skupina (angl. visual geometry group). model auroC točnost občutljivost specifičnost GP 67 %a 76 %a 19 %a 92 %a RF 62 %a 67 %a 54 %a 70 %a SVM 63 %a 75 %b 11 %a 93 %a VGG 74 % 76 % 51 % 83 % a p < 0,001 b p = 0,325 6 Multipla skleroza 2023_Mr10_2.qxd 4.4.2023 8:45 Page 55 wDP (33 % v raziskavi Storellija in sode- lavcev in 23 % v naši raziskavi). Razlika je bila tudi v opredelitvi wDP in nDP; v razi- skavi Storellija in sodelavcev so uporabili le dve MR-preiskavi znotraj dvoletnega intervala pred opredelitvijo wDP, naše opa- zovalno obdobje pa je bilo mnogo daljše (od 6 mesecev do 11 let pred opredelitvijo wDP) (5). Ne glede na razlike je očitna nizka občutljivost tako našega modela VGG (51%) kot modela v raziskavi Storelli in sodelav- cev (57 %), kar pomeni, da modela uspešno prepoznata približno polovico bolnikov z MS, pri katerih kasneje pride do napre- dovanja bolezni (5). O najvišji občutljivosti in AUROC so poročali Pinto in sodelavci z vrednostmi 76 in 86 %, vendar je primerjava z našimi rezultati omejena, saj smo opredelili napre- dovanje bolezni na podlagi ocene EDSS, medtem ko so Pinto in sodelavci uporabi- li klinično oceno kot merilo napredovanja in oceno EDSS za vhod modela. Poleg tega je njihov nabor podatkov obsegal le 21 bol- nikov s potrjenim napredovanjem v SPMS, kar morda ni zadosten vzorec (3). Za učinkovito zdravljenje bolnikov z MS, pri katerih obstaja večje tveganje za pri- hodnje napredovanje bolezni po EDSS ali v obliko SPMS, je ocena tega tveganja možna na podlagi analize MR-preiskav glave. Naši rezultati, ki temeljijo na modelu VGG, kaže- jo obetavno raziskovalno smer, pri čemer je omenjeni napovedni model dosegel AUROC 74 %. Pri tem je pravilno prepoznal 51 % bolnikov wDP, medtem ko je bilo nDP pravilno prepoznanih 83 % bolnikov z MS. V celoti je bilo razvrščanje prihod- njega napredovanja bolezni pravilno pri 76 % bolnikov. Rezultati naše raziskave kažejo, da upo- rabljeni pristopi še niso primerni za klini- čno uporabo, za namene obvladovanja bolezni in/ali zdravljenja. Kljub temu meni- mo, da je razvoj načinov razvrščanja na podlagi slike, ki temelji na modelih DL iz MR-slik, obetavna raziskovalna smer. Prepoznavanje bolnikov z MS z velikim tve- ganjem za prihodnje napredovanje po EDSS oz. invalidnosti neposredno iz MR-pre- iskave je namreč enostavno za izvedbo, hkrati pa bi omogočilo pravočasno tera- pevtsko posredovanje, ki bi lahko prepre- čilo ali odložilo začetek napredovanja invalidnosti in prehoda v obliko SPMS. zaHVala Raziskavo podpira podjetje Novartis Pharma Services Inc., podružnica Slovenija. Avtorji so imeli popoln nadzor nad vsebino in so sprejeli končno odločitev o vseh vidikih pri- čujočega prispevka. Raziskavo podpira Javna agencija za raziskovalno dejavnost Republike Slovenije (ARRS), in sicer pod raziskovalnim pro- gramom št. P2-0232 in raziskovalnima projektoma št. J2-2500 in J2-3059. 56 L. Dular, G. Brecl Jakob, L. Savšek, J.Magdič, B. Rojc, Ž. Špiclin napovedovanje kliničnega poteka … 6 Multipla skleroza 2023_Mr10_2.qxd 4.4.2023 8:45 Page 56 literatura 1. Klineova S, Lublin FD. Clinical course of multiple sclerosis. Cold Spring Harb Perspect Med. 2018; 8 (9): a028928. 2. Branco D, Di Martino B, Esposito A, et al. Machine learning techniques for prediction of multiple sclerosis progression. Soft Comput. 2022; 26 (22): 12041–55. 3. Pinto MF, Oliveira H, Batista S, et al. Prediction of disease progression and outcomes in multiple sclerosis with machine learning. Sci Rep. 2020; 10 (1): 21038. 4. Taloni A, Farrelly FA, Pontillo G, et al. Evaluation of disability progression in multiple sclerosis via magnetic- -resonance-based deep learning techniques. Int J Mol Sci. 2022; 23 (18): 10651. 5. Storelli L, Azzimonti M, Gueye M, et al. A deep learning approach to predicting disease progression in multiple sclerosis using magnetic resonance imaging. Invest Radiol. 2022; 57 (7): 423–32. 6. Fonov VS, Evans AC, McKinstry RC, et al. Unbiased nonlinear average age-appropriate brain templates from birth to adulthood. Neuroimage. 2009; 47 (Suppl 1): S102. 7. Coupé P, Mansencal B, Clément M, et al. AssemblyNet: A large ensemble of CNNs for 3D whole brain MRI segmentation. Neuroimage. 2020; 219: 117026. 8. Ravnik D, Jerman T, Pernuš F, et al. Dataset variability leverages white-matter lesion segmentation performance with convolutional neural network. In: Medical Imaging 2018: Image Processing [internet]. 2018 [citirano 2023 Feb 13]. p. 388–96. Dosegljivo na: https://www.spiedigitallibrary.org/conference-proceedings-of-spie/10574/ 105741J/Dataset-variability-leverages-white-matter-lesion-segmentation-performance-with-convolutional/ 10.1117/12.2293702.full 9. Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. ArXiv [internet]. 2015 [citirano 2023 Feb 13]. Dosegljivo na: http://arxiv.org/abs/1409.1556 57Med Razgl. 2023; 62 Suppl 1: 6 Multipla skleroza 2023_Mr10_2.qxd 4.4.2023 8:45 Page 57