KRATKI ZNANSTVENI PRISPEVKI B Avtomatska segmentacija celičnih predelkov v volumetričnih podatkih, pridobljenih z elektronskim mikroskopom Marica Žerovnik Mekuč1, Ciril Bohak1, Rok Romih2, Samo Hudoklin2, Matija Marolt1 1Univerza v Ljubljani, Fakulteta za računalništvo in informatiko, Večna pot 113, 1000 Ljubljana, Slovenija 2Univerza v Ljubljani, Medicinska fakulteta, Inštitut za biologijo celice, Vrazov trg 2, 1000 Ljubljana, Slovenija manca.zerovnik-mekuc@fri.uni-lj.si, ciril.bohak@fri.uni-lj.si, rok.romih@mf.uni-lj.si, samo.hudoklin@mf.uni-lj.si, matija.marolt@fri.uni-lj.si Izvleček Segmentacija celičnih predelkov je proces, s pomočjo katerega dobimo kvantitativne informacije o prisotnosti, prostorski porazdelitvi, strukturi in posledično funkciji organizacijskih enot celice, t.i. celičnih predelkov. Z nedavnim razvojem metod elektronske mikroskopije je postal proces ročne segmentate volumetričnih podatkov ozko grlo v biomedicinskih raziskavah. Da bi pripomogli k učinkovitejšemu poteku celično bioloških raziskav, smo razvili metodo za avtomatsko segmentacijo mitohondrijev in predelkov lizosomal-ne poti v volumetričnih podatkih tkiva sečnega mehurja, pridobljenih z metodo fokusiranega ionskega snopa in vrstične elektronske mikroskopije (FIB-SEM]. Predlagamo cevovod, ki temelji na konvolucijski nevronski mreži in izkorišča znanje, da imajo mitohondriji in predelki lizosomalne poti v določenih regijah podobne teksturne značilnice. Z uporabo tega znanja v omenjenih podatkih naš cevovod bolje segmentira ciljne razrede v primerjavi z ostalimi trenutno vodilnimi metodami, ki so bile predlagane za segmentacijo biomedicinskih podatkov. Ključne besede: avtomatska segmentacija, elektronska mikroskopija, celični predelki Abstract Segmentation of intracellular compartments is a technique that provides quantitative data about the presence, spatial distribution, structure and consequently the function of intracellular compartments, the central organization units of eukaryotic cells. With the recent development of high throughput data acquisition techniques in electron microscopy, manual segmentation is becoming a major bottleneck of the process. To aid biomedical research, we propose a technique for the automatic segmentation of mitochondria and compartments of the lysosomal pathway from cells obtained from the mammalian bladder with the focused ion beam combined with the scanning electron microscopy technique (FIB-SEM]. We propose a segmentation pipeline based on the convolu-tional neural network that exploits the fact that mitochondria and compartments of the lysosomal pathway have similar textural features in certain regions. Using this knowledge, our approach outperforms existing state-of-the-art models evaluated on our dataset. Keywords: Automatic segmentation, electron microscopy, intracellular compartments 1 UVOD V našem delu se osredotočamo na segmentacijo celičnih predelkov v podatkih, pridobljenih z elektronskim mikroskopom. Primeri celičnih predelkov so npr. celični organeli, endosomi in transportni vezi-kli. Na področju biomedicine je segmentacija celič- nih predelkov pomembna, saj prinaša kvantitativne podatke o njihovi prisotnosti, prostorski porazdelitvi in posledično o njihovi funkciji v celici, to pa pripomore k raziskavam delovanja evkariontskih celic. Segmentacije se v tovrstnih raziskavah večinoma še vedno opravljajo ročno. Z nedavnim razvojem me- 2019 - številka 4 - letnik XXVII uporabna INFORMATIKA 153 Manca Žerovnik Mekuč, Ciril Bohak, Rok Romih, Samo Hudoklin, Matija Marolt: Avtomatska segmentacija celičnih predelkovvvolumetričnih podatkih, pridobljenih z elektronskim mikroskopom Slika 1: Na levi je primer podatkov, ki jih uporabljamo, na desni pa želena segmentacija za razred mitohondrijev, ki nam služi kot zlati standard. Na sredini je to dvoje prikazano skupaj. tod za pridobivanje volumetričnih podatkov v elektronski mikroskopiji je ročna segmentacija v raziskavah postala časovno ozko grlo. Posledično se je okrepilo področje raziskovanja metod za avtomatsko segmentaajo tovrstnih podatkov. Podatki, s katerimi se ukvarjamo v našem delu, so pridobljeni z metodo fokusiranega ionskega snopa in vrstične elektronske mikroskopije (FIB-SEM). V tem delu predlagamo cevovod za segmentaajo dveh ciljnih celičnih predel-kov in sicer mitohondrijev in predelkov lizosomalne poti. Primer segmentacije mitohondrijev je prikazan na sliki 1. Na področju segmentacije biomedicinskih podatkov so v zadnjih letih najbolj uspešni pristopi, ki temeljijo na globokem učenju [Litjens et al., 2017], Pri segmentaciji celičnih predelkov se ti osredotočajo predvsem na segmentaajo mitohondrijev [Oztel et al., 2017, Xiao et al., 2018], S segmentaajo predelkov lizosomalne poti, ki po našem vedenju v literaturi še niso bili obravnavani, smo povečali raznolikost se-gmentiranih celičnih predelkov. Predlagan segmen- tacijski cevovod smo ovrednotili na novi podatkovni zbirki, pridobljeni iz tkiva sečnega mehurja. Obstoječi pristopi za segmentaajo mitohondrijev so bili razviti in ovrednoteni na podatkih pridobljenih iz možganskega tkiva, ki ima v primerjavi s tkivom sečnega mehurja manjšo gostoto in kompleksnost zastopanja celičnih predelkov. Pričakujemo, da bo zato predlagana metoda bolj robustna in uspešna tudi na podatkovnih zbirkah celic drugih tkiv. Evalvacija naše metode je pokazala, da uspešno segmentira volume-trične podatke v ciljne razrede in da v primerjavi z obstoječimi najuspešnejšimi metodami s področja na naših podatkih vrača boljše rezultate. 2 SEGMENTACIJSKI CEVOVOD Segmentacijski cevovod, ki ga predlagamo, temelji na arhitekturi V-Net [Milletari et al., 2016], Cevovod izkorišča informacije pogosteje zastopanega razreda mitohondrijev za izboljšavo segmentiranja predelkov lizosomalne poti, za katere imamo v učni SPREMEMBA KONTRASTA OBOGATITEV PODATKOV V-NET binarno - PREDPROCESIRANJE Prenos OBOGATITEV l i i i V-NET KONČNA PODATKOV i i i trije razredi SEGMENTACIJA Slika 2: Cevovod za segmentacijo mitohondrijev in predelkov lizosomalne poti. V prvi veji učenje poteka na binarnem problemu. Na podlagi naučenih in prenesenih uteži nato v drugi veji model bolje segmentira redkeje zastopani razred. 154 uporabna I upora NFORMATIKA 2019 - številka 4 - letnik XXVII Manca Žerovnik Mekuč, Ciril Bohak, Rok Romih, Samo Hudoklin, Matija Marolt: Avtomatska segmentadja celičnih predelkovvvolumetričnih podatkih, pridobljenih z elektronskim mikroskopom Tabela 1: Rezultati vrednotenja na testni množici. Metoda Klasifikacijska Diceov koeficient Klasifikacijska točnost Diceov koeficient točnost mitohondriji mitohondriji predelki liz. poti predelki liz. poti U-Net 3D[Qigek et al., 20161 0.96 0.60 0.89 0.06 DeepMedic [Kamnitsas et al., 20171 0.97 0.66 0.98 0.27 V-Net [Milletari et al., 20161 0.98 0.60 0.96 0.00 Predlagan cevovod 0.99 0.77 0.98 0.46 množici zelo malo primerov. Koraki predlaganega cevovoda so prikazani na sliki 2. V vsaki ponovitvi učenja iz podatkov izrežemo okno velikosti 64 x 64 x 64 vokslov. Izbiranje okna je uravnoteženo glede na ciljne razrede. V koraku predprocesiranja podatke v izbranem oknu normaliziramo. Po predprocesiranju se cevovod razdeli v dve veji. Najprej učimo zgornjo vejo, kjer spremenimo kontrast vhodnih podatkov, tako da oba ciljna razreda izgledata podobno. Na podatkih s spremenjenim kontrastom uimo mrežo V-Net, ki je konvo-lucijska nevronska mreža z volumetričnimi operacijami [Milletari et al., 2016], Naučene uteži prenesemo v spodnjo vejo, kjer uporabimo podobno arhitekturo V-Net, le da ta segmentira vhodne podatke v tri ciljne razrede. Ta model učimo na podatkih brez spremenjenega kontrasta. Pred uporabo obeh modelov izvedemo tudi bogatenje podatkov in sicer s postopki skali-ranja, elastičnih deformacij in zrcaljenja osi. 3 REZULTATI 3.1 Podatki Podatki, ki jih uporabljamo, so bili z metodo FIB-SEM pridobljeni iz površinskih celic epitelijskega tkiva sečnega mehurja miši (urotelij). Na teh podatkih smo s pomočjo orodja Slicer 3D ročno označili mitohon-drije in predelke lizosomalne poti v petih izrezanih volumnih velikosti 256 256 256 vokslov. Oznake so pregledali in popravili biomedicinski eksperti. Volumne smo razdelili v učno množico z dvemi volumni, validacijsko množico z enim volumnom in testno množico z dvema volumnoma. V vsakem volumnu je od 15 do 85 mitohondrijev, število predelkov lizosomalne poti pa je manjše. V vsakem volumnu jih je okrog 10. 3.2 Urednotenje Na naših podatkih smo ovrednotili tri obstoječe metode in predlagani cevovod. Uporabili smo dve različni meri uspešnosti in sicer Diceov koeficient in klasifikacijsko točnost: Diceov koeficient = 2TP 2TP + FP + FN Klasifikacijska točnost = TP + TN TP + TN + FP + FN (1) (2) V zgornjih enačbah TP predstavlja število pravilno pozitivnih, TN število pravilno negativnih, FP število napačno pozitivnih, FN pa število napačno negativnih vokslov v volumnu. Rezultati so prikazani v Tabeli 1. Rezultati predlaganega cevovoda v zadnji vrstici tabele kažejo, da naša metoda dosega najvišje mere uspešnosti za oba ciljna razreda. Vidimo, da je Diceov koeficient pri razredu lizosomal-nih predelkov še vedno precej nižji kot pri razredu mitohondrijev. Razlog je v tem, da je ta razred v podatkih redkeje zastopan in ima poleg tega znotraj razreda večjo raznolikost. To bomo naslovili v prihodnosti. 4 ZAKLJUČEK Predstavili smo cevovod za avtomatsko segmentacijo mitohondrijev in predelkov lizosomalne poti iz FIB-SEM podatkov urotelijskih celic. Z našim cevovodom smo zmanjšali vpliv majhne podatkovne zbirke in neuravnoteženosti učne množice, kjer mitohon-driji predstavljajo približno 80 odstotkov, predelki lizosomalne poti pa 20 odstotkov označenih celičnih predelkov. Predlagani pristop v primerjavi z ostalimi ovrednotenimi arhitekturami v naši podatkovni zbirki bolje segmentira ciljne razrede. V prihodnosti bomo metodo razširili z uporabo domenskega znanja o morfologiji ciljnih razredov. Dobljena segmentacija bo pripomogla k boljšemu razumevanju delovanja in funkcije celic mehurja. 2019 - številka 4 - letnik XXVII upora NFORMATIKA 155 Manca Žerovnik Mekuč, Ciril Bohak, Rok Romih, Samo Hudoklin, Matija Marolt: Avtomatska segmentacija celičnih predelkovvvolumetričnih podatkih, pridobljenih z elektronskim mikroskopom LITERATURA [1] [Qigek et al., 2016] Qigek, Ö., Abdulkadir, A., Lienkamp, S. S., Brox, T., and Ronneberger, O. (2016). 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation. pages 424-432. [2] [Kamnitsas et al., 2017] Kamnitsas, K., Ledig, C., Newcombe, V. F., Simpson, J. P., Kane, A. D., Menon, [3] D. K., Rueckert, D., and Glocker, B. (2017). Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation. Medical Image Analysis, 36:61-78. [4] [Litjens et al., 2017] Litjens, G., Kooi, T., Bejnordi, B. E., Setio, A. A. A., Ciompi, F., Ghafoorian, M., van der Laak, J. A., van Ginneken, B., and Sánchez, C. I. (2017). A survey on deep learning in medical image analysis. Medical Image Analysis, 42(December 2012):60-88. [5] [Milletari et al., 2016] Milletari, F., Navab, N., and Ahmadi, S.-A. (2016). V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation. In 2016 Fourth International Conference on 3D Vision (3DV), pages 565-571. IEEE. [6] [Oztel et al., 2017] Oztel, I., Yolcu, G., Ersoy, I., White, T., and Bunyak, F. (2017). Mitochondria segmentation in electron microscopy volumes using deep convolutional neural network. In 2017 IEEE International Conference on Bioinfor-matics and Biomedicine (BIBM), volume 2017-Janua, pages 1195-1200. IEEE. [7] [Xiao et al., 2018] Xiao, C., Chen, X., Li, W., Li, L., Wang, L., Xie, Q., and Han, H. (2018). Automatic Mitochondria Segmentation for EM Data Using a 3D Supervised Convolutional Network. Frontiers in Neuroanatomy, 12:92. Manca Žerovnik Mekuč je asistentka in doktorska študentka na Fakulteti za računalništvo in informatiko Univerze v Ljubljani. Njeni raziskovalni interesi so segmentacija volumetričnih podatkov, globoko učenje in rekonstrukcija volumetričnih podatkov. Trenutno poučuje pri predmetu Programiranje 2. Ciril Bohak je asistent na Fakulteti za računalništvo in informatiko Univerze v Ljubljani. Njegovi raziskovalni interesi so računalniška grafika, interakcija med človekom in računalnikom, tehnologija iger, poigritev, e- učenje in pridobivanje informacij iz glasbe. Trenutno poučuje pri predmetih Računalniška grafika, Tehnologija iger in Računalniško podprto oblikovanje. Je eden izmed ustanovnih članov slovenske skupnosti HCI. Rok Romih je redni profesor na Medicinski fakulteti Univerze v Ljubljani. Njegovo raziskovalno in pedagoško delo sodi na področje molekularne celične biologije. Glavni interesi v raziskovanju so diferenciacija celic, zno- trajcelični transporti, medcelično signaliziranje, mehanizmi interakcije nanodelcev s celicami, regeneracija tkiv in celična biologija raka. Na področju mikroskopije se posveča predvsem razvoju metod za pripravo bioloških vzorcev za presevno in vrstično elektronsko mikroskopijo. Na dodiplomskem študiju poučuje pri predmetih Celična biologija, Celična biologija z genetiko in Humana genetika, na doktorskem študiju pa pri predmetih Medicinska celična biologija, Svetlobna in elektronska mikroskopija, Kriometode v elektronski mikroskopiji in Dinamičnost celične arhitekture. Je vodja raziskovalnega programa ARRS P3-0108 Diferenciacija urotelijskih celic. Samo Hudoklin je docent na Medicinski fakulteti Univerze v Ljubljani habilitiran za področje celične biologije. Raziskovalno se ukvarja z mehanizmi polariziranega vezikularnega transporta v normalnih in spremenjenih urotelijskih celicah ter vlogo Golgijevega aparata in ostalih celičnih predelkov pri tem. Pri svojem delu uporablja širok nabor svetlobno in elektronsko mikroskopskih metod. Matija Marolt je izredni profesor na Fakulteti za računalništvo in informatiko Univerze v Ljubljani. Je predstojnik Laboratorija za računalniško grafiko in multimedije. Njegove raziskave so na področjih pridobivanja informacij iz glasbe s poudarkom na semantičnih opisih in razumevanju zvočnih signalov, pridobivanju in organizaciji glasbenih arhivov in interakcije med človekom in računalnikom. 156 uporabna INFORMATIKA 2019 - številka 4 - letnik XXVII