ERK'2020, Portorož, 448-451 448 Avtomatska segmentacija Golgijevih aparatov v volumetriˇ cnih podatkih z grobo oznaˇ cenim zlatim standardom Eva Boneˇ s Fakulteta za raˇ cunalniˇ stvo in informatiko, Univerza v Ljubljani, Veˇ cna pot 113, 1000 Ljubljana eb1690@student.uni-lj.si Automatic Segmentation of Golgi Apparatus in Volumetric Data with Roughly Annotated Ground Truth Golgi apparatus (GA) is a cellular organelle involved in the processing and sorting of proteins in all eukaryotic cells. Due to its numerous functions, structural complex- ity and organizational dynamics, the role of GA in nor- mal and pathological processes is still under intensive re- search. Electron microscopy enables direct visualization of GA, yet only recent development of dual beam micro- scopes (i.e. focused ion beam combined with scanning electron microscope) enabled its organizational studies within relatively large volume of the cell. The bottle neck of the process is manual GA segmentation in the volumet- ric data. In this work, we present a tripartite approach to automatic segmentation of GA based on a pipeline con- sisting of i) neural network trained on roughly annotated data, ii) active contours for a more precise segmenta- tion and iii) filtering of false positive results. Using the pipeline on the volume derived from urinary bladder ep- ithelial cell, all of GAs were marked, with only a few false positives where stacks of fusiform vesicles were detected as GA. The proposed algorithm is able to annotate a wast majority of GAs with 89% sensitivity and 99% specificity and 20% of time needed for manually annotating the in- put data. 1 Uvod Evkariontske celice so celice, ki gradijo vse mnogo- celiˇ cne organizme. Za razumevanje njihovega delovanja moramo natanˇ cno poznati strukturo ter funkcijo ˇ stevilnih celiˇ cnih organelov v njihovi notranjosti, vkljuˇ cno z nji- hovo prostorsko razporeditvijo in velikostjo. V naˇ si raziskavi se osredotoˇ camo na urotelijske ce- lice, ki sestavljajo urotelij – specializirano krovno tkivo, ki pokriva seˇ cni mehur. V teh celicah se nahajajo fuzifor- mni vezikli (FV), ki vsebujejo, shranjujejo in prenaˇ sajo urotelijske plake, ki so pomemben faktor pri vzpostavitvi krvno-urinske pregrade seˇ cnega mehurja sesalcev. ˇ Se ve- dno ni povsem jasno kako nastajajo, dokazano pa je bilo, da pri tem sodeluje tudi Golgijev aparat (GA). GA je organel biosintetske poti, kjer potekata funk- cionaliziranje in razvrˇ sˇ canje membranskih proteinov, hkrati pa predstavlja kriˇ ziˇ sˇ ce ekso- in endocitotske poti v celici. Poznavanje njegove prostorske razporeditve, ki jo pridobimo s segmentacijo v volumetriˇ cnih podatkih, bi pripomoglo k boljˇ semu razumevanju temeljnih procesov delovanja celic. Razvoj nove tehnologije za zajemanje volumetriˇ cnih mikroskopskih slik z metodo usmerjenega ionskega snopa in vrstiˇ cne elektronske mikroskopije (FIB-SEM, angl. focused ion beam combined with scanning electron microscopy technique) je omogoˇ cil neposredno opazova- nje GA-jev in moˇ znost njihovega raziskovanja v veˇ cjem volumnu celice. Roˇ cna segmentacija tovrstnih tridimenzionalnih vo- lumnov poteka z obˇ crtavanjem organela na vsaki od re- zin, kar zahteva izurjenega uporabnika in predstavlja ve- liko ˇ casovno obremenitev. V ˇ clanku zato predstavljamo postopek za avtomatsko segmentacijo GA-jev v volume- triˇ cnih podatkih elektronske mikroskopije, ki uporablja grobo oznaˇ cen zlati standard za uˇ cenje globokega se- gmentacijskega modela, s ˇ cimer smo pohitrili pridobiva- nje uˇ cnih podatkov. Problem segmentacije v izbrani vrsti celic je pose- bej kompleksen, saj so FV-ji v citoplazmi diferenciranih urotelijskih celic organizirani v skladovnice, ki so po te- ksturah zelo podobne skladovnicam GA-jev. Zato kljub temu, da smo pristop ovrednotili samo na tej vrsti celic, priˇ cakujemo, da bi bil predlagan postopek dovolj sploˇ sen in uporaben tudi za segmentacijo GA-jev v drugih vrstah celic. 1.1 Segmentacija biomedicinskih slik Z razvojem novih metod za zajem biomedicinskih slik se hitro razvija tudi analiza le-teh. Ker je roˇ cna segmenta- cija volumetriˇ cnih podatkov ˇ casovno zelo zahtevna, raz- iskovalci razvijajo avtomatske metode, ki segmentacijo pohitrijo. Kot na vseh podroˇ cjih analize slik veˇ cina tre- nutnih najsodobnejˇ sih pristopov za segmentacijo biome- dicinskih slik temelji na globokih konvolucijskih nevron- skih mreˇ zah. Prve sodobne metode, kot sta FCN [1] in U-Net [2], so bile ustvarjene za segmentacijo 2D podatkov, z novimi naˇ cini zajemanja slik pa se je kmalu pokazala potreba po izkoriˇ sˇ canju informacij, prisotnih v 3D volumetriˇ cnih po- datkih. V ta namen so kmalu razvili veˇ c arhitektur, vsaka izmed njih je bila razvita za svojo vrsto podatkov, npr.: 3D U-Net kot nadgradnjo U-Net [3] so razvili za slike ledvic, V-Net [4] za segmentacijo prostate, DeepMedic 449 Slika 1: Predlagani pristop k avtomatski segmentaciji Golgijevih aparatov [5] za segmentacijo lezij v moˇ zganih. Vse omenjene arhitekture na svojih podroˇ cjih dose- gajo vrhunske rezultate, kar pa ne pomeni, da najboljˇ se rezultate dosegajo na vseh vrstah podatkov. Zato je pri razvoju novih pristopov pomembno, da upoˇ stevamo la- stnosti ciljnega podroˇ cja [6]. Nedavno je bila za se- gmentacijo mitohondrijev in endolizosomov v volume- triˇ cnih podatkih elektronske mikroskopije predstavljena arhitektura HighRes3DZMNet [7], ki kot nadgradnja Hi- ghRes3DNet [8] dodaja uporabo kontrastnih konovolu- cijskih filtrov na prvih nivojih konvolucijske nevronske mreˇ ze za izenaˇ cevanje svetlosti vhodnih podatkov, kar je pomembno predvsem pri mikroskopskih slikah, pri kate- rih hitro pride do svetlobnih artefaktov. ˇ Ceprav je na po- droˇ cju segmentacije celiˇ cnih organelov tovrstnih namen- skih arhitektur veliko, pa pristopa za avtomatsko segmen- tacijo GA-jev v volumetriˇ cnih podatkih po nam znanih podatki ˇ se ni. V tem ˇ clanku zato predlagamo nov pristop k reˇ sevanju tega problema, ki poleg avtomatske segmen- tacije tudi pohitri oznaˇ cevanje vhodnih podatkov, kar je uporabno za segmentacijo vseh vrst vhodnih podatkov. 2 Segmentacija Globoke arhitekture za uˇ cenje navadno potrebujejo veliko mnoˇ zico oznaˇ cenih podatkov. Zaradi velike raznoliko- sti GA-jev znotraj celice in zaradi njihovega razgibanega roba je njihovo natanˇ cno roˇ cno oznaˇ cevanje v volume- triˇ cnih podatkih ˇ casovno zelo zahtevno, prav tako pa zelo hitro pride do napak. Zato predlagamo pristop v treh korakih. V prvem ko- raku globoko arhitekturo nadzorovano uˇ cimo na grobo oznaˇ cenih podatkih, kar nam kot rezultat vrne model, ki je sposoben avtomatsko grobo oznaˇ citi obmoˇ cja, kjer se nahajajo GA-ji. Na teh podatkih nato uporabimo metodo aktivnih kontur za pridobitev bolj natanˇ cnih robov GA- jev. Na koncu iz dobljene segmentacije ˇ se odstranimo napaˇ cne oznaˇ cbe. Pristop je v celoti avtomatski in je pri- kazan na Sliki 1. Posamezni deli predlaganega pristopa so bolj po- drobno opisani v naslednjih podpoglavjih. 2.1 Podatki Mikroskopski podatki, ki smo jih uporabili, so del po- datkovne baze UroCell [7]. Pridobljeni so bili z elek- tronskim mikroskopom FIB-SEM in prikazujejo krovne celice iz epitelija miˇ sjega mehurja. Dimenzija enega vo- ksla je pribliˇ zno 16 16 15nm. Celoten volumen je bil razdeljen na manjˇ se dele velikosti 256 256 256 vokslov, tako da vsak izmed podvolumnov zavzema pri- bliˇ zno 4 4 4 m . Slika 2a prikazuje enega izmed podvolumnov. GA-je smo roˇ cno oznaˇ cili z odprtokodnim orodjem Slicer3D [9]. Roˇ cne oznake smo naredili za 9 podvolu- mnov. Na Sliki 3a je vidno, da imajo GA-ji razgiban rob, ki smo ga mi le grobo obkroˇ zili. Vse oznaˇ cbe je pregledal strokovnjak s podroˇ cja celiˇ cne biologije. 2.2 Globoko uˇ cenje Za segmentacijski model smo uporabili globoko arhitek- turo HighRes3DZMNet [7], ki je bila razvita na podatkih, ki jih za segmentacijo GA-jev uporabljamo tudi mi. Hi- ghRes3DZMNet je konvolucijska nevronska mreˇ za, se- stavljena iz 20 slojev, ki na izhodu doloˇ cijo pripadnost posameznega voksla ciljnim razredom. Za uˇ cenje smo uporabili 9 podvolumnov, ki smo jih razdelili na uˇ cno (7) in testno (2) mnoˇ zico. V olumni so vsebovali od 0 do 3 GA-je. Ker HighRes3DZMNet upo- rablja obogatitev podatkov, se je, kljub sicer majhni uˇ cni mnoˇ zici, izkazalo, da so rezultati zadovoljivi. 2.3 Aktivne konture Aktivne konture [10] se pogosto uporabljajo pri obdelavi medicinskih slik, predvsem za segmentacijo in doloˇ canje meja objektov. Algoritem glede na prvotno oceno meje objekta to mejo iterativno prilagaja, pri ˇ cemer minimizira energijsko funkcijo in se s tem pribliˇ zuje dejanski meji. Ker metoda deluje na 2D podatkih, jo izvedemo na vsaki izmed rezin volumetriˇ cnih podatkov (po vseh treh dimenzijah), kjer za prvotno oceno meje objekta upora- bimo grobo mejo segmentiranih GA-jev, pridobljeno z globokim modelom. Na koncu zdruˇ zimo podatke o novih mejah tako, da voksle, ki so bili vsaj na eni izmed dimen- zij oznaˇ ceni kot GA, oznaˇ cimo kot GA tudi na konˇ cni segmentaciji. Pristop se je izkazal kot primeren za reˇ sevanje naˇ sega problema. Kot je vidno na Sliki 3, pristop dobro deluje tudi v primeru, ko je del zaˇ cetne obrobe znotraj objekta, ki ga ˇ zelimo obkroˇ ziti. Z minimiziranjem energije se na- mreˇ c na tistem mestu obroba razˇ siri navzven. 2.4 Odstranjevanje napaˇ cnih oznaˇ cb V urotelijskih celicah se nahajajo tudi FV-ji, ki na me- stih, kjer so zdruˇ zeni v sklade, teksturno izgledajo zelo podobno kot GA-ji, kar se vidi na Sliki 4a. Poslediˇ cno predlagana metoda proizvede tudi nekaj napaˇ cno pozitiv- nih segmentacij, kjer sklade FV-jev oznaˇ ci kot GA-je. Z analizo napaˇ cnih segmentacij smo odkrili, da lahko tovr- stne napake v veliki meri odpravimo ˇ ze s filtriranjem po 450 (a) (b) (c) (d) (e) Slika 2: Vhodni podatki in segmentacija GA-ja na enem podvolumnu. (a) Vhodni podatki. (b) Rezultat globokega uˇ cenja. (c) Rezultat metode aktivnih kontur. (d) Konˇ cna segmentacija – rezultat odstranjevanja napaˇ cnih oznaˇ cb. (e) Zlati standard. (a) (b) (c) Slika 3: (a) Del 2D rezine enega izmed podvolumnov z GA-jem. (b) Segmentacija GA-ja pred uporabo aktivnih kontur. (c) Segmentacija GA-ja po uporabi aktivnih kon- tur. velikosti, saj so skladi navadno manjˇ si. Tako odstranimo vse segmentirane predelke, ki so po volumnu manjˇ si od 80 % velikosti najmanjˇ sega GA-ja (pribl. 0,19m 3 ). 3 Rezultati 3.1 Vrednotenje Za vrednotenje smo uporabili mere uspeˇ snosti, ki se naj- pogosteje uporabljajo pri analizi biomedicinskih slik: Di- ceov koeficient (DSC, angl. Dice Similarity Coefficient), stopnja pravilno pozitivnih primerov – obˇ cutljivost (TPR, angl. true positive rate) in stopnja pravilno negativnih primerov – specifiˇ cnost (TNR, angl. true negative rate). Mere so definirane v ˇ clanku Taha et. al. [11]. Izmerili smo tudi ˇ cas, ki ga porabimo za grobo in natanˇ cno roˇ cno oznaˇ cevanje volumnov. 3.2 Rezultati Stopnja metode DSC TPR TNR Po globokem uˇ cenju 0,515 0,861 0,983 Po uporabi aktivnih kontur 0,501 0,876 0,982 Konˇ cna segmentacija 0,926 0,885 0,999 Tabela 1: Rezultat na razliˇ cnih stopnjah naˇ se metode. Za- dnja vrstica predstavlja rezultat celotnega predlaganega pristopa. Rezultati so prikazani v Tabeli 1. Izraˇ cunali smo jih na dveh podvolumnih, ki smo ju uporabili kot te- stno mnoˇ zico. Za potrebe evalvacije smo oba podvolu- mna roˇ cno oznaˇ cili z natanˇ cnim robom. Rezultati v Ta- beli 1 predstavljajo povpreˇ cni rezultat obeh testnih pod- volumnov. Ker druge metode za avtomatsko segmenta- cijo GA-jev v volumetriˇ cnih podatkih ˇ se nismo zasledili, naˇ sega pristopa nismo mogli primerjati z drugimi. ˇ Cas natanˇ cnega roˇ cnega oznaˇ cevanja povpreˇ cno ve- likega GA-ja je bil 2,5 ure, medtem ko je ˇ cas grobega roˇ cnega oznaˇ cevanja znaˇ sal 0,5 ure, kar je petkratna po- hitritev. 3.3 Razprava Rezultati po globokem uˇ cenju, uporabi aktivnih kontur in odstranjevanju napaˇ cnih oznaˇ cb dosegajo visoke mere uspeˇ snosti. Diceov koeficient je 0,92, prav tako je zelo visok TNR, nekoliko niˇ zji pa je TPR. To lahko pripiˇ semo sledeˇ cim pomankljivostim. (a) (b) Slika 4: Napaˇ cne napovedi segmentacije. (a) FV oznaˇ cen kot GA. (b) Prazen prostor v sredini, oznaˇ cen kot GA. Problem, ki se ˇ se vedno pojavlja, so napaˇ cne oznaˇ cbe, ki jih tudi filtriranje ni odstranilo. V vseh primerih so to oznaˇ cbe FV-jev, kot je prikazano na Sliki 4a. Prav tako del napak, kot je vidno na Sliki 4b, dopri- nesejo tudi prazni prostori na sredini GA-jev, ki jih roˇ cno oznaˇ cimo kot ozadje, ker pa je naˇ s globoki model nauˇ cen na grobo oznaˇ cenih podatkih, sredinskih prostorov ne od- strani. Slednje sicer ni velika teˇ zava, saj nam zunanje meje GA-jev ˇ ze dajejo veliko informacij – ˇ stevilo GA-jev v celici, njihova prostorska razporeditev in odnosi med njimi. Notranja struktura GA-jev nas trenutno ne zanima toliko, je pa to eden izmed vidikov, ki ga ˇ zelimo obrav- navati v prihodnosti. 451 Nizke mere uspeˇ snosti pred uporabo odstranjevanja napaˇ cnih oznaˇ cb so razumljive, saj je v celicah pre- cej skladov FV-jev, ki so zelo podobni GA-jem, ven- dar jih s filtriranjem veˇ cino odstranimo. Zanimivo pa je, da vidimo zmanjˇ sanje uspeˇ snosti po uporabi me- tode aktivnih kontur. Do tega pride predvsem zaradi napaˇ cno oznaˇ cenih skladov FV-jev, kjer je samo del sklada oznaˇ cen kot GA, torej rob segmentacije na ne- katerih delih poteka znotraj sklada, kar povzroˇ ci ˇ sirjenje roba pri uporabi aktivnih kontur in s tem ˇ se veˇ cje ˇ stevilo napaˇ cno segmentiranih vokslov. Kljub temu da rezultatov nismo mogli primerjati z ostalimi pristopi, nam tudi kvalitativna analiza kaˇ ze, da pristop deluje dobro. Na Sliki 2 so prikazani zlati stan- dard in rezultati algoritma na enem izmed testnih podvo- lumnov. Izkazalo se je, da naˇ sa metoda na testni mnoˇ zici ni- koli ni zgreˇ sila celotnega GA-ja, razen v enem primeru, ko je bil znotraj podvolumna samo njegov manjˇ si del in je bila poslediˇ cno njegova velikost manjˇ sa kot meja filtrira- nja pri odstranjevanju napaˇ cnih oznaˇ cb. Pri segmentira- nju celotnega volumna celice do takih napak ne bi priˇ slo. Prednost predlaganega pristopa je tudi pohitren po- stopek roˇ cnega oznaˇ cevanja. Pri povpreˇ cno velikem GA- ju smo za natanˇ cno roˇ cno oznaˇ cevanje porabili petkrat veˇ c ˇ casa kot za grobo oznaˇ cevanje, ki ga uporabljamo pri globokem uˇ cenju. To pomeni, da bi za podatke, na kate- rih smo testirali naˇ s pristop, z natanˇ cnim oznaˇ cevanjem porabili pribliˇ zno 50 ur veˇ c. Kljub temu da uporabljamo grobo oznaˇ cen zlati standard, je predlagan segmentacijski pristop popolnoma avtomatski. 4 Zakljuˇ cek Z razvojem tehnologije za zajem vse bolj natanˇ cnih mi- kroskopskih podatkov se kaˇ ze vedno veˇ cja potreba po pri- stopih za analizo le-teh, predvsem tistih, katerih razisko- vanje je bilo prej zaradi nezadostne tehnologije oteˇ zeno. V ˇ clanku smo zato predstavili pristop za avtomatsko se- gmentacijo Golgijevih aparatov v volumetriˇ cnih podatkih elektronske mikroskopije, ki je po nam znanih podatkih prvi na tem podroˇ cju. Poleg uspeˇ sne segmentacije naˇ s pristop z uporabo grobo segmentiranih uˇ cnih podatkov znatno zmanjˇ sa ˇ cas roˇ cnega oznaˇ cevanja, ki je potrebno za nadzorovano globoko uˇ cenje. Predlagani pristop bo lahko uporabljen tudi na drugih podroˇ cjih analize slik, kjer ˇ zelimo segmentirati objekte z zapletenimi robovi, ka- terih roˇ cno oznaˇ cevanje bi sicer vzelo preveˇ c ˇ casa. Pri nadaljnjem delu bomo izboljˇ sali naˇ cin odstranje- vanja napaˇ cnih oznaˇ cb z vkljuˇ cevanjem dodatnih para- metrov. Nadaljevali bomo tudi z izboljˇ sanjem same se- gmentacije in pristop preizkusili na drugih podatkovnih zbirkah. Celice sestavljajo vsa ˇ ziva bitja, pa vendar njiho- vega delovanja ˇ se ne razumemo popolnoma. S pre- dlaganim pristopom olajˇ sujemo nadaljnje raziskovanje celiˇ cnih struktur in njihovih odnosov. Zahvale Za vso pomoˇ c, podporo in spodbudo pri izdelavi dela se zahvaljujem asist. Manci ˇ Zerovnik Mekuˇ c in men- torju izr. prof. dr. Matiju Maroltu iz Laboratorija za raˇ cunalniˇ sko grafiko in multimedije na Fakulteti za raˇ cunalniˇ stvo in informatiko ter doc. dr. Samu Hudoklinu iz Inˇ stituta za biologijo celice na Medicinski fakulteti. Literatura [1] E. Shelhamer, J. Long, and T. Darrell, “Fully convolutio- nal networks for semantic segmentation,” IEEE Transacti- ons on Pattern Analysis and Machine Intelligence, vol. 39, pp. 1–1, 2016. [2] O. Ronneberger, P. Fischer, and T. Brox, “U-net: Con- volutional networks for biomedical image segmentation,” LNCS, vol. 9351, pp. 234–241, 2015. [3] C ¸ ic ¸ek, A. Abdulkadir, S. Lienkamp, T. Brox, and O. Ron- neberger, “3d u-net: Learning dense volumetric segmen- tation from sparse annotation,” pp. 424–432, 2016. [4] F. Milletari, N. Navab, and S.-A. Ahmadi, “V-net: Fully convolutional neural networks for volumetric medical image segmentation,” pp. 565–571, 2016. [5] K. Kamnitsas, C. Ledig, V . F. Newcombe, J. P. Simpson, A. D. Kane, D. K. Menon, D. Rueckert, and B. Glocker, “Efficient multi-scale 3d cnn with fully connected crf for accurate brain lesion segmentation,” Medical Image Ana- lysis, vol. 36, pp. 61 – 78, 2017. [6] G. Litjens, T. Kooi, B. E. Bejnordi, A. A. A. Setio, F. Ci- ompi, M. Ghafoorian, J. A. [van der Laak], B. [van Gin- neken], and C. I. S´ anchez, “A survey on deep learning in medical image analysis,” Medical Image Analysis, vol. 42, pp. 60 – 88, 2017. [7] M. ˇ Zerovnik Mekuˇ c, C. Bohak, S. Hudoklin, B. H. Kim, R. Romih, M. Y . Kim, and M. Marolt, “Automatic se- gmentation of mitochondria and endolysosomes in volu- metric electron microscopy data,” Computers in Biology and Medicine, vol. 119, p. 103693, 2020. [8] W. Li, G. Wang, L. Fidon, S. Ourselin, M. J. Cardoso, and T. Vercauteren, “On the compactness, efficiency, and representation of 3d convolutional networks: Brain par- cellation as a pretext task,” pp. 348–360, 2017. [9] R. Kikinis, S. Pieper, and K. V osburgh, 3D Slicer: A Plat- form for Subject-Specific Image Analysis, Visualization, and Clinical Support, 2014, vol. 3. [10] M. Kass, A. Witkin, and D. Terzopoulos, “Snakes: Ac- tive contour models,” International Journal of Computer Vision, vol. 1, no. 4, pp. 321–331, 1988. [11] A. A. Taha and A. Hanbury, “Metrics for evaluating 3d medical image segmentation: analysis, selection, and tool,” BioMed Central, vol. 15, p. 29, 2015.