Elektrotehniški vestnik 82(1-2): 66-72, 2015 Izvirni znanstveni članek
Vrednotenje mer podobnosti med strukturnimi tenzorji za poravnavo 3D in 2D slik
V	v	10
Ziga Spiclin12
1 Univerza v Ljubljani, Fakulteta za elektrotehniko, Tržaška 25, 1000 Ljubljana, Slovenija 2Sensum, sistemi z računalniškim vidom, Tehnološki park 21, 1000 Ljubljana, Slovenija E-pošta: ziga.spiclin@fe.uni-lj.si
Povzetek. Ključni gradnik sistema za slikovno vodenje kirurških posegov je prostorska poravnava pred-operativnih slik, ki so običajno tridimenzionalne (3D) in namenjene diagnostiki in načrtovanju posega, z medoperativno zajetimi slikami, ki so zaradi potrebe po hitrem in preprostem zajemu omejene na dvodimenzionalne (2D) slikovne tehnike, kot npr. rentgen. Za klinično uporabo poravnave v sistemih vodenja sta pomembni lastnosti predvsem računski čas in zanesljivost poravnave, natančnost pa mora biti na ravni koraka vzorčenja slik. Na te lastnosti pomembno vpliva mera podobnosti (MP) med 3D in 2D slikami. V članku obravnavamo postopek poravnave, ki temelji na merjenju ujemanja strukturnih tenzorjev med 3D in 2D slikami. Vrednotenje lastnosti devetih različnih MP med strukturnimi tenzorji je pokazalo, da z izjemo skalarnega produkta tenzorjev in Kullbačk-Leibler divergenče vse vrednotene MP dosegajo zadostno natančnost. Na 3D in 2D slikah ledvenih vretenč je bila poravnava najbolj zanesljiva s štirimi MP, in sičer z mero Bhattačharrya in merami na podlagi Riemannove geometrije, kot so Jensen-Bregmanova divergenča, afina invariantna in log-Evklidska razdalja s 85-odstotnim delezem uspešnih poravnav in konvergenčnim območjem od 9 do 10 mm glede na optimalni polozaj 3D slike. Od zadnjih štirih MP sta prvi dve računsko več kot dvakrat učinkovitejši, s časi poravnave ^0,4 sekunde. Izkazane lastnosti teh MP omogočajo natančno in zanesljivo poravnavo 3D in 2D slik v realnem čšasu in so zato primerne za implementačijo v sisteme za slikovno vodenje kirursških posegov.
Ključne besede: slikovno vodeni posegi, ortopedska kirurgija, hrbteniča, računalniška tomografija, rentgen, poravnava 3D in 2D slik, strukturni tenzor, mera podobnosti, kvantitativno vrednotenje
Evaluation of similarity measures for 3D-2D image registration based on matching structure tensors
Technology for spatial co-registration of pre-operative and intra-operative images is a crucial part of surgical image guidance systems. The pre-operative images are usually 3D, i.e. computed tomography, and used for diagnosis and planning, whereas the intra-operative imaging needs to be fast and unobtrusive, which renders the 2D X-ray fluoroscopy as the only suitable technique. The most important properties required for implementation of 3D-2D image registration into image-guidance systems are its computational time and robustness, while the accuracy of spatial alignment should be in the order of the image sampling step. These properties are mainly determined by a similarity measure (SM) between the 3D and 2D images. In this paper, we evaluate a 3D-2D registration method based on matching structural tensors with nine different SMs. The majority of evaluated SMs enable sufficiently accurate 3D-2D registration, while the most robust SMs were Bhattacharrya, Jensen-Bregman divergence, affine invariant and log-Euclidean distance. These four SMs achieved a registration success rate of 85% and capture range from 9 to 10 mm with respect to optimal 3D-2D registration. The first two of the four SMs enabled the fastest registration times around 0.4 seconds. Registration of 3D and 2D images based on these two SMs is accurate, robust and fast and, thus, feasible for implementation into surgical image-guidance systems.
Prejet 24. november, 2014 Odobren 5. februar, 2015
1 Uvod
Uvajanje naprednih slikovnih tehnologij, kot je inte-gračija predoperativnih slik in načrtov zdravljenja z medoperativnimi slikami je v zadnjih letih gibalo napredka v operativnem zdravljenju najrazličnejših bolezenskih stanj. Za ortopedske kirurške posege so napri-mer značšilne dolge dobe okrevanja, predvsem zaradi visoke invazivnosti teh posegov. Slika 1č prikazuje tradi-čionalno (invazivno) zdravljenje degenerativnega stanja hrbteniče (npr. skolioza na sliki 1a). Pri tem posegu se hrbteniča stabilizira z vstavljanjem pedikularnih vijakov, ki jih medsebojno pritrdimo s povezovalnimi paličami (slika 1b). Za skrajšanje dobe okrevanja, zmanjšanje verjetnosti medoperativnih zapletov in kasnejših nezelenih stranskih učinkov, posredno pa tudi za nizanje stroškov postoperativne oskrbe pačienta, se v kirurgijo pospesšeno uvajajo minimalno invazivni slikovno vodeni posegi.
Ključni gradnik sistema za slikovno vodenje kirurških posegov je prostorska poravnava predoperativnih slik, ki so običšajno tridimenzionalne (3D) in namenjene diagnostiki in načšrtovanju posega, z medoperativno zajetimi slikami, ki so zaradi potrebe po hitrem in preprostem zajemu omejene na dvodimenzionalne (2D) slikovne tehnike, kot npr. rentgen. Pred posegom za prej ome-
VREDNOTENJE MER PODOBNOSTI MED STRUKTURNIMI TENZORJI
67
Pv
¿fl^EL povezovalna • H^^^palica
^ i z*/^^ — \
Slika 1: Oseba s skolioticno hrbtenico a) pred posegom in b) po njem z vstavljanjem pedikularnih vijakov v vretenca in stabilizacijo hrbtenice s povezovalnimi palicami med vijaki. Vstavljanje vijakov v pedikle vretenc c) s tradicionalnim ali c) slikovno vodenim minimalno invazivnim kirurškim posegom.
njeno stabilizacijo hrbtenice se običajno zajame 3D računalniška tomografija (CT*), na podlagi katere kirurg prouci stanje hrbtenice in doloci optimalno trajektorijo vstavljanja pedikularnih vijakov. Med operacijo kirurg poseg izvaja skozi drobno zarezo v kozi in mišicju ob vretencu (slika 1c), za pripravo izvrtine in vstavljanje pedikularnega vijaka pa potrebuje informacijo o na-tancni legi vretenca v 3D ter prenos nacrta operacije iz predoperativne 3D CT v medoperativno 2D rentgensko sliko. Ze manjše odstopanje smeri izvrtine od zacrtane trajektorije lahko poškoduje zivcevje ob pediklu, kar ima lahko resne posledice za pacientovo zdravje. Informacijo o natancni legi vretenca, ki je kriticna za izvedbo posega, kirurg pridobi s prostorsko poravnavo slik.
Za klinicšno uporabo poravnave v sistemih slikovnega vodenja sta poleg natancnosti pomembni lastnosti predvsem še racunski cas in zanesljivost poravnave. Na omenjene lastnosti pomembno vpliva mera podobnosti med 3D in 2D slikami. V clanku obravnavamo postopek poravnave, ki temelji na merjenju ujemanja strukturnih tenzorjev med 3D in 2D slikami. Na 3D CT in 2D rentgenskih slikah ledvene hrbtenice objektivno vrednotimo lastnosti devetih mer podobnosti med strukturnimi tenzorji in zmogljivosti 3D-2D poravnave slik.
* CT: ang. computed Tomography
Slika 2: Geometrijske razmere pri poravnavi 3D in 2D slik.
2 Poravnava 3D in 2D slik
Poravnava 3D in 2D slik je numericšen postopek iskanja optimalne geometrijske preslikave T : R3 ^ R3, ki 3D sliko V(x, y, z) preslika v lego, v kateri je projekcija 3D objekta na 2D ravnino detektorja skladna s projekcijo istega objekta na zajeti 2D sliki I(u,v). Na splošno obliko geometrijske preslikave izberemo glede na fizikalne lastnosti anatomskih struktur, ki jih zšelimo prostorsko poravnati. V tem delu smo poravnavali kostne strukture, zato smo uporabili togo preslikavo T (p) s parametri p =
[tx ty t z ay . Toga preslikava koordinatnega sistema (k.s.) 3D slike SV je definirana glede na referencni k.s. SW, polozaj k.s. 2D slikovnega sistema (Si) in polozaj izvora rentgenskih zarkov rs pa sta fiksna in natancno dolocena z vnaprejšnjo kalibracijo slikovnega sistema. Geometrijske razmere, velicšine in oznake prikazuje slika 2.
Glavni izziv pri poravnavi 3D in 2D slik je prostorska neskladnost slikovnih znacilnic (3D vs. 2D), ki jo lahko odpravimo na dva nacina: 1. s preslikavo 3D znacilnic v 2D slikovni prostor ali 2. s povratno preslikavo 2D znacilnic v 3D prostor. Najpogosteje uporabljene slikovne znacilnice za poravnavo so intenzitete slik [6], prvi odvodi [16], [8], [10] in oslonilne tocke [5], [3], idr., izbira znacilnice pa kriticno pogojuje tudi izvedbo (direktna oz. povratna preslikava) in lastnosti postopka poravnave 3D in 2D slik [9].
Pred kratkim so Spiclin in sod. [12] predlagali na-tancen, zanesljiv in hiter postopek poravnave, ki temelji na primerjavi strukturnih tenzorjev med 3D in 2D slikami. Strukturni tenzor 3D slike V v tocki r = [xy z]T je definiran kot:
J v (r) = ★ [V V (r) V V (r)T ] ,	(1)
kjer je Ga izotropicno 3D Gaussovo jedro s standardno deviacijo a in V V (r) G R3 prvi odvod slike V. Izraz v oglatem oklepaju tvori matriko H (r) = V V (r) V V (r)T z dimenzijami 3 x 3 v vsaki tocki slike r, ★ pa je operator konvolucije v prostoru slike r nad posameznimi elementi matrik H (r). Strukturni tenzor JV (r) je pozitivno semi-definitna matrika (JV G Sym+) z dimenzijami 3 x 3.
V 2D sliki I je strukturni tenzor J/ (r;) definiran analogno enacbi (1) in ima dimenzije 2 x 2. Korespondenco med strukturnima tenzorjema JV (r) in J/(r;) dobimo
68
ŽIGA SPICLIN
s povratno preslikavo tenzorja J/(r') iz 2D slikovne ravnine v 3D prostor. V nadaljevanju zaradi preglednosti opustimo odvisnost tenzorjev od poloZaja r oz. r' tako, da pišemo JV = JV(r) in J/ = J/(r'). Preslikavo izpeljemo iz povratne preslikave prvega odvoda VI e R2 [16]:
Pb = -(er o np) x[er]x[np]x Tw/ ,
(2)
kjer je er enotski vektor v smeri projekcije, np pa normala na 2D ravnino detektorja, simbol o označuje skalarni produkt vektorjev, matrika TW/ pa je 3 x 2 matrika, ki označuje preslikavo iz prostora 2D slike v referenčni k.s. (slika 2). Matriko TW/ dobimo z vnaprejšnjo kalibracijo 2D slikovnega sistema. Simbol [a] x označuje poševno simetrično matriko, ki jo dobimo iz trivrstičnega vektorja a = [a1 a2 a3]T:
[a]x
0	-as	a2
as	0	- ai
-a2	ai	0
(3)
Pb ima dimenzije 3 x 2 in opisuje poševno projekčijo prvega odvoda 2D slike iz 2D ravnine detektorja v 3D prostor glede na referenčšni k.s. Povratno preslikani tenzor J/ izračšunamo kot:
J
/,b
PbVI (PbVI )T
Pb Ga * (VIVIT) PbT ,
(4)
J
v,f = Pf T (p) Jv T (p)TPfT
(5)
MP : Sym+ x Sym+ ^ R+ .
Ža določanje podobnosti oz. razdalje med pozitivno semidefinitnimi matrikami so bile razvite številne MP. Peeters in sod. [11] so podali obsezen pregled MP med difuzijskimi tenzorji, ki so pozitivno semidefinitne matrike (Sym+) tako kot strukturni tenzorji.
Strukturne tenzorje lahko pretvorimo v vektorje in za MP uporabimo vektorske norme iz linearne algebre, npr. skalarni produkt (LINALG), ali pa tenzorje obravnavamo kot matrike in podobnost določimo z (norma-liziranim) skalarnim produktom matrik (NTSP). Geo-metričšna podobnost strukturnih tenzorjev lahko temelji na določanju kota med lastnima vektorjema največjih lastnih vrednosti (ANG), ali pa s primerjavo vseh lastnih vektorjev in lastnih vrednosti (CW) [13]. Ža določanje razdalje med pozitivno semidefinitnimi matrikami so zelo uporabne MP v Riemannovi geometriji kot sta afina invariantna Riemannova MP (AIR) in logevklidska MP (LOGEUCL) [2]. Ti dve meri zahtevata izračun vseh lastnih vrednosti in vektorjev vhodnih tenzorjev, zato kot alternativo lahko uporabimo učinkovitejšo Jensen-Bregmanovo LogDet divergenčo (JB) [4]. Ža primerjavo porazdelitvenih funkčij, izraženih s kovariančnimi matrikami, ki so tudi pozitivno semidefinitne matrike, so bile razvite t. i. statistične MP, npr. Bhattačharyya (BHAT) in simetrična Kullbačk-Leibler divergenča (KL). Mate-matičšne izraze omenjenih MP podaja tabela 1.
Tabela 1: Mere podobnosti (MP) med strukturnima tenzorjema A in B (A, B e Sym+). Lastni vektorji tenzorja A e Sym+ so označeni z eA, eA, e^ s pripadajočimi lastnimi vrednostmi A^ > A^ > AA > 0. Sled tenzorja označuje tr(A), determinanto pa det(A).
kjer zadnji izraz v oglatem oklepaju predstavlja J/ (enačba (1)). Povratna preslikava je sičer odvisna od polozaja r v 3D prostoru, a smo v zadnjem izrazu enačbe (4) predpostavili, da se le-ta ne spreminja Pb(r) = Pb(r + S), r + S < 3a pri zadostno majhni vrednosti parametra a.
V geometričnem pogledu tenzor J/ b predstavlja elipso v ravnini, ki je pravokotna na smer projekčije. V to ravnino s pravokotno projekčijo Pf = Id3x3 - ereT preslikamo tudi tenzor JV, in sičer kot:
Predlagana poravnava 3D in 2D slik temelji na optimiza-čiji mere podobnosti med pripadajočimi pari strukturnih tenzorjev J/ b in JV,f. V nadaljevanju podajamo pregled mer podobnosti med strukturnimi tenzorji.
2.1 Mere podobnosti med strukturnimi tenzorji
Podobnost (ali pa razdaljo) med dvema strukturnima tenzorjema A in B (A, B e Sym+) numerično ovrednotimo z mero podobnosti (MP), ki je definirana kot:
(6)
MP	Enačba
LINALG	Si=i Sj=i A j • Bij
NTSP	tr(AB) [tr(A)tr(B)]-1
ANG	areco^eA o eB)
JB BHAT KL	log [det( A+S)] - i log [det(A B)] exp/ 1 ln det( ^) , V 2 det(A) det(B) |^/tr(A-1B + AB-1) - 6
CW AIR	cAcfs;(A, B) + cAcBsp(A, B) + cAcBss(A, B)/2, kjer so si(A, B) = |eA o eB|, Sp(A, B) = |eA o eB|, Ss(A, B) = 1 maj[(tr(A) ,tr(B) ,1) in c — c — A3 c — A3 Cl = Ai , CP = Ai , Cs = Ai N(A1/2BA1/2), kjer je N (X) = log(Af)2
LOGEUCL	^tr([log(A) - log(B)]2)
3 Poskusi
Žmogljivosti MP za 3D-2D poravnavo smo ovrednotili na javno dostopni bazi slik ex vivo ledvene hrbte-
G a *
VREDNOTENJE MER PODOBNOSTI MED STRUKTURNIMI TENZORJI
69
nice [15], ki vsebuje 3D CT slike ledvenih vretenc L1-5 in precne 2D rentgenske projekcije ledvene hrbtenice iz 18 pogledov (0°-170° s korakom 10°). S poravnavo krogličnih markerjev, ki so bili med zajemom slik pritrjeni na ogrodje ex vivo ledvene hrbtenice, je bila dolocena referencna toga preslikava T(pref). Referencno togo preslikavo smo uporabili za oceno lastnosti MP med strukturnimi tenzorji 3D in 2D slik in za vrednotenje postopka 3D-2D poravnave slik z optimizacijo MP. Vse 3D in 2D slike so bile vzorcene s korakom 0.75 mm. Vrednotenje smo izvedli na desetih parih 3D in 2D slik tako, da smo za vsako od petih 3D CT slik ledvenih vretenc nakljucno izbrali dve razlicni 2D rentgenski projekciji. V naslednjih podpoglavjih sta opisana dva nacina vrednotenja MP, in sicer neodvisno in v odvisnosti od optimizacijskega postopka.
3.1	Lastnosti mer podobnosti
Skerl in sod. [17] so predlagali protokol za oceno lastnosti MP za poravnavo slik neodvisno od postopka optimizacije. Protokol glede na referencno preslikavo T (pref) doloci mnozico tock (oz. preslikav) vzdolz daljic v normaliziranem parametricnem prostoru (6D za togo preslikavo), v katerih izracunamo MP med 3D in 2D slikama. Iz dobljenih potekov MP izracunamo naslednje lastnosti MP:
•	natancnost polozaja optimuma (ACC*),
•	konvergencno območje (CR),
•	izrazitost optimuma (DO*),
•	tveganje nekonvergentnosti (RON§),
•	število lokalnih optimumov (NOM
Zelene lastnosti MP so cim manšje vrednosti AC C, RON in NOM ter cim vecje vrednosti CR in DO. Vrednosti DO, RON in NOM so odvisne od razdalje r v parametricnem prostoru od optimuma mere podobnosti. Merili smo tudi case izracuna MP (tMP).
3.2	Vrednotenje 3D-2D poravnave
Vrednotili smo sposobnost postopka poravnave, da iz simuliranega zacetnega polozaja oz. zacetne toge preslikave z optimizacijo MP doloci koncno togo preslikavo, ki naj bo cim blize referencni togi preslikavi. Za vsak par 3D in 2D slik smo ustvarili 40 zacetnih polozajev 3D slike z nakljucnim vzorcenjem translacij (tx, ty ,tz G p) v obmocju 0-20 mm in rotacij (ax, ay, az G p) v obmocju 0-10 ° tako, da so dobljeni zacetni polozaji pomenili napako poravnave (mTRE^) v obmocju 020 mm z dvema zacetnima polozajema na vsak mm celotnega obmocja mTRE. Za vseh 10 parov 3D in 2D slik smo tako dobili 400 zacšetnih polozšajev, iz katerih smo zagnali 3D-2D poravnavo oz. optimizacijo MP.
•	ACC: ang. accuracy of optimum's position
t CR: ang. capture range
^ DO: ang. distinctivness of optimum
§ RON: ang. risk of nonconvergence
^ NOM: ang. number of local optima
II mTRE: ang. mean target registration error
Strukturne tenzorje v 3D in 2D slikah smo izračunali z vrednostjo parametra a = 1 mm (1). Postopek poravnave z različnimi MP (tabela 1) smo implementirali v programskem jeziku CUDA-C++ in izvedli na NVidia 450GTS GPE z uporabo optimizacije s kvadratično aproksimacijo brez odvodov (BOBYQA) [14].
Napako končne toge preslikave (mRPD**) smo izračunali glede na referenčno togo preslikavo kot povprečje najmanjših razdalj med tarčami na 3D objektu v referenčnem polozaju in premičami, ki povezujejo polozaj pripadajočih tarč v 2D sliki v poravnanem polozaju in vir rentgenskih zarkov rs. Tarče na 3D objektu določšimo glede na zahteve kliničšne aplikačije 3D-2D poravnave. Pri vstavljanju pedikularnih vijakov je treba zagotoviti zadostno natančnost 3D-2D poravnave v okoliči pediklov, zato smo na vsakem vretenču ročno izbrali štiri tarče na pediklih [15]. Metrika mRPD je standardna metrika za vrednotenje poravnave 3D slike na eno 2D sliko [7]. Poravnava slik je uspešna, če je mRPD < 2 mm.
Natančšnost poravnave smo določšili kot povprečšno napako mRPD uspesšnih poravnav, konvergenčšno območšje (CR) kot vrednost začetne napake mTRE, pri kateri je v pripadajočem 1 mm intervalu mTRE uspešnih vsaj 95 % poravnav (tj. 19/20), skupno uspešnost (SR^) kot delezš uspesšnih poravnav, merili pa smo tudi čšase poravnave (tpor).
4 Rezultati
4.1	Lastnosti mer podobnosti
Vrednotenje lastnosti mer podobnosti prikazuje slika 3. Z izjemo LINALG in KL je natančnost vseh MP pod 1 mm, najbolj natančšna in krepko pod vzorčšnim korakom 0,75 mm pa je bila mera NTSP s povprečšno napako 0,46 mm. Slednja je imela tudi najbolj izrazit optimum (DO), a hkrati veliko lokalnih optimumov (NOM > 100) in s tem povečano tveganje nekonvergentnosti. Največje konvergenčno območje od 10 do 20 mm imajo mere na podlagi Riemannove geometrije (JB, AIR in LOGEUCL) in statistična mera BHAT, kar se odrazša tudi v majhnih vrednostih metrik RON in NOM. Računski časi mer AIR, LOGEUCL, KL in CW so priblizno 2,5x daljši od preostalih mer, ker te mere zahtevajo račšunanje vseh lastnih vrednosti in lastnih vektorjev (npr. operačije log, ali inverz tenzorja. Računski časi MP so bili od 1,5 do 4 ms (tj. 650250 izračšunov MP na sekundo), kar ob ustrezni izbiri optimizačijskega postopka omogočša 3D-2D poravnavo v manj kot sekundi.
4.2	Vrednotenje 3D-2D poravnave
Rezultati vrednotenja 3D-2D poravnave so podani v tabeli 2. Statistična mera BHAT (0,58 mm) je imela najmanjsšo povprečšno napako mRPD, medtem ko so
**mRPD: ang. mean reprojection distance tt S R: ang. success rate
70
ŽIGA SPICLIN
r [mm]	r [mm]	r [mm]
Slika 3: Vrednotenje lastnosti devetih mer podobnosti (MP) med strukturnimi tenzorji na desetih parih 3D CT in 2D rentgenskih slikah ledvenih vretenc. V grafih v spodnji vrstici oznaka abscisne osi r pomeni razdaljo v parametričnem prostoru od poloZaja optimuma MP.
Slika 4: Projekcija vretenca (rdeca) na rentgensko sliko (zelena) po 3D-2D poravnavi in pripadajoca vrednost napake poravnave mRPD. Poravnava je uspešna, ce je mRPD < 2 mm. Pušcici oznacujeta smer popravka do ustrezne poravnave.
bile preostale mere s povprecno napako pod korakom vzorcenja slik 0,75 mm še NTSP, JB, CW, AIR in LOGEUCL. Primer uspešne poravnave (mRPD < 2 mm) in trije primeri neuspesšne poravnave 3D in 2D slik ledvenih vretenc so prikazani na sliki 4.
Najvecje konvergencno obmocje (9-10 mm) so, skladno z rezultati vrednotenja lastnosti mer v 4.1, dosegle mera BHAT in mere na podlagi Riemannove geometrije JB, AIR in LOGEUCL. Omenjene štiri mere so imele tudi najvecjo skupno uspešnost SR okoli 85 %, preostale mere pa so imele vsaj 20 % nizji SR. Presenetljivo dolg racunski cas poravnave (> 1,5 s) smo izmerili z uporabo mere LINALG, in sicer zaradi vecšjega sštevila korakov v optimizaciji, ki je posledica visokega tveganja nekonvergentnosti in velikega sštevila lokalnih optimu-mov (cf. RON in NOM v sliki 3). (Časi poravnave z racunsko kompleksnejšimi merami KL, CW, AIR in LOGEUCL so bili okoli ene sekunde, z racšunsko enostavnejšimi merami pa ^0,4 sekunde.
Slika 5 prikazuje kumulativen potek skupne uspesšnosti 3D-2D poravnave v odvisnosti od napake mTRE zacetnega polozaja. Meri JB in BHAT dosegata SR > 95 % do mTRE < 12 mm, medtem ko AIR, LOGEUCL dosegata SR > 95 % celo do mTRE < 15 mm. Ta rezultat predstavlja visoko verjetnost uspesšne 3D-2D poravnave z merama AIR in LOGEUCL, cšeprav je zacšetni polozšaj 3D slike lahko relativno dalecš od optimalnega polozaja (slika 4).
5 Sklep
Potencial za uporabo postopkov 3D-2D poravnave slik v slikovno vodenih (minimalno invazivnih) posegih dolocšata predvsem njihov racšunski cšas in zanesljivost poravnave, natancnost pa mora biti na ravni koraka
VREDNOTENJE MER PODOBNOSTI MED STRUKTURNIMI TENZORJI
71
Tabela 2: Vrednotenje 3D-2D poravnave z optimizacijo devetih mer podobnosti med strukturnimi tenzorji na desetih parih 3D CT in 2D rentgenskih slikah ledvenih vretenc: natančnost (mRPD), konvergencno območje (CR), uspešnost (SR) in cas poravnave tpoR. Pri lastnostih ACC in tpoR sta dana srednja aritmeticna vrednost (SV) in standardni odklon (SO).
MP	mRPD (SV ± SO) [mm]	CR [mm]	SR [%]	tpoR (SV ± SO) [s]
LINALG	1,24 ± 0,38	0,0	21,3	1,52 ± 1,37
NTSP	0,68 ± 0,44	4,0	56,5	0,43 ± 0,16
ANG	0,76 ± 0,37	5,0	62,0	0,33 ± 0,06
JB	0,75 ± 0,39	9,0	85,3	0,46 ± 0,15
BHAT	0,58 ± 0,24	10,0	84,8	0,43 ± 0,15
KL	0,96 ± 0,50	0,0	51,3	1,06 ± 0,39
CW	0,67 ± 0,33	6,0	60,5	0,73 ± 0,20
AIR	0,70 ± 0,39	10,0	86,3	1,01 ± 0,34
LOGEUCL	0,63 ± 0,30	10,0	86,5	1,12 ± 0,41
°0	5	10	15	20
mTRE [mm]
Slika 5: Kumulativen potek skupne uspešnosti 3D-2D poravnave SR v odvisnosti od napake mTRE zacetnega poloZaja.
vzorcenja slik. Vrednotenje lastnosti devetih razlicnih mer podobnosti (MP) je pokazalo, da z izjemo MP s skalarnim produktom tenzorjev (LINALG) in Kullback-Leibler divergence (KL), vse vrednotene MP dosegajo zadostno natancnost poravnave. Poravnava slik z optimizacijo mer podobnosti je bila najbolj zanesljiva (visok SR in CR) s štirimi MP, in sicer Bhattacharrya (BHAT) in MP na podlagi Riemannove geometrije, to so Jensen-Bregmanova divergenca (JB), afina invariantna (AIR) in logevklidska (LOGEUCL) MP, z uspešnostjo SR okoli 85 % in konvergencnim obmocjem CR od 9 do 10 mm od optimalnega polozaja. Od zadnjih MP sta bili meri BHAT in JB racunsko najučinkovitejši, z racunskimi casi ^0,4 sekunde.
Osvezitvena frekvenca 2D rentgenskih slik med slikovno vodenim posegom je tipicšno sedem slik na sekundo, zato je na prvi pogled predstavljeni postopek 3D-2D poravnave z racunskimi casi ^0,4 sekunde neprimeren za izvajanje v realnem cšasu. Predstavljene racunske case je mogoce bistveno skrajšati ze z uporabo naprednejše graficne procesne enote. Poleg tega pride pri frekvenci sedem slik na sekundo med zaporednimi slikami obicajno le do majhnih premikov pacienta oz. anatomskih struktur, na katere je osredinjeno slikovno vodenje, npr. zaradi dihanja (periodicšni premiki) in ob morebitnih zunanjih silah (delo kirurga). Za to kompen-
zacijo majhnih premikov med 3D in 2D slikama zadostuje le nekaj korakov optimizacije MP, vecje, a zvezne premike pa lahko ucšinkovito kompenziramo z uporabo Kalmanovega filtra, s cimer je mogoce še skrajšati racšunske cšase in se priblizšati teku 3D-2D poravnave v realnem cšasu.
Zanesljivost poravnave je odvisna predvsem od tega, kako dalec (glede mTRE) je zacetni polozaj 3D slike glede na polozaj, pri katerem sta 3D in 2D sliki optimalno poravnani. V interventni radiologiji se v zadnjih letih povecšuje uporaba robotiziranih 2D rentgenskih slikovnih sistemov z mehansko zasnovo v obliki cšrke C, ki jih zato imenujemo tudi C-roke. Slikovni sistemi s C-roko poleg zajema 2D slik iz poljubnega pogleda omogocajo tudi zajem 3D slik, in sicer s polkrozno rotacijo okoli pacienta, zajemom vecš 2D slik ter njihovo rekonstrukcijo v 3D sliko. Ce tako 2D kot tudi 3D sliko zajamemo s C-roko, potem je zacetni polozaj 3D slike z napako mTRE do 20 mm mogocše dolocšiti z vnaprejšnjo kalibracijo C-roke. Ce pa je 3D slika zajeta z drugim slikovnim sistemom (npr. CT), potem zacetni polozaj z napako mTRE < 20 mm lahko zanesljivo ocenimo s posebej prikrojenimi postopki 3D-2D poravnave slik [1].
Cš e 3D-2D poravnava slik odpove med slikovno vodenim minimalno invazivnim posegom, se poseg zacšasno prekine in operater rocšno ali z uporabo avtomatskih orodij doloci nov zacetni polozaj 3D slike in zazene 3D-2D poravnavo. Sele ko je poravnava uspešna, se poseg lahko nadaljuje. Uspešnost postopka 3D-2D poravnave (SR) lahko na dolgi rok interpretiramo tudi kot frekvenco potrebnega rocšnega poseganja v sistem slikovnega vodenja in, posredno, tudi kot stopnjo avtomatizacije slikovnega vodenja. Pri zacetnih polozajih z napako mTRE < 20 mm smo v rezultatih porocšali o uspešnosti poravnave okoli SR = 85 % z merami BHAT, JB, AIR in LOGEUCL. Ce je bila zacetna napaka do 10 mm, sta meri BHAT in JB dosegli SR > 97 %, na racšun daljsših cšasov poravnave pa lahko z uporabo mer AIR ali LOGEUCL pri mTRE < 10 mm dosezšemo celo SR > 99 %, kar se v praksi preslika v visoko
72
ŽIGA SPICLIN
stopnjo avtomatizacije slikovnega vodenja.
Vrednotenje mer podobnosti je pokazalo, da z merami podobnosti na podlagi primerjave strukturnih tenzorjev med 3D in 2D slikami lahko nacrtamo natančen, zanesljiv in hiter postopek 3D-2D poravnave, ki je primeren za implementacijo v sisteme za slikovno vodenje kirurških posegov.
Zahvala
Raziskavo sta omogočila Ministrstvo za visoko šolstvo, znanost in tehnologijo Republike Slovenije v okviru programa P2-0232 in Javna agencija za raziskovalno dejavnost Republike Slovenije v okviru projektov L2-5472, J2-5473 in J7-6781.
Literatura
[1]	Aksoy, T., Unal, G., Demirci, S., Navab, N., Degertekin, M.: Template-based CTA to X-ray angio rigid registration of coronary arteries in frequency domain with automatic X-ray segmentation. Medical Physics 40(10), 101903 (2013).
[2]	Arsigny, V., Fillard, P., Pennec, X., Ayache, N.: Log-Euclidean metrics for fast and simple calculus on diffusion tensors. Magnetic resonance in medicine 56(2), 411-421 (2006).
[3]	Baka, N., Metz, C., Schultz, C., van Geuns, R.J., Niessen, W., van Walsum, T.: Oriented gaussian mixture models for nonrigid 2D/3D coronary artery registration. IEEE Transactions on Medical Imaging 33(5), 1023-1034 (2014).
[4]	Cherian, A., Sra, S., Banerjee, A., Papanikolopoulos, N.: Efficient similarity search for covariance matrices via the Jensen-Bregman LogDet divergence. V: IEEE International Conference on Computer Vision (ICCV). str. 2399-2406 (2011).
[5]	Groher, M., Zikic, D., Navab, N.: Deformable 2D-3D registration of vascular structures in a one view scenario. IEEE Transactions on Medical Imaging 28(6), 847-860 (2009).
[6]	Hipwell, J., Penney, G., McLaughlin, R., Rhode, K., Summers, P., Cox, T., Byrne, J., Noble, J., Hawkes, D.: Intensity-based 2-D-3-D registration of cerebral angiograms. IEEE Transactions on Medical Imaging 22(11), 1417-1426 (2003).
[7]	van de Kraats, E., Penney, G., Tomazevic, D., van Walsum, T., Niessen, W.: Standardized evaluation methodology for 2-D-3-D registration. IEEE Transactions on Medical Imaging 24(9), 1177-1189 (2005).
[8]	Markelj, P., Tomazevic, D., Pernus, F., Likar, B.: Robust gradient-based 3-D/2-D registration of CT and MR to X-Ray images. IEEE Transactions on Medical Imaging 27(12), 17041714 (2008).
[9]	Markelj, P., Tomazevic, D., Likar, B., Pernus, F.: A review of 3D/2D registration methods for image-guided interventions. Medical Image Analysis 16(3), 642-661 (2012).
[10]	Mitrovic, U., Spiclin, Z., Likar, B., Pernus, F.: 3D-2D registration of cerebral angiograms: a method and evaluation on clinical images. IEEE Transactions on Medical Imaging 32(8), 15501563 (2013).
[11]	Peeters, T., Rodrigues, P.R., Vilanova, A., ter Haar Romeny, B.M.: Analysis of distance/similarity measures for diffusion tensor imaging. V: Visualization and Processing of Tensor Fields, str. 113-136. Springer (2009).
[12]	Spiclin, Z., Likar, B., Pernus, F.: Fast and robust 3D to 2D image registration by backprojection of gradient covariances. V: Workshop on Biomedical Image Registration (WBIR), str. 124133. st. 8545 v Lecture Notes in Computer Science, Springer (2014).
[13]	Pollari, M., Neuvonen, T., Lotjonen, J.: Affine registration of diffusion tensor MR images. V: Medical Image Computing and Computer-Assisted Intervention - MICCAI, str. 629-636. sst. 4191 v Lecture Notes in Computer Science, Springer (2006).
[14]	Powell, M.J.D.: The BOBYQA algorithm for bound constrained optimization without derivatives. Department of Applied Mathematics and Theoretical Physics, Cambridge England, technical report NA2009/06 (2009).
[15]	Tomazevic, D., Likar, B., Pernus, F.: Gold standard data for evaluation and comparison of 3D/2D registration methods. Computer Aided Surgery 9(4), 137-144 (2004).
[16]	Tomazevic, D., Likar, B., Slivnik, T., Pernus, F.: 3-D/2-D registration of CT and MR to X-ray images. IEEE Transactions on Medical Imaging 22(11), 1407-1416 (2003).
[17]	Skerl, D., Likar, B., Pernus, F.: A protocol for evaluation of similarity measures for rigid registration. IEEE Transactions on Medical Imaging 22(6), 779-791 (2006).
Žiga Spiclin je leta 2011 doktoriral na Fakulteti za elektrotehniko Univerze v Ljubljani, kjer je trenutno zaposlen kot raziskovalec. Ukvarja se z razvojem in vrednotenjem numericnih postopkov za prostorsko poravnavo slik, izboljšanje kakovosti slik in razgradnjo slik za uporabo v biomedicini in aplikacijah računalniškega vida.