ERK'2021, Portorož, 333-336 333 Medpomnjenje obsevanosti za globalno osvetlitev volumetriˇ cnih podatkov Uroˇ s ˇ Smajdek 1 , ˇ Ziga Lesar 1 , Matija Marolt 1 , Ciril Bohak 1;2 1 Univerza v Ljubljani, Fakulteta za Raˇ cunalniˇ stvo in Informatiko, Veˇ cna pot 113, 1000 Ljubljana 2 King Abdullah University of Science and Technology, Visual Computing Center, Thuwal, Saudi Arabia E-poˇ sta: us6796@student.uni-lj.si,fziga.lesar, matija.marolt, ciril.bohakg@fri.uni-lj.si Irradiance caching for global illumination of volumetric data In this paper, we present a method for interactive illumi- nation and rendering of volumetric data with irradiance caching. We store the irradiance field in a separate vol- ume and we compute it independently of the camera position and orientation with unbiased path tracing. For the projection on the screen we use the Riemann sum. We solve the problem of noise in the irradiance volume by separating the computation of the color and illumina- tion components of the final rendering, and we additionally filter the illumination component with a bi- lateral filter. Results show that our method converges faster than path tracing, while its independence of the camera view allows for greater interactivity. Povzetek V ˇ clanku predstavimo metodo za interaktivno osvetlitev in upodabljanje volumetriˇ cnih podatkov z medpomnjen- jem obsevanosti. Polje obsevanosti hranimo v loˇ cenem volumnu in ga izraˇ cunamo neodvisno od poloˇ zaja in ori- entacije kamere z nepristranskim sledenjem poti. Za projekcijo na zaslon uporabimo Riemannovo vsoto. Problem ˇ suma v obsevalnem volumnu reˇ sujemo z loˇ cenim izraˇ cunom barvne in osvetlitvene komponente konˇ cne slike, osvetlitveno komponento pa dodatno filtri- ramo z bilateralnim filtrom. Rezultati kaˇ zejo, da naˇ sa metoda konvergira hitreje od sledenja poti, poleg tega pa neodvisnost od pogleda kamere omogoˇ ca veˇ cjo interaktivnost. 1 Uvod Fizikalno osnovana osvetlitev v vizualizaciji omogoˇ ca uporabnikom boljˇ se enostavnejˇ se razloˇ cevanje oblik, kar je ˇ se posebej pomembno pri preuˇ cevanju komple- ksnejˇ sih struktur v tridimenzionalnem prostoru. Pravilna osvetlitev je kljuˇ cna za pravilno dojemanje globine in oblik, kar je ˇ se posebej pomembno pri volumetriˇ cnih po- datkih, kjer svetloba ob prehajanju snovi izgublja svojo moˇ c in s tem nakazuje, kateri deli podatkov so bolj ali manj presevni, hkrati pa se strukture v podatkih medse- bojno senˇ cijo in s tem pripomorejo k boljˇ semu dojemanju njihove prostorske postavitve. Enaˇ cbo upodabljanja za izraˇ cun fizikalno pravilne osvetlitve je v svojem delu predstavil Kajiya [8] in teme- lji na enaˇ cbi sevalnega prenosa [1]. Najpogosteje se za njeno reˇ sevanje uporablja metoda volumetriˇ cnega kora- kanja vzdolˇ z ˇ zarkov [15], ki pa zaradi aproksimacije z Riemannovo vsoto ne daje toˇ cnih rezultatov in zato ni primerna za simulacijo kompleksnejˇ sih svetlobnih poja- vov kot je sipanje. Za toˇ cen izraˇ cun se uporabljajo metode Monte Carlo in njene izpeljanke. Njihova slaba lastnost je poˇ casna konvergenca, ki je ˇ se posebej izrazita v primeru sipanja, kjer je treba simulirati veˇ ckratne od- boje in pri tem uporabiti prilagodljivo vzorˇ cenje. V naˇ sem pristopu naslovimo poˇ casno konvergenco metod Monte Carlo z medpomnjenjem ˇ ze izraˇ cunane obsevano- sti, ki se med upodabljanjem neprestano izboljˇ suje. Medpomnjenje obsevanosti je neodvisno od pogleda, kar omogoˇ ca spreminjanje pogleda brez ponovnega raˇ cunanja. Ker je zaradi poˇ casne konvergence v medpo- mnjenih podatkih prisotnega veliko ˇ suma, pri izrisu podatke o obsevanosti zgladimo z bilateralnim filtrom. Glavna prispevka ˇ clanka sta: • metoda za interaktiven prikaz volumetriˇ cnih podatkov z medpomnjenjem obsevanosti; • glajenje obsevanosti pred zdruˇ zitvijo z barvno informacijo. V nadaljevanju ˇ clanka naprej predstavimo pregled podroˇ cja in vanj vpnemo naˇ se delo, nato v poglavju 3 predstavimo naˇ so metodo, ki jo v poglavju 4 ovredno- timo in rezultate diskutiramo, na koncu pa v poglavju 5 podamo ˇ se sklepne ugotovitve in nakaˇ zemo moˇ zne nadaljnje izboljˇ save. 2 Pregled podroˇ cja Upodabljanje volumnov s fizikalno osnovanim pristo- pom sta prva predstavila Kajiya in V on Herzen [9], kar je vodilo do posploˇ senega pristopa – enaˇ cbe upodabljanja, ki ga predstavi Kajiya [8] skupaj z reˇ sitvijo z uporabo metode Monte Carlo. Poˇ casna konvergenca metode Monte Carlo in kompleksnost same enaˇ cbe upodabljanja sta vzpodbudili razvoj mnogih izboljˇ sav. Med pomemb- nejˇ simi izboljˇ savami sta dvosmerno sledenje poti [12] in uporaba algoritma Metropolis-Hastings [18]. Dvosmer- no sledenje poti je bilo posploˇ seno tudi za upodabljanje volumnov [13]. Dva popularna alternativna pristopa za izraˇ cun globalne osvetlitve volumnov sta ˇ se sledenje 334 ˇ zarkov [15] in algoritem izsevnosti [16], ki pa ne dose- gata znatne pohitritve ali izboljˇ save kvalitete. Vzporedno je Jensen predstavil pristop, ki zdruˇ zuje dvostopenjsko osvetljevanje in zemljevid fotonov [5], kasneje pa ga je razˇ siril za upodabljanje volumnov [6]. Dvostopenjsko osvetljevanje predstavlja tudi osnovo za metodo, pred- stavljeno v tem ˇ clanku, saj omogoˇ ca izraˇ cun globalne osvetlitve neodvisno od poloˇ zaja in orientacije kamere. Pregled kasnejˇ sih prilagoditev in razˇ siritev tehnike zemljevidov fotonov je predstavljen v [7]. Medpomnjenje obsevanosti so prvi predstavili Ward et al. v delu [19] in deluje predvsem zaradi dejstva, da je neposredno obsevalno polje veˇ cinoma gladko. Kˇ riv´ anek et al. predstavijo medpomnjenje sevalnega polja, ki hrani in interpolira smerno odvisno sevanje z uporabo sferiˇ cnih harmonikov [11]. Jarosz et al. so kmalu za tem predstavili medpomnjenje sevalnosti za volumne [4]. Khlebnikov et al. predstavijo sistem za medpomnjenje in izraˇ cun obsevanosti za volumne [10], ki zdruˇ zuje tri vzporedne procese: (1) upodabljanje, (2) izraˇ cun novih medpomnjenih vrednosti in (3) odpravljanje napak pri izraˇ cunu novih vnosov. Zaradi hitrega razvoja tehnologije danaˇ snje grafiˇ cne kartice vsebujejo veliko koliˇ cino grafiˇ cnega pomnilnika in tako hranjenje veˇ cje koliˇ cine podatkov na njih ni veˇ c problematiˇ cno. Zaradi tega dandanes ˇ stevilne po- mnilniˇ ske optimizacije, naslovljene v zgoraj omenjenih delih, niso veˇ c potrebne. S tem se lahko sistemi za med- pomnjenje obsevanosti poenostavijo, kar predstavimo tudi v tem ˇ clanku. Naˇ sa reˇ sitev sicer zahteva veˇ c po- mnilnika, a je hkrati tudi bistveno bolj uˇ cinkovita pri izraˇ cunu konˇ cne upodobitve. V ˇ clanku predstavimo tudi implementacijo v spletnem orodju za upodabljanje volumetriˇ cnih podatkov VPT [14]. 3 Medpomnjenje obsevanosti Naˇ sa metoda za izraˇ cun obsevanosti temelji na postopku sledenja poti, s katerim reˇ sujemo volumetriˇ cno enaˇ cbo upodabljanja [2]. Sevalnost L v toˇ cki x in smeri ! je vsota dveh prispevkov, uteˇ zenih s prepustnostjoT vzdolˇ z ˇ zarka x t = x t!: sevalnosti ozadja, ki preseva skozi volumen, ter izhodne sevalnostiL i vzdolˇ z ˇ zarka: L(x;!) =T (d)L(x d ;!) + Z d t=0 T (t)L i (x t ;!)dt; (1) kjer je prepustnost modelirana z Beer-Lambertovim zakonom: T (t) = exp Z t s=0 ( a (x s ) + s (x s ))ds : Koeficienta a in s doloˇ cata koliˇ cino absorpcije in si- panja na enoto razdalje, z njima pa lahko opiˇ semo tudi izhodno sevalnost volumna, sestavljeno iz emisije in sipanja: L i (x;!) = a (x)L e (x;!) + s (x)L s (x;!); kjerL s opisuje svetlobo, ki v toˇ ckox vpada iz poljubne smeri in se lomi v smeri!: L s (x;!) = Z S 2 f p (x;!;! 0 )L(x;! 0 )d! 0 : V zgornji enaˇ cbi fazna funkcija f p doloˇ ca porazdelitev smeri sipanja. V tem delu predpostavljamo izotropno fa- zno funkcijo,f p = 1=4 , ter izotropno emisijoL e , ki je v praktiˇ cnih primerih lahko tudi 0. Izstopna sevalnost je zato neodvisna od smeri primarnega ˇ zarka!, za delova- nje metode pa poslediˇ cno zadoˇ sˇ ca ˇ ze izraˇ cun obsevanosti: O(x) = Z S 2 L(x;! 0 )d! 0 Polje obsevanosti hranimo v loˇ cenem volumnu, raˇ cunamo pa ga lahko neodvisno od poloˇ zaja in orienta- cije kamere. Enaˇ cbo 3 raˇ cunamo z metodo Monte Carlo, tako da simuliramo poti fotonov od poljubne toˇ cke v vo- lumnu do svetlobnega vira. Za izraˇ cun prostih poti fotonov uporabljamo t. i. metodo delta [20, 3], ki je ne- pristranska in uˇ cinkovita. Pri projekciji na zaslon enaˇ cbo (1) diskretiziramo z Riemannovo vsoto, saj je hi- trejˇ sa od sledenja poti, poleg tega pa konˇ cna slika ne vsebuje visokofrekvenˇ cnega ˇ suma zaradi stohastiˇ cnega postopka. Zaradi poˇ casne konvergence izraˇ cuna osvetlitve s tehnikami Monte Carlo je v obsevalnem volumnu priso- ten ˇ sum, ki je ˇ se posebej izrazit v zaˇ cetnih korakih po spremembi osvetlitve. V konˇ cni upodobitvi se to odraˇ za v obliki visokofrekvenˇ cnega ˇ suma, ki je zelo moteˇ c in uporabniku ne omogoˇ ca neoviranega pregledovanja vo- lumna. Ta problem naslovimo z loˇ citvijo izraˇ cuna barvne in osvetlitvene komponente konˇ cne slike. Pred konˇ cno zdruˇ zitvijo osvetlitveni prispevek filtriramo z uporabo bilateralnega filtra [17]. Prednost uporabe takˇ snega filtra pred npr. Gaussovim je, da ohranja robove (visoke frekvence). Filtrirani osvetlitveni prispevek pi- ksla x izrazimo z uteˇ zeno vsoto pikslov x i v njegovi okolici : L (x) = P xi2 w(x i ;x)L(x i ) P xi2 w(x i ;x) ; kjer je uteˇ z w zmnoˇ zek jedra obsega za glajenje razlik v intenzitetif r in prostorskega jedra za glajenje razlik v poloˇ zajih pikslov: w(x i ;x) =f r (kL(x i ) L(x)k)f s (kx i xk): 4 Rezultati in diskusija Naˇ so metodo smo primerjali z metodo sledenja ˇ zarkov z enkratnim sipanjem. Ovrednotili smo kakovost in zmo- gljivost metod in rezultate dopolnili z diskusijo. Vhodni podatki so volumetriˇ cni CT podatki prsnega koˇ sa 1 dimenzij 512 150 350, osvetljenega z okoljsko osve- tlitvijo bele barve. Podatki so bili upodobljeni v loˇ cljivosti 1024 1024 pikslov. Teste smo izvajali na prenosnem raˇ cunalniku s procesorjem Intel ® Core TM i5-10400F @ 2.90GHz, 16 GB pomnilnika, operacijskim sistemom Microsoft Windows 10 Pro in grafiˇ cno kartico Nvidia GeForce GTX 1060 3GB. Na sliki 1 so prikazani izraˇ cunani rezultati vseh treh metod po 100 sekundah. 1 http://schorsch.efi.fh-nuernberg.de/data/ volume/ 335 Slika 1: Primerjava upodobitev z metodo sledenja poti brez medpomnjenja (levo), z medpomnjenjem (sredina) in z medpomnjenjem in filtriranjem (desno) po 100 sekundah. 4.1 Ovrednotenje kakovosti Kakovost predstavljenih metod smo ovrednotili z me- triko RMSE (angl. root-mean-square error), kjer smo za referenˇ cno sliko vzeli rezultat sledenja poti z enkratnim sipanjem, pridobljenem po 5 minut trajajoˇ cem izraˇ cunu. Rezultati glede na ˇ cas izvajanja so prikazani z grafom na sliki 2. 0 20 40 60 80 100 0 0.05 0.1 0.15 0.2 0.25 ˇ Cas (s) RMSE SP-ES MO MO + BF Slika 2: Vrednosti RMSE za volumen, glede na sledenje poti z enkratnim sipanjem po 5-minutnem izraˇ cunu: sle- denje poti z enkratnim sipanjem (SP-ES), medpomnjenje obsevanost (MO) in medpomnjenje obsevanosti z bilate- ralnim filtriranjem (MO + BF). Graf prikazuje prvih 100 sekund konvergence. 4.2 Ovrednotenje zmogljivosti Pri ovrednotenju zmogljivosti smo naslovili dva vidika: (1) hitrost konvergence metod in (2) prostorsko zahtev- nost metod. Za primerjavo hitrosti konvergence metod smo v tabeli 1 zbrali ˇ case, ko je razlika v RMSE med sliko, upodobljeno s posamezno metodo in konˇ cno sliko (po 5 minut trajajoˇ cem izraˇ cunu), manjˇ sa od 10 2 . Tabela 1: Primerjava hitrosti konvergence metod: slede- nje poti z enkratnim sipanjem (SP-ES), medpomnjenje obsevanost (MO) in medpomnjenje obsevanosti z bilate- ralnim filtriranjem (MO + BF). SP-ES MO MO + BF 70,11 s 20,38 s 13,70 s Metoda sledenja poti z enkratnim sipanjem v po- mnilniku hrani izvorni volumen velikostin 3 in teksturo s trenutnim stanjem fotonov velikosti m 2 , skupaj O(n 3 +m 2 ). Pri metodi z medpomnjenjem obsevanosti to teksturo zamenjamo z volumnom velikostin 3 , skupaj O(2n 3 ). Metoda medpomnjenja obsevanosti z bilateral- nim filtriranjem dodatno potrebuje ˇ se loˇ ceno teksturo velikosti m 2 , v kateri hranimo barvno in osvetlitveno komponento konˇ cne slike, skupajO(2n 3 +m 2 ). 4.3 Diskusija S slike 1 je razvidno, da so konˇ cni rezultati vseh metod zelo podobni. Zaradi diskretizacije enaˇ cbe 1 z Rieman- novo vsoto so na sredinski in desni sliki vidni prekrivni artefakti. Razlike v posameznih ˇ casovnih obdobjih so prikazane na sliki 3, s katere je razvidno, da je metoda enkratnega sipanja v zaˇ cetnih korakih precej ˇ sumna. To je ˇ se bolj izrazito v obdobjih izraˇ cuna krajˇ sih od ene se- kunde. S slike je prav tako razvidno, da je osvetlitev metode z medpomnjenjem bolj neenakomerna kot pri metodi z medpomnjenjem in filtriranjem. Pri tem naj ˇ se izpostavimo, da je osvetlitev pri predstavljenih metodah medpomnjena in je poslediˇ cno pri spremembi pogleda kamere ni treba ponovno izraˇ cunavati, kar pa ne velja za osnovno metodo. Slika 3: Slika prikazuje primerjavo konvergence metod v razliˇ cnih ˇ casovnih obdobjih od leve proti desni: 150 ms, 1, 3, 12 in 100 sekund. V prvi vrstici so rezultati metode sledenja poti brez medpomnjenja, v drugi z medpomnje- njem in v tretji z medpomnjenjem in filtriranjem. Z grafa na sliki 2 je razvidno, da najhitreje konver- gira metoda z medpomnjenjem in filtriranjem, druga najhitreje pa metoda z medpomnjenjem. To je ˇ se posebej izrazito v kratkih ˇ casovnih obdobjih, ko je osvetlitev z metodo z medpomnjenjem izrazito neenakomerna. Naj- 336 primerneje bi bilo tako rezultate metode s filtriranjem uporabiti v zaˇ cetnih korakih, nato pa filtriranje izklopiti. Te izsledke potrjujejo tudi rezultati v tabeli 1. Slika 4 prikazuje delovanje predstavljenih metod na podatkih drugih tkiv. Rezultati metod so vizualno primerljivi. Slika 4: Primerjava metod na razliˇ cnih volumnih. Po vrsticah, od zgoraj navzdol: slika CT glave odraslega moˇ skega 1 , slika CT prsnega koˇ sa 1 , slika CT ledvic 1 . Po stolpcih, od leve proti desni: enkratno sipanje, medpo- mnjenje obsevanosti, medpomnjenje in filtriranje. 5 Sklep V ˇ clanku smo predstavili metodo medpomnjenja obsevanosti s filtriranjem osvetlitve za interaktivno upo- dabljanje volumetriˇ cnih podatkov. Za razliko od bolj naprednega sledenja poti naˇ sa metoda bistveno hitreje konvergira. Ker je izraˇ cun osvetlitve neodvisen od posta- vitve kamere, se lahko izognemo ponovnemu izraˇ cunu ob vsakem premiku kamere in s tem pridobimo na inte- raktivnosti. Prednosti naˇ se metode dobimo na raˇ cun pristranskosti kot posledice diskretizacije obsevanosti ter veˇ cje porabe pomnilnika. Rezultati kaˇ zejo, da uporaba filtriranja po zadostni konvergenci ni veˇ c smiselna, saj v sliko vnese dodatno pristranskost, zato bi bilo smiselno v prihodnosti metodo dopolniti s postopnim pojemanjem moˇ ci filtra. Napake se pojavijo tudi pri projekciji na za- slon, kjer integral diskretiziramo z Riemannovo vsoto. Z bolj primerno diskretizacijo (npr. s trapeznim pravilom) bi konˇ cna slika vsebovala manj prekrivnih artefaktov. Hitrost konvergence in porabo pomnilnika bi lahko ˇ se iz- boljˇ sali z manjˇ so loˇ cljivostjo obsevalnega volumna, seveda na raˇ cun veˇ cje pristranskosti. Literatura [1] Subrahmanyan Chandrasekhar. Radiative Transfer. Dover Books on Intermediate and Advanced Mathematics. Dover Publications, 1960. [2] Julian Fong, Magnus Wrenninge, Christopher Kulla, and Ralf Ha- bel. Production volume rendering. In ACM SIGGRAPH, pages 1–79, New York, New York, USA, 2017. ACM. [3] Mathieu Galtier, Stephane Blanco, Cyril Caliot, Christophe Co- ustet, J´ er´ emi Dauchet, Mouna El Hafi, Vincent Eymet, Richard Fournier, Jacques Gautrais, Anais Khuong, et al. Integral formu- lation of null-collision monte carlo algorithms. Journal of Quan- titative Spectroscopy and Radiative Transfer, 125:57–68, 2013. [4] Wojciech Jarosz, Craig Donner, Matthias Zwicker, and He- nrik Wann Jensen. Radiance caching for participating media. ACM Transactions on Graphics, 27(1):7:1–7:11, mar 2008. [5] Henrik Wann Jensen. Global illumination using photon maps. In Proc. of the Eurographics Workshop on Rendering Techniques ’96, pages 21—-30, Berlin, Heidelberg, 1996. Springer-Verlag. [6] Henrik Wann Jensen and Per H. Christensen. Efficient simula- tion of light transport in scenes with participating media using photon maps. In Proc. of the 25th annual conference on Compu- ter graphics and interactive techniques, pages 311––320. ACM, 1998. [7] D. J¨ onsson, J. Kronander, T. Ropinski, and A. Ynnerman. Hi- storygrams: Enabling interactive global illumination in direct vo- lume rendering using photon mapping. IEEE Transactions on Vi- sualization and Computer Graphics, 18(12):2364–2371, 2012. [8] James T. Kajiya. The rendering equation. ACM SIGGRAPH, 20(4):143––150, Aug 1986. [9] James T. Kajiya and Brian P. V on Herzen. Ray tracing volume densities. ACM SIGGRAPH, 18(3):165—-174, 1984. [10] Rostislav Khlebnikov, Philip V oglreiter, Markus Steinberger, Bernhard Kainz, and Dieter Schmalstieg. Parallel irradiance ca- ching for interactive monte-carlo direct volume rendering. Com- puter Graphics Forum, 33(3):61–70, 2014. [11] Jaroslav Kˇ riv´ anek, Pascal Gautron, Sumanta Pattanaik, and Kadi Bouatouch. Radiance caching for efficient global illumination computation. IEEE Transactions on Visualization and Computer Graphics, 11(5):550–561, 2005. [12] Eric P. Lafortune and Yves D. Willems. Bi-directional path tra- cing. In Proc. of 3rd International Conference on Computational Graphics and Visualization Techniques (Compugraphics ’93), pa- ges 145–153, December 1993. [13] Eric P. Lafortune and Yves D. Willems. Rendering participa- ting media with bidirectional path tracing. In Proc. of the Eu- rographics Workshop on Rendering Techniques ’96, pages 91—- 100, Berlin, 1996. Springer-Verlag. [14] ˇ Ziga Lesar, Ciril Bohak, and Matija Marolt. Real-time interactive platform-agnostic volumetric path tracing in webgl 2.0. In Proc. of the 23rd International ACM Conference on 3D Web Technology, New York, NY , USA, 2018. ACM. [15] Marc Levoy. Display of surfaces from volume data. IEEE Com- puter Graphics and Applications, 8(3):29–37, 1988. [16] Holly E. Rushmeier and Kenneth E. Torrance. The zonal method for calculating light intensities in the presence of a participating medium. ACM SIGGRAPH, 21(4):293—-302, aug 1987. [17] Carlo Tomasi and Roberto Manduchi. Bilateral filtering for gray and color images. In Sixth international conference on computer vision (IEEE Cat. No. 98CH36271), pages 839–846. IEEE, 1998. [18] Eric Veach and Leonidas J. Guibas. Metropolis light transport. In Proc. of the 24th Annual Conference on Computer Graphics and Interactive Techniques, pages 65—-76, USA, 1997. ACM. [19] Gregory J. Ward, Francis M. Rubinstein, and Robert D. Clear. A ray tracing solution for diffuse interreflection. ACM SIGGRAPH, 22(4):85–92, June 1988. [20] E Woodcock, T Murphy, P Hemmings, and S Longworth. Tech- niques used in the gem code for monte carlo neutronics calculati- ons in reactors and other systems of complex geometry. In Proc. Conf. Applications of Computing Methods to Reactor Problems, pages 557–579, 1965.