ERK'2020, Portorož, 99-102 99 Interaktivna razstavna vitrina – orodje za muzejske zbirke prihodnosti Simon Kolmanič 1 , Niko Lukač 1 , Selma Rizvić 2 , Borut Žalik 1 1 Univerza v Mariboru, Fakulteta za elektrotehniko, računalništvo in informatiko, Koroška cesta 46, Maribor, Slovenija 2 Univerza v Sarajevu, Fakulteta za elektrotehniko Sarajevo, Zmaja od Bosne, bb, Sarajevo, Bosna in hercegovina E-pošta: simon.kolmanic@um.si Interactive showcase – a tool for the museum collections of the future Abstract. In this article, an interactive showcase, based on holographic pyramid projector and Leap Motion sensor is presented. It can be used in modern museums for the exhibition of different types of artifacts. The idea to use the holograms in museums for the preservation of cultural heritage is not new. However, we have extended that idea by combining Unity 3D, a pyramid holographic projector and the Leap Motion sensor. As a result, a cost-efficient and attractive showcase has been obtained. The presentation in this new type of showcases can be controlled by the visitors’ hand movements. The users can “hold” the artifacts, rotate them, and examine them in a way unthinkable in the real world. For the demonstration of our idea, the presentation of Roman heritage in Balkan has been developed, where digitized artifacts from the Roman era have been used. . 1 Uvod Ideja o uporabi hologramov za prikaz grafičnih podatkov je stara vsaj 30 let [1]. Takšna predstavitev podatkov je omogočala natančen prikaz računalniško generiranih objektov, ki pa je bil statičen. Idejo o kombinaciji hologramov in interaktivne računalniške grafike prvič zasledimo v letu 2004 [2], kjer je raziskovalec Bimber tako kombinacijo predstavil kot sprejemljiv kompromis med kakovostjo vizualne predstavitve in interaktivnostjo. Holograme je v svojem delu videl kot možen način predstavitve muzejskih artefaktov, ki bi jih z računalniško grafiko dodatno obogatili. V svoji viziji je predstavil možnosti uporabe take tehnologije v industriji, znanosti in izobraževanju. Veliko njegovih idej se je do danes že uresničilo. Barvni hologrami OptoClone [3] so tako trenutno že v uporabi v vsaj štirih muzejih po Evropi in dajejo impresivne rezultate, vendar so, tako kot v svoji osnovni zasnovi izpred tridesetih let, statični. Veliko obetavnejši v smislu interaktivnosti so se pokazali nekoliko enostavnejši holografski projektorji s piramido [4], kjer se hologram ustvari s pomočjo slike na zaslonu projektorja, ki se projicira na steklene stranice piramide (glej sliko 1). Kot lahko vidimo na sliki 1, objekt senčimo s treh različnih smeri (pri svojih poskusih smo namreč uporabljali tristrano piramido), nato pa se slike prezrcalijo na površje piramide, s čimer dobimo iluzijo, da objekt lebdi v notranjosti piramide. Ker lahko slike, ki se preslikajo na površje piramide, generirano v realnem času, lahko tak hologram odreagira na aktivnosti uporabnika. Pri kontroliranju delovanja holograma običajnih vhodnih naprav, kot sta miška in tipkovnica, ne moremo uporabiti. V [5] so poskusili holograme kontrolirati s kretnjami, ki so jih zajemali s pomočjo treh pravokotno postavljenih kamer. Sami smo podobne rezultate dosegli s pomočjo uporabe vhodne naprave Microsoft Kinect v2, žal pa se je njeno delovanje izkazalo za dokaj nezanesljivo, proizvajalec pa naprave tudi več ne podpira. Zaradi omenjenih pomanjkljivosti, smo napravo Kinect zamenjali s senzorjem Leap Motion [6], [7], ki se je izkazal za veliko boljšega. Precej boljša kot pri senzorju Kinect je tudi povezljivost senzorja z grafičnim pogonom Unity, ki je v tem trenutku eno najbolj priljubljenih orodij za razvoj vsakovrstnih multimedijskih aplikacij. S kombinacijo holografskega projektorja s piramido in senzorja Leap Motion, smo dobili interaktivni hologram. Z namenom, da testiramo primernost te naprave za predstavitve muzejskih zbirk, smo izdelali Slika 1. Proces generiranja slike v holografski piramidi. 100 aplikacijo za predstavitev rimskih artefaktov, najdenih na štirih najdiščih na Balkanu. Testi so pokazali, da je interaktivni hologram primeren za interaktivno razstavno vitrino, delovanje je bilo zanesljivo, naprava pa je razen krmiljenja predstavitve s kretnjami rok omogočala tudi interakcijo uporabnika s samimi razstavnimi eksponati. 2 Zasnova interaktivne razstavne vitrine Sistem interaktivne vitrine sestavljajo holografski prikazovalnik, senzor Leap Motion in dovolj zmogljiv računalnik za generiranje vsebine predstavitve (slika 2). V našem poskusu smo uporabljali komercialni holografski projektor Dreamoc TM XL3 1 s tristrano piramido. Projektor je zasnovan okrog televizorja z ločljivostjo slike 1920 x 1080 točk in osveževanjem 30 slik/s. Ta je montiran nad holografsko piramido in skrbi za prikaz slike, ki se nato projicira na stene piramide. Z izbiro televizije za prikaz slike, so proizvajalci rešili dve težavi, holografski projektor je lahko samodejno predvajal animacije s pomnilnika USB, s čimer za svoje delovanje v osnovi ni potreboval posebnega računalnika, avtomatsko pa je imel podprt tudi zvok. Slika 2. Shematski prikaz zasnove interaktivne vitrine. Za zajemanje kretenj rok, smo uporabljali senzor Leap Motion. Gre za cenovno ugoden senzor, ki prihaja z dobro podporo za grafični pogon Unity. Namenjen je razpoznavi gest tako v aplikacijah navidezne resničnosti kot tudi v namiznih aplikacijah. Omogoča širok nabor funkcionalnosti, pri čemer lahko uporabnik uporablja obe roki. Za generiranje slike in drugih multimedijskih vsebin je potreben dovolj zmogljiv računalnik. Iz slike 1 lahko namreč vidimo, da je potrebno sceno senčiti s treh različnih pogledov. V kolikor bi naša piramida imela štiri stranice, pa bi potrebovali še en pogled več. Grafični pogon Unity 2 nam omogoča, da pogled z vsake kamere uporabimo kot teksturo, s pomočjo katere sestavimo končno sliko, ki jo pošljemo projektorju. Čeprav je naš holografski projektor uporabljal frekvenco osveževanja z zgolj 30 slik/s, pa smo vseeno želeli 1 https://www.realfiction.com/solutions/dreamoc-xl3, zadnji obisk 6. 7. 2020 zagotavljati hitrost izrisa s 60 slik/s, kar je frekvenca osveževanja klasičnega računalniškega prikazovalnika. Pri tem je treba upoštevati, da imajo objekti, ki jih pričakujemo pri razstavnih eksponatih v muzejih zelo veliko točk, kar dodatno podkrepi zahtevo po zmogljivejšem računalniku. Ob uporabi senzorja Leap Motion se v sceni pojavi tudi par virtualnih rok, ki zelo dobro sledijo premikom naših rok v realnem svetu. S temi rokami lahko primemo objekte, jih rotiramo, ali pa z njimi krmilimo potek naših predstavitev. 3 Implementacija osnovnih funkcionalnosti interaktivne vitrine Za izgradnjo programske opreme interaktivne razstavne vitrine, smo uporabili grafični pogon Unity. Pri svojem delu smo uporabljali verzijo 2019.4.0f1. Čeprav je bil igralni pogon Unity v začetku namenjen predvsem hitremu razvoju 2D in 3D iger, pa ga danes vse bolj uporabljamo tudi za razvoj številnih drugih aplikacij [8], z močno multimedijsko komponento. Posebej priljubljen je za razvoj aplikacij za navidezno in mešano resničnost [9], kjer je v tem trenutku prva izbira. Slika 3. Razvoj interaktivne razstavne vitrine v grafičnem pogonu Unity. Na sliki 3 vidimo pogled glavne kamere na platno s tremi teksturami rimskega vrča. Teksture v realnem času generirajo tri kamere, postavljene, kot to prikazuje slika 1. Tako sam objekt kot tudi preostale tri kamere so v primerjavi s platnom tako majhne, da jih glavna kamera ne zazna, ampak vidi samo platno s teksturami. Tak sistem prikazovanja je bil v Unity razvit zaradi implementacije daljnogledov na strelnem orožju v strelskih igrah, ko je potrebno oddaljene objekte z daljnogledom močno približati. Cena tovrstnega prikazovanja je, še posebej v našem primeru, v precejšnjem povečanju obremenitve računalnika, saj mora sceno senčiti večkrat. Obremenitev lahko zmanjšamo, če namesto treh različnih pogledov na sceno, na stene piramide projiciramo en sam pogled, česar v večini primerov uporabniki niti ne opazijo. Žal je v 2 https://unity.com/, zadnji obisk 6. 7. 2020 101 našem primeru zaradi interakcije uporabnika z objekti to neizvedljivo, saj z objektom upravlja en sam uporabnik. V kolikor bi uporabili samo en pogled, bi bilo to za neaktivne uporabnike moteče, saj bi bili postavljeni v center dogajanja, nad katerim pa ne bi imeli nadzora. Postavitev slik objekta z različnih pogledov in njihovo velikost je potrebno prilagoditi konfiguraciji holografskega projektorja, pri čemer zasledujemo kompromis med velikostjo prikazanega objekta in možnostjo prekrivanja slik proti vrhu piramide. Do prekrivanja prihaja, ker se piramida proti vrhu oži in se tako del slike projicira na sosednjo ploskev. Tega efekta ne moremo povsem odpraviti, lahko ga zgolj omilimo z uporabo določenih mask, ki pa morajo sovpadati z geometrijo stranic holografske piramide. Drugi način odprave tega efekta je, da omejimo premikanje objekta na samo tisti del vidnega volumna, kjer do težav s prekrivanjem ne prihaja. Zaradi omejenega prostora, ki ga imamo na razpolago pri postavitvi scene, je uporaba tabel s tekstovnimi opisi razstavnih eksponatov zelo otežkočena. Tabla namreč ne sme v celoti zapolniti vidnega polja kamere, saj v tem primeru izgubimo iluzijo lebdenja objekta v notranjosti piramide. V sami sceni mora namreč prevladovati črna barva, ki pri hologramih pomeni prozorno barvo. Problem rešimo tako, da namesto pisnih opisov uporabimo zvočno predstavitev artefaktov, kar pa je lahko moteče, v kolikor bi imeli v prostoru več tovrstnih vitrin. Predstavitve so se močno izboljšale tudi z uporabo glasbe v ozadju. V našem testnem primeru smo uporabili glasbo, ki bi naj bila značilna za rimsko obdobje. Slika 4. Interakcija uporabnika z objektom v okolju Unity. Uporabnik objekt drži z roko. Posebna prednost interaktivne vitrine pa je možnost interakcije uporabnika z objektom. Ob objektu se namreč prikaže model rok, s katerim lahko objekt primemo, ga poljubno obračamo ter z njim zadevamo ob druge objekte v sceni. Ker roke v hologramu sledijo našim rokam, dobimo občutek, kot da bi objekt dejansko držali v rokah (slika 4). Ta funkcionalnost bo dodana vrednost h klasičnim muzejskim razstavam, kjer lahko objekte zgolj opazujemo, sedaj pa se jih lahko dotaknemo brez vsakega strahu pred njihovimi poškodbami ali krajo. Za razliko od očal za navidezno in obogateno resničnost, gre v tem primeru za tehnologijo, ki ne zahteva fizičnega kontakta z uporabnikom, zato je zelo primerna za uporabo tudi v času širjenja virusa Covid 19. 4 Priprava predstavitve rimske dediščine na Balkanu Za testiranje funkcionalnosti interaktivne razstavne vitrine smo pripravili predstavitev rimske kulturne dediščine Balkana, ki zajema artefakte s štirih nekdanjih rimskih naselbin: Viminacium in Municipium v Srbiji, Aquae v Bosni in Hercegovini ter Dyrrachium v Albaniji. Zbirko sestavlja skupno osem digitaliziranih artefaktov, ki jih lahko vidimo na sliki 5. Slika 5. Rimski artefakti, najdeni v štirih najdiščih na Balkanu. Število točk in trikotnikov, ki sestavljajo mreže posameznih objektov, lahko vidimo v tabeli 1. Tabela 1. Število točk in trikotnikov v mrežah objektov iz slike 5. ime št. točk št. trikotnikov A1 A2 A3 A4 A5 A6 A7 A8 1.635.245 193.895 225.241 63.007 98.387 46.912 73.741 212.460 3.269.837 386.184 449.457 125.916 196.160 92.712 146.808 424.181 Skupno so objekti na disku zasedali 512 MB prostora, medtem ko je zvokovna predstavitev objektov znašala zanemarljivih 2.4 MB. Tako objekte kot tudi njihove predstavitve je bilo potrebno uvoziti v grafični pogon Unity, treba je bilo definirati tudi materiale objektov, saj tisti iz animacijskih paketov niso primerni za realno-časovno senčenje. Za vsakega izmed objektov smo ustvarili ločeno sceno, saj smo lahko zaradi pomanjkanja prostora v holografski piramidi, prikazovali naenkrat zgolj en objekt. Vse scene so ponujale enako funkcionalnost, se pravi, da se je ob pritisku na objekt sprožila njegova predstavitev, ki smo jo lahko s ponovnim pritiskom na artefakt zaustavili. Objekte smo lahko tudi »prijeli« in obračali z gibi rok v realnem svetu. S kretnjami rok smo se lahko premikali med posameznimi artefakti. Celoten projekt predstavitve rimske dediščine na Balkanu v pogonu Unity je na disku zasedal 1.6 GB prostora. 102 5 Rezultati in diskusija Predstavitev rimske dediščine na Balkanu je bil realen test interaktivne razstavne vitrine. V naših poskusih smo uporabljali prenosnik s procesorjem i7-8750 s šestimi jedri, 16 GB pomnilnika in diskretno grafično kartico NVIDIA GeForce GTX 1060. Uporabljeni objekti so bili po zahtevnosti enaki tistim, ki jih lahko pričakujemo v tovrstnih muzejskih zbirkah. Testiranje je potekalo v okviru laboratorija, testni uporabniki pa so morali po kratki demonstraciji samostojno upravljati s predsta- vitvijo. Ob demonstraciji smo poskusili uporabniku dati toliko informacij o upravljanju s predstavitvijo, kot bi jih dobil ob opazovanju drugih uporabnikov predstavitve. Pri tem smo opazovali, koliko funkcionalnosti, ki jih predstavitev ponuja, so uporabniki preizkusili. Predstavitev je tekla gladko in brez zapletov. Kljub temu so testni uporabniki potrebovali nekaj časa, da so se naučili zagrabiti objekt. Ko so objekt enkrat »držali v rokah«, uporabili so lahko tako desno kot levo roko, so z njim manipulirali brez težav. Primer take manipulacije lahko vidimo tudi na sliki 6, kjer uporabnik »v roki drži« rimski vrč. V kolikor uporabnik objekt dvigne iz podlage in ga izpusti, objekt pade iz predstavitve, a se čez eno sekundo ponovno postavi na svojo izhodiščno mesto. Slika 6. Kontrola virtualnega objekta z roko pri predstavitvi rimske dediščine na Balkanu. Možnost uporabe predstavljene interaktivne vitrine je ogromna. Poleg same uporabe v muzejih, jih lahko uporabimo v izobraževanju, marketingu, predstavitvah novih produktov, v turizmu in še kje. Vitrina omogoča predvajanje multimedijskih vsebin, ima pa tudi zabavno komponento interakcije z objekti, kar jo dela še posebej privlačno za otroke. Kot morebitne omejitve lahko navedemo, da je holografski projektor velika in težka naprava, kar pomeni, da je njen transport lahko težaven, zahteva pa tudi veliko prostora za postavitev. Moteče je lahko tudi to, da je senzor Leap Motion z računalnikom povezan preko kabla, s katerega dolžino smo lahko dodatno omejeni pri sami postavitvi celotnega sistema. Čeprav smo v sami predstavitvi uporabljali zgolj manjše predmete, pa lahko v vitrini prikazujemo tudi stavbe, celotna mesta, uporabniku pa lahko omogočimo tudi veliko večjo stopnjo interakcije z objektom. Nadgradnja trenutne predstavitve bi lahko bil prikaz rekonstrukcije štirih rimskih naselbin, kjer bi lahko uporabnik klikal na posamezne zgradbe, s čemer bi lahko dostopal tako do posameznih podatkov o stavbah, pa tudi predmetih, ki so jih v teh stavbah uporabljali pri vsakodnevnem delu. S tem bi dobili zanimivo interaktivno predstavitev, ki bi bila veliko zanimivejša od klasičnega pristopa. Vitrino bi lahko dodatno izboljšali z uporabo večjega holografskega projektorja, saj bi lahko bili v tem primeru prikazani objekti večji, kar bi bilo gotovo koristno, odprlo pa bi še dodatne možnosti uporabe. Poiskati pa bo potrebno tudi načine, kako za prikaz najboljše izrabiti celoten volumen holografske piramide, da pa pri tem slika objekta ne bi prehajala med posameznimi pogledi in se tako preslikala na stranico piramide na katero ne sodi. To bo naše delo za prihodnost. Zahvala Avtorji izjavljamo, da je raziskavo finančno podprla Javna agencija za raziskovalno dejavnost Republike Slovenija v okviru programa P2-0041 in projekta BI- BA/19-20-003. Literatura [1] M. Yamaguchi, N. Ohyama, and T. Honda, ‘Holographic 3-D printer’, in Practical Holography IV, 1990, vol. 1212, pp. 84–92. [2] O. Bimber, ‘Combining optical holograms with interactive computer graphics’, in ACM SIGGRAPH 2005 Courses, 2005, pp. 4–es. [3] A. Sarakinos and A. Lembessis, ‘Color Holography for the Documentation and Dissemination of Cultural Heritage: OptoClonesTM from Four Museums in Two Countries’, Journal of Imaging, vol. 5, no. 6, p. 59, 2019. [4] T. Yamanouchi, N. Maki, and K. Yanaka, ‘Holographic Pyramid Using Integral Photography’, in 2nd World Congress on Electrical Engineering and Computer Systems and Science (EECSS’16), 2016, pp. 3–6. [5] D. Patel and P. Bhalodiya, ‘3D Holographic and Interactive Artificial Intelligence System’, in 2019 International Conference on Smart Systems and Inventive Technology (ICSSIT), 2019, pp. 657–662. [6] W. Lu, Z. Tong, and J. Chu, ‘Dynamic hand gesture recognition with leap motion controller’, IEEE Signal Processing Letters, vol. 23, no. 9, pp. 1188–1192, 2016. [7] X. Min, W. Zhang, S. Sun, N. Zhao, S. Tang, and Y. Zhuang, ‘VPModel: High-fidelity product simulation in a virtual-physical environment’, IEEE transactions on visualization and computer graphics, vol. 25, no. 11, pp. 3083–3093, 2019. [8] C. Cheng, L. Kang, S. Cai, J. Li, and R. Sun, ‘Virtual Display and Interactive Experience Platform of Farming Culture Based on Unity3D’, IFAC-PapersOnLine, vol. 51, no. 17, pp. 637–642, 2018. [9] S. L. Kim, H. J. Suk, J. H. Kang, J. M. Jung, T. H. Laine, and J. Westlin, ‘Using Unity 3D to facilitate mobile augmented reality game development’, in 2014 IEEE World Forum on Internet of Things (WF-IoT), 2014, pp. 21–26.