Elektrotehniški vestnik 86(1-2): 1-6, 2019 Izvirni znanstveni clanek Sistem nadgrajene resničnosti za verifikacijo predmetov v skladiščnih okoljih Janez KriZaj, Janez Perš, Simon Dobrišek in Vitomir Struc Univerza v Ljubljani, Fakulteta za elektrotehniko, Tržaška 25, 1000 Ljubljana, Slovenija E-posta: janez.krizaj@fe.uni-lj.si Povzetek. V članku je predstavljen podporni sistem za skladiščne delavce, ki temelji na principu nadgrajene resničnosti. Predlagani sistem zajema slike objektov, s katerimi se srečuje skladiščni delavec pri svojem delu, in sproti preverja istovetnost objektov, kar je ključnega pomena za učinkovito delo skladiščnikov. Rezultat preverjanja se sproti izrisuje na zaslon pametnih očal, ki jih delaveč uporablja kot vmesnik za prikazovanje povratne vizualne informačije. V sistemu zajem slik, potrebnih za preverjanje istovetnosti objektov, poteka prek kamere na pametnih očalih, računsko zahtevni del postopka preverjanja istovetnosti pa se izvaja v oblaku in je udejanjen s pomočšjo sodobnih postopkov globokega učšenja. Predstavljena zasnova sistema nam omogočša obdelavo slik blizu stvarnemu čšasu ter visoko uspesšnost preverjanja istovetnosti, kar je razvidno tudi iz rezultatov predstavljenih eksperimentov. Ključne besede: pametna očala, skladiščni sistemi, verifikačija objektov, nadgrajena resničnost, globoko učenje Augmented reality system for object verification in warehouse environments The paper proposes an augmented reality system for visual object verification that helps warehouse workers perform their work. The system sequentially captures images of objects that the warehouse workers encounter during their work and verifies whether the objects are the ones that the workers are supposed to fetch from storage. The system uses Android-powered smart glasses to capture image data and display results to the user, whereas the computationally-intensive verification task is carried out in the cloud and is implemented using recent deep-learning techniques. By doing so, the system is able to process images in near real-time and achieves a high verification accuracy as shown by the experimental results. Keywords: smart glasses, warehouse systems, object verification, augmented reality, deep learning 1 Uvod V članku predstavimo sistem nadgrajene resničnosti (ang. augmented reality), ki skladišcnim delavcem omogoca zanesljivejše in hitrejše izvajanje svojih nalog. Pri obstojecem nacinu dela skladišcni delavec v informacijskem sistemu najprej poišce lokacijo dolocenega proizvoda v skladišcu, na doticni lokaciji pa nato z ustreznim citalnikom preveri njegovo istovetnost. Razviti sistem taksšen postopek v veliki meri avtomatizira, saj s pomocjo pametnih ocal zajema sliko objektov (oz. proizvodov, predmetov), s katerimi se srecuje skladišcni delavec pri svojem delu, in sproti preverja istovetnost objektov na zajetih slikah. Rezultat preverjanja se izrisuje v zivo sliko, ki se prikazuje na zaslonu pametnih ocal in s tem delavcu daje sprotno povratno informacijo Prejet 26. november, 2018 Odobren 4. februar, 2019 Slika 1: Ilustrativni prikaz zgradbe podpornega sistema navidezne resničnosti. Sistem sestavljajo tri komponente: pametna očala, skladiščni računalnik in streznik. Uporabnik na pametnih očalih vidi sliko objekta z detekčijskim oknom, ki se glede na rezultat preverjanja istovetnosti obarva zeleno (pravilen objekt) oz. rdeče (nepravilen objekt). - glej sliko 1. S predstavljeno tehnologijo je torej v delovni pročes skladiščnih delavčev vpeljan avtomatiziran pročes preverjanja istovetnosti proizvodov, ki je izveden z računalniško podprto tehnologijo razpoznavanja objektov iz slikovnih podatkov. Glavni izziv in razvojni problem, s katerim se srečamo pri udejanjenju sistema nadgrajene resničnosti je problem preverjanja istovetnosti (oz. verifikačije) objektov na podlagi slikovnih podatkov. Pročesno verigo verifika-čijskega postopka sestavimo iz klasičnih gradnikov, kot so detektor objektov, modul za izračšun značšilk in modul za razvrščanje, pri čemer za izvedbo večine komponent uporabimo sodobne postopke, ki temeljijo na globokih nevronskih mrezah [1], [2]. KRIZAJ, PERS, DOBRISEK, STRUC Zaradi relativno visoke računske zahtevnosti teh postopkov večji del procesne verige prenesemo v oblak, kjer so na voljo zadostni računski viri in grafične procesne enote, ki podpirajo pospešeno izvajanje in učenje globokih mreZ. Pametna očala, na katerih teče operacijski sistem Android, nam pri tem sluZijo le kot uporabniški vmesnik ter strojna oprema za zajem in prenos slike v oblak. Ob predpostavki dovolj hitre spletne povezave tako zagotovimo sprejem povratne informačije v obliki rezultata preverjanja istovetnosti in koordinat detekčijskega okna v okvirno 0,2 s po tem, ko sliko posredujemo v obdelavo v oblak. 2 Implementacija sistema nadgrajene resničnosti 2.1 Način delovanja Sistem začne s poskusi razpoznavanja proizvodov na zajetih slikah, ko uporabnik z izbiro zšelenega objekta na skladisščšnem račšunalniku sprozši postopek preverjanja istovetnosti. Od začetka razpoznavanja se z določenim intervalom vzorčenja zajemajo slike in pošiljajo v obdelavo na streznik. Rezultat obdelave se prikaze na zaslonu v pametnih očalih v obliki detekčijskega okna, ki nakazuje polozaj proizvoda v trenutni sliki (glej sliko 1). Ce je istovetnost proizvoda potrjena, se detekčijsko okno objekta obarva zeleno, v nasprotnem primeru rdeče. Kadar sistemu istovetnosti proizvoda na uspe potrditi, v oblaku shrani sliko nepotrjenega proizvoda za namene arhiviranja in poznejšega pregledovanja. 2.2 Zgradba sistema Kot je prikazano na sliki 2, podporni sistem v grobem sestavljajo naslednji trije deli: • Pametna očala: Na pametnih očalih teče spletna aplikačija, ki omogoča zajem slike z vgrajeno kamero očal, prikaz slike na zaslonu očal, pošiljanje slike v obdelavo na streznik v formatu JPEG, sprejem rezultata preverjanja istovetnosti iz strezšnika in prikaz rezultata vključno z detekčijskim oknom na zaslonu očal. • Streznik: Ob sprejemu slike streznik pošlje dano sliko skozi pročesno verigo, zgrajeno iz klasičnih gradnikov razpoznavalnega sistema, to so i) modul za predobdelavo slik, ii) modul za izračun značilk in iii) modul za merjenje podobnosti in odločšanje. Strezšnik nato izračšunan rezultat postopka preverjanja istovetnosti in koordinate detekčijskega okna za vsako dobljeno sliko pošlje nazaj do pametnih očšal in obenem arhivira slike pri katerih je prisšlo do zavrnitve pri preverjanju istovetnosti. • Skladiščni računalnik, na katerem se izvaja registra-čija novih objektov v sistem in izbira objekta, za katerega zšelimo preveriti istovetnost. Objekt registriramo s slikanjem vsake od njegovih stranič. Teh šest slik prenesemo na streznik, kjer postopek za samodejno tvorjenje (umetnih) slikovnih podatkov Pametna očala Zajem slike z vgrajeno kamero Prikaz rezultata verifikacije ► Verifikacija, ■ > Učenje, —► Registracija Skladiščni računalnik ! >| Registracija | | Izbira objekta I Zbirka slik I Strežnik * Izračun Detektor Izračun podobnosti objektov značilk —► in odločanje I Arhiv zavrnitev — Slika 2: Shematski prikaz podpornega sistema s prikazanimi posameznimi gradniki generira večje število slik tega objekta, nato pa se na streZniškem delu izvede še učenje detektorja in razvrščevalnika na novo generirani učni zbirki. Podporni sistem deluje v treh načinih. Nacin registracije omogoča registracijo novih objektov v sistem. V načinu učenja s postopki strojnega učenja prilagodimo parametre detektorja objektov in razvrsšcševalnika učnim podatkom, ki jih pridobimo v postopku regi-stračije. Način verifikačije oz. preverjanja istovetnosti pa omogoča preverjanje istovetnosti objektov, ki jih zajamemo s kamero pametnih očal. Sledeča podpoglavja vsebujejo podrobnejši opis naštetih sklopov in delovanja razvitega sistema. 2.3 Registracija novih objektov v sistem Podporni sistem deluje na predpostavki, da imamo opravka zgolj z objekti (oz. proizvodi) kvadraste oblike - postopek registračije zato zahteva zajem 6 slik vsake od stranič kvadra. Ob prenosu vseh šestih slik stranič objekta na streznik se na strezniškem delu sistema izvede učenje detektorja in razvrščevalnika na novo dograjeni učni zbirki. Za učinkovitejše učenje dodamo še postopek samodejnega tvorjenja umetnih slik, ki temelji na gradnji 3D modela objekta iz njegovih slik stranič in omogoča preprosto povečanje učnega gradiva. Postopek gradnje 3D modela iz slik stranič zahteva, da pri postopku registračije v grafičšnem vmesniku ročšno označšimo vse sštiri kote straniče na posamezni sliki, preostali koraki tvorjenja slik in učenja pa so samodejni. Na podlagi lokačije označenih kotov se s perspektivično transformačijo izvede poravnava straniče v frontalno lego. Model danega objekta nato sestavimo iz "frontali-ziranih" slik vseh šestih stranič objeta. Umetne slike, ki jih uporabimo za učenje detektorja in razvrščevalnika, končšno tvorimo z rotačijo modela v 3D prostoru in dodajanjem različšnih ozadij, kot prikazuje slika 3. 2.4 Detekcija objektov Za detekčijo objektov uporabimo postopek Faster-RCNN [3], implementiran v knjizniči CNTK [4]. Omenjeni postopek uporablja za detekčijo objektov konvo-lučijske nevronske mrezše (implementačija trenutno podpira mrezi VGG16 [5] in AlexNet [6]) in za učenje potrebuje veliko učnega gradiva. Ker z zahtevano količino 2 SKLADIŠČNI SISTEM ZA VERIFIKACIJO PREDMETOV S PAMETNIMI OČALI 3 (a) Slike stranic objekta z označenimi robnimi točkami (b) Frontalizirane (oz. poravnane) slike stranic objekta (d) Umetno tvorjene slike Slika 3: Postopek registracije in tvorjenja umetnih slik, s katerim iz šestih slik stranic registriranega objekta tvorimo poljubno število slik tega objekta ucnih slik ne razpolagamo, v sistemu uporabimo globoko mreZo, ki je bila vnaprej naučena na zbirki slik ImageNet [7], parametre mreZe pa zgolj doucimo na lastni zbirki slik. Postopek se izkaze za hitrega in ucinko vitega, z delezem detektiranih objektov preko 96% in povprecnim IOU (ang. intersection over union) enakim 0, 78. Detekcijsko okno sluzi za kvadratni izrez predela, ki ga zahteva modul za izracun znacilk. 2.5 Izračun znacilk Ker postopki globokega ucenja v zadnjih letih dosegajo visoke rezultate na podrocju racunalniškega vida, se odlocimo, da izracun znacilk podobno kot detekcijo prav tako izvedemo s pomocjo globokih mrez. V ek- sperimentalni primerjavi (poglavje 3.2) se izkaze, da največjo učinkovitost verifikacije zagotavljajo znacilke, ki jih dobimo z mrezo Resnet [8] na predzadnji plasti nevronov (izpustimo zadnjo polno povezano plast). Zato se odlocimo, da za izracun znacilk najprej uporabljamo mrezo ResNet. Znacilke izracunamo iz kvadratnega obmocja, ki zajema detekcijsko okno objekta, pri cemer v eksperimentalnem delu v razdelku 3.3 preverimo, kakšen vpliv ima na koncno uspešnost verifikacije ohranitev oz. odstranitev ozadja zunaj detekcijskega okna. 2.6 Izracun podobnosti in odločanje Objekt, ki ga posnamemo s kamero pametnih ocal, primerjamo zgolj z registriranim objektom, ki ga pred tem izberemo v uporabniškem vmesniku. Na podlagi mere podobnosti med znacilkami danega objekta in znacilkami izbranega objekta izvedemo sprejem oz. zavrnitev objekta glede na to, ali je izracunana podobnost vecja ali manjša od vnaprej nastavljenega praga. Dolocitev praga in preizkus razlicnih vrst mer podobnosti eksperimentalno ocenimo v razdelku 3.4. 2.7 Uporabniški vmesnik Komunikacija uporabnika s sistemom je omogocena prek vec uporabniških vmesnikov, ki so udejanjeni v obliki spletnih aplikacij, zato delovanje podpornega sistema ni odvisno od operacijskega sistema in raz-polozljivosti razvojnega kompleta (SDK). Vmesniki so pisani v jezikih HTML5, CSS, JavaScript in Python. Na zacetku preverjanja istovetnosti na skladišcnem racunalniku prek ustreznega vmesnika (slika 4a) najprej izberemo tip objekta, za katerega zelimo preveriti istovetnost. Ko izberemo objekt, vmesnik na pametnih ocalih (slika 4c) zacne prikazovati zajete slike in jih hkrati pošilja v obdelavo na streznik. Iz smeri streznika z majhno zakasnitvijo pridobi podatek o detekcijskem oknu, ki ga nato izriše na zivo sliko. Če je postopek na strezniku potrdil istovetnost objekta se detekcijsko okno obarva zeleno, drugace rdece. Vsi neuspešni poskusi preverjanja istovetnosti se shranijo na streznik. Do arhiva slik, pri katerih je prišlo do zavrnitve, lahko dostopamo z vpisom ustreznega spletnega naslova, pri cemer se nam odpre okno, kot ga prikazuje slika 4b. Z izbiro posamezne povezave v seznamu se nam prikaze slika objekta, ki je bil zavrnjen. Vmesnik za belezenje zavrnitev udejanjimo kot HTTP streznik slik s pomocjo programske knjiznice ImageMe [9]. 2.8 Komunikacijski kanali Podporni sistem deluje na treh enotah, ki vkljucujejo strezniški racunalnik, kjer se izvaja glavnina preverjanja istovetnoti, pametna ocala s pripadajoco spletno kamero ter skladišcni racunalnik, na katerem dostopamo do vmesnika za registracijo in izbiro vrste objekta. Ko sistem deluje v nacinu verifikacije, je potrebno sprotno pošiljanje podatkov med pametnimi ocali in skladišcnim 4 KRIZAJ, PERS, DOBRISEK, STRUC (a) (b) (c) Slika 4: Uporabniški vmesniki podpornega sistema, ki so izvedeni v obliki spletnih aplikacij: (a) vmesnik za izbiro objekta, (b) vmesnik za dostop do arhiva slik, (c) vmesnik na pametnih očalih računalnikom na eni strani ter streznikom na drugi. V ta namen z uporabo spletnih vtičnic (ang. websockets) udejanjimo komunikacijska kanala, ki omogocata obo-jesmerni prenos podatkov. Komunikacijski kanal med vmesnikom pametnih ocal in streznikom skrbi za prenos slike v smeri do streznika in za prenos rezultata verifikacije ter koordinat detekcijskega okna v nasprotni smeri. Na komunikacijskem kanalu med vmesnikom za izbiro objekta in streznikom pa v smeri proti strezniku poteka prenos oznake izbranega objekta, v nasprotni smeri pa tece prenos rezultata preverjanja istovetnosti. Implementirani komunikacijski kanali omogocajo, da sistem z intervalom vzorcenja 0,2 s zajema slike iz kamere na pametnih ocalih in jih pošilja v obdelavo na streznik. Povratno informacijo v obliki rezultata preverjanja istovetnosti in koordinat detekcijskega okna ob predpostavki zadosti hitre internetne povezave pridobimo v okvirno 0,2 s po oddaji zajete slike. 2.9 Programska oprema Jedro podpornega sistema, tj. proces preverjanja istovetnosti, ki tece na strezniku, udejanjimo v programskem jeziku Python, pri cemer si pomagamo z razlicnimi programskimi knjiznicami. S pomocjo knjiznice CNTK izvedemo detekcijo objektov, knjiznici Tensorflow [10] in Keras [11] uporabimo pri izracunu znacilk, knjiznica Mayavi [12] nam sluzi za 3D modeliranje objektov v procesu registracije, knjiznico Sklearn pa uporabimo pri merjenju podobnosti med vektorji znacilk. Pri udejanje-nju komunikacijskih kanalov s streznikom pa uporabimo knjiznico Websockets. Spletni uporabniški vmesniki so udejanjeni s pomocjo programskih jezikov HTML5, CSS in JavaScript. Ker privzeti Androidov spletni brskalnik Google Chrome ne omogocša uporabe spletnih vticšnikov, ampak zahteva uporabo varnih spletnih vticnikov (ang. websocket secure), na pametnih ocšalih namestimo brskalnik Mozilla Firefox, ki ne pogojuje uporabe varnih spletnih vticnikov, in posledicno na njem lahko zazenemo uporabniški vmesnik. 2.10 Strojna oprema Demonstracijski sistem je izveden s pomocjo strezniškega racunalnika, kjer se izvaja racunsko zahtevni del procesa verifikacije, pametnih ocšal s pripa-dajoco spletno kamero ter skladišcnega racunalnika, na katerem dostopamo do vmesnika za registracijo in izbiro objekta. Predvideva se, da je našteta oprema povezana s hitro spletno povezavo. Strezniški racunalnik je opremljen z zmogljivo graficno kartico GeForce GTX TITAN X, ki omogoca hitro ucenje in inferenco globokih mrez. Pri razvojnem delu uporabimo pametna ocala Vuzix M300, na katerih tece operacijski sistem Android 6.0. Žaradi izvedbe uporabniških vmesnikov v obliki spletnih aplikacij podporni sistem ni omejen le na delovanje v povezavi s pametnimi ocali, ampak lahko deluje na katerikoli napravi, ki podpira novejše spletne brskalnike in je opremljena s kamero ter z brezzicno povezavo. 3 Eksperimenti V tem poglavju predstavimo rezultate izvedenih eksperimentov. S pomocšjo pridobljenih eksperimentalnih rezultatov nastavimo oz. izberemo dolocene odprte komponente sistema, pri cemer tezimo k cim vecji ucinkovitosti verifikacije, ki jo merimo v obliki deleza pravilnih potrditev istovetnosti (ang. True Positive Rate, TPR) pri 0,1% napacnih potrditvah istovetnosti (ang. False Positive Rate, FPR). V okviru testiranja preverimo tudi ucinkovitost delovanja posameznih postopkov, ki jih integriramo v sistem, kot tudi delovanje prototipnega sistema kot celote. Eksperimente izvedemo na lastni zbirki slik kosmicev. Ker sistem deluje v nacinu verifikacije, uspesšnost delovanja prikazšemo v obliki krivulj ROC (ang. Receiver Operating Characteristic). 3.1 Snemanje lastne zbirke slik Ža potrebe ovrednotenja zanesljivosti razvitega sistema zberemo lastno zbirko slik osmih razlicnih škatel kosmicev, s katerimi poskusimo posnemati objekte, ki jih pri svojem delu srecuje skladišcni delavec. Žbirka vsebuje testno in galerijsko mnozico. Testna mnozica vsebuje priblizno 100 slik vsake od škatel, pri cemer tezimo k temu, da orientacija škatel na slikah cim SKLADISCNI SISTEM ZA VERIFIKACIJO PREDMETOV S PAMETNIMI OČALI Receiver operating characteristic „ _---- -- / f / / ff ^^ / ff s l/ s 1 / /' / / ✓ / /' / / / r - mobilenet (AUC = 0.94) - resnet (AUC = 0.97) / vggL6 (AUC = 0.92) s - vggL9 (AUC = 0.94) / inception (AUC = 0.93) s - xception (AUC = 0,86) False Positive Rate Slika 5: Uspešnost verifikacije ob uporabi različnih vrst prednaucenih globokih mreZ, prikazana v obliki krivulj ROC. Največjo učinkovitost verifikacije zagotavlja mreZa ResNet. bolj variira. Galerijsko mnoZico poleg šestih slik stranic vsakega od osmih registriranih predmetov sestavlja 1000 umetnih slik vsakega od objektov, ki jih tvorimo po postopku, opisanem v razdelku 2.3. 3.2 Izbira globoke mreze za izračunu znacilk V nizu eksperimentov, opisanem v tem razdelku, preizkusimo uspesšnost delovanja pri uporabi razlicšnih prednaucenih globokih mrez, ki smo jih uporabili pri izracunu znacilk. Globoke mreze potrebujejo velike kolicine podatkov za ucinkovito ucenje, ki je praviloma racunsko zahtevno in posledicno casovno potratno. Zato se tezavam pri ucenju mrez izognemo z uporabo mrez, ki so bile pred tem naucene na velikem številu genericnih slik. Osredinimo se na primerjavo šestih prednaucenih mrez iz knjiznice Keras, ki so bile naucene na zbirki ImageNet. Te mreze so VGG16 in VGG19 [5], Inception [13], Xception [14], ResNet in MobileNet [15]. Rezultati eksperimentov so prikazani na sliki 5 v obliki krivulj ROC in pripadajocih površin pod krivuljami (ang. Area Under Curve, AUC), iz katerih lahko razberemo, da najuspešnejšo verifikacije dosezemo z mrezo ResNet. Zato v vseh nadaljnjih eksperimentih za izracšun znacšilk uporabimo globoko mrezo ResNet. 3.3 Definicija območja pri izračunu znacilk Globoka mrezša ResNet, ki jo uporabljamo pri izracunu znacilk, zahteva na svojem vhodu sliko kvadratne oblike z dimenzijo 229 x 229. Detekcijski pra-vokotnik praviloma ni kvadratne oblike, ampak ima poljubno razmerje med višino in dolzino, ki je odvisno od oblike objekta na sliki. Obravnavamo dve moznosti izvedbe kvadratnega izreza pravokotnega obmocja de-tekcije: i) kvadratni izrez, kjer ohranimo ozadje in ga po potrebi ekstrapoliramo, ce je detekcijsko okno blizu roba slike (slika 6b), ii) kvadratni izrez, kjer vrednosti slikovnih elementov zunaj detekcijskega okna nastavimo na doloceno konstantno vrednost (crno obmocje na sliki 6c). Kot vidimo na sliki 7, se izkaze, da ta postopek prinese boljšo ucinkovitost preverjanja istovetnosti kot postopek, kjer ohranimo ozadje. (a) (b) (c) Slika 6: Določitev kvadratnega obmocja pri izračunu znacilk: (a) vhodna slika z detekcijskim oknom, (b) kvadratni izrez brez odstranitve ozadja in interpolacijo manjkajocih vrednosti, (c) kvadratni izrez z odstranitvijo ozadja. Receiver operating characteristic I 0.4 - Kvadratni izrez z odstranitvijo ozadja --Kvadratni izrez brez odstranitve ozadja 0.4 0.6 False Positive Rate Slika 7: Uspešnost verifikacije glede na uporabljen postopek izreza v obliki krivulj ROC. Odstranitev ozadja iz kvadratnega okna za izracun znacilk pripomore k izboljšanju uspešnosti preverjanja istovetnosti. 3.4 Izbira mere podobnosti in razvrscevalnika Pri izbiri mere podobnosti v modulu za odlocanje poleg iskanja najblizšjega soseda iz vsakega razreda z uporabo Evklidove in kosinusne razdalje preizkusimo še merjenje podobnosti z metodo podpornih vektorjev [16] (ang. Support Vector Machine, SVM), s katero, kot je razvidno iz slike 8, dosezemo znatno izboljšanje uspešnosti postopka preverjanja istovetnosti objektov. Odlocitveni prag dolocimo glede na operacijsko tocko, ki jo izberemo pri 0,1% napacnih sprejemov (ang. false positives). V tej tocki z uporabo metode podpornih vektorjev uspešnost preverjanja istovetnosti preseze 80 % pravilnih sprejemov (ang. true positives). 3.5 Kvalitativno ovrednotenje Pri rocšnem pregledu slik opazimo, da imajo dolocšeni pogoji zajema slik negativen vpliv na uspesšnost preverjanja istovetnosti. Slika prikazuje primera, pri katerih je prišlo do napak pri tem postopku. Moteci dejavniki so npr. preosvetljenost slike (slika 9a), prevelika oddaljenost objekta, pri kateri odpove detektor (slika 9b). V primerih, kjer vzrok napak pri preverjanju istovetnosti ni ociten, sklepamo, da je prišlo do napake zaradi pomanjkljivega ucnega gradiva pri ucenju detektorja objektov in razvrsšcševalnika. 5 6 KRIZAJ, PERS, DOBRISEK, STRUC Slika 8: Uspešnost preverjanja istovetnosti objektov pri različnih postopkih merjenja podobnosti, prikazan v obliki ROC krivulj. Metoda SVM zagotavlja največjo uspešnost preverjanja istovetnosti med obravnavanimi razvrščevalniki. (a) (b) Slika 9: Vzroki napak pri preverjanju istovetnosti objektov: (a) napaka zaradi preosvetljenosti slike, (b) detektor ne zazna objekta zaradi prevelike oddaljenosti od kamere 4 Sklep V članku smo predstavili podporni sistem navidezne resničnosti za skladiščne delavce, ki smo ga razvili v okviru projekta GOSTOP. Podporni sistem omogoča pohitritev opravil skladiščnih delavčev in lazje preverjanje istovetnosti proizvodov v skladiščih. Opisali smo osnovne značšilnosti razvite storitve, orisali njeno arhitekturo in funkčionalnost ter eksperimentalno ovrednotili njeno delovanje. Pomembna lastnost omenjenega sistema je, da ga je mogoče uporabiti z vsako napravo, ki podpira novejše spletne brskalnike. [4] F. Seide in A. Agarwal, "CNTK: Microsoft's Open-Source Deep-Learning Toolkit," v Proc. of the 22nd ACM SIGKDD, ser. KDD '16. New York, NY, ŽDA: ACM, 2016, str. 2135-2135. [5] K. Simonyan in A. Žisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition," CoRR, 2014. [6] A. Krizhevsky, I. Sutskever in G. E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks," v Proc. of the NIPS' 12 - Volume 1, ŽDA, 2012, str. 1097-1105. [7] J. Deng et al., "ImageNet: A large-scale hierarchical image database," v Proc. of the IEEE CVPR, 2009, str. 248-255. [8] K. He, X. Žhang, S. Ren in J. Sun, "Deep Residual Learning for Image Recognition," v Proc. of the IEEE CVPR, 2016, str. 770-778. [9] J. Preston, "Programska knjiZnica ImageMe," dostopno na: ht-tps://github.com/unwitting/imageme [15. 10. 2018]. [10] M. Abadi et al., "TensorFlow: Large-Scale Machine Learning on Heterogeneous Systems," 2015. [11] F. Chollet et al., "Keras," dostopno na: https://keras.io [18. 10. 2018]. [12] P. Ramachandran in G. Varoquaux, "Mayavi: 3D Visualization of Scientific Data," Computing in Science & Engineering, zv. 13, št. 2, str. 40-51, 2011. [13] C. Szegedy et al., "Going Deeper with Convolutions," v Proc. of the IEEE CVPR, 2015, str. 1-9. [14] F. Chollet, "Xception: Deep Learning with Depthwise Separable Convolutions," v Proc. of the CVPR, 2017, str. 1800-1807. [15] A. G. Howard et al., "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications," CoRR, 2017. [16] C. Cortes in V. Vapnik, "Support-Vector Networks," Mach. Learn., zv. 20, št. 3, str. 273-297, 1995. Janez Križaj je doktoriral leta 2013 na Fakulteti za elektrotehniko Univerze v Ljubljani. V obdobju 2014-2018 je bil kot raziskovaleč dejaven najprej pri dveh podoktorskih projektih, pozneje pa pri projektih v okviru programa GOSTOP. Področje njegovega raziskovanja obsega analizo in obdelavo signalov, biometrične sisteme, razpoznavanje vzorčev, strojno učenje in druga sorodna področja. Janez Perš je doktoriral leta 2004. Trenutno je zaposlen kot docent v Laboratoriju za strojno inteligenco na Fakulteti za elektrotehniko Univerze v Ljubljani. Področje njegovega znanstvenega dela obsega računalniški vid, robotski vid, vgradne in porazdeljene sisteme ter strojni vid z aplikacijami v športu, morski robotiki in industrijski proizvodnji. Je clan IEEE in IAPR ter clan uredniškega odbora revije International Journal of Distributed Sensor Networks. Objavil je vec kot sto recenziranih znanstvenih clankov. Zahvala Predstavljeno raziskovalno delo je bilo delno finančirano iz ARRS (raziskovalna programa Metrologija in biome-trični sistemi, P2-0250, in Računalniški vid, P2-0214) ter programa GOSTOP (št. pogodbe C3330-16-529000), finančiranega z RS-MIZS in EU-ESRR. Literatura Simon Dobrišek je doktoriral leta 2001 in je trenutno zaposlen kot izredni profesor na FE UL. Kot kljucni raziskovalec je sodeloval pri številnih nacionalnih in EU projektih. Bil je projektni vodja in glavni raziskovalec pri projektih EU FP7 SMART in RESPECT, sopredsednik delavnice Workshop on Privacy Enabled Surveillance OPENSUR 2013, sopredsedujoci lokalnega organizacijskega odbora IEEE FG 2015. Je clan IEEE, IAPR in ISCA. Objavil je vec kot sto recenziranih znanstvenih cšlankov. [1] K. Grm et al., "Strengths and weaknesses of deep learning models for face recognition against image degradations," IET Biometrics, zv. 7, st. 1, str. 81-89, 2018. [2] K. Grm, S. Dobrisek in V. Struc, "Deep pair-wise similarity learning for face recognition," v 4th Int. Conf. on Biometrics and Forensics (IWBF), 2016, str. 1-6. [3] R. Girshick, "Fast R-CNN," v Proc. of the 2015 IEEE Int. Conf on Comp. Vis., ser. ICCV '15. Washington, DC, ZDA: IEEE Computer Society, 2015, str. 1440-1448. Vitomir Struc je doktoriral leta 2010 in je trenutno zaposlen kot izredni profesor na FE UL. Raziskovalno se ukvarja s podrocjem razpoznavanja vzorcev, biometrije, strojnega ucenja, racunalniškega vida in drugimi sorodnimi podrocji. V okviru svojega dela je kot avtor ali soavtor objavil vec kot sto clankov. Dr. Struc je clan uredniškega odbora revije IET Biometrics, IET Computer Vision, Signal Processing in IEEE Biometrics Compendium. Je cšlan IEEE, IAPR, Slovenskega društva za jezikovne tehnologije (SDJT) in Slovenskega društva za razpoznavanje vzorcev (SDRV), ki mu trenutno tudi predseduje.