78 Bioakustika in računalništvo • Spletna aplikacija za prepoznavanje čmrljev na podlagi zvoka ■ Proteus 79/2 • Oktober 2016 Spletna aplikacija za prepoznavanje čmrljev na podlagi zvoka Anton Gradišek, Gašper Slapničar, Jure Sorn, Mitja Luštrek, Matjaž Gams, Janez Grad Čmrlji (rod Bombus iz družine čebel - Api-dae, ki sodi v red kožekrilcev - Hymenopte-ra) so pomembni opraševalci rastlin in imajo kot taki ključno vlogo v ekosistemu. Pri tem se razlikujejo od drugih čebel, saj so zaradi drugačne telesne zgradbe lahko dejavni tudi v slabem vremenu. Nekatere rastlinske vrste oprašujejo izključno čmrlji, med njimi pa najdemo tudi take, ki so vezane le na eno samo vrsto čmrlja. Poleg tega čmrlji oprašu-jejo tudi vrsto kulturnih rastlin, uporabljajo jih denimo v rastlinjakih za opraševanje paradižnika. Zaradi intenzivnega kmetijstva in uničevanja življenjskega okolja je veliko vrst čmrljev ogroženih. Nedavna študija Evropske unije je ugotovila, da skoraj četrtini od triinšestdesetih evropskih vrst grozi izumrtje, če ne bomo poskrbeli za njih. Tudi marsikatere druge vrste rastlin in živali v Sloveniji in po svetu so izjemno ogrožene (Gams, 2015). Poleg znanih težav z domačimi in tujimi čebelami (pesticidi, okolje, paraziti, glivice) so raziskave pokazale, da se čmrlji tudi težje prilagajajo na spremembe okolja zaradi globalnega segrevanja ozračja, kar vpliva predvsem na vrste, ki so omejene na specifične življenjske prostore. Pomemben korak za zaščito teh pomembnih žuželk je spremljanje njihove biotske raznolikosti, kar omogoča v prispevku predstavljena aplikacija za prepoznavanje vrst čmrljev na podlagi zvoka brenčanja. V Sloveniji je bilo do sedaj dokumentiranih 35 vrst čmrljev (Grad in drugi, 2010), od tega je nekaj vrst maloštevilnih, nekaj pa jih je znanih le iz starejših virov. Bolj realistično gledano lahko pri nas tako srečamo približno 20 različnih vrst. Čmrlje lahko med seboj najenostavneje ločimo po barvnih vzorcih dlačic, s katerimi so poraščeni. Tipične barvne kombinacije so črna-rume-na-bela, črna-rumena-rdeča, črna-rdeča oziroma oranžna, svetlo/temno rjava, siva in črna. Določene vrste imajo tri različne tipe osebkov - matice, delavke in samčke -, nekatere pa samo dva tipa - matice in samčke (to so zajedavski ali kukavičji čmrlji). Tudi tipi osebkov se med seboj razlikujejo, na primer po velikosti telesa, dolžini rilčka, dolžini tipalnic in barvi. Čmrlje lahko torej prepoznamo vizualno - čmrlja fotografiramo in skušamo kasneje na spletu ugotoviti vrsto in tip. Na spletnih straneh Prirodo-slovnega muzeja Slovenije najdemo Ključ za določanje pogostih vrst čmrljev (Trilar, 2014), ki nam pri tem pomaga. Je pa ta postopek kar zamuden, poleg tega na podlagi fotografij hitro naletimo na probleme, kot so neenakomerna osvetlitev, kot, pod katerim je čmrlj slikan, ozadje in druge motnje (kar predstavlja težave tudi, ko uporabljamo programe za avtomatsko prepoznavanje slik). Vrste in tipi čmrljev se razlikujejo tudi po brenčanju. To je odvisno od velikosti in strukture kril, pa tudi od obnašanja - čmrlj, ki leta od cveta do cveta in nabira med, bo brenčal drugače kot tak, ki je razdražen in se brani pred vsiljivci. Redki strokovnjaki so po zaslugi dolgoletnih izkušenj sposobni razpoznavati čmrlje na podlagi zvoka brenčanja, vendar je za povprečnega državljana to pretežka naloga. Zato smo se na Institutu Jožef Stefan lotili razvoja aplikacije, ki na podlagi zvočnega posnetka lahko prepozna, za katero vrsto čmrlja gre ter ali ima- Spletna aplikacija za prepoznavanje čmrljev na podlagi zvoka • Bioakustika in računalništvo 79 mo opraviti z matico ali z delavko (Gradišek in drugi, 2016). Naloga je torej preprosta: z mobilnim telefonom posnamemo zvok in ga prenesemo v spletno aplikacijo, ki posnetek avtomatsko razvrsti in za dodatno varovalko prikaže tudi slike najbolj verjetnih drugih možnosti. Torej imamo sliko in posnetek in lahko na dva načina preverimo skladnost oziroma pravilnost razvrstitve (ali slika najbolj verjetnih vrst ustreza posneti sliki neznanega čmrlja). Če določitev s pomočjo zvoka ne pokaže primernih kandidatov, imamo morda opravka z redko vrsto, za katero še nimamo posnetka v bazi. Ta posnetek lahko kasneje v spletno bazo dodamo sami, opažanje neznane vrste pa lahko sporočimo strokovnjakom. Aplikacija nam tudi pomaga, da primerno reagiramo z namenom varovanja redke vrste, če denimo na travniku pred košnjo opazimo gnezdo čmrljev in bi radi ugotovili, koliko truda je smotrno vložiti v njegovo varovanje. Aplikacija temelji na metodi strojnega učenja, najuspešnejšem področju umetne inteligence (Russel in Norvig, 2003), kjer se računalniški program na podlagi posnetkov znanih vrst čmrljev nauči prepoznavati vrsto na novem posnetku, ki ga vnese uporabnik. Prva koraka pri gradnji aplikacije sta bila zbiranje in obdelava posnetkov znanih vrst čmrljev. Zbrali smo posnetke čmrljev dvanajstih najpogostejših vrst, in sicer: Bombus hortorum, B. humilis, B. hypnorum, B. jonel-lus, B. lapidarius, B. lucorum, B. pascuorum, B. pratorum, B. sylvarum, B. argillaceus, B. terrestris in B. ruderarius. Pri večini vrst smo uspeli dobiti posnetke tako matic kot delavk. Posnetki so bili najprej ročno obdelani. Z visokopasovnim in nizkopasovnim filtrom smo odstranili šume s frekvencami, bistveno nižjimi in višjimi od tipičnih frekvenc brenčanj, ter izrezali dele posnetkov, na katerih ni bilo brenčanja. Potem smo prečiščene posnetke razbili na nekajsekundne segmente, ki so nam služili kot učna množica. Na tem mestu je treba poudariti, da smo se osredotočili le na brenčanje, kot ga pričakujemo od čmrljev na travniku - ko se torej čmrlj pase na cvetlicah in ne, ko se brani pred vsiljivci. Na ta način se hkrati tudi izognemo morebitnim sistemskim motnjam, denimo odmevu, ki bi ga dobili, če bi snemali čmrlja v kozarcu. Za uspešno delovanje algoritma je pomembno, da imamo na razpolago večje število učnih primerov v vsakem razredu (kjer razred predstavlja denimo »matica Bombus humilis«). Če se učimo le na majhnem Zvočni posnetek delavke Bombus humilis, ki se pase na cvetlicah (posneto v stereo tehniki, modra in zelena predstavljata dva kanala mikrofona). IH 80 Bioakustika in računalništvo • Spletna aplikacija za prepoznavanje čmrljev na podlagi zvoka ■ Proteus 79/2 • Oktober 2016 Frekvenca (Hz) Fourierjeva transformacija (frekvenčni spekter) zvočnega posnetka delavke Bombus humilis (absolutna vrednost kompleksnega signala). Dobro so vidne osnovna frekvenca brenčanja in višje harmonske frekvence. številu primerov, se bo namreč algoritem naučil zelo dobro prepoznavati te konkretne primere, pri novih primerih pa bo lahko hitro odpovedal. Za učno množico smo tako uporabili več kot tisoč primerov v skupno 20 razredih. Sledeči korak je strojno učenje na učni množici. To, kot smo že omenili, predstavljajo nekajsekundni posnetki, ki so urejeni glede na vrsto in tip čmrlja. Za pravilno razvrščanje je poskrbel avtor posnetkov, ki je poznavalec čmrljev. Pri strojnem učenju računalniški program za vsak posnetek izračuna vrsto značilk (atributov), torej določenih lastnosti vsakega zvočnega posnetka. Pri tem si med drugim pomagamo z metodo MFCC (Mel-frequency cepstrum coefficients), ki s pomočjo Fourierjeve transformacije predela posnetek v porazdelitev signalov pri različnih frekvencah in to porazdelitev pretvori v številčno vrednost. Takih značilk je lahko več kot tisoč. Razvrščevalni algoritem nato pregleda, v katerih značilkah se posamezne vrste in tipi čmrljev najbolj razlikujejo, in na podlagi teh podatkov zgradi model za prepoznavanje čmrljev. Za najboljši razvrščevalni algoritem se je pokazal Random Forest (naključni gozd). Ta algoritem na naključno izbranih podmnožicah učne množice zgradi več odločitvenih dreves in z vsakim od njih poskuša razvrstiti nov posnetek. Končni rezultat je tisti, ki ga izbere največ dreves. Zadnji korak je bil razvoj spletne aplikacije. Ta deluje takole: ko naložimo posnetek neznane vrste, algoritem najprej prefiltrira signal in izlušči le brenčanje, nato pa izračuna značilke in na podlagi odločitvenega drevesa določi, za katero vrsto in tip čmrlja gre. Seveda je bilo treba delovanje aplikacije tudi testirati. V ta namen smo zbrane podatke razdelili v dve skupini, in sicer 80 odstotkov primerov v učno, ostalih 20 odstotkov pa v testno množico. Paziti je bilo treba, da se noben posnetek ni pojavil v obeh množicah, saj tak test ne bi bil verodostojen. Z metodo navzkrižnega preverjanja smo tudi ugotovili, katere tipe čmrljev algoritem včasih zameša med seboj. Da bi izboljšali prepoznavanje, poleg končnega rezultata ponudimo še eno ali dve s fotografijami opremljeni možnosti, ker iz prejšnjih testiranj vemo, da aplikacija nekatere vrste pogosto zameša med seboj. Pokazalo se je, da je pravilno razvrstila 86 odstotkov posnetkov v učni množici. Nekatere vrste smo določili z izredno visoko natančnostjo, delavke Bombus hypnorum de- Spletna aplikacija za prepoznavanje čmrljev na podlagi zvoka • Bioakustika in računalništvo 81 Opomnile zvoAitfl lusnrifh mara Uti