Hmeljarski bilten / Hop Bulletin 27(2020) ______________ 149 OPTIČNA ANALIZA SEMEN INDUSTRIJSKE KONOPLJE Tadej PERŠAK 1 , Ivan PAHOLE 2 in Simon KLANČNIK 3 Strokovni članek / professional article Prispelo / received: 23. 10. 2020 Sprejeto / accepted: 24. 11. 2020 Izvleček V raziskavi smo analizirali delež semen in primesi industrijske konoplje (Cannabis sativa L.), ki predhodno ni bila prečiščena. Za izvedbo analize smo razvili napravo, ki deluje na podlagi strojnega vida. Naredili smo program, ki iz zajetih slik s segmentacijo določi razmerje semen in primesi. Delujoči program smo optimizirali in izvedli testiranje delovanja. Pri analizi semen je bila uspešnost 88,9-odstotna, pri primeseh pa 92,7-odstotna. Predstavljeni so tudi predlogi za izboljšave delovanja sistema. Ključne besede: industrijska konoplja, optična analiza, strojni vid OPTICAL ANALYSES OF INDUSTRIAL HEMP SEEDS Abstract This paper presents a novel approach for determining the proportion of seeds and impurities of industrial Hemp, which has not been previously purified. To perform the analysis, a device based on Machine Vision was developed. The proposed program can determine the ratio of seeds and impurities from the captured images by Image Segmentation. The program performance was tested on various cases and was tuned to suit the determination specific needs. The Segmentation performance was 88.9 % for the seeds determination, and 92.7 % for the impurities determination. Suggestions for the proposed system improvements are also presented and discussed. Key words: industrial hemp, optical analyses, machine vision 1 UVOD Pri pridelavi različnih kmetijskih pridelkov nas zanima predvsem, koliko smo pridelali in kakšna je kakovost. Pri tem nam lahko pomagajo napredne tehnologije, kot je uporaba strojnega vida in umetne inteligence (Bargoti in Underwood, 2016; 1 Mag. inž. meh., UM, FS, Smetanova ulica 17, 2000 Maribor, e-pošta: tadej.persak@um.si 2 Izr. prof. dr., UM, FS, Smetanova ulica 17, 2000 Maribor, e-pošta: ivan.pahole@um.si 3 Doc. dr., UM, FS, Smetanova ulica 17, 2000 Maribor, e-pošta: simon.klancnik@um.si 150 Hmeljarski bilten / Hop Bulletin 27(2020) ______________ Koirala, Walsh, Wang in McCarthy, 2019). Te metode so sposobne oceniti količino in maso pridelka in se uporabljajo na različnih kmetijskih kulturah, kot so razni citrusi (Shin, Lee in Ehsani, 2012), mango (Payne, Walsh, Subedi in Jarvis, 2013), grozdje (Ivorra, Sánchez, Camarasa, Diago in Tardaguila, 2015), riž (Reza, Na, Baek in Lee, 2019), olive (Aquino, Ponce in Andújar, 2020), kivi (Mekhalfi et al., 2020) itd. Vsem naštetim rešitvam je skupno, da za svoje delovanje potrebujejo zajeto sliko. Sledi obdelava slike, s katero se poskuša določiti, koliko pridelka je na njej. Pridelki se poiščejo na podlagi barve ali oblike. Z uporabo umetne inteligence pa lahko stroj naučimo, da samostojno prepoznava pridelke na podlagi učne baze, v kateri so primerki pridelkov. Z naprednejšimi senzorji, ki ne zajamejo samo slike, ta je sestavljena iz posameznih točk z določeno barvo, lahko ugotovimo še veliko več. Z uporabo termokamere, ki zajame še podatke o toploti, ki je prisotna na sliki, je mogoče semenom konoplje (Cannabis sativa L.) določati stopnjo zrelosti (Ola, Budde in Gusovius, 2015). Senzor, kot je NIR (Near Infrared Spectroscopy), ki zajame sliko zunaj človekovega vidnega območja, lahko določi vsebnost kanabinoidov v semenih (Sánchez-Carnerero Callado, Núñez-Sánchez, Casano in Ferreiro-Vera, 2018). V raziskavi smo določali razmerje semen in primesi. Uporabili smo mešanico industrijske konoplje, ki je pridobljena neposredno iz kombajna (Pahole, Pal, Belca in Belšak, 2017), (Slika 1). To pomeni, da zmes ni bila predhodno prečiščena. Ocenjevanja smo se lotili s strojnim vidom. Začeli smo pri postavitvi laboratorijske naprave, ki je zajela kakovostne slike. Kakovost slike je močno pogojena z osvetlitvijo, podlago in nastavitvami kamere. S takšnimi slikami smo začeli iskati primeren algoritem detekcije semen in primesi, ki je potreben pogoj za ocenjevanje kakovosti mešanice industrijske konoplje. Slika 1: Mešanica semen in primesi industrijske konoplje Hmeljarski bilten / Hop Bulletin 27(2020) ______________ 151 2 OPREMA Za pregledovanje mešanice semen s strojnim vidom najprej potrebujemo njene kakovostne slike. V ta namen smo uporabili transportni trak, nad katerim je bila nameščena industrijska kamera s prilagojeno osvetlitvijo in zaščito pred zunanjo svetlobo. Razviti nasipni lijak z zalogovnikom za mešanico semen je skrbel za enakomerno nasipovanje mešanice na trak za pregledovanje. Na Sliki 2 vidimo laboratorijski prototip sistema za pregledovanje semen. Slika 2: Na levem delu slike je nasipni lijak, v sredini je transportni trak za pregledovanje semen, na desnem delu je komora za zajem slik skupaj z osvetlitvijo in industrijsko kamero. Kot vidimo na Sliki 2, je sistem za pregledovanje sestavljen iz treh glavnih delov. To so nasipni lijak, transportni trak za pregledovanje in komora za zajem slik. 2.1 Nasipni lijak Naloga nasipnega lijaka je nadzorovano doziranje mešanice na transportni trak za pregledovanje. Sestavljen je iz tekočega traku, ki je gnan z motorjem 5 V DC. Nad transportnim trakom je zalogovnik, v katerem je mešanica. Zalogovnik ima na sprednji strani nastavljivo loputo. Z nastavljanjem velikosti odprtine in hitrosti pomika tekočega traku nastavljamo masni pretok sistema. 2.2 Transportni trak za pregledovanje Iz nasipnega lijaka pada mešanica na prozoren transportni trak za pregledovanje, ki je izdelan iz poliuretana in pobrušen z granulacijo 220. Pod trakom je bela podlaga, 152 Hmeljarski bilten / Hop Bulletin 27(2020) ______________ ki je primerno ozadje za učinkovito delovanje sistema strojnega vida. Naloga tega traku je transport enakomerno nasipane mešanice od nasipnega lijaka do komore za zajem slik in na koncu do zalogovnika za že pregledano mešanico. Transportni trak se zaradi zajema slik ne ustavlja. Slike mešanice zajamemo med gibanjem tekočega traku. 2.3 Komora za zajem slik Za zajem slik semen industrijske konoplje smo uporabili industrijsko kamero Basler acA2500 –14uc z lečo Computar 12 mm. Brez homogene osvetlitve ne moremo zajeti kakovostnih slik, zato smo uporabili dve delovni luči LED (Light- emitting diode) z močjo 27 W nevtralno bele barve (5000 K) (Slika 3). Enoto za osvetljevanje sestavlja leseni okvir, na katerega so nameščeni dve luči in razpršilec svetlobe (Slika 3). Za preprečevanje vstopa zunanje svetlobe skrbi zaščitna komora. Slika 3: Osvetlitev sistema strojnega vida 2.4 Krmiljenje Za krmiljenja sistema oziroma povezavo med osebnim računalnikom in napravo za pregledovanje mešanice je poskrbela razvojna ploščica Arduino UNO. Programska logika teče v programskem okolju LabView 2018, razvojna ploščica Arduino UNO pa vklaplja osvetlitev z relejem in prek tranzistorja s pulzno širinsko modulacijo (PŠM) krmili motor za pogon nasipnega lijaka. PŠM omogoča izbiro hitrosti vrtenja motorja na nasipnem lijaku. Pogon glavnega tekočega traku je izveden s trifaznim asinhronskim motorjem s frekvenčnim regulatorjem Mitsubishi S500. Vklop in nastavljanje hitrosti glavnega tekočega traku se izvajata ročno na kontrolni plošči frekvenčnega regulatorja. Hmeljarski bilten / Hop Bulletin 27(2020) ______________ 153 3 STROJNI VID Pregledovanje mešanice semen in primesi je bilo izvedeno s strojnim vidom. Za to smo uporabili osebni računalnik s procesorjem Intel Core i5-2400 3,10 GHz in 8 GB RAM. Sistem strojnega vida smo razvili z uporabo razvojnega okolja LabView 2018 z moduloma Vision development 18.0.0 in Vision acquisition 18.0.0. Kot je že bilo omenjeno, je programsko okolje LabView skrbelo za upravljanje celotnega sistema, le hitrost glavnega tekočega traku smo nastavljali ročno. Strojni vid se začne z zajemom slike, ki jo pozneje obdela. Cilj delovanja strojnega vida je določiti delež semen in primesi. Testirali smo različne algoritme, a najboljše rezultate smo dosegli z uporabo barvne segmentacije. Segmentacija je algoritem, ki na osnovi algoritma najbližjih sosedov (ang. k- Nearest Neighbors) (National Instruments, 2020, September 23) barvne klasifikacije segmentira sliko (National Instruments, 2020, September 23). Klasifikator smo naučili na dva razreda z imenom semena in primesi. Pri razvoju in testiranju programa razred semena predstavlja kratica OK, razred primesi pa kratica NOK. Segmentacija pregleda vso sliko in njen posamezni delček razvrsti v ustrezen razred (semena ali primesi). Območja na sliki, ki ostanejo neprepoznana, pa pomenijo ozadje. Na Sliki 4 je vidna segmentacija na podlagi slabo naučenega klasifikatorja k-NN. V tem primeru vidimo, da pravilno določa regije na semenih in primeseh, ne prepozna pa še celotnega objekta. Prav to je posledica neučinkovitega učenja k-NN klasifikatorja. Slika 4: Barvna segmentacija slike, na kateri so semena in primesi. 154 Hmeljarski bilten / Hop Bulletin 27(2020) ______________ 4 PROGRAM ZA DOLOČANJE RAZMERJA Razviti sistem smo želeli avtomatizirati tako, da sam zajame sliko, jo analizira in kot rezultat določi, kakšen je delež semen in primesi. V programskem okolju LabView smo program razdelili na dve glavni zanki, ki se izvajata vzporedno. Ena zanka je namenjena strojnemu vidu, druga je za krmiljenje naprave za zajem slik z razvojno ploščico Arduino. V zanki za krmiljenje opravimo vklapljanje in izklapljanje osvetlitve in krmiljenje motorja nasipnega lijaka s pulzno širinsko modulacijo. V zanki za strojni vid imamo sekvenčno izvajanje naslednjih algoritmov: 1. Zabeležimo trenutni čas. (Potrebujemo ga za računanje časovne potratnosti celotnega algoritma.) 2. Zajamemo sliko glede na izbrani vir. Sliko lahko beremo iz mape na računalniku, v kateri so že zajete slike, ali pa jo zajamemo neposredno iz kamere. 3. Izvedemo segmentacijo, ki je že predhodno naučena. Hkrati na uporabniškem vmesniku prikažemo sliko, ki jo obdelujemo, in segmentirano sliko. Segmentirana slika je 8-bitna in je predstavljena s tremi vrednostmi pik. Prva je 0, to je ozadje (črna barva). Druga je 100, to so primesi (siva barva). Tretja je 255, to so semena (bela barva) (Slika 5). 4. Iz segmentirane slike, ki ima tri barve, moramo ugotoviti, koliko je katere barve. Na podlagi tega izračunamo razmerje. Na segmentirani sliki izvedemo pragovno metodo (ang. threshold), s pomočjo katere na obdelani sliki izločimo barvo semen in primesi. Pragovna vrednost za semena je nastavljena na območju med 200 in 255, pragovna vrednost za primesi pa med 50 in 150. Koliko je ozadja, nas ne zanima. Izhod iz obdelave s pragovno metodo je matrika površin, podanih v pikah za posamezen delček. Na uporabniškem vmesniku prikažemo sliko samo s semeni in samo s primesmi (Slika 5). 5. Naslednji korak je obdelava matrike s podatki o površinah semen in površinah primesi. Iz posamezne matrike beremo površine delčkov in jih seštevamo. To naredimo za semena in primesi z dvema ločenima zankama, ki se izvajata vzporedno. Rezultat je sešteta površina semen in primesi. 6. Sledi računanje razmerja. Iz podatka o površini semen in primesi na sliki izračunamo, koliko odstotkov je semen in koliko primesi. 7. Znova zabeležimo trenutni čas in od njega odštejemo čas, zabeležen na začetku algoritma. 8. Izračunamo čas izvajanja celotnega algoritma. Hmeljarski bilten / Hop Bulletin 27(2020) ______________ 155 Slika 5: Uporabniški vmesnik programa v programskem okolju LabView Na Sliki 5 vidimo uporabniški vmesnik. ‒ Na levem delu so tipka za izhod, stikalo za izbiro vira slik za obdelavo in stikalo za zakasnitev za lažje spremljanje delovanja. ‒ V sredini so prikazi slike:  levo zgoraj je originalna slika, zajeta iz kamere ali mape,  levo spodaj je slika z opravljeno segmentacijo,  desno zgoraj je binarna slika, na kateri so semena,  desno spodaj je binarna slika, na kateri so primesi. ‒ Na desnem delu na sredini uporabniškega vmesnika nas najbolj zanimajo analogni prikazovalnik odstotkov deleža primesi in semen in numerične vrednosti pod njim. 156 Hmeljarski bilten / Hop Bulletin 27(2020) ______________ Slika 6: Uporabniški vmesnik za nastavljanje hitrosti nasipnega lijaka in vklapljanje luči Na sliki 6 je prikazan uporabniški vmesnik za krmiljenje. Na njem imamo: ‒ tipko za vklop in izklop osvetlitve, ‒ tipko za vklop in izklop motorja nasipnega lijaka, ‒ drsnik za nastavljanje hitrosti motorja nasipnega lijaka s prikazovalnikom izbrane vrednosti in še numerični prikaz izbrane vrednosti. 5 HITROST OBDELAVE SLIKE Kapaciteta pregleda mešanice je odvisna od hitrosti strojnega vida. Za to smo segmentacijo, ta je računsko precej zahtevna, izvajali vzporedno. Če želimo sliko segmentirati vzporedno, jo moramo najprej razrezati. V ta namen smo razvili algoritem, ki sliko razdeli na dva dela. Vsak del slike se vzporedno segmentira in po segmentaciji spet sestavi. Naredili smo testiranje hitrosti običajne segmentacije in vzporedne segmentacije. Za primerjanje hitrosti obdelave smo uporabili vedno enako sliko. Rezultati so v Preglednici 1. Preglednica 1: Primerjava časov izvajanja segmentacije Algoritem Čas [ms] Čas rezanja in sestavljanja slike 150 Strojni vid z običajno segmentacijo 2550 Strojni vid z vzporedno segmentacijo 1450 V preglednici 1 vidimo, da običajna segmentacija traja 2550 ms. Če ta čas razpolovimo zaradi vzporednega izvajanja, dobimo 1275 ms. Temu času moramo prišteti čas rezanja in sestavljanja slike, ki znaša 150 ms. Seštevek je torej 1425 ms in je podoben času vzporedne segmentacije. Tako ugotovimo, da smo čas izvajanja strojnega vida skrajšali za 1100 ms ali 43 %. Hmeljarski bilten / Hop Bulletin 27(2020) ______________ 157 6. TESTIRANJE DELOVANJA SISTEMA IN UGOTOVITVE Opravili smo testiranje, s katerim smo preverili točnost algoritma. Vzorec industrijske konoplje smo ročno sortirali na semena in druge primesi. Sledila sta slikanje semen in primesi posebej ter preverjanje z algoritmom. Načeloma bi algoritem pri semenih moral pokazati, da je vzorec 100 % OK, pri primeseh pa, da je 100 % NOK. Slika 7: Optični pregled vzorca semen Na Sliki 7 je prikazano testiranje optičnega pregleda vzorcev semen. Rezultat je 97 % za semena. Po pregledu semen smo ugotovili, da je v vzoru nekaj semen, ki so zelo temna in podobna primesem. Te delčke je sistem prepoznal kot primesi. Na Sliki 8 vidimo testiranje optične analize primesi. Rezultat je 90 % za primesi. Tudi pri primeseh je nekaj delčkov, ki so podobni semenom in jih je sistem napačno razvrstil. 158 Hmeljarski bilten / Hop Bulletin 27(2020) ______________ Slika 8: Optični pregled vzorca primesi Za ocenjevanje učinkovitosti delovanja sistema smo opravili več testiranj, rezultati so predstavljeni v Preglednici 2. Preglednica 2: Testiranje algoritma Ročno sortirano iz mešanice semen in primesi Rezultati testiranja z algoritmom Vzorec Masa semen [g] Masa primesi [g] Semena [%] Primesi [%] 1 0,5 0 93,3 6,7 2 0,7 0 87,7 12,3 3 0,5 0 79 21 4 1,05 0 87,1 12,9 5 1,7 0 97,4 2,6 6 0 0,3 7,3 92,7 7 0 0,6 7 93 8 0 0,4 6,1 93,9 9 0 0,5 5,3 94,7 10 0 0,8 10,8 89,2 V Preglednici 2 vidimo: ‒ da smo opravili pet testiranj za vzorce samo s semeni in pet testiranj za vzorce samo s primesmi; Hmeljarski bilten / Hop Bulletin 27(2020) ______________ 159 ‒ bolj, kot se rumeno obarvane vrednosti Semena [%] in Primesi [%] v Preglednici 2 približujejo vrednosti 100 %, bolj natančno je ocenjevanje razmerja semen in primesi; ‒ razvidno je tudi, da algoritem pri določanju deleža semen deluje manj natančno, in sicer s povprečno natančnostjo 88,9 %, kot pri določanju deleža primesi, kjer prepoznava primesi s povprečno natančnostjo 92,7 %. Za testiranje sistema smo uporabili klasifikator k-NN s tremi najbližjimi sosedi in 552 vzorci. Učinkovitost delovanja sistema bi lahko izboljšali z dodatnim učenjem klasifikatorja. V celoti bi napake težko odpravili, ker so si nekatera semena in primesi zelo podobni. 7 SKLEPI Z raziskavo smo rešili problem določanja deleža semen in primesi v pridelku industrijske konoplje. Z razvitim sistemom lahko določimo delež semen z 88,9- odstotno natančnostjo, delež primesi pa z 92,7-odstotno natančnostjo. Rezultati so slabši pri določanju deleža semen. Podana natančnost je povprečje petih testiranj za posamezni razred. Naše delo bi se lahko nadaljevalo v smeri dodelave algoritma in uporabniškega vmesnika. Algoritem bi lahko še dodatno pohitrili z vzporednim izvajanjem. Zdaj segmentacija poteka vzporedno z razrezom slike na dva dela, lahko pa bi jo lahko nadgradili tako, da bi zajeto sliko razrezali na več delov in s tem delovanje sistema še dodatno pospešili. Narediti bi morali teste, da bi ugotovili, kakšno je optimalno število vzporednih segmentacij. Upoštevati moramo še, da nekaj časa porabimo tudi za razrez in sestavljanje slik. 8 LITERATURA Aquino, A., Ponce, J. M. in Andújar, J. M. Identification of olive fruit, in intensive olive orchards, by means of its morphological structure using convolutional neural networks. Computers and Electronics in Agriculture. 2020; 176. doi:10.1016/j.compag.2020.105616 Bargoti, S. in Underwood, J. Image Segmentation for Fruit Detection and Yield Estimation in Apple Orchards. Journal of Field Robotics. 2016. Ivorra, E., Sánchez, A. J., Camarasa, J. G., Diago, M. P. in Tardaguila, J. Assessment of grape cluster yield components based on 3D descriptors using stereo vision. Food Control. 2015; 50, 273-282. doi:10.1016/j.foodcont.2014.09.004 Koirala, A., Walsh, K. B., Wang, Z. in McCarthy, C. Deep learning – Method overview and review of use for fruit detection and yield estimation. Computers and Electronics in Agriculture. 2019; 162, 219-234. doi:10.1016/j.compag.2019.04.017 160 Hmeljarski bilten / Hop Bulletin 27(2020) ______________ Mekhalfi, M. L., Nicolò, C., Ianniello, I., Calamita, F., Goller, R., Barazzuol, M. in Melgani, F. Vision System for Automatic On-Tree Kiwifruit Counting and Yield Estimation. Sensors (Basel, Switzerland). 2020; 20(15). doi:10.3390/s20154214 National Instruments. Color Classification. Dostopno na: https://zone.ni.com/reference/en- XX/help/372916T-01/nivisionconcepts/color_classification/ (2020, September 23). National Instruments. Color Segmentation. Dostopno na: https://zone.ni.com/reference/en- XX/help/372916T-01/nivisionconcepts/color_segmentation/ (2020, September 23). Ola, D. C., Budde, J. in Gusovius, H. J. A THERMOVISION ASSESSMENT METHOD OF QUALITY FOR OILY SEEDS (Cannabis Sativa L.). Bulletin of the Transilvania University of Brasov, Series II. Forestry, Wood Industry, Agricultural Food Engineering. 2015; 8(2), 91-98. Pahole, I., Pal, M., Belca, U. in Belšak, A. Tehnološke zahteve za kombajne na njivah s konopljo v Sloveniji. Hmeljarski bilten. 2017; 24, 129-137. Payne, A. B., Walsh, K. B., Subedi, P. P. in Jarvis, D. Estimation of mango crop yield using image analysis – Segmentation method. Computers and Electronics in Agriculture. 2013; 91, 57-64. doi:10.1016/j.compag.2012.11.009 Reza, M. N., Na, I. S., Baek, S. W. in Lee, K.-H. Rice yield estimation based on K-means clustering with graph-cut segmentation using low-altitude UAV images. Biosystems Engineering. 2019; 177, 109-121. doi:10.1016/j.biosystemseng.2018.09.014 Sánchez-Carnerero Callado, C., Núñez-Sánchez, N., Casano, S. in Ferreiro-Vera, C. The potential of near infrared spectroscopy to estimate the content of cannabinoids in Cannabis sativa L.: A comparative study. Talanta. 2018; 190, 147-157. doi:10.1016/j.talanta.2018.07.085 Shin, J. S., Lee, W. S. in Ehsani, R. Postharvest citrus mass and size estimation using a logistic classification model and a watershed algorithm. Biosystems Engineering. 2012; 113(1), 42‒53. doi:10.1016/j.biosystemseng.2012.06.005