ERK'2021, Portorož, 79-82 79 Razpoznavanje vsebnosti barvila v plastičnem materialu na osnovi obdelave teraherčnih spektroskopskih podatkov in klasifikacijskega algoritma Andrej Sarjaš 1 ,Blaž Pongrac 1 , Dušan Gleich 1 1 University of Maribor, Faculty of Electrical Engineering and Computer Science, Koroška cesta 46, 2000 Maribor, Slovenia E-pošta: andrej.sarjas@um.si Abstract. The paper presents the utilization of THz frequency-domain spectroscopy (FDS) data for the classification of coloring pigment in plastic material. THz-FDS system is known that offers high-frequency resolution and is beneficial for material inspection, where the resonance characteristic of the material is in a narrow band. Regarding the uncertainty property of the FDS system, the paper introduces an advanced processing algorithm, which is reliable and has the capability to accurately classify material characteristics, despite the measurement uncertainty. The processing algorithm is based on Convolution Neural Network, which uses the specially designed structure for FDS data. The results are analyzed and confirmed with real experiments. 1 Uvod Tehnološki razvoj elektronskih komponent je premaknil mejnik, ki omogoča generiranje elektromagnetnega valovanja med klasičnim radio in optičnim področjem. Ta del elektromagnetnega spektra imenujemo teraherčno področje in zajema valovanje s frekvenco med 0,1 in vse do 10 THz [1]. Valovne dolžine valovanja so v razredu milimetrov in manj. Dolgo časa je ta del spektra veljal za neizkoriščenega, katerega vzrok je bil pomanjkanja komponent in takratno stanje tehnološkega razvoja. Na drugi strani detekcija in generiranje valov THz vključuje drage komponente, kot so femtosekundni impulzni laserji, optično prevodne antene, opto-električni kristali, ojačevalniki itd [2]. S tehnološkim razvojem materialov in minimizacijo elektronskih komponent, je hitrost elektronskih komponent dosegla področje, kjer je možno z različnimi elektro-optičnimi principi generirati in zajemati valovanje v spektru THz. Tako je spekter THz postal predmet mnogih raziskav in nadaljnjega razvoja novih aplikacij. Tehnologija THz je v zadnjem desetletju dosegla [7]-[9] stopnjo tehnološkega razvoja [3], kar pomeni, da je presegla okvire prototipov in bazičnega testiranja. Tehnologija ima velik potencial pri nedestruktivnih brezkontaktnih preiskovanjih materialov [4], kemijskih analizah, preiskovanju fizikalnih pojavov[5], medicini, varnostnih pregledih, farmaciji in prehrambeni industriji [6]. Članek predstavlja uporabo teraherčne spektroskopije za določitev in razpoznavanje vsebnosti različnih barvil v plastičnem materialu. Plastični materiali se pogosto uporabljajo v številnih proizvodnih postopkih in oblikovanju. Prepoznavanje barvnega pigmenta v materialu je pomembna pri nadzoru kakovosti in lastnosti materiala [5]. Da bi zagotovili nadzor tekom proizvodnega procesa, se v mnogih proizvodnih sklopih pojavlja zahteva po neinvazivnem in nedestruktivnem pregledu materiala. Trenutno uporabljene tehnike pregledovanja plastičnih materialov vključujejo invazivne tehnike, kot so rezanje, brušenje in mletje, pri čemer, ne invazivne tehnike temeljijo pa predvsem na metodah površinskega pregleda in so neučinkovite pri globinskem pregledu materiala. V članku smo predstavili razpoznavanje barvnega pigmenta na osnovi teraherčnih spektroskopskih podatkov in konvolucijske nevronske mreže (CNN), kot klasifikacijski algoritem [7]. Teraherčna spektroskopija omogoča neinvazivno preiskovanje materiala tudi pod površjem. Na ta način je možno razpoznati vsebnost in tip pigmenta v plastičnem materialu. V tem delu smo se osredotočili na prepoznavanje med različnimi barvili, tako da smo zajete podatke THz procesirali s pomočjo naučenega klasifikacijskega algoritma. 2 Teraherčna spektroskopija Poznamo dve vrsti teraherčne spektroskopije, časovno 'time-domain spectroscopy' (TDS) in frekvenčno 'frequency-domain spectroscopy' (FDS) [4]. Večina meritev in analiz je izvedena s pomočjo TDS. Zajeti signal pri TDS je v časovni domeni in je generiran na snovi femtosekundenga laserja, ki preko elektrooptičnega organskega kristala sproži kratek THz- impulz. Prednost TDS je koherentno zajemanje valovanja THz in posledično enostavnejša analiza zajetih podatkov. Nominalna pasovna širina TDS metode je od 0,1 do 5 THz in frekvenčna ločljivost med 1-5 GHz. FDS princip je zelo podoben TDS v smislu fizikalnega delovanja. FDS uporablja dva zvezna laserska izvora, ki imata zamaknjeno valovno dolžino. Monokromatični THz-signal se generira s pomočjo polprevodniške antene (PCA), ki služi kot optični mešalnik. Z vodenjem zamika valovnih dolžin laserjev, lahko spreminjamo valovno dolžino valovanja THz. Z razliko od TDS, FDS uporablja zvezno valovanje, kjer je mogoč pojav stoječega valovanja, ki ga je potrebno upoštevati pri analizi zajetih podatkov. Tipična pasovna širina FDS je od 0,05 do 3 THz s frekvenčno 80 ločljivostjo nižjo od 1MHz, kar je poglavitna prednost pred TDS-načinom. V članku bomo uporabili FDS TeraScan 1550 sistem za razločevanje pigmenta v plastičnem materialu. TaraScan 1550 lahko generira THz valove v razponu od 0,05 do 1,21 THz. Ima širok dinamični razpon in frekvenčno ločljivost 1 MHz. Za mešanje optičnih signalov uporablja dve laserski diodi z različnimi valovnimi dolžinami ter oddajnik in detektor PCA. Princip delovanja TeraScan 1550 je predstavljen na sliki 1. Slika 1. Princip delovanja TeraScan 1550 FDS sistema [4]. V poizkusu smo uporabili pet različnih plastičnih vzorcev z različnimi barvnimi pigmenti: bela, modra, zelena, rumena in črna. Geometrija vzorcev je bila enaka pri vseh serijah. Vzorci z različnimi pigmenti so predstavljeni na sliki 2. Slika 2. Pet plastičnih vzorcev z različnimi pigmenti. Eksperimentalna postavitev FDS-sistem s plastičnim vzorcem je predstavljena na sliki 3. Zajemanje podatkov pri vseh vzorcih je bilo izvedeno v frekvenčnem področju od 0,06 do 1,2 THz. Primer zajetega spektra je predstavljen na sliki 4. Whole specter Close view f[GHz] f[GHz] I[nA] I[nA] Slika 4. THz spekter plastičnega materiala. 3 Obdelava podatkov Zajete meritve pri FDS THz-spektroskopiji obsegajo veliko količino podatkov, ki jih je potrebno obdelati. Zajeti spektroskopski podatki vsebujejo informacije o barvi pigmenta in kakovosti pripravljenega plastičnega materiala. Spektralne lastnosti posameznega pigmenta v materialu so prikrite in niso jasno izražene, zato je potrebna poglobljena analiza in uporaba zanesljivih tehnik obdelave. Za znižanje količine podatkov smo uporabili tri tehnike obdelave signalov, ki so omogočile hitrejše procesiranje pri zagotovljeni enaki natančnosti razlikovanja, kot pri polnem naboru podatkov. Tehnike lahko razvrstimo po vrstnem redu uporabe: • Detekcija vrha: Iz merjenega spektra izločimo vrhove na snovi praga in določenega intervala, v katerem se nahaja ekstrem. • Določitev ovojnice: Po ekstrakciji vrhov, vrhove interpoliramo tako, da dobimo spektralno ovojnico v obliki zvezne funkcije. • Podvzorčenje: Po določitvi ovojnice, signal podvzorčimo in tako znižamo kompleksnost podatkov. Podvzorčenje izvedemo na osnovi izbranega koraka podvzorčenja. Slika 5 prikazuje proces obdelave zajetega signala. Raw Data 1. Peak-Find Function 2. Envelope extraction 3. Downsampling 4. WSD Raw Data 1. Peak-Find Function 2. Envelope extraction 3. Downsampling 4. WSD Raw Data 1. Peak-Find Function 2. Envelope extraction 3. Downsampling 4. WSD Raw Data 1. Peak-Find Function 2. Envelope extraction 3. Downsampling 4. WSD Slika 5. Proces obdelave signala: zajeti signal, detekcija vrha, ekstrakcija ovojnice in podvzorčenje. Obdelan signal smo uporabili za učenje in nadaljnjo klasifikacijo s pomočjo algoritma CNN. Slika 3. FDS sistem z oddajno in sprejemno PCA anteno ter plastičnim vzorcem. 81 4 Konvolucijska nevronska mreža Algoritem CNN spada v skupino globokih nevronskih mrež in paradigem globokega učenja [6]. Učinkovitost mreže je potrjena v mnogih raziskavah, kot so algoritmi za obdelavo slik, zaznavanje govora, prepoznavanje obrazov [7] itd. Nove raziskave potrjujejo, da ima CNN mnoge prednosti pri napovedovanju nizov za diagnostiko in klasifikacijo napak različnih industrijskih procesov in aplikacij. Poglavitna razlika algoritma CNN napram drugim, je zmožnost prostorskega zaznavanj značilk, pri čemer CNN posnema vidne-prostorske funkcije človeškega vida [6],[8]. 4.1 Določitev strukture Učinkovitost CNN je odvisna od izbire strukture in kompleksnosti vhodnih podatkov [9]. Določitev strukture je pomembna faza raziskave, ki pogosto poteka v sklopu z učenjem. Struktura določa kompleksnost mreže, katero je možno naučiti na določen tip podatkov. V predstavljeni raziskavi, smo se ukvarjali z določitvijo strukture, ki mora biti dovolj kompleksna, da zagotovi zanesljivo razločevanje med pigmenti in da je časovno učinkovita. Glede na predstavljeno, je struktura mreže odvisna tudi od predhodne obdelave podatkov, predstavljene v poglavju 3. Za razločevanje smo uporabili dvo-dimenzionalni 2D-CNN, ki operira z 2D podatki. V ta namen smo obdelan 1D-signal iz poglavja tri pretvorili v 2D po načinu linearnega zlaganja s predpisanim intervalom, ki je večkratni dolžine zajetega signala. V prispevku bomo predstavili dva tipa mreže, ki sta plod raziskav in testiranj. Glavni gradniki CNN so plasti, ki jih lahko poljubno izbiramo v različnih nivojih mreže. Pri razpoznavanju barvila, smo uporabili naslednje tipe CNN plasti, • Konvolucijska plast (ConvL): Izloči značilke na osnovi določenih konvolucijskih filtrov (CF). Velikost ter število filtrov v plasti je prosti parameter, ki ga določi snovalec. • Linearna aktivacijka funkcija (ReLu): Fukcija služi za pohitritev procesa učenja ter zniža kompleksnost podatkov. Pogosto se uporablja za ConvL plastjo. • Združevalna plast (Pool): Služi za redukcijo ekstrahiranih značilk ter tako zniža kompleksnost podatkov. V našem primeru smo v združevalni plasti uporabili funkcijo maksimum. • Glajenje (FC): Po ekstrakciji prostorskih značilk je plast glajenje namenjena za klasifikacijo. FC nivo CNN-a je enak, kot pri klasičnih nevronskih mrežah (NN), kjer se preko križne entropije določi verjetnostna pripadnost obdelanega vzorca. Sliki 6. in 7. prikazujeta mrežni strukturi CNN 1 in CNN 2, pri čemer struktura CNN 1 na sliki 6. uporablja polni nabor in slika 7. CNN 2 znižan nabor podatkov. IP ReLu ReLu 10x10/1 2x2/1 50x400 Conv1 Conv2 Maxpool1 Maxpool2 FC Cross Input: 2D data 22/1 5 15x15 10/2 4x4 Slika 6. Struktura CNN1. IP ReLu ReLu 5 8/2 50x8 Conv1 Conv2 FC Cross Input 2D data 3x3 2x2 8/1 Slika 7. Struktura CNN2. 4.2 Učenje Po izbiri strukture CNN-a in določitvi plasti, je proces učenja povezan z določitvijo hiper-parametrov, kot so velikost koraka in število filtrov v izbrani plasti. Učenje CNN temelji na minimizaciji cenilne funkcije, ki prilagodi vrednosti izbranih parametrov na način, da se doseže minimum. Obe strukturi CNN 1 in CNN 2 sta bili učeni z 2D- vhodnih podatkih. CNN 1 je uporabljala 1D-meritve z 20.000 vzorci, ki jih pretvorimo v 2D obliko, dimenzije 50x400. CNN 2 je uporabljala poenostavljene 1D- podatke s 400 vzorci in pretvorjene 2D podatke, dimenzije 50x8. Za učenje smo pripravili deset serij vzorcev. Vsaka serija je vsebovala sto vzorcev vsakega barvila. Obe mreži sta bili učeni s prvo serijo vzorcev. Za validacijo učenja, smo uporabili drugo serijo, pri čemer smo ostalih osem uporabili za oceno zanesljivosti prepoznavanja. Rezultati učenja obeh struktur so predstavljeni v tabeli 1. Tabela 1. Rezultati učenja mreže CNN1 in CNN2. Učinkovitost Čas učenja (h) Učenje (α) Epoch CNN1 0,972 3,45 0,001 1500 CNN2 0,967 0,07 0,003 350 Kjer učinkovitost pomeni, zanesljivost prepoznavanja izbranih testnih in validacsijskih vzorcih. Čas učenja pomeni čas, ki je bil porabljen za učenje posamezne mreže CNN. Koeficient α je faktor učenja in Epoch je število ponovitev. 5 Rezultati Sistem TeraScan 1550 je bil kalibriran samo za meritve iz prve serije. Za vse ostale serije smo uporabili začetno nastavitev, kar za THz-FDS aplikacije ni običajno. S tem smo skušali preizkusiti robustnost prepoznavanja. Rezultati razpoznavanj so predstavljeni v tabelah od 2 do 6, za vsako barvilo posebej, kjer je t t(ms)–čas obdelave posamezne meritve v milisekundah, μ t–učinkovitost razpoznavanja na intervalu [0-1], σ t- standardni odklon, μ tmax–najboljši rezultat in μ tmin– najslabši rezultat razpoznavanja. Podatki so bili pridobljeni na testni seriji, ki je zajemala 800 vzorcev vsakega barvila. 82 Tabela 2. Učinkovitost prepoznavanja črnih vzorcev Črna tt(ms) μt σt μtmax μtmin CNN 1 238,2 0,991 0,039 1 0,41 CNN 2 1,75 0,985 0,041 1 0,37 Tabela 3. Učinkovitost prepoznavanja modrih vzorcev Modra tt(ms) μt σt μtmax μtmin CNN 1 241,2 0,984 0,036 1 0,37 CNN 2 1,66 0,979 0,039 1 0,33 Tabela 4. Učinkovitost prepoznavanja zelenih vzorcev Zelena tt(ms) μt σt μtmax μtmin CNN 1 244,1 0,977 0,033 1 0,392 CNN 2 1,71 0,976 0,029 1 0,381 Tabela 5. Učinkovitost prepoznavanja belih vzorcev Bela tt(ms) μt σt μtmax μtmin CNN 1 245,1 0,984 0,023 1 0,457 CNN 2 1,31 0,981 0,032 1 0,421 Tabela 6. Učinkovitost prepoznavanja rumenih vzorcev Rumena tt(ms) μt σt μtmax μtmin CNN 1 242,72 0,986 0,024 1 0,512 CNN 2 1,45 0,984 0,025 1 0,491 Učinkovitost reazpoznavanja predstavimo z matriko razvrščanja, posebej za strukturo CNN 1 in CNN 2. Matriki sta prikazani na sliki 8 in 9. CNN 1 Slika 8. Matrika razvrščanja strukture CNN1. CNN 2 Slika 9. Matrika razvrščanja strukture CNN2. Glede na predstavljene rzultate, tabela 2-6 in sliki 8 in 9 je razvidno, da je natačnost razposznavanja pigmenta pri obeh strukutrah skoraj enaka. Strukutra CNN 1 dosega malo boljše rezultate, ki pa ne vplivajo na knočno razpoznavo. Očitna razlika je predvsem v hitrosti in zahtevnosti obeh algoritmov, pri čemer CNN 2 dosega bistveno boljše rezultate, kot CNN 1. S tem potrdimo, da s primerno izbiro parametrov obdelave ter primerno strukturo CNN, prav tako lahko zagotovimo natačno in časovno učinkovtio razpoznavanje barvila, tudi za poenostavljen niz. Matrika razvrščanja nakazuje, da ima črni pigment frekvečno karakteristiko, ki je izraziteje kolerirana z ostalimi pigmenti. Ostali pigmenti imajo nižjo raztresentost napram drugim, kar pomeni, da imajo bolj enoznačni frekvenčni odtis. 6 Zaključek Članek predstavlja razpoznavanje pigmenta v plastičnem materialu s pomočjo THz-FDS podatkov in konvolucijske nevronske mreže. Razpoznavanje je zanesljivo in robustno, saj so uporabljeni testni vzorci uporabljali predhodno kalibriran sistem iz prve serije. Povprečna zaneljsivost razpoznavanja je okrog 97%. Z rezultati lahko potrdimo, da ima vsak pigment unikaten frekvenčni odtis v THz področju, saj jih je možno razpoznavati z naprednimi kalsifikacijkimi algoritmi. Glede hitrosti izvajanja razpoznavanja pri strukturi CNN 2, bi sistem lahko uporabili za izvajanje v realnem času, kot sistem za kontrolo kakovosti plastičnega materiala. Možna nadgradnja bi bila, da bi natančneje preiskali ožje frekvenčno področje v katerem se nahaja frekvenčni odtis pigmenta in tako pospešili zajemanje THz podatkov. Literatura [1] L. Yun-Shik, Principles of Terahertz Science and Technology, Springer, 2009 [2] J. B. Baxter, G. W. GugliettaTerahertz, “Terahertz Spectroscopy”, Anal. Chem. , vol. 83, no. 12, 4342–4368, 2011, https://doi.org/10.1021/ac200907z [3] M. Naftaly, N. Vieweg, and A. Deninger, “Industrial applications of terahertz sensing: State of play,” Sensors (Switzerland), vol. 19, no. 19, 2019, doi: 10.3390/s19194203 [4] Fischer, B.M.;Wietzke, S.; Reuter, M.; Peters, O.; Gente, R.; Jansen, C.; Vieweg, N.; Koch, M. Investigating material characteristics and morphology of polymers using terahertz technologies. IEEE Trans. Terahertz Sci. Technol. 2013, 3, 259–268 [5] Wietzke, S.; Jansen, C.; Reuter, M.; Jung, T.; Kraft, D.; Chatterjee, S.; Fischer, B.M.; Koch, M. Terahertz spectroscopy on polymers: A review of morphological studies. J. Mol. Struct. 2011, 1006, 41–51 [6] A. Ren, A. Zahid, M. A. Imran, A. Alomainy, D. Fan, and Q. H. Abbasi, “Terahertz sensing for fruit spoilage monitoring,” 2019 2nd Int. Work. Mob. Terahertz Syst. IWMTS 2019, pp. 1–4, 2019, doi: 10.1109/IWMTS.2019.8823735 [7] Y. D. Li, Z. B. Hao, and H. Lei, “Survey of convolutional neural network”, J. Comput. Appl., vol. 36, no. 9, pp. 2508-2515, 2565, 2016 [8] M. Hassaballah and A., I., Awad, “Deep Learning in Computer Vision: Principles and Applications”, CRC Press; 1st edition,2020 [9] L. Caña, J.P., G.Herrero, J., Molina López, “J.M. Forecasting Nonlinear Systems with LSTM: Analysis and Comparison with EKF”, Sensors 2021, 21, 1805. https://doi.org/10.3390/s21051805