STROJNI VID Zaznavanje dolitosti dolgih brizganih izdelkov s strojnim vidom Miha PIPAN, Niko HERAKOVIČ Izvleček: V članku je predstavljena učinkovita aplikacija nadzorovanja kakovosti sestavnih delov na izhodu stroja za brizganje plastike v dejanskem proizvodnem procesu. Prepoznavanje je izvedeno s strojnim vidom. Proces brizganja dolgih tulcev iz umetne mase je zaradi hitrega tečenja materiala v brizgalnem stroju nestabilen. Zaradi tega so potrebni 100-odstotna kontrola, analiza kakovosti izdelka in sortiranje izdelkov na dobre, nedolite in prelite. Ključne besede: strojni vid, zaznavanje napak, brizganje dolgih izdelkov, nedolitost, prelitost t t Prelito Nedolito Slika 1. Napake na brizganih tulcih ■ 1 Uvod Napake na brizganih tulcih so lahko nedolitje ali prelitje plastične mase (slika 1). Število napak pri brizganju dolgih tulcev je veliko, saj je zaradi dolge poti tečenja materiala proces nestabilen in je izmet lahko tudi nekaj odstotkov. Nedoliti tulci vedno predstavljajo izmet, prelite izdelke pa je mogoče z dodatno obdelavo (odrezovanje prelitega dela) popraviti in so označeni kot dober izdelek. Dober izdelek se od nedolitega brez težav loči s prostim očesom. Kontrola prelitja in določitev, ali je prelitje v tolerančnem območju, pa sta s prostim očesom nemogoči. Zaradi 100-od-stotne kontrole, izločitve človeške napake in določitve, ali je prelitje v tolerančnem območju, je nujna uporaba strojnega vida [1] [2]. ■ 2 Naprava za avtomatično zaznavanje napak Napravo za avtomatično zaznavanje napake nedolitosti in prelitosti dolgih tulcev sestavljajo štiri kamere in ustrezna programska oprema za obdelavo slik (slika 2). Značilnosti naprave: • napake zaznavajo štiri kamere Basler in krmilnik Beckhoff CX (procesor i7), • LED-osvetlitev, • programska oprema, razvita v laboratoriju LASIM, • spreminjanje tolerance dobrih/ slabih kosov, • avtomatično prilagajanje na različne premere in dolžine tulcev, • priključek za sinhronizacijo z Miha Pipan, univ. dipl. inž., prof. dr. Niko Herakovič, univ. dipl. inž., oba Univerza v Ljubljani, Fakulteta za strojništvo • vJr a al ^^ Jr iv / Slika 2. Kamere in osvetlitev 36 Ventil 22 /2016/ 1 39 STROJNI VID Slika 3. Testiranje naprave za zaznavanje napak dolitosti/nedolitosti na brizganih tulcih robotsko roko, • resolucija zaznave napak 0,06 mm. Naprava je sestavljena iz ohišja (slika 3), v katerem so štiri kamere, osvetlitev, napajanje in po višini ročno nastavljiva pozicionirna mizica. Nanjo je navpično pritrjen kovinski čep bele barve, na katerega se pozicionira tulec iz črne umetne mase, ki ga merimo. ■ 3 Napake, ki jih zaznava kontrolna naprava Na sliki 4 je prikazan grafični vmesnik, na katerem je viden prelit rob tulca, ki je bil v celoti razvit v programskem jeziku C++ z uporabo knjižnice OpenCV [3]. Grafični vmesnik omogoča spremljanje delovanja naprave in spreminjanje tolerančnega praga zaznavanja napak. Posamezne tulce odlaga v napravo robotska roka, zato naprava omogoča komunikacijo z robotom za manipulacijo tulcev in po 24 V vhodno-izhodnega modula sporoči rezultat opravljene meritve. Glede na to, ali je tulec prelit, nedolit ali ustrezen, robot odstrani tulec z naprave in ga odloži na ustrezno mesto. Kalibracijo po višini izvedemo tako, da tulec ustrezne dolžine in brez napak vstavimo na čep. Nato ročno nastavimo pozicionirno mizico po višini, tako da je rob tulca na sredi- ni slike kamer. Z gumb om »Zajemi slike« zajamemo slike s kamer. Ko je vodoravni rob tulca na sredini kamere, pritisnemo gumb »Shrani parametre«. Takrat se analizirajo slike iz vsake od štirih kamer in se avtomatično zabeleži lega vodoravnega roba tulca za vsako sliko posebej. Rob tulca se zazna z algoritmom za zaznavo robov po metodi Canny, s katero se analizira sivinska slika. Sestavljen je iz naslednjih petih sklopov [4]: • Uporaba Gaussovega filtra (osnova Gaussovega jedra za velikost (2k+1)x(2k+1) - enačba (1)). Filter se uporabi za odstranitev šuma. Z njim se majhna odstopanja med sosednjimi pi-ksli pogladijo, s čimer dobimo sliko z jasnimi robovi. H.. - nova izračunana vrednost piksla s koordinatami i in j, o - intenziteta filtra, k - število upoštevanih sosednjih pikslov. 1 ^¿-fc-i)2 + o-fc-irj • Najdi gradient intenzivnosti -enačba (2), s čimer poiščemo gradient vertikalnih, horizontalnih in diagonalnih robov. V našem primeru se filter nastavi tako, da se iščej o le horizontalni in vertikalni robovi (0 = 3i29° -1° in (0 = 89 ° - 91°). G -g radient intenzivnosti, Gx- gradient v smeri x, G - gradient v smeri y, 0- kotroba. G = J^jH-G* (2) 00 = atanr^Gi) (3) • Uporabi zajezitev območij, ki ne vsebujejo maksimumov. S tem korakom stanjšamo robove, saj so po izračunu gradientov robovi še vedno megleni. Tako filter vse gradiente izniči, razen 4 iftSJAl ŠVS+EMS ■—---i— _ Slika 4. Primer prelitega roba tulca, prikaz slike prve kamere Ventil 22 /2016/ 1 39 STROJNI VID lokalnih maksimumov. • Uporabi dvojno upragovanje za iskanje potencialnih robov, s čimer dobimo binarno sliko in jasne robove brez zameglitve. • Robovom sledimo po histerezi, odstranijo se vsi šibki robovi. Vsi močni robovi so avtomatično označeni, vendar s sledenjem po histerezi lahko potrdimo ali ovr-žemo prisotnost šibkih robov. • Najdi dva najmočnejša vertikalna in en horizontalni rob. Nato se pozicionirajo premice na zaznan horizontalni in vertikalni rob. Glede na horizontalno premico se določi center in meje tolerančnega polja (slika 5). Tako odpravimo napake zaradi toleranc pri nameščanju kamer pri gradnji naprave. Odpre se okno, kamor vpišemo geslo »kamera« in pritisnemo »ENTER«. Nazadnje zategnemo vijak a in zapremo sprednjo ploščo. Algoritem za zaznavo prelitosti in nedolitosti deluje na principu štetja pikslov, ki so nad spodnjo ali nad zgornjo tolerančno mejo (Npr < 0 in Nnd < 0, kjer je Npr - število pikslov pod spodnjo mejo in Nnd število pikslov nad zgornjo tolerančno mejo). Če je nad tolerančno mejo zaznan vsaj 1 piksel, je zazn ana napaka. Tolerančna meja se določi v mm z resolucijo 0,1 mm. Način preračuna pikslov izven meja tolerančnega polja za prelitje je prikazan v enačbi (4) in za nedolite v enačbi (5) [4]. dr Z S sm+n \ ( ^ Pxy < ll (4) \y=sm j x=lr dr Z(ZY - \ ( 2_, Px,y 1) (5) x=lr x in y predstavljata koordinate piksla P P - vrednost piksla P, Ir - x koordinata zaznanega levega roba tulca, dr - x koordinata desnega roba tulca, n - višina polja za zaznavo napake (uporabili smo n = 200px), sm - spodnja meja tolerančnega polja v koordinati y in zm - zgornja meja tolerančnega polja v koordinati y. 38 Slika 5. Kalibracija po višini Shematski prikaz zaznavanja ne-dolitosti in prelitosti je prikazan na slikah 6 in 7. Ker analiziramo binarno sliko, je na mestu, kjer se nahaja material zabrizganega tulca, vrednost piksla enaka 0 - črn piksel. Kjer pa tulca ni, je vrednost piksla enaka 1, torej je piksel bele barve. Na ta način lahko seštevamo vrednosti pikslov, ki so zunaj tolerančnega polja. Za vsak stolpec pikslov se izračuna, koliko pikslov je šlo čez mejo. Če je kos tako prelit kot tudi nedolit, se sporočita obe napaki. f 0 X 0 0 0 u G P 0 0 0 0 0 & 0 0 L! 0 P e 0 a o G 0 a 0 u n 0 p 0 n 0 n D □ D n ¡} □ □ 0 □ ¿gornja tolerančna 0 p C P o P P P P P P U & 0 nEfja (! 0 Q G Lt o 0 Ll o o □ Ll □ Kalltarirana sredina 1 L L 0 0 a P Q n o i 1 i 1 1 1 i) 0 o p p rt 0 i 1 i Spodnja tolerančna 1 l 1 \ 1 l ] ] i meja 1 t 1 1 1 i 1 i i l i i l 1 1 J 1 i 1 1 i j l i i V1 1 Npr'- 52*2+2+1 7 Slika 6. Zaznano prelitje roba izdelka s skupnim seštevkom 7pikslov Nnd 1+1 j X □ p C C D a P p p P P P 0 C o p 0 0 0 & 0 p p P P P P C u p ij t 0 i i p p P P P 0 C Zgornja toferančna 0 p C 0 0 i i i i 0 P 0 0 C rri&js 0 O 0 0 1 i i i ^ 0 O 0 0 0 Kalibrirana sredina i i 1 1 1 i i i i 1 1 1 1 1 i i 1 1 1 i i i i 1 1 1 1 1 ipodrifu i i ] J 1 i i i L 1 1 L 1 1 tolerančna meja i i 1 1 1 i i i 1 1 1 1 1 1 i L ] J ] i i i L 1 L L 1 1 V1 f Nf* »0 Slika 7. Zaznana nedolitost roba izdelka s skupnim seštevkom 2 piksla Ventil 22 /2016/ 1 39 STROJNI VID ■ 4 Komunikacija z robotsko roko Naprava omogoča komunikacijo z robotom, ki lahko vstavlja tulce iz umetne mase v napravo, da se izmerijo, po končani meritvi pa jih odstrani na ustrezno mesto glede na to, ali je predmet ustrezen ali ne. Naprava robotu signalizira, kdaj je meritev končana (signal A = 1), ali je rob predmeta ustrezen (B = 0, C = 0), prelit (B = 1) ali nedolit (C = 1). Robot mora najprej poslati signal (R1), da naprava preveri, če je pripravljena, da se lahko vanjo vstavi tulec, potem pa pošlje signal, da je pripravljena (D = 1). Robot nato vstavi tulec v napravo. Naprava čaka na signal robota (R2), kdaj naj se začne meritev. Ta signal mora robot poslati, ko je tulec vstavljen v napravo. Blokovna shema programa naprave in komunikacijskih signalov je prikazana na sliki 8. Na sliki 9 je prikazan električni priključek naprave za digitalne signale. Priključek je tipa DE-9 M. Uporablja se napetost 24 V. Pomen digitalnih signalov je opisan na blokovni shemi algoritma na sliki 8. Za povezavo z robotom potrebujemo kabel s priključkom DE-9 Ž na eni strani, na drugi strani pa ustrezen kabel za priklop na krmilnik robota. ■ 5 Zaključek Raziskava in naprava za preverjanje kakovosti izdelkov s strojnim vidom sta bili narejeni v laboratoriju LA-SIM za podjetje Polycom, d. o. o. Napravo smo uspešno preizkusili s testno serijo tulcev, ki smo jih ročno vstavljali. Algoritem za zaznavanje napak je razvit z uporabo zaznave robov po tehniki Canny in nato določi robove in tolerance. Z analizo pikslov izven meja tolerančnega območja nato izračunamo, ali je izdelek prelit ali nedolit. Temu je sledila umestitev naprave v proizvodno linijo. Testno obdobje naprave je bilo en mesec v dveh izmenah. Naprava je ves čas delovala brez napak in pravilno ločila vse tulce glede na zaznano napako. Z implementacijo inovativnih pristo- izdelkov ter zaznavanje napak dose-pov in uporabo pametnih algorit- žemo 100-odstotno kontrolo brez mov za prilagajanje različnim vrstam vpliva na proizvodne čase in takte. Slika 8. Blokovna shema programa in komunikacijskih signalov Slika 9. Priključek naprave, 24 V signali Ventil 22 /2016/ 1 39 STROJNI VID [1] R. Davies, Computer and Machine Vision, 4th Edition Theory, Algorithms, Practicalities Opsylum. 2012. [2] S. Nashat, a. Abdullah, and M. Z. Abdullah, "Machine vision for crack inspection of biscuits featuring pyramid detection scheme," J. Food Eng., vol. 120, no. 1, pp. 233-247, 2014. [3] The OpenCV Reference Manual. OpenCV Community. 2010. [4] R. C. González, R. E. Woods, and S. L. Eddins, Digital image processing using MATLAB. 2004. Detection over moulding/short shot of long moulded products with machine vision Abstract: This paper presents a developed application for effective quality control of injection-moulded parts in the actual production process, where the identification is performed with machine vision. Achieving maximum length of injection moulded plastic tubes makes the injection moulding process unstable. Therefore, 100 % product quality control and sorting of good, short shot and over moulded parts is needed. Keywords: machine vision, errors detections, injection moulding, long products, short shot, over moulding Man and Machine www.staubli.si Kaj če robot in človek (resnično) delata skupaj? Poleg zagotavljanja učinkovitosti morajo biti roboti predvsem človekov partner. Roboti niso namenjeni zamenjavi človeka pač pa človeku v podporo preko enostavnega in učinkovitega sodelovanja. Staubli roboti delujejo hitro, natančno in varno. A v prvi vrsti v sodelovanju s človekom! Kontakt: Brane Čenčič, Tel.: 00386 41 747 536, brane.cencic@domel.com Staubu Staubli is a trademark of Staubli International AG, registered in Switzerland and other countries. © Staubli 2015, Semaphore & Co 2014, "Man and machine" is a registered trademark of Staubli International AG. D0M6L