folia biologica et geologica 57/2, 35–39, ljubljana 2016 RAZVOJ PATENTIRANEGA BREZPILOTNEGA SISTEMA ZA VZORčENJE IZ DREVESNIH KROŠENJ DEVELOPMENT OF A PATENTED UNMANNED AERIAL VEHICLE BASED SySTEM FOR TREE CANOPy SAMPLING Domen FINŽGAR*1, Marko BAJC1, Jernej BREZOVAR2, Andraž KLADNIK2, Rok CAPUDER2 in Hojka KRAIGHER1 Received December 28, 2016; accepted December 29, 2016. Delo je prispelo 28. decembra 2016, sprejeto 29. decembra 2016. iZVleČeK Razvoj patentiranega brezpilotnega sistema za vzorčenje iz drevesnih krošenj Potreba po vzorčenju v drevesnih krošnjah je prisotna v številnih panogah znotraj bioloških znanosti, npr. v gozdarstvu, botaniki, fitopatologiji idr. V tem prispevku smo pregledali značilnosti uveljavljenih načinov vzorčenja v drevesnih krošnjah in pregledali stanje tehnike na področju vzorčevalnikov nameščenih na brezpilotnih letalnikih. Predstavili smo patentiran sistem Lucanus za vzorčenje iz drevesnih krošenj z brezpilotnimi letalniki, ki je plod last- nega razvoja, in ga primerjali z uveljavljenimi načini vzorčenja in konkurenčnim sistemom vzorčenja z brezpilot- nimi letalniki. Na podlagi primerjave smo ugotovili, da sis- tem Lucanus in koncept vzorčenja z brezpilotnimi letalniki v veliki meri odpravljata pomanjkljivosti uveljavljenih načinov vzorčenja iz drevesnih krošenj saj je njegova uporaba varnejša za vzorčevalca, vzorčenje je natančno, selektivno in hkrati ne povzroča nepotrebnih poškodb vzorčenih dreves. Ključne pomanjkljivosti sistema Lucanus so zahteva po vi- soki izurjenosti upravljalca in relativno kratka avtonomija. Ključne besede: vzorčenje, drevesne krošnje, patent, drone, UAV, robotska roka, daljinsko upravljanje, EUFOR- INNO abStRact Development of a patented unmanned aerial vehicle based system for tree canopy sampling Collection of samples in tree canopies is a common re- quirement within a variety of disciplines e.g., forestry, bota- ny, phytopathology, etc. Established approaches to collecting samples in tree canopies and state of the art in the field of sampling in tree canopies with unmanned aerial vehicles (UAVs) were reviewed. A novel and patented UAV based sys- tem for sampling in tree canopies, Lucanus, was presented and its capabilities compared to the established sampling ap- proaches and a competitive UAV based system. Based on this comparison it was concluded that Lucanus, and UAV based approach to sampling in tree canopies in general, largely overcomes the shortcomings of the established sam- pling approaches as it offers greater safety for the operator, increased selectivity and accuracy, and reduces the level of unnecessary damage of the sampled tree. Key shortcomings of the Lucanus system include the requirement for a highly trained operator and a relatively short endurance. Key words: sampling, patent, tree canopy, drone, UAV, robotic arm, remotely controlled devices, EUFORINNO 1 Gozdarski inštitut Slovenije, Večna pot 2, SI – 1000 Ljubljana, Slovenija, E-pošta: domen.finzgar@gozdis.si 2 Zavod 404, Jamova cesta 80, SI-1000 Ljubljana, Slovenija Finžgar, Bajc, Brezovar, KladniK, capuder in Kraigher: razvoj paTenTiranega BrezpiloTnega SiSTeMa 36 folia biologica et geologica 57/2 – 2016 Vzorčenje v nivoju drevesnih krošenj je pogosto upora- bljena metoda znotraj področij gozdnega semenarstva, genetike, fiziologije, botanike, fitopatologije, in den- drologije. Takšno vzorčenje se navadno opravi s pleza- njem na drevo, posekom drevesa, s katerega želimo odvzeti vzorec, ali z odstrelom veje z drevesa s strelnim orožjem. Pomanjkljivosti takšnih metod je več. Pri ple- zanju predstavlja težavo predvsem sorazmerno visoka cena najema plezalca in visoka poraba časa, hkrati pa je plezalec neprestano izpostavljen nevarnosti padca. Od- strel pomeni invazivno in naključno vzorčenje, ki je za vzorčevalca in gozdno bioto potencialno nevaren, posek pa ne omogoča večkratnih ponovitev vzorčenj na istih osebkih in je tako v večini primerov nespreje- mljiv. Z razvojem tehnologije brezpilotnih letalnikov se je na Gozdarskem inštitutu Slovenije (GIS) osnovala ideja za razvoj daljinsko upravljane naprave za jemanje vzorcev iz drevesnih krošenj. Prvo napravo za vzorčenje v drevesnih koršnjah z brezpilotnimi letalniki so po našem vedenju skonstru- irali na Oddelku za gozdno mikologijo in patologijo Univerze v Berkelyu (UC BERKELEy, 2016). Njihov sistem obsega komercialno dostopen model brezpilo- tnega letalnika DJI Phantom 2 (DJI, 2015) z ravnim izvodilom na koncu katerega je ostro kljukasto rezilo. Upravljavčeva naloga je, da kljukasto rezilo pravilno zatakne za vejo, nato pa jo s fizično silo, s premikanjem letalnika vzvratno, poizkuša odrezati z drevesa. Ta- kšno Vzorčenje se še vedno izvaja relativno naključno, rezanje pa ni dovolj natančno za večino rutinskih vzorčenj. Poleg tega takšno vzorčenje ni primerno zno- traj strnjenega gozdnega sestoja, saj se v trenutku, ko rezilo prereže vejo, odrezana veja loči od krošnje in vlečna sila povzroči, da se brezpilotni letalnik nekon- trolirano premakne v smeri vlečenja, kar lahko pov- zroči trčenje v sosednjo krošnjo. Poleg tega letalnik Univerze v Berkely-u ni opremljen z nikakršnim varo- valnim mehanizmom, ki bi v primeru, da se rezilo za- takne znotraj krošnje, omogočil odklop rezila od brez- pilotnega letalnika. Z namenom odprave naštetih pomanjkljivosti in implementacije lastnih idej je Oddelek za gozdno fizi- ologijo in genetiko na GIS v sodelovanju z mladinskim tehnološko-razvojnim centrom Zavod 404 v okviru projekta EUFORINNO pripravil načrte za napravo vzorčenja drevesnih krošenj z brezpilotnim letalnikom z imenom Lucanus (GIS & Zavod 404, 2016; Slika 1; Slika 2). Slika 1: Prvi prototip sistema Lucanus nameščen na brezpilotnem letalniku Sky Hero Spyder X8. Figure 1: First Lucanus system prototype mounted on a Sky Hero Spyder X8 drone. Finžgar, Bajc, Brezovar, KladniK, capuder in Kraigher: razvoj paTenTiranega BrezpiloTnega SiSTeMa 37folia biologica et geologica 57/2 – 2016 Inovacije sistema Lucanus so zbrane na daljinsko upravljani mehanični roki, ki jo sestavljajo trije glavni moduli. Prvi modul je nastavek, s katerim je roka pri- trjena na letalnik in vsebuje daljinsko prožen varoval- ni mehanizem, ki ob kritičnih dogodkih, ki lahko ogrozijo letalno napravo (npr. če se roka zatakne v vejah), omogoča odklop robotske roke z naprave. V na- sprotju z letalnikom Univerze v Berkeley-u je rezalno orodje sistema Lucanus pritrjeno na letalnik neposre- dno pod njegovim težiščem, kar omogoča maksimalni izkoristek nosilnosti letalnika in hkrati ne ruši njegove stabilnosti. Drugi modul je sistem kamer, senzorjev in laserjev za daljinsko upravljanje in nadzor mehanske roke. Senzorji omogočajo natančno pozicioniranje v krošnji in lociranje reza na veji. Zadnji modulski del robotske roke predstavlja rezilo s prijemalom. Prijema- lo zagotovi, da veja po rezu ne zdrsne z roke. Sistem vzmeti zagotavlja silo, potrebno za rezanje in prijem veje. Upravljalec vodi letalnik in odvzame vzorec s po- močjo kamere na krovu letalnika, ki prikazuje sliko na zaslonu, nameščenem na daljinskem upravljalniku. S tem je omogočeno delovanje tudi na večjih razdaljah ali celo ko upravljalec izgubi vizualni stik z letalnikom. Sistem Lucanus je trenutno nameščen na brezpilo- tnem letalniku z osmimi rotorji na osnovi šasije Sky Hero Spyder X8 in z DJI-jevim avtopilotom. Brezpilotni letalnik je bil sestavljen iz komercialno dostopnih kom- ponent in ga odlikujejo visoka stabilnost in odzivnost ter velika nosilnost, ki znaša približno 7 kg. Takšna re- šitev omogoča nabiranje debelejših vej (tudi s plodovi) in v zahtevnih letalnih pogojih. Pregled prednosti in slabosti obeh sistemov je naveden v Preglednici 1. Slika 2: Podrobni prikaz vzorčevalnega orodja sistema Lucanus. 1 – škarje; 2 – prijemalo za vzorec; 3 – vodila za zajem vzorca; 4 – laser; 5 – kamera; 6 – vzmeti. Figure 2: Detailed view of the Lucanus sampling tool. 1 – cutter; 2 – sample grabbing tool; 3 – sample guide rods; 4 – laser; 5 – camera; 6 – operating springs. Rešitve, ki so bile vpeljane v prototip sistema Luca- nus je razvojna ekipa želela pravno zaščiti. Z dnem 30. 9. 2016 je Ministrstvo za gospodarski razvoj in tehno- logijo, Urad RS za intelektualno lastnino podelilo pa- tent, evidentiran pod številko SI 24941 (prijava št. P-201500288) z nazivom Daljinsko upravljana priprava za jemanje vzorcev iz drevesnih krošenj. Patent, ki za- objema sistem Lucanus je tako veljaven v Republiki Sloveniji do najmanj 02. 12. 2018. Leta 2015 je bila pri Evropskem patentnem uradu (prijava št. EP16150006.1) vložena patentna prijava. Na odločbo urada za slednji patent prijavitelji še čakajo. Prvi izdelan prototip Lucanusa je uspešno prestal javno predstavitev na EUFORINNO delavnici o gozdnem Finžgar, Bajc, Brezovar, KladniK, capuder in Kraigher: razvoj paTenTiranega BrezpiloTnega SiSTeMa 38 folia biologica et geologica 57/2 – 2016 genetskem monitoringu in genskih bankah, ki je pote- kala 25. januarja 2016 v Ljubljani. Sistem Lucanus omogoča natančen, selektiven in za upravljalca varen odvzem vzorcev iz drevesnih krošenj, tudi samega vrha le-teh, pri tem pa je močno zmanjšana povzroči- tev poškodb vzorčenega drevesa, kar je ena izmed ključnih pomanjkljiovsti dosedanjih pristopov vzorče- nja v drevesnih krošnjah. Kljub temu, da Lucanus že omogoča vzorčenje v drevesnih krošnjah in ga na GIS že planiramo uporabiti v tekočih in bodočih projektih, je možnosti za izboljšavo prototipa še veliko. Ključno pomanjkljivost sistema Lucanus predstavlja zahteva po visoki izurjenosti upravljalca in relativno kratka avto- nomija (cca 30 min), ki pa je hiba trenutno vseh heli- kopterskih brezpilotnih letalnikov. Naslednje faze ra- zvoja bodo, ob pridobitvi novih razvojnih sredstev, zajemale artikulacijo orodja z rezilom in prijemalom v treh oseh, nastavitve naklona roke pod poljubnim kotom in razvoj sistema za napenjanje vzmeti v zraku. Ravno tako si razvojna ekipa želi čimprej integrirati RTK (real time kinematic) GPS sistem, ki bi omogočil izjemno natančnost pozicioniranja in izboljšano sta- bilnost letalnika, ter izboljšati zmogljivost senzorjev za zaznavo okolice. Zaradi privlačnosti takšnega sistema za širšo javnost pa bi sistem radi uporabili tudi pri vključevanju mladih v raziskovalnem delu in nadalj- njem tehnološkem razvoju. Z integracijo ustreznih senzorjev in uporabo izboljšanega avtopilota bi lahko v prihodnosti izboljšali antonomnost sistema tako da bi lahko zgolj s pritiskom gumba letalnik poslali globoko v gozdni sestoj nad točno določeno drevo, potem pre- vzeli nadzor nad njim in opravili rez. Preglednica 1: Primerjava dveh prototipov za vzorčenje drevesnih krošenj z brezpilotnimi letalniki. table 1: comparison of two systems for tree canopy sampling utilising unmanned aerial vehicles (UaVs) – drones. lucanus Uc berkeley »Sampler drone« Maksimalna nosilnost 7 kg 0,67 kg Maximum payload Uporabni tovor* 4,6 kg 0,3 kg** Useful payload* Pozicija rezanja Nenaključna Naključna Position of the cut Non random Random Debelina veje ≤ 1,5 cm Tanjše veje Branch diameter Very thin branches Število vzorčenj na let 1 uspešen rez, 1 poizkus 1 uspešen rez, poljubno število poizkusov N of samplings per flight 1 attempt, 1 successful sampling multiple attempts, 1 successful sampling Vzorčenje v sestoju Da Ne Sampling in stands Yes No Varnostni mehanizem za odklop rezalne roke Da Ne Safety release mechanism Yes No Način reza Škarje na vzmet S premikanjem letalnika v smeri reza Method of cutting Spring-actuated cutter By pulling with the UAV lokacija vzorčenja Vrh krošnje ali stranske veje Stranske veje Sampled canopy parts Top or side branches Side branches only Prijemalo za vejico Da Ne Sample grabbing tool Yes No Namestitev orodja Neposredno pod težiščem Odmaknjeno od težišča Tool location Directly under the center of gravity Offset from the center of gravity * Uporabni tovor je definiran kot masa, ki jo letalnik lahko nosi poleg baterij in ostalih komponent, ki so nujno potrebne za normalno delovanje letalnika. Useful payload is defined as the mass that a UAV can lift in addition to batteries and other components that are essential for normal operation. ** Dejanski varni uporabni tovor letalnika Univerze v Berkeley-u je bistveno nižji od navedenih 0,3 kg zaradi občutnega odmika rezalnika od točke težišča letalnika. Useful safe payload of the UC Berkeley Sampler drone is substantially lower than the specified 0,3 kg due to off- -setting of the cutting tool from the UAV‘s center of gravity. Finžgar, Bajc, Brezovar, KladniK, capuder in Kraigher: razvoj paTenTiranega BrezpiloTnega SiSTeMa 39folia biologica et geologica 57/2 – 2016 The need for collecting samples in tree canopies is common within a variety of different disciplines e.g., forest seed production, genetics, physiology, botany, phytopathology, dendrology. Currently, such sampling can be accomplished by either climbing a selected tree, cutting of the whole tree or shooting off the selected branch. However, all three above mentioned approach- es have several drawbacks. They are either too expen- sive, too random, too time consuming, they can be dangerous or too invasive. These drawbacks could be overcome with the developments in the area of un- manned aerial vehicles (UAVs). As a matter of fact, they were firstly addressed at the UC Berkeley, The Forest Mycology and Pathology Lab (UC Berkeley, 2016). Their solution for canopy sampling includes a commercially available UAV system DJI Phantom 2 with a hook-shaped blade attached rigidly to the drone via a straight pole. Since there are no external controls for the cutting tool, the operator must fly the UAV in- side the canopy and randomly cut the sample out of it, risking impact. If the cutting tool stays lodged in the tree canopy, a lack of any safety mechanism prevents the operator to detach the cutting tool from the UAV in order to save it. The above mentioned drawbacks were addressed and solutions devised in cooperation between the De- partment of forest physiology and genetics of the Slo- venian Forestry Institute (SFI) and Institute 404 as a part of the EUFORINNO project. The result was UAV solution for tree canopy sampling – Lucanus (GIS & Zavod 404, 2016). Lucanus is a remotely controlled mechanical arm composed of several modules. These modules include: a) connecting module that connects the tool to the UAV and also serves as a safety release mechanism al- lowing a quick remotely actuated detachment of the tool in case of emergency, b) the system of cameras, sensors and lasers that allows efficient and precise po- SUMMARy sitioning of the UAV in the terminal approach phase and precise cutting of the sample with the mechanical arm, c) cutting/grabbing tool module composed of spring actuated cutters and sample gripping mecha- nism. Imagery captured by the on-board camera is dis- played on a separate LCD screen that is connected to the remote control station. This allows the operator to accomplish sampling at greater distances or even out- side the line-of-sight between the UAV and the opera- tor. Lucanus is currently installed on a custom eight- rotor UAV, based on the Sky Hero Spyder X8 airframe with a DJI autopilot. Such configuration was chosen for its high stability, responsiveness and high payload. Its maximum payload is 7 kg, which allows sampling of heavier branches or even branches bearing repro- ductive bodies (fruits). The implemented solutions were applied for patent by the inventors from both SFI and Institute 404. The national patent was granted on 30. 9. 2016 under patent nr. SI 24941 by The Slovenian Intellectual Property Of- fice (SIPO) which is an autonomous body within the Slovenian Ministry of Economic Development and Technology. Solution is currently also patent pending in European Patent Office (application no. EP16150006.1). Lucanus was successfully publicly demonstrated at EUFORINNO Forest genetic monitoring and gene banks workshop held on January 25th 2016. Although Lucanus prototype has proven the feasibility of tree canopy sampling by UAV, the development team is al- ready planning new improvements to make the Lu- canus more user friendly and efficient. Envisioned fu- ture upgrades include implementation of the Real time kinematic GPS system (RTK), full articulation of the sampling arm, improved spring-loaded cutting system with in-flight re-cocking capability and improved sen- sor package. LITERATURA - REFERENCES DJI, 2015: Phantom 2 User manual v1.4. DJI, Shenzhen, China. p 36. (http://dl.djicdn.com/downloads/phantom_2/ en/PHANTOM2_User_Manual_v1.4_en.pdf, 23.12.2016) UC Berkeley, 2016: Sampler drones for forestry reasearch. Forest Pathology and Mycology Laboratory, Berkeley University of California. (https://nature.berkeley.edu/garbelottowp/?p=1801, 23.12.2016) GIS & Zavod 404, 2016: Sistem Lucanus. Gozdarski inštitut Slovenije / Zavod 404. (http://lucanus.gozdis.si/, 23.12.2016).