Acta Silvae et Ligni 114 (2017), 21-29 21 Izvirni znanstveni članek / Original scientific paper UPORABA METOD STROJNEGA UČENJA ZA PREUČEVANJE ODNOSOV MED ZNAČILNOSTMI BRANIK IN OKOLJEM ON THE USE OF MACHINE LEARNING METHODS TO STUDY THE RELATIONSHIPS BETWEEN TREE-RING CHARACTERISTICS AND THE ENVIRONMENT Jernej JEVŠENAK1, Sašo DŽEROSKI2, 3, Tom LEVANIČ4 (1) Gozdarski inštitut Slovenije, Večna pot 2, SI-1000 Ljubljana; jernej.jevsenak@gozdis.si (2) Inštitut »Jožef Stefan«, Jamova cesta 39, SI-1000 Ljubljana; saso.dzeroski@ijs.si (3) Mednarodna podiplomska šola Jožefa Stefana, Jamova cesta 39, SI-1000 Ljubljana; saso.dzeroski@ijs.si (4) Gozdarski inštitut Slovenije, Večna pot 2, SI-1000 Ljubljana; tom.levanic@gozdis.si IZVLEČEK Različne študije so pokazale, da lahko z nelinearnimi metodami bolje opišemo (modeliramo) odnos med branikami in okoljem. V naši študiji smo primerjali (multiplo) linearno regresijo (MLR) in štiri nelinearne metode strojnega učenja: modelna dreve- sa (MT), ansambel bagging modelnih dreves (BMT), umetne nevronske mreže (ANN) in metodo naključnih gozdov (RF). Za primerjavo teh metod modeliranja smo uporabili štiri množice podatkov. Natančnost naučenih modelov smo ocenili z metodo 10-kratnega prečnega preverjanja (ang. 10-fold cross-validation) na naši množici in preverjanjem na dodatni testni množici. Na vseh množicah smo dobili boljše statistične kazalce za nelinearne metode s področja strojnega učenja, s katerimi lahko pojasnimo večji delež variance oz. dobimo manjšo napako. Nobena metoda se ni pokazala kot najboljša v vseh primerih, zato je smiselno predhodno primerjati več različnih metod in nato uporabiti najprimernejšo, npr. za rekonstrukcijo klime. Ključne besede: strojno učenje, primerjava metod, dendroklimatologija, umetne nevronske mreže, modelna drevesa, ansambel modelnih dreves, naključni gozdovi, linearna regresija ABSTRACT Many studies have shown that by using nonlinear methods, the relationship between tree-ring parameters and the environ- ment can be described (modelled) better and in more detail. In our study, (multiple) linear regression (MLR) with four non- linear machine learning methods are compared: artificial neural networks (ANN), model trees (MT), bagging of model trees (BMT) and random forests of regression trees (RF). To compare the different regression methods, four datasets were used. The performance of the learned models was estimated by using 10-fold cross-validation and an additional hold-out test. For all da- tasets, better results were obtained by the nonlinear machine learning regression methods, which can explain more variance and yield lower error. However, none of the considered methods outperformed all other methods for all datasets. Therefore, we suggest testing several different methods before selecting the best one, e.g. for climate reconstruction. Key words: machine learning, method comparison, dendroclimatology, artificial neural networks, model trees, regression trees, ensembles of model trees, random forest, linear regression GDK 52:111.8(045)=163.6 Prispelo / Received: 4. 12. 2017 DOI 10.20315/ASetL.114.2 Sprejeto / Accepted: 8. 1. 2018 1 UVOD 1 INTRODUCTION Drevesa zmernih geografskih širin vsako leto pro- izvedejo eno širino branike, to je letni prirastek, v ka- teri so shranjene informacije o okolju v času njihove- ga nastanka. Z analizo izvrtkov tako dobimo vpogled v preteklost dreves, sestojev in posredno tudi okolja. Razumevanje rasti dreves je pomembno za optimalno sprejemanje odločitev pri načrtovanju in gojenju goz- dov, za natančnejše napovedovanje rasti v prihodnosti in natančnejše rekonstrukcije klime v preteklosti. Z analizo branik in primerjavo njihovih značilnosti z okoljskimi podatki (npr. temperature) dobimo vpo- gled v odnos med rastnimi parametri in okoljem. Ta odnos se navadno opiše z linearnim regresijskim mo- delom. Različne študije kažejo, da je odnos med klimo in parametri branik bolj ali manj nelinearen (Evans in sod., 2006; Helama in sod., 2009). Linearnost je mo- goča na ožjem spektru odzivnega intervala, na širšem spektru pa se spreminja, saj drevesa drugače uspevajo v optimalnih in suboptimalnih razmerah. 22 Jevšenak J., Džeroski S., Levanič T.: Uporaba metod strojnega učenja za preučevanje odnosov med značilnostmi ... Z informacijsko revolucijo računalniki postajajo zmogljivejši in v zadnjih desetletjih se vse bolj uvelja- vljajo t.i. metode strojnega učenja (ang. Machine Lear- ning). Strojno učenje je področje umetne inteligence, ki se osredotoča na načrtovanje algoritmov za prepozna- vanje kompleksnih vzorcev in sprejemanje inteligen- tnih odločitev (Pohorec, 2013). Z metodami strojnega učenja lahko rešujemo različne vrste problemov: • klasifikacijske probleme (npr. zdravo / odmrlo dre- vo; aktiven / neaktiven lastnik), • razvrščanje (npr. razvrščanje dreves v skupine gle- de na prirastek), • regresijske probleme (npr. odnos med parametri branik in okoljem). V našem prispevku želimo 1) predstaviti izbrane nelinearne metode strojnega učenja za reševanje re- gresijskih problemov in 2) predstaviti in primerjati rezultate linearnih (okrajšava MLR) in nelinearnih mo- delov na štirih različnih naborih (množicah) podatkov. 2 METODE 2 METHODS 2.1 Nelinearne metode strojnega učenja 2.1 Nonlinear machine learning methods 2.1.1 Drevesne metode 2.1.1 Tree-based methods Odločitvena drevesa (Quinlan, 1986) so hierarhič- ne podatkovne strukture. Sestavljena so iz notranjih vozlišč, vej in listov. List vsebuje napovedi vrednosti razreda oz. ciljne spremenljivke. Če ima ciljna (odvi- sna) spremenljivka zvezne vrednosti, govorimo o re- gresijskem drevesu. Kadar so lahko v listih regresijskih dreves linearne enačbe, govorimo o modelnih drevesih (Quinlan, 1992; an. Model Trees, okrajšava MT; Slika 1b). Ta drevesa so analogna odsekoma linearnim funk- cijam. Odločitveno drevo ponazarja graf ali model od- ločitev in možnih posledic. Interpretacija odločitvenih dreves je enostavna in lahko razumljiva (primer na sli- ki 4). Drevesa opisujejo odnos med odvisno in eno ali več neodvisnimi spremenljivkami. Odločitvena dreve- sa ne zahtevajo nobenih predpostavk o porazdelitvah spremenljivk. Pri graditvi odločitvenega drevesa je osnovna na- loga algoritma oceniti pomembnost posameznega atributa oz. neodvisne spremenljivke za podani učni problem. Najpogosteje se uporabljajo naslednje mere: informacijski prispevek (ang. information gain), raz- merje informacijskega prispevka (ang. gain-ratio), Gini-indeks, RelieF in razlika variance. Enostavna od- ločitvena drevesa se pogosto izkažejo za boljša, zato je treba kompleksna drevesa obrezati (ang. pruning). Obrezovanje je ključno, da se izognemo problemu pre- tiranega prileganja (ang. overfitting). O pretiranem pri- leganju govorimo, kadar je model preveč podroben in kompleksen ter posledično zelo dobro deluje na učnih podatkih, vendar na neodvisnih podatkih daje izredno slabe rezultate. Uporaba ansamblov pomeni, da končni model po- nazarja kombinacijo (povprečje) več individualnih modelov. Natančnost ansambla za klasifikacijske in regresijske probleme je večja kot natančnost posame- znih članov. Za uspešno delovanje ansamblov morajo biti posamezni členi raznoliki, torej se morajo učiti na različnih podmnožicah učnih podatkov oziroma upo- rabljati različne učne algoritme (Pohorec, 2013). V na- šem prispevku predstavljamo naključne gozdove (ang. Random Forests, okrajšava RF) in bagging (Breiman, 1996). Metoda bagging izkorišča nestabilnost učnih algo- ritmov. Najprej se z uporabo vzorčenja z zamenjavo oz. postopkom bootstrap tvori n učnih podmnožic. Vsako podmnožico uporabimo za graditev ločenega mode- la. Ob uporabi ansambla vsak od n članov vrne svojo napoved. Bagging vrne kot končni rezultat povprečje vseh napovedi. V naši raziskavi smo metodo bagging uporabili skupaj z metodo modelnih dreves (BMT) in gradili gozdove tovrstnih dreves. Naključne gozdove sestavljajo odločitvena drevesa, naučena z delnim naključnim postopkom. Z uporabo postopka bootstrap iz osnovne učne množice naredi- mo izbrano število učnih množic. Nad vsako množico nato zgradimo odločitveno drevo, pri čemer je atri- but, na osnovi katerega razcepimo vozlišče v drevesu, vsakikrat izbran izmed določenega števila naključno izbranih atributov. Napovedi vseh zgrajenih dreves združimo z večinskim glasovanjem. 2.1.2 Umetne nevronske mreže 2.1.2 Artificial neural networks Umetne nevronske mreže (Bishop, 1995; an. Ar- tificial Neural Networks; okrajšava ANN; slika 1a) so skupina metod strojnega učenja, ki posnemajo delo- vanje človeških možganov. ANN imajo možnost raz- poznavanja nelinearnih funkcij med vhodnimi in iz- hodnimi spremenljivkami in so zato zelo primerne za modeliranje nelinearnih odnosov. Sestavljene so iz vhodne, izhodne in ene ali več skritih plasti. Vhodno plast sestavljajo neodvisne spremenljivke, izhodno plast pa odvisna spremenljivka. Skrito plast sestavlja poljubno število nevronov, ki določajo kompleksnost ANN in so povezani z vhodnimi in izhodnimi pastmi. Te povezave vsebujejo uteži, ki se v iteracijskem procesu prilagajajo tako, da vhodne spremenljivke ustrezajo iz- Acta Silvae et Ligni 114 (2017), 21-29 23 hodnemu signalu. V vsaki iteraciji se izračuna napaka med simuliranimi in opazovanimi vrednostmi. Uteži se spreminjajo, dokler ni funkcija napake minimizirana. V postopek učenja uteži smo vključil Bayesovo regulari- zacijo (Burden in Winkler, 2008), ki prepreči pretirano prileganje nevronske mreže podatkom. 2.2 Strategija primerjav različnih metod 2.2 The model comparison strategy Za ocenjevanje linearnih in nelinearnih modelov smo podatke najprej razdelili na učno (kalibracijsko) množico in validacijsko (testno) množico (ang. holdout set). Slednja je vsebovala 10 % najstarejših let. Na kali- bracijski smo najprej naredili 10 ponovitev 10- kratne- ga prečnega preverjanja (ang. 10-fold cross-validation; okrajšava CV). Pri tej metodi podatke razdelimo na 10 enakih delov (ang. folds). Nato modele sistematično ka- libriramo na 9 foldih in testiramo na preostalem foldu. Končne modele (zgrajene na celotni učni množici) smo nato uporabili še na testni množici. Optimalne vrednosti parametrov za nelinearne mo- dele smo določili s pomočjo R paketa caret (Kuhn in sod., 2017). Funkcija train iz R paketa caret sistematič- no testira različne nastavitve parametrov in predlaga tiste vrednosti, ki dajejo najboljše rezultate na neodvi- snih podatkih. Za prečno preverjanje in validacijsko množico smo izračunali naslednje testne statistike: korelacijski koe- ficient (r), reduction of error (RE; Fritts, 1976; Lorenz, 1956), coefficient of efficiency (Fritts, 1976), koren povprečne kvadrirane napake (RMSE; Willmott, 1981) in koren relativne kvadrirane napake (RRSE; Witten in sod., 2011). Modele z večjimi vrednostmi r, RE in CE ter z manjšimi napakami (RMSE in RRSE) štejemo za boljše. Slika 1: Shematski prikaz A) umetnih nevronskih mrež in B) modelnih dreves. Vir: Gharaei-Manesh in sod. (2016) Fig. 1: Schematic representation of A) artificial neural net- work and B) model trees. Source: Gharaei-Manesh et al. (2016). 24 Jevšenak J., Džeroski S., Levanič T.: Uporaba metod strojnega učenja za preučevanje odnosov med značilnostmi ... 2.3 Podatki za primerjavo metod strojnega uče- nja 2.3 Data for method comparison of machine learning methods Za primerjavo linearnih in nelinearnih metod mo- deliranja smo uporabili štiri množice podatkov (pre- glednica 2). Pri vseh množicah odvisno spremenljivko predstavljajo povprečne temperature v rastni sezoni (pri vsaki je kombinacija nekoliko drugačna, glej pre- glednico 2). Odvisno spremenljivko smo izbrali na pod- lagi preliminarne korelacijske analize. Pri treh množicah podatkov (Albanija, Alpe in Srem) smo uporabili eno neodvisno spremenljivko (standardizirana širina branike), preostala množica pa vsebuje tri neodvisne spremenljivke, to so povprečna velikost trahej, stabilni izotopi ogljika (δ13C) in stabilni izotopi kisika(δ18O). Za lažjo interpretacijo posame- znih vrednosti smo neodvisni spremenljivki δ13C in δ18O normalizirali po enačbi (1), pri čemer ponazarja povprečje za in njegov standardni odklon. …(1) 3 REZULTATI IN DISKUSIJA 3 RESULTS AND DISCUSSION Primerjava med linearno regresijo in nelinearni- mi metodami strojnega učenja je pokazala, da lahko v vseh primerih napredni nelinearni algoritmi z večjo natančnostjo opišejo odnos med odvisno in neodvisni- mi spremenljivkami. Razlike med metodami sicer niso velike, a so na vseh množicah podatkov v prid neline- arnim metodam strojnega učenja. Na podlagi naših re- zultatov ne moremo izpostaviti samo ene posamezne metode, ki bi na vseh rastiščih dala najboljše rezultate (slika 2). Na rastišču Albanija je najboljše testne vrednosti statističnih kazalcev dala metoda ANN, čeprav smo z metodo MLR dobili le nekoliko slabše vrednosti testnih statistik. Na podatkih za macesnovo rastišče (Alpe) se je pri oceni napake s postopkom CV najbolje obnesla metoda ANN, pri oceni na testni množici pa metoda BMT. Pri rastišču Srem smo pri oceni s postopkom CV do- bili najboljše rezultate z metodo BMT, pri oceni na te- stni množici pa za metodo RF. Za rastišče Sorško polje sta metodi RF in BMT dali najboljše rezultate pri oceni s postopkom CV, metoda BMT pa pri oceni na testni množici. V nobenem primeru nismo dobili najboljših ocen z metodo MLR. Čeprav smo pri rastišču Srem uporabili tri neodvisne spremenljivke, so vrednosti statističnih kazalcev v splošnem primerljivi z drugimi rastišči. Torej dodajanje spremenljivk ne pomeni nujno tudi boljšega napovedovanja. 4 ZAKLJUČKI 4 CONCLUSIONS Z regresijskimi statističnimi modeli opisujemo od- nose med odvisnimi in neodvisnimi spremenljivkami. V naši študiji smo pokazali, da lahko z nelinearnimi Preglednica 1: Optimizirane vrednosti parametrov neli- nearnih metod strojnega učenja: umetne nevronske mreže (ANN), modelna drevesa (MT), bagging modelnih dreves (BMT) in naključni gozdovi (RF). Table 1: Tuned values of parameters for nonlinear machine learning methods: artificial neural networks (ANN), model trees (MT), bagging of model trees (BMT) and random for- ests of regression trees (RF). Metoda Method Parameter – opis Parameter - description Optimizirane vrednosti parametrov Tuned parameter values Albanija Albania Alpe Alps Srem Srem Sorško polje Sorsko plain ANN neurons – število nevronov 1 1 2 1 MT M – minimalno število enot v listu 4 4 4 4 MT N – uporabi neobrezana drevesa TRUE FALSE TRUE TRUE MT U – uporabi nezglajene napovedi FALSE FALSE FALSE FALSE MT R – sestavi regresijsko drevo (namesto modelnega) FALSE FALSE FALSE FALSE BMT P – velikost podmnožice, kot odstotek od velikosti kalibracijske množice 80 80 80 80 BMT I – število iteracij 100 200 200 200 BMT M – minimalno število enot na list 4 4 4 4 BMT N – uporabi neobrezana drevesa TRUE FALSE TRUE TRUE BMT U – uporabi nezglajene napovedi FALSE FALSE FALSE FALSE BMT R – sestavi regresijsko drevo (namesto modelnega) FALSE FALSE FALSE FALSE RF P – velikost podmnožice, kot odstotek od velikosti kalibracijske množice 80 80 80 80 RF I – število iteracij 200 200 200 200 RF depth – največja globina drevesa 2 2 2 2 Acta Silvae et Ligni 114 (2017), 21-29 25 Pr eg le dn ic a 2: P re gl ed p od at ko v za p ri m er ja vo m od el ov Ta bl e 2: A bo ut th e da ta u se d to co m pa re m od el s Mn ož ica Da ta se t Ra st išč e (d re ve sn a v rs ta ) Si te (T re e s pe cie s) Me te or ol oš ki po da tk i Me te or ol og ica l d at a Ne od vis ne sp re m en ljiv ke In de pe nd en t v ar iab les Od vis na sp re m en ljiv ka (p ov pr eč ne te m pe ra tu re ) De pe nd en t v ar iab le (m ea n te m pe ra tu re ) Pr eč no pr ev er jan je Cr os s- va lid at io n Va lid ac ijs ka (h ol do ut ) m no žic a Va lid at io n (h ol do ut ) s et 1 Al ba nij a / A lba nia (P inu s n igr a) Al ba nia , ( KN MI C lim ate Ex plo re r, 2 01 7) šir ina br an ike / t re e- rin g wi dt h jun ij - jul ij Ju ne - Ju ly 19 58 – 20 09 19 51 – 19 57 2 Al pe / A lps (L ar ix de cid ua ) Vi lla ch er A lpe (A ue r in so d., 20 07 ) šir ina br an ike / t re e- rin g wi dt h ma j - jul ij Ma y - Ju ly 18 85 – 20 09 18 70 – 18 84 3 Sr em / S re m (Q ue rc us ro bu r) Lju blj an a ( AR SO , 2 01 7) šir ina br an ike / t re e- rin g wi dt h ap ril - ju lij / Ap ril - J uly 19 50 – 20 13 19 42 – 19 49 4 So ršk o p olj e / S or sk o p lai n (Q ue rc us ro bu r) Lju blj an a ( AR SO , 2 01 7) po vp re čn a v eli ko st tra he je / m ea n ve ss el ar ea sta bil ni izo top i o glj ika / sta ble ca rb on is oto pe ra tio s sta bil ni izo top i k isi ka / sta ble ox yg en is oto pe ra tio s ap ril - a vg us t / Ap ril - A ug us t 19 67 - 20 15 19 60 - 19 66 26 Jevšenak J., Džeroski S., Levanič T.: Uporaba metod strojnega učenja za preučevanje odnosov med značilnostmi ... Acta Silvae et Ligni 114 (2017), 21-29 27 Sl ik a 2: P ri m er ja va r ez ul ta to v pr eč ne ga p re ve rj an ja ( an g. c ro ss -v al id at io n, o kr aj ša va C V) in do da tn eg a te st a na v al id ac ijs ki m no ži ci (a ng . h ol d- ou t t es t, ok ra jš av a H ol do ut ) z a A) r as tiš či Al ba ni ja in A lp e te r B ) r as tiš či S re m in S or šk o po lje . U po ra bl je ne m et od e so : m ul tip la li ne ar na re gr es ija (M LR ), um et ne n ev ro ns ke m re že (A N N ), m od el na d re ve sa (M T) , b ag gi ng m od el ni h dr ev es (B M T) in n ak lju čn i g oz do vi re gr es ijs ki h dr ev es (R F) . Fi g. 2 : C om pa ri so n of t he r es ul ts o f d iff er en t m et ho ds b as ed o n cr os s- va lid at io n (C V) a nd ho ld -o ut v al id at io n fo r A) th e si te s Al ba ni a an d Al ps a nd B ) t he s ite s Sr em a nd S or sk o pl ai n. Th e co m pa re d m et ho ds a re : m ul tip le l in ea r re gr es si on ( M LR ), ar tif ic ia l ne ur al n et w or ks (A N N ), m od el tr ee s (M T) , b ag gi ng o f m od el tr ee s (B M T) a nd r an do m fo re st s of r eg re ss io n tr ee s ( RF ). 28 Jevšenak J., Džeroski S., Levanič T.: Uporaba metod strojnega učenja za preučevanje odnosov med značilnostmi ... metodami strojnega učenja bolje opišemo odnos med parametri branik in temperaturami. Uporaba in razu- mevanje metod strojnega učenja postajata v znanosti vse pomembnejša za opisovanje okoljskih pojavov in napovedovanje dogodkov. V našem prispevku smo pri- kazali delovanje teh metod na primeru dendrokrono- logije, vendar pa je njihova potencialna uporabnost v gozdarstvu in sorodnih področjih precej večja. Metode strojnega učenja so primerne za reševanje regresijskih in klasifikacijskih problemov, uporaba je možna na numeričnih in slikovnih podatkih. Ob nadalj- njem razvoju algoritmov lahko pričakujemo še natanč- nejše in boljše napovedne sposobnosti ter širšo upora- bo metod strojnega učenja. 5 SUMMARY Linear regression is the most often used method for studying the relationships between tree-ring param- eters and the environment. Many studies have shown that by using nonlinear methods, this relationship could be described more precisely and accurately. In our study, (multiple) linear regression (MLR) is com- pared with four nonlinear machine learning methods: artificial neural networks (ANN), model trees (MT), bagging of model trees (BMT) and random forests of regression trees (RF). To compare the different re- gression methods, four dendroclimatological datasets were used. For all datasets, the dependent variable is a combination of mean monthly temperatures. Three datasets (Albania, Alps and Srem) contain only one independent variable (standardized tree-ring width; TRW), while the remaining dataset includes three in- dependent variables, i.e. mean vessel area (MVA), sta- ble carbon (δ13C) and oxygen (δ18O) isotope ratios. The model performance was estimated on indepen- dent data, i.e. data that was not used to train (calibrate) models. To estimate the model performance, 10-fold cross-validation on the training set and an additional hold-out test were used. The hold-out data consisted of 10 % of the oldest rings. Our results showed that by using robust nonlinear machine learning methods, better predictions were obtained for all four datasets. The best results for the site Albania (Pinus nigra) were provided by ANN. For the Alpine site (Larix decidua), the best results were obtained for ANN (CV) and BMT (hold-out test). For the site Srem (Quercus robur), the best results were obtained for BMT (CV) and RF (hold-out test). For the multivariate dataset (site Sorsko plain, Quercus robur), the best results were calculated for BMT and RF (CV), and BMT (hold-out test), respectively. MLR did not pro- vide the best results for any of the analysed sites. How- ever, none of the considered methods outperformed all other methods for all datasets. Therefore, we suggest testing several methods before selecting the best one, e.g. for climate reconstruction. Slika 3: Primer modelnega drevesa za rastišče Sorško polje z dvema linearnima enačbama. Glede na vrednost neodvisne spremenljivke δ13C bosta za končno napoved uporabljeni LM1 (δ13C ≤ 0.314) ali LM2 (δ13C > 0.314). Fig. 3: An example of model tree for the site Sorsko plain with two linear equations. Based on value of the independ- ent variable δ13C, LM1 (δ13C ≤ 0.314) or LM2 (δ13C > 0.314) will be used for final prediction.. Acta Silvae et Ligni 114 (2017), 21-29 29 6 ZAHVALA 6 ACKNOWLEDGMENT Zahvaljujemo se Pahernikovi ustanovi, ki je v štu- dijskih letih 2014/15, 2015/16 in delno 2016/17 po- delila štipendijo za doktorski študij Jerneju Jevšenaku. Tom Levanič in Jernej Jevšenak sta bila finančno pod- prta s strani ARRS projektov J4-5519, J4-8216 in N4- 0065 ter programske skupine P4-0107 »Gozdna biolo- gija, ekologija in tehnologija«. 7 VIRI 7 REFERENCES ARSO. 2017. Arhiv - opazovani in merjeni meteorološki podatki po Sloveniji. http://meteo.arso.gov.si/met/sl/archive/ (8. avgust, 2017) Auer I., Bohm R., Jurkovic A., Lipa W., Orlik A. in sod. 2007. HISTALP - historical instrumental climatological surface time series of the Greater Alpine Region. International Journal of Climatology, 27, 1: 17-46 Bishop C. M. 1995. Neural Networks for Pattern Recognition. Oxford, University Press, Inc.: 482 str. Breiman L. 1996. Bagging predictors. Machine Learning, 24, 2: 123- 140 Burden F., Winkler D. 2008. Bayesian Regularization of Neural Net- works. V: Artificial Neural Networks: Methods and Applications. Livingstone D. J. (ur.). (Artificial Neural Networks: Methods and Applications, 458). Totowa, NJ, Humana Press: 23-42 Evans M. N., Reichert B. K., Kaplan A., Anchukaitis K. J., Vaganov E. A. in sod. 2006. A forward modeling approach to paleoclimatic interpretation of tree-ring data. Journal of Geophysical Resear- ch-Biogeosciences, 111, G03008 Fritts H. C. 1976. Tree Rings and Climate. London, Academic Press: 567 str. Gharaei-Manesh S., Fathzadeh A., Taghizadeh-Mehrjardi R. 2016. Comparison of artificial neural network and decision tree mo- dels in estimating spatial distribution of snow depth in a semi- arid region of Iran. Cold Regions Science and Technology, 122, 26-35 Helama S., Makarenko N. G., Karimova L. M., Kruglun O. A., Timonen M. in sod. 2009. Dendroclimatic transfer functions revisited: Lit- tle Ice Age and Medieval Warm Period summer temperatures reconstructed using artificial neural networks and linear algori- thms. Annales Geophysicae, 27, 3: 1097-1111 KNMI Climate Explorer. 2017. https://climexp.knmi.nl (22. avgust 2017) Kuhn M., Wing J., Weston S., Williams A., Keefer C. in sod. 2017. caret: Classification and Regression Training. R package version 6.0- 76, https://CRAN.R-project.org/package=caret Lorenz E. N. 1956. Empirical Orthogonal Functions and Statistical Weather Prediction. Massachusetts, Massachusetts Institute of Technology, Department of Meteorology: 49 str. Pohorec S. 2013. Vrednotenje metod strojnega učenja z metodami obdelave naravnega jezika: disertacija. (Univerza v Mariboru). Maribor, samozaložba: 155 str. Quinlan J. R. 1986. Induction of decision trees. Machine Learning, 1, 1: 81-106 Quinlan J. R. 1992. Learning with continuous classes. V: Proceedings of the 5th Australian Joint Conference on Artificial Intelligence (AI ‘92). Hobart, World Scientific: 343-348 Willmott C. J. 1981. On the validation of models. Physical Geography, 2, 2: 184-194 Witten I. H., Frank E., Hall M. A. 2011. Data Mining: Practical Machine Learning Tools and Techniques. Burlington, Morgan Kaufmann Publishers: 629 str. 32 titles. The legislation is at the end of the references. The titles of references by one author are arranged in chrono- logical order and with a letter after the year of issue if there are more references in one year. Abbreviations of journals should follow the World List of Scientific Periodicals or a similar work. Examples: See the latest issue of Acta Silvae et Ligni journal. 12. LATIN NAMES Latin names of genera, species and intraspecies taxons should be written in italics. In phytocoenological pa- pers all taxa should be written in italics. 13. FORMAT OF THE MANUSCRIPT (MS) The MS should be typewritten using 1,5 spacing on one side of A4 paper in DOC or RTF format. The original and two copies of the MS should be sent to the Editor, together with the MS on 3,5’ diskette or CD. Illustrative materials should be enclosed separately. The figures should be attached as files in TIFF, JPEG or WMF format. 14. TABLES, GRAPHS, PHOTOGRAPHS, AND SUPPLEMENTS. Their markings have to be the same as quoted in the text. They should have the serial numbers, headings and English text (Author’s responsibility). The headings for tables should be above the tables and the headings for graphs and photographs should be below them. Colour illustrations are accepted only by previous agreement with the editor. Tables: Avoid using the space bar for adjusting the columns, use “tab” key or the tools for creating tables in Word. The dimensions should not exceed 12,5 cm in width and 15 cm in height; the font of letters and numbers must not be smaller than 8 points. Graphs: • Lines should be at least 0,15 mm thick, and thicker lines should be in the following increments: 0,15 mm - 0,30 - 0,45mm - 0,60 mm - 0,75 mm - 0,90 mm, the thinnest line possible is 0.25 points. • Hatchings should be composed from different combinations of lines; if you use grey tones, they should be at the most in five shades (0% - white, 25%, 50%, 75% and 100% - black) • Fonts - 10 points or more, but should not exceed 14 points. Use the fonts ARIAL or ARIAL CE • All the text should be in Slovene and English for example: Premer / Diameter, Leto / Year • The intensity of dot is very important, it should be at least 80 lines per inch • Do not use MS Excel because the parameters of the graph (width of lines, dimensions of graph, hatchings...) cannot be changed. Professional programmes for drawing graphs are recommended: GRAPHER, SURFER, SIG- MA plot. • Graphs should be submitted on 3,5' diskette in WMF or EPS format • The background of the graph should be white, do not use hatchings. • If only one kind of data is presented in histogram columns, these should be white with a black border - do not use hatchings. • 3D graphs are not allowed, use 2D graphs instead • The graphs should not contain colours, they should be monochrome • The dimensions should not exceed 12,5 cm in width and 15 cm in height Photographs: • Quality black and white photographs or slides made with classical camera. If the picture is taken with a digital camera the resolution should be at least 1,3 million pixels • The dimensions should not exceed 12,5 cm in width and 15 cm in height • Scanned pictures should be scanned with a resolution of 240 dpi • All the pictures should be submitted in original TIFF or JPEG file (not in BMP or other formats). A paper print- out of the article with photographs included should be submitted for correct placement of the photo into the text. • Pen-and-ink drawings have to be made with good drawing equipment (ROTRING pen or similar) or you should use computer drawing programme (Corel DRAW, FreeHand...). Consider the minimum width of lines, which is 0,25 points which corresponds 0,15 mm. Poor quality photographs and drawings will not be accepted. Instructions to authors