ERK'2021, Portorož, 309-312 309 Upoˇ stevanje indeksa strahu in pohlepa v predvidevanju cene Bitcoin skozi dolgi kratkoroˇ cni spomin Nataˇ sa Oˇ sep Ferˇ s, Aleˇ s Zamuda, SMIEE Univerza v Mariboru, Fakulteta za elektrotehniko, raˇ cunalniˇ stvo in informatiko, Koroˇ ska cesta 46, 2000 Maribor, Slovenija E-poˇ sta: natasa.osep@um.si, ales.zamuda@um.si Considering a Fear and Greed Index in Bitcoin Price Prediction Through Long Short-Term Memory This paper represents a methodology for cryptocurrency Bitcoin market price prediction, composed of technical analysis and fundamental analysis using sentimental a- nalysis. Specifically, Crypto Fear & Greed Index (CFGI) is considered in the methodology, which is made up of in- dicators of all analyses. Neural network with Long Short- Term Memory (LSTM) model is trained on these indica- tors. Prediction on data used is reported when using in- dex CFGI (improved version), compared against the pre- diction without this index (basic version). 1 Uvod Kriptovalute so dandanes sploˇ sno znane in privlaˇ cne na- loˇ zbe za marsikaterega vlagatelja [1]. Pred napovedova- njem njihovih vrednosti je treba premisliti, ali so te kla- sificirane kot valute, sredstva ali naloˇ zbe [2]. V tem pri- spevku je kriptovluta Bitcoin [3] obravnavana kot naloˇ zba v dolar (BTCUSD) in zato se da potegniti vzporednico med njo in vrednostnimi papirji (VP). Ideja izvedbe tega prispevka temelji na izhodiˇ sˇ cih [2] in pristopu [4] ter spa- da v operacijske raziskave [5]. Podobno kot v [4], je tudi v tem prispevku napoved prihodne cene BTCUSD osno- vana na tehniˇ cni (raˇ cunalniˇ ski) in temeljni analizi. Po- leg ˇ ze uporabljenih indeksov je v tem prispevku na novo vkljuˇ cen ˇ se indeks CFGI. Napoved temelji na Hipotezi prilagodljivega trga AMH (ang. Adaptive Market Hypo- thesis), ki predstavlja alternativo Hipotezi uˇ cinkovitega trga EMH (ang. Efficient Market Hypothesis). Osnove EMH je v svojem delu [6] leta 1970 postavil E. F. Fama. Hipoteza trdi, da so vse trˇ zne informacije vkalkulirane v cene VP. Tako cene odraˇ zajo poˇ stene (notranje, prave) vrednosti VP. Z aktivnim upravljanjem premoˇ zenja, trga torej ni mogoˇ ce premagati, saj le-ta nikoli ni podcenjen, niti precenjen. V njegovem poznejˇ sem delu [7] Fama po- udarja, da je treba preuˇ citi vsak scenarij posebej in se odloˇ citi, kdaj je uˇ cinkovitost trga dovolj dobra aproksi- macija za trg in kdaj je boljˇ se uporabiti kakˇ sni drugi mo- del poenostavitve. Leta 2004 je Lo v [8] predstavil AMH. Predlagal je novi okvir, ki na podlagi evolucije - prilagoditve in na- ravne selekcije dokazuje interakcijo med trˇ zno uˇ cinkovi- tostjo in vedenjskimi financami. Po AMH trenutne cene odraˇ zajo toliko informacij, kot to narekuje spreminjajoˇ ce se okolje. V nadaljevanju tega prispevka so v razdelku 2 pred- stavljena sorodna dela. V razdelku 3 je podana tehniˇ cna metodologija napovedovanja, osnovana na psevdokodi, ki je implementirana na modelu nevronske mreˇ ze. V raz- delku 4 je podan eksperiment, kjer je v fazi predproce- siranja opisana moˇ cna pozitivna korelacija med koliˇ cino tvitov in obsegom trgovanja, kar je potrjeno tudi z ekspe- rimentom. Veˇ c o modelu in podatkih je predstavljenega v podrazdelku 4.1. Rezultati eksperimenta so podrobneje predstavljeni v podrazdelku 4.2. V razdelku 5 je podan zakljuˇ cek, nato sledi ˇ se literatura. 2 Sorodna dela V [4] avtorji zdruˇ zijo tehniˇ cno in temeljno analizo skozi aplikacije podatkovnih znanosti in tehnike stojnega uˇ ce- nja. Za razliko od naˇ se raziskave, napovejo trend giba- nja cen delnic (20 najveˇ cjih podjetij po trˇ zni kapitalizaciji iz indeksa NASDAQ100). Problem napovedi delniˇ skega trga pretvorijo v nalogo klasifikacije ˇ casovnih vrst. Na podlagi informacij, ki so pridobljene iz ˇ casovnih vrst cen in sentimenta, z nevronsko mreˇ zo z veriˇ zenjem naprej ustvarijo robusten model, ki je sposoben napovedati pri- hodni trˇ zni trend. S simulacijo doseˇ zejo veˇ c kot 80% le- tnega donosa. V ˇ clanku [9] avtorji zgradijo in implementirajo veˇ c modelov nadzorovanega uˇ cenja, da bi raziskali razliˇ cne vidike, ki vplivajo na stabilnost in dnevno gibanje cen kriptovalut. Uporabijo celostni pristop, ki vkljuˇ cuje vse razpoloˇ zljive informacije: finanˇ cne informacije, informa- cije na podlagi trgovalnega obsega (aktivnosti) v verigi blokov in metrike razvoja programske opreme na osnovi GitHub aktivnosti. Njihovi cilji so klasifikacija doloˇ cene kriptovalute upoˇ stevaje stabilnost in ceno, napoved dne- vne tendence s pomoˇ cjo regresije ter opredelitev najustre- znejˇ sih kriterijev takˇ sne analize [9]. Primerjajo razliˇ cne nevronske mreˇ ze za razliˇ cne kriptovalute: preproste mre- ˇ ze z veriˇ zenjem naprej, povratne mreˇ ze RNN (ang. Re- current Neural Networks) skupaj z njihovimi izboljˇ sava- mi, kot so povratne mreˇ ze z dolgim kratkoroˇ cnim spomi- nom LSTM (ang. Neural network with LongShort-Term Memory) in povratne enote z vrati. LSTM je uˇ cinkovita, na gradientu osnovana metoda, ki je bila razvita kot reˇ si- tev problema ˇ casovne zahtevnosti uˇ cenja RNN [10]. Pri- 310 merjava [9] pokaˇ ze tudi, da najveˇ c obetajo RNN. V ˇ clanku [11] je predstavljena metoda za predvideva- nje sprememb dolarskih cen Bitcoin (BTCUSD) in Ethe- reum (ETHUSD). Avtorji kot vhode v linearni regresij- ski model vkljuˇ cijo analizo sentimenta, Google Trends in koliˇ cino tvitov. Z analizo tvitov ugotavljajo, da smer cen bolj kot tviter sentiment, narekuje koliˇ cina tvitov. Na- dalje ugotavljajo, da z vkljuˇ citvijo Google Trends lahko natanˇ cno predvidijo smer spremembe cen. Analiza sen- timenta tvitov je narejena s Twitter API in Pythonovo knjiˇ znico Tweepy. Za ekstrakcijo in meritve subjektiv- nih ˇ custev oziroma mnenja je uporabljen V ADER (ang. Valence Aware Dictionary and sEntiment Reasoner). Na podlagi analize sentimenta je opredeljeno, ali so tviti v sploˇ snem pozitivni ali negativni in ustvarjena je dnevna lestvica sentimenta, ki jo avtorji potem primerjajo s spre- membo dnevne cene. Ugotovljajo, da analiza sentimenta ni konsistentna s spremembo cen pri padajoˇ cem trendu in zato je ne vkljuˇ cijo v model. Analizo sentimenta upora- bijo ˇ se za loˇ cevanje tvitov, ki izraˇ zajo neko mnenje (su- bjektivnost) in tvitov, ki podajajo samo informacije brez opredelitve mnenja (objektivnost). Google Trends prika- zuje priljubljenost iskanja doloˇ cene teme relativno glede na iskanje drugih tem. Da se ga uporabiti kot posredno mero, ki kaˇ ze povezavo med zanimanjem za kriptovalute in gibanjem njihovih cen. Avtorji pokaˇ zejo moˇ cno po- zitivno korelacijo med omenjenima spremenljivkama ter med koliˇ cino tvitov in ceno. V ˇ clanku [12] avtorji raziskujejo povezavo med dono- snostjo in volatilnostjo ter tviti na podlagi minutnih cen in tvitov 30 delnic iz Dow Jones Industrial Average indeksa za 13 dni. V ˇ studiji ugotavljajo, da je skoraj 90% do- nosa delnic ustvarjenega na podlagi tvitov, da pa ne velja obratno in manj kot 10% tvitov izhaja iz donosa delnic. Alternative.me je platforma za optimizacijo povezav med razliˇ cicami programske opreme in alternativnimi iz- delki (https://alternative.me). Na https://alternative.me/cr ypto/fear-and-greed-index se vsak dan analizirjo ˇ custva in mnenja ljudi v zvezi z Bitcoinom iz razliˇ cnih virov, ki se potem akumulirajo v CFGI. To je preprosta ˇ stevilka med 0 in 100, pri ˇ cemer 0 pomeni ekstremni strah, 100 pa ekstremni pohlep. Ekstremni strah je nakupna priloˇ znost, saj je le-ta lahko znak, da so vlagatelji preveˇ c zaskrbljeni. Nasprotno je izjemni pohlep lahko prodajna priloˇ znost, saj je pohlep znak za popravek na trgu. Indeks CFGI sestavljajo naslednji dejavniki: volatilnost (25%), trˇ zni zagon / obseg (25%), druˇ zabna omreˇ zja (15%), trˇ zna pre- vlada (10%), trendi (10%) in ankete (15%). 2.1 LSTM LSTM je ena izmed oblik RNN. Uporabljena je zato, ker se dobro izkaˇ ze pri razliˇ cnih uˇ cnih problemih s sekven- ˇ cnimi podatki, prav tako pa tudi pri dolgoroˇ cnih zaˇ casnih odvisnostih [13] kot izbojˇ sava za osnovno RNN. RNN imajo verige ponavljajoˇ cih se modulov, ki so sestavljeni iz vhodne in izhodne plasti ter ene ali veˇ c vmesnih pla- sti [14]. V obiˇ cajni RNN ima ponavljajoˇ ci se modul pre- prosto strukturo, kot je ena tangens plast. Ponavljajoˇ ci se modul pri LSTM je spominska celica [15], zgrajena iz 4 skritih (pod)plasti: tangens plast in 3 sigmoidne pla- sti. Na vsaki sigmoidni plasti se nahajajo vrata, ki celici omogoˇ cajo optimalno prepuˇ sˇ canje oziroma odstranjeva- nje podatkov [16]. V spominski celici plasti LSTM se uporabijo operacije, ki se jih da predstaviti z naslednjimi enaˇ cbami [17]: f t = (W f [h t 1 ;x t ] + b f ); (1) i t = (W i [h t 1 ;x t ] + b i ); (2) ~ C t = tanh(W C [h t 1 ;x t ] + b C ); (3) C t = f t C t 1 +i t ~ C t ; (4) o t = (W o [h t 1 ;x t ] +b o ); (5) h t = o t tanh(C t ); (6) kjer so f t vrata, ki pozabljajo, i t so vhodna in o t izho- dna vrata. Vrata vzdrˇ zujejo stanje spominske celiceC t . W f ;W i ;W C ;W o so matrike uteˇ zi, b f ;b i ;b C ;b o so vektorji pristranskosti in ter tanh aktivacijski funkciji. x t je vhodni inh t izhodni vektor. ~ C t oznaˇ cuje kandidate stanja celice v ˇ casu (epoha)t. Primer analize vpliva para- metrov modela LSTM na finanˇ cno napoved, kot je ˇ stevilo uˇ cenj, je podan v [16]. 3 Metoda V tem razdelku je predstavljena psevdokoda za eksperi- ment napovedi cene BTCUSD z izboljˇ sanim pristopom, ki vkljuˇ cuje indeks CFGI. Iz platforme alternative.me so zajeti podatki o indeksu CFGI in shranjeni kot datoteka CFGI.csv, ki je v ta postopek podana kot vhodni parame- ter. V eksperiment smo podali ˇ se zaˇ cetno stanje za na- kljuˇ cna ˇ stevila in tako dosegli ponovljivost eksperimen- tov za sicer neodvisne zagone (zaRUNNR od 1 do 50). Require: technical.csv, sentimental.csv, CFGI.csv Ensure: napoved cen in ovrednotenje eksperimenta 1: preberi vhodne datoteke csv, jih stolpiˇ cno zdruˇ zi in doloˇ ci njihov vrstni red 2: skaliraj podatke z uporabo predmeta za skaliranje v Python (MinMaxScaler) 3: vhodno podatkovno mnoˇ zico loˇ ci na prvih 200 zapi- sov kot uˇ cno in ostalih 91 zapisov kot testno mnoˇ zico 4: podatke preoblikuj v 3D obliko za nadzorovano u- ˇ cenje (vzorci, ˇ casovni koraki, znaˇ cilke). 5: nastavi konfiguracijske parametre: sekvenˇ cni model, plast LSTM s 6 celicami, ena izhodna plast z 1 iz- hodom, funkcija izgube MAE, delitev podatkov za validacijo 8:2 6: forepocs = 50 andbatchsize = 6 do 7: uci ADAM , uporabi konfiguracijske parametre 8: end for 9: testiraj nauˇ ceni model na testnih podatkih 10: inverzno skaliraj napovedane podatke in jih vrni kot podatkovni okvir ter ovrednoti eksperiment Po postopku v vrsticah od 1 do 4 se podatki predprocesi- rajo. V vrstici 2 so ti skalirani v obseg [0,1] s pomoˇ cjo predmeta MinMaxScaler iz razreda scikit-learn [18]. V vrstici 5 nastavimo konfiguracijske parametre modela. V vrsticah 6–8 se zgradi model, ki se uˇ ci skozi 50 pono- vitev, v serijah velikosti 6. Pri uˇ cenju sta uporabljena 311 funkcija izgube povpreˇ cne absolutne napake MAE (ang. Mean absolute error) [19] in optimizator parametrov pri- lagodljive trenutne ocene ADAM (ang. Adaptive Moment Estimation) [20]. Za LSTM se uporabijo enaˇ cbe od (1) do (6) iz podrazdelka 2.1. V vrstici 9 se izraˇ cuna uspeˇ snost uˇ cenja, izvede se testiranje z izvedbo napovedi na testni mnoˇ zici, vrstica 10 pa vrne rezultate. 4 Eksperiment V naslednjem podrazdelku so najprej predstavljeni po- datki in model, sledijo rezultati eksperimenta. 4.1 Podatki in model Podatki o ceni in tvitih BTCUSD so pridobljeni s spletne strani Kaggle (https://www.kaggle.com/paul92s/bitcoin-l stm-model-with-tweet-volume-and-sentiment/data). Ka- ggle je podruˇ znica Google LLC in spada med najveˇ cje skupnosti znanstvenikov iz podatkovnih znanosti ter iz- vajalcev strojnega uˇ cenja. Tam so na voljo ˇ stevilna orodja in viri za uporabo v podatkovni znanosti. V ˇ casovno vr- sto so zajete minutne/urne serije, v obliki z vejico loˇ cenih podatkov (ang. Comma Separated Value), za obdobje 14 dni, od 11.7.2018 do 24.7.2018. Vrednosti indeksa CFGI so pridobljene s pomoˇ cjo programskega vmesnika Fear & Greed Index API, v skladu s pogoji uporabe alterna- tive.me. Gre za dnevne podatke, ki se v naˇ sem eksperi- mentu zaradi ˇ casovne poravnave z drugimi vhodnimi po- datki, 24 ur ne spreminjajo. Podatki zakljuˇ cna cena (Close Price), polarnost in senzitivnost indeksa sentimenta (Polarity, Sen- sitivity), obseg tvitov (Tweet vol), obseg trgova- nja z BTCUSD (Volume BTC) in indeks CFGI (CFGI) so uvoˇ zeni, pretvorjeni v ure, zdruˇ zeni v eno tabelo in urejeni, kot kaˇ ze slika 1. Zakljuˇ cno ceno BTCUSD za trenutno uro predvidevamo na podlagi preteklih 3 zapisov iz te tabele. Izboljˇ sana razliˇ cica pristopa vsebuje stolpec z indeksom CFGI, osnovna pa tega stolpca ne vsebuje. CFGI in cena BTCUSD sta priˇ cakovano namreˇ c pozi- tivno korelirana, dokler indeks ne doseˇ ze skrajnih vre- dnosti in takrat se priˇ cakuje obrat trenda. Programska koda za osnovno razliˇ cico pristopa je napisana v jeziku Python z uporabo vmesnika Keras in knjiˇ znice Tensor- Flow in objavljena na spletni strani Kaggle (https://www. kaggle.com/paul92s/bitcoin-lstm-model-with-tweet-volu me-and-sentiment). Slika 1: Zdruˇ zeni in urejeni podatki. Na sliki 2 so prikazane korelacije med vhodnimi zna- ˇ cilkami. Razvidna je moˇ cna pozitivna korelacija med koliˇ cino tvitov in obsegom trgovanja ter zmerna nega- tivna korelacija med koliˇ cino tvitov in polarnostjo. Slika 2: Koleracije med znaˇ cilkami. 4.2 Rezultati eksperimenta Na sliki 3 je prikaz vizualizacije ˇ casovne vrste s koliˇ cino tvitov, obsegom trgovanja in zakljuˇ cno ceno BTCUSD. Slika 3: Vizualizacija ˇ casovne vrste. Za vrednotenje napovedi modela se izraˇ cuna kriterij- ska funkcija napake povpreˇ cnega kvadrata RMSE (ang. Root Mean Square Error). RMSE predstavlja korenjeno vrednost povpreˇ cja kvadratov razlik med napovedano in resniˇ cno vrednostjo, pri ˇ cemer popolno ujemanje pred- stavlja vrednost 0. Iz slike 4 je razvidno, kako uspeˇ sno je naˇ s pristop (izboljˇ sana razliˇ cica) z LSTM napovedal zakljuˇ cne cene BTCUSD za testno mnoˇ zico, v primerjavi z osnovno ra- zliˇ cico pristopa in z resniˇ cnimi zakljuˇ cnimi cenami BT- CUSD za isto obdobje. Izmerjena vrednost RMSE po RMSE medialnega zagona (izmed 50 ponovitev) osnovne razliˇ cice za to napovedovanje z LSTM pokaˇ ze vrednost 75,59 USD in z indeksom CFGI razˇ sirjene razliˇ cice 74,85 USD. Torej, razlika med medialnima vrednostima RMSE naˇ sega izboljˇ sanega pristopa in predhodno obstojeˇ cega osnovnega pristopa znaˇ sa 0,74 USD, v prid predlaganega novega pristopa s CFGI. 312 Slika 4: Primerjava resniˇ cnih (Real) in napovedanih cen BT- CUSD na podatkih s CFGI (with) oz. brez CFGI (without). 5 Zakljuˇ cek V prispevku je implementirana metoda za predvideva- nje zaljuˇ cnih cen BTCUSD, ki temelji na hipotezi pri- lagodljivega trga AMH. Uporabljeni raˇ cunalniˇ ski model v tej metodi je nevronska mreˇ za LSTM z dvema pla- stema. Vhodni podatki so indeksi tehniˇ cne analize in analize sentimenta. S prispevkom je kot vhodni poda- tek na novo vkljuˇ cen indeks CFGI, ki ga sestavljajo inde- ksi obeh analiz. V fazi predprocesiranja je ugotovljena moˇ cna pozitivna korelacija med koliˇ cino tvitov in ob- segom trgovanja. Izmerili smo vpliv vkljuˇ citve indeksa CFGI na toˇ cnost rezultatov napovedi tako, da smo izra- ˇ cunali napako RMSE za osnovno in izboljˇ sano razliˇ cico pristopa. Primerjava modelov primerov pokaˇ ze, da veˇ c obeta izboljˇ sana razliˇ cica, saj je njena medialna vrednost RMSE boljˇ sa (manjˇ sa) v primerjavi z osnovno razliˇ cico. V nadaljevanju raziskav bi lahko nadgradili predsta- vljen pristop in metode ter tako pripravili ˇ se naprednejˇ se tehnike za predvidevanje vrednosti kriptovalut. Zahvala Ta prispevek je nastal s podporo ARRS raziskovalnega pro- grama P2-0041, COST akcij IC1406 in CA15140 ter EU Ob- zorja 2020 projekta DAPHNE (ˇ st. 957407). Literatura [1] M. S. Brown and B. Douglass, “An event study of the ef- fects of cryptocurrency thefts on cryptocurrency prices,” in 2020 Spring Simulation Conference (SpringSim), 2020, pp. 1–12. [2] A. Zamuda, V . Crescimanna, J. C. Burguillo, J. Ma- tos Dias, K. Wegrzyn-Wolska, I. Rached, H. Gonz´ alez- V´ elez, R. Senkerik, C. Pop, T. Cioara, I. Salomie, and A. Bracciali, Forecasting Cryptocurrency Value by Sen- timent Analysis: An HPC-Oriented Survey of the State-of- the-Art in the Cloud Era. Cham: Springer International Publishing, 2019, pp. 325–349. [3] S. Nakamoto, “Bitcoin: A peer-to-peer electronic cash sy- stem,” Decentralized Business Review, p. 21260, 2008. [4] A. P. Ratto, S. Merello, Y . Ma, L. Oneto, and E. Cambria, “Technical analysis and sentiment embeddings for market trend prediction,” Expert Syst. Appl., vol. 135, pp. 60–70, 2019. [5] A. Zamuda, Operacijske raziskave logistiˇ cnih, transpor- tnih in ekonomskih sistemov: zbrano gradivo. Univerza v Mariboru, Fakulteta za elektrotehniko, raˇ cunalniˇ stvo in informatiko, 2020. [6] E. F. Fama, “Efficient capital markets: A review of the- ory and empirical work,” The Journal of Finance, vol. 25, no. 2, pp. 383–417, 1970. [7] ——, “Efficient capital markets: Ii,” The Journal of Fi- nance, vol. 46, no. 5, pp. 1575–1617, 1991. [8] A. W. Lo, “The adaptive markets hypothesis,” The Journal of Portfolio Management, vol. 30, no. 5, pp. 15–29, 2004. [9] I. Z. Emiris, E. Christoforou, and A. Florakis, “Neural networks for cryptocurrency evaluation and price fluctu- ation forecasting,” in MARBLE 2019 - The 1st Internatio- nal Conference on Mathematical Research for Blockchain Economy, Santorini, Greece, May 2019. [10] S. Hochreiter and J. Schmidhuber, “Long Short-Term Me- mory,” Neural Computation, vol. 9, no. 8, pp. 1735–1780, 11 1997. [11] J. Abraham, D. Higdon, J. Nelson, and J. Ibarra, “Crypto- currency Price Prediction Using Tweet V olumes and Sen- timent Analysis,” SMU Data Science Review, vol. 1, 2018. [12] P. J. de Jong, S. Elfayoumy, and O. Schnusenberg, “From returns to tweets and back: An investigation of the stocks in the dow jones industrial average,” Journal of Behavio- ral Finance, vol. 18, pp. 54 – 64, 2017. [13] K. Greff, R. K. Srivastava, J. Koutn´ ık, B. R. Steunebrink, and J. Schmidhuber, “Lstm: A search space odyssey,” IEEE Transactions on Neural Networks and Learning Sy- stems, vol. 28, no. 10, pp. 2222–2232, 2017. [14] T. Fischer and C. Krauss, “Deep learning with long short- term memory networks for financial market predictions,” European Journal of Operational Research, vol. 270, no. 2, pp. 654–669, 2018. [15] X. Pang, Y . Zhou, P. Wang, W. Lin, and V . I. C. Chang, “An innovative neural network approach for stock market prediction,” The Journal of Supercomputing, vol. 76, pp. 2098–2118, 2018. [16] S. Siami-Namini and A. S. Namin, “Forecasting eco- nomics and financial time series: ARIMA vs. LSTM,” CoRR, vol. abs/1803.06386, 2018. [17] A. Thakkar and K. Chaudhari, “Crest: Cross-reference to exchange-based stock trend prediction using long short- term memory,” Procedia Computer Science, vol. 167, pp. 616–625, 2020, international Conference on Computatio- nal Intelligence and Data Science. [18] F. Pedregosa, G. Varoquaux, A. Gramfort, V . Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V . Dubourg, J. Vanderplas, A. Passos, D. Courna- peau, M. Brucher, M. Perrot, and ´ E. Duchesnay, “Scikit- learn: Machine learning in Python,” Journal of Machine Learning Research, vol. 12, no. 85, pp. 2825–2830, 2011. [19] C. Sammut and G. I. Webb, Eds., Mean Absolute Error. Boston, MA: Springer US, 2010, pp. 652–652. [20] R. N. Singarimbun, E. B. Nababan, and O. S. Sitompul, “Adaptive moment estimation to minimize square error in backpropagation algorithm,” in 2019 International Con- ference of Computer Science and Information Technology (ICoSNIKOM), 2019, pp. 1–7.