UPORABNA INFORMATIKA 145 2023 - πtevilka 3 - letnik XXXI ANET 1: poprocesiranje ansambelskih vremenskih napovedi s pomoč jo nevronskih mrež Peter Mlakar 1, 2 , Janko Merše 1 , Jana Faganeli Pucer 2 1 Agencija Republike Slovenije za okolje, V ojkova cesta 1b, 1000 Ljubljana 2 Univerza v Ljubljani, Fakulteta za računalništvo in informatiko, V ečna pot 113, 1000 Ljubljana peter .mlakar@gov .si, janko.merse@gov .si, jana.faganeli@fri.uni-lj.si Izvleček Poprocesiranje ansambelskih napovedi igra ključno vlogo pri tvorjenju natančnejših verjetnostnih napovedi vremena. Pogosto upora - bljene metode za poprocesiranje verjetnostne napovedi ustvarijo ločeno za vsako lokacijo ali časovno obdobje. V tem delu predlaga - mo nov pristop, imenovan ANET1, ki temelji na nevronskih mrežah, ki združno tvori verjetnostne napovedi za vse lokacije in časovna obdobja. ANET1 posamično poprocesira člane ansambelske napovedi ter te uporabi za oceno parametrov normalne porazdelitve. Za učenje ter evalvacijo naše metode smo uporabili podatkovno zbirko napovedi temperatur , EUPPBench. Rezultati nakazujejo, da ANET1 izboljša delovanje obstoječih metod, predvsem v zahtevnih gorskih regijah. Prav tako zmanjša variabilnost napake napovedi tekom dnevnega hoda. V primerjavi z dvema drugim najboljšima pristopoma, EMOS in DVQR, ANET1 prinaša opazne izboljšave v umerjenosti porazdelitve napovedi glede na več evalvacijskih kriterijev . Ključne besede: strojno učenje, umetna inteligenca, ansambelska vremenska napoved, poprocesiranje A NET 1: Post-processing of ensemble weather forecasts using neural networks Abstract Ensemble forecast post-processing plays a crucial role in generating more accurate probabilistic weather forecasts. T raditional methods estimate parameters of a parametric distribution separately for each location or lead time while assuming the target di - stribution of the post-processed weather variable. We propose a novel, neural network-based approach, denoted as ANET1, that produces forecasts jointly for all locations and lead times. Our model post-processes individual ensemble members and uses their latent encodings to estimate the parameters of a predictive normal distribution. To evaluate our method, we conduct temperature forecast post-processing for stations in a sub-region of western Europe using the EUPPBench benchmark. Our results demonstra - te that ANET1 showcases state-of-the-art performance, improving upon existing methods in challenging mountainous regions. Compared to the two best methods, EMOS and DVQR, ANET1 exhibits better continuous ranked probability score and quantile loss, resulting in tangible improvements in the calibration of the forecast. Keywords: Machine learning, artificial intelligence, ensemble weather forecast, post-processing 1 UVOD Poprocesiranje vremenskih napovedi je ključno pri tvorjenju natančnejših vremenskih napovedi, saj nu- merične vremenske napovedi (NWP) vsebujejo na- pake. Te napake so posledica približkov v začetnih atmosferskih pogojih in računskih poenostavitev [1, 28, 12]. S povečanjem časa napovedi se napake dodatno akumulirajo ter povzročajo vse bolj netoč- ne napovedi. Zaradi teh omejitev je vremenska na- poved po naravi vse bolj negotova. Centri za napo- vedovanje vremena, kot je npr. Evropski center za srednjeročne vremenske napovedi (ECMWF) [7], za ocenjevanje te negotovosti, napovedi izdajajo v obliki ansamblov. Ansabelska napoved je tako sestavljena iz mnogih različnih vremenskih napovedi, kjer vsaka izraža potencialno edinstveno prihodnjo vremensko KRATKI ZNANSTVENI PRISPEVEK UPORABNA INFORMATIKA 146 2023 - πtevilka 3 - letnik XXXI situacijo. Žal pa so napake v napovedi prisotne tudi v ansamblih. Z namenom, da bi omilili te napake in tako tvorili bolj umerjene napovedne porazdelitve vremena [8], ponudniki vremenskih napovedi pogosto uporablja- jo tehnike poprocesiranja ansambelskih napovedi [28]. Metode za poprocesiranje so lahko preproste ali kompleksne, toge [10, 22, 25, 21] ali pa prilagodljive [16, 14, 20, 27] in obsegajo širok spekter statističnih pristopov [28]. Pred kratkim so se na področju poprocesiranja začeli uporabljati pristopi, ki temeljijo na nevronskih mrežah [18, 17, 3, 26, 29, 2, 11, 24, 23, 6, 9]. Algoritem opisan v [23] je pokazal zelo dobre rezultate pri napo- vedovanju temperatur v Nemčiji v primerjavi s kon- vencionalnimi tehnikami poprocesiranja. S pomočjo povprečja in variance ansambla napovedi ter v kom- binaciji z opisniki lokacij so [23] ustvarili nevronsko mrežo, ki oceni parametre normalne porazdelitve za vsak čas napovedi (termini napovedi v prihodnosti, od zagona modela). Negativna lastnost tega pristopa je, da je potrebno implementirati nov model za vsak čas napovedi, kar drastično poveča potrebno število modelov. Podoben pristop lahko opazimo v [2], kjer s pomočjo nevronske mreže, osnovane na [23], avtorji ocenijo koeficiente Bernsteinovih polinomov, s kate- rimi tvorijo porazdelitev napovedane količine (npr. temperature). Število potrebnih modelov tako pogo- sto narašča s številom lokacij ter časov napovedi [28]. Napovedovanje po posameznih lokacijah in časih predstavlja omejitev učenja modela saj ne izkorišča informacij iz drugih lokacij. V našem delu predlagamo nov pristop, Atmo- sphere NETwork 1 (ANET1). ANET1 je osnovan na nevronskih mrežah in je zmožen hkratnega verjetno- stnega napovedovanja vremena za vse lokacije ter čase napovedi. Ravno slednja lastnost ga dodatno razlikuje od ostalih metod poprocesiranja [5]. ANET1 je v primerjavi z drugimi pristopi pokazal zelo dobre rezultate na podatkovni zbirki EUPPBench [5]. V nadaljevanju v poglavju 2 predstavimo model ANET1 ter opišemo njegovo delovanje ter učni pro- ces. Temu sledijo rezultati evalvacije (poglavju 3) na podatkovni zbirki [5]. Primerjamo ANET1 z metodo ansambelskih statistik (EMOS) [10] ter metodo kvan- tilne regresije s pomočjo D-vine kopul (DVQR) [20] . Ključne ugotovitve povzamemo v poglavju 4. 2 ANET1 2.1 ANET1: arhitektura mreže ANET1 je algoritem za poprocesiranje ansambelskih vremenskih napovedi, ki temelji na nevronskih mre- žah. Za oceno parametrov normalne porazdelitve, s katero nato napove verjetnost vremenskih dogod- kov, uporabi arhitekturo, ki je prikazana na sliki 1. Arhitektura ANET1 je prilagojena obdelavi an- sambelskih napovedi z različnimi števili članov ansambla. Število teh se lahko v praksi razlikuje v odvisnosti od NWP . ANET1 tako sprva posamezne napovedi v ansamblu transformira s skupno kodir- no strukturo, ki je na sliki 1 označena s simbolom E . Pred tem vsaki ansambelski napovedi doda kovari- ate, ki opisujejo značilnosti posameznih lokacij, za katere napovedujemo vreme. Ti kovariati vključujejo podatke o nadmorski višini, lokaciji (geografsko dol- žino in širino) in modelske napovedi ter rabo zemlji- šča, poleg tega pa še kodiranje dneva v letu, ko je bila napoved izdana. Kodirna struktura E posamezne napovedi iz ansambla ter njihove kovariate pretvori v visoko dimenzionalne vektorje. Te ANET1 uteži z dinamičnim blokom „pozornosti“ in nato povpreči v en sam vektor, ki predstavlja vremensko stanje an- sambla. Naloga mehanizma pozornosti je ta, da do- datno poudari pomembnost bolj zanesljivih članov ansambla v specifičnih vremenskih situacijah. Povprečni vektor na koncu transformiramo s po- močjo regresijskega bloka (označen z R na sliki 1), katerega izhod je korekcijski člen za ansambelsko povprečno napoved ter standardni odklon, za vsak posamezen čas napovedi. Z drugimi besedami: iz- hod nevronske mreže ANET1 prišteje povprečni na- povedi ter odklonu ansambla napovedi. Popravljeno povprečje in standardni odklon nato uporabimo kot parametra napovedne normalne porazdelitve, ki tvo- ri končni izhod ANET1. ANET1 tako pretvori ansam- belsko vremensko napoved v verjetnostno porazdeli- tev, ki bolje opisuje prihodnjo vremensko situacijo ter njeno negotovost. 2.2 Učni postopek Za učenje ter evalvacijo ANET1 smo uporabili tem- peraturne napoved za 229 lokacij v zahodni Evropi. Te so zbrane v podatkovni zbirke EUPPBench [5]. EUPPBench vsebuje dva podatkovna niza. Prvi po- Peter Mlakar, Janko Merše, Jana Faganeli Pucer: Anet1: poprocesiranje ansambelskih vremenskih napovedi s pomoč jo nevronskih mrež UPORABNA INFORMATIKA 147 2023 - πtevilka 3 - letnik XXXI datkovni niz, označen z D 11 , vsebuje 20-letne prete - kle vremenske napovedi [5] za leti 2017, 2018. Za vsako izmed let je na voljo 209 časov zagona modela, kjer vsak zagon vsebuje 21 časov napovedi (termini vre- menskih napovedi v prihodnosti glede na čas zagona modela). Ansambel za ta podatkovni niz vsebuje 11 članov. Niz D 11 smo uporabili za učenje ANET1. Te- kom učenja smo uporabili učno serijo velikosti 256 vzorcev. Drugi podatkovni niz, označen kot D 51 , vključuje na - povedi za leti 2017, 2018, s 730 časi zagona modela in 21 časi napovedi. Ansambel za ta podatkovni niz šte- je 51 članov. D 51 smo uporabili za testiranje ANET1 modela po zaključenem učenju. Uspešnost ANET1 tekom učenja smo ocenjevali s po- močjo validacijskega podatkovnega niza. Ta je vsebo- val 20 odstotkov naključno izbranih napovedi iz niza D 11 . Napovedi so naključno izbrane iz vseh časovnih obdobji, ki jih obsega niz D 11 . Različico ANET1, ki je tekom učenja dosegla najnižjo napako (negativni lo- garitem verjetnosti) na validacijskem nizu, smo upo- rabili v nadaljnji evalvaciji. Prav tako, če se napaka na validacijskem nizu tekom učenja ni izboljšala v 20 zaporednih epohah, smo učenje predčasno ustavili. Za minimizacijo napake smo uporabili postopek gra- dientnega spusta skupaj z optimizacijskim algorit- mom Adam [15] v ogrodju PyTorch, s hitrostjo uče- nja 10 −3 in propadom uteži enakim 10 −9 . V primeru, da se napaka na validacijskem nizu ni izboljšala v 10 epohah, smo zmanjšali hitrosti učenja za faktor 0. 9, da bi pospešili konvergenco. 3 REZULTATI V tem poglavju bomo predstavili evalvacijo naše me- tode ANET1 in jo primerjali s pristopoma EMOS in DVQR na testnem nizu D 51 . Uspešnost metod smo ocenjevali z uporabo zvezne rangirane verjetno- stne spretnosti (CRPS) [8], kvantilno napako (QL) in kvantilno spretnostjo (QSS) [2], pristranskostjo in rang histogrami [13]. Metodi EMOS ter DVQR smo izbrali zato, ker sta bili, poleg ANET1, najboljši metodi poprocesiranja v pilotni študiji EUPPBench podatkovne zbirke [5]. Poprocesirane napovedi obeh metod za niz D 51 smo pridobili na [4]. 3.1 Umerjenost verjetnostnih napovedi Rezultati CRPS in QL za vse tri metode so prikazani na sliki 2. Tu so vrednosti kriterijev povprečene čez celoten podatkovni niz in prikazane za posamezen čas napovedi. V prvi vrstici slike 2 lahko razbere- mo, da ANET1 v povprečju deluje bolje od preosta- lih dveh metod za večino časov napovedi. Napaki EMOS ter DVQR korelirata, z večjimi nihaji v dnevno nočnem ciklu (razviden iz skokov napake vsake 24 ur). Ravno te napake ANET1 odpravi, saj poproce- sira napovedi za celoten čas napovedi naenkrat. Za odpravo napake ob določenem času izkoristi tudi informacije iz preostalih časov napovedi [19]. Za najpoznejše čase napovedi vse tri metode dosegajo podoben CRPS saj ne uspejo razbrati zadostnih in- formacij iz vhodne vremenske napovedi. Peter Mlakar, Janko Merše, Jana Faganeli Pucer: Anet1: poprocesiranje ansambelskih vremenskih napovedi s pomoč jo nevronskih mrež Slika 1: Oris arhitekture nevronske mreže ANET1. Simboli e i označujejo posamezno napoved iz ansambla. Okrogli simboli C, M, S, F označujeo operacije konkatenacije, povprečenja, računanja standardnega odklona ter aktivacijsko funkcijo softplus. Kvadratni elementi E, A, R označujejo blok skupne kodirne strukture, blok dinamične pozornosti ter regresijski blok. S simbolom f je označeno število nevronov znotraj posamezne polno povezane plasti. Simbol t označuje število časov napoved ter p število parametrov , potrebnih za opis napovedne porazdelitve (v primeru normalne porazdelitve sta to dva parametra: povprečje ter standardni odklon). UPORABNA INFORMATIKA 148 2023 - πtevilka 3 - letnik XXXI Do podobnega zaključka nas privede tudi QSS (desno v zgornji vrstici v sliki 2), kjer smo metodo DVQR uporabili kot referenčno. Vidimo lahko, da ANET1 prekaša preostali metodi v vseh kvantilih, le v najnižjih se približa metodi DVQR. Metoda EMOS, ki prav tako napovedi tvori s pomočjo normalne po- razdelitve, deluje mnogo slabše od ANET1. Razlog za tem je, da EMOS parametre normalne porazde- litve izračuna kot linearno kombinacijo ansamblov vhodne napovedi. ANET1 pa te oceni s pomočjo ne- vronske mreže in je tako zmožen opisati mnogo bolj kompleksne relacije med kovariati ter opazovanji. V spodnji vrstici slike 2 lahko vidimo histogram rangov posameznih metod. Prikazujejo stopnjo umer- jenosti napovednih verjetnostnih porazdelitev. Bolj kot je histogram uniformen, bolj umerjena je načelo- ma napoved. Med metodama ANET1 ter EMOS lah- ko opazimo podobnost. Obe izkazujeta izstopajočo pristranskost na intervalu med 20. ter 40. kvantilom. To je verjetno posledica uporabe normalne porazdeli- tve v obeh pristopih. DVQR močno zmanjša pristran- skost na intervalu med 20. in 40 kvantilom. Hkrati pa tvori preozko porazdelitev pri nižjih kvantilih ter preširoko na najvišjih, zaradi katere premajhen ali prevelik delež napovedi pade izven pričakovanega obsega porazdelitve. Podoben vzorec je prisoten pri veliki večini metod [5]. Metodi DVQR ter ANET1 tako tvorita najbolj uniformne histograme, metoda EMOS pa najmanj, z bolj izrazitimi pristranskostmi. Povprečne vrednosti CRPS, QL ter pristranskosti vseh metod, čez celoten niz D 51 so prikazane v tabeli 1. ANET1 je najboljša metoda tako v CRPS kot QL. Za metodo EMOS zaostaja samo v pristranskosti. ANET1 dosega 0. 94 ter 0. 92 krat manjši CRPS in QL kot EMOS, in 0. 94 ter 0. 95 krat manjši CRPS in QL kot DVQR. T abela 1: Povprečni CRPS, pristranskost ter QL za vse tri metode, čez celoten niz D 51 . Manjša CRPS in QL prikazujeta boljše delovanje, pristranskost bližje nič je prav tako zaželena. CRPS Pristranskost QL EMOS 1.056 0.074 0.419 DVQR 1.047 0.096 0.408 ANET1 0.988 0.092 0.386 3.2 Napaka napovedi glede na posamezno lokacijo ter nadmorsko višino Oglejmo si še primerjavo vseh treh metod glede na posamezne lokacije ter nadmorske višine lokacij. Na sliki 3 so prikazani QSS, agregirani glede na tri inter- Slika 2: (Zgornja vrstica:) CRPS ter QSS izračunana za vse tri metode, za posamezen čas napovedi in posamezen kvantil. DVQR služi kot referenčna metoda za QSS. Pozitiven QSS nakazuje boljše delovanje kot referenca. (Spodnja vrstica:) Rang histogrami za vse tri metode, izračunani na 51 kvantilih. Uniformen histogram (črna črtkana črta) zaznamuje optimalno verjetnostno napoved. Peter Mlakar, Janko Merše, Jana Faganeli Pucer: Anet1: poprocesiranje ansambelskih vremenskih napovedi s pomoč jo nevronskih mrež UPORABNA INFORMATIKA 149 2023 - πtevilka 3 - letnik XXXI vale nadmorskih višin lokacij, ter CRPS za posame- zne lokacije in vse nadmorske višine lokacij. Opazimo lahko, da ANET1 deluje bolje od obeh preostalih metod glede na CRPS za lokacije na vseh intervalih nadmorskih višin. Le v lokacijah na nižjih nadmorskih višinah se CRPS ANET1 približa ostali- ma metodama. Podoben zaključek lahko razberemo, če rangira- mo metode glede na CRPS za posamezne lokacije (desna slika, zgornja vrstica 3). Opazimo lahko, da je ANET1 najboljša metoda na 151 lokacijah od 229. Največja razlika je ravno v visokogorju na jugu Nem- čije ter v Švici, kjer v večini lokacij ANET1 deluje naj- bolje. Zaključimo lahko, da je ANET1 najboljša meto- da za poprocesiranje napovedi v razgibanem terenu. V priobalnih regijah Belgije in Nizozemske deluje bolje EMOS, ki je najboljša metoda v 60 lokacijah iz- med 229. Vse metode so si blizu glede na CRPS rav- no na območjih z nizko nadmorsko višino, saj je po- procesiranje temperature na teh lokacijah lažje kot v primeru bolj razgibanega terena. Ker je EMOS model ustvarjen za vsako lokacijo posebej se je ta lažje pri- lagodil enostavnejšim lokacijam. ANET1, ki popro- cesira napovedi vseh lokacij hkrati, večji delež para- metrov modela nameni kompleksnejšim vremenskih situacijam v goratem ter hribovitem svetu. QSS (spodnja vrstica slike 3) nakazuje na podoben zaključek, saj je ANET1 boljši od preostalih dveh me- tod v vseh kvantilih. Edina izjema je QSS postaj z niž- jimi nadmorskimi višinami, kjer se ANET1 približa DVQR metodi in na določeni podmnožici kvantilov deluje slabše kot DVQR. Z naraščanjem nadmorske višine se razlika med ANET1 in preostalima metoda- ma povečuje, kar je skladno s prej opisanimi rezultati. 4 SKLEP V našem delu smo predstavili novo metodo ANET1 za verjetnostno poprocesiranje ansambelskih vre- menskih napovedi. ANET1 temelji na nevronskih mrežah, ki omogočajo opisovanje kompleksnih raz- merji med vremenskimi napovedmi ter meritvami. Naš pristop se razlikuje od konvencionalnih po tem, da ANET1 tvori en sam model za vse napovedne lokacije in čase napovedi, saj mnogi konkurenč- ni pristopi tvorijo posamezne modele za specifične čase napovedi ter lokacije [5]. ANET1 verjetnostno napoved ustvari z uporabo predpostavke normalne porazdelitve. Slika 3: (Zgornja vrstica:) CRPS vseh metod glede na nadmorsko višino lokacij ter rangiranje metod za posamezno lokacijo glede na CRPS. (Spodnja vrstica:) QSS vseh metod, agregiran na tri intervale nadmorske višine lokacij. DVQR služi kot referenčna metoda za QSS. Pozitiven QSS nakazuje boljše delovanje kot referenca. Peter Mlakar, Janko Merše, Jana Faganeli Pucer: Anet1: poprocesiranje ansambelskih vremenskih napovedi s pomoč jo nevronskih mrež UPORABNA INFORMATIKA 150 2023 - πtevilka 3 - letnik XXXI ANET1 smo primerjali z dvema drugima najbolj- šima metodama, EMOS ter DVQR, na podatkovni množici EUPPbench [5]. ANET1 se je glede na več kriterijev izkazala kot najboljša metoda za popro- cesiranje napovedi temperature za glavnino lokacij ter časov napovedi. ANET1 tako doseže 0. 94 ter 0. 92 krat manjši CRPS in QL kot EMOS in 0. 94 ter 0. 95 krat manjši CRPS in QL kot DVQR v povprečju čez celotno podatkovno zbirko. Šibkost metode ANET1 je zaenkrat poprocesira- nje napovedi v nižinskih lokacijah, kjer ga prehiti metoda EMOS glede na CRPS. Prav tako ANET1 za- ostaja za metodo EMOS v pristranskosti napovedi. Klub temu menimo, da ANET1 predstavlja po- memben napredek na področju poprocesiranja vre- menskih napovedi. Z napovedovanjem za vse čase napovedi hkrati smo izrazito zmanjšali variabilnost napake v dnevno nočnem ciklu, kar ni uspelo nobeni drugi metodi [5]. Upamo, da bo pristop, ki smo ga razvili, koristil drugim raziskovalcem pri razvoju no- vih ter nadgradnji obstoječih metod za tvorjenje bolj natančnih ter uporabnih vremenskih napovedi. ZAHVALA Avtorji tega dela se zahvaljujemo konzorciju EUME- TNET za zagotovitev potrebnih sredstev, ki so omo- gočila oblikovanje podatkovne zbirke EUPPBench, in našim sodelavcem, ki so s svojim predanim delom pripomogli k njegovi realizaciji. Prav tako se za- hvaljujemo agenciji MétéoSuisse, l’Office fédéral de météorologie et de climatologie, za priskrbo postaj- skih meritev na območju Švice. Poleg tega je bilo to delo podprto s sredstvi Agen- cije za raziskovalno dejavnost Republike Slovenije (ARRS) za raziskovalno jedro P2-0209 (Jana Faganeli Pucer). LITERATURA [1] Peter Bauer, Alan Thorpe, and Gilbert Brunet. The quiet revo- lution of numerical weather prediction. Nature, 525(7567):47– 55, September 2015. [2] John Bjørnar Bremnes. Ensemble postprocessing using quantile function regression based on neural networks and Bernstein polynomials. Monthly Weather Review, 148(1):403– 414, 2020. Publisher: American Meteorological Society. [3] William E Chapman, Luca Delle Monache, Stefano Alessandri- ni, Aneesh C Subramanian, F Martin Ralph, Shang-Ping Xie, Sebastian Lerch, and Negin Hayatbini. Probabilistic predicti- ons from deter- ministic atmospheric river forecasts with deep learning. Monthly Weather Review, 150(1):215–234, 2022. [4] Jieyu Chen, Markus Dabernig, Jonathan Demaeyer, Gavin Evans, Jana Faganeli Pucer, Ben Hooper, Nina Horat, David Jobst, Sebastian Lerch, Peter Mlakar, Annette Möller, Janko Merše, and Zied Ben Bouallègue. Essd benchmark output data, April 2023. [5] J. Demaeyer, J. Bhend, S. Lerch, C. Primo, B. Van Schaey- broeck, A. Atencia, Z. Ben Bouallègue, J. Chen, M. Dabernig, G. Evans, J. Faganeli Pucer, B. Hooper, N. Horat, D. Jobst, J. Merše, P. Mlakar, A. Möller, O. Mestre, M. Taillardat, and S. Vannitsem. The EUPPBench postprocessing benchmark da- taset v1.0. Earth System Science Data Discussions, 2023:1– 25, 2023. [6] Florian Dupuy, Olivier Mestre, Mathieu Serrurier, Valentin Ki- vachuk Burdá, Michaël Zamo, Naty Citlali Cabrera-Gutiérrez, Mohamed Chafik Bakkay, Jean-Christophe Jouhaud, Maud- -Alix Mader, and Guilla- ume Oller. ARPEGE Cloud Cover Forecast Postprocessing with Convolutional Neural Network. Weather and Forecasting, 36(2):567 – 586, 2021. Place: Bo- ston MA, USA Publisher: American Meteorological Society. [7] ECMWF. https://www.ecmwf.int/en/forecasts, 2022. [8] Tilmann Gneiting, Fadoua Balabdaoui, and Adrian E. Raftery. Probabilistic forecasts, calibration and sharpness. Journal of the Royal Statistical Society. Series B: Statistical Methodolo- gy, 69(2), 2007. [9] Tilmann Gneiting, Sebastian Lerch, and Benedikt Schulz. Probabilistic solar forecasting: Benchmarks, post-proces- sing, verification. Solar Energy, 252:72–80, 2023. [10] Tilmann Gneiting, Adrian E. Raftery, Anton H. Westveld, and Tom Goldman. Calibrated probabilistic forecasting using en- semble model output statistics and minimum CRPS estimati- on. Monthly Weather Review, 133(5), 2005. [11] Peter Grönquist, Chengyuan Yao, Tal Ben-Nun, Nikoli Dry- den, Peter Dueben, Shigang Li, and Torsten Hoefler. Deep le- arning for post-processing ensemble weather forecasts. Phi- losophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 379(2194):20200092, February 2021. Publisher: Royal Society. [12] G.J. Hakim and J. Patoux. Weather: A Concise Introduction. Cambridge University Press, 2017. [13] Thomas M. Hamill. Interpretation of Rank Histograms for Verifying Ensemble Forecasts. Monthly Weather Review, 129(3):550 – 560, 2001. Place: Boston MA, USA Publisher: American Meteorological Society. [14] Timothy David Hewson and Fatima Maria Pillosu. A low- -cost post-processing technique improves weather foreca- sts around the world. Communications Earth & Environment, 2(1):132, 2021. Publisher: Nature Publishing Group UK London. [15] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Sto- chastic Optimization. arXiv preprint arXiv:1412.6980, 2017. [16] Charlie Kirkwood, Theo Economou, Henry Odbert, and Nico- las Pugeault. A framework for probabilistic weather forecast post-processing across models and lead times using machi- ne learning. Philosophical Transactions of the Royal Society A, 379(2194):20200099, 2021. Publisher: The Royal Society Publishing. [17] Sebastian Lerch and Kai L Polsterer. Convolutional autoen- coders for spatially-informed ensemble post-processing. ar- Xiv preprint arXiv:2204.05102, 2022. [18] Amy McGovern, Kimberly L. Elmore, David John Gagne, Sue Ellen Haupt, Christopher D. Karstens, Ryan Lagerquist, Travis Smith, and John K. Williams. Using Artificial Intelligen- ce to Improve Real-Time Decision-Making for High-Impact Weather. Bulletin of the American Meteorological Society, 98(10):2073 – 2090, 2017. Place: Boston MA, USA Publisher: American Meteorological Society. Peter Mlakar, Janko Merše, Jana Faganeli Pucer: Anet1: poprocesiranje ansambelskih vremenskih napovedi s pomoč jo nevronskih mrež UPORABNA INFORMATIKA 151 2023 - πtevilka 3 - letnik XXXI Peter Mlakar je doktorski študent na Univerzi v Ljubljani, Fakulteti za računalništvo in informatiko. Zaposlen je na Agenciji Republike Slovenije za okolje in se raziskovalno ukvarja z izboljšanjem vremenske napovedi s pomočjo strojnega učenja, s poudarkom na metodah globokega učenja. Janko Merše je univerzitetni diplomirani fizik meteorološke smeri in na Agenciji Republike Slovenije za okolje vodi Oddelek za meteorološke, hidrološke in oceanografske izdelke. Jana Faganeli Pucer je docentka na Fakulteti za računalništvo in informatiko. Njeno raziskovalno delo je osredotočeno na strojno učenje, predvsem na aplikacijo metod strojnega učenje v okoljskih znanostih. V eč let sodeluje z Agencijo Republike Slovenije za okolje na področju kakovosti zraka. [19] Peter Mlakar, Janko Merše, and Jana Faganeli Pucer. En- semble weather forecast post-processing with a flexible pro- babilistic neural network approach, 2023. [20] Annette Möller, Ludovica Spazzini, Daniel Kraus, Thomas Nagler, and Claudia Czado. Vine copula based post-proces- sing of ensemble forecasts for temperature. arXiv preprint arXiv:1811.02255, 2018. [21] Kaleb Phipps, Sebastian Lerch, Maria Andersson, Ralf Mikut, Veit Hagenmeyer, and Nicole Ludwig. Evaluating ensemble post-processing for wind power forecasts. Wind Energy, 25(8):1379–1405, 2022. Publisher: Wiley Online Library. [22] Adrian E. Raftery, Tilmann Gneiting, Fadoua Balabdaoui, and Michael Polakowski. Using Bayesian model averaging to ca- librate forecast ensembles. Monthly Weather Review, 133(5), 2005. [23] Stephan Rasp and Sebastian Lerch. Neural networks for po- stprocessing ensemble weather forecasts. Monthly Weather Review, 146(11):3885–3900, 2018. Publisher: American Me- teorological Society. [24] Michael Scheuerer, Matthew B Switanek, Rochelle P Wor- snop, and Thomas M Hamill. Using artificial neural networks for generating probabilistic subseasonal precipitation foreca- sts over California. Monthly Weather Review, 148(8):3489– 3506, 2020. Publisher: American Meteorological Society. [25] Benedikt Schulz, Mehrez El Ayari, Sebastian Lerch, and Sán- dor Baran. Post-processing numerical weather prediction en- sembles for probabilistic solar irradiance forecasting. Solar Energy, 220:1016– 1031, 2021. [26] Benedikt Schulz and Sebastian Lerch. Machine Learning Methods for Postprocessing Ensemble Forecasts of Wind Gusts: A Systematic Comparison. Monthly Weather Review, 150(1):235–257, January 2022. Place: Boston MA, USA Pu- blisher: American Meteorological Society. [27] Bert Van Schaeybroeck and Stéphane Vannitsem. Ensemble post-processing using member-by- member approaches: theoretical aspects. Quarterly Journal of the Royal Meteo- rological Society, 141(688):807–818, 2015. Publisher: Wiley Online Library. [28] Stéphane Vannitsem, John Bjørnar Bremnes, Jonathan De- maeyer, Gavin R. Evans, Jonathan Flo- werdew, Stephan Hemri, Sebastian Lerch, Nigel Roberts, Susanne Theis, Aitor Atencia, Zied Ben Bouallègue, Jonas Bhend, Markus Daber- nig, Lesley de Cruz, Leila Hieta, Olivier Mestre, Lionel Moret, Iris Odak Plenkovic´, Maurice Schmeits, Maxime Taillardat, Joris van den Bergh, Bert van Schaeybroeck, Kirien Whan, and Jussi Ylhaisi. Statistical postprocessing for weather fo- recasts review, challenges, and avenues in a big data world. Bulletin of the American Meteorological Society, 102(3), 2021. [29] Simon Veldkamp, Kirien Whan, Sjoerd Dirksen, and Maurice Schmeits. Statistical postprocessing of wind speed forecasts using convolutional neural networks. Monthly Weather Revi- ew, 149(4):1141–1152, 2021. Peter Mlakar, Janko Merše, Jana Faganeli Pucer: Anet1: poprocesiranje ansambelskih vremenskih napovedi s pomoč jo nevronskih mrež