139 Več kot 30 let uporabe umetne inteligence na področju meteorologije v Sloveniji Marija Zlata Božnar * , Primož Mlakar * , Boštjan Grašič * Povzetek V članku opisujemo več kot 30 let uporabe umetne inteligence na področju meteorologije v Sloveniji. Ključne besede: umetne nevronske mreže, strojno učenje, umetna inteligenca, meteorologija, razširjanje onesnaževanja ozračja Key words: aritificial neural networks, machine learning, artificial inteligence, meteorology, air pollution dispersion Predgovor 10. januarja 2024 je ECMWF izdal sporočilo za javnost o uporabi in načrtih za uporabo strojnega učenja v procesu napovedovanja vremena: »Na zadnjih dveh zasedanjih Sveta ECMWF, junija in decembra 2023, so države članice ECMWF odobrile dve pomembni pobudi, namenjeni intenzivnejšemu razvoju, testiranju in izvajanju strojnega učenja v njihovih procesih za napovedovanje vremena.« (European Centre for Medium-Range Weather Forecasts, 2024) Norveška in Švica sta prevzeli skupno enega od teh projektov in bosta usklajevali njegov razvoj: »Roar Skålin, generalni direktor Met Norway, in Christof Appenzeller, direktor MeteoSwiss, sta v skupni izjavi povedala: »Medtem ko se številne države članice ECMWF že ukvarjajo s strojnim učenjem v okviru svojih meteoroloških služb, je pomembno nadaljevati in krepiti skupni pristop. To bo ključnega pomena za vodilno vlogo Evrope na področju napovedovanja vremena. Strojno učenje ima velik potencial za izboljšanje napovedi in storitev ter nam bo omogočilo boljšo zaščito vseh državljanov pred posledicami nevarnih vremenskih pojavov. Iz nedavnih in zelo obetavnih rezultatov je jasno, da moramo v razvoj odločno vlagati.«« (prevod mag. Tanja Cegnar). Uvod Iz predgovora je razvidno, da so si orodja strojnega učenja iz podatkov kot ena od orodij popularno poimenovanega področja umetne inteligence končno zanesljivo utrla pot tudi na področje atmosferske znanosti. V tem članku bomo kratko predstavili kako smo Slovenci orali ledino na tem področju in nadaljevali razvoj v zadnjih več kot 30 letih. * MEIS storitve za okolje, d.o.o., Mali Vrh pri Šmarju 78, SI-1293 Šmarje-Sap, Slovenija 140 Orodja za strojno učenje, kratek vpogled v delovanje O strojnem učenju govorimo takrat, ko iz množice podatkov o obravnavanem sistemu, naprimer iz meritev v atmosferi, s posebnimi orodji izvlečemo informacijo, za katero morda še ne vemo vseh zakonitosti povezav med spremenljivkami v eksplicitni obliki. Lahko pa so nam povezave poznane, a so tako kompleksne, da onemogočajo hitre izračune, v teh primerih pa metode strojnega učenja pomagajo izračune izdelati mnogo hitreje. Eno od prvih orodij strojnega učenja so bile umetne nevronske mreže, naprimer večnivojska perceptronska nevronska mreža VPNM. Če je v njene nevrone vgrajena nelinearna prenosna funkcija, potem ima VPNM lastnost, da je univerzalni aproksimator. To pomeni, da z njo lahko poljubno dobro ponazorimo katerokoli nesingularno funkcijo. V praksi to pomeni, da lahko z njo ponazorimo zapletene nelinearne odvisnosti naprimer med spremenljivkami v ozračju, če le imamo na voljo dovolj pomerjenih primerov »parov« odvisne spremenljivke (ali večih spremenljivk), ki jo želimo ponazoriti, in neodvisnih spremenljivk, ki jo pogojujejo. Posamezne pomerjene primere imenujemo vzorci (ali tudi vektorji, patterns), odvisne in neodvisne spremenljivke pa imenujemo značilke (ali tudi regresorji, features). Nevron, ki je ključni element strukture nevronske mreže, pa je zgolj skupek enostavnih matematičnih operacij: z različnimi utežmi sešteje vrednosti s svojih vhodov in zatem vsoto podvrže prenosni funkciji. Izhod prenosne funkcije pa je izhod iz nevrona, ki se naprej povezuje na mrežo sestavljeno iz množice drugih nevronov. Od te konfiguracije je tudi nastalo poimenovanje umetne nevronske mreže, saj to posnema delovanje bioloških nevronskih mrež. Mrežo konfiguriramo tako, da nevrone razporedimo v več slojev. Nevroni iz vsakega sloja so povezani z vsemi nevroni iz prejšnjega in iz naslednjega sloja. Možne pa so tudi druge kombinacije povezav, vključno s povratnimi zankami, kar pa niso več VPNM ampak druge vrste umetnih nevronskih mrež. Proces izdelave modela na osnovi VPNM poteka v več korakih. Najprej oblikujemo količino nevronov in število slojev kar z izkušnjami prilagodimo razsežnosti problema, količini značilk in količini vzorcev. Potem nadaljujemo oblikovanje modela tako, da množico poznanih vzorcev, ki so ponazorjeni s posamičnimi realizacijami značilk, razdelimo na učno, optimizacijsko in testno množico. V procesu učenja parametre modela na osnovi VPNM z ustreznim učnim algoritmom spreminjamo tako, da se rezultati čim bolje prilagodijo učni množici. Hkrati pa testiramo vmesni izdelani model na optimizacijski množici. Končni model je tisti, ki najbolje ponazori optimizacijske vzorce. S tem zagotovimo, da ima nevronska mreža posploševalne sposobnosti. To je pomembno zato, ker se ustrezno kofigurirana VPNM lahko popolnoma nauči učne vzorce, vendar takrat nima dobrih posploševalnih sposobnosti. Dejansko učinkovitost modela na osnovi VPNM pa potem pretestiramo na neodvisni testni množici, ki je nismo uporabili v procesu učenja. Kohonenova nevronska mreža pa ima drugačne sposobnosti. V množici vzorcev zna poiskati skupine podobnih vzorcev na zelo učinkovit in pronicljiv način. Razvoj je prinesel celo množico podobnih orodij, od številnih drugih vrst umetnih nevronskih mrež do Gaussovih procesov (ki nimajo nobene zveze z Gaussovimi disperzijskimi modeli!), odločitvenih dreves (ti so primer »razložljive inteligence«) i.t.d.. 141 Prva celovita metoda za uporabo umetne nevronske mreže za napovedovanje onesnaženja ozračja Prvo celovito metodo v svetu za uporabo umetnih nevronskih mrež za napovedovanje onesnaženja ozračja smo postavili že leta 1991 in jo objavili v letu 1993 (Božnar et al., 1993). Metodo smo razvili za kratkoročne napovedi zelo spremenljivih koncentracij žveplovega dioksida SO2 na postajah v okolici Termoelektrarne Šoštanj, ki je takrat delovala še brez mokre odžvepljevalne naprave in je bil zato SO2 v ozračju zelo pomemben in dobro pomerjen problem. Predstavitve, razvoj in nova področja, od modelov za točke do krajevno prenosljivih modelov Metodo smo v naslednjih letih izpopolnili in predstavili na številnih konferencah in v člankih (Mlakar et al., 1994, Mlakar & Božnar, 1994, Božnar & Mlakar, 1995, Mlakar & Božnar, 1996, Mlakar, 1997, M. Božnar, 1997, Mlakar & Božnar, 1997, Božnar & Mlakar, 2002, Mlakar, 2004, Mlakar & Božnar, 2011). Leta 2004 smo metodo s kolegi iz Sao Paula v Braziliji uspešno uporabili za točkovne napovedi difuznega sončnega sevanja, leta 2006 pa za korekcijo vpliva kupole na točkovne meritve dolgovalovnega sevanja s pirgeometrom (Soares et al., 2004, Oliveira et al., 2006, Mlakar et al., 2015; Mlakar, Božnar, Grašič, Oliviera, Soares, Gradišar, 2015). Leta 2007 smo metodo razširili na uporabo še drugega orodja za strojno učenje, uporabili smo Gaussove procese za točkovno napoved ozona (Grašič et al., 2006). Razvoj na področju ozona smo nadaljevali v naslednjih letih (Kocijan et al., 2015, Petelin et al., 2015, Gradišar et al., 2016, Kocijan et al., 2016, Kocijan et al., 2018). V letu 2008 smo orodja uporabili za pohitritve simulacij disperzije onesnaževal v ozračju z uporabo Lagrangevega modela delcev (Grašič, 2008). V letu 2017 smo prešli iz napovedi za posamezne točke na napovedi, ki veljajo za različne kraje. Postavili smo krajevno prenosljiv model za difuzno sončno sevanje in krajevno prenosljiv model za asimilacijo ozonskih meritev za regionalni model maksimalnih koncentracij ozona (Božnar, Grašič, Mlakar, et al., 2017, Božnar, Grašič, Oliveira, et al., 2017). Nadaljevali smo z modeli za izboljšanje točkovnih napovedi temperatur zraka, relativne vlage v zraku in vetra (Kocijan et al., 2019, Kocijan et al., 2020, Perne et al., 2021, Krivec et al., 2021). Najnovejši nadomestni (»surogat«) modeli za ploskovne napovedi V 2023 smo objavili razvoj dveh različnih nadomestnih (»surogat«) modelov, ki omogočajo hkratno ponazoritev širjenja onesnaženja ozračja za celotno obravnavano prizemno ploskev izbranega krajevnega področja. Modele smo izdelali za relativne koncentracije in za relativne doze (Perne et al., 2023, Kocijan et al., 2023, Hvala et al., 2023). 142 Kohonenova nevronska mreža za klasificiranje podatkov S Kohonenovo nevronsko mrežo smo zelo uspešno klasificirali podatke o vetrovnem polju v okolici Šoštanja, ki je bilo predstavljeno s hkratnimi meritvami smeri in hitrosti vetra na 10 m nad tlemi na številnih talnih merilnih postajah okoli Termoelektrarne Šoštanj (Mlakar, 2004). Delo ostalih slovenskih skupin Med prvimi so metodo poprijeli v 2004 Rahela in Jure Žabkar ter Danijel Čemas za napovedi ozona, tudi v sodelovanju z Vladušič Danielom, Šuc Dorianom in Bratko Ivanom (Fakulteta za matematiko in fiziko Univerze v Ljubljani, Agencija Republike Slovenije za okolje (ARSO) in Fakulteta za računalništvo in informatiko Univerze v Ljubljani) (Žabkar et al., 2004, Žabkar et al., 2006). V zadnjem času je več zanimanja na katedri za Meteorologijo, pri Gregorju Skoku in sodelavcih ter študentih s Katedre za meteorologijo, Fakultete za matematiko in fiziko Univerze v Ljubljani (Skok et al., 2021). Predvidoma bo na tem srečanju predstavil magistrsko delo Uroš Perkan (Perkan, 2023). Skupaj s sodelavci z ARSO, Petrom Mlakarjem in Jankom Meršetom pa se s tem področjem ukvarja tudi Jana Faganeli Pucer s Fakultete za računalništvo in informatiko Univerze v Ljubljani, predstavitev bo predvidoma tudi na tem srečanju (Mlakar et al., 2024, Faganeli Pucer et al., 2018, Mlakar et al., 2023, Demaeyer et al., 2023). Če smo še koga izpustili, se opravičujemo. Zaključek Različne metode strojnega učenja se končno bolj množično uporabljajo na področju atmosferske znanosti. Zahvala Projekt (Modeliranje dinamike kratkoročne izpostavljenosti radiološkemu sevanju, L2- 2615) je sofinancirala Javna agencija za znanstvenoraziskovalno in inovacijsko dejavnost Republike Slovenije iz državnega proračuna. Literatura Božnar, M., Lesjak, M., & Mlakar, P. (1993). A neural network-based method for short-term predictions of ambient SO2 concentrations in highly polluted industrial areas of complex terrain. Atmospheric Environment. Part B. Urban Atmosphere, 27(2), 221–230. https://doi.org/10.1016/0957-1272(93)90007-S, (“Received 24 September 1991, Accepted 21 November 1992”) 143 Božnar, M. Z., & Mlakar, P. (1995). Neural Networks - A New Mathematical Tool For Air Pollution Modelling. WIT Transactions on Ecology and the Environment. https://doi.org/10.2495/AIR950301 Božnar, M. (1997). Pattern selection strategies for a neural network-based short term air pollution prediction model. Intelligent Information Systems, 1997. IIS ’97. Proceedings, 340–344. https://doi.org/10.1109/IIS.1997.645285 Božnar Marija Zlata, & Mlakar, P. (2002). Use of Neural Networks in the Field of Air Pollution Modelling. In G. Borrego Carlos and Schayes (Ed.), Air Pollution Modeling and Its Application XV (pp. 375–383). Springer US. https://doi.org/10.1007/0-306-47813-7_38 Božnar, M. Z., Grašič, B., Mlakar, P., Gradišar, D., & Kocijan, J. (2017). Nonlinear data assimilation for the regional modeling of maximum ozone values. Environmental Science and Pollution Research, 24(31), 24666–24680. https://doi.org/10.1007/s11356-017-0059-2 Božnar, M. Z., Grašič, B., Oliveira, A. P. de, Soares, J., & Mlakar, P. (2017). Spatially transferable regional model for half-hourly values of diffuse solar radiation for general sky conditions based on perceptron artificial neural networks. Renewable Energy, 103, 794–810. https://doi.org/10.1016/j.renene.2016.11.013 Demaeyer, J., Bhend, J., Lerch, S., Primo, C., Van Schaeybroeck, B., Atencia, A., Ben Bouallègue, Z., Chen, J., Dabernig, M., Evans, G., Faganeli Pucer, J., Hooper, B., Horat, N., Jobst, D., Merše, J., Mlakar, P., Möller, A., Mestre, O., Taillardat, M., & Vannitsem, S. (2023). The EUPPBench postprocessing benchmark dataset v1.0. Earth System Science Data, 15(6), 2635– 2653. https://doi.org/10.5194/essd-15-2635-2023 European Centre for Medium-Range Weather Forecasts. (2024). European met services pool resources to intensify use of AI in weather prediction. https://www.ecmwf.int/en/about/media- centre/news/2024/european-met-services-pool-resources-intensify-use-ai-weather, 10.01.2024 Faganeli Pucer, J., Pirš, G., & Štrumbelj, E. (2018). A Bayesian approach to forecasting daily air- pollutant levels. Knowledge and Information Systems, 57(3), 635–654. https://doi.org/10.1007/s10115-018-1177-y Gradišar, D., Grašič, B., Božnar, M. Z., Mlakar, P., & Kocijan, J. (2016). Improving of local ozone forecasting by integrated models. Environmental Science and Pollution Research, 23(18), 18439–18450. https://doi.org/10.1007/s11356-016-6989-2 Grašič, B., Mlakar, P., & Božnar, M. Z. (2006). Ozone prediction based on neural networks and Gaussian processes. Nuovo Cimento C Geophysics Space Physics C, 29, 651–661. https://doi.org/10.1393/ncc/i2006-10011-5 Grašič, B. (2008). Improvement of the performance of an air-pollution dispersion model for use over complex terrain [Doctoral dissertation, University of Nova Gorica]. http://www.ung.si/~library/doktorati/okolje/9Grasic.pdf Hvala, N., Mlakar, P., Grašič, B., Božnar, M. Z., Perne, M., & Kocijan, J. (2023). Surrogate tree ensemble model representing 2D population doses over complex terrain in the event of a radiological release into the air. Progress in Nuclear Energy, 158, 104594. https://doi.org/10.1016/j.pnucene.2023.104594 Kocijan, J., Hančič, M., Petelin, D., Božnar, M. Z., & Mlakar, P. (2015). Regressor selection for ozone prediction. Simulation Modelling Practice and Theory, 54, 101–115. https://doi.org/10.1016/j.simpat.2015.03.004 Kocijan, J., Gradišar, D., Božnar, M. Z., Grašič, B., & Mlakar, P. (2016). On-line algorithm for ground-level ozone prediction with a mobile station. Atmospheric Environment, 131, 326–333. https://doi.org/10.1016/j.atmosenv.2016.02.012 Kocijan, J., Gradišar, D., Stepančič, M., Božnar, M. Z., Grašič, B., & Mlakar, P. (2018). Selection of the data time interval for the prediction of maximum ozone concentrations. Stochastic Environmental Research and Risk Assessment, 32(6), 1759–1770. https://doi.org/10.1007/s00477-017-1468-y Kocijan, J., Perne, M., Mlakar, P., Grašič, B., & Božnar, M. Z. (2019). Hybrid model of the near- ground temperature profile. Stochastic Environmental Research and Risk Assessment, 33(11– 12), 2019–2032. https://doi.org/10.1007/s00477-019-01736-5 144 Kocijan, J., Perne, M., Grašič, B., Božnar, M. Z., & Mlakar, P. (2020). Sparse and hybrid modelling of relative humidity: the Krško basin case study. CAAI Transactions on Intelligence Technology, 5(1), 42–48. https://doi.org/10.1049/trit.2019.0054 Kocijan, J., Hvala, N., Perne, M., Mlakar, P., Grašič, B., & Božnar, M. Z. (2023). Surrogate modelling for the forecast of Seveso-type atmospheric pollutant dispersion. Stochastic Environmental Research and Risk Assessment, 37(1), 275–290. https://doi.org/10.1007/s00477- 022-02288-x Krivec, T., Kocijan, J., Perne, M., Grašic, B., Božnar, M. Z., & Mlakar, P. (2021). Data-driven method for the improving forecasts of local weather dynamics. Engineering Applications of Artificial Intelligence, 105, 104423. https://doi.org/10.1016/j.engappai.2021.104423 Mlakar, P., Božnar, M., & Lesjak, M. (1994). Neural Networks Predict Pollution. In M. M. Gryning Sven-Erik and Millán (Ed.), Air Pollution Modeling and Its Application X (pp. 659– 660). Springer US. https://doi.org/10.1007/978-1-4615-1817-4_93 Mlakar, P., & Božnar, M. Z. (1994). Short-term Air Pollution Prediction On The Basis Of Artificial Neural Networks. WIT Transactions on Ecology and the Environment, 3, 4. https://doi.org/10.2495/AIR940611Mlakar, P. (1997). Determination of features for air pollution forecasting models. Intelligent Information Systems, 1997. IIS ’97. Proceedings, 350–354. https://doi.org/10.1109/IIS.1997.645291 Mlakar, P., & Božnar, M. Z. (1996). Analysis Of Winds And SO2 Concentrations In Complex Terrain. WIT Transactions on Ecology and the Environment, 10, 10. https://doi.org/10.2495/AIR960461 Mlakar, P., & Božnar, M. (1997). Perceptron neural network-based model predicts air pollution. In Intelligent Information Systems, 1997. IIS ’97. Proceedings (pp. 345–349). https://doi.org/10.1109/IIS.1997.645288 Mlakar, P. (2004). Analysis of ambient SO2 concentrations and winds in the complex surroundings of a thermal power plant. Nuovo Cimento- Societa Italiana Di Fisica Sezione C, 6(6), 595–609. https://doi.org/10.1393/ncc/i2004-10023-1 Mlakar, P., & Božnar, M. (2011). Artificial Neural Networks - a Useful Tool in Air Pollution and Meteorological Modelling. In Advanced Air Pollution. InTech. https://doi.org/10.5772/20824 Mlakar, P., Božnar, M., Grašič, B., Oliveira, A. P. de, Soares, J. R., Gradišar, D., & Kocijan, J. (2015). Modeliranje difuznega sončnega obseva. Raziskave s Področja Geodezije in Geofizike 2014 : Zbornik Del. 20. Srečanje Slovenskega Združenja Za Geodezijo in Geofiziko, Ljubljana, 29. Januar 2015. Ljubljana: Fakulteta Za Gradbeništvo in Geodezijo, 45. Mlakar, P., Merše, J., & Faganeli Pucer, J. (2023). Ensemble weather forecast post-processing with a flexible probabilistic neural network approach. ArXiv Preprint ArXiv:2303.17610. Mlakar, P., Merše, J., & Faganelli Pucer, J. (2024). ANet: metoda za poprocesiranje vremenskih napovedi s pomočjo strojnega učenja. Raziskave s Področja Geodezije in Geofizike 2023 : Zbornik Del. 29. Srečanje Slovenskega Združenja Za Geodezijo in Geofiziko, Ljubljana, 1. Februar 2024. Ljubljana: Fakulteta Za Gradbeništvo in Geodezijo. Oliveira, A. P., Soares, J., Božnar, M. Z., Mlakar, P., & Escobedo, J. F. (2006). An Application of Neural Network Technique to Correct the Dome Temperature Effects on Pyrgeometer Measurements. Journal of Atmospheric and Oceanic Technology, 23(1), 80–89. https://doi.org/10.1175/JTECH1829.1 Perkan, U. (2023). Napovedovanje vremena s konvolucijskimi nevronskimi mrežami [Magistrsko delo, Univerza v Ljubljani, FMF - Fakulteta za matematiko in fiziko]. https://repozitorij.uni- lj.si/IzpisGradiva.php?id=150234 Perne, M., Božnar, M. Z., Grašič, B., Mlakar, P., & Kocijan, J. (2021). Improving wind vector predictions for modelling of atmospheric dispersion during Seveso-type accidents. Atmospheric Pollution Research, 12(2), 76–83. https://doi.org/10.1016/j.apr.2020.10.010 Perne, M., Kocijan, J., Božnar, M. Z., Grašič, B., & Mlakar, P. (2023). Hybrid Forecasting of Wind for Air Pollution Dispersion over Complex Terrain. Journal of Environmental Informatics. https://doi.org/10.3808/jei.202300489 Petelin, D., Mlakar, P., Božnar, M. Z., Grašič, B., & Kocijan, J. (2015). Ozone forecasting using an online updating Gaussian-process model. International Journal of Environment and Pollution, 57(3–4). https://doi.org/10.1504/IJEP.2015.074494 145 Skok, G., Hoxha, D., & Zaplotnik, Ž. (2021). Forecasting the Daily Maximal and Minimal Temperatures from Radiosonde Measurements Using Neural Networks. Applied Sciences, 11(22), 10852. https://doi.org/10.3390/app112210852 Soares, J., Oliveira, A. P., Božnar, M. Z., Mlakar, P., Escobedo, J. F., & Machado, A. J. (2004). Modeling hourly diffuse solar-radiation in the city of São Paulo using a neural-network technique. Applied Energy, 79(2), 201–214. https://doi.org/10.1016/j.apenergy.2003.11.004 Žabkar, R., Žabkar, J., & Čemas, D. (2004). Ground-level Ozone Forecast Based On Machine Learning. WIT Transactions on Ecology and the Environment, 74, 8. https://doi.org/10.2495/AIR040051 Žabkar, J., Žabkar, R., Vladušič, D., Čemas, D., Šuc, D., & Bratko, I. (2006). Prediction of ozone concentrations. Ecological Modelling, 191(1), 68–82. https://doi.org/10.1016/j.ecolmodel.2005.08.013