Od algoritma do prava Pravni, ekonomski in kulturni izzivi umetne inteligence Urednica Martina Repas December 2025 Naslov Od algoritma do prava Title From Algorithm to Law Podnaslov Pravni, ekonomski in kulturni izzivi umetne inteligence Subtitle Legal, Economic and Cultural Challenges of Artificial Intelligence Urednica Martina Repas Editor (Univerza v Mariboru, Pravna fakulteta) Recenzija poglavij Janja Hojnik (Univerza v Mariboru, Pravna fakulteta), Aleš Kobal Chapter review (Univerza v Mariboru, Pravna fakulteta), Blaž Frešer (Univerza v Mariboru, Ekonomsko-poslovna fakulteta), Matija Damjan (Univerza v Ljubljani, Pravna fakulteta), Maja Ovčak Kos (Nova univerza, Evropska pravna fakulteta), Tjaša Ivanc (Univerza v Mariboru, Pravna fakulteta), Miha Šepec (Univerza v Mariboru, Pravna fakulteta), Marjan Kos (Univerza v Ljubljani, Pravna fakulteta), Miha Hafner (Univerza v Ljubljani, Pravna fakulteta), Franjo Mlinarič (Nova univerza, Evropska pravna fakulteta), Nina Vodopivec (Inštitut za novejšo zgodovino) Lektoriranje Katja Drnovšek Language editing (Univerza v Mariboru, Pravna fakulteta) Martina Repas (Univerza v Mariboru, Pravna fakulteta) Tehnična urednika Marina Bajić Technical editors (Univerza v Mariboru, Univerzitetna založba) Jan Perša (Univerza v Mariboru, Univerzitetna založba) Oblikovanje ovitka Jan Perša Cover designers (Univerza v Mariboru, Univerzitetna založba) Grafika na ovitku Microchip, avtor: Kyraxys, pixabay.com, 2024 Cover graphics Grafične priloge Viri so lastni, razen če ni navedeno drugače. Avtorice in avtorji Graphics material prispevkov, Repas (urednica), 2025 Založnik Univerza v Mariboru Publihed by Univerzitetna založba Slomškov trg 15, 2000 Maribor, Slovenija https://press.um.si, zalozba@um.si Izdajatelj Univerza v Mariboru Issued by Pravna fakulteta Mladinska ulica 9, 2000 Maribor, Slovenija https://www.pf.um.si, info.pf@um.si Izdaja Prva izdaja Edition Vrsta publikacije E-knjiga Publication type Dostopno na https://press.um.si/index.php/ump/catalog/book/1071 Available at Published Izdano Maribor, Slovenija, december 2025 © Univerza v Mariboru, Univerzitetna založba / University of Maribor, University of Maribor Press Besedilo / Text © avtorice in avtorji prispevkov, Repas (urednica), 2025 To delo je objavljeno pod licenco Creative Commons Priznanje avtorstva-Nekomercialno-Brez predelav 4.0 Mednarodna. / This work is licensed under the Creative Commons Attribution-NonCommercialNoDerivs 4.0 International License. Uporabnikom je dovoljeno reproduciranje brez predelave avtorskega dela, distribuiranje, dajanje v najem in priobčitev javnosti samega izvirnega avtorskega dela, in sicer pod pogojem, da navedejo avtorja in da ne gre za komercialno uporabo. Vsa gradiva tretjih oseb v tej knjigi so objavljena pod licenco Creative Commons, razen če to ni navedeno drugače. Če želite ponovno uporabiti gradivo tretjih oseb, ki ni zajeto v licenci Creative Commons, boste morali pridobiti dovoljenje neposredno od imetnika avtorskih pravic. https://creativecommons.org/licenses/by-nc-nd/4.0/ Publikacija je nastala v okviru NOO pilotnega projekta Pravne fakultete Univerze v Mariboru: »Zelena in digitalna pravna transformacija«. Projekt sofinancirata Republika Slovenija, Ministrstvo za visoko šolstvo, znanost in inovacije, in Evropska unija – NextGenerationEU. Projekt se izvaja skladno z načrtom v okviru razvojnega področja Pametna, trajnostna in vključujoča rast, komponente Krepitev kompetenc, zlasti digitalnih in tistih, ki jih zahtevajo novi poklici in zeleni prehod (C3 K5), za ukrep investicija F. Izvajanje pilotnih projektov, katerih rezultati bodo podlaga za pripravo izhodišč za reformo visokega šolstva za zelen in odporen prehod v Družbo 5.0: projekt Pilotni projekti za prenovo visokega šolstva za zelen in odporen prehod. Izražena stališča in mnenja so izključno mnenja in stališča avtorjev in ne odražajo nujno stališč in mnenj sofinancerjev, ki tudi ne morejo biti odgovorni zanje. CIP - Kataložni zapis o publikaciji Univerzitetna knjižnica Maribor 004.8:34(082)(0.034.2) OD algoritma do prava [Elektronski vir] : pravni, ekonomski in kulturni izzivi umetne inteligence / urednica Martina Repas. - 1. izd. - E-zbornik. - Maribor : Univerza v Mariboru, Univerzitetna založba, 2025 Način dostopa (URL): https://press.um.si/index.php/ump/catalog/book/1071 ISBN 978-961-299-086-2 (PDF) doi: 10.18690/um.pf.11.2025 COBISS.SI-ID 259176707 ISBN 978-961-299-086-2 (pdf) DOI https://doi.org/10.18690/um.pf.11.2025 Cena Brezplačni izvod Price Odgovorna oseba založnika Prof. dr. Zdravko Kačič, For publisher rektor Univerze v Mariboru OD ALGORITMA DO PRAVA: PRAVNI, EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE M. Repas (ur.) Kazalo Algoritemska konkurenca in pravna (ne)preglednost: kakšen domet ima trenutna pravna ureditev EU? 1 Algorithmic Competition and Legal (In)Transparency: What Is the Reach of the 1 Current Legal Framework of the EU? Andreja Primec Pristojnosti delavskih predstavnikov v podjetju v zvezi z uporabo sistemov umetne inteligence v delovnih razmerjih 2 The Powers of Workers' Representatives in an Undertaking in Relation to the 31 Use of Artificial Intelligence Systems in Employment Relations Darja Senčur Peček, Aljoša Polajžar Pravno varstvo videzov izdelkov, ustvarjenih z umetno inteligenco ali njeno pomočjo 3 Protection of Product Appearances Assisted or Generated by Artificial 57 Intelligence Martina Repas Avtor brez zavesti: pravni vidiki ustvarjalnosti umetne inteligence 4 Protection of Product Appearances Assisted or Generated by Artificial 81 Intelligence Nikola Jovanović O vprašanju izumitelj(stv)a in zadevi DABUS 5 On the Question of Inventor(ship) and the DABUS Case 109 Nina Smerdu Ustavnopravne kršitve delovanja in uporabe umetnointeligenčnih sistemov 6 Constitutional Violations in the Operation and Use of Artificial 137 Intelligence Systems Kristjan Zahrastnik Izbrani vidiki uporabe umetne inteligence v sodnih postopkih 7 Selected Aspects Regarding the Use of Artificial Inteligence in Court Proceedings 165 Matej Makoter Rožmarin, Denis Baghrizabehi ii KAZALO. Doktrina o spremenjenih okoliščinah in izzivi prilagodljivosti pametnih pogodb 8 The Doctrine of Changed Circumstances and the Challenges of Smart 199 Contract Adaptability Klemen Drnovšek Umetna inteligenca in kulturna dediščina vonjav 9 Artificial Intelligence and Olfactory Cultural Heritage 231 Mojca Ramšak Merjenje ekonomske negotovosti s pomočjo umetne inteligence 10 Measuring Economic Uncertainty with Artificial Intelligence 257 Dejan Romih, Silvo Dajčman Nova pravila igre: odgovornost v dobi umetne inteligence 11 New Rules of the Game: Liability in the Age of Artificial Intelligence 277 Monika Naumovski Tveganja uporabe umetne inteligence pri preiskovanju in 12 meja ter upravljanju migracij 305 Risks of Using Artificial Intelligence in Law Enforcement, Criminal odkrivanju kaznivih dejanj v kazenskih postopkih in nadzoru Proceedings, Border Control and Migration Management Katja Kolarič Vpliv »mehkega prava« na pravne posledice za ponudnike sistema umetne inteligence v okviru Akta o umetni inteligenci 13 The Impact of Soft Law on Legal Consequences for AI System Providers within 351 the Framework of the Artificial Intelligence Act Natalija Kunstek Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne legitimacije pri izbrisni tožbi 14 The Possibility of Using Artificial Intelligence in Judicial Decision-Making: An 377 Example of Passive Standing Jasna Hudej A DOI LGORITEMSKA KONKURENCA IN https://doi.org/ 10.18690/um.pf.11.2025.1 PRAVNA (NE)PREGLEDNOST: ISBN 978-961-299-086-2 KAKŠEN DOMET IMA TRENUTNA PRAVNA UREDITEV EU? ANDREJA PRIMEC Univerza v Mariboru, Ekonomsko-poslovna Fakulteta, Maribor, Slovenija andreja.primec@um.si Naraščajoča uporaba umetne inteligence na digitalnih trgih uvaja Ključne besede: umetna inteligenca, nove razsežnosti v konkurenčna razmerja in odpira vprašanja algoritmi, glede zmožnosti obstoječega pravnega okvira, da se ustrezno tiho dogovarjanje, odzove na te izzive. Čeprav lahko algoritmi povečajo učinkovitost usklajeno ravnanje, varstvo konkurence, in pr 101. člen PDEU, edvidljivost na trgu, hkrati omogočajo tudi tiho usklajevanje, Akt o umetni inteligenci, algoritmično koordinacijo in potencialne zlorabe prevladujočega Direktiva o odgovornosti za proizvod položaja – pogosto brez neposredne človeške namere ali klasičnih dokazov o protipravnem dogovarjanju. Prispevek obravnava vprašanje, ali trenutna pravila EU na področju konkurenčnega prava – zlasti 101. in 102. člen PDEU – ter novi zakonodajni instrumenti EU o umetni inteligenci vsebujejo zadostne rešitve za pojave algoritemske konkurence. Na podlagi doktrinarnih stališč in z uporabo klasičnih metod raziskovanja v pravu, zlasti teleološke in endogene primerjalne metode, so ovrednoteni obstoječi pravni instituti in izpostavljena področja, kjer so potrebne dodatne pravne rešitve ali inovativnejši razlagalni pristopi v praksi. DOI ALGORITHMIC COMPETITION AND https://doi.org/ 10.18690/um.pf.11.2025.1 ISBN EGAL N L (I)TRANSPARENCY: WHAT 978-961-299-086-2 IS THE REACH OF THE CURRENT LEGAL FRAMEWORK OF THE EU? ANDREJA PRIMEC University of Maribor, Faculty of Economics and Business, Maribor, Slovenia andreja.primec@um.si Keywords: The increasing use of artificial intelligence in digital markets artificial intelligence, introduces new dimensions to competitive relationships. It raises algorithms, tacit collusion, questions about the ability of the existing legal framework to concerted practices, respond to these challenges adequately. While algorithms can competition protection, Article 101 TFEU, increase efficiency and predictability in the market, they also allow Artificial Intelligence Act, Product Liability Directive. for tacit coordination, algorithmic coordination and potential abuses of dominance - often without direct human intent or classical evidence of collusion. The chapter addresses whether the current EU competition law rules - in particular, Articles 101 and 102 TFEU - and the new EU legislative instruments on artificial intelligence contain sufficient solutions to the emergence of algorithmic competition. Drawing on doctrinal perspectives and using classical methods of legal research, in particular the teleological and endogenous comparative methods, it evaluates existing legal institutions and highlights areas where additional legal solutions or more innovative interpretative approaches are needed in practice. A. Primec: Algoritemska konkurenca in pravna (ne)preglednost: kakšen domet ima trenutna 3, pravna ureditev EU? 1 Uvod Uporaba orodij in tehnologij umetne inteligence vsakodnevno spreminja družbena razmerja, v pozitivnem in negativnem smislu. Umetna inteligenca lahko z izboljšanjem napovedi, optimizacijo delovanja in dodeljevanja virov ter po meri prilagojenimi digitalnimi rešitvami, ki so na voljo posameznikom in organizacijam, zagotavlja ključne konkurenčne prednosti za podjetja. Hkrati lahko umetna inteligenca, odvisno od okoliščin v zvezi z njenim posebnim namenom, uporabo in ravnjo tehnološkega razvoja, povzroča tveganja ter škodi javnim interesom in temeljnim pravicam, ki jih varuje pravo Evropske unije (EU).1 Umetna inteligenca je opisana kot kompleksen informacijski sistem, ki lahko opravlja naloge, običajne za človekovo inteligenco, kot sta odločanje in analiza podatkov.2 Države in mednarodne organizacije se različno spopadajo s tem, kako opredeliti in razvrstiti umetno inteligenco, kar je bistveno za njeno učinkovito pravno ureditev in za ureditev odgovornosti za škodo, ki jo povzročajo sistemi umetne inteligence. Chiappini3 poudarja, da je potrebna enotna definicija umetne inteligence za njeno lažje upravljanje, krepitev mednarodnega sodelovanja in obravnavanje etičnih pomislekov, povezanih s tehnologijami umetne inteligence. Poleg prizadevanj za skupno pravno opredelitev umetne inteligence velja poudariti, da se tudi vsako pravno področje sooča s posebnimi izzivi, ki jih prinaša hiter razvoj tehnologij umetne inteligence. V tem poglavju se osredotočamo na vplive, ki jih prinaša na področju varstva konkurence. Na součinkovanje umetne inteligence in varstva konkurence je mogoče pogledati z več zornih kotov. Trg, na katerem imajo aktivno vlogo podjetja, ki ustvarjajo umetno inteligenco (tehnološki velikani), lahko čez noč doživi burne pretrese. To dokazuje nedavni preboj kitajskega podjetja DeepSeek z novim generativnim jezikovnim modelom, ki je čez noč postal glavna konkurenca ChatGPT-ja ameriškega podjetja Open AI. Delnice podjetij s področja umetne inteligence, kot so ameriška Nvidia, 1 Akt o umetni inteligenci oziroma Uredba (EU) 2024/1689 Evropskega parlamenta in Sveta z dne 13. junija 2024 o določitvi harmoniziranih pravil o umetni inteligenci in spremembi uredb (ES) št. 300/2008, (EU) št. 167/2013, (EU) št. 168/2013, (EU) 2018/858, (EU) 2018/1139 in (EU) 2019/2144 ter direktiv 2014/90/EU, (EU) 2016/797 in (EU) 2020/1828 (UL L 2024/1689, 12. 7. 2024, strani 1–144), uvodna točka 5. 2 Minbaleev, 2022, stran 1094. 3 Chiappini, 2024, stran 2. 4 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . proizvajalka naprednih čipov, zasnovanih za razvoj umetne inteligence, nizozemski ASML, proizvajalec čipov in Broadcom, ameriški proizvajalec polprevodnikov, so padle za 7 do 17 %.4 Poleg volatilnosti trga in negotovosti naložb v delnice tehnoloških podjetij se porajajo tudi številna pravna vprašanja. Velika tehnološka podjetja imajo praviloma veliko tržno moč in z njo povezano tudi prevladujoč položaj, ki sam po sebi skladno z določili 102. člena Pogodbe o delovanju EU5 (PDEU) ni prepovedan, vendar zanj veljajo strožja pravila glede nastopanja na trgu. Načeloma namreč velja, da enako ravnanje, ki ga stori podjetje s prevladujočim položajem, na tržno konkurenco učinkuje povsem drugače, kot če ga stori podjetje brez prevladujočega položaja. 6 Če bi pristali na to, da je tovrstna problematika dobro poznana in tudi pravno urejena, čeprav ne moremo spregledati novih oblik zlorab, ki jih omogočajo orodja umetne inteligence, posebno pozornost zahtevajo oligopolni trgi. V zadnjih letih se je internetno gospodarstvo utrdilo okrog tehnoloških velikanov, ki uporabljajo piškotke za nadzor nad podatki in ohranjanje oligopolnega položaja na trgu.7 Oligopolni trgi lahko vsebujejo značilnosti, ki posameznim podjetjem omogočajo, da delujejo kot enoten subjekt s tihim usklajevanjem, kar predstavlja izziv za konkurenčno pravo. Nadzor nad koncentracijami mora obravnavati tudi učinke, ki jih oligopoli povzročajo v obliki usklajenih učinkov, tiho usklajevanje pa lahko predstavlja težavo tudi v okviru 101. člena PDEU in/ali prepovedi zlorabe skupinskega (kolektivnega) prevladujočega položaja, kar lahko predstavlja kršitev 102. člena PDEU. Tiho dogovarjanje organom za varstvo konkurence predstavlja velik izziv, saj je pogosto težko zagotoviti dokaze o namenu sodelovanja. Poleg tega obstaja tanka meja med nedopustnim usklajevanjem in zakonitim vzporednim ravnanjem na oligopolnih trgih. Tiho usklajevanje je lahko podlaga za ugotovitev skupinskega prevladujočega položaja med formalno ločenimi podjetji. Skupinski prevladujoči položaj nastane, kadar lahko vsak član skupine predvidi ravnanja drugih članov in s tem spremlja skladnost s skupno tržno strategijo (t. i. preglednost trga), kadar obstajajo zadostne spodbude za vztrajanje pri skupni politiki ter kadar odziv preostalih tržnih udeležencev ni sposoben ogroziti pričakovanih rezultatov takšnega usklajevanja.8 4 Sagaj, 2025, stran 5. 5 Prečiščena različica PDEU, UL C 326, 26. 10. 2012, strani 1-390. 6 Ferčič et al., 2011, stran 200. 7 Glej https://eur-lex.europa.eu/legal-content/SL/TXT/HTML/?uri=OJ%3AC%3A2023%3A075%3AFULL (obiskano: 21. 3. 2025). 8 Glej https://www.lexisnexis.co.uk/legal/glossary/oligopoly (obiskano: 21. 3. 2025). A. Primec: Algoritemska konkurenca in pravna (ne)preglednost: kakšen domet ima trenutna 5, pravna ureditev EU? Osrednji raziskovalni problem, ki ga obravnavamo v tem poglavju, je analiza pravnih izzivov, ki jih prinašajo tržni algoritmi na področju varstva konkurence v EU. Predstavljena so tehnološka orodja, ki jih podjetja že desetletja uporabljajo za maksimizacijo tržnih učinkov. Glavno vlogo pri tem imajo algoritmi, ki so pritegnili veliko pozornosti ekonomske in pravne znanosti ter stroke. Analiza se osredotoča na pravne učinke uporabe algoritmov na digitalnem trgu ter izpostavlja nove dodatne razsežnosti tega pojava. Z endogeno primerjalno metodo je raziskan aktualni pravni okvir EU, namenjen urejanju umetne inteligence, z omejitvijo na Akt o umetni inteligenci, Direktivo (EU) 2024/2853 Evropskega parlamenta Sveta z dne z dne 23. oktobra 2024 o odgovornosti za proizvode z napako in razveljavitvi Direktive Sveta 85/374/EGS (v nadaljevanju Direktiva 2024/2853)9 ter predlog Direktive Evropskega parlamenta in Sveta o prilagoditvi pravil o nepogodbeni civilni odgovornosti umetni inteligenci (direktiva o odgovornosti na področju umetne inteligence).10 Drugi pravni akti (kot npr. Akt o digitalnih trgih, natančneje Uredba (EU) 2022/1925 Evropskega parlamenta in Sveta z dne 14. septembra 2022 o tekmovalnih in pravičnih trgih v digitalnem sektorju in spremembi direktiv (EU) 2019/1937 in (EU) 2020/182811 in Akt o upravljanju podatkov, natančneje Uredba (EU) 2022/868 Evropskega parlamenta in Sveta z dne 30. maja 2022 o evropskem upravljanju podatkov in spremembi Uredbe (EU) 2018/172412 itd.), ki tudi součinkujejo na obravnavano problematiko, v pregled niso vključeni, ker bi to presegalo obseg poglavja. Kljub temu izpostavljamo, da so ključne obveznosti Akta o digitalnih trgih namenjene uravnavanju tržne moči vratarjev: prepoved preferiranja lastnih storitev (svojim storitvam ne smejo dajati prednosti pred konkurenčnimi), zagotavljanje skupne uporabnosti (omogočanje povezljivosti svojih storitev z drugimi) in omogočanje dostopa do podatkov, ki jih ustvarijo uporabniki na njihovih platformah.13 Akt o digitalnih trgih poleg tega nalaga preventivne ali ex ante regulativne obveznosti, ki odstopajo od tradicionalne naknadne protimonopolne 9 UL L 2024/2853, 18. 11. 2024, strani 1–22. Direktiva bo nadomestila predhodno Direktivo Sveta 85/374/EGS z dne 25. julija 1985 o približevanju zakonov in drugih predpisov držav članic v zvezi z odgovornostjo za proizvode z napako (UL L 210, 7. 8. 1985, strani 29–33). Slednja je še vedno v uporabi do 9. decembra 2026. Tudi po tem datumu bo uporabna v primeru izdelkov z napako, danih na trg ali v uporabo pred tem datumom (21. člen Direktive 2024/2853). 10 COM(2022) 496 final, 28.9.2022, chrome-extension://efaidnbmnnnibpcajpcglclefindmkaj/https://eur-lex.europa.eu/legal-content/SL/TXT/PDF/?uri=CELEX:52022PC0496&from=EN (obiskano 15. 3. 2025). 11 UL L 265, 12. 10. 2022, strani 1–66. 12 UL L 152, 3. 6. 2022, strani 1–44. 13 Glej https://digital-markets-act.ec.europa.eu/about-dma_en (obiskano 27. 3. 2025). 6 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . odgovornosti, ko organi preiskujejo in kaznujejo podjetja po tem, ko je prišlo do kršitve.14 Ugotavljamo, da poseben izziv na področju konkurenčnega prava na digitalnih trgih predstavljajo omejevalni sporazumi v obliki tihega dogovarjanja in usklajenih praks, ki potekajo s pomočjo tržnih algoritmov. Eno pomembnejših vprašanj je tudi vprašanje odgovornosti za škodo, ki jo povzročijo podjetja z uporabo sistemov umetne inteligence na trgu, zato v tem poglavju obravnavamo tudi predlog zakonskega akta. Posebna pozornost je namenjena ugotavljanju, kako je mogoče izpostavljeno tematiko obravnavati in razreševati v okviru konkurenčnega prava EU, pri čemer je analiza omejena predvsem na 101. in 102. člen PDEU ter nova pravila na področju urejanja umetne inteligence. Za uvodom je v drugem razdelku najprej pojasnjeno tehnološko ozadje umetne inteligence s poudarkom na algoritmih kot odločilnem delu umetne inteligence. Sledi tretji razdelek o uporabi algoritmov za usklajeno nastopanje na trgu (algoritemsko dogovarjanje) s predstavitvijo različnih pojavnih oblik. Osrednji del predstavlja četrti razdelek, ki obravnava nove oblike tveganj algoritemskega dogovarjanja (tiho dogovarjanje in usklajena ravnanja), ki jih povzroča hiter tehnološki razvoj umetne inteligence ter podrobneje analizira vprašanje civilnopravne odgovornosti za tovrstna nezakonita ravnanja skozi pravila novega zakonodajnega okvira EU. V zaključku so strnjeno povzete ključne ugotovitve. 2 Tehnološko ozadje umetne inteligence 2.1 Pomen algoritmov Umetna inteligenca omogoča opravljanje nalog, ki zahtevajo človeško inteligenco. Uporablja se na različnih področjih, kot so zdravstvo, varnost, izobraževanje, finance itd. Pomembno vlogo ima tudi pri izboljševanju učinkovitosti proizvodnje 14 Talavera, 2024. Talavera kritično ugotavlja, da Akt o digitalnih trgih daje prednost statični namesto dinamični konkurenci in previdnosti pred inovacijami. Posledice novega akta so že vidne v strateški odločitvi Appla, ki na trg EU ne bo uvedel svoje najnovejše inovacije umetne inteligence. Podjetje je zaskrbljeno zaradi zahtev skupne uporabnosti (interoperabilnosti), kar bi lahko ogrozilo zasebnost uporabnikov in varnost podatkov. Odločitev Appla označuje kot precedens za druge tehnološke velikane, kar bi povečalo vrzel med evropskimi potrošniki in preostalim svetom glede dostopa do tehnologij, ki jih poganja umetna inteligenca. Ocenjuje, da bodo takšne odločitve imele dolgoročne vplive na konkurenčnost Evrope v tehnološkem sektorju, zato oblikovalce politik poziva, naj ponovno ocenijo vpliv Akta o digitalnih trgih na tehnološke inovacije in dostop potrošnikov do naprednih funkcij. A. Primec: Algoritemska konkurenca in pravna (ne)preglednost: kakšen domet ima trenutna 7, pravna ureditev EU? in storitev. Njeno delovanje temelji na velikih količinah podatkov, ogromni zmogljivosti (procesorski moči) računalnikov in kompleksnih algoritmih, kar velikokrat predstavlja oviro za običajne uporabnike.15 Tudi razumevanje umetne inteligence v pravnem kontekstu zahteva poznavanje njenega tehnološkega bistva in posledic, ki jih povzroča v pravnih razmerjih. Algoritmi so odločilna komponenta umetne inteligence, saj določajo, kako sistem obdeluje podatke in sprejema odločitve. Sestavljeni so iz strukturiranih nizov navodil, namenjenih reševanju določenih problemov ali izvajanju določenih nalog. Uporabljajo se že desetletja v različnih sektorjih. Njihova moč pa je postala posebej prepoznavna zaradi napredka v obdelavi podatkov, strojnega učenja in umetne inteligence. V bančnem sektorju se algoritmi uporabljajo za zagotavljanje varnosti in preprečevanje goljufij. S proučevanjem vzorcev transakcij lahko zaznajo nenavadne dejavnosti ter prepoznajo in preprečijo nezakonite transakcije, preden se zgodijo. Ključno vlogo imajo za delovanje spletnih iskalnikov, saj lahko pregledajo velike količine podatkov na spletu in poiščejo tiste, ki najbolj ustrezajo iskalnim poizvedbam. Podobno delujejo tudi v aplikacijah GPS, kjer analizirajo podatke o prometu in razmerah na cestah v realnem času ter pomagajo pri izbiri najustreznejše poti.16 Njihovo delovanje je toliko bolj uspešno, s kolikor večjo količino podatkov in procesorsko močjo razpolagajo. Že iz teh preprostih primerov (dosežkov na drugih področjih, kot npr. medicinskem, niti ne vključujemo) je mogoče razbrati, da so algoritmi tisti del sistema umetne inteligence, ki išče, razvršča in nenazadnje sprejema odločitve. Od niza navodil (ukazov), vsebovanih v algoritmu, bo torej v največji meri odvisno, kako bo deloval sistem umetne inteligence. Te značilnosti »klasičnih« algoritmov, pri katerih glavno vlogo pri določanju navodil prevzemajo programerji, v marsičem presegajo samoučeči se algoritmi. Algoritmi strojnega učenja (machine learning, v nadaljevanju ML) in globokega učenja (deep learning, v nadaljevanju DL) se namreč razvijajo samostojno, učijo se iz podatkov in neprestano izboljšujejo svoje strategije za doseganje določenega cilja. Zaradi tega so veliko bolj učinkoviti, hkrati pa sprožajo vprašanja glede preglednosti in odgovornosti. 15 Raj, 2024, stran 646. 16 Glej https://www.datacamp.com/blog/what-is-an-algorithm (obiskano: 3. 4. 2025). 8 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . V okviru strojnega učenja (ML) algoritmi delujejo v treh glavnih oblikah: nadzorovano učenje, nenadzorovano učenje in učenje s krepitvijo. Pri nadzorovanem učenju se algoritmi učijo iz označenih podatkov, pri nenadzorovanem učenju pa algoritmi sami prepoznavajo vzorce brez predhodnega označevanja. Učenje s krepitvijo optimizira odločanje prek procesa poskusov in napak, pri čemer algoritmi izboljšujejo svoje odločitve na podlagi preteklih uspehov in neuspehov. Algoritmi globokega učenja (DL), kot podskupina ML, odpravljajo potrebo po ročnem prepoznavanju značilnosti s pomočjo umetnih nevronskih mrež. Čeprav to izboljšuje zmogljivost odločanja, obenem uvaja problem »črne skrinjice«, pri katerem je težko ugotoviti, na podlagi katerih parametrov je algoritem sprejel določeno odločitev.17 Prav slednje organom za varstvo konkurence predstavlja velik izziv, saj je zaradi nepreglednosti odločanja DL algoritmov težko dokazati izrecno človeško koordinacijo. 2.2 Cenovni algoritmi Cenovni algoritmi so močno preoblikovali tržno dinamiko in prinesli številne koristi tako potrošnikom kot podjetjem. Potrošnikom pomagajo primerjati cene podobnih produktov s pomočjo spletnih mest za primerjavo cen (PCW – price comparison websites). Te platforme uporabnikom omogočajo primerjavo cen različnih ponudnikov in izbiro najboljše razpoložljive možnosti. Vendar PCW ne vključujejo vseh ponudb na trgu, kar pomeni, da potrošniki ne prejmejo vseh informacij. Poleg tega večja preglednost trga sili prodajalce k ohranjanju konkurenčnih cen, saj se zavedajo, da potrošniki vse bolj uporabljajo avtomatizirana orodja za primerjavo cen. Naslednji pripomoček so digitalni služabniki (digital butlers), ki za potrošnike izberejo in celo izvršijo nakup na podlagi obsežnih tržnih podatkov. Glavna naloga teh t. i. digitalnih osebnih asistentov je v tem, da povečajo avtonomijo potrošnikov z vodenjem po zapletenem tržnem okolju in zmanjševanjem informacijske asimetrije.18 Na ta način potrošniki prihranijo svoj čas, ki bi ga sicer namenili iskanju najboljše ponudbe. Vendar zanesljivost teh algoritmov temelji na kakovosti in nepristranskosti vhodnih podatkov. Če so podatki pristranski ali napačni, lahko algoritmi manipulirajo s potrošniki, kar organom za varstvo konkurence, ki morajo zagotavljati pošteno obravnavo potrošnikov, predstavlja izziv.19 17 Dobrin, 2019, stran 9. 18 Molski, stran 342. 19 Dobrin, 2019, strani 10 in 11. A. Primec: Algoritemska konkurenca in pravna (ne)preglednost: kakšen domet ima trenutna 9, pravna ureditev EU? Na ponudbeni strani cenovni algoritmi prispevajo predvsem k učinkovitosti in zmanjšanju stroškov. Podjetja jih uporabljajo za optimizacijo cen, zmanjšanje stroškov dela ter izboljšanje kakovosti in inovacij. Na konkurenčnih trgih te prihranke pogosto občutijo tudi potrošniki v obliki nižjih cen. Na oligopolnih trgih pa podjetja, ki nimajo močne konkurence, prihrankov ne prenesejo na potrošnike, temveč jih obdržijo kot dodaten dobiček. Pomembna posledica uporabe algoritmov je tudi dinamično določanje cen, pri katerem se cene spreminjajo v realnem času glede na povpraševanje in ponudbo. Čeprav dinamično določanje cen povečuje prilagodljivost in optimizacijo prihodkov podjetij, lahko povzroči etične težave, kadar je njegov glavni namen maksimizacija dobička na račun potrošnikov. Cenovna diskriminacija, napredna oblika dinamičnega določanja cen, podjetjem omogoča, da posameznim potrošnikom zaračunajo različne cene glede na osebne podatke, nakupne navade in pripravljenost plačati določeno ceno. Čeprav je to ekonomsko učinkovito za podjetja, lahko privede do nepoštenih cenovnih struktur in negativnih družbenih posledic.20 Cenovni algoritmi tako po eni strani povečujejo učinkovitost, preglednost in izbiro potrošnikov, hkrati pa prinašajo tveganja, povezana s pristranskostjo podatkov, zavajanjem potrošnikov in nepoštenimi cenovnimi strategijami. 3 Algoritemsko dogovarjanje 3.1 Pojem Kadar konkurenčna podjetja uporabljajo cenovne algoritme kot orodje za usklajeno nastopanje na trgu, govorimo o algoritemskem dogovarjanju, ki lahko poteka z ali brez neposrednega človeškega posredovanja. Algoritmi lahko samodejno prilagajajo cene na usklajen način, kar vodi do protikonkurenčnega vedenja in izkrivljanja tržne dinamike. Za razliko od tradicionalnega dogovarjanja, ki zahteva izrecen dogovor med podjetji, lahko algoritmično dogovarjanje poteka tiho (tacit collusion), kar je z vidika varstva konkurence posebej zahtevno, saj ga je zelo težko prepoznati in sankcionirati, kot bo pojasnjeno v nadaljevanju. 20 Prav tam, 2019, stran 12. A. Primec: Algoritemska konkurenca in pravna (ne)preglednost: kakšen domet ima trenutna 11, pravna ureditev EU? 10 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Za boljše razumevanje algoritemskega dogovarjanja je smiselno razlikovati med različnimi pojavnimi oblikami, kot so Messenger (v nadaljevanju Kurir), Hub-and-Spoke (Usklajevanje prek skupnega posrednika), Predictable Agent (Predvidljivi agent), Invisible Hand (Nevidna roka) in Digital Eye ( Digitalno oko). 3.2 Posamezne pojavne oblike 3.2.1 Kurir Kurir predstavlja najpreprostejšo obliko algoritmičnega dogovarjanja, kjer se podjetja namerno dogovorijo za kartelno sodelovanje, pri čemer algoritmi služijo zgolj kot orodje za izvajanje in uveljavljanje tega dogovora. V teh primerih je ključni (subjektivni) element volja sodelujočih podjetij po dogovarjanju, medtem ko so algoritmi le v vlogi izvrševalcev njihovih dogovorov. Posledično lahko organi za varstvo konkurence takšne primere obravnavajo na podlagi klasičnih določb konkurenčnega prava, tudi če se dogovarjanje izvaja samodejno. Primeri tovrstnega dogovarjanja so zadeve Asus,21 Denon & Marantz,22 Philips23 in Pioneer.24 Citirani proizvajalci elektronskih izdelkov so uporabili cenovne algoritme za spremljanje in nadzor cenovnega obnašanja spletnih prodajalcev. Cilj je bil umetno ohranjanje previsokih cen s pritiskom na prodajalce, da upoštevajo minimalne cenovne ravni, pri čemer so jim grozili s prenehanjem dobave ali drugimi sankcijami, če bi prodajali pod priporočenimi cenami. Ker številni spletni prodajalci prav tako uporabljajo avtomatizirane cenovne algoritme, je ta strategija imela širši vpliv na tržne cene, saj je povzročila stabilizacijo umetno visokih cen pri konkurentih.25 Uveljavljanje konkurenčnega prava v takšnih primerih temelji predvsem na dokazih, ki jih zagotovijo sodelujoča podjetja. V primerih, ki jih je obravnavala Evropska komisija, so vpleteni proizvajalci sodelovali s preiskovalnimi organi, zaradi česar so 21 Odločitev Evropske komisije (povzetek), zadeva AT.40465 — Asus (vertikalne omejitve), 24. 7. 2018, UL C 338/13, 21. 9. 2018. 22 Odločitev Evropske komisije (povzetek), zadeva AT.40469 — Denon & Marantz (vertikalne omejitve), 24. 7. 2018, UL C 335/5, 20. 9. 2018. 23 Odločitev Evropske komisije (povzetek), zadeva AT.40181 — Philips (vertikalne omejitve), 24. 7. 2018, UL C 340/10, 24. 9. 2018. 24 Odločitev Evropske komisije (povzetek), zadeva AT.40182 — Pioneer (vertikalne omejitve) 24. 7. 2018, UL C 338/19, 21. 9. 2018. 25 Dobrin, 2019, stran 22. jim bile izrečene nižje kazni. To kaže na pomen programov prizanesljivosti, ki podjetja spodbujajo k razkritju informacij v zameno za milejše kazni. Uporaba Kurirja ponazarja, kako lahko algoritmi povečajo učinkovitost kartelnih dogovorov, vendar je še vedno človeška volja po dogovarjanju ključna za pravno presojo. 3.2.2 Usklajevanje prek skupnega posrednika Usklajevanje prek skupnega posrednika predstavlja obliko dogovarjanja, kjer konkurenčna podjetja (spokes) usklajujejo cene preko tretje osebe (hub), namesto da bi se vključevala v neposredno horizontalno dogovarjanje. Tovrstno dogovarjanje vključuje posamične vertikalne sporazume med konkurenti in osrednjim ustvarjalcem (npr. dobaviteljem ali platformo), ki posredno omogoča usklajevanje. V digitalni dobi lahko vlogo centralnega vozlišča prevzame cenovni algoritem, kar otežuje odkrivanje in regulacijo s strani organov za varstvo konkurence. Do algoritmičnega dogovarjanja na način usklajevanja prek skupnega posrednika privedejo okoliščine, ko se podjetja namesto za razvoj lastnega cenovnega algoritma odločajo za zunanje ponudnike. Posledično lahko več konkurenčnih podjetij uporablja isti cenovni algoritem, kar lahko privede do usklajenega določanja cen, čeprav ni izrecnega dogovora. To predstavlja izziv za regulativne organe, saj je dokazovanje namena dogovarjanja oteženo. Druga različica tega scenarija vključuje deljenje tržnih podatkov s ponudnikom cenovnih algoritmov, ki nato določa končne cene. V takem primeru bi lahko izmenjava občutljivih tržnih informacij prek algoritma štela kot oblika posrednega deljenja informacij, kar bi lahko pomenilo kršitev prvega odstavka 101. člena PDEU. Ali se podjetja lahko štejejo za odgovorna za takšno prakso, zahteva dodatne pravne in ekonomske analize. Primer, ki spominja na usklajevanje prek skupnega posrednika, je Uberjev cenovni algoritem. Uber deluje kot osrednje vozlišče (hub), ki določa avtomatizirane cene prevozov za svoje voznike (spokes). Vozniki nimajo nadzora nad cenami, saj jih Uber določa na podlagi realnočasovnih tržnih razmer, kot so povpraševanje, lokacija in čas dneva. Ta centralizirani sistem preprečuje cenovno konkurenco med vozniki, 12 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . saj je celoten model odvisen od enega samega algoritma, ki določa cene za celoten trg. Čeprav je Uberjev poslovni model prinesel večjo učinkovitost, nižje cene in prilagodljivost za neprofesionalne voznike, je obenem povzročil pomisleke glede konkurence. Z naraščanjem tržnega deleža Uberja njegovi omrežni učinki privabljajo vedno več uporabnikov in voznikov, kar konkurenčnim podjetjem otežuje dostop do trga. Francoska izkušnja ponazarja, da so se prvotni pozitivni učinki vstopa Uberja na trg potniškega prometa, na katerem so do tedaj prevladovali taksiji, z razraščanjem tovrstnih protikonkurenčnih praks, kot tudi kršitve pravil nelojalne konkurence, delovnega prava itd., začeli izgubljati.26 Primer Uberja ponazarja kompleksnost presoje algoritmičnega usklajevanja prek skupnega posrednika. Čeprav je dogovarjanje o cenah prepovedano po prvem odstavku 101. člena PDEU, ni vedno jasno, ali so negativni učinki večji od pozitivnih koristi, ali torej obstaja dejanska podlaga za uporabo izjeme od splošne prepovedi po tretjem odstavku 101. člena PDEU. Organi za varstvo konkurence morajo natančno pretehtati prednosti za potrošnike v primerjavi s potencialnimi negativnimi vplivi na tržno konkurenco. Ker postajajo cenovni algoritmi vse bolj napredni, morajo regulatorji določiti meje algoritmičnega usklajevanja cen in preprečiti položaje, v katerih algoritemsko določanje cen vodi v prikrito dogovarjanje. Evropska komisija je 4. 4. 2024 v odgovoru na poslansko vprašanje odgovorila, da trenutno proti Uberju ne izvaja uradne preiskave v skladu s konkurenčnim pravom EU, da pa v okviru splošnega spremljanja trga budno zasleduje prakse ponudnikov prevoznih storitev, da bi odkrila morebitno protikonkurenčno ravnanje. 3.2.3 Predvidljivi agent Pri dogovarjanju v obliki Predvidljivi agent podjetja razvijajo lastne cenovne algoritme z namenom maksimizacije dobička. Ker cenovni algoritmi delujejo na podoben način in ker postajajo podatki podjetij vedno bolj dostopni (zaradi vse večje transparentnosti trga), lahko njihova uporaba privede do usklajevanja cen brez neposrednega človeškega posredovanja. 26 Več o tem Denis, 2021. A. Primec: Algoritemska konkurenca in pravna (ne)preglednost: kakšen domet ima trenutna 13, pravna ureditev EU? Ključna težava scenarija Predvidljivega agenta je, da kljub odsotnosti formalnega dogovora obstaja posredni protikonkurenčni namen, s katerim podjetja umetno povečujejo dobiček prek cenovnih algoritmov. Ker vsi udeleženci na trgu pričakujejo, da bodo tudi njihovi konkurenti uporabljali podobne algoritme, lahko predvidijo vzorce oblikovanja cen, kar zmanjšuje spodbude za konkurenčno vedenje. Predvidljivost algoritmov je razlog, da ta scenarij nosi ime »Predvidljivi agent«, saj se cenovni algoritmi odzivajo na tržne razmere na pričakovan in usklajen način, kar stabilizira cene na višjih ravneh, kot bi jih določil prosti trg. Z vidika konkurenčnega prava scenarij Predvidljivega agenta predstavlja velik izziv. Ker ni neposredne komunikacije ali izrecnega dogovora med podjetji, določbe prvega odstavka 101. člena PDEU niso neposredno uporabne. 3.2.4 Nevidna roka Nevidna roka predpostavlja, da lahko razvijalec programske opreme umetne inteligence neodvisno protikonkurenčno zavaja trg, na katerem delujejo uporabniki njegovega izdelka brez njihove vednosti. Z uporabo informacij svojih strank in z nadzorom nad njihovimi cenami lahko tak razvijalec (kot nevidna roka) v svojem lastnem interesu (v upanju na koristi od povečane prodaje) dvigne cene vseh konkurentov, ki uporabljajo njegov algoritem, medtem ko se ti morda ne zavedajo (v celoti), da uporabljajo umetno visoke cene.27 3.2.5 Digitalno oko Digitalno oko predstavlja najbolj zapleteno in zahtevno obliko algoritmičnega dogovarjanja, saj temelji na umetni inteligenci in samoučečih se cenovnih algoritmih. Za razliko od Predvidljivega agenta, kjer podjetja razvijajo predvidljive algoritme za oblikovanje cen, Digitalno oko vključuje popolnoma avtonomne algoritme, ki se učijo skozi proces preizkušanja in na napakah, da bi našli najboljšo strategijo za maksimizacijo dobička. Pri tem programerji ne posegajo neposredno v proces določanja cen, temveč algoritmom prepuščajo, da samostojno razvijejo načine za doseganje previsokih cen. 27 Molski, 2021, stran 344. 14 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Ključna značilnost Digitalnega očesa je, da algoritmi, ki temeljijo na umetni inteligenci, neprestano obdelujejo in analizirajo ogromne količine tržnih podatkov v realnem času, kar jim omogoča »božanski pogled« na trg. Na podlagi zgodovinskih in trenutnih cenovnih vzorcev se algoritmi dinamično prilagajajo tržnim razmeram ter natančno določajo cene, ki maksimirajo dobiček brez neposrednega človeškega nadzora. Eden največjih izzivov Digitalnega očesa je pojav »črne skrinjice«, kjer proces odločanja umetne inteligence ostaja nejasen. Ker ti samoučeči se algoritmi delujejo avtonomno, je njihov odločevalski proces pogosto nerazumljiv tudi njihovim razvijalcem. Če algoritmi samodejno stabilizirajo previsoke cene, kar škodi potrošnikom, organi za varstvo konkurence nimajo vzvodov za ukrepanje, saj klasični mehanizmi pregona temeljijo na dokazovanju namena ali usklajevanja, kar pa je v primeru samodejnega odločanja umetne inteligence težko določiti.28 4 Nove oblike tveganj algoritemskega usklajevanja in odgovornost 4.1 Umetna inteligenca kot orodje in kot subjekt na trgu Izzivi na področju varstva konkurence se razlikujejo glede na to, ali umetna inteligenca vpliva zgolj na obstoječa tveganja, ki so že vsebovana v trenutnem pravnem okvirju (v tem smislu lahko govorimo o tem, da se umetna inteligenca uporablja kot orodje), ali pa nastopa kot samostojen subjekt, ki ustvarja nova razmerja, ki jih veljavna pravila varstva konkurence ne zajemajo (do teh primerov prihaja predvsem pri uporabi algoritmov globokega učenja – DL). Tako se pravni izzivi nanašajo predvsem na razumevanje delovanja tehnologije in prepoznavanje, kako umetna inteligenca lahko omogoča ali podpira protikonkurenčne kršitve. Pozornost organov za varstvo konkurence se v primeru avtonomno delujočih sistemov umetne inteligence osredotoča na razraščanje nezakonitih praks pri sklepanju izrecnih dogovorov in na problematiko tihega usklajevanja (tacit collusion). Umetna inteligenca omogoča omejevanje konkurence s pomočjo zakonitega usklajevanja namesto nezakonitega dogovarjanja. Obstoječi instituti konkurenčnega prava se v tovrstnih primerih ne morejo uporabiti. Na primer, ex ante nadzor nad koncentracijami (ker umetna inteligenca omogoča tiho usklajevanje tudi na manj koncentriranih trgih) ali ex post uveljavljanje prepovedi zlorabe kolektivne 28 Dobrin, 2019, stran 30. A. Primec: Algoritemska konkurenca in pravna (ne)preglednost: kakšen domet ima trenutna 15, pravna ureditev EU? prevladujoče tržne moči (kar je težko dokazati) nista zadostni orodji za spopadanje s tem izzivom.29 Razlikovanje med uporabo umetne inteligence kot zgolj orodja in njenim delovanjem kot avtonomnega subjekta na trgu omogoča boljše razumevanje novih pravnih tveganj, ki jih obstoječi pravni okvir težko obvladuje. Poseben izziv pri tem predstavlja pojem tihega dogovarjanja, ki ga umetna inteligenca lahko spodbuja na načine, ki se izmikajo tradicionalnim pravnim kategorijam. V nadaljevanju obravnavamo značilnosti tihega dogovarjanja in njegove posledice za konkurenčno pravo. 4.2 Tiho dogovarjanje Tiho dogovarjanje pomeni tržno usklajevanje, pri katerem podjetja usklajujejo cene ali tržno vedenje brez izrecnega dogovora. Odsotnost izrecnega »dogovora« ali »soglasja volj« otežuje posredovanje organov za varstvo konkurence, saj se izvrševanje 101. člena PDEU tradicionalno opira na dokazovanje koordinacije preko komunikacije ali formalnih sporazumov. Ker se tiho dogovarjanje najpogosteje pojavlja na oligopolnih trgih, je pogosto obravnavan kot »oligopolni problem«, namesto da bi ga prepoznali kot neposredno kršitev konkurenčnega prava. Tiho usklajevanje po veljavni zakonodaji ni prepovedano. Prisotno je predvsem na oligopolnih trgih, z uporabo algoritmov umetne inteligence pa se lahko njegova uporaba širi tudi na druge trge. Največje možnosti za tiho dogovarjanje tako ustvarjajo koncentrirani trgi z visoko preglednostjo in stabilnostjo, kjer lahko podjetja razmeroma enostavno spremljajo cenovne strategije konkurentov in prilagodijo svoje vedenje. V takih primerih podjetjem ni treba komunicirati 29 Ena od možnih poti za spopadanje s tiho koluzijo temelji na obstoječih ex ante ukrepih, kot so pregledi združitev, katerih cilj je preprečiti tržne razmere, ki bi lahko spodbudile usklajeno vedenje. Evropska komisija že uporablja konkurenčno pravo za preprečevanje združitev, ki bi lahko privedle do oligopolne prevlade in s tem zmanjšuje tveganja tihe koluzije. Vendar pa imajo ex ante ukrepi omejitve, saj vključujejo element napovedovanja, ki morda ne odraža vedno dejanskega razvoja trga. To odpira vprašanje, ali bi bilo mogoče podoben pristop razširiti na ex post ukrepe, ki bi organom omogočili posredovanje po nastanku koluzije tudi brez dokazov o izrecnem dogovoru. Ko gre za ex post ukrepe, konkurenčni organi niso dolžni napovedovati prihodnosti, vendar pa je izziv oblikovati razumne konkurenčne predpise, ki ne bi preveč posegali v tržno strukturo. Strah pred pregonom zaradi enostranskih dejanj, kot je odločitev o uporabi cenovnih algoritmov, lahko bistveno spremeni način ravnanja podjetij na zadevnem trgu (Dobrin, 2019, strani 42 in 43). 16 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . neposredno, saj jim že tržne razmere omogočajo vzporedno določanje cen in prilagajanje strategij, kar vodi v previsoke cene, ki škodujejo potrošnikom.30 Rešitve opisanih pravnih vrzeli gredo v več smereh. Določeni avtorji predlagajo razširitev normativne definicije sporazuma.31 Po pravu EU in tudi slovenskem pravu se za sklenitev sporazuma zahteva soglasje volj dveh ali več oseb, česar ni mogoče uporabiti oziroma dokazati v številnih oblikah algoritemskega usklajevanja. Noethlich je predlagal, da bi morala konkurenčna politika presegati človeško osredotočeno konceptualizacijo »soglasja volj« ter namesto nje uvesti koncept »soglasja algoritmov«, ki bi prepoznal primere, ko sistemi umetne inteligence samodejno sodelujejo pri oblikovanju cen ali manipulaciji trga.32 Tudi Beneke in Mackenrodt ugotavljata, da trenutni pravni okvir konkurenčnega prava EU ne priznava vzajemne odvisnosti podjetij, četudi ta vodi do stabilnih previsokih cen kot oblike nezakonitega dogovarjanja. Tudi če je težave z odkrivanjem tihih dogovorov mogoče rešiti, nima smisla prepovedovati ravnanja, za katerega ni mogoče uspešno uporabiti pravnih sredstev. To ustvarja regulativno vrzel, saj takšno algoritemsko usklajevanje ni zajeto v obstoječih definicijah protikonkurenčnega ravnanja.33 Sankcije organov za varstvo konkurence zmanjšujejo oblikovanje kartelov in nižajo povprečne tržne cene. Še posebej vplivajo na zmanjševanje izrecnega kartelnega dogovarjanja. Posledično podjetja pogosto prehajajo na posredne oblike cenovnega usklajevanja, namesto da bi povsem opustila dogovarjanje. Posredno (tiho) dogovarjanje ni tako učinkovito pri ohranjanju previsokih cen kot izrecno dogovarjanje, kljub temu pa bi se morala spremeniti »diagnostika« pri odkrivanju tovrstnega dogovarjanja kot tudi pravni okvir za njegovo sankcioniranje v spremenjenih okoliščinah digitalnega in algoritmično vodenega trga.34 Skoraj noben avtor pri svojem razmišljanju ne more mimo ugotovitev Turnerja in Posnerja o kartelnem dogovarjanju na oligopolnih trgih iz sedemdesetih prejšnjega stoletja. Zaradi hitrega razvoja cenovnih algoritmov njune ugotovitve spet postajajo 30 Dobrin, 2019, stran 41. 31 Kot na primer Dobrin, 2019, stran 52. 32 Noethlich, 2019, stran 972. 33 Beneke, Mackenrodt, 2021, stran 156. 34 Andres et al., 2022, stran 16. A. Primec: Algoritemska konkurenca in pravna (ne)preglednost: kakšen domet ima trenutna 17, pravna ureditev EU? aktualne. Turner je nasprotoval uzakonitvi prepovedi tihega dogovarjanja. Tiho dogovarjanje je pojmoval predvsem kot naravno posledico oligopolnih trgov, kot razumsko individualno odločitev glede na obstoječa ekonomska dejstva35 in ne nujno kot nezakonit dogovor. Poleg težavne pravne opredelitve in odkrivanja tihega dogovarjanja bi njegovo sankcioniranje povzročilo neželeno regulacijo cen in posledično omejevanje prostega delovanja trga. Nasprotno pa je Posner tiho dogovarjanje razumel kot zavestno strategijo podjetij, da ne bodo delovala konkurenčno in bodo s tem ohranjala visoke cene. Organi za varstvo konkurence bi lahko tiho dogovarjanje dokazovali z ekonomskimi analizami, ki bi ugotavljale obstoj stabilnih visokih cen, sistematično cenovno diskriminacijo in dolgotrajen presežek ponudbe nad povpraševanjem36 tudi brez neposrednih dokazov o dogovarjanju. Če bi tovrstni tržni kazalniki obstajali, bi morali tiho dogovarjanje sankcionirati na enak način kot izrecne dogovore. Zanimivo je, da je Posner svoja prvotna stališča kasneje močno približal Turnerjevim. Kot sodnik na 7. pritožbenem sodišču v ZDA je leta 2015 v zadevi In re Text Messaging Antitrust Litigation podal mnenje, da so operaterji mobilne telefonije v ZDA lahko delovali racionalno in neodvisno, brez tihega dogovarjanja.37 Pri tem je izrecno zapisal, da tiho dogovarjanje (kar pomeni, da gre za enostransko vzporedno zavestno dejanje, ki ni utemeljeno na konkretnem dogovoru) samo po sebi ne predstavlja kršitve konkurenčnega prava, kar predstavlja prvo tovrstno odločitev na pritožbenem sodišču v ZDA. Argumenti, s katerimi je utemeljil svojo določitev, so bili, da se podjetje težko zaveda okoliščin kršitve zakonodaje, če zgolj sledi cenovnim spremembam konkurentov, ter da je težko razlikovati med neodvisnim razumskim odločanjem in tihim dogovarjanjem. Poleg tega bi »prepoved prilagajanja konkurenci« lahko odvračala podjetja do vstopa na trg, saj bi se bala kazenskih sankcij zaradi nejasnih pravil.38 C alzonari opozarja, da je treba razlikovati med tihim in algoritmičnim dogovarjanjem. Medtem ko tiho dogovarjanje obstaja v tradicionalni različici, kadar podjetja ravnajo racionalno na podlagi obstoječih tržnih pogojev, algoritmično dogovarjanje, pri čemer podjetja oblikujejo svoje algoritme z namenom maksimizacije dobička, prispeva k ustvarjanju pogojev, ki omogočajo tiho dogovarjanje. Njihovo ravnanje bi moralo biti opredeljeno kot usklajena praksa, ki spada v okvir uporabe obstoječih 35 Turner, 1962, stran 66. 36 Posner, 1968, stran 1578 in naslednje. 37 Več o mnenju glej https://casetext.com/case/text-messaging-antitrust-litig-aircraft-check-servs-co-v-wireless (obiskano 13. 3. 2025). 38 Hylton, 2018, stran 4. 18 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . pravil, natančneje prvega odstavka 101. člena PDEU. Nadalje v konkurenčnem pravu EU velja strog režim odgovornosti, po katerem se lahko odgovornost za kršitev pravil o konkurenci, ki jo zagreši določena entiteta iz skupine, pripiše ostalim entitetam iz skupine.39 Tako lahko podjetja nosijo solidarno odgovornost za kršitve pravil o konkurenci, ki jih zagrešijo njihova hčerinska podjetja, kar bi bilo smiselno razširiti tudi na algoritemsko dogovarjanje. Kot tretjo utemeljitev, zakaj je algoritemsko dogovarjanje možno sankcionirati v okviru obstoječega prvega odstavka 101. člena PDEU, Calzonari navaja, da lahko Evropska komisija sproži postopek na podlagi 9. člena Uredbe (ES) št. 1/2003 z dne 16. decembra 2002 o izvajanju pravil konkurence iz členov 81 in 8240 (Uredba 1/2003) in izda odločbo o zavezah tudi brez zanesljive ugotovitve kršitev pravil o konkurenci, pa čeprav mora obstajati namen sprejema odločbe o odpravi kršitve iz 7. člena te uredbe. Analiza prakse komisije namreč kaže, da se predhodna ocena pogosto izda šele, ko (in če) je dejansko sprejetje odločitve o zavezi ne le predvideno, temveč tudi verjetno kot rezultat pogajanj, ki so jih že opravili Evropska komisija in podjetja, vključena v postopek. Poleg tega se v postopkih zavez Evropska komisija osredotoča na prihodnost (rešitve), ne na pretekla ravnanja podjetja. Zato lahko izda predhodno oceno tudi v nejasnih primerih, v katerih bi bilo težko ali celo nemogoče dokazati kršitev 101. ali 102. člena PDEU. V praksi je razvidno, da je Evropska komisija še zlasti pripravljena sprejeti zaveze v zadevah v zvezi z novimi (digitalnimi) trgi in novimi tehnologijami, kar je med drugim razvidno iz zadev Samsung, IBM, Apple in Google Shopping.41 Iz zapisanega izhaja, da ima Evropska komisija v okviru določb 9. člena Uredbe 1/2003 zadostne vzvode za ukrepanje tudi v primerih, kjer izrecnega dogovarjanja ni mogoče dokazati, temveč bi že sam učinek na trg (višje cene, zmanjšana konkurenca) zadostoval za njeno ukrepanje. To bi pomenilo premik od tradicionalnega sankcioniranja, ki temelji na dokazovanju obstoja dogovora ali usklajene prakse, k bolj prožnemu preventivnemu delovanju, pri katerem bi imela tudi podjetja večjo sodelovalno vlogo in bi ostajala nadalje motivirana za razvoj svojih izdelkov in storitev na digitalnih trgih. 39 Ferčič et al., 2011, stran 183. 40 UL L 1, 4. 1. 2003, strani 1–25. 41 Calzonari, 2021, stran 1220 in naslednje. A. Primec: Algoritemska konkurenca in pravna (ne)preglednost: kakšen domet ima trenutna 19, pravna ureditev EU? 4.3 Usklajena ravnanja Kot je bilo prikazano v prejšnjem razdelku, tiho dogovarjanje z algoritmi odpira pomembna vprašanja glede dokazovanja in pravne kvalifikacije usklajevanja brez izrecnega sporazuma. V tem okviru se postavlja vprašanje, ali bi bilo mogoče algoritemske prakse šteti pod obstoječo pravno kategorijo usklajenih ravnanj. Zato se v nadaljevanju osredotočamo na institut usklajenih ravnanj po prvem odstavku 101. člena PDEU ter na njegove meje v digitalnem okolju. Institut usklajenih ravnanj je bil oblikovan za primere dogovarjanja, ki ne dosegajo ravni dogovora. Kot dokaz prepovedanega usklajenega ravnanja mora obstajati vzročna zveza med usklajevanjem in poznejšim tržnim vedenjem. Podjetja, ki se vključijo v usklajene prakse, lahko ovržejo domnevo dogovarjanja, na primer z javnim distanciranjem od ravnanja ali poročanjem regulativnim organom. Odmeven primer sodne prakse, ki osvetljuje meje usklajenih ravnanj, je zadeva Eturas.42 Spletna platforma je omejila popuste za potovalne agencije znotraj svojega sistema. Sodišče Evropske unije (Sodišče EU) je odločilo, da so agencije, ki so bile seznanjene z omejitvijo popustov, lahko domnevno sodelovale kot udeleženke v usklajenem ravnanju, razen če so se aktivno distancirale od tega ravnanja. Vendar je Sodišče EU tudi ugotovilo, da samo obvestilo o spremembi ne zadošča za samodejno domnevo o kartelnem dogovarjanju. Odločitev v zadevi Eturas potrjuje, da mora usklajeno ravnanje vsebovati jasne dokaze o usklajevanju, zaradi česar samostojno algoritmično določanje cen ne spada v to kategorijo.43 Če te ugotovitve prenesemo na algoritmično dogovarjanje, še posebej na obliki Predvidljivi agent in Digitalno oko, se zastavlja vprašanje, ali bi morala biti tudi podjetja, ki uporabljajo cenovne algoritme, domnevno odgovorna za njihovo protikonkurenčno delovanje. Če podjetja zavestno uporabljajo cenovne algoritme na način, ki zmanjšuje tržno negotovost in usklajuje cene s konkurenti, bi se to lahko štelo kot usklajeno ravnanje v skladu s 101. členom PDEU. Sodba v zadevi Eturas nakazuje, da bi podjetja lahko bila odgovorna za algoritemsko dogovarjanje, če obstajajo dokazi, da so se zavedala njegovega protikonkurenčnega učinka.44 42 Zadeva C-74/14, »Eturas« UAB in drugi proti Lietuvos Respublikos konkurencijos taryba, ECLI:EU:C:2016:42. 43 Beneke, Mackenrodt, 2021, stran 157. 44 Dobrin, 2019, stran 41. 20 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Kot je razvidno iz zadeve Eturas, pravni okvir usklajenih ravnanj lahko zagotavlja določena orodja za sankcioniranje algoritemskega dogovarjanja, vendar ne vključuje vseh vidikov sodobnih digitalnih sistemov. Eno izmed zahtevnejših vprašanj, ki se v zvezi s tem pojavlja, je vprašanje odgovornosti za škodo, ko umetna inteligenca deluje vse bolj samostojno in nepregledno. V naslednjem podrazdelku tako obravnavamo izzive, povezane z odgovornostjo za škodo, ki jo povzročijo sistemi umetne inteligence, pri čemer zasledujemo vpliv nove zakonodaje EU na tem področju v zvezi s kršitvami pravil konkurenčnega prava. 4.4 Odgovornosti za škodo, ki jo povzročijo sistemi umetne inteligence 4.4.1 Nov pravni okvir Eden izmed pravnih problemov, ki se poraja pri uporabi umetne inteligence na splošno in ne le pri zagotavljanju konkurenčnosti, je vprašanje odgovornosti. Pri manj naprednih orodjih umetne inteligence, ki delujejo na podlagi človeških navodil in kjer ima umetna inteligenca le vlogo orodja, praviloma ni dvoma o odgovornosti podjetij za kršitve protimonopolnih pravil z uporabo umetne inteligence. Vendar pa razvoj avtonomnih sistemov umetne inteligence, katerih delovanje je vedno manj povezano oziroma odvisno od ravnanj podjetij, odpira težje vprašanje, kdo naj nosi odgovornost za samostojne odločitve in ravnanja umetne inteligence, ki kršijo protimonopolna pravila, in na kakšni pravni podlagi. Ker so se na področju delovanja sistemov umetne inteligence in njihove odgovornosti za škodo uveljavila nova pravila, so najprej prikazane njihove ključne določbe, ki so nato povezane z izpostavljenimi konkurenčnopravnimi položaji podjetij na trgu. 4.4.2 Akt o umetni inteligenci Temeljni akt EU, namenjen pravni ureditvi umetne inteligence, je Akt o umetni inteligenci, ki določa pravila za razvijalce (ponudnike) in uvajalce45 umetne inteligence v zvezi s posebnimi načini uporabe umetne inteligence, temelječih na 45 Prvi odstavek 2. člena v točki b) izrecno določa, da se uredba uporablja za uvajalce sistemov umetne inteligence, ki imajo sedež ali se nahajajo v Uniji (točka c uporabo še dodatno razširja na ponudnike in uvajalce sistemov umetne inteligence, ki imajo sedež ali se nahajajo v tretji državi, kadar se izhodni podatki, ki jih sistem umetne inteligence ustvari, uporabljajo v Uniji), pri čemer uvajalec pomeni fizično ali pravno osebo, javni organ, agencijo ali drugo telo, ki sistem umetne inteligence uporablja v svoji pristojnosti, razen kadar se sistem umetne inteligence uporablja v okviru osebne nepoklicne dejavnosti (četrta točka 3. člena). Iz zapisanega izhaja, da izraz uvajalec torej pomeni osebo, ki sistem umetne inteligence uporablja v okviru svoje poklicne, gospodarske kot tudi negospodarske dejavnosti (npr. zdravstveni zavodi), medtem ko uporaba ChatGPT-ja v vsakdanjem življenju ni vključena v področje uporabe. A. Primec: Algoritemska konkurenca in pravna (ne)preglednost: kakšen domet ima trenutna 21, pravna ureditev EU? tveganju. Nekateri od modelov umetne inteligence za splošne namene lahko namreč predstavljajo sistemska tveganja, če so zelo zmogljivi ali se široko uporabljajo. Akt o umetni inteligenci opredeljuje štiri ravni tveganja: nesprejemljivo tveganje, visoko tveganje, omejeno tveganje (tveganje v zvezi s preglednostjo) in minimalno tveganje. Sistemi, ki se uvrščajo v najvišjo stopnjo tveganja, so prepovedani.46 Za zagotovitev varne in zaupanja vredne umetne inteligence Akt o umetni inteligenci določa pravila za ponudnike modelov, ki vključujejo zahteve glede preglednosti in skladnosti z avtorskim pravom EU. Ponudniki so dolžni tveganja oceniti in zmanjšati. Za izvajanje, nadzor in izvrševanje Akta o umetni inteligenci so odgovorni Evropski urad za umetno inteligenco in nacionalni organi za nadzor trga.47 Akt o umetni inteligenci vzpostavlja regulativni okvir za varno in etično uporabo umetne inteligence, pri čemer ne določa neposredne odgovornosti modelov umetne inteligence za škodo. Kljub temu s svojimi zahtevami za visoko tvegane sisteme umetne inteligence (na področjih biometrike, kritične infrastrukture, izobraževanja, zaposlovanja, kazenskega prava) z uvajanjem obveznosti za razvijalce in uvajalce umetne inteligence (glede preglednosti, testiranja, spremljanja)48 in sankcijami za kršitelje Akta o umetni inteligenci49 posredno obravnava tudi vprašanja odgovornosti za škodo, povzročeno z umetno inteligenco, pa čeprav le v obliki zahtev za zagotavljanje varnosti in preprečevanja škode. Vprašanja dejanske odgovornosti dopolnjuje specialna zakonodaja, v katero sodita Direktiva 2024/2853 in predlog Direktive Evropskega parlamenta in Sveta o prilagoditvi pravil o nepogodbeni civilni odgovornosti umetne inteligence. 4.4.3 Direktiva o odgovornosti za proizvode z napako Nova pravila o odgovornosti za proizvode z napako veljajo za vse izdelke, od tradicionalnih gospodinjskih predmetov do digitalnih izdelkov in najsodobnejših tehnologij, kot so sistemi umetne inteligence, ki so bili dani na trg EU. Proizvajalci so lahko odgovorni za napake, ki so obstajale v trenutku izdaje njihove programske 46 Prvi odstavek 5. člena Akta o umetni inteligenci natančno opredeljuje prepovedane prakse. 47 Glej https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai (obiskano: 18. 3. 2025). 48 Določbe 8. do 15. člena Akta o umetni inteligenci, medtem ko so posamezna področja izpostavljena v Prilogi III. 49 Določbe 99. do 101. člena Akta o umetni inteligenci. 22 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . opreme ali sistema umetne inteligence. To vključuje napake, ki so postale očitne po njihovi izdaji kot posledica posodobitev, nadgradenj ali funkcije strojnega učenja.50 Izdelek z napako pomeni izdelek, ki ne zagotavlja varnosti, ki jo oseba od njega upravičeno pričakuje, ali ki se zahteva na podlagi prava EU ali nacionalnega prava.51 Glede varnosti Direktiva 2024/2853 upošteva, da so danes številni izdelki medsebojno povezani, kot na primer pametne naprave v gospodinjstvu. Pri oceni varnosti takšnih izdelkov je zato pomembno tudi, kako nanje vplivajo druge naprave in programska oprema. Na oceno varnosti vpliva tudi možnost nadaljnjega učenja. Prav tako je pomembno, da se preveri, ali se lahko izdelek sčasoma uči in pridobiva nove funkcije. Če se njegov osnovni program ali algoritmi spremenijo tako, da začne delovati nevarno, mora za to še vedno odgovarjati proizvajalec. Poleg tega so številni digitalni izdelki pod nadzorom proizvajalca tudi po tem, ko jih uporabniki kupijo in jih imajo v posesti. Varnost takšnega izdelka se mora ocenjevati ne samo v trenutku prodaje, ampak tudi kasneje, ko proizvajalec nad njim nima več neposrednega nadzora. Izdelek se lahko šteje za nevarnega tudi, kadar ne izpolnjuje zahtev po kibernetski varnosti. Na primer, če ne izpolnjuje osnovnih varnostnih zahtev in zato postane ranljiv za hekerske napade, se lahko šteje, da ima napako.52 Direktiva 2024/2853 omogoča prizadetim osebam, da zahtevajo odškodnino za telesne poškodbe, materialno škodo in poškodovanje podatkov. Upošteva vedno večje število izdelkov na enotnem trgu, ki so proizvedeni zunaj EU, in zagotavlja, da v Evropi vedno obstaja gospodarski subjekt, od katerega lahko oškodovanec zahteva odškodnino. Primarno je odgovoren proizvajalec izdelka. Kadar le-ta nima sedeža v EU, lahko oškodovanec zahteva odškodnino tudi od uvoznika ali pooblaščenega zastopnika, v njuni odsotnosti pa od ponudnika storitev odpremnih skladišč.53 Kadar odgovorne osebe s sedežem v EU ni mogoče ugotoviti, lahko oškodovanec zahteva te podatke od distributerja izdelka z napako. Če distributer ne odgovori v enem mesecu od zahteve po informacijah, lahko oškodovanec zahteva odškodnino neposredno od distributerja. Odgovornost za proizvod z napako nosijo tudi spletne platforme, kadar v zvezi z okvarjenim izdelkom delujejo kot eden od gospodarskih subjektov, kot jih opredeljuje nova direktiva odgovornosti za proizvod z napako (tj. 50 Glej https://single-market-economy.ec.europa.eu/single-market/goods/free-movement-sectors/liability- defective-products_en (obiskano: 20. 3. 2025). 51 Prvi odstavek 7. člena Direktive 2024/2853. 52 Direktiva 2024/2853, uvodna točka 32. 53 Določba 8. člena Direktive 2024/2853. A. Primec: Algoritemska konkurenca in pravna (ne)preglednost: kakšen domet ima trenutna 23, pravna ureditev EU? proizvajalec, uvoznik, pooblaščeni zastopnik, ponudnik storitev izpolnitve ali distributer). Spletne platforme, ki delujejo zgolj kot posredniki, so še vedno lahko odgovorne pod posebnimi pogoji v skladu z Aktom o digitalnih storitvah, natančneje Uredbo (EU) 2022/1925 Evropskega parlamenta in Sveta z dne 14. septembra 2022 o tekmovalnih in pravičnih trgih v digitalnem sektorju in spremembi direktiv (EU) 2019/1937 in (EU) 2020/1828.54 V takem primeru za spletno platformo, ki le posreduje pri prodaji, veljajo enake obveznosti kot za distributerja. Subjektivni zastaralni rok za uveljavljanje odškodnine za škodo, ki spada na področje Direktive 2024/2853, je tri leta, medtem ko objektivni rok znaša deset let.55 Rok za implementacijo določb Direktive 2024/2853 je 9. december 2026. Nova pravila o odgovornosti za proizvod z napako se bodo začela uporabljati za izdelke, dane na trg od 9. decembra 2026.56 4.4.4 Predlog Direktive o odgovornosti za umetno inteligenco V predlogu Direktive o odgovornosti za umetno inteligenco je Evropska komisija predlagala dopolnitev in posodobitev okvira odgovornosti z uvedbo novih pravil, prilagojenih škodi, ki jo povzročijo sistemi umetne inteligence. Namen novih pravil je bil zagotoviti, da osebe, ki so jih oškodovali sistemi umetne inteligence, uživajo enako raven zaščite kot osebe, oškodovane z drugimi tehnologijami v EU. Direktiva o odgovornosti za umetno inteligenco bi ustvarila ovrgljivo »domnevo vzročnosti«, da bi oškodovanim olajšala dokazno breme pri ugotavljanju škode, ki jo je povzročil sistem umetne inteligence. Poleg tega bi nacionalnim sodiščem podelila pooblastila, da odredijo razkritje dokazov o visoko tveganih sistemih umetne inteligence, za katere obstaja sum, da so povzročili škodo. Evropska komisija je julija 2024 prvoten predlog direktive uskladila z Aktom o umetni inteligenci. Sledila je ocena učinka novega predloga, ki je opozoril, da bi bilo treba razširiti področje uporabe direktive na splošne namene in druge »sisteme umetne inteligence z velikim vplivom« ter programsko opremo. Obravnavan je bil tudi okvir »mešane« odgovornosti, ki bi uravnotežil krivdno in objektivno odgovornost. Študija je še posebej priporočila prehod z direktive, osredotočene na umetno inteligenco, na uredbo o odgovornosti za programsko opremo, da bi preprečili razdrobljenost trga in povečali 54 UL L 265, 12. 10. 2022, strani 1–66. 55 Podrobneje glej 16. in 17. člen Direktive 2024/2853. 56 Določba 22. člena Direktive 2024/2853. 24 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . transparentnost po vsej EU.57 Razprave v Evropskem parlamentu, ki so bile že do tedaj burne, so se še dodatno zaostrile. Ambiciozne načrte Evropske komisije o oblikovanju enotnega regulativnega okvira za tehnologije umetne inteligence v EU pa je odnesla politična negotovost zaradi menjave oblasti v ZDA leta 2024. V prizadevanjih za dvig konkurenčnosti je v delovnem programu za leto 2025 tako zapisano, da Evropska komisija ne namerava obnoviti razprave o osnutku zakonodaje za ravnanje z umetno inteligenco, ko ta povzroča škodo. Kot razlog je mogoče razumeti pomanjkanje dogovora, saj si je tehnološka industrija prizadevala za enostavnejše predpise. Kot je Evropska komisija dodatno pojasnila v prilogi programa, bo ocenila, ali bi bilo treba vložiti drug predlog ali izbrati drug pristop.58 Direktiva je nameravala uskladiti postopkovne mehanizme, kot so domneve o vzročni zvezi in pravila za pridobivanje dokazov, da bi tožnikom olajšala dokazovanje svojih primerov. Kljub vzpostavitvi instituta izpodbojne domneve pa bi bil oškodovanec še vedno dolžan izkazati verjetnost, da je, na primer, proizvod pripomogel k škodi, verjetnost, da je krivda vplivala na izhodne podatke umetne inteligence sistema itd., kar je ob upoštevanju vedno bolj kompleksnih sistemov umetne inteligence lahko, tudi za pravne strokovnjake, izjemno težavno.59 Odgovornost za škodo, ki jo povzročijo sistemi umetne inteligence, temelji na krivdi, ki pomeni neizpolnjevanje dolžnosti skrbnega ravnanja v skladu z Aktom o umetni inteligenci ali drugimi pravili. Tožeča stranka mora krivdo tožene stranke dokazati v skladu z nacionalnimi pravili ali veljavnimi pravili EU.60 V opredelitev škode in krivde predlog direktive ni posegel, zaradi česar bi lahko prihajalo do neskladij med nacionalnimi sistemi držav članic.61 V primeru visoko zmogljivih (avtonomnih) sistemov umetne inteligence (kot npr. v medicinskem diagnosticiranju), ki se vedno pogosteje uporabljajo v zdravstvu zaradi svoje natančnosti, njihovega delovanja ni vselej mogoče razumeti. Kadar taki sistemi povzročijo škodo, pogosto ni jasno, kdo – če kdo – je kriv. Odgovornost na podlagi krivde je zahtevno vprašanje, ki vključuje skrbno upoštevanje nacionalnih pravnih 57 Glej https://www.europarl.europa.eu/legislative-train/theme-a-europe-fit-for-the-digital-age/file-ai-liability- directive?p3373 (obiskano: 18. 3. 2025). 58 Glej https://commission.europa.eu/publications/2025-commission-work-programme-and-annexes_en (obiskano: 19. 3. 2025). 59 Mestinšek, 2024. 60 Lešnik, Weingerl, 2024, stran 128. 61 Kerkoč, Jager, 2023, strani 16–17. A. Primec: Algoritemska konkurenca in pravna (ne)preglednost: kakšen domet ima trenutna 25, pravna ureditev EU? tradicij, sodnih praks in kulturnih norm ter uporabo širših pravnih načel, kot so pravičnost, razumnost in sorazmernost. Če naj zakonodaja EU o krivdni odgovornosti najde pot do uskladitve glede vprašanja škode, ki jo povzroči umetna inteligenca, se lahko pristop od spodaj navzgor, ki temelji na pravnih sistemih držav članic in praktičnih izkušnjah, na koncu izkaže za bolj učinkovitega kot regulativni posegi od zgoraj navzdol.62 4.4.5 Uporabnost nove zakonodaje o sistemih in odgovornosti umetne inteligence v primerih kršitev pravil konkurenčnega prava EU Kot je prikazano v nadaljevanju, novi zakonodajni akti EU s področja umetne inteligence neposredno ne obravnavajo primerov s področja varstva konkurence. Kljub temu jih je ob določenih pogojih možno uporabiti zlasti za potrebe prepoznavanja nedovoljenih oblik algoritemskega dogovarjanja. Opozoriti velja tudi na njihovo preventivno vlogo, ki jo lahko imajo na omejevanje tržne moči tehnoloških velikanov. Akt o umetni inteligenci neposredno ne posega v konkurenčnopravna razmerja na trgu. Uvaja obsežen regulativni okvir, ki predvsem omejuje uporabo visokotveganih sistemov. Na uveljavljanje konkurenčnega prava bo akt vplival predvsem posredno. Obsežna postopkovna pooblastila, ki so dana ustreznim nadzornim organom, vključujejo pregledovanje dokazov in dostop do podatkov ter dokumentov, kar lahko prenesejo na nacionalne organe za konkurenco.63 Če bi podjetja uporabila algoritem, ki bi ustrezal zahtevam akta za visokotvegani sistem umetne inteligence, bi bilo možno uporabiti pravila, ki od razvijalcev oziroma uporabnikov zahtevajo preglednost, nadzor, testiranje in sledljivost sistemov, kar bi lahko imelo preventivni (ex ante) učinek na razvoj in uporabo umetne inteligence. Kot smo že zapisali, akt izrecno določa osem posebej občutljivih področij. V primeru, da je sistem umetne inteligence namenjen uporabi na enem izmed teh področij, velja za visoko tveganega. Tako bi se hipotetično algoritem za namene kadrovanja (razvrščanja kandidatov po uspešnosti in odločanja, kdo je sprejet in kdo ne) lahko opredelil kot visoko tvegan.64 Če bi pri tem vplival na dostop do 62 Duffourc, 2025. 63 Moncuit, et al., 2024. 64 Skladno z določili četrte a) točke Priloge III Akta o umetni inteligenci. 26 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . samozaposlitve, bi imela algoritemska odločitev posledice tudi na konkurenčno pravo. Ravnanje podjetja, ki je uporabilo algoritem, bi se lahko presojalo na podlagi členov, ki, na primer, zahtevajo preglednost in človeški nadzor,65 kar bi lahko bilo v pomoč organom za varstvo konkurence pri dokazovanju nezakonitega algoritemskega usklajevanja. Akt o umetni inteligenci uvaja tudi določene obveznosti za ponudnike generativnih modelov,66 kadar njihova uporaba predstavlja sistemska tveganja. Ponudniki modelov s sistemskimi tveganji so dolžni ocenjevati in blažiti tveganja, poročati o resnih incidentih, izvajati najsodobnejše teste in ocene modelov ter zagotavljati kibernetsko varnost svojih modelov.67 Dodatne zahteve lahko pomenijo večje breme tudi za tehnološke velikane (gatekeeperje, kot so npr. Google, Meta, OpenAI/Microsoft itd.), kar lahko prav tako vpliva na omejevanje koncentracije moči tehnoloških velikanov. Z namenom preprečevanja zlorab tržne moči velikih digitalnih platform ter zagotavljanja pravičnosti in konkurenčnosti na digitalnih trgih je bil sprejet Akt o digitalnih trgih. Direktiva 2024/2853 zagotavlja enotna pravila glede odgovornosti za proizvode z napako po celotni EU, kar ustvarja enake pogoje za vse proizvajalce in preprečuje, da bi podjetja izkoriščala manj stroge predpise v določenih državah članicah. Čeprav direktiva neposredno ne omogoča pravnim osebam, da vlagajo odškodninske zahtevke, njeni posredni učinki prispevajo k bolj poštenemu in konkurenčnemu poslovnemu okolju. Tako na primer določbe Direktive 2024/2853 razširjajo odgovornost proizvajalcev tudi na programsko opremo in digitalne storitve, vključno z njihovimi posodobitvami, kar pomeni, da morajo podjetja zagotavljati poštene in konkurenčne pogoje pri izdajanju popravkov, nadgradenj in izboljšav. Direktiva 2024/2853 nadalje povečuje zahteve po preglednosti, kar pomeni, da lahko oškodovanci zahtevajo dostop do ključnih podatkov, če sumijo, da določeni proizvodi ali sistemi umetne inteligence povzročajo škodo. Na ta način podjetja ne morejo več skrivati določenih informacij o algoritmih ali podatkovnih bazah, ki so ključne za delovanje umetne inteligence. Zaostrena in razširjena pravila o producentski odgovornosti vplivajo na področje varstva konkurence predvsem preventivno, saj zahtevajo od podjetij večjo preglednost. Lažje dokazovanje škode (z domnevanjem vzročnosti med napako in nastalo škodo) bo tudi lahko privedlo 65 Določbi 13. in 14. člena Akta o umetni inteligenci. 66 V jeziku uredbe »modeli umetne inteligence za splošne namene«. 67 Glej https://ec.europa.eu/commission/presscorner/detail/en/qanda_21_1683 (obiskano: 27. 3. 2025). A. Primec: Algoritemska konkurenca in pravna (ne)preglednost: kakšen domet ima trenutna 27, pravna ureditev EU? do pogostejšega vlaganja tožbenih zahtevkov, kar podjetjem nalaga večjo odgovornost tudi na področju algoritemskega dogovarjanja. Predlog Direktive o odgovornosti za umetno inteligenco lahko posredno vpliva na konkurenčna razmerja na trgu, saj z uvedbo enotnih pravil o odgovornosti, mehanizmov za razkritje dokazov in izpodbojnih domnev krepi pravno varnost, spodbuja pošteno konkurenco ter omogoča učinkovitejše preprečevanje protikonkurenčnih praks, kot je algoritemsko usklajevanje. 5 Zaključek Zaključujemo z ugotovitvijo, da imajo tržni algoritmi močan vpliv na konkurenčnost podjetij. Za zdaj so njihovi učinki prepoznavni predvsem kot orodje za izboljšanje konkurenčnega položaja na trgu, kar je za organe za varstvo konkurence sprejemljivo in obvladljivo znotraj obstoječih pravil varstva konkurence. V primeru uporabe kompleksnejših sistemov umetne inteligence, ki delujejo nepregledno in/ali avtonomno (kar bi lahko umetno inteligenco postavilo v vlogo subjekta na trgu), pa je težko postaviti ločnico med prepovedanim in dovoljenim dogovarjanjem. Veljavna pravna ureditev v okviru 101. člena PDEU postavlja temelje za določanje prepovedanih oblik dogovarjanja med podjetji. Vendar pa, kot smo ugotovili, določenih novih algoritemskih oblik dogovarjanj ni mogoče uspešno presojati v krogu teh določil oziroma je za to potrebna inovativnejša pravna razlaga. Predlagane rešitve gredo v različne smeri, od spreminjanja in dopolnjevanja obstoječih pravnih institutov, kot na primer širitve pojma dogovor ali širše razlage »usklajenih ravnanj« iz prvega odstavka 101. člena PDEU po vzoru sodbe Sodišča EU v zadevi Eturas. Uspešno prakso na področju tihega dogovarjanja izkazuje tudi Evropska komisija s sprejemanjem odločitev o zavezah na podlagi 9. člena Uredbe 1/2003, ki vsebuje zadostne vzvode za ukrepanje tudi v primerih, kjer eksplicitnega dogovarjanja ni mogoče dokazati, temveč že sam učinek na trg (višje cene, zmanjšana konkurenca) zadostuje za njeno ukrepanje. Novi zakonodajni akti EU, kot sta Akt o umetni inteligenci in Direktiva 2024/2853, prinašajo pomembna pravila za upravljanje tveganj, povezanih s sistemi umetne inteligence, ter določajo odgovornost za škodo, ki jo povzročijo proizvodi z vgrajenimi sistemi umetne inteligence. Čeprav ti akti neposredno ne urejajo področja 28 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . varstva konkurence, imajo nanj posreden vpliv. Uveljavitev teh predpisov v praksi bo od organov za varstvo konkurence zahtevala temeljito poznavanje novih pravil in hkratno uporabo drugih zakonodajnih aktov, kot sta Akt o digitalnih trgih in Akt o digitalnih storitvah. Zaradi razpršenosti in kompleksnosti teh predpisov bo to zahtevna naloga. Po našem mnenju v tem trenutku ni ustrezno posegati v temeljne določbe konkurenčnega prava, zlasti ne v definicije osrednjih pojmov, kot sta »dogovor« ali »usklajeno ravnanje«. Razvoj umetne inteligence poteka z neverjetno hitrostjo kar pomeni, da bi prenovljeni pravni okvir hitro zastarel in s tem postal neučinkovit. Zgodovinske izkušnje kažejo, da se tehnološke preobrazbe slej ko prej umirijo, zato bi bilo primerno šele takrat ponovno oceniti, kakšne pravne prilagoditve so dejansko potrebne. Obenem velja poudariti, da število zaznanih kršitev konkurenčnega prava zaradi t. i. algoritemskega dogovarjanja za zdaj ni tolikšno, da bi terjalo sistemske zakonodajne posege. Rešitve se zato v trenutni fazi razvoja kažejo predvsem v prilagodljivi in inovativni praksi organov za varstvo konkurence in sodišč, ki lahko s pomočjo ustvarjalne razlage obstoječih pravil odgovorijo na nove tržne izzive. Takšen pristop je skladen tudi z ekonomskim značajem konkurenčnega prava, ki dopušča prožnejšo interpretacijo v luči dejanskih učinkov na trg. Ključno pa ostaja nenehno spremljanje tehnološkega razvoja in njegovo ustrezno pravno naslavljanje takrat, ko se v praksi pokažejo konkretne škodljive posledice avtonomnega delovanja algoritmov. Pri tem mora vsak prihodnji regulativni poseg zagotavljati ravnotežje med potrebo po varstvu konkurence in spodbujanjem tehnoloških inovacij, zlasti ob upoštevanju strateškega cilja EU po krepitvi konkurenčnosti v globalnem gospodarskem okolju. Literatura Andres, M., Bruttel, L., Friedrichsen, J. (2022) How communication makes the difference between a cartel and tacit collusion: A machine learning approach, DIW Berlin Discussion Paper No. 2000, European Economic Review, 152, 2023, strani 1–18, https://doi.org/10.2139/ssrn.4071382. Beneke, F., Mackenrodt, M. O. (2021) Remedies for algorithmic tacit collusion, Journal of Antitrust Enforcement, 9(1), strani 152–176, https://doi.org/10.1093/jaenfo/jnaa040. Calzonari, L. (2021) The Misleading Consequences of Comparing Algorithmic and Tacit Collusion, Tackling Algorithmic Concerted Practices Under Art. 101 TFEU, European Papers, 6(2), strani 1193-1228, doi: 10.15166/2499-8249/519. A. Primec: Algoritemska konkurenca in pravna (ne)preglednost: kakšen domet ima trenutna 29, pravna ureditev EU? Chiappini, D. (2024) The Legal Definition of Artificial Intelligence: A Comparative Perspective, European Journal of Comparative Law and Governance, 11, strani 360–387, https://doi.org/10.1163/22134514-bja10071. Denis, L. (2021) Uber and competition law, Competition Forum, Law & Economics, št. članka 0017, dostopno na: https://competition-forum.com/uber-and-competition-law/ (obiskano: 5. 3. 2025). Dobrin, S. (2019). Algorithms and Collusion: Competition Law Challenges of Pricing Algorithms, Faculty of Law, Lund University, Master Thesis, Supervisor: Nowag J., strani 1-75. Duffourc, M N. (2025) The Withdrawal of the AI Liability Directive: A Critical Reflection on AI Liability in the EU, Maastrich University, dostopno na: https://www.maastrichtuniversity.nl/blog/2025/02/withdrawal-ai-liability-directive-critical-reflection-ai-liability-eu (obiskano: 19. 3. 2025). Ferčič, A., Hojnik, J., Tratnik, M. (2011) Uvod v pravo Evropske unije, GV Založba, Ljubljana. Hylton, K. N. (2018). Oligopoly pricing and Richard Posner, Antitrust Source, 18, strani 1–18, https://doi.org/10.2139/ssrn.3157922. Kerkoč A., Jager L. (2023) Predlog direktive EU za urejanje civilne odgovornosti umetne inteligence, Pravna praksa, 11–12, 2023, strani 16-17, dostopno na: https://www.iusinfo.si/literatura/PP101D20230323V11T12PS16PE17N1/ (obiskano: 27. 3. 2025). Lešnik, A., Weingerl, P. (2024) Pravna ureditev odgovornosti za škodo, povzročeno z umetno inteligenco v Sloveniji v Romih, R., Fir, N. (ur): Digitalna ekonomija in pravo 2024, Študentsko posvetovanje o ekonomskih in pravnih izzivih digitalne preobrazbe, Zbornik recenziranih znanstvenih prispevkov, Društvo ekonomistov Maribor, 2024, str. 120-132, dostopno na: https://demb.si/digitalna-ekonomija-in-pravo-2024/ (obiskano 27. 3. 2025). Mestinšek Mubi, A. (2024) Regulacija umetne inteligence v EU, Tax-Fin-Lex, 9/2024, dostopno na: https://www.tax-fin-lex.si/Dokument/Podrobnosti?rootEntityId=0ac200aa-4149-4213-beee-d116611cb038 (obiskano: 19. 3. 2025). Minbaleev, A.V. (2022). The Concept of »artificial inteligence« in law, Bulletin of Udmurt University Series Economics and Law, 32(6), strani 1094–1099, doi.org/10.35634/2412-9593-2022-32-6-1094-1099. De Moncuit, A., Vowden, D., Lloyd, K., Wilks, S., & Nwabueze, O. (2024) AI challenges in competition law: How are regulators responding? Mayer Brown, https://www.mayerbrown.com/en/insights/publications/2024/04/ai-challenges-in-competition-law-how-are-regulators-responding (obiskano: 25. 3. 2025). Raj, A. (2024). Artificial Intelligence, International, Journal for Research in Applied Science & Engineering Technology, 12(11), strani 646–655, https://doi.org/10.22214/ijraset.2024.64695. Posner R. A. (1968) Oligopoly and the Antitrust Laws: A Suggested Approach, 21 Stanford Law Review, 1562, strani 1562–1606. Sagaj, M. (2025) Pretres za tehnološke in kapitalske trge, Večer, stran 5. Molski, R. (2021). Competition law and artificial intelligence – Challenges and opportunities, Teka Komisji Prawniczej PAN Oddział w Lublinie, 14(2), 339–352. https://doi.org/10.32084/tekapr.2021.14.2-24 Noethlich, K. (2019) Artificially Intelligent and and Free to Monopolize: A New Threat to Competitive Markets Around the World, American University International Law Review, 34(4), strani 924–976. Talavera, P. (2024) Competitive Enterpreise Institute, EU’s Digital Markets Act: An obstruction to AI innovation?, dostopno na: https://cei.org/blog/eus-digital-markets-act-an-obstruction-to-ai-innovation/?utm (obiskano: 27. 3. 2025). Turner, D. F. (1962) The Definition of Agreement under the Sherman Act: Conscious Parallelism and Refusals to Deal, Harvard Law Reviw, 75(4), strani 655–706, https://doi.org/10.2307/1338567. 30 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Extended abstract The increasing use of artificial intelligence in digital markets introduces new dimensions to competitive relationships. It raises questions about the ability of the existing legal framework to respond to these challenges adequately. Although algorithms can enhance market efficiency and predictability, they also enable tacit collusion, algorithmic coordination, and potential abuses of dominance—often without direct human intent or classical evidence of unlawful agreements. The central research question focused on analyzing the legal challenges faced by market algorithms in EU competition law. The study presented technological tools that companies have used for decades to maximize market outcomes. Algorithms are central in this context and have attracted considerable attention in economic and legal science and practice. The legal effects of algorithm use in digital markets were identified, along with additional emerging aspects. Using an endogenous comparative method, the research explored the current EU legal framework governing artificial intelligence, focusing specifically on the AI Act, the Product Liability Directive, and the proposed Directive on liability for damage caused by AI systems. Other legal acts (such as the Digital Markets Act, the Data Governance Act, etc.), which also influence the issues discussed, were not included due to the limited scope of the contribution. The research showed that one of the key challenges in competition law in digital markets is the emergence of restrictive agreements in the form of tacit collusion and coordinated practices facilitated by market algorithms. Another important issue concerns liability for damage caused by companies through the use of AI systems in the market. Special attention was paid to examining how these topics can be addressed and resolved within the framework of EU competition law, with a focus on Articles 101 and 102 of the TFEU and new rules relating to AI governance. As the concluding findings of the chapter, it should be emphasized that algorithms strongly impact companies’ competitiveness. For now, their effects are mainly recognized as tools to enhance a company’s market position, which is acceptable and manageable for competition authorities within the existing competition law framework. However, it becomes challenging to draw the line between prohibited and permitted coordination when it comes to more complex AI systems operating in an opaque and/or autonomous manner (potentially positioning AI as a market subject). The current legal regulation under Article 101 TFEU lays the foundation for identifying prohibited coordination between undertakings. However, as determined in this contribution, certain new algorithmic forms of coordination cannot be effectively assessed solely within the scope of these provisions or, at the very least, require a more innovative legal interpretation. The proposed solutions move in various directions—from adapting and supplementing existing legal institutes, such as broadening the concept of agreement or expanding the interpretation of “concerted practices” following the reasoning in the Eturas case under Article 101(1) TFEU. The Commission also demonstrates a successful approach to tacit coordination through the adoption of commitment decisions based on Article 9 of Regulation (EC) No 1/2003, which provides sufficient levers for intervention even in cases where explicit agreements cannot be proven, as long as the market effect (higher prices, reduced competition) alone suffices for action. New EU legislative acts, such as the AI Act and the revised Product Liability Directive, introduce important rules for risk management related to AI systems and establish liability for damage caused by products incorporating AI systems. Although these acts do not directly regulate the field of competition law, they exert an indirect influence on it, as discussed in more detail in the chapter. The implementation of these rules in practice will require competition authorities to gain a thorough understanding of the new regulations and apply them in conjunction with other legislative acts, such as the Digital Markets Act and the Digital Services Act. Due to the dispersed and complex nature of these regulations, this will be a demanding task. P DOI RISTOJNOSTI DELAVSKIH https://doi.org/ 10.18690/um.pf.11.2025.2 PREDSTAVNIKOV V PODJETJU V ISBN 978-961-299-086-2 ZVEZI Z UPORABO SISTEMOV UMETNE INTELIGENCE V DELOVNIH RAZMERJIH DARJA SENČUR PEČEK, ALJOŠA POLAJŽAR Univerza v Mariboru, Pravna fakulteta, Maribor, Slovenija darja.sencur-pecek@um.si, aljosa.polajzar@um.si Avtorja obravnavata vprašanje vsebine pristojnosti delavskih Ključne besede: umetna inteligenca, predstavnikov v podjetju v zvezi z uporabo umetne inteligence v delovno razmerje, delovnih razmerjih. Pri tem se osredotočata na relevantne pravne delavski predstavniki, vidike po slovenski pravni ureditvi in po pravu EU ter varstvo osebnih podatkov, varnost in zdravje pri delu, obravnavata obe vrsti delavskih predstavništev, ki v Sloveniji kolektivno dogovarjanje, sveti delavcev delujeta na ravni podjetja. Avtorja zaključujeta, da imajo delavski predstavniki pomembne pristojnosti v zvezi z uvajanjem/uporabo sistemov umetne inteligence v okviru delovnih razmerij. Te se nanašajo na splošno področje obveščanja in skupnega posvetovanja v okviru podjetja ter na področje varnosti in zdravja pri delu. Pri tem je sicer res, da besedilo zakonskih pristojnosti delavskih predstavnikov pojma »umetne inteligence« (algoritemskega upravljanja ipd.) ne omenja izrecno, kljub temu pa je treba uporabiti in ustrezno razlagati določena splošna (že obstoječa) pravila. Ob upoštevanju obravnavane ureditve na ravni EU avtorja predlagata določene možne zakonske izboljšave de lege ferenda. DOI THE POWERS OF WORKERS' https://doi.org/ 10.18690/um.pf.11.2025.2 ISBN REPRESENTATIVES IN AN 978-961-299-086-2 UNDERTAKING IN RELATION TO THE USE OF ARTIFICIAL INTELLIGENCE SYSTEMS IN EMPLOYMENT RELATIONS DARJA SENČUR PEČEK, ALJOŠA POLAJŽAR University of Maribor, Faculty of Law, Maribor, Slovenia darja.sencur-pecek@um.si, aljosa.polajzar@um.si Keywords: The authors address the question of the powers of workers' artificial intelligence, representatives in an undertaking in relation to the use of artificial employment relationship, workers' representatives, intelligence in an employment relationship. The authors focus on personal data protection, relevant legal aspects under Slovenian and EU law – and discuss health and safety at work, collective bargaining, two types of worker representation operating at the company level works councils in Slovenia. The authors conclude that workers’ representatives have important competences in relation to the introduction/use of AI systems in the context of employment relationships. The latter relate to the general area of information and joint consultation within the company and to occupational safety and health. It is true that the text of the statutory powers of workers' representatives does not explicitly mention the concept of 'artificial intelligence' (algorithmic management, etc.) – yet certain general (existing) rules must nevertheless be applied and interpreted accordingly. Taking into account European regulation under consideration, the authors suggest certain possible de lege ferenda improvements. D. Senčur Peček, A. Polajžar: Pristojnosti delavskih predstavnikov v podjetju v zvezi z 33, uporabo sistemov umetne inteligence v delovnih razmerjih 1 Uvod Uporaba sistemov umetne inteligence v zvezi z delovnimi razmerji je čedalje bolj razširjena. Literatura navaja različne primere tovrstne uporabe. Denimo, podjetja lahko uporabljajo sisteme za množično obdelavo podatkov v postopku izbire kandidatov za zaposlitev.1 Nadalje se tovrstni sistemi uporabljajo za organizacijo dela, navodila, nadzor in ocenjevanje delavcev. Organizacija dela s pomočjo algoritmov je značilna za platformno delo. Prav tako pa se pojavlja tudi v bolj tradicionalnih delovnih okoljih. Denimo, v trgovinah in gostinstvu se algoritmi lahko uporabljajo za razporejanje delavcev in odrejanje delovnega časa. Prav tako se iz varnostnih razlogov lahko s pomočjo algoritmov opozarja delavce v skladiščih, če se njihove poti preveč približajo. Zaznani pa so tudi primeri uporabe umetne inteligence v zvezi s prenehanjem delovnega razmerja ali drugimi oblikami sankcioniranja delavcev. Na podlagi zbranih podatkov (npr. ocen strank, opravljenih delovnih nalog ipd.) algoritmi odločajo, kateri izmed delavcev niso dosegli pričakovanih delovnih rezultatov ter jih posledično sankcionirajo (odstranitev iz platforme itd.).2 Uporaba umetne inteligence v delovnih procesih odpira številna pravna vprašanja. Med drugim se povezuje s področjema varstva osebnih podatkov delavcev3 ter varnosti in zdravja pri delu.4 Ob tem pa, na primer, Franca izpostavlja, da za naslavljanje področja uporabe umetne inteligence v delovnih razmerjih ni ključna zgolj vloga regulatorja, temveč tudi aktivnosti socialnih partnerjev. Delavci so namreč le redko vključeni v postopke uvajanja teh sistemov, prav tako pa je vprašljivo, v kolikšni meri se zavedajo zbiranja in obdelave svojih osebnih podatkov. Zato nosijo delavski predstavniki, kot so sindikati in sveti delavcev, še večjo odgovornost, da aktivno sodelujejo in vztrajajo pri preprečevanju popolne avtomatizacije upravljanja in nadzora zaposlenih brez človeškega dejavnika.5 1 Fernández Fernández, 2022, stran 98–100. 2 Bagari, 2022, strani 44–46. Še podrobneje o uporabi umetne inteligence v okviru delovnega razmerja glej Bagari, 2024, strani 1173–1175; Franca, 2021, stran 926; Franca, 2023, strani 395–397. 3 Glej, med drugim, Polajžar, 2021. Slednjo povezavo (med umetno inteligenco ter pravnim okvirjem varstva osebnih podatkov) izpostavljata tudi Bagari, 2023, strani 224–225; in Weingerl, 2023, stran 368. 4 O tem glej tudi Bagari, 2023, strani 228–229. 5 Glej Franca, 2021, stran 927; Franca, 2023, stran 400. 34 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Namen tega poglavja monografije je naslovitev vprašanja, kakšne so pristojnosti delavskih predstavnikov v podjetju v zvezi z uporabo umetne inteligence6 v delovnih razmerjih. Pri tem se osredotočamo predvsem na relevantne pravne vidike po slovenski pravni ureditvi ter po pravu EU. V okviru slovenske pravne ureditve je obravnavana zakonska ureditev, in sicer relevantne določbe Zakona o sodelovanju delavcev pri upravljanju7 (ZSDU), Zakona o delovnih razmerjih8 (ZDR-1), Zakona o varnosti in zdravja pri delu9 (ZVZD-1) ter Zakona o kolektivnih pogodbah10 (ZKolP). V okviru ureditve po pravu EU so obravnavane relevantne določbe Uredbe (EU) 2024/1689 Evropskega parlamenta in Sveta z dne 13. junija 2024 o določitvi harmoniziranih pravil o umetni inteligenci in spremembi uredb (ES) št. 300/2008, (EU) št. 167/2013, (EU) št. 168/2013, (EU) 2018/858, (EU) 2018/1139 in (EU) 2019/2144 ter direktiv 2014/90/EU, (EU) 2016/797 in (EU) 2020/1828 (Akt o umetni inteligenci),11 Uredbe (EU) 2016/679 Evropskega parlamenta in Sveta z dne 27. aprila 2016 o varstvu posameznikov pri obdelavi osebnih podatkov in o prostem pretoku takih podatkov ter o razveljavitvi Direktive 95/46/ES12 (Splošna uredba o varstvu podatkov), Direktive 2002/14/ES Evropskega parlamenta in Sveta z dne 11. marca 2002 o določitvi splošnega okvira za obveščanje in posvetovanje z delavci v Evropski skupnosti13 (Direktiva 2002/14) ter Direktive (EU) 2024/2831 Evropskega parlamenta in Sveta z dne 23. oktobra 2024 o izboljšanju delovnih pogojev pri platformnem delu14 (Direktiva 2024/2831). Predmet obravnave sta obe vrsti delavskih predstavništev, ki v Republiki Sloveniji delujeta na ravni podjetja – sindikalni in voljeni predstavniki delavcev (sveti delavcev). V okviru raziskave so uporabljene temeljne znanstvene metode, in sicer normativno-dogmatična metoda, deduktivna metoda, deskripcija ter metoda analize in sinteze. 6 Pri tem velja izpostaviti, da so na navedenem področju prisotni različni izrazi ter da se je v delovnopravni stroki uveljavil tudi izraz »algoritemsko upravljanje« (algorithmic management). O tem glej podrobneje Bagari, 2024, strani 1170–1172. Za namene tega poglavja sta pojma sistemi umetne inteligence ter algoritemsko upravljanje uporabljena izmenično. 7 Uradni list RS, št. 42/07 – UPB in 45/08 – ZArbit. 8 Uradni list RS, št. 21/13, 78/13 – popr., 47/15 – ZZSDT, 33/16 – PZ-F, 52/16, 15/17 – odl. US, 22/19 – ZPosS, 81/19, 203/20 – ZIUPOPDVE, 119/21 – ZČmIS-A, 202/21 – odl. US, 15/22, 54/22 – ZUPŠ-1, 114/23 in 136/23 – ZIUZDS. 9 Uradni list RS, št. 43/11. 10 Uradni list RS, št. 43/06 in 45/08 – ZArbit. 11 UL L 2024/1689, 12. 7. 2024. 12 UL L 119/1, 4. 5. 2016, strani 1–88. 13 UL L 80, 23. 3. 2002, strani 29–34. 14 UL L 2024/2831, 11. 11. 2024. D. Senčur Peček, A. Polajžar: Pristojnosti delavskih predstavnikov v podjetju v zvezi z 35, uporabo sistemov umetne inteligence v delovnih razmerjih Za uvodom je v drugem razdelku obravnavan pravni okvir po pravu EU, v tretjem razdelku pa relevantni pravni okvir po slovenski pravni ureditvi. Sledi četrti razdelek (zaključek) z analizo in sintezo obravnavanega, ki je usmerjen v odgovor na zastavljeno raziskovalno vprašanje. 2 Pravni okvir v zvezi z uporabo umetne inteligence v delovnih razmerjih in pristojnostmi delavskih predstavnikov na ravni EU Na navedenem področju so v okviru prava EU sprejeti številni pravni viri. Pravna vira, ki se nanašata na uporabo umetnointeligenčnih sistemov nasploh (ne zgolj v okviru delovnega razmerja), sta Akt o umetni inteligenci ter Splošna uredba o varstvu podatkov. Na pristojnosti predstavnikov delavcev na ravni podjetja (v kontekstu uporabe tehnologij) se v najpomembnejši meri nanaša Direktiva 2002/14. Področje algoritemskega upravljanja v delovnih razmerjih (vključno s pristojnostmi delavskih predstavnikov) pa je bilo najceloviteje naslovljeno v Direktivi 2024/2831. 2.1 Akt o umetni inteligenci Iz opredelitev pojmov (glej 3. člen Akta o umetni inteligenci) izhaja, da »sistem UI pomeni sistem temelječ na napravah, ki je zasnovan za delovanje z različnimi stopnjami avtonomije in lahko po uvedbi izkaže prilagodljivost ter za eksplicitne ali implicitne cilje iz prejetih vhodnih podatkov sklepa, kako ustvariti izhodne podatke, kot so napovedi, vsebine, priporočila ali odločitve, ki lahko vplivajo na fizična ali virtualna okolja«. V zvezi z navedenimi sistemi, ki so dani na trg ali v uporabo, Akt o umetni inteligenci uvaja večplasten pristop, ki temelji na tveganju. Določeni načini uporabe umetne inteligence (ki povzročajo nesprejemljivo tveganje) so prepovedani (glej 5. člen Akta o umetni inteligenci »Prepovedane prakse umetne inteligence).15 Z vidika uporabe umetne inteligence v delovnih razmerjih pa je ključen del, ki se nanaša na uporabo sistemov umetne inteligence, ki se štejejo za visokotvegane (glej 6. člen Akta o umetni inteligenci). Glede teh Akt o umetni inteligenci uvaja zahteve in specifikacije (glej 8. do 15. člen) ter strožje obveznosti ponudnikov in uvajalcev (mednje sodijo tudi delodajalci) teh sistemov (glej 16. do 27. člen).16 Skladno s 4. točko Priloge III (Visokotvegani sistemi UI iz člena 6(2)) Akta o umetni inteligenci 15 Bagari, 2023, stran 236. 16 Bagari, 2023, stran 236. Glej tudi Weingerl, 2023, stran 369. 36 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . se za visokotvegane sisteme umetne inteligence na področju zaposlovanja, upravljanja delavcev ter dostopa do samozaposlitve štejejo (a) »sistemi UI za zaposlovanje ali izbor fizičnih oseb, zlasti za ciljno oglaševanje delovnih mest, analizo in filtriranje prijav za zaposlitev ter ocenjevanje kandidatov«; in (b) »sistemi UI za odločanje o pogojih delovnih razmerij, napredovanju ali prenehanju delovnih pogodbenih razmerij, dodeljevanju nalog na podlagi vedenja posameznika oziroma osebnostnih lastnosti ali značilnosti ter spremljanju in ocenjevanju uspešnosti in vedenja oseb v takih razmerjih«.17 Za vlogo delavskih predstavnikov pri uvajanju teh sistemov umetne inteligence v delovno okolje pa je še posebej pomemben sedmi odstavek 26. člena Akta o umetni inteligenci (»Obveznosti uvajalcev visokotveganih sistemov UI«), ki določa, »da uvajalci, ki so delodajalci, pred dajanjem v uporabo ali pred uporabo visokotveganega sistema UI na delovnem mestu obvestijo predstavnike delavcev in delavce, na katere se to nanaša, da se bo zanje uporabljal visokotvegani sistem UI. Te informacije se po potrebi zagotovijo v skladu s pravili in postopki, določenimi v pravu Unije in nacionalnem pravu ter praksi v zvezi z obveščanjem delavcev in njihovih predstavnikov«. Pri tem pa iz uvodne točke 92 Akta o umetni inteligenci v zvezi s tem izhaja še, da le-ta ne posega v obveznosti delodajalcev, da delavce ali njihove predstavnike obveščajo ali se z njimi posvetujejo na podlagi prava EU ali nacionalnega prava in prakse (vključno z Direktivo 2002/14) o odločitvah o dajanju v uporabo ali uporabi sistemov umetne inteligence. Bistveno torej je, da predpisana obveznost po uredbi ne vpliva na že obstoječe pravice delavcev in njihovih predstavnikov. Navedeno je ključno, saj je popolnoma mogoče, da bo že po obstoječem pravnem okviru zagotovljena močnejša stopnja participacije delavskih predstavnikov (ne torej zgolj obvestitev pred uporabo, temveč tudi skupno posvetovanje ipd.). 2.2 Splošna uredba o varstvu podatkov Relevanten pravni okvir v zvezi z uporabo umetne inteligence je tudi Splošna uredba o varstvu podatkov, ki predstavlja celovit sistem varstva osebnih podatkov delavcev. Uporaba umetne inteligence namreč v prvi vrsti praviloma predstavlja obdelavo večje količine osebnih podatkov delavcev. Tudi pri uporabi sistemov umetne 17 Glej tudi Weingerl, 2023, stran 369; Bagari, 2023, stran 236; in Bagari, 2022, stran 52. D. Senčur Peček, A. Polajžar: Pristojnosti delavskih predstavnikov v podjetju v zvezi z 37, uporabo sistemov umetne inteligence v delovnih razmerjih inteligence morajo delodajalci tako upoštevati vsa relevantna načela in pravila po Splošni uredbi o varstvu podatkov.18 Nadalje pa velja izpostaviti, da 88. člen Splošne uredbe o varstvu podatkov daje podlago za podrobnejšo nacionalno ureditev (tudi na ravni avtonomnih pravil delovnega prava) za obdelavo osebnih podatkov v okviru zaposlitve.19 V praksi se posledično lahko te tematike urejajo z različnimi pravnimi viri. Na ravni zakona so vidiki varstva osebnih podatkov delavcev urejeni predvsem v ZDR-1 in Zakonu o varstvu osebnih podatkov20 (ZVOP-2). 2.3 Direktiva 2002/14 (o določitvi splošnega okvirja za obveščanje in posvetovanje) V zvezi z vsebinskimi pristojnostmi delavskih predstavnikov v podjetju na področju uporabe umetne inteligence v delovnih razmerjih je na ravni EU najrelevantnejša Direktiva 2002/14, katere temeljni namen je oblikovanje splošnega okvirja, ki določa minimalne zahteve za pravico do obveščanja in posvetovanja z delavci v podjetjih ali obratih v EU.21 Načini ureditve obveščanja in posvetovanja se določijo in izvajajo v skladu z nacionalno zakonodajo in prakso v odnosih med delodajalci in delavci v posameznih državah članicah, tako da se zagotovi njihova učinkovitost.22 Nadalje so v Direktivi 2002/14 opredeljeni temeljni pojmi s področja izvajanja v direktivi urejenih kolektivnih delavskih pravic. Pojem »obveščanje« je opredeljen kot prenos podatkov predstavnikom delavcev s strani delodajalca, da se jim omogoči seznaniti se z neko zadevo in jo preučiti. »Posvetovanje« pa pomeni izmenjavo stališč in uvedbo dialoga med predstavniki delavcev in delodajalcem.23 Direktiva 2002/14 pri postavljanju minimalnih standardov glede vsebine in izvajanja pravice do obveščenosti ter posvetovanja določa, da se obveščanje opravi v času, na način in z vsebino, ki zlasti predstavnikom delavcev omogoča, da informacije ustrezno preučijo in se po potrebi na posvetovanje pripravijo.24 Posvetovanje pa se na ustrezni ravni 18 Na tej točki velja izpostaviti, da se ne bomo spuščali v pravni okvir varstva osebnih podatkov po Splošni uredbi o varstvu podatkov. Za več o pomenu te uredbe za varstvo zasebnosti delavca glej Senčur Peček in Polajžar, 2023; Polajžar, 2021, strani 277–283; ter Dvojmoč in Tancer, 2022. Podrobneje o pravnem okvirju Splošne uredbe o varstvu podatkov v kontekstu umetne inteligence glej tudi Bagari, 2023, strani 224–226. 19 Glej Polajžar, 2021, strani 277 in 286. O tem glej tudi Bagari, 2023, strani 225–226. 20 Uradni list RS, št. 163/22. O drugih relevantnih zakonih glej Senčur Peček in Polajžar, 2023, stran 471; ter Dvojmoč in Tancer, 2022, stran 293. 21 Državam članicam določbe te direktive ne preprečujejo, da bi sprejele ugodnejše določbe za delavce (Direktiva 2002/14, uvodna točka 18). 22 Drugi odstavek 1. člena Direktive 2002/14. Glej tudi Franca, 2009, stran 78. 23 Glej točki f) in g) 2. člena Direktive 2002/14. O teh dveh oblikah glej tudi Barnard, 2012, strani 660–661. 24 Tretji odstavek 4. člena Direktive 2002/14. 38 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . poslovodstva in predstavnikov delavcev (odvisno od teme razprave) opravi tako, da se zagotovijo primeren čas, način in vsebina posvetovanja ter da se predstavnikom delavcev omogoči, da se sestanejo z delodajalcem ter dobijo odgovor na vsako mnenje, ki ga oblikujejo, in razloge za tak odgovor. Nadalje je treba upoštevati, da se posvetovanje opravi na podlagi informacij, ki jih delodajalec priskrbi v okviru opredeljene obveznosti »obveščanja«, in mnenja, ki ga imajo predstavniki delavcev pravico oblikovati.25 V zvezi z minimalnimi standardi glede vsebinskih področij pravice do obveščenosti ter posvetovanja Direktiva 2002/14 določa, da pravica do obveščenosti in posvetovanja vključuje: (a) obveščanje o najnovejšem in verjetnem razvoju dejavnosti in gospodarskem položaju podjetja ali obrata; (b) obveščanje in posvetovanje o položaju, strukturi in verjetnem razvoju zaposlovanja v podjetju ali obratu in o kakršnih koli predvidenih vnaprejšnjih ukrepih, zlasti kadar je zaposlovanje ogroženo; in (c) obveščanje in posvetovanje o odločitvah, ki lahko povzročijo znatne spremembe v organizaciji dela ali v pogodbenih razmerjih.26 Kot navaja Senatori, so z navedenimi določbami med drugim zajeta vprašanja, ki so povezana s strateškim razvojem in organizacijo dela v kontekstu digitalizacije.27 Posledično je tudi ta pravni vir relevanten za področje uvajanja in uporabe sistemov umetne inteligence v okviru delovnih razmerij. 2.4 Direktiva 2024/2831 (o izboljšanju delovnih pogojev pri platformnem delu) Direktiva 2024/2831 ima vsebinsko omejen domet, saj regulira zgolj opravljanje dela prek t. i. digitalnih platform dela.28 Bistven opredelilni element te oblike dela je, da platforme v okviru organizacije delovnega procesa uporabljajo t. i. »avtomatizirane sisteme spremljanja« ter »avtomatizirane sisteme odločanja« (navedena pojma 25 Četrti odstavek 4. člena Direktive 2002/14. 26 Glej Brameshuber v Haar et al. (ur.), 2021, stran 242. 27 Senatori v Gyulavári et al. (ur.), 2022, stran 73. 28 Za opredelitev pojma »digitalna platforma dela« glej točko a) prvega odstavka 2. člena Direktive 2024/2831. Za več o platformnem delu glej, med drugim, Polajžar 2024a in Polajžar, 2024b. Glej tudi Todolí-Signes, 2017, stran 243; Ioannis, Countouris in De Stefano, 2019, stran 311. Slednji navajajo primer platforme za prevoze Uber, ki uporablja tehnologijo za povezovanje strank (naročnikov prevoza) z osebami, ki opravijo delo (platformnimi delavci). Za več o delovanju platforme Uber glej Todolí-Signes, 2017, strani 253–254. V praksi tako nastane razmerje, v katerega so udeleženi naročnik dela, oseba ki delo opravi, ter platforma, preko katere pride do povezave med njima (o tem glej Kresal v Kresal Šoltes et al. (ur.), 2020, stran 109). D. Senčur Peček, A. Polajžar: Pristojnosti delavskih predstavnikov v podjetju v zvezi z 39, uporabo sistemov umetne inteligence v delovnih razmerjih uporablja in za njen okvir definira Direktiva 2024/2831).29 Prav navedeno platformno delo ključno povezuje s siceršnjim preučevanjem uporabe umetne inteligence (algoritemskega upravljanja) v okviru delovnih razmerij.30 Rešitve v Direktivi 2024/2831 tako lahko služijo kot ključni zgled za ureditve tega področja tudi v preostalih delovnih razmerij (uporaba sistemov umetne inteligence namreč ni nikakor značilna zgolj za področje platformnega dela). Direktiva 2024/2831 vsebuje številne določbe, ki nadgrajujejo oziroma konkretizirajo siceršnje pristojnosti delavskih predstavnikov. Prvi sklop določb je v veliki meri povezan z nujnostjo zagotovitve transparentnosti platformnega dela. Slednje se z vidika kolektivnih delavskih pravic kaže v obveznosti platforme, da predstavnike platformnih delavcev obvešča o določenih tematikah (oziroma, da jim da na voljo določene informacije o platformnem delu).31 Prvi sklop teh pravic se nanaša na informacije o delovanju avtomatiziranih sistemov spremljanja in odločanja, ki vplivajo na varstvo osebnih podatkov in na delovne pogoje platformnih delavcev. Predmetno področje je urejeno v III. poglavju Direktive 2024/2831 z naslovom »Algoritmično upravljanje«. Kot izhaja iz uvodnih točk, Direktiva 2024/2831 (upoštevaje specifike platformnega dela) nadgrajuje oziroma konkretizira obstoječi sistem zagotavljanja transparentnosti (preglednosti) pri obdelavi osebnih podatkov posameznikov po Splošni uredbi o varstvu podatkov.32 Skladno s prvim odstavkom 9. člena (»Preglednost v zvezi z avtomatiziranimi sistemi spremljanja in avtomatiziranimi sistemi odločanja«) imajo platforme obveznost, da osebe, ki opravljajo platformno delo ter predstavnike platformnih delavcev, obveščajo o avtomatiziranih sistemih spremljanja ter odločanja. Iz te določbe izhaja, 29 »Avtomatizirani sistemi spremljanja« pomenijo »sisteme, ki se uporabljajo za ali ki z elektronskimi sredstvi podpirajo spremljanje, nadzor ali ocenjevanje delovne uspešnosti oseb, ki opravljajo platformno delo, ali dejavnosti, ki se izvajajo v delovnem okolju, vključno z zbiranjem osebnih podatkov«. »Avtomatizirani sistemi odločanja« pa pomenijo »sisteme, ki se uporabljajo za sprejemanje ali podpiranje odločitev z elektronskimi sredstvi, ki znatno vplivajo na osebe, ki opravljajo platformno delo, vključno z delovnimi pogoji platformnih delavcev, zlasti odločitev, ki vplivajo na njihovo zaposlovanje, njihov dostop do delovnih nalog in njihovo organizacijo, njihove zaslužke, vključno z oblikovanjem cen za posamezne naloge, njihovo varnost in zdravje, njihov delovni čas, njihov dostop do usposabljanja, njihovo napredovanje ali njegovega ekvivalenta ter njihov pogodbeni status, vključno z omejitvijo, začasno ukinitvijo ali zaprtjem njihovega računa« (točki h) in i) prvega odstavka 2. člena Direktive 2024/2831). 30 Glej Bagari, 2024, stran 1172. 31 V tem smislu je v uvodni točki 21 preambule Direktive izpostavljena pomembnost omogočitve dostopa sindikatov do ustreznih informacij, ki jih potrebujejo za sodelovanje v socialnem dialogu. 32 Glej Direktivo 2024/2831, uvodni točki 38 in 39. D. Senčur Peček, A. Polajžar: Pristojnosti delavskih predstavnikov v podjetju v zvezi z 41, uporabo sistemov umetne inteligence v delovnih razmerjih 40 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . da se te informacije nanašajo na vse vrste odločitev, ki se podpirajo ali sprejemajo z avtomatiziranimi sistemi (tudi takrat, kadar se s temi sistemi podpirajo ali sprejemajo odločitve, ki bistveno ne vplivajo na osebe, ki opravljajo platformno delo).33 V točki a) je podrobneje določeno, da se informacije v zvezi z avtomatiziranimi sistemi spremljanja nanašajo, med drugim, na: (i) dejstvo, da se ti sistemi uporabljajo ali so v postopku uvajanja; (ii) kategorije podatkov in dejavnosti, ki jih ti sistemi spremljajo, nadzirajo ali ocenjujejo, vključno z oceno s strani prejemnika storitve; (iii) cilj spremljanja in način, kako naj ga sistem doseže; in (iv) prejemnike ali kategorije prejemnikov osebnih podatkov, ki se obdelujejo s takimi sistemi, in vsako posredovanje ali prenos takih osebnih podatkov, tudi znotraj skupine podjetij. V zvezi z avtomatiziranimi sistemi odločanja pa iz točke b) izhaja, da se te informacije nanašajo na: (i) dejstvo, da se ti sistemi uporabljajo ali so v postopku uvajanja; (ii) kategorije odločitev, ki jih ti sistemi sprejemajo ali podpirajo; (iii) kategorije podatkov in glavne parametre, ki jih ti sistemi upoštevajo, in relativni pomen teh glavnih parametrov pri avtomatiziranem odločanju, vključno z načinom, kako osebni podatki ali vedenje osebe, ki opravlja platformno delo, vplivajo na odločitve; (iv) razloge za odločitve o omejitvi, začasni ukinitvi ali zaprtju računa osebe, ki opravlja platformno delo, zavrnitvi plačila za delo, ki ga je opravila, pa tudi za odločitve o njenem pogodbenem statusu ali kakršno koli odločitev, ki ima enak ali škodljiv učinek. Posebej pa sta predpisana tudi oblika in način podajanja teh informacij, saj drugi odstavek 9. člena Direktive 2024/2831 določa, da se te informacije zagotovijo v obliki pisnega dokumenta, ki je lahko v elektronski obliki. Informacije so predstavljene v pregledni, razumljivi in lahko dostopni obliki ter v jasnem in preprostem jeziku. Z vidika kolektivnih delavskih pravic pa je nadalje bistveno, da je v četrtem odstavku 9. člena Direktive izrecno izpostavljeno, da se predstavnikom delavcev te informacije zagotovijo v celoviti in podrobni obliki, in sicer pred uporabo navedenih sistemov; pred uvedbo sprememb, ki vplivajo na delovne pogoje, organizacijo dela ali spremljanje delovne uspešnosti; in kadar koli jih predstavniki delavcev zahtevajo. 33 Podobno je tudi v uvodnih točkah Direktive 2024/2831 izpostavljeno, da se ti sistemi uporabljajo za sprejemanje ali podpiranje številnih različnih odločitev, ki so povezane s položajem oseb, ki opravljajo platformno delo, med drugim, njihovim dostopom do delovnih nalog, njihovimi zaslužki, delovnim časom, napredovanji itd. Pomembno je, da se celovite in podrobne informacije o avtomatiziranih sistemih zagotovi tudi predstavnikom oseb, ki opravljajo platformno delo (uvodna točka 47). Drugi sklop relevantnih določb se nanaša na specialno predpisane kolektivne pravice predstavnikov platformnih delavcev do obveščenosti in skupnega posvetovanja na ravni podjetja (za izvajanje katerih se Direktiva 2024/2831 sklicuje na smiselno uporabo nekaterih določb sistema po Direktivi 2002/14). Skladno z drugim odstavkom 13. člena Direktive 2024/2831 (»obveščanje in posvetovanje«) države članice zagotovijo (brez poseganja v pravice do obveščenosti in skupnega posvetovanja po Direktivi 2002/14), da platforme predstavnike platformnih delavcev obveščajo in se z njimi posvetujejo (v skladu z opredelitvijo obveščanja in posvetovanja po točkah f) in g) 2. člena Direktive 2002/14) tudi o odločitvah, ki bi lahko privedle do uvedbe ali bistvenih sprememb uporabe avtomatiziranih sistemov spremljanja in odločanja. Za namene te določbe se obveščanje predstavnikov delavcev in posvetovanje z njimi izvajata pod enakimi pogoji, kot so za izvajanje pravice do obveščenosti in posvetovanja določeni v Direktivi 2002/14. V zvezi s tem je treba omeniti tudi tretji odstavek 13. člena Direktive 2024/2831, ki predvideva, da lahko predstavnikom platformnih delavcev pomaga strokovnjak po njihovi izbiri, če je to potrebno, da lahko preučijo zadevo, ki je predmet obveščanja in posvetovanja, ter oblikujejo mnenje. Kadar ima platforma več kot 250 platformnih delavcev v zadevni državi članici, stroške strokovnjaka krije platforma (če so sorazmerni). Države članice lahko določijo pogostost prošenj za strokovnjaka, pri čemer je treba zagotoviti učinkovitost pomoči. Kot je nadalje v zvezi s predmetno določbo (13. členom) pojasnjeno v uvodni točki 52 Direktive 2024/2831, je glede na tehnično zapletenost sistemov algoritmičnega upravljanja ključno, da se potrebne informacije zagotovijo pravočasno, da se lahko predstavniki platformnih delavcev s pomočjo strokovnjaka pripravijo na posvetovanje. Podobno je tudi De Stefano izpostavil (ob komentarju 9. člena predloga Direktive 2024/2831,34 ki je po vsebini bistveno podoben sprejetemu 13. členu) pomembnost kolektivnih pravic do obveščenosti in skupnega posvetovanja, saj platformnim delavcem omogočajo, da preko svojih predstavnikov kolektivno sodelujejo (ovrednotijo vse relevantne vidike, tveganja ipd.) pri predlagani vpeljavi oziroma spremembah avtomatiziranih sistemov odločanja še pred dokončno 34 Evropska komisija, Predlog Direktive Evropskega parlamenta in Sveta o izboljšanju delovnih pogojev pri platformnem delu, COM(2021) 762 final, 2021/0414 (COD), z dne 9. decembra 2021. D. Senčur Peček, A. Polajžar: Pristojnosti delavskih predstavnikov v podjetju v zvezi z 43, uporabo sistemov umetne inteligence v delovnih razmerjih 42 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . odločitvijo o spremembah s strani platforme (varstvo ex ante). 35 Kljub temu pa je treba izpostaviti, da končno odločitev še zmeraj enostransko sprejme platforma, saj gre »za obveščanje in skupno posvetovanje« (ne pa za soodločanje). Ob tem je pomembno, da Direktiva 2024/2831 (sicer v okviru obveznosti za zagotavljanje transparentnosti uporabe avtomatiziranih sistemov spremljanja in odločanja po 9. členu) konkretizira, kaj vse obsegajo relevantne informacije v zvezi z delovanjem avtomatiziranih sistemov spremljanja in odločanja. Menimo, da je zagotovitev navedenih informacij pomembna tudi v okviru obravnavanega postopka predhodnega obveščanja in skupnega posvetovanja. Določba 12. člena Direktive 2024/2831 konkretizira (brez poseganja v Direktivo Sveta 89/391/EGS z dne 12. junija 1989 o uvajanju ukrepov za spodbujanje izboljšav varnosti in zdravja delavcev pri delu36 (Direktiva 89/391)) in povezane direktive s področja varnosti in zdravja pri delu) obveznosti platforme na področju varnosti in zdravja pri delu (napram delavskim predstavnikom). Platforme imajo obveznost: oceniti tveganja avtomatiziranih sistemov spremljanja ali odločanja za njihovo varnost in zdravje, zlasti morebitna tveganja za nezgode, povezane z delom, ter psihosocialna in ergonomska tveganja; oceniti, ali so zaščitni ukrepi teh sistemov primerni za ugotovljena tveganja glede na posebne značilnosti delovnega okolja; ter uvesti ustrezne preventivne in zaščitne ukrepe. Digitalne platforme dela morajo v zvezi z navedenimi obveznostmi zagotoviti učinkovito obveščanje platformnih delavcev in/ali njihovih predstavnikov ter posvetovanje z njimi (in njihovo sodelovanje) v skladu z 10. in 11. členom Direktive 89/391.37 35 De Stefano, 2022, strani 6–7. Tudi iz druge literature izhaja, da je vloga delavskih predstavnikov pomembna pri varstvu pravice do zasebnosti in varstva osebnih podatkov na delovnem mestu, ki sta zaradi tehnoloških sprememb v organizaciji dela (vključno v okviru platformnega dela) pod vprašajem. Glej na primer Katsabian, ki poudarja vlogo sodelovanja predstavnikov delavcev v tem kontekstu. Njihova vključitev predstavlja postopkovno varovalko za zaščito pravice delavcev do zasebnosti (Katsabian, 2019, stran 249). 36 UL L 183, 29. 6. 1989, strani 1–8. 37 Podrobneje je pravni okvir pristojnosti delavskih predstavnikov na področju varnosti in zdravja pri delu obravnavan v okviru slovenske pravne ureditve. 3 Pravni okvir v zvezi z uporabo umetne inteligence in pristojnostmi delavskih predstavnikov po slovenski pravni ureditvi 3.1 Temeljna izhodišča Uvodoma velja izpostaviti ugotovitev, da v okviru slovenske pravne ureditve ni najti specialnih zakonskih pravil, ki bi izrecno naslavljala pristojnosti delavskih predstavnikov v zvezi z uporabo umetne inteligence. Je pa slednje področje nedvomno povezano s širšimi tematikami, med drugim, varnosti in zdravja pri delu, varstva pravic delavcev v delovnem razmerju ter uvajanja novih tehnologij v okviru podjetja, glede katerih imajo delavski predstavniki določene pristojnosti po veljavni zakonodaji. Posledično pristojnosti na navedenih področjih v praksi zajemajo tudi primere uporabe oziroma vpeljave sistemov umetne inteligence v okviru delovnih razmerij. Prav tako velja uvodno razjasniti, da imamo v slovenski ureditvi dvotirni sistem delavskih predstavništev na ravni podjetja. To pomeni, da imajo določene kolektivne pravice do obveščenosti in skupnega posvetovanja na ravni podjetja (lahko) hkrati ločeno (oziroma vzporedno) tako sindikalni predstavniki kot voljeni delavski predstavniki (svet delavcev oziroma delavski zaupnik).38 Sistem navedenih pravic je podrobno urejen v ZSDU.39 Ob tem pa je treba opozoriti, da so po drugih zakonih (npr. ZDR-1) glede določenih vprašanj kolektivne pravice do obveščenosti in skupnega posvetovanja na ravni podjetja priznane tudi predstavnikom sindikatov v podjetju (»sindikatu pri delodajalcu«).40 Sistem kolektivnih delavskih pravic do obveščenosti in posvetovanja na ravni podjetja se tako v našem pravnem redu izvaja dvotirno (v odvisnosti od vsebinskega področja) preko posebnih voljenih delavskih predstavništev (ustanovljenim na podlagi zakona – ZSDU) in41 preko sindikalnih predstavnikov (sindikata pri delodajalcu). V luči navedenega obravnavamo tako pristojnosti sindikalnih predstavnikov (sindikata pri delodajalcu) v okviru podjetja, 38 O tem glej Senčur Peček, 2004, strani 531–564; Gostiša, 2005; in Franca, 2009, strani 86–87. Za več o socialnem partnerstvu na ravni podjetja (razmerje med sindikatom, svetom delavcev in upravo) glej Senčur Peček, 2004. 39 Glej Vodovnik in Tičar, 2016, stran 180. 40 Med drugim glej določbe ZDR-1 glede postopka sprejema splošnih aktov delodajalca (10. člen) ter kolektivnih odpustov (98. do 103. člen ZDR-1). 41 V nekaterih zadevah se kolektivne pravice do obveščenosti in skupnega posvetovanja na ravni podjetja uresničujejo vzporedno (hkrati) tako preko sindikalnih predstavnikov in tudi voljenih delavskih predstavnikov (sveta delavcev). Glej tudi Franca, 2009, stran 103, ki navaja, da se v Sloveniji pravice in obveznosti sveta delavcev ter sindikata na ravni podjetja do neke mere prekrivajo. D. Senčur Peček, A. Polajžar: Pristojnosti delavskih predstavnikov v podjetju v zvezi z 45, uporabo sistemov umetne inteligence v delovnih razmerjih 44 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . kakor tudi voljenih delavskih predstavnikov (sveta delavcev oziroma delavskega zaupnika). 3.2 Pristojnosti voljenih delavskih predstavnikov v podjetju, ki so povezane z uporabo umetne inteligence v delovnih razmerjih V VI. delu ZSDU so urejene vsebinske pristojnosti oziroma pravice sveta delavcev, s katerimi se uresničuje pravica do sodelovanja pri upravljanju.42 V zvezi s področjem vpeljave novih tehnologij ima svet delavcev pravico do obveščenosti (pred sprejemom dokončne odločitve s strani delodajalca – glej 90. člen ZSDU) o predvidenih spremembah v organizaciji proizvodnje in spremembah tehnologije. V zvezi s tem velja še, da mora delodajalec na zahtevo sveta delavcev omogočiti vpogled v dokumentacijo, ki je nujna za obveščenost o teh zadevah.43 Za področje vpeljave umetne inteligence je relevantna tudi določba 91. člena ZSDU, po kateri mora delodajalec pred sprejemom obveščati svet delavcev in zahtevati skupno posvetovanje glede statusnih in kadrovskih vprašanj družbe ter glede vprašanj varnosti in zdravja delavcev pri delu. Potrebne informacije mora delodajalec posredovati svetu delavcev najmanj 30 dni pred sprejemom odločitve, rok za predlagano skupno posvetovanje pa mora biti najmanj 15 dni pred sprejemom odločitev. Velja omeniti, da je lahko področje obveščanja in posvetovanja v okviru podjetja dodatno konkretizirano v okviru participacijskega dogovora (5. člen ZSDU). S področjem umetne inteligence so potencialno povezane tudi nekatere olajšave in ugodnosti, do katerih so skladno z ZSDU lahko upravičeni člani sveta delavcev. Iz ZSDU tako izhaja, da imajo člani sveta delavcev pravico do treh plačanih ur na mesec za posvetovanje z delavci in pravico do 40 plačanih ur na leto za izobraževanje, ki je potrebno za učinkovito delo sveta delavcev.44 Delodajalec ima 42 Navedene pravice se razlikujejo glede na intenzivnost sodelovanja delavcev pri upravljanju (glej Franca, 2009, strani 49, 86–88). Denimo, skupno posvetovanje predstavlja višjo stopnjo delavske participacije napram pravici do obveščenosti (prav tam, stran 124). Ob kolektivnem uresničevanju participacijskih pravic pa so v tem delu zakona urejene tudi individualne pravice (vsakega delavca kot posameznika) v zvezi s sodelovanjem pri upravljanju. Kljub temu da individualne razsežnosti sodelovanja pri upravljanju ne obravnavamo, velja omeniti, da mora delodajalec tudi delavcu kot posamezniku omogočiti sodelovanje pri upravljanju (88. člen ZSDU). 43 Glej sedmo in osmo alinejo 89. člena ZSDU. 44 Določba 63. člena ZSDU. še obveznost, da krije nujne stroške za delo sveta delavcev, najmanj pa stroške potrebnih prostorov za seje, sprejem strank in delo poklicnih članov sveta delavcev, stroške materialnih sredstev, ki jih svet delavcev uporablja, in stroške administrativnega osebja za delo sveta delavcev.45, 46 Nadalje je pomembno področje varnosti in zdravja pri delu. Pristojnosti sveta delavcev na tem področju so podrobneje konkretizirane v Zakonu o varnosti in zdravju pri delu47 (ZVZD-1). Bagari izpostavlja pomen pravnega okvirja po ZVZD- 1 za vpeljavo umetne inteligence v delovna razmerja.48 Bagari tako poudarja, da bi bilo treba uporabo umetne inteligence vključiti v oceno tveganja (17. člen ZVZD-1). Prav tako je pomembna dolžnost delodajalca, da izjavo o varnosti z oceno tveganja na običajen način objavi ter jo vsakokrat, ko se spremeni ali dopolni, posreduje delavcem v delu, ki se nanje nanaša (18. člen ZVZD-1). Nadalje mora delodajalec delavce seznaniti o vrstah nevarnosti v delovnem okolju in na delovnem mestu ter o varnostnih ukrepih, potrebnih za preprečevanje nevarnosti in zmanjšanje škodljivih posledic (37. člen ZVZD-1). Kot navaja Bagari, so lahko nevarnosti v delovnem okolju in uporabljeni varnostni ukrepi povezani tudi z uporabo umetne inteligence v delovnih razmerjih.49 Z vidika pristojnosti delavskih predstavnikov iz 13. člena ZVZD-1 izhaja, da se morajo delodajalci in delavci oziroma njihovi predstavniki o vprašanjih varnosti in zdravja pri delu medsebojno obveščati, skupno posvetovati ter soodločati v skladu s tem zakonom in predpisi o sodelovanju delavcev pri upravljanju.50 Podrobneje je sodelovanje delavskih predstavnikov v okviru ZVZD-1 konkretizirano v 45. do 48. členu ZVZD-1. Skladno s 45. členom ZVZD-1 mora delodajalec delavcem omogočiti, da sodelujejo pri obravnavi vseh vprašanj, ki zadevajo zagotavljanje varnega in zdravega dela v skladu z ZVZD-1 in drugimi predpisi. To pravico lahko delavci uresničujejo neposredno, s svojimi predstavniki v svetu delavcev ali z delavskim zaupnikom za varnost in zdravje pri delu.51 Tretji odstavek 45. člena 45 Določba 65. člena ZSDU. 46 Franca, 2009, strani 115–118. 47 Uradni list RS, št. 43/11. 48 Bagari, 2023, stran 229. 49 Prav tam. 50 O tem glej tudi Bagari, 2023, strani 228–229. 51 Kot izhaja iz 5. točke 3. člena ZVZD-1, je po tem zakonu delavski zaupnik za varnost in zdravje pri delu predstavnik delavcev, ki ima položaj in vlogo sveta delavcev. 46 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . ZVZD-1 pa določa, da se za izvolitev delavskega zaupnika za varnost in zdravje pri delu uporabljajo predpisi, ki urejajo sodelovanje delavcev pri upravljanju. ZVZD-1 v prvem odstavku 46. člena predpisuje dolžnost posvetovanja, saj se delodajalec mora z delavci ali njihovimi predstavniki posvetovati o oceni tveganja, pa tudi o vsakem ukrepu, ki lahko vpliva na varnost in zdravje pri delu, o izbiri strokovnega delavca, izvajalca medicine dela, delavcev za prvo pomoč, in delavcev oziroma pooblaščenih oseb po posebnih predpisih za varstvo pred požarom in evakuacijo, ter o obveščanju delavcev in organizaciji usposabljanja. Prav tako drugi odstavek 46. člena ZVZD-1 določa, da mora delodajalec predstavnikom delavcev in sindikatom, ki so organizirani pri njem, posredovati na običajen način izjavo o varnosti z oceno tveganja in dokumentacijo o nezgodah pri delu, ki jo delodajalec hrani v skladu s predpisi. ZVZD-1 v 47. členu naslavlja položaj delavskega zaupnika za varnost in zdravje pri delu, ki se mu mora omogočiti način dela ter zagotoviti pravice, ki veljajo za svet delavcev. Omeniti je treba tudi prvi odstavek 48. člena ZVZD-1, na podlagi katerega ima svet delavcev ali delavski zaupnik za varnost in zdravje pri delu pravico, da lahko od delodajalca zahteva sprejetje ustreznih ukrepov ter pripravi predloge za odpravo in zmanjšanje tveganj za varnost in zdravje pri delu.52 Peti odstavek 48. člena ZVZD- 1 pa določa še, da mora delodajalec za izvajanje nalog članov sveta delavcev oziroma delavskega zaupnika za varnost in zdravje pri delu zagotavljati ustrezne oblike usposabljanja. 3.3 Pristojnosti sindikalnih predstavnikov v podjetju, ki so povezane z uporabo umetne inteligence v delovnih razmerjih V zvezi z delovanjem sindikatov velja izpostaviti, da so na eni strani sindikati edini upravičeni (kot stranka na strani delavcev) skleniti kolektivno pogodbo, v kateri se urejajo pravice in obveznosti delavcev. Na drugi strani pa lahko ima delodajalec skladno z zakonodajo do (določenega) sindikata tudi določene obveznosti (npr. 52 Prav tako iz drugega, tretjega in četrtega odstavka 48. člena ZVZD-1 izhaja, da lahko delavci ali njihovi predstavniki za varnost in zdravje pri delu zahtevajo nadzor pristojne inšpekcije, kadar menijo, da delodajalec ni zagotovil ustreznih varnostnih ukrepov. Predstavnik sveta delavcev ali delavski zaupnik za varnost in zdravje pri delu ima pravico prisostvovati inšpekcijskemu nadzoru, kadar ta opravlja nadzor nad zagotavljanjem varnosti in zdravja pri delu ter izraziti svoja opažanja. Delodajalec mora seznaniti svet delavcev ali delavskega zaupnika za varnost in zdravje pri delu ter sindikate pri delodajalcu z ugotovitvami, predlogi ali ukrepi nadzornih organov D. Senčur Peček, A. Polajžar: Pristojnosti delavskih predstavnikov v podjetju v zvezi z 47, uporabo sistemov umetne inteligence v delovnih razmerjih obveznost obveščanja, zagotovitve relevantnih informacij/podatkov ipd.). V tem poglavju sta obravnavani obe omenjeni vlogi sindikata. 3.3.1 Vloga »sindikata pri delodajalcu« v povezavi z uporabo umetne inteligence v delovnih razmerjih ZDR-1 ne ureja uporabe umetne inteligence z izrecnimi pravili. Kljub temu je določene pristojnosti sindikata moč izpeljati iz obstoječih (splošnih) pravil. Pomembne so pristojnosti, ki so podeljene »sindikatu pri delodajalcu« (po ZDR-1). Kot navaja Kresal Šoltes, ima sindikat pri delodajalcu posebno vlogo pri kolektivnem urejanju pravic in obveznosti vseh delavcev pri delodajalcu.53 Skladno s sedmim odstavkom 10. člena ZDR-1 se za »sindikat pri delodajalcu« v postopkih po tem zakonu (ZDR-1) šteje reprezentativni sindikat,54 ki imenuje ali izvoli sindikalnega zaupnika po 205. členu ZDR-1 (pogoj je, da ima sindikat pri tem delodajalcu zaposlene člane). Posledično se za »sindikat pri delodajalcu« lahko šteje le tisti sindikat, ki ima status reprezentativnosti.55 Še posebej pomembne so pristojnosti sindikata pri delodajalcu pri sprejemanju splošnih aktov po 10. členu ZDR-1. Gre za akte, ki jih delodajalec sprejme z enostransko izjavo volje.56 V okviru 10. člena ZDR-1 sta urejeni dve vrsti splošnih aktov delodajalca. Prvi odstavek 10. člena ZDR-1 predvideva sistemsko podlago za sprejemanje t. i. splošnih aktov delodajalca organizacijske narave. Z njimi delodajalec ureja organizacijo dela (npr. organizacijo in sistemizacijo dela, podrobnejšo ureditev delovnega časa ipd.), ali določa oziroma konkretizira obveznosti, ki jih morajo delavci poznati zaradi izpolnjevanja pogodbenih in drugih obveznosti (npr. izjava o 53 Kljub temu pa (kot izpostavi Kresal Šoltes) posebna vloga sindikata pri delodajalcu (oziroma reprezentativnega sindikata) ne pomeni, da je s tem odvzeta temeljna pravica kateregakoli sindikata, da kot predstavnik svojih članov zastopa njihove ekonomske in socialne interese. Slednje se nanaša na postopke odločanja o pravicah in obveznostih posameznega delavca (npr. disciplinski postopek, postopek odpovedi), na sklepanje kolektivnih pogodb in na organiziranje stavke (Kresal Šoltes v: Belopavlovič et al. (ur.), 2019a, strani 1099–1100). 54 Status reprezentativnosti se pridobi skladno z Zakonom o reprezentativnosti sindikatov (Uradni list RS, št. 13/93). 55 Glej Kresal Šoltes v Belopavlovič et al. (ur.), 2019c, stran 1110. Na tem mestu velja upoštevati še pojasnilo Kresal Šoltes, da za pravico imenovanja sindikalnega zaupnika (ter posledično pridobitev položaja »sindikata pri delodajalcu«) sindikatu ni treba biti nujno organiziran prav na ravni podjetja. Posledično lahko sindikalno organizirani delavci uresničujejo svoje sindikalne pravice na ravni podjetja, tudi »če ne ustanovijo sindikata na ravni podjetja, temveč se včlanijo v sindikat dejavnosti ali poklica, ustanovljen za območje države«. V slovenski praksi je uveljavljeno načelo sindikalnega pluralizma, kar pomeni, da je delovanje več različnih sindikatov na ravni podjetja lahko običajna praksa. »Delodajalec ne sme odreči imenovanja ali izvolitve sindikalnih zaupnikov nobenemu od sindikatov, v katere so včlanjeni pri njem zaposleni delavci« (prav tam, strani 1109–1110). 56 Vodovnik, 1999, strani 1015, 1019–1024; Polajžar, 2020, strani 40–41. D. Senčur Peček, A. Polajžar: Pristojnosti delavskih predstavnikov v podjetju v zvezi z 49, uporabo sistemov umetne inteligence v delovnih razmerjih 48 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . varnosti z oceno tveganja, pravilnik o varovanju poslovne skrivnosti, varstvu osebnih podatkov, pravila reda in discipline, uporabe službenih vozil, uporabe sredstev IKT na delovnem mestu ipd.). Ti akti imajo naravo normativnega pravnega akta, saj učinkujejo neposredno in prisilnopravno napram delavcu.57 Kljub temu da gre za enostransko izjavo volje, je sprejemanje te vrste splošnega akta podvrženo določenim varovalkam. Delodajalec mora akt še pred sprejemom poslati v mnenje sindikatom pri delodajalcu. Slednji morajo podati mnenje v roku 8 dni. V primeru, da je mnenje podano, ga mora delodajalec obravnavati ter se do njega opredeliti (oboje še pred dokončnim sprejemom akta).58 Navedeno je še posebej pomembno, saj se v praksi pogosto sprejema pravilnike in druge podobne interne akte (splošne akte delodajalca), s katerimi se uvajajo podrobnejša pravila v zvezi z nadzorom izpolnjevanja delovnih obveznosti, konkretnejših navodil za izpolnjevanje obveznosti ipd. Popolnoma verjetno je, da bo do sprejema tovrstnih aktov prišlo tudi v zvezi z uvedbo oziroma uporabo umetne inteligence v okviru delovnih razmerij.59 Nadalje pa je v praksi za področje vloge sindikata v okviru podjetja v zvezi z vprašanji uporabe umetne inteligence lahko zelo pomemben 203. člen ZDR-1. Iz tega izhaja, da mora delodajalec sindikatu zagotoviti pogoje za hitro in učinkovito opravljanje sindikalnih dejavnosti v skladu s predpisi, s katerimi se varujejo pravice in interesi delavcev. Prav tako je delodajalec dolžan sindikatu omogočiti dostop do podatkov, ki so potrebni pri opravljanju sindikalne dejavnosti. Kot navaja Kresal Šoltes, ta določba »na splošno določa ugodnosti, ki jih mora delodajalec zagotavljati 57 Kresal Šoltes in Senčur Peček, 2019, strani 92 in 94. Glej tudi Vodovnik, 1999, strani 1023–1024. 58 Prvi in drugi odstavek 10. člena ZDR-1. Glej Polajžar, 2020, stran 41. 59 Denimo, pri urejanju meja dopustnega nadzora in uporabe službenih sredstev IKT na delovnem mestu smernice Informacijskega pooblaščenca poudarjajo pomembnost internih aktov (splošnih aktov delodajalca). V zvezi z nadzorom nad delovnimi sredstvi tako velja, da je vnaprejšnja ureditev v internih aktih ključna za zagotovitev transparentnosti glede načina, trajanja izvajanja nadzora ipd. To je še posebej pomembno za začrtovanja meja utemeljenega pričakovanja zasebnosti delavca pri uporabi sredstev IKT. Skladno s priporočili naj bo vsebina tega akta čim natančnejša in naj predvideva različne scenarije, ki se lahko zgodijo na delovnem mestu. Kljub temu pa sprejetje internega (splošnega organizacijskega) akta delodajalca samo po sebi ne pomeni, da je nadzor dopusten. Nadzor mora biti skladen tudi z zakonom in z Ustavo RS (glej Informacijski pooblaščenec, 2019, stran 21; in Polajžar, 2021). Ob tem pa (navkljub pomembnosti sprejema relevantnih splošnih aktov delodajalca) velja opozoriti, da splošni akti delodajalca (predvsem če urejajo oblike in pogoje za izvajanje nadzora nad delavci) predstavljajo problematični enostranski poseg v pravico do zasebnosti delavcev. Prav tako pri tovrstnih aktih ne gre več samo za konkretiziranje delovnih obveznosti, ampak tudi za predpisovanje postopkov za poseg v zasebnost delavcev. Primerneje bi bilo, da bi se (posegi v) pravice delavcev urejale s kolektivnimi pogodbami (Polajžar 2021; za več glej Polajžar, 2020, strani 41–42). Navedeni pomisleki so smiselno enako relevantni tudi, kadar gre za kontekst uvedbe/uporabe umetne inteligence. sindikatu, da ta lahko hitro in učinkovito izvaja svoje pristojnosti«.60 Kresal Šoltes nadalje navaja, da so te ugodnosti, ki jih v svoje breme delodajalec zagotavlja sindikatu, denimo: zagotavljanje prostora in opreme, tehnično in administrativno delo, strokovna pomoč, obračunavanje sindikalne članarine, obveščanje o gradivih za seje organov delodajalca, dostop zunanjih sindikalnih predstavnikov k delodajalcu, svoboda sindikalnega obveščanja in širjenja sindikalnega tiska, določeno število plačanih ur za sindikalno delo, možnost profesionalnega opravljanja sindikalne dejavnosti, število sindikalnih zaupnikov s posebnimi ugodnostmi in posebnim varstvom pred odpovedjo, način sporočanja podatkov itd. Pomembno pa je, da so te obveznosti konkretneje urejene v veljavnih kolektivnih pogodbah in v pogodbah za ureditev materialnih pogojev za delo sindikata, ki se sklepajo med sindikati in delodajalcem na ravni podjetja.61 Drugi del 203. člena ZDR-1 pa se nanaša na dolžnost delodajalca, da sindikatu omogoči dostop do podatkov, ki so potrebni pri opravljanju sindikalne dejavnosti. Gre za pomembno pravico sindikata na področju dostopa do informacij/podatkov. Kresal Šoltes navaja, da je upravičenje sindikata do dostopa do podatkov po tem členu treba razlagati široko – v smislu vseh podatkov, ki se nanašajo na kolektivne ali individualne pravice delavcev. Prav tako se nobena določba ZDR-1 ne sme razlagati na način, da preprečuje ali omejuje to pravico, razen če je ta pravica lahko omejena zaradi varstva poslovne skrivnosti ali osebnih podatkov delavcev. Pravica do dostopa do podatkov vključuje podatke o vseh vprašanjih, ki jih sindikat pri delodajalcu potrebuje za primere sodelovanja pri odločanju o kolektivnih pravicah delavcev. Gre še zlasti za primere, v katerih že ZDR-1 predvideva sodelovanje sindikata pri delodajalcu (npr. glede prenosa podjetja itd.). Ni pa ta pravica omejena zgolj (izključno) na te primere, saj so relevantni tudi primeri, ko sindikat sodeluje v postopkih odločanja o individualnih pravicah in obveznostih delavcev iz delovnega razmerja. Prav tako sindikat potrebuje določene podatke v luči nadzora glede zagotavljanja pravic delavcem po sklenjenih kolektivnih pogodbah in drugih sporazumih, ki jih je sklenil z delodajalcem. Kresal Šoltes poudarja še, da se delodajalec obveznosti posredovanja podatkov sindikatu (po 203. členu ZDR-1) ne more izogniti zgolj s sklicevanjem na varstvo osebnih podatkov delavcev, ampak mora 60 Kresal Šoltes v Belopavlovič et al. (ur.), 2019b, stran 1105. 61 Prav tam, stran 1105. 50 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . zahtevane podatke posredovati sindikatu na način, da iz njih ne bodo razvidni varovani osebni podatki delavcev.62 Kot je bilo navedeno že v predhodnem poglavju, pa imajo tudi sindikalni predstavniki zakonske pristojnosti na področju varnosti in zdravja pri delu. Kot izhaja iz drugega odstavka 46. člena ZVZD-1, mora delodajalec predstavnikom delavcev in sindikatom, ki so organizirani pri njem, posredovati na običajen način izjavo o varnosti z oceno tveganja in dokumentacijo o nezgodah pri delu, ki jo delodajalec hrani v skladu s predpisi. Prav tako mora skladno s četrtim odstavkom 48. člena delodajalec »sindikate pri delodajalcu« seznaniti z ugotovitvami, predlogi ali ukrepi nadzornih organov. 3.3.2 Kolektivne pogodbe in vprašanja uporabe umetne inteligence v delovnih razmerjih Možnost sklepanja kolektivnih pogodb (na ravni podjetja ali širše) je izjemno pomemben instrument za naslovitev problematike umetne inteligence. Vendar je v zvezi s pravico do kolektivnega dogovarjanja treba opozoriti, da sta ključnega pomena načeli svobodnega in prostovoljnega kolektivnega dogovarjanja (oziroma načelo avtonomije kolektivnega dogovarjanja). Stranke kolektivne pogodbe so namreč proste pri odločanju, glede katerih vsebin se bodo kolektivno pogajale (če sploh) ter (v primeru doseženega soglasja) sklenile kolektivno pogodbo.63 Tako bi bilo moč tudi vprašanja v zvezi z vpeljavo/uporabo umetne inteligence v delovnih razmerjih (varstvo zasebnosti, osebnih podatkov, varnost in zdravje pri delu) urejati v okviru kolektivnih pogodb, za kar v luči načela vsebinske avtonomije kolektivnega dogovarjanja64 ne bi bilo ovir. Seveda pa se morajo v vsakem primeru tako predstavniki delavcev kot delodajalci prostovoljno odločiti, da to vprašanje uredijo v okviru kolektivne pogodbe.65 62 Prav tam, stran 1106. 63 Kresal Šoltes, 2011, strani 26 in 32; Senčur Peček v Liukkunen (ur.), 2019, strani 502 in 515. 64 Kot tudi izhaja iz drugega odstavka 3. člena ZKolP, lahko kolektivna pogodba v normativnem delu vsebuje določbe, s katerimi se urejajo pravice in obveznosti delavcev in delodajalcev med trajanjem delovnega razmerja, v zvezi s sklenitvijo in prenehanjem pogodbe o zaposlitvi; glede plačila za delo ter drugih osebnih prejemkov in povračil v zvezi z delom; varnosti in zdravja pri delu; ali drugih pravic in obveznosti, ki izhajajo iz razmerij med delodajalci in delavci. V okviru normativnega dela kolektivne pogodbe se lahko uredijo tudi pogoji za delovanje sindikata pri delodajalcu. 65 Glej Polajžar, 2021, stran 288. D. Senčur Peček, A. Polajžar: Pristojnosti delavskih predstavnikov v podjetju v zvezi z 51, uporabo sistemov umetne inteligence v delovnih razmerjih Ni pa vsebinska avtonomija kolektivnega dogovarjanja neomejena, saj morajo določila kolektivne pogodbe spoštovati ustavne pravice in svoboščine66 ter kogentna zakonska pravila (oziroma minimalne delovnopravne standarde).67 Kot izhaja tudi iz 4. člena ZKolP, lahko kolektivna pogodba vsebuje le določbe, ki so za delavca ugodnejše od določb vsebovanih v zakonih (načelo ugodnosti oziroma in favorem) – razen v primeru, ko ZDR-1 določa drugače.68 4 Zaključek Na podlagi obravnavanih relevantnih delov ureditve po pravu EU ter slovenske pravne ureditve avtorja zaključujeta, da imajo delavski predstavniki v podjetju (sindikalni in voljeni) pomembne pristojnosti v zvezi z uporabo sistemov umetne inteligence v delovnih razmerjih. Pri tem je sicer res, da besedilo zakonskih pristojnosti delavskih predstavnikov pojma »umetne inteligence« (algoritemskega upravljanja ipd.) ne omenja izrecno, kljub temu pa je moč tudi v primeru vpeljave/uporabe umetne inteligence na področju delovnih razmerij uporabiti določena splošna (že obstoječa) pravila. Z vidika voljenih delavskih predstavnikov je še posebej relevanten pravni okvir po ZSDU in ZVZD-1 (s katerimi Republika Slovenija implementira Direktivi 2002/14 in 89/391). Določene obveznosti do predhodnega obveščanja pa izvirajo tudi iz Akta o umetni inteligenci, ki delodajalcem (kot uvajalcem sistemov umetne inteligence) nalaga določene obveznosti. Skladno z ZSDU mora delodajalec še pred sprejemom dokončne odločitve obveščati svet delavcev o predvidenih spremembah v organizaciji proizvodnje in spremembah tehnologije. V zvezi s tem velja še, da mora delodajalec na zahtevo sveta delavcev omogočiti vpogled v dokumentacijo, ki je nujna za obveščenost o teh zadevah. Podobno ZSDU in ZVZD-1 predvidevata tudi predhodno skupno posvetovanje glede vidikov varnosti in zdravja pri delu. 66 Za področje delovnih razmerij so, med drugim, relevantne tudi pravice do zasebnosti, varstva osebnih podatkov, osebnega dostojanstva in varnosti, svobode dela, svobode izražanja, kolektivne delavske pravice (stavka, sindikalna svoboda, sodelovanje pri upravljanju) itd. (Kresal Šoltes, 2011, stran 171). 67 Prav tam, strani 170–171. 68 Načelo in favorem izhaja tudi iz drugega odstavka 9. člena ZDR-1. Ob tem pa tretji odstavek 9. člena ZDR-1 ureja omenjeno izjemo od tega pravila, saj se v primerih iz 33., 54., 59., 94., 120., 132., 144., 158., 172. in 222. ZDR-1 s kolektivno pogodbo določi tudi drugače (manj ugodno). 52 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Navedene pristojnosti (oziroma obveznosti delodajalca) bo treba v kontekstu vpeljave/uporabe umetne inteligence ustrezno razlagati. Ključno bo zagotoviti, da zaradi prezapletenosti oziroma nepoznavanja uporabljene tehnologije ne pride do izvotlitve participacijskih pravic delavcev. Še posebej pomembno bo, da bo prišlo do celovite obveščenosti, pri kateri bodo delavski predstavniki prejeli vse potrebne podatke glede sistema umetne inteligence. Bistveno bo tudi, da se bo vidik uporabe sistemov umetne inteligence dosledno naslovil pri pripravi ocene tveganja (ter drugih ukrepov na področju varnosti in zdravja pri delu). Relevantno bo tudi izobraževanje delavskih predstavnikov glede tveganj in izzivov uporabe umetne inteligence v delovnih procesih. Podobno imajo tudi sindikalni predstavniki v podjetju številne relevantne pristojnosti že po obstoječem pravnem okviru po ZDR-1 in ZVZD-1. Tako je še posebej pomembno, da se bo določba 203. člena ZDR-1 v praksi učinkovito uresničevala tudi v spremenjenih razmerah (t. i. dobi umetne inteligence). Delodajalec namreč sindikatu mora zagotoviti pogoje za hitro in učinkovito opravljanje sindikalnih dejavnosti ter mu omogočiti dostop do podatkov, ki so potrebni pri opravljanju sindikalne dejavnosti. Le na ta način bo lahko sindikat tudi v spremenjenih tehnoloških razmerah opravljal svoje osnovno poslanstvo, tj. varstvo pravic delavcev v okviru podjetja. Vloga sindikata pa bo zelo pomembna tudi v primeru sprejema splošnih aktov delodajalca (po 10. členu ZDR-1), ki se bodo nanašali na področje umetne inteligence. Vse že omenjeno je lahko ključen predpogoj, da med sindikatom in delodajalcem sploh lahko pride do smiselnih kolektivnih pogajanj ter sklenitve kolektivne pogodbe, kjer bi se naslovila vprašanja v zvezi z uporabo umetne inteligence. V luči vsebinske avtonomije kolektivnega dogovarjanja za navedeno ni ovir, ključna je zgolj volja obeh pogajalskih strani za naslovitev in ureditev teh tematik. Ob navedenem poudarku ustreznega izvajanja in razlage že obstoječega pravnega okvirja pa velja izpostaviti, da je na mestu tudi razmislek o dodatni normativni konkretizaciji nekaterih upravičenj delavskih predstavnikov. De lege ferenda bi se veljalo zgledovati predvsem po nekaterih rešitvah iz Direktive 2024/2831.69 Te so usmerjene prav v zagotovitev, da zaradi prezapletenosti tehnologije ne pride do 69 Določbe Direktive 2024/2831 se uporabljajo zgolj na izjemno ozkem področju opravljanja dela prek »digitalnih platform dela«. Kljub temu pa ne gre spregledati, da se s podobnimi težavami oziroma ovirami kot platformni delavci, srečujejo tudi delavci v drugih delovnih okoljih. Navedena trditev se bo s časom zgolj še bolj utrdila. D. Senčur Peček, A. Polajžar: Pristojnosti delavskih predstavnikov v podjetju v zvezi z 53, uporabo sistemov umetne inteligence v delovnih razmerjih izvotlitve participacijskih pravic delavcev (do obveščenosti in skupnega posvetovanja). Menimo, da je še posebej pomembna predvidena pravica do strokovnjaka, saj bodo imeli delavci dejansko vsebinsko možnost sodelovanja pri sprejemu odločitev, ki se nanašajo na spremembe avtomatiziranih sistemov, zgolj če bodo imeli za to ustrezno strokovno podlago. Podobno je de lege ferenda (po zgledu Direktive 2024/2831) potencialno relevanten podrobnejši opis načina in vsebine informacij, ki jih morajo prejeti delavski predstavniki. Ob tem pa bi bila na mestu še zahteva po skupnem posvetovanju z delavskimi predstavniki pred uvedbo sistemov umetne inteligence (ne pa zgolj predhodna obveščenost). Povsem verjetno je, da bi navedene pravne rešitve v prihodnje bilo mogoče uvesti s specialnim zakonom, ki bi celovito urejal področje umetne inteligence v luči sprejetega Akta o umetni inteligenci na ravni EU. V tem zakonu bi torej lahko naslovili tudi specialne delovnopravne vidike, s čimer bi dopolnili obstoječi pravni okvir po krovnih zakonih s področja delovnega prava. Druga (ali sočasna) pot pa je tudi prenova zakonodaje s področja kolektivnega delovnega prava, na nujnost katere že dalj časa opozarja pravna stroka.70 Literatura Bagari, S. (2022) Uporaba algoritmov na področju delovnih razmerij in socialne varnosti, Delavci in Delodajalci, 22(1), strani 41–55. Bagari, S. (2023) Tveganja pri uvajanju umetne inteligence v delovna razmerja in možne pravne rešitve, Delavci in delodajalci, 23(2-3), strani 221-242. Bagari, S. (2024) Vpliv umetne inteligence na delovna razmerja, Podjetje in delo, 50(6-7), strani 1168- 1181. Barnard, C. (2012) EU employment law, Fourth Edition, Oxford: Oxford University Press. Brameshuber, E. (2021) Information and consultation rights, v: Haar B. in dr. (ur.), EU Collective Labour Law (Northampton: Edward Elgar Publishing), strani 239–254. De Stefano, V. (2022) The EU Commission’s proposal for a Directive on Platform Work: an overview, Italian Labour Law e-Journal, 15(1), strani 1–11, dostopno na: https://illej.unibo.it/article/view/15233/14456 (obiskano: 16. 2. 2025). Dvojmoč, M., Tancer Verboten M. (2022) Cyber (in)security of personal data and information in times of digitization, Medicine, law & society, 15(2), strani 287–303. Fernández Fernández, R. (2022) Big Data as a Tool to Enhance Recruitment Processes, E-Journal of International and Comparative LABOUR STUDIES, 11(1), strani 93–107, dostopno na: https://ejcls.adapt.it/index.php/ejcls_adapt/article/view/1168 (obiskano: 16. 2. 2025). Franca, V. (2009) Sodelovanje zaposlenih pri poslovnem odločanju: pravni in kadrovski vidiki s primeri iz sodne in podjetniške prakse (Ljubljana: Planet GV). 70 Glej Franca, 2017. Za več o pomenu dodatne krepitve sodelovanja delavcev pri upravljanju ter nujnosti modernizacije ZSDU nasploh glej, med drugim, Zirnstein, 2024, strani 17–19. 54 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Franca, V. (2023) Ravnotežje moči v dobi umetne inteligence: bodo kolektivne dogovore sklepali algoritmi?, Delavci in Delodajalci, 23(4), strani 393–409. Franca, V. (2021) Vpliv digitalizacije na delovna razmerja: nujnost usposabljanja in obvladovanja umetne inteligence, Podjetje in delo, 46(6-7), strani 919–928. Franca, V. (2017) Negotova prihodnost kolektivnih delovnih razmerij, Podjetje in delo, 43(6-7), strani 1213–1222. Gostiša, M. (2005) Perspektive razvoja sistema industrijske demokracije (Kranj: ŠCID – Študijski center za industrijsko demokracijo). Informacijski pooblaščenec (2019) Varstvo osebnih podatkov v delovnih razmerjih: Smernice Informacijskega pooblaščenca, dostopno na: https://www.ip-rs.si/publikacije/prirocniki-in-smernice/varstvo-osebnih-podatkov-v-delovnih-razmerjih/ (obiskano: 16. 2. 2025). Ioannis, L., Countouris N., De Stefano V. (2019) Re-Thinking the Competition Law/Labour Law Interaction: Promoting a Fairer Labour Market, European Labour Law Journal, 10(3), strani 291–333. Katsabian, T. (2019) Employees’ Privacy in the Internet Age: Towards a New Procedural Approach, Berkeley Journal of Employment and Labor Law, 40(2), strani 203–255. Kresal, B. (2020), Delo prek spletnih platform, v: Kresal Šoltes, K., et al. (ur.), Prekarno Delo: Multidisciplinarna Analiza (Ljubljana: Pravna fakulteta; Ekonomska fakulteta), strani 105– 127. Kresal Šoltes, K., Senčur Peček, D. (2019) Splošni akt delodajalca (10. člen), v: Belopavlovič, N. et al. (ur.), Zakon o delovnih razmerjih (ZDR-1): s komentarjem 2., posodobljena in dopolnjena izdaja (Ljubljana: Lexpera GV založba), strani 91–98. Kresal Šoltes, K. (2019a) Delovanje in varstvo sindikalnih zaupnikov, v: Belopavlovič N. et al. (ur.), Zakon o delovnih razmerjih (ZDR-1): s komentarjem, 2., posodobljena in dopolnjena izdaja (Ljubljana: Lexpera GV založba), strani 1096–1104. Kresal Šoltes, K. (2019b) Obveznosti delodajalca do sindikata (203. člen), v: Belopavlovič N. et al. (ur.), Zakon o delovnih razmerjih (ZDR-1): s komentarjem, 2., posodobljena in dopolnjena izdaja (Ljubljana: Lexpera GV založba), strani 1104–1107. Kresal Šoltes, K. (2019c) Sindikalni zaupnik (205. člen), v: Belopavlovič N. et al. (ur.), Zakon o delovnih razmerjih (ZDR-1): s komentarjem, 2., posodobljena in dopolnjena izdaja (Ljubljana: Lexpera GV založba), strani 1108–1112. Kresal Šoltes, K. (2011) Vsebina kolektivne pogodbe: pravni vidiki s prikazom sodne prakse in primerjalnopravnih ureditev (Ljubljana: GV Založba). Polajžar A. (2020) Meje dopustnega nadzora delavca z in pri uporabi sredstev informacijsko komunikacijske tehnologije na delovnem mestu: izbrani vidiki, magistrsko delo, Univerza v Mariboru Pravna fakulteta. Polajžar, A. (2021) Varstvo zasebnosti delavca v dobi digitalizacije: GDPR in vloga delavskih predstavnikov, Delavci in delodajalci, 21(2-3), strani 273–293. Polajžar, A. (2024a) Kolektivne delavske pravice platformnih delavcev po Direktivi o izboljšanju delovnih pogojev pri platformnem delu: (izbrani vidiki), Delavci in delodajalci, 24(4), strani 403-418. Polajžar, A. (2024b) Kolektivne delavske pravice platformnih delavcev: doktorska disertacija, Univerza v Mariboru Pravna fakulteta. Senčur Peček, D., Polajžar, A. (2023) Privacy at Work in Slovenia, v: Hendrickx, F. et al. (ur.), Privacy@work: A European and Comparative Perspective (Alphen aan den Rijn: Kluwer Law International), strani 469–492. Senčur Peček, D. (2019) Slovenia, v: Liukkunen, U. (ur.), Collective Bargaining in Labour Law Regimes: A Global Perspective (Cham: Springer), strani 501–528. Senčur Peček, D. (2004) Socialno partnerstvo na ravni podjetja (razmerje med sindikatom, svetom delavcev in upravo), Delavci in delodajalci 4(2-3), strani 531–564. Senatori, I. (2022) EU Law and Digitalisation of Employment Relations, v: Gyulavári T., Menegatti E. (ur.), Decent Work in the Digital age: European and Comparative Perspectives (Oxford etc.: Hart Publishing), strani 57–81. D. Senčur Peček, A. Polajžar: Pristojnosti delavskih predstavnikov v podjetju v zvezi z 55, uporabo sistemov umetne inteligence v delovnih razmerjih Todolí-Signes, A. (2017) The End of the Subordinate Worker? The On-Demand Economy, the Gig Economy, and the Need for Protection for Crowdworkers’, International Journal of Comparative Labour Law and Industrial Relations, 33(2), strani 241–268. Vodovnik, Z. (1999) Normativna oblast delodajalca, Podjetje in delo, 25(6-7), strani 1015–1026. Vodovnik, Z., Tičar, L. (2016) Osnove delovnega in socialnega prava, 2., spremenjena in dopolnjena izdaja (Ljubljana: Lexpera, GV založba). Weingerl, P. (2023) Odškodninska odgovornost za uporabo umetne inteligence v delovnem razmerju, Delavci in delodajalci, 23(4), strani 361–378. Zirnstein, E. (2024) Nekaj razlogov za dodatno krepitev soupravljanja in nujno »modernizacijo« ZSDU, Ekonomska demokracija, 28(3), strani 17–20. Extended abstract The authors address the question of the powers of workers' representatives in an undertaking in relation to the use of artificial intelligence in an employment relationship. The authors focus on the relevant legal aspects under Slovenian and EU law – and discuss the two types of worker representation operating at the company level in Slovenia (trade union and elected workers’ representatives). The authors conclude that workers’ representatives (trade union and elected) have important competences in relation to the introduction/use of AI systems in the context of employment relationships. The latter relate to the general area of information and joint consultation within the company and to occupational safety and health. It is true that the text of the statutory powers of workers' representatives does not explicitly mention the concept of 'artificial intelligence' (algorithmic management, etc.) – yet certain general (existing) rules must nevertheless be applied and interpreted accordingly. Particularly relevant from the perspective of elected worker representatives is the legal framework under the ZSDU and ZVZD-1 (by which Slovenia implements Directives 2002/14 and 89/391). Certain obligations to provide prior information also derive from the European Artificial Intelligence Act, which imposes certain obligations on employers (as implementers of AI systems). Under the ZSDU, the employer must inform the works council of envisaged changes in the organisation of production and changes in technology before a final decision is taken. In this respect, the employer must also, at the request of the works council, make available the documentation necessary to inform it of these matters. Similarly, the ZSDU and ZVZD-1 also provide for prior joint consultation on aspects of safety and health at work. These powers (or employer obligations) will need to be interpreted in the context of the introduction/use of AI. It will be crucial to ensure that workers' participation rights are not diluted as a result of over-complication or lack of knowledge of the technology used. It will be particularly important to ensure that there is comprehensive information, with workers' representatives receiving all the necessary information on the AI system. It will also be essential that the aspect of the use of AI systems is consistently addressed in the preparation of risk assessments (and other occupational safety and health measures). It will also be relevant to educate workers' representatives on the risks and challenges of using AI in work processes. Similarly, trade union representatives in the company already have a number of relevant powers under the existing legal framework under ZDR-1 and ZVZD-1. It is therefore particularly important that the provision of Article 203 ZDR-1 is effectively implemented in practice, even in the contemporary era (the so-called "age of artificial intelligence"). This is because the employer must provide the trade union with the conditions for the rapid and effective performance of trade union activities – and must give the trade union access to the information necessary for the performance of trade union activities. Only in this way will the trade union be able to carry out its basic mission – i.e. the protection of workers' 56 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . rights within the company – even in a changed technological environment. The role of the trade union will also be very important in the case of the adoption of general acts of the employer (under Article 10 ZDR-1), which will relate to the field of artificial intelligence. All of the above may be a key prerequisite for meaningful collective bargaining between the trade union and the employer and for the conclusion of a collective agreement to address issues relating to the use of AI. In the light of the substantive autonomy of collective bargaining, there is no obstacle to this - the key is simply the will of both negotiating parties to address and regulate these topics. In addition to the above-mentioned emphasis on the proper implementation and interpretation of the already existing legal framework, it is worth pointing out that further normative specification of some of the powers of workers' representatives is also worthy of consideration. De lege ferenda, it would be appropriate to draw inspiration in particular from certain solutions set out in the Platform Work Directive, which are aimed precisely at ensuring that workers' participatory rights (to information and joint consultation) are not diluted by the complexity of the technology. In our view, the envisaged right to an expert is particularly important, since workers will only be able to participate in a substantive way in the adoption of decisions concerning changes to automated systems if they have the appropriate professional basis for doing so. Similarly, a potentially relevant de lege ferenda solution is also a more detailed description of the manner and content of the information to be provided to workers' representatives (following the example of the Platform Work Directive). P DOI RAVNO VARSTVO VIDEZOV https://doi.org/ 10.18690/um.pf.11.2025.3 IZDELKOV, USTVARJENIH Z UMETNO ISBN 978-961-299-086-2 INTELIGENCO ALI NJENO POMOČJO MARTINA REPAS Univerza v Mariboru, Pravna fakulteta, Maribor, Slovenija martina.repas@um.si Vpliv vse večje razširjenosti tehnologije umetne inteligence se Ključne besede: umetna inteligenca, odraža na številnih pravnih področjih, med drugim tudi na model, področju modelov, ki predstavljajo eno od pravic intelektualne videz izdelka, lastnine, s katerimi se varuje videz izdelka. Umetna inteligenca je avtorska pravica, oblikovalec, lah avtor, ko v proces oblikovanja videza izdelka vključena kot orodje, kršitev, lahko pa je tudi neodvisni oblikovalec videza izdelka. Kadar se imetnik modela uporablja zgolj kot orodje, rezultat oblikovanja nazivamo kot videz izdelka, ustvarjen s pomočjo umetne inteligence, medtem ko tisti, ki ga umetna inteligenca samostojno razvije, nazivamo kot videz izdelka, ustvarjen z umetno inteligenco. To poglavje izpostavlja pravna vprašanja glede umetne inteligence kot oblikovalca videza izdelka oziroma kot imetnika modela. Nadalje obravnava možnosti varstva tistega videza izdelka, ki je ustvarjen z umetno inteligenco ali njeno pomočjo, ter t. i. vhodne in izhodne kršitve obstoječih modelov z videzi izdelkov, ustvarjenih z umetno inteligenco ali njeno pomočjo. DOI PROTECTION OF PRODUCT https://doi.org/ 10.18690/um.pf.11.2025.3 ISBN PPEARANCES SSISTED A A 978-961-299-086-2 OR GENERATED BY ARTIFICIAL INTELLIGENCE MARTINA REPAS University of Maribor, Faculty of Law, Maribor, Slovenia martina.repas@um.si Keywords: The impact of the increasing prevalence of artificial intelligence artificial intelligence, technology is reflected in many legal areas, including the field of design, product appearance, designs, which represents one of the intellectual property rights copyright, that protect the appearance of a product. Artificial intelligence can designer, author, be included in the design process as a tool, or it can be an infringement, design holder independent designer. When used solely as a tool, the result is called an artificial intelligence-assisted design, while the one that artificial intelligence independently develops is called an artificial intelligence-generated design. This chapter highlights legal issues regarding the possibility of artificial intelligence acting as a designer or as a holder of a design. It further discusses the possibilities of protecting the appearance of a product created by or with the help of artificial intelligence, as well as the so-called input and output infringements of existing designs with product appearances created by or with the help of artificial intelligence. M. Repas: Pravno varstvo videzov izdelkov, ustvarjenih z umetno inteligenco 59, ali njeno pomočjo 1 Uvod Umetna inteligenca se splošno razume kot učenje in razvoj računalniškega sistema, ki lahko kopira inteligentno človeško ravnanje, tj. da ima nekatere lastnosti človeškega uma.1 Obstajajo številne delovne definicije umetne inteligence,2 Uredba (EU) 2024/1689 Evropskega parlamenta in Sveta z dne 13. junija 2024 o določitvi harmoniziranih pravil o umetni inteligenci3 (Akt o umetni inteligenci) pa sistem umetne inteligence opredeljuje kot sistem temelječ na napravah (strojih, ki poganjajo umetno inteligenco), ki je zasnovan za delovanje z različnimi stopnjami avtonomije in lahko po uvedbi izkaže prilagodljivost ter za eksplicitne ali implicitne cilje iz prejetih vhodnih podatkov sklepa, kako ustvariti izhodne podatke, kot so napovedi, vsebine, priporočila ali odločitve, ki lahko vplivajo na fizična ali virtualna okolja (1. točka 3. člena). Ta opredelitev temelji na ključni značilnosti sistemov umetne inteligence, tj. na sposobnosti sklepanja. Sistemi umetne inteligence so zasnovani tako, da so do neke mere neodvisni od človeškega sodelovanja in zmožnosti delovati brez posredovanja človeka.4 Vpliv vse večje širitve umetne inteligence se odraža na številnih pravnih področjih, od katerih pravo intelektualne lastnine še zdaleč ni izvzeto. Ena izmed pravic intelektualne lastnine je tudi model (ang. design), s katerim se varuje videz izdelka (na primer oblike telefonov, igrač ipd.), na katerega ima tehnologija umetne inteligence prav tako velik vpliv. Umetna inteligenca se namreč ne uporablja več zgolj kot sredstvo za ugotavljanje, kaj potrošniki želijo, in za predvidevanje prihodnjih smernic, ampak tudi za ustvarjanje in izboljševanje videzov izdelkov ter za izdelavo tkanin, barv ipd.5 Povzročila je, da so dela oblikovalcev vse bolj digitalna, kar velja tako za postopek oblikovanja kot za same rezultate oblikovanja. Temu je sledila tudi modna industrija. Za primer lahko navedemo projekt, ki sta ga ustanovila Tommy Hilfiger in Modni inštitut za tehnologijo v New Yorku, v katerem so študentje ustvarjali videze izdelkov za znamko Tommy Hilfiger z uporabo IBM-ovih orodij. Ta orodja so bila programirana z zbirko podatkov s 15.000 slikami videzov 1 Artificial Intelligence, Oxford Advanced Learner’s Dictionary, https://www.oxfordlearnersdictionaries.com/definition/english/artificial-intelligence?q=artificial+intelligence;Artificial Intelligence, Cambridge Dictionary, https://dictionary.cambridge.org/dictionary/english/ai. 2 Glej na primer McCarthy, 1990; Turing, 1950; Russell in Norvig, 2021. 3 UL L 2024/1689, 12. 7. 2024. 4 Akt o umetni inteligenci, uvodna točka 12. 5 Kuypers in De Clercq, 2024. 60 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . preteklih zbirk Hilfigerja. Umetna inteligenca je delovala kot pomočnik pri oblikovanju končne zasnove oblačil z ustvarjanjem vzorcev tkanin, barv in silhuet.6 Umetna inteligenca je lahko v proces oblikovanja vključena kot orodje, ki je v pomoč fizični osebi, lahko pa je tudi neodvisni oblikovalec videza izdelka. Kadar se uporablja kot orodje, rezultat nazivamo »videz izdelka, ustvarjen s pomočjo umetne inteligence« (AI assisted designs), medtem ko tisti rezultat, ki ga umetna inteligenca samostojno razvije, nazivamo kot »videz izdelka, ustvarjen z umetno inteligenco« (AI generated designs).7 Naprave z umetno inteligenco lahko na primer ustvarjajo modno oblikovanje, torej kognitivno nalogo, ki jo običajno opravljajo ljudje. Umetna inteligenca deluje kot samoučeči se stroj, ki lahko obdela velike količine informacij in jih analizira za ustvarjanje dela. Kljub zmožnosti samoučenja pa stroji z umetno inteligenco vendarle ostajajo odvisni od podatkov, ki jih programer vnese vanje.8 Uporaba tehnologij umetne inteligence na področju videzov izdelkov odpira pomembna pravna vprašanja. V tem poglavju monografije izpostavljamo tri, ki se sicer tipično pojavljajo tudi v povezavi z drugimi pravicami intelektualne lastnine (patenti in avtorskimi pravicami). Prvo vprašanje je, ali je umetna inteligenca lahko oblikovalec videza izdelka ter posledično tudi imetnik modela, ki mu pripadajo vse izključne pravice iz tega naslova. To ne vključuje zgolj tistega videza izdelka, ki ga je ustvarila umetna inteligenca sama, ampak tudi tistega, ki je ustvarjen s pomočjo umetne inteligence. Drugo vprašanje, ki je s prvim neposredno povezano, je, ali se z modelom sploh lahko zavaruje videz izdelka, ki ga ustvari umetna inteligenca sama ali pa je ustvarjen z njeno pomočjo. Tretje vprašanje pa je, ali lahko videz izdelka, ki ga ustvari umetna inteligenca ali pa je ustvarjen z njeno pomočjo, krši prej registrirane (torej prejšnje) modele. Ta vprašanja so analizirana z vidika zakonodaje EU. Analiza pa ima velik pomen tudi za slovensko pravno ureditev, glede na to, da je ta pravica intelektualne lastnine predmet harmonizacije v državah članicah EU. Zakonodajalec EU je sprejel dva predpisa, ki to pravico intelektualne lastnine urejata. Prvi je Direktiva 98/71/ES Evropskega parlamenta in Sveta z dne 13. oktobra 1998 o pravnem varstvu modelov,9 s katero se je ureditev tega področja približala v vseh državah članicah 6 Greene in Longobucco, 2018. 7 Antikainen in Härkönen, 2024, stran 2. 8 Caen, 2020, stran 610, in tam navedena literatura. 9 UL L 289, 28. 10. 1998, strani 28–35. M. Repas: Pravno varstvo videzov izdelkov, ustvarjenih z umetno inteligenco 61, ali njeno pomočjo EU. Določbe te direktive so v slovenski pravni red prenesene v Zakon o industrijski lastnini10 (ZIL-1). Leta 2024 je pričela veljati nova Direktiva (EU) 2024/2823 Evropskega parlamenta in Sveta z dne 23. oktobra 2024 o pravnem varstvu modelov,11 katere določbe bodo države članice EU morale prenesti v nacionalno zakonodajo do 9. decembra 2027 (prvi odstavek 36. člena Direktive 2024/2823). Spremembe, ki jih Direktiva 2024/2823 prinaša, se nanašajo tudi na varstvo videzov izdelkov v digitalni dobi. Drugi predpis EU pa je Uredba Sveta (ES) št. 6/2002 z dne 12. decembra 2001 o modelih Skupnosti,12 ki je bila spremenjena z Uredbo (EU) 2024/2822 Evropskega parlamenta in Sveta z dne 23. oktobra 2024 o spremembi Uredbe Sveta (ES) št. 6/2002 o modelih Skupnosti in razveljavitvi Uredbe Komisije (ES) št. 2246/2002, ki se je pričela uporabljati 1. maja 2025, z izjemo nekaterih določb, ki se pričnejo uporabljati 1. julija 202613 (Uredba 2024/2822). Na podlagi te uredbe se lahko pridobi t. i. model EU, tj. pravica intelektualne (industrijske) lastnine z enotno naravo, saj ta nastane, se prenese in preneha za celotno območje EU. To velja za registriran in neregistriran model EU.14 Pogoji pridobitve registriranega modela, njegova vsebina in učinki so enaki nacionalnim modelom, registriranim v državah članicah EU, saj Uredba 2024/2822 povzema določbe Direktive 98/71 in Direktive 2024/2823. Za uvodom je v drugem razdelku tega poglavja kratko predstavljen model kot pravica intelektualne lastnine, ki varuje videz izdelka, ter pravna ureditev na ravni EU (predmet, vsebina in pogoji za registracijo). Tretji razdelek analizira različne možnosti varstva videza izdelka, poleg modela še varstvo z znamko in avtorsko pravico, ter razmerja med različnimi oblikami varstva. V četrtem razdelku so analizirana relevantna pravna pravila v zvezi s pojmom oblikovalca in imetnika modela, zlasti v zvezi z vprašanjem, ali je umetna inteligenca lahko oblikovalec in s tem tudi imetnik te pravice. Peti razdelek obravnava vprašanje varstva videza izdelka, ustvarjenega z umetno inteligenco ali njeno pomočjo, medtem ko so v šestem 10 Uradni list RS, št. 51/06 – uradno prečiščeno besedilo, 100/13, 23/20 in 76/23. 11 UL L 2024/2823, 18. 11. 2024. 12 UL L 3, 5. 1. 2002, strani 1–24. 13 UL L, 2024/2822, 18. 11. 2024. 14 Temeljna značilnost neregistriranega modela EU je, da njegovo varstvo ni odvisno od registracije, kot to velja za registriran model EU, ampak nastopi samodejno, če so izpolnjeni pogoji, določeni v Uredbi 6/2002. Uvedba te enotne pravice, ki traja tri leta od dneva, ko je videz izdelka dostopen javnosti v EU, je posledica spodbujanja inovativnosti, s čimer je zakonodajalec EU želel zavarovati tiste videze, ki se uporabljajo v izdelkih, ki imajo kratek rok trajanja oziroma so vgrajeni vanje ter za katere so njihovi oblikovalci želeli pridobiti hitro in učinkovito varstvo brez bremena kakršnihkoli formalnosti v zvezi z registracijo in za katere je trajanje varstva manj pomembno. Tako Uredba 6/2002, uvodni točki 16 in 25. M. Repas: Pravno varstvo videzov izdelkov, ustvarjenih z umetno inteligenco 63, ali njeno pomočjo 62 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . razdelku analizirane t. i. vhodne in izhodne kršitve obstoječih modelov z videzi izdelkov, ki so ustvarjeni z umetno inteligenco ali njeno pomočjo. V zadnjem razdelku so strnjene zaključne misli in dognanja. 2 Splošno o modelu kot pravici intelektualne lastnine Model je pravica intelektualne lastnine, ki varuje videz izdelka, ta pa je sestavni del vsakodnevnega življenja tako v zasebnem kot tudi poslovnem okolju. Videzi izdelkov pogosto povezujejo elemente privlačnosti s funkcionalnostjo, očarajo s svojo preprostostjo in eleganco ter zato pritegnejo potrošnika oziroma uporabnika. Kot taki za podjetja predstavljajo pomembno vlogo in so bistvenega pomena za njihov ekonomski uspeh, zaradi česar se tudi pojavljajo v skoraj vseh industrijskih sektorjih. Model se nanaša na videz celotnega ali dela izdelka, kar pomeni, da se praviloma nanaša na fizični objekt. Obstaja pa tudi izjema pri ornamentih, ki so lahko predmet modela, čeprav se ne nanašajo na fizični objekt.15 Direktiva 98/71 opredeljuje tako videz kot tudi izdelek. V določbi točke a) 1. člena navaja, da videz pomeni izgled celotnega izdelka ali njegovega dela, ki izhaja iz značilnosti, zlasti linij, obrisov, barv, oblike, teksture in/ali materialov samega izdelka in/ali njegovih ornamentov. Direktiva 2024/2823 v 3. členu tej definiciji dodaja še premik, prehod ali katerokoli drugo vrsto animacije teh značilnosti, se pravi tisto, kar je splošna značilnost virtualnih oziroma digitalnih videzov. V točki b) 1. člena pa Direktiva 98/71 opredeljuje pojem izdelka, in sicer kot vsak industrijski ali obrtni predmet, ki med drugim zajema dele, ki so namenjeni za sestavo kompleksnega izdelka, embalažo, opremo, grafične simbole in tipografske znake, z izjemo računalniških programov. Opredelitev izdelka je zelo široka in zajema oblačila, tkanine, pohištvo, motorna vozila, električno blago, embalažo, grafične simbole ipd.16 Direktiva 2024/2823 v 4. točki 2. člena to definicijo razširja in določa, da je izdelek lahko ne samo v fizični, ampak tudi v nefizični obliki, vključno z embalažo, kompleti artiklov, prostorskimi razporeditvami predmetov, namenjenih oblikovanju notranjega ali zunanjega okolja, in deli, namenjeni sestavljanju v kompleksni izdelek, grafični deli ali simboli, logotipi, reliefni vzorci, tipografski znaki in grafični uporabni 15 Hasselblatt v Hasselblatt, 2018, stran 6. Prim. Brown et al., 2019, stran 275. 16 Bently et al., 2018, stran 744. vmesniki. Pri tem je treba dodati, da je tudi po obstoječi ureditvi v Direktivi 98/71 mogoče varovati različna digitalna dela, vključno z grafičnimi uporabniškimi vmesniki, logotipi in animiranimi liki. Z Direktivo 2024/2823 pa je to jasneje zapisano, kar pomeni široko uporabo te pravice intelektualne lastnine, ki zajema tudi sodobno digitalno gospodarstvo. Z novo Direktivo 2024/2823 je tako odpravljena kakršnakoli dilema v zvezi s pravnim varstvom digitalnega videza izdelka z modelom. Za veljavnost modela po zakonodaji EU in s tem tudi po slovenski zakonodaji mora biti videz izdelka nov in imeti mora individualno naravo (3. člen Direktive 98/71 in prvi odstavek 33. člena ZIL-1). Novost je vezana na dostopnost enakega videza izdelka javnosti pred datumom vložitve prijave ali datumom prednostne pravice, pri čemer se javnost navezuje na območje EU, razen če njegova objava, razstava ali uporaba ne bi mogli postati znani v normalnem poteku poslovanja specializiranim krogom zadevnega področja v EU (4. člen v povezavi s 6. členom Direktive 98/71 in prvi odstavek 34. ter 35. člen ZIL-1).17 Zahteva po individualni naravi pa se nanaša na celotni vtis, ki ga videz izdelka naredi na seznanjenega uporabnika, in se mora razlikovati od celotnega vtisa, ki ga naredi prejšnji videz izdelka (5. člen Direktive 98/71 ter drugi in tretji odstavek 34. člena ZIL-1). Medtem ko je ocena novosti objektivna, tega ni mogoče popolnoma trditi za zahtevo individualne narave. Ta se namreč ocenjuje glede na celoten vtis, ki ga videz izdelka napravi na seznanjenega uporabnika, in glede na stopnjo svobode oblikovalca.18 Vtis videza izdelka se določi glede na to, kako se izdelek uporablja, in glede na to, kako se z njim ravna.19 V tej zvezi je pomemben tudi pojem seznanjenega uporabnika, ki ga Direktiva 98/71 ne opredeljuje. Vsebina tega pojma izhaja iz odločbe Sodišča EU v zadevi Grupo Promer,20 po kateri seznanjeni uporabnik ni strokovnjak zadevnega področja, ki bi vedel preveč in bi lahko določil vsako razliko med zadevnim in prejšnjimi videzi izdelkov. Prav tako tudi ni oblikovalec ali tehnični strokovnjak, proizvajalec ali prodajalec izdelkov, v katere je videz izdelka vključen, in tudi ni povprečni potrošnik. Sodišče EU ga je opredelilo kot rednega uporabnika izdelkov enake vrste, kot je 17 Od tega pravila veljajo tudi posamezne izjeme v okviru neškodljivega razkritja videza izdelka, kot je na primer samovarovalna doba (6. člen Direktive 98/71 in 35. člen ZIL-1). 18 Brückner-Hofmann v Hasselblatt, 2018, stran 90. 19 Zadeva T-153/08, Shenzhen Taiden Industrial Co. Ltd proti Uradu za usklajevanje na notranjem trgu (znamke in modeli) (UUNT), ECLI:EU:T:2010:248, točka 66. 20 Zadeva C-281/10 P, PepsiCo, Inc. proti Grupo Promer Mon Graphic SA, ECLI:EU:C:2011:679. 64 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . videz izdelka. Skratka, gre za uporabnika, ki je zelo pazljiv, bodisi zaradi svojih osebnih izkušenj ali svojega obsežnega znanja na zadevnem področju. Za uspešno registracijo in veljavnost modela videza izdelka ne sme določati tehnična funkcija in prav tako ne sme vsebovati značilnosti, ki morajo biti reproducirane v natančno isti obliki in dimenzijah, da bi bilo mogoče izdelek, na katerega se videz nanaša, mehansko povezati z drugim izdelkom ali ga namestiti vanj, okrog njega ali ob njega, tako da lahko vsak izdelek opravlja svojo funkcijo (prvi in drugi odstavek 7. člena Direktive 98/71 ter drugi in tretji odstavek 36. člena ZIL-1). Model se prav tako ne sme registrirati za videz izdelka, ki nasprotuje javnemu redu ali morali (8. člen Direktive 98/71 in točka e) prvega odstavka 36. člena ZIL-1). Po ZIL-1 se model prav tako ne more registrirati, če videz izdelka vsebuje znamenja, zastave ali druge državne simbole držav članic, ki so podpisnice Pariške konvencije za varstvo industrijske lastnine21 oziroma zanje ni bilo izdano dovoljenje, kot tudi če vsebuje ali posnema druga znamenja, embleme ali grbe, ki imajo poseben javni pomen in za to prijavitelj modela ni pridobil dovoljenja pristojnih organov (točki c) in d) prvega odstavka 36. člena ZIL-1). V zvezi s tem je treba posebej poudariti, da se za registracijo modela ne zahtevata novost in individualna narava videza izdelka, sta pa ti zahtevi pomembni za njegovo veljavnost. Pristojni organ torej registrira model kljub temu, da videz izdelka ne izpolnjuje zahteve po novosti in/ali individualni naravi. Tak model pa bo kasneje lahko predmet ničnostne tožbe, vložene pred pristojnim sodiščem (točka a) 113. člena ZIL-1). Model se na podlagi vložitve prijave za registracijo pridobi z vpisom v register. Njegovo trajanje je časovno omejeno, saj traja eno ali več petletnih obdobij, pri čemer lahko traja največ 25 let od dneva vložitve prijave za registracijo modela (4. člen ZIL-1). Prijava za registracijo modela mora vsebovati tudi navedbo proizvodov, v katere je videz vključen ali na katere se bo nanašal. V ta namen se uporablja Locarnski aranžma o ustanovitvi mednarodne klasifikacije za industrijske vzorce in modele.22 Razvrstitev proizvodov v tem aranžmaju je zgolj administrativne narave in ne vpliva na obseg varstva videza izdelka kot takega.23 21 Uradni list SFRJ-MP, št. 5/74 in št. 7/86, Uradni list RS–MP, št. 9/92 in št. 3/07. 22 Uradni list SFRJ–MP, št. 51/1974, Uradni list RS, št. 24/1992, Uradni list RS–MP, št. 9/1992, št. 3/2007. 23 Hasselblatt v Hasselblatt, 2018, stran 35, in tam navedena literatura. M. Repas: Pravno varstvo videzov izdelkov, ustvarjenih z umetno inteligenco 65, ali njeno pomočjo 3 Videz izdelka in različne možnosti pravnega varstva Pravno varstvo videza izdelka ni nujno zagotovljeno zgolj z modelom. V poštev pridejo tudi druge oblike pravnega varstva, kot so avtorska pravica, znamka, neregistriran model in druge. To seveda velja v primeru, da izpolnjujejo pogoje, ki se za pridobitev posamezne pravice intelektualne lastnine zahtevajo. V zvezi z avtorskopravnim varstvom je treba izpostaviti odločbo Sodišča EU v zadevi Cofemel,24 v skladu s katero države članice EU ne smejo diskriminirati del uporabne umetnosti in industrijskega oblikovanja v nacionalnih avtorskopravnih zakonodajah. Tovrstna dela, kamor sodijo tudi videzi izdelkov, se torej morajo ščititi z avtorsko pravico. Posebno razmerje med modelom in avtorsko pravico naslavlja že Direktiva 98/71, ki v 17. členu določa, da je videz izdelka, ki ga model varuje, upravičen tudi do varstva po zakonih držav članic EU o avtorski pravici od datuma, na katerega je videz izdelka bil ustvarjen ali določen v katerikoli obliki, pri čemer obseg varstva in pogoje varstva določi vsaka država članica EU. To izrecno določa tudi slovenski Zakon o avtorski in sorodnih pravicah25 (ZASP), ki v 10. točki drugega odstavka 5. člena med avtorskimi deli navaja dela uporabne umetnosti in industrijskega oblikovanja. Ta dela so avtorskopravno varovana, če se jih lahko opredeli kot izražene individualne intelektualne stvaritve s področja književnosti, znanosti ali umetnosti (prvi odstavek 5. člena ZASP). Videz izdelka, ki je avtorsko delo, je po avtorskopravni zakonodaji zaščiten s trenutkom, ko je ustvarjen in ne da bi bilo zanj treba vložiti prijavo za varstvo ali opraviti kakšno drugo formalnost, kar sicer velja za pridobitev modela ali znamke. Avtorskopravno varstvo takega videza izdelka je izjemno dolgo, saj traja za čas avtorjevega življenja in še 70 let po njegovi smrti (59. člen ZASP), pri čemer je varstvo ožje v primerjavi z registriranim modelom in znamko, saj varuje le pred posnemanjem dela. Če torej tretja oseba neodvisno ustvari enak videz izdelka, avtorskopravno varstvo take situacije ne zajema. Razmerje z drugimi pravicami intelektualne lastnine pa naslavlja 16. člen Direktive 98/71, po katerem določbe direktive ne vplivajo na določbe zakonodaje EU ali držav članic EU v zvezi z neregistriranimi pravicami iz modela, znamkami ali drugimi razlikovalnimi znaki, patenti in uporabnimi modeli, tipografskimi simboli ter civilno 24 Zdeva C-683/17, Cofemel – Sociedade de Vestuário SA proti G-Star Raw CV, ECLI:EU:C:2019:721. 25 Uradni list RS, št. 16/07 – UPB, 68/08, 110/13, 56/15, 63/16 – ZKUASP, 59/19 in 130/22. 66 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . odgovornostjo ali nelojalno konkurenco. Posledično tudi ZIL-1 v prvem odstavku 39. člena omogoča kumulativno varstvo videzov izdelka z modeli, znamkami, patenti, uporabnimi modeli itd. V drugem odstavku 39. člena pa posebej izpostavlja še razmerje z avtorskopravnim varstvom, kjer določa, da je lahko model predmet avtorskopravnega varstva od dneva, ko je bil videz izdelka ustvarjen ali določen v katerikoli obliki, če izpolnjuje pogoje za pridobitev varstva po ZASP. Za pridobitev znamke mora videz izdelka predstavljati znak, ki ima sposobnost razlikovanja blaga ali storitev podjetja od blaga ali storitev drugih podjetij, obenem pa se mora dati v registru prikazati tako, da omogoča jasno in natančno določitev predmeta varstva (42. člen ZIL-1). Prav tako se bo moral razlikovati od drugih prejšnjih znamk ali pravic, dodatno pa je treba upoštevati še poseben razlog, zaradi katerega se registracija znamke lahko zavrne, tj. da videz izdelka ne sestoji izključno iz oblike ali drugih značilnosti, ki izhaja iz same narave blaga, ali oblike ali druge značilnosti blaga, ki je nujna za dosego tehničnega učinka, ali daje blagu bistveno vrednost (točka e) prvega odstavka 43. člena ZIL-1). Sicer pa znamka traja deset let od dneva vložitve prijave za registracijo znamke, pri čemer se lahko poljubno mnogokrat obnovi za obdobje naslednjih deset let (52. člen ZIL-1). 4 Umetna inteligenca kot oblikovalec ali imetnik modela Oblikovalec in imetnik modela nista nujno isti osebi, zaradi česar je treba najprej pojasniti oba pojma ter izpostaviti razliko med njima. Oblikovalec je oseba, ki razvije videz izdelka, imetnik modela pa oseba, ki mu pripadajo vse pravice iz modela. Za imetnika modela lahko videz izdelka razvije tudi tretja oseba,26 kar pomeni, da je ena oseba oblikovalec, druga pa imetnik modela (ko je ta registriran). Model samo imetniku podeljuje izključno pravico do uporabe videza izdelka in do tega, da prepreči njegovo uporabo vsaki tretji osebi, ki nima njegovega soglasja. Ta pravica tako ne pripada tudi oblikovalcu (tretji osebi), če ta ni hkrati tudi imetnika modela. ZIL-1 v drugem odstavku 73. člena določa, da se v postopku pridobitve (registracije) modela oblikovalec, ki je naveden v prijavi za registracijo modela, šteje za oblikovalca videza izdelka, pri čemer pristojni organ (Urad RS za intelektualno lastnino) ne preverja točnosti tega podatka. Določba 74. člena ZIL-1 vsebuje podobno pravilo 26 V takem primeru je vsa razmerja priporočljivo urediti s pogodbo med njima. M. Repas: Pravno varstvo videzov izdelkov, ustvarjenih z umetno inteligenco 67, ali njeno pomočjo za imetnika modela in tako določa, da se model registrira na ime tistega, ki je ob registraciji naveden kot prijavitelj.27 S tem ZIL-1 vzpostavlja domnevi v korist osebe, ki je v prijavi navedena kot oblikovalec, oziroma v korist osebe, ki je navedena kot prijavitelj. Seveda pa je ta domneva izpodbojna. Tretja oseba, ki meni, da je oblikovalec, lahko vloži tožbo glede priznanja pravice oblikovalca do navedbe po 118. členu ZIL-1 in zahteva, da se jo kot tako navede v prijavi in vseh dokumentih, medtem ko lahko oseba, ki meni, da bi morala biti prijavitelj in tudi imetnik pravic iz modela, vloži tožbo na izpodbijanje modela po 115. členu ZIL-1. Kot je bilo že navedeno, bosta običajno oblikovalec in imetnik modela isti osebi, ni pa temu nujno tako. Medtem ko v takem primeru imetniku modela, torej osebi, ki je v prijavi navedena kot prijavitelj, pripadajo materialne pravice iz modela, ima oblikovalec »moralno pravico« do navedbe pred pristojnim uradom za registracijo te pravice in v samem registru, kot to tudi določa 18. člena Uredbe 2024/2822 v zvezi z enotnim modelom EU.28 Ker je videz izdelka lahko tudi rezultat skupinskega dela, se lahko navedejo posamezni oblikovalci ali pa se namesto njih navede skupina. Ta pravica vključuje pravico do vpisa spremembe imena oblikovalca ali skupine v register. Postopkovna pravila Uredbe 2024/2822 sicer ne zahtevajo, da mora biti oblikovalec naveden v prijavi za registracijo modela EU. Taka navedba je zgolj fakultativna. Tretji odstavek 36. člena Uredbe 2024/2822 namreč določa, da prijava lahko vsebuje tudi navedbo oblikovalca ali skupine oblikovalcev ali pa izjavo prijavitelja, da se je oblikovalec ali skupina oblikovalcev odpovedala pravici do navedbe. Iz navedenega izhaja, da ima oblikovalec možnost ostati anonimen, če tako želi.29 Če bi se kot obvezna sestavina prijave za registracijo modela EU zahteval podatek o oblikovalcu, modela ne bi bilo mogoče registrirati, če oblikovalec ne bi želel biti imenovan v prijavi. Podobno določbo vsebuje ZIL-1. Ta v 73. členu določa, da se v postopku za podelitev modela oblikovalec, ki je naveden v prijavi, šteje za oblikovalca videza izdelka, v 106. členu pa, da se v register modelov vpišejo tudi podatki o oblikovalcu (priimek, ime in naslov), če oblikovalec to želi. Enako kot Uredba 2024/2822 torej tudi ZIL-1 ne določa, da so podatki o oblikovalcu »obvezna« sestavina prijave za registracijo modela, kar izhaja iz 94. in 95. člena ZIL-1. 27 Podobno določbo vsebuje 17. člen Uredbe2024/2822. 28 Uredba 2024/2822 sicer ne vsebuje posebnih določb o moralnih pravicah oblikovalca, kot so sicer navaja avtorskopravna zakonodaja za avtorje. Spintig v Hasselblatt (ur.), 2018, stran 211. 29 Glej Bently et al., 2018, stran 736. 68 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Pri videzu izdelka, ki ga ustvari človek, se seveda ne pojavi dilema o tem, ali je človek lahko oblikovalec oziroma imetnik modela. Se pa to vprašanje zastavi pri tistem videzu izdelka, ki ga razvije umetna inteligenca, tako pri tistem, ki je bil ustvarjen z njeno pomočjo, kot tudi tistem, ki ga je ustvarila sama brez človeške pomoči. Kdo je v takem primeru imetnik modela oziroma ali se umetna inteligenca lahko obravnava kot oblikovalec in/ali imetnik modela? Relevantni pravni predpisi EU neposrednega odgovora na to vprašanje ne dajejo. Za boljše razumevanje najprej na kratko analiziramo to tematiko v kontekstu avtorskega prava v zvezi s pojmom avtorstva, ki bi lahko bil podoben pojmu oblikovalca. Bernska konvencija o varstvu književnih in umetniških del30 (Bernska konvencija) izrecno ne določa, da bi avtor moral biti fizična oseba. Vendarle tak zaključek implicitno izhaja iz nekaterih drugih določb te pomembne mednarodne konvencije (na primer iz določbe o trajanju avtorske pravice, ki je očitno vezano na avtorjevo življenje, ki ga umetna inteligenca nima) in zgodovinskega konteksta, v katerem je bila ta sprejeta. Za razliko od Bernske konvencije ZASP v 10. členu izrecno določa, da je avtor zgolj fizična oseba, ki je ustvarila avtorsko delo. Avtor tako ne more biti žival, stroj ali pravna oseba.31 Posledično bi to moralo veljati tudi za umetno inteligenco.32 Z varstvom avtorskega dela avtorska pravica posredno varuje tudi sebnost avtorja dela, kar sicer med drugim izhaja iz obsega varstva oziroma pravic, ki pripadajo avtorju, to so osebni, nepremoženjski interesi, ki se varujejo z moralnimi avtorskimi pravicami. Umetna inteligenca seveda take osebnosti, ki bi jo bilo treba varovati, nima. V zadevi Painer33 je Sodišče EU odločilo, da morajo biti avtorskopravno varovana dela lastna avtorjeva intelektualna stvaritev.34 Gre sicer za standard izvirnosti, ki se posredno nanaša tudi na vprašanje avtorstva. Ta standard je torej zelo povezan s fizično osebo in njeno ustvarjalnostjo in omejuje možnost avtorskopravnega varstva tistega videza izdelka, ki ga ustvari oziroma proizvede umetna inteligenca. Vprašanje pa je, ali postavlja omejitev tudi videzu izdelka, ki je oblikovan s pomočjo umetne inteligence. Če človek prepusti nadzor nad večino 30 Uradni list SFRJ–MP, 14/1975 in 4/1986, Uradni list RS–MP, št. 9/1992 in 3/2007. 31 Trampuž v Trampuž, Oman, Zupančič, 1997, stran 58. 32 O primerjavi med živaljo, ki naslika sliko ali napravi fotografijo, in umetno inteligenco glej pri Caen, 2020, stran 614 in nad. 33 Zadeva C-145/10, Eva-Maria Painer proti Standard VerlagsGmbH and Others, ECLI:EU:C:2011:798 (v nadaljevanju: zadeva Painer). 34 Več o predpostavkah avtorskega dela glej pri Ovčak Kos v Repas (ur.), 2023, stran 510 in nad. M. Repas: Pravno varstvo videzov izdelkov, ustvarjenih z umetno inteligenco 69, ali njeno pomočjo ustvarjalnih možnostih umetni inteligenci, po vsej verjetnosti rezultat dela (videz izdelka) ne bo izpolnil standarda izvirnosti (kreativnosti).35 Direktiva 98/71, Direktiva 2024/2823 in Uredba 2024/2822 ne definirajo pojma oblikovalca. Enako velja tudi za ZIL-1. Besedilo, ki ga Uredba 2024/2822 uporablja, se v 14. členu nanaša na razvijanje (developing) videza izdelka in s tem na razvijalca. Enako velja v drugem odstavku 5. člena Direktive 98/71 in drugem odstavku 6. člena Uredbe 2024/2822, po katerih se pri oceni individualne narave videza izdelka upošteva oblikovalska svoboda oblikovalca pri razvijanju videza izdelka. Pri tem iz besedila Direktive 98/71 in Uredbe 2024/2822 ne izhajajo omejitve glede vsebine videza izdelka. Tako se lahko na primer posameznik, ki je videz izdelka razvil s pomočjo računalnika, obravnava kot oblikovalec. Ne glede na to pa je treba izpostaviti, da pojem oblikovalca v Uredbi 2024/2822 zahteva enotno razlago, da se doseže enotni učinek modela EU.36 Zaradi Direktive 98/71 mora potreba po enaki razlagi veljati tudi za nacionalne modele, ki so registrirani pred pristojnimi organi držav članic EU. Nekaj usmeritev, ki kažejo na to, da je oblikovalec videza izdelka lahko le (fizična) oseba, posredno izhaja iz nekaterih določb Uredbe 2024/2822, kot so na primer določbe glede tega, da je model predmet dedovanja, kar pomeni, da mora biti oblikovalec fizična oseba (na primer 14. člen), določbe glede prenosa modela na tretjo osebo (28. člen), ki ga opravi prvi imetnik modela, kar ponovno kaže na to, da mora taka oseba imeti pravno subjektiviteto (legal personality).37 Prav tako lahko omenimo drugi odstavek 14. člena Uredbe 2024/2822, ki določa, da imajo skupno pravico do modela EU dvoje ali več oseb, ki so skupaj razvile videz izdelka, kar nakazuje na pravno subjektiviteto oblikovalca. Enako določbo vsebuje Direktiva 2024/2823 v drugem odstavku 11. člena, določba 12. člena pa dodatno določa, da se oseba, v imenu katere je registriran model, ali, pred registracijo, oseba, v katere imenu je vložena prijava, šteje za osebo, upravičeno nastopati v vseh postopkih pred uradom, na območju pristojnosti katerega se uveljavlja varstvo, kakor tudi v vseh ostalih postopkih. 35 Antikainen in Härkönen, 2024, stran 12. 36 Scourfield v Hasselblatt (ur.), 2018, stran 204. 37 Yilmaztekin, 2023, stran 65. 70 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Iz navedenega izhaja, da se po pravu EU domneva, da mora biti oblikovalec fizična oseba ali neka skupina fizičnih oseb oziroma pravni subjekt s pravno subjektiviteto. Posledično torej umetna inteligenca ne more biti oblikovalec. Vprašanje pa je, ali se za oblikovalca lahko šteje fizična oseba, ki je uporabljala umetno inteligenco za razvoj videza izdelka, torej za videz izdelka, ustvarjenega s pomočjo umetne inteligence. Glede na to, da se za pridobitev položaja oblikovalca zahteva intervencija človeka, bi bilo treba na to vprašanje odgovoriti pritrdilno, sploh če je ohranjen nadzor človeka nad razvijanjem videza izdelka. Takega videza izdelka namreč ne ustvari umetna inteligenca sama, ampak ga ob njeni pomoči ustvari človek. 5 Varstvo videza izdelka, ustvarjenega z umetno inteligenco ali njeno pomočjo Kot je bilo že večkrat navedeno, se z modelom varuje videz izdelka. Pri tistem videzu izdelka, ki ga ustvari umetna inteligenca ali pri katerem umetna inteligenca sodeluje, se postavi vprašanje, ali se tako razviti videz izdelka sploh lahko zavaruje z modelom. Ponovno lahko ugotovimo, da se enako vprašanje postavlja tudi na področju avtorskega prava, torej, ali se lahko rezultati, ki jih ustvari umetna inteligenca, obravnavajo kot avtorska dela. Avtorska pravica namreč obstaja samo na avtorskih delih, kar pomeni individualne, intelektualne stvaritve s področja znanosti, književnosti in umetnosti, ki so tudi izražene (glej prvi odstavek 5. člena ZASP). Sodišče EU je v zadevi Levola Hengolo38 navedlo, da mora biti predmet varstva (stvaritev) dovolj natančno in objektivno opredeljena, pri čemer mora biti rezultat človekovega ustvarjanja. V zvezi s predpostavkami za opredelitev dela kot avtorskega je zelo pomembna tudi predpostavka individualnosti. Ta se v praksi Sodišča EU39 razlaga v smislu avtorjeve osebnosti in njegove svobodne in ustvarjalne izbire. Posledično je v teoriji zastopano naslednje stališče. Če pri ustvarjanju rezultata, ki je nastal s pomočjo umetne inteligence, ni aktivno sodeloval človek, se takega rezultata ne more opredeliti kot avtorsko delo. Neposredni rezultati umetne inteligence, ki so posledica avtomatizirane uporabe umetne inteligence, torej niso avtorskopravno varovani. Drugače pa je v primeru, ko je rezultat (stvaritev) posledica ustvarjanja s pomočjo umetne inteligence, kjer lahko ustvarjalec (človek) na več načinov in ob različnih trenutkih ustvarjalno izbira.40 Na ta način človek doda 38 Zadeva C-310/17, Levola Hengelo BV proti Smilde Foods BV, ECLI:EU:C:2018:899. 39 Glej na primer v zadevi Painer, točka 99. 40 Prav tam. M. Repas: Pravno varstvo videzov izdelkov, ustvarjenih z umetno inteligenco 71, ali njeno pomočjo osebno noto ustvarjalnemu delu, kar izpolnjuje pogoje za nastanek avtorskega dela in s tem avtorske pravice.41 Že zgoraj je bilo omenjeno, da Direktiva 98/71 osebo, ki ustvari videz izdelka, imenuje oblikovalec. Tako v drugem odstavku 5. člena določa, da se pri oceni individualne narave upošteva stopnja oblikovalca pri razvijanju videza izdelka. Direktiva 98/71 ne uporabi besedne zveze »pri ustvarjanju videza izdelka«, ampak »pri razvijanju videza izdelka«. Ta besedna zveza kaže na to, da se oblikovalca razume bolj kot razvijalca in ne kot ustvarjalca. Na podlagi tega se v literaturi pojavljajo stališča, da se za pridobitev modela ne zahteva nobena stopnja ustvarjalnosti ali personalno izražanje, ki je značilno v avtorskem pravu. Pomembno je torej dejanje razvijanja videza izdelka, kar predstavlja bistveno razliko v primerjavi z nastankom avtorskega dela. To pomeni, da je v pravu modelov bolj pomembna vsebina samega videza izdelka, ne pa toliko oblikovalec in njegova osebnost.42 Ker je pomembno dejanje razvijanja videza izdelka, se postavlja vprašanje, ali je umetna inteligenca sposobna takega dejanja. Pojem razvijanja modela v zakonodaji ni opredeljen. Glede na definicijo videza izdelka bi lahko zaključili, da dejanje razvijanja videza izdelka vključuje določeno obliko intelektualnega napora ene ali več oseb. Oblikovalec je namreč oseba, ki razvije specifičen videz izdelka.43 Določbe glede individualne narave videza izdelka omenjajo stopnjo svobode oblikovalca pri razvijanju videza izdelka, kar kaže na to, da ima oblikovalec možnost izbire v postopku razvijanja. Za razliko od avtorskega prava svoboda oblikovalca nujno ne vpliva na pridobitev pravnega varstva (modela). Zadoščajo namreč že majhne razlike, ki lahko ustvarijo drugačen vtis na seznanjenega uporabnika. Ker se kreativnost za pridobitev in veljavnost modela izrecno ne zahteva, se v literaturi zastopa stališče, da dejanje oblikovalca nujno ne rabi biti ustvarjalno. Četudi bi se upoštevala, pa bi jo bilo treba oceniti v kontekstu njenega odseva v videzu izdelka, ne pa v kontekstu izražanja oblikovalčeve osebnosti.44 Glede na navedeno lahko zaključimo, da se z modelom lahko zavarujejo videzi izdelkov, ki so narejeni s pomočjo umetne inteligence, če je prisotna zadostna človeška intervencija v postopku razvijanja videza izdelka, pri čemer se ne zahteva, 41 Glej Ovčak Kos in Grošelj, 2024, stran 142. 42 Antikainen in Härkönen, 2024. 43 Prav tam. 44 Prav tam. 72 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . da bi ta človeški prispevek bil ustvarjalen ali inventiven. Ustvarjalnost se zahteva za pridobitev avtorske pravice, inventivnost pa za pridobitev patenta. Videz izdelka mora zgolj izpolniti pogoja novosti in individualne narave. Tisti videzi izdelkov, ki jih ustvari umetna inteligenca brez človeške intervencije, pa nekako ne izpolnjujejo zahtev za pridobitev varstva s to pravico intelektualne lastnine.45 Glede tistih videzov izdelkov, ki jih ustvari umetna inteligenca sama, torej brez posredovanja fizične osebe, bi bilo treba zaključiti, da sodijo v javno domeno in jih lahko izkorišča kdorkoli brez pridobitve kakršnegakoli soglasja oziroma dovoljenja. V zvezi s tem bi bilo morda smiselno razmisliti o uvedbi sui generis pravice intelektualne lastnine po vzoru tistih sorodnih pravic v avtorskopravni zakonodaji, ki varujejo naložbe oziroma podvige, ki so podobni avtorjevemu kreativnemu ustvarjanju ali pa potekajo v zvezi z deli avtorjev (kot so na primer pravice izvajalcev, pravice proizvajalcev fonogramov, pravice filmskih producentov in druge).46 6 Kršitev obstoječih modelov z videzom izdelka, ki je ustvarjen z umetno inteligenco ali njeno pomočjo 6.1 Splošno o kršitvi modela Model podeljuje imetniku izključno pravico v pozitivnem in negativnem smislu. Po prvem odstavku 12. člena Direktive 98/71 ima imetnik na podlagi registriranega modela izključno pravico do uporabe videza izdelka (pozitivna pravica), po drugi strani pa ima tudi pravico, da prepreči uporabo videza izdelka vsaki tretji osebi, ki za uporabo nima njegovega soglasja (negativna pravica). Omenjena določba primeroma navaja, kaj se šteje za uporabo: izdelovanje, ponujanje, dajanje na trg, uvažanje, izvažanje ali uporabljanje izdelka, v katerega je videz izdelka vgrajen ali na katerega je pritrjen, ali skladiščenje izdelka v te namene.47 Direktiva 2024/2823 temu v točki d) drugega odstavka dodaja še ustvarjanje, prenos, kopiranje in deljenje ali distribucija drugim kateregakoli medija ali programske opreme, s katerim se posname videz izdelka, da se omogoči izdelava izdelka. 45 Glej tudi The interaction between Artificial Intelligence and design: an analysis under EU design law, https://gevers.eu/blog/the-interaction-between-artificial-intelligence-and-design-an-analysis-under-eu-design- law/ (obiskano: 15. 2. 2025). 46 Sorodne pravice se od avtorskih pravic pomembno razlikujejo glede na osebo, ki je lahko imetnik pravice, po predmetih varstva in njihovem trajanju. Več o teh pravicah glej pri Marković, 2013, strani 75–76. 47 O tem glej Spintig v Hasselblatt (ur.), 2018, stran 214 in nad. M. Repas: Pravno varstvo videzov izdelkov, ustvarjenih z umetno inteligenco 73, ali njeno pomočjo Model je kršen, ko tretja oseba brez soglasja imetnika modela uporabi videz izdelka, ki ustvari enak celotni vtis na seznanjenega uporabnika. Gre za zahtevo, ki izhaja iz 9. člena Direktive 98/71 (in 10. člena Uredbe 2024/2822 ter drugega odstavka 37. člena ZIL-1), po kateri obseg varstva modela vključuje vsakršen videz izdelka, ki na seznanjenega uporabnika ne naredi drugačnega celotnega vtisa. Pri ocenjevanju obsega varstva je treba upoštevati stopnjo svobode oblikovalca pri razvijanju videza izdelka. Ocena celotnega vtisa na seznanjenega uporabnika nujno zahteva primerjavo med registriranim videzom izdelka in ostalimi že znanimi videzi izdelka. Pri tej oceni motivi, ki so vodili oblikovalca, niso pomembni, prav tako ni pomembno, kako so značilnosti oblikovane, kako izdelek deluje in podobno. Pomemben je celoten vtis, ki ga videz izdelka ustvarja. Izpostaviti je treba, da se mora vtis, ki ga videz izdelka naredi na seznanjenega uporabnika, določiti glede na to, kako se zadevni izdelek uporablja, in zlasti glede na to, kako se z njim ravna.48 Cilj varstva videzov izdelka je varovati videz izdelka. Gre za vprašanje, ali bo seznanjeni uporabnik kupil izdelek oziroma ali ga bo cenil zaradi njegove individualne narave. Za to pa je potreben ogled videza izdelka, ne pa zgolj spomin nanj, ki tudi ni popolnoma zanesljiv.49 Eden pomembnejših dejavnikov pri oceni celotnega vtisa je stopnja svobode oblikovalca, ki se nanaša na omejitve, ki jih mora oblikovalec upoštevati pri razvoju videza izdelka, vključno z omejitvami, ki jih povzroča dejstvo, da mora izdelek opravljati določeno funkcijo, kot tudi na zakonske zahteve glede samega izdelka in ekonomske okoliščine.50 V zadevi Kwang Yang Motors51 je Splošno sodišče EU navedlo, da imajo manjše razlike med videzi izdelkov majhen vpliv na celoten vtis v okoliščini, kjer ima oblikovalec veliko svobode, in obratno. Bolj kot je svoboda oblikovalca omejena, bolj verjetno je, da bodo majhne razlike zadoščale za ugotovitev drugačnega celotnega vtisa na seznanjenega uporabnika.52 Poleg tega je v zvezi s kršitvami modela treba upoštevati tudi, da bo model kršen, če se bo videz izdelka uporabil v povezavi z drugim izdelkom. Ko je model registriran, ni zaščiten zgolj v razmerju do proizvodov, ki so omenjeni v prijavi za registracijo 48 Zadeva T-153/08, Shenzhen Taiden Industrial Co. Ltd proti Uradu za usklajevanje na notranjem trgu, ECLI:EU:T:2010:248, točka 66. 49 Bently et al., 2018, stran 777. 50 Prav tam, strani 778 in 779, in tam navedena praksa. Prim. Davis, Quintin, Tritton, 2018, strani 700–701; Brown et al., 2019, stran 286. 51 Zadeva T-10/08, Kwang Yang Motor Co., Ltd proti Uradu za usklajevanje na notranjem trgu, ECLI:EU:T:2011:446. 52 Več glej pri Repas v Repas (ur.), 2023, strani 205–208. 74 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . modela, ampak tudi v razmerju do katerega koli izdelka, za katerega se model uporablja. Tako je na primer model, ki varuje videz izdelka tapet, kršen z izdelavo zaves s podobnim vzorcem, ali na primer model avtomobila z izdelavo enakega modela igrače.53 Na drugi strani pa zakonodaja predvideva omejitve pravic iz modela. Posledično imetnik modela nekaterih dejanj tretjim osebam, čeprav zanje nimajo njegovega soglasja, ne more preprečiti. Ta ravnanja so navedena v 13. členu Direktive 98/71 in jih lahko razdelimo v štiri skupine: uporaba videza izdelka za zasebno uporabo, uporaba za namene izvajanja poizkusov, uporaba za namene citiranja in izobraževanja ter uporaba, povezana z opremo letal in ladij, rezervnih delov ter popravil v zvezi z njimi.54 Direktiva 2024/2823 v 18. členu ta dejanja razširja še na tista, ki se izvedejo za namen identifikacije izdelka, ter tista, ki se izvedejo za namen komentarja, kritike ali parodije.55 Ob tem velja opozoriti še na pravilo izčrpanja pravic iz modela. Te se izčrpajo, ko je izdelek dan na trg v EU56 s strani imetnika modela ali z njegovim soglasjem (15. člen Direktive 98/71, 21. člen Uredbe 6/2002 in 38. člen ZIL-1). Posledično imetnik modela v Evropskem gospodarskem prostoru ne more več preprečiti nadaljnje prodaje posamičnega izdelka, ki vsebuje varovan videz. 6.2 Umetna inteligenca in kršitev modela V zvezi s kršitvijo modela v povezavi s tehnologijo umetne inteligence je treba razlikovati med dvema situacijama. Prva se nanaša na t. i. vhodne kršitve (input infringement), za katere je značilno, da se videz izdelka, ki je varovan z modelom, uporabi kot sredstvo za usposabljanje programa umetne inteligence. Program umetne inteligence črpa iz obstoječih podatkov, kamor sodijo tudi zbirke slik in podobnega materiala z interneta. Med te podatke, ki so potrebni za usposabljanje programa umetne inteligence, lahko sodijo tudi videzi izdelkov, zavarovani z modeli. V zvezi s tem se postavljata dve vprašanji. Prvo je, ali taka uporaba videza izdelka predstavlja kršitev modela, drugo pa, kdo odgovarja za kršitev. To situacijo lahko ponovno primerjamo s situacijo na področju avtorskega prava. Ponudniki lahko za 53 Bently et al., 2018, strani 792 in 793. 54 Več o tem glej Spintig v Hasselblatt (ur.), stran 226 in nad. 55 Glej tudi 20. člen Uredbe 2024/2822. 56 Kar je treba brati »območje Evropskega gospodarskega prostora«, kar vključuje tudi območje Norveške, Islandije in Lihtenštajna. M. Repas: Pravno varstvo videzov izdelkov, ustvarjenih z umetno inteligenco 75, ali njeno pomočjo usposabljanje umetne inteligence uporabljajo avtorsko zaščiteno vsebino tretjih oseb le, če imajo dovoljenje imetnika avtorske pravice ali pa, kadar se lahko zanesejo na vsebinske omejitve (izjeme) avtorskih pravic, ki so zakonsko določene.57 V literaturi se zastopa stališče, da je pri kršitvi modelov temu drugače, kadar videz izdelka ni tudi predmet avtorskopravnega varstva (kar bo redka situacija). Zgoraj je bilo navedeno, da gre za kršitev modela, kadar je videz izdelka utelešen v izdelku samem. Glede na to, da pri t. i. vhodnih kršitvah ne gre za utelešenje videza v samem izdelku, ne moremo govoriti o takšni uporabi videza izdelka, ki bi bila v nasprotju z 12. členom Direktive 98/71 oziroma 37. členom ZIL-1, saj se uporaba ne nanaša na izdelovanje, ponujanje, dajanje na trg, uvažanje, izvažanje ali uporabo izdelka, v katerega je videz izdelka vgrajen ali na katerega je pritrjen, ali skladiščenje takšnega izdelka v te namene. Posledično dejanja usposabljanja programa umetne inteligence po vsej verjetnosti ne predstavljajo kršitve te pravice.58 Druga situacija pa zadeva t. i. izhodne kršitve (output infringement) v zvezi z rezultati, pridobljenimi s pomočjo umetne inteligence. V tem primeru pa gre za to, da umetna inteligenca ustvari videz izdelka, ki je enak videzu izdelka, zaščitenem z modelom, katerega imetnika je druga oseba. Na tem mestu pa ni mogoče zagovarjati stališča, da ni utelešenja videza v samem izdelku, kot to velja pri t. i. vhodnih kršitvah. Bo pa za obstoj kršitve videz izdelka, ustvarjen z umetno inteligenco, moral ustvariti podoben celoten vtis na seznanjenega uporabnika.59 Vprašanje pa je, kdo bo za tako kršitev odgovarjal. Ali bo to uporabnik ali oseba, ki je razvila sistem umetne inteligence, oziroma upravljavec? Na področju avtorskega prava velja, da umetna inteligenca lahko krši tudi avtorske pravice imetnikov pri ustvarjanju novih del. Gre za situacijo, ko algoritem ustvari sliko ali zgodbo, ki krši avtorske pravice drugih. Pri tem dejanju algoritem ne more biti odgovoren za kršitev, saj se lahko avtorska pravica uveljavlja proti osebi in ne stroju oziroma umetni inteligenci. V prvi vrsti se kot odgovorna oseba ponuja uporabnik, torej oseba, ki bo rezultat umetne inteligence uporabila v relevantnem avtorskopravnem smislu (reproduciranje, dostopnost javnosti). Se pa pojavlja tudi stališče, da bi bilo treba v takih primerih ugotoviti, katera oseba je imela vpliv na dejanje algoritma. Pri tem bi bilo verjetno treba razlikovati tudi med primeri, ko je bil algoritem ustvarjen tako, da sploh ne more delovati brez kršenja avtorskih pravic, in primeri, ko je ustvarjen tako, da pri 57 Več o tem glej pri Ovčak Kos in Grošelj, 2024, stran 137 in nad. 58 Tako tudi Yılmaztekin, 2023, stran 60. 59 Yılmaztekin, 2023, stran 65. 76 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . svojem delovanju nujno ne krši avtorskih pravic. V slednjem primeru bi za kršitev lahko bil odgovoren uporabnik, v prvem primeru pa oseba, ki je ustvarila algoritem. Nekateri avtorji omenjajo kompleksnost te rešitve, sploh če se upošteva vedno večja avtonomija algoritmov, kjer je praktično nemogoče identificirati odgovorno osebo za dejanje algoritma.60 Seveda pa je tudi v teh primerih mogoče govoriti o več kršiteljih pravic intelektualne lastnine. Prav tako pasivna legitimacija ni omejena zgolj na neposrednega kršitelja, temveč tudi na osebo, ki pri kršitvi sodeluje ali pomaga ali pa k njej napeljuje, kot to izhaja iz številnih odločitev slovenskih sodišč.61 Glede same oblike udeležbe pri kršitvi je treba v slovenskem pravu uporabiti splošna pravila o odgovornosti več oseb za isto škodo iz 186. člena Obligacijskega zakonika.62, 63 To pomeni, da za škodo, ki jo povzroči več oseb skupaj, odgovarjajo vsi udeleženci solidarno. 7 Zaključek V tem poglavju monografije smo želeli razsvetliti tematiko, ki se nanaša na pomembna vprašanja na področju prava modelov, katerih predmete varstva podpira tehnologija umetne inteligence. Podobna vprašanja se pojavljajo tudi v zvezi z drugimi pravicami intelektualne lastnine, pri čemer pa odgovorov ni mogoče poenostavljati in jih uporabiti enako za vse tovrstne pravice. Med posameznimi pravicami intelektualne lastnine obstajajo razlike, pri čemer so za odgovor na določena vprašanja, ki zadevajo pridobitev oziroma obstoj pravice na stvaritvah, ki jih ustvari umetna inteligenca ali pa so ustvarjene z njeno pomočjo, pomembne predvsem tiste, ki se nanašajo na predmet varstva in pogoje, ki morajo biti za pridobitev posamezne pravice izpolnjeni. Vendarle analiza pravnih pravil kaže, da za nekatera vprašanja, ki se postavljajo v zvezi z vključenostjo umetne inteligence v nastanek intelektualnih stvaritev, velja enak ali podoben zaključek za vse pravice intelektualne lastnine. Podobno kot se umetna inteligenca ne more obravnavati kot avtor in tudi ne kot izumitelj, se tudi ne more obravnavati kot oblikovalec in s tem nosilec »moralnih pravic« iz modela. Prav 60 Szczudlik, 2018. 61 Glej na primer VSL sodba V Cpg 723/2015, ECLI:SI:VSLJ:2015:V.CPG.723.2015, VSL sodba in sklep I Cpg 1184/2013, ECLI:SI:VSLJ:2015:I.CPG.1184.2013, sodba VSRS III Ips 156/2007, ECLI:SI:VSRS:2010:III.IPS.156.2007, in druge. 62 Uradni list RS, št. 97/07 – uradno prečiščeno besedilo, 64/16 – odl. US in 20/18 – OROZ631. 63 Več o tem glej Ovčak Kos v Repas (ur.), 2024, stran 738; Vuga, 2015, stran 64 in nad. M. Repas: Pravno varstvo videzov izdelkov, ustvarjenih z umetno inteligenco 77, ali njeno pomočjo tako velja, da se videzi izdelkov, ki jih ustvari umetna inteligenca sama, ne morejo zavarovati z modelom, ampak sodijo v javno domeno (kot to velja pri »avtorskih« delih, ki jih ustvari umetna inteligenca sama). Drugačen zaključek pa je treba zavzeti glede t. i. vhodnih kršitev, saj velja, da dejanja usposabljanja programa umetne inteligence po vsej verjetnosti ne predstavljajo kršitve modela, ker ne vključujejo tistih dejanj, ki jih zakonodaja predpisuje kot možne oblike kršitev. Na področju umetne inteligence in pravic intelektualne lastnine se postavljajo številni izzivi, ki jih bo zagotovo treba nasloviti v prihodnosti. Pravna ureditev ni v celoti usklajena z napredkom tehnologije, popolne uskladitve pa seveda tudi ni mogoče pričakovati zaradi nenehnega razvoja tehnologije umetne inteligence, ki je vedno v prednosti pred »prepočasnim« pravnim urejanjem. Pravo torej ne more slediti tako hitremu napredku in razvoju tehnologije. Ne glede na to je pomembno, da se v praksi razvijejo in v zakonodaji (kadar je to potrebno) določijo jasna pravila varstva intelektualne lastnine v kontekstu umetne inteligence in da se zagotovi primerno ravnovesje med varstvom pravic ustvarjalcev in spodbujanjem inovacij oziroma kreativnosti. Literatura Antikainen, M., Härkönen, H. (2024) v Beldiman, D. (ur.), Artificial Intelligence and EU Design Law (Cheltenham: Edward Elgar Publishers), http://dx.doi.org/10.2139/ssrn.4575982. Bently, L., Sherman, B., Gangjee, D., Johnson, P. (2018) Intellectual Property Law (Oxford: Oxford University Press). Brown, A., Kheria, S., Cornwell, J., Iljadica, M. (2019): Contemporary Intellectual Property, Law and Policy (Oxford: Oxford University Press). Caen, A. D. (2020) AI-Generated Fashion Designs: Who or What Owns the Goods?, Fordham Intellectual Property, Media and Entertainment LawFordham Intellectual Property, Media and Entertainment Law, 30(2), strain 593–644. Davis, R., Quintin, T. St., Tritton, G. (2018) Tritton on Intellectual Property in Europe (London: Sweet & Maxwell). Ginsburg, J. C. (2020) v: Austin, G. W, Christie, A. F., Kenyon, A. T., Richardson, M. (ur.), People Not Machines: Authorship and What It Meacs in International Copyright Law, Across Intellectual Property: Essays in Honour of Sam Ricketson (Cambridge: Cambridge University Press). Greene, J., Longobucco, A. M. (2018) Is Artificial Intelligence the Newest Trend in Fashion?, https://www.law.com/newyorklaw journal/2018/08/24/artificial intelligence-the-newest-trend-in-fashion/[https://perma.cc/ZS56-9V64] (obiskano: 12. 1. 2025). Hasselblatt, G. N. (ur.) (2018) Community Design Regulation – Article-by-Article Commentary (München: Verlag C. H. Beck). Kuypers, L., in De Clercq, K. (2024) The Interaction Between Artificial Intelligence and Design: An Analysis Under EU Design Law, https://gevers.eu/blog/the-interaction-between-artificial-intelligence-and-design-an-analysis-under-eu-design-law/ (obiskano: 12. 1. 2025). 78 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Marković, S. M. (2013) Pravo intelektualne svojine, Pravni fakultete Univerziteta u Beogradu (Beograd: Centar za izdavaštvo in informisanje). McCarthy, J. (1990) What Is Artificial Intelligence?, http://www- formal.stanford.edu/jmc/whatisai.pdf (obiskano: 12. 1. 2025). Ovčak Kos, M., Grošelj, D. (2024), Delovanje in uporaba velikih jezikovnih modelov in z njimi povezana avtorskopravna vprašanja: primer orodja CHATGPT, v: Keresteš T. (ur.) Digitalne platforme: pravni in ekonomski izzivi (Maribor: Univerza v Mariboru, Univerzitetna založba), strani 123–154. Repas, M. (ur.) (2023) Pravo intelektualne lastnine (Ljubljana: Uradni list RS). Russell, S. J., Norvig, P. (2021) Artificial Intelligence: A Modern Approach (Harlow: Pearson Education). Szczudlik, K. (2018) Liability For Copyright Infringement By AI, https://www.mondaq.com/copyright/690144/liability-for-copyright-infringement-by-ai (obiskano: 12. 1. 2025). Trampuž, M., Oman, B., Zupančič, A. (1997) Zakon o avtorski in sorodnih pravicah (ZASP) s komentarjem (Ljubljana: Gospodarski vestnik). Turing, A. M. (1950) Computing Machinery and Intelligence, LIX (236) Mind, 433–460 https://doi.org/10.1093/mind/LIX.236.433. Vuga, T. (2015) Kako zavarovati industrijsko lastnino (Ljubljana: GV Založba). Yılmaztekin, H. K. (2023) Artificial Intelligence, Design Law and Fashion (New York: Routledge). Extended abstract The impact of the increasing spread of artificial intelligence is reflected in many legal areas, of which intellectual property law is far from exempt. One of the intellectual property rights is also a design, which protects the appearance of products (for example, the shapes of phones, toys, etc.), on which artificial intelligence also has an impact. Artificial intelligence can be included in the design process as a tool, or it can also be an independent “designer” of the product appearance. As a result, we can talk about the appearance of a product that is created with the help of artificial intelligence (AI-assisted designs) and the appearance of a product that is created by artificial intelligence itself (AI-generated designs). The use of artificial intelligence technologies in the field of product appearance raises important legal questions, namely: (i) whether artificial intelligence can be the designer of a product appearance or the owner of a design to which it is entitled to exclusive rights, (ii) whether product appearance created by or with the help of artificial intelligence can be protected by a design at all, and (iii) whether product appearance created by or with the help of artificial intelligence can infringe previously registered designs. The relevant legal instruments do not provide direct answers to these questions. However, similar questions also arise in relation to other intellectual property rights, but the answers cannot be simplified and applied equally to all such rights due to differences between several intellectual property rights. The issues raised above are analysed from the perspective of EU law. The analysis is also of great importance for the Slovenian legal system, given that this intellectual property right is the subject of harmonisation in the EU Member States. The EU legislator has adopted regulations governing this intellectual property right. The first is Directive on the legal protection of designs, which approximated the regulation of this area in all EU Member States, and the second is Regulation on Community designs (now amended by new Regulation 2024/2822), on the basis of which a so-called EU design can be obtained, i.e. an intellectual (industrial) property right with a uniform nature, as it is created, transferred and terminated for the entire EU area. In 2024, the new Directive on the legal protection of designs entered into force, the provisions of which EU Member States will have to transpose into national law by 9 December 2027. The changes brought about by the new Directive also concern the protection of product appearances in the digital age. M. Repas: Pravno varstvo videzov izdelkov, ustvarjenih z umetno inteligenco 79, ali njeno pomočjo The relevant EU instruments do not define the concept of a designer. The wording used by these EU legal provisions refers to the development of a design and thus to the developer. Some guidance that a designer of a design can only be a (natural) person or a group of natural persons also indirectly follows from other provisions of the EU Regulation. Consequently, artificial intelligence cannot be a designer and thus a right holder. However, the situation should be different when a product appearance is developed by a natural person using artificial intelligence technology, when their intervention in the process of developing the design is sufficient and does not need to be creative or inventive. Creativity is required for obtaining a copyright, while inventiveness is required for a patent. A design protects the appearance of a product that is new and has an individual character. In theory, the view is that an appearance of the product created by artificial intelligence without human intervention does not meet the requirements for protection under this intellectual property right. Such appearances belong to the public domain and can be used by anyone without obtaining any consent or permission. In this regard, it may be necessary to consider establishing a sui generis intellectual property right, modeled on related rights in copyright law, which protect investments or undertakings that are similar to the author's creative work or that take place in relation to the works of authors (such as performers' rights, phonogram producers' rights, film producers' rights, and others). The holder of a registered design has the exclusive right to use the protected product appearance (positive right) but also has the right to prevent any third party from using it without their consent (negative right). Use means making, offering, placing on the market, importing, exporting or using a product in which the appearance is incorporated or to which it is attached, or storing the product for these purposes. According to the new Directive, such use also includes the creation, transmission, copying and sharing or distribution to others of any medium or software on which the design is recorded in order to enable the production of the product. A design is infringed when a third party uses a product in which the appearance is incorporated or to which it is attached without the consent of the holder of the design in such a way that it creates the same overall impression on the informed user. In relation to design infringement, a distinction must be made between so-called input infringement and so-called output infringement. As regards the first, the theory holds the view that there are no input infringements because the design is not embodied in the product itself, which is a condition for infringement according to legislation. Such an act is consequently not considered relevant for the purposes of infringement of this intellectual property right. Output infringements, on the other hand, refer to results obtained with the help of artificial intelligence technology and are embodied in the product. An infringement can be considered to have occurred if such a design of a product creates the same or a similar impression on the user as an already registered design, and an infringement will be committed. Another issue concerns the attribution of liability for such an infringement: whether responsibility lies with the user, the developer of the artificial intelligence system, or the system’s operator. Naturally, even in such cases, it is possible to identify multiple infringers of intellectual property rights, who may be held jointly and severally liable for the damage caused. In the field of artificial intelligence and intellectual property rights, there are many challenges that will certainly need to be addressed in the future. Legal regulation is not fully aligned with technological progress, and full harmonisation cannot be expected due to the continuous development of artificial intelligence technology, which always takes precedence over “too slow” legal regulation. Therefore, the law cannot keep up with such rapid progress and development of technology. Regardless, it is important to develop in practice and set out in legislation (where necessary) clear rules for the protection of intellectual property in the context of artificial intelligence, and to ensure an appropriate balance between protecting the rights of creators and promoting innovation and creativity. 80 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . AVTOR BREZ ZAVESTI: DOI https://doi.org/ 10.18690/um.pf.11.2025.4 PRAVNI VIDIKI USTVARJALNOSTI ISBN 978-961-299-086-2 UMETNE INTELIGENCE N 1, 3 IKOLA J 2, OVANOVIĆ 1 Univerza v Mariboru, Ekonomsko-poslovna fakulteta, Maribor, Slovenija nikola.jovanovic1@um.si 2 Univerza v Mariboru, Pravna fakulteta, Maribor, Slovenija nikola.jovanovic1@um.si 3 Univerza na Primorskem, Fakulteta za management, Koper, Slovenija nikola.jovanovic1@um.si Poglavje obravnava pravne izzive umetne inteligence na področju Ključne besede: inteligenca, avtorskega prava, zlasti vprašanje, ali lahko dela, ustvarjena z umetna inteligenca, umetno inteligenco, uživajo pravno varstvo. Uvodoma avtor avtorsko pravo, umesti razvoj umetne inteligence v zgodovinski kontekst avtorstvo, avtor, posnemanja človeške ustvarjalnosti. Osredotoča se na razlikovanje avtorsko delo med pravnimi dilemami učenja modelov in statusom del umetne inteligence, pri čemer se to poglavje posveča slednjemu. V nadaljevanju predstavi osnovne pojme umetne inteligence ter izpostavi konceptualne nejasnosti in značilnosti njenega ustvarjalnega delovanja. Analizira temeljne predpostavke avtorskega prava, zlasti pomen človekove ustvarjalnosti za pravno varstvo. Na podlagi pravne analize konkretnih primerov avtor ugotavlja, da dela, ki jih ustvari zgolj umetna inteligenca, ne morejo uživati avtorskega varstva, saj manjka ključna komponenta – človeška ustvarjalnost, ki je bistvena za obstoj avtorskega dela. DOI AUTHOR WITHOUT https://doi.org/ 10.18690/um.pf.11.2025.4 ISBN ONSCIOUSNESS C: LEGAL 978-961-299-086-2 ASPECTS OF ARTIFICIAL INTELLIGENCE CREATIVITY N 1, 2, 3 IKOLA J OVANOVIĆ 1 University of Maribor, Faculty of Economics and Business, Maribor, Slovenia nikola.jovanovic1@um.si 2 University of Maribor, Faculty of Law, Maribor, Slovenia nikola.jovanovic1@um.si 3 University of Primorska, Faculty of Management, Koper, Slovenia nikola.jovanovic1@um.si Keywords: This chapter examines the legal implications of artificial intelligence, intelligence (AI) in copyright law, focusing on whether works artificial intelligence, copyright law, created autonomously or with AI assistance can be protected. The authorship, introduction situates AI within the historical trajectory of tools works designed to mimic or replace human functions, including creativity. As AI generates content comparable to human-authored works, legal doctrine faces new challenges. The chapter distinguishes between two key issues: (1) potential copyright infringement during AI model training, and (2) the legal status of AI-generated content – the focus here. The second section clarifies basic AI concepts, types, and the ambiguities surrounding its creative capacities. The third part revisits foundational copyright principles, especially the link between authorship and protection, questioning whether non-human-generated works meet legal standards. The final section analyzes case examples and concludes that fully AI-generated works cannot qualify for copyright protection, lacking the essential human creative element. The author rejects formalistic views, emphasizing the necessity of human authorship. N. Jovanović: Avtor brez zavesti: pravni vidiki ustvarjalnosti umetne inteligence 83, 1 Uvod Tehnologija spremlja človeštvo že od njegovih začetkov. Že od trenutka, ko je človek začel kultivirati naravo okoli sebe, ga je na tej poti spremljala tudi tehnologija. Ne glede na to, ali gre za primitivna orodja ali sofisticirane sisteme generativne umetne inteligence, je tehnologija vselej ostajala zgolj orodje v človekovih rokah.1 V zadnjih letih so v medijih vse pogosteje prisotni prispevki, ki bodisi podpirajo bodisi zavračajo razvoj in uporabo umetne inteligence. Nekateri napovedujejo njeno popolno dominacijo nad človeškimi dejavnostmi, drugi pa opozarjajo na njene omejitve in inherentne pomanjkljivosti.2 Kljub današnji izjemni popularnosti pojma umetne inteligence, je treba izpostaviti, da ne gre za novo poglavje v dolgi zgodovini človeškega, pogosto ambivalentnega, odnosa do tehnologije. Ravno nasprotno, koncept umetne inteligence je star skoraj toliko kot človek sam, medtem ko terminološka raba izraza »umetna inteligenca« sega skoraj stoletje nazaj. Kar danes označujemo kot umetno inteligenco, predstavlja zgolj novo iteracijo človekovih prizadevanj za ustvarjanje tehnologije, ki bi bila sposobna opravljati naloge, doslej konceptualno in praktično povezane zgolj s človekom. Eno od takšnih področij je ustvarjalnost – sposobnost projektiranja notranjega sveta posameznika v obliko, ki je zaznavna drugim. Ob tem se je umetna inteligenca izkazala za izjemno uspešno pri ustvarjanju del, ki so v rabi v industrijah, kjer je bila ustvarjalnost doslej domena avtorjev, oblikovalcev in drugih kreativnih poklicev. Zaradi teh dosežkov so se začela zastavljati številna vprašanja glede pravnega varstva tovrstne »psevdo-ustvarjalnosti« umetne inteligence, zlasti v okviru prava intelektualne lastnine, še posebej pa v okviru avtorskega prava. Avtorsko pravo namreč predstavlja enega ključnih mehanizmov za varstvo in monetizacijo kreativnih industrij, katerih poslovni modeli v veliki meri temeljijo na ekonomskem izkoriščanju intelektualne lastnine. Posledično je umetna inteligenca sprožila živahne razprave o tem, kaj je danes pravno dovoljeno ustvariti z umetno inteligenco, pa tudi o tem, kako bo avtorsko pravo obravnavalo takšna dela v prihodnosti – predvsem, ali bo pravo znalo ponuditi konceptualne in praktične odgovore na izzive, ki jih umetna inteligenca zastavlja. Znotraj številnih pravnih vprašanj, ki se pojavljajo v razmerju med avtorskim 1 Buchanan, History of technology, Britannica, dostopno na https://www.britannica.com/technology/history-of-technology (obiskano: 10. 3. 2025). 2 Au-Yong-Oliveira et al., 2020, stran 1–6. 84 OD ALGORITMA DO PRAVA. pravom in generativno umetno inteligenco, sta se v pravni doktrini in praksi izoblikovali dve temeljni problematiki. Prva se nanaša na morebitno kršitev avtorskih pravic avtorjev obstoječih del v okviru postopka učenja modelov umetne inteligence (ang. training data infringement). Druga pa se osredotoča na pravni status del, ki nastajajo s pomočjo ali neposredno prek umetne inteligence – natančneje, pod katerimi pogoji, če sploh, se takšna dela lahko štejejo za avtorska dela in komu pripadajo pravice do teh del, saj po trenutno veljavni zakonodaji status avtorja pripada zgolj fizični osebi, ne pa stroju. Iz tega vprašanja se je v teoriji odprla razprava tudi o vprašanju morebitne spremembe definicije avtorja v korist umetne inteligence. To poglavje v monografiji se ne opredeljuje do vprašanj morebitnih kršitev avtorskih pravic v procesu učenja modelov (saj to konceptualno predstavlja posebno celoto in presega namene tega poglavja), temveč se osredotoča zgolj na drugo vprašanje. Najprej konceptualno celovito na laičen način predstavi idejo in fenomen umetne inteligence, njen razvoj, težave pri definiranju in način delovanja, kot ga poznamo danes. Ta predstavitev je nujna, saj daje osnovno razumevanje fenomena umetne inteligence, ki ga iz tehnološkega diskurza neposredno skušamo integrirati v avtorsko pravo, torej preučevati njegove pravne posledice. Določene specifične razlike in podrobnosti v delovanju umetne inteligence lahko namreč bistveno vplivajo na pravno obravnavo tega pojava – bodisi pri posameznih učinkih bodisi pri obravnavi kot celote.3 Tej tematiki je namenjen celoten drugi razdelek. Nadalje poglavje obravnava odnos med avtorskim pravom in tehnologijo kot celoto ter analizira vpliv konceptualizacije umetne inteligence na razumevanje avtorstva v luči temeljnega namena (lat. ratio legis) avtorskega prava. Prvi del tretjega razdelka je namenjen prav tej analizi. V nadaljevanju istega razdelka pa je analiziran pojem avtorskega dela in avtorja, pri čemer sta oba pojma proučena tako, kot ju opredeljujejo zakonodaja, pravna doktrina in sodna praksa EU ter Republike Slovenije. V četrtem razdelku so skozi analizo ustvarjalnega procesa predstavljene oblike del, ki so nastale z uporabo ali avtonomno s strani umetne inteligence. Na podlagi kriterijev iz tretjega razdelka pa so opredeljeni pogoji, ki jih morajo ta dela izpolnjevati, da bi jih lahko šteli za avtorska. Problematiki del, ki jih avtonomno ustvari umetna inteligenca, je posvečen poseben podrazdelek. V zadnjem razdelku so strnjene zaključne ugotovitve. 3 Primeroma lahko razlika med zmogljivostjo šibke in generalne (splošne) inteligence vpliva na različno razumevanje zmogljivosti in delovanja umetne inteligence pri procesu ustvarjalnosti, kar lahko ima posledice za usodo del umetne inteligence. Po drugi strani je definiranje pojma inteligence pomembno v kontekstu razmerja med umetno inteligenco in namenom avtorskega prava. N. Jovanović: Avtor brez zavesti: pravni vidiki ustvarjalnosti umetne inteligence 85, To poglavje v monografiji tudi ne obravnava vprašanja morebitnega oblikovanja sui generis pravic za ustvarjalce modelov umetne inteligence ali varstva teh del prek sistema sorodnih pravic, saj to vprašanje, četudi sodi v problematiko tega poglavja, presega njegove okvire.4 2 Umetna inteligenca – pojem, razvoj in vrste 2.1 Kratka in »poenostavljena« zgodovina umetne inteligence Umetna inteligenca je kot besedna zveza relativno mlada in še oblikujoča se terminološka ter semantična stvaritev. Gre za krovni pojem, ki zajema različne računalniške algoritme, sposobne opravljati naloge, ki običajno zahtevajo človeško inteligenco, kot so razumevanje naravnega jezika, prepoznavanje vzorcev, sprejemanje odločitev in učenje iz izkušenj.5 Nastanek tega izraza umeščamo v leto 1956 in delavnico na Dartmouth College-u, kjer je John McCarthy – ameriški profesor računalniških in kognitivnih znanosti, poznan tudi kot »oče umetne inteligence« – skupaj s sodelavci v predlogu za poletni raziskovalni projekt prvič skoval pojem »artificial intelligence«.6 Fenomen ustvarjanja inteligentnih strojev pa je precej starejši od samega izraza. Že od prvih filozofskih razmislekov o človeku in naravi obstaja želja po razširitvi človeškega kreativnega potenciala na področje umetnih bitij – strojev, ki bi bili sposobni opravljati naloge, izražati čustva in celo razmišljati podobno kot človek. Tako v antiki najdemo številne mite, ki odražajo to hrepenenje,7 kot je denimo mit o grškem bogu Hefajstu, ki je ustvaril mehanske sužnje. 8 Srednji vek ter poznejša obdobja humanizma in racionalizma so bila ključna za razvoj filozofskih, metafizičnih, matematičnih in logičnih temeljev, ki so omogočili boljše razumevanje človeškega mišljenja in inteligence. Descartes, Leibniz, Hobbes, Pascal in drugi pomembni misleci so s svojimi deli utrli pot povezovanju matematičnih sistemov in človekovega mišljenja.9 Na osnovi Aristotelove silogistične logike se je razvila ideja, da je racionalne miselne procese mogoče 4 V povezavi s sui generis pravico glej Bogataj Jančič, 2021, stran 186. 5 Leonardo in Gero, 2023 stran 2. 6 McCarthy et al., 1955. 7 Za poglobljeno analizo ideje umetne inteligence v antični mitologiji glej Mayor, 2018. 8 Prav tam, strani 129–156. 9 Buchanan, 2005, stran 53; Wiliams, 2024; Schneppat, 2025. 86 OD ALGORITMA DO PRAVA. formalizirati v matematični jezik, kar je kasneje postalo ključno za razvoj umetne inteligence. 10 Industrijska revolucija in z njo povezane potrebe po kompleksnih in avtomatiziranih izračunih so spodbudile razvoj prvih računalnikov. Eden izmed ključnih dosežkov tega obdobja je delo Georgea Boolea, ki je v svoji knjigi An Investigation of the Laws of Thought11 razvil t. i. Booleovo algebro. S tem je formaliziral logično sklepanje v obliki binarnih operacij, kar je postavilo temeljno načelo, da je mišljenje mogoče izraziti matematično. Booleova logika, ki je poenostavila kompleksne oblike človeškega razmišljanja v niz osnovnih logičnih funkcij, še danes predstavlja osnovo za delovanje računalniških sistemov.12 S povezavo med Boolovo logiko in delovanjem električnih vezij je bil vzpostavljen binarni jezik, ki človeku omogoča programiranje in avtomatizacijo strojev.13 Naslednji prelomni mejnik v razvoju umetne inteligence predstavlja delo Alana Turinga.14 Leta 1936 je v članku On Computable Numbers, with an Application to the Entscheidungsproblem predstavil t. i. Turingov stroj – teoretični model splošnega računanja. Leta 1950 je nato v znamenitem eseju Computing Machinery and Intelligence15 predlagal danes pogosto omenjan Turingov test.16 S tem je odprl temeljna vprašanja o tem, kako primerjati strojno inteligenco, kar ima še danes osrednji pomen v pravnih in etičnih razpravah.17 Ključni dogodek v institucionalizaciji umetne inteligence kot znanstvene discipline je bila že omenjena konferenca v Dartmouthu leta 1956. Na tej je bil umetni inteligenci prvič formalno priznan status samostojnega raziskovalnega področja, ločenega od klasične računalniške znanosti, ki se je do tedaj primarno ukvarjala z razvojem strojne opreme in osnovne programske infrastrukture.18 10 Ifeanyi in Maduabuchi, 2024; Kramer, 1996, strani 84–87. 11 Boole, 1854. 12 Darwiche, 2020, strani 229–243. 13 To tradicijo so nadgradili Gottlob Frege z Begriffsschrift, Bertrand Russell in Alfred North Whitehead s Principia Mathematica ter Kurt Gödel s svojimi izreki o nepopolnosti, ki so pomagali bolje razumeti možnosti in omejitve formalne logike, kar je ključno za prihodnje modele računalniškega mišljenja. 14 Populariziran v splošni javnosti skozi film Imitation Game iz leta 2014. Več o tem glej https://www.imdb.com/title/tt2084970/ (obiskano: 13. 4. 2025). 15 Turing, 1950, strani 433–460. 16 Turing, 1936, strani 230–265. 17 V primeru, če človek komunicira z dvema osebama, od katerih je ena v resnici stroj. Če človek ne more razlikovati stroja od človeka, potem lahko štejemo ta stroj kot inteligenten. 18 McCarthy, 1955. N. Jovanović: Avtor brez zavesti: pravni vidiki ustvarjalnosti umetne inteligence 87, Zgodnje raziskave umetne inteligence so se osredotočale na t. i. simbolno umetno inteligenco, poznano tudi kot »klasična umetna inteligenca« oziroma ang. Good Old-Fashioned Artificial Intelligence - GOFAI. Ti t. i. ekspertni sistemi so z manipulacijo simbolov in uporabo vnaprej določenih pravil poskušali posnemati človeško mišljenje – podobno kot tudi pravni sistemi temeljijo na natančno določenih pravilih.19 Vendar pa so se v praksi pojavile težave, saj je bilo ročno kodiranje vseh potrebnih pravil in znanja izjemno zahtevno. V 80. in 90. letih je to privedlo do prve »zime umetne inteligence« – obdobja, ko so zaradi tehničnih omejitev in razočaranj nad rezultati vlaganja v razvoj umetne inteligence močno upadla. Po propadu ekspertnih sistemov in prihodu nove hladne dobe umetne inteligence je prišlo do začetka t. i. sintetične umetne inteligence, katere napredek temelji na posebni panogi matematične in računalniške znanosti - strojnem učenju in njegovih podskupinah, kot so nevronske mreže in globoko učenje. Strojno učenje je uvedlo modele, ki se učijo vzorcev neposredno iz podatkov brez vnaprej programiranih pravil. Tudi razvoj statistične umetne inteligence ni bil hiter in enostaven, saj je več različnih komponent (velika količina podatkov, tehnična zmogljivost računalnikov ipd.) omejevalo njen vnaprejšnji razvoj. Kljub temu so se na področju umetne inteligence tudi v tem obdobju dogajali pomembni preboji. Leta 1997 je IBM-ov Deep Blue premagal svetovnega šahovskega prvaka Garryja Kasparova, kar je dokazalo, da lahko umetna inteligenca premaga človeka tudi na področjih, ki zahtevajo kompleksno mišljenje, in sprožilo razmislek o vlogi umetne inteligence v poklicih, ki so bili prej izključno človeški.20 Velik preporod in ključni mejnik v skorajšnji zgodovini umetne inteligence je prinesel uspeh globokega učenja leta 2012, ko je ekipa Geoffreyja Hintona, profesorja MIT, zmagala na tekmovanju ImageNet s pomočjo globoke konvolucijske nevronske mreže.21 Leta 2020, ko se je začela splošno razširjena vsakdanja uporaba umetne inteligence, so se pojavili generativni modeli umetne inteligence, kot so OpenAI-jev GPT, Claude družbe Anthropic ipd., ki so omogočali uporabo modelov umetne inteligence z uporabo navadnega jezika (ang. natural language processing) in razširili zmogljivosti umetne inteligence na področje ustvarjanja besedil, slik in programske 19 Leonardo in Gero, 2023, stran 2; Mira, 2008, strani 671–680. 20 Campbell et al. 2002, strani 57–83. 21 Krizhevsky et al., 2012. 88 OD ALGORITMA DO PRAVA. kode, kar je do sedaj poslednji pomemben splošni mejnik v razvoju umetne inteligence. 2.2 Umetna inteligenca danes – strojno in globoko učenje ter nevronske mreže Kot smo nakazali že v prejšnjem podrazdelku, se je razvoj umetne inteligence od simbolične, na pravilih temelječe paradigme, preusmeril v smer statistične umetne inteligence. Namesto da bi stroji delovali izključno na podlagi vnaprej določenih pravil, ki jih je oblikoval človek, sodobne metode umetne inteligence temeljijo na pristopu, kjer se stroji sami učijo iz obstoječih podatkov in vzorcev. Jedro tega premika predstavlja področje strojnega učenja (ang. machine learning, ML), ki je danes eno temeljnih raziskovalnih in aplikativnih področij umetne inteligence. Strojno učenje kot podpodročje umetne inteligence razvija algoritme, ki omogočajo, da računalniški sistemi samostojno rešujejo naloge z učenjem iz podatkov brez potrebe po eksplicitnem programiranju pravil za vsako posamezno nalogo. Gre torej za postopke, kjer se učinkovitost računalniškega sistema izboljšuje s kopičenjem izkušenj. Te izkušnje pa so največkrat v obliki opazovalnih podatkov ali interakcij z okoljem. Poenostavljeno povedano, strojno učenje računalnikom omogoča, da namesto vnaprejšnje določitve relacij med simboli ali podatki samostojno obdelujejo velike količine surovih podatkov in pri tem samoiniciativno ustvarjajo kompleksne relacije, vzorce in odločitvena pravila. Razvoj strojnega učenja se je prvotno osredotočal na specifične naloge, kot so prepoznavanje slik in zvoka ter avtomatizirano prevajanje besedil. Z rastjo količine dostopnih podatkov in napredkom v računalniški moči pa je strojno učenje postalo temelj za razvoj še zahtevnejših metod, ki danes tvorijo jedro tega, kar označujemo kot moderno umetno inteligenco.22 Znotraj področja strojnega učenja ločimo več ključnih pristopov, ki se razlikujejo glede na naravo podatkov in ciljev: − Nadzorovano učenje (ang. supervised learning) pomeni, da algoritem treniramo na predhodno označenih podatkovnih nizih, kjer so podatki že povezani z ustreznimi rezultati. Gre za učenje preslikave med vhodnimi in izhodnimi podatki, ki omogoča napovedovanje rezultatov za nove, še nevidene primere.23 22 Leonardo in Gero, 2023, strani 2. 23 Prav tam. N. Jovanović: Avtor brez zavesti: pravni vidiki ustvarjalnosti umetne inteligence 89, − Nenadzorovano učenje (ang. unsupervised learning) se uporablja pri neoznačenih podatkih, kjer algoritem sam išče skrite strukture, vzorce ali skupine brez vnaprejšnjih navodil o tem, kaj naj najde. − Učenje z okrepitvijo (ang. reinforcement learning) pa temelji na principu, da se agent (računalniški program) uči z interakcijo z okoljem, pri čemer si prizadeva maksimirati kumulativne nagrade preko mehanizma poskusov in napak.24 Čeprav obstajajo številni algoritmi strojnega učenja, imajo vsi skupno lastnost, da podatke obdelujejo za namene klasifikacije, regresije ali združevanja v skupine. Med značilne metode sodijo, denimo, odločitvena drevesa, metoda k-najbližjih sosedov ter podporni vektorski stroji.25 Pomembno podpodročje strojnega učenja, ki je zaznamovalo zadnje desetletje, je t. i. globoko učenje (angl. deep learning, DL). Globoko učenje predstavlja naprednejšo obliko strojnega učenja, ki temelji na uporabi umetnih nevronskih mrež.26 Te mreže so računski modeli, ki so bili navdihnjeni s strukturo in delovanjem človeških možganov. Umetne nevronske mreže so sestavljene iz več medsebojno povezanih enot, imenovanih umetni nevroni. Vsak nevron sprejema vhodne informacije, jih s pomočjo matematičnih operacij obdela in nato prenaša naprej po mreži. Pri globokem učenju so te mreže organizirane v več zaporednih plasti, kjer vsaka plast od prejšnje prejema podatke, jih obdela in rezultate pošlje naslednji plasti.27 Zaradi večjega števila t. i. skritih plasti (ang. hidden layers) globoke nevronske mreže omogočajo modeliranje zelo kompleksnih in abstraktnih vzorcev v podatkih.28 Zaradi svoje zmožnosti obdelave velikih količin visokodimenzionalnih podatkov – bodisi enodimenzionalnih (npr. besedilni podatki, signali), bodisi večdimenzionalnih (npr. slike, videoposnetki, zvok) so metode globokega učenja postale temelj za sodobne preboje na področjih, kot so računalniški vid, obdelava naravnega jezika, robotika in številna druga področja. Napredki na področju globokega učenja so omogočili številne nove aplikacije, ki jih že danes uporabljajo uporabniki po vsem svetu.. Na spletu je že danes ogromno vsebin, ki jih ustvarja umetna inteligenca. Vsak dan uporabniki komunicirajo s 24 Več o tem v Kühl, 2022. 25 Zhang et al., 2021. 26 Prav tam. 27 Prav tam. 28 Goodfellow et al., 2016. 90 OD ALGORITMA DO PRAVA. klepetalnimi roboti, generirajo slike, videe, kodo in druge vsebine ter tako spreminjajo dosedanji koncept komunikacije s tehnologijo. Vse pogosteje se pojavljajo razprave o spremembi pristopa k programiranju – iz modela, kjer človek s pomočjo umetne inteligence piše kodo, v model, kjer umetna inteligenca piše kodo ob pomoči človeka.29 2.3 Problem definicije umetne inteligence – semantične vratolomnice 2.3.1 Vrste in definicije umetne inteligence Trenutno so v splošni javnosti in teoriji najbolj uveljavljene naslednje vrste umetne inteligence: (i) šibka oziroma generativna umetna inteligenca, (ii) generalna ali splošna umetna inteligenca in (iii) superinteligenca, vendar le kot teoretični koncept. Šibka umetna inteligenca (ang. generative artificial inteligence), pogosto imenovana tudi generativna umetna inteligenca, predstavlja tisto, kar danes splošna javnost prepoznava kot umetno inteligenco. Gre za sisteme, ki so sposobni opravljanja določenih nalog na ravni človeka, vendar nimajo zavesti, samozavedanja ali pravega razumevanja sveta. Ti sistemi delujejo v vnaprej določenih in omejenih okvirih, brez sposobnosti posploševanja znanja zunaj svojih specifičnih nalog.30 Primeri šibke umetne inteligence vključujejo generativne modele, kot so ChatGPT (OpenAI), Bard (Google DeepMind) ali Claude (Anthropic) in specializirane sisteme za prepoznavanje slik, govora, prevajanje ipd. Splošna umetna inteligenca (ang. artificial general inteligence - AGI) pomeni razvoj sistemov, ki bi lahko razumeli, učili, prilagajali in utemeljevali na način, primerljiv ali celo superioren človeški inteligenci. V nasprotju s šibko umetno inteligenco, ki je omejena na določene naloge, bi splošna umetna inteligenca lahko reševala katerokoli intelektualno nalogo, ki jo lahko opravi človek.31 Trenutno še ne obstaja tak delujoč sistem, vendar se raziskave in razvoj intenzivno usmerjajo v to smer. Podjetja, kot so OpenAI, DeepMind in Anthropic, so v svojih strateških načrtih jasno izrazila cilj doseganja splošne umetne inteligence.32 29 Glej https://poolside.ai/vision (obiskano: 10. 3. 2025). 30 O splošni umetni inteligenci glej Bowen, 2024. 31 Prav tam. 32 Şuşnea, 2024, strani 344–361. N. Jovanović: Avtor brez zavesti: pravni vidiki ustvarjalnosti umetne inteligence 91, Superinteligenca (ang. artificial super intelligence - ASI) je teoretični koncept entitete, katere intelektualne sposobnosti močno presegajo sposobnosti najboljših človeških umov v praktično vseh pomembnih disciplinah, vključno z znanstvenim sklepanjem, socialno spretnostjo in ustvarjalnostjo. Teoretiki opozarjajo, da bi razvoj superinteligence lahko predstavljal največji eksistencialni izziv človeštvu, saj bi nenadzorovana superinteligenca lahko imela nepredvidljive in potencialno katastrofalne posledice za družbo.33 Trenutno ni nobenih empiričnih dokazov o obstoju superinteligence, vendar teoretične diskusije o tem, kako bi lahko razvoj vodil do nje (npr. preko procesa samopoboljševanja), ostajajo ključne v razpravah o prihodnosti umetne inteligence.34 Pomembno je poudariti, da so poimenovanja vrst in z njimi povezane spekulacije pogosto tarča kritik, saj se ti izrazi v zadnjih letih uporabljajo tudi v investicijske in marketinške namene. Zato je ključno te pojave natančno spremljati in razumeti, da bi si oblikovali jasno sliko ter ustrezno opredelili problem. Zaradi različnih in hitro spreminjajočih okoliščin v povezavi z vrstami umetne inteligence se tudi definicija le-te hitro spreminja. Različne panoge tej dodajajo različne epitete, kar potem vpliva na oblikovanje različnih definicij umetne inteligence. Za pravo so vsekakor najbolj relevantne uradne definicije reprezentativnih institucij. EU je pojem umetne inteligence opredelila v Aktu o umetni inteligenci (Artificial Intelligence Act – AIA),35 kjer ga definira kot sistem temelječ na napravah, ki je zasnovan za delovanje z različnimi stopnjami avtonomije in lahko po uvedbi izkaže prilagodljivost ter za eksplicitne ali implicitne cilje iz prejetih vhodnih podatkov sklepa, kako ustvariti izhodne podatke, kot so napovedi, vsebine, priporočila ali odločitve, ki lahko vplivajo na fizična ali virtualna okolja. Skupina strokovnjakov na visokem nivoju za umetno inteligenco (High-Level Expert Group on AI) je leta 2020 v dokumentu A definition of AI: Main capabilities and scientific disciplines opredelila sisteme umetne inteligence kot programske (in morda tudi strojne) sisteme, ki jih oblikujejo ljudje in ki ob postavljenem kompleksnem cilju delujejo v fizični ali digitalni dimenziji tako, da zaznavajo svoje okolje preko pridobivanja podatkov, interpretirajo zbrane strukturirane ali nestrukturirane podatke, sklepajo na podlagi 33 Kritično o superinteligenci Bostrom, 2014. 34 Prav tam. 35 Določba 3. člena Uredbe (EU) 2024/1689 Evropskega parlamenta in Sveta z dne 13. junija 2024 o določitvi harmoniziranih pravil o umetni inteligenci in spremembi uredb (ES) št. 300/2008, (EU) št. 167/2013, (EU) št. 168/2013, (EU) 2018/858, (EU) 2018/1139 in (EU) 2019/2144 ter direktiv 2014/90/EU, (EU) 2016/797 in (EU) 2020/1828 - Akt o umetni inteligenci (UL L 2024/1689, 12. 7. 2024). 92 OD ALGORITMA DO PRAVA. pridobljenega znanja ali obdelujejo informacije iz teh podatkov ter odločajo o najboljših ukrepih za dosego zastavljenega cilja.36 2.3.2 Umetna in »človeška« inteligenca Čeprav umetna inteligenca natančno imitira človekov miselni proces, ta dejansko ne misli. To pomeni, da umetna inteligenca ni inteligenca, temveč visoko sofisticirana strojna imitacija inteligence, saj smo jezikovno pojem inteligence navezali le na človeka in človeško miselnost.37 Po drugi strani pa obstajajo tudi avtorji in teoretiki, ki pojem intelektualnosti ločujejo od človeka, saj zagovarjajo stališče, da je inteligenca zgolj sposobnost mišljenja in oblikovanja modelov, ter da lahko kot inteligentnega štejemo kogarkoli oziroma karkoli, kar je zmožno misliti.38 Vendar je ključni problem v razumevanju, kaj inteligenca je in zakaj se ta ne more enačiti z dosežki umetne inteligence, saj je ta le imitacija, ki bo lahko z nadaljnjim razvojem razvila lastno obliko zavesti in postala nekaj drugega – nekaj, za kar pojma umetna inteligenca in celo inteligenca ne bi bila več ustrezna. Pojem inteligence je bil namreč doslej predvsem nekakšen »dežnik«, pod katerega smo uvrščali vse, kar človek ustvari s pomočjo svojega duhovnega dela, četudi tega procesa vsebinsko ne razumemo do potankosti.39 Iz tega izhaja, da če ta postopek ni do konca razložen, potem ga ni mogoče enačiti z nekim drugim »intelektualnim delom«, saj je napačno to delo imenovati kot intelektualno, ker ne opravlja intelektualno, temveč imitirajočo inteligenco z uporabo ekstremno napredne statistike in korelacij.40 Rešitev bo bodisi v spremembi in razširitvi pojma inteligence ter njegovem drugačnem razumevanju, bodisi v oblikovanju povsem novega pojma, s katerim bi ta pojav poimenovali drugače in ga ne bi več označevali kot inteligenco. 36 AI-HLEG, 2019, stran 6. 37 Slovar slovenskega knjižnega jezika (SSKJ) pojem inteligence definira kot nadarjenost za umske dejavnosti. Specifičnost inteligence je torej pojem uma in umskih dejavnosti. Na drugi strani SSKJ pojem uma definira kot sposobnost mišljenja oziroma spoznavanja. SSKJ vsebuje še definicijo inteligentnosti kot lastnosti inteligentnega človeka. Glej https://fran.si/133/sskj2-slovar-slovenskega-knjiznega-jezika- 2/4480225/inteligenca?View=1&Query=inteligenca (obiskano: 10. 3. 2025); Sternberg, 2025. 38 Oleksy, 2023, stran 282. 39 O problemu razumevanja človekove inteligence glej McCarthy, 2007, strani 1174–1182. 40 Na tem mestu je pomembno omeniti problem t. i. »črne skrinjice«. Več o tem glej von Eschenbach, 2021, strani 1607–1622. N. Jovanović: Avtor brez zavesti: pravni vidiki ustvarjalnosti umetne inteligence 93, Inherentno govoriti o inteligenci, ki je umetno ustvarjena, je torej v vsebinskem kontekstu kontradiktorno. Če je namreč umetna, je ne moremo razumeti kot inteligenco, temveč kot strojno in računalniško imitacijo človeške inteligence. Po trenutnem razumevanju in definiranju inteligence je le-to možno razumeti kot nekaj, kar je povezano s človekom. Sama definicija umetne inteligence že v svoji osnovi poudarja njeno imitativno naravo - gre za tehnologijo, ki posnema človeško inteligenco in jo je mogoče obravnavati, kot da bi bila inteligentna, čeprav to ne pomeni, da je dejansko inteligentna. Tudi Turingov test obravnava situacijo, v kateri bi se lahko stroj zaznal kot inteligenten. Ne zato, ker bi bil dejansko inteligenten, temveč zato, ker je sposoben uspešno posnemati človeško vedenje. Test namreč ne meri resnične inteligence, temveč zmožnost imitacije do te mere, da človeški opazovalec ne zmore več ločiti med človekom in strojem.41 Vendar tudi to ne vpliva na konceptualno in teleološko razliko med inteligenco in umetno inteligenco. Iz tega lahko sklepamo, da je v tem primeru primerjava med človeško in umetno inteligenco le primerjava sposobnosti in ne primerjava vsebine inteligence, kar je v konkretnem primeru zelo pomembno za vprašanja s področja avtorskega prava.42 3 Avtorsko pravo, avtorsko delo in avtor 3.1 Avtorsko pravo – ratio legis in odnos do tehnologije Zgodovina avtorskega prava in avtorske pravice je tesno povezana z razvojem papirja in tiska.43 Če ta stavek abstrahiramo na višjo raven, lahko ugotovimo, da je zgodovina avtorskega prava in avtorske pravice v bistvu povezana z razvojem tehnologije. Preden opredelimo razmerje med avtorsko pravico, avtorstvom in umetno inteligenco, je zato smiselno najprej opredeliti razmerje med avtorskim pravom in tehnologijo. Avtorsko pravo, kakor tudi pravo intelektualne lastnine nasploh, je v celoti inherentno povezano z razvojem tehnologije. Nova tehnologija se lahko uporablja bodisi kot orodje za prenos, reprodukcijo, predvajanje ali katerokoli drugo uporabo avtorskih del, bodisi za sam proces njihovega ustvarjanja. Avtorsko pravo mora torej spremljati razvoj tehnologije in se hkrati pravočasno opredeliti glede pojava novih tehnoloških oblik, če te vplivajo na vprašanja avtorskega prava. S pojavom 41 Turing, 1950, stran 438. 42 Craig, 2022, strani 14–16. 43 Repas v Repas (ur.), 2023, stran 63. N. Jovanović: Avtor brez zavesti: pravni vidiki ustvarjalnosti umetne inteligence 95, 94 OD ALGORITMA DO PRAVA. generativne umetne inteligence in umetne inteligence nasploh je to še posebej očitno. Kljub temu pa ratio legis avtorske pravice ni varstvo niti spodbujanje razvoja tehnologij, povezanih z avtorskimi deli kot takšnimi.44 Avtorsko pravo je nastalo kot poskus iskanja ravnovesja med potrebo po pravni ureditvi razmerij ustvarjalcev del, tj. spodbujanja k ustvarjanju na eni strani, ter zagotavljanjem dostopa družbe do teh del na drugi strani. Ratio legis avtorskega prava je v prvem, splošna izjema oziroma korektivni faktor pa v drugem. Osrčje avtorskega prava tako predstavlja razmerje med avtorjem in delom na eni strani ter delom in družbo na drugi strani. Slovenski pravni sistem sodi med evropske kontinentalne sisteme, ki v središče ureditve postavljajo avtorja – t. i. sistem droit d'auteur. 45 V skladu s to teorijo delo, ki ga avtor ustvari, sodi v njegovo duhovno sfero in osebnost ter kot takšno obstaja neodvisno od pravne regulacije. Pravica do dela je torej naravna človekova pravica avtorja (naravnopravna teorija46), ki jo zakon zgolj deklaratorno ureja znotraj pravnega sistema. Človek ima torej ipso iure pravico, da objavi, reproducira, predvaja, prenaša, uničuje in varuje delo, ki ga je ustvaril. Avtorska pravica je z ustavo zagotovljena absolutna pravica, ki svojemu imetniku zagotavlja monopol nad uporabo ustvarjenega dela. Ratio regulacije v obliki monopola izhaja iz dejstva, da ima družba od avtorskih del več koristi, kot je pripravljena zanje plačati, zaradi česar je bilo treba vzpostaviti pravni sistem, ki omogoča pravično ustvarjanje in uporabo avtorskih del ter spodbuja avtorje k ustvarjanju novih. Brez monopola avtorji ne bi mogli realizirati niti pobirati sadov svojega duhovnega dela, saj je pri avtorskih delih zaradi njihove narave po eni strani težko že v začetku določiti njihovo duhovno in ekonomsko vrednost, po drugi strani pa zaradi svoje nematerialnosti niso vezana na medij, so osvobojena časa in prostora ter kot taka neizčrpna.47 Z drugimi besedami, ratio legis avtorske pravice, vsaj tako, kot jo obravnava evropska avtorskopravna doktrina, se udejanja v uzakonitvi in monopolski zaščiti razmerja med avtorjem in njegovo stvaritvijo – kot izraz njegovega individualnega in duhovnega podviga ter osebnostne sfere – ter v 44 O namenu avtorskih pravic in umetni inteligenci glej Bogataj Jančič, 2021, strani 170–173. 45 Repas v Repas (ur.), 2023, stran 486. Države common law sistema imajo copyright sistem, ki opredeljuje delo kot posledico intelektualnega dela avtorja in poudarja bolj ekonomski pomen avtorske pravice. O razliki med droit d'autour in copyright glej Bently et al., 2018, strani 39–44. 46 Tudi common law države upoštevajo argument naravne pravice, vendar v osredje dajejo intelektualno delo, ne pa osebnost avtorja. 47 Trampuž et al., 1997, stran 31. oblikovanju pravnega okvira, katerega temeljni namen je zagotoviti avtorju pravično in legitimno uporabo ter izrabo njegovega dela. 48 Četudi avtorsko pravico pojmujemo kot absolutno pravico in avtorsko delo kot izraz avtorjeve osebnosti, je treba poudariti, da ima ta pravica zaradi svoje specifične vsebine določene izjeme in omejitve. Avtor namreč, četudi ustvarja samostojno, ustvarja znotraj konkretne družbe, v določenem času ter v določenem kulturnem in družbenem okolju. To okolje hkrati vpliva na avtorja in predstavlja skupni sklad družbenega bogastva,49 ki pripada celotni družbi. S tega vidika je treba priznati, da avtorsko delo v določenem smislu pripada tudi skupnosti kot celoti. Teoretiki poudarjajo, da je prav zaradi te povezanosti ter zaradi prostega pretoka informacij in idej skozi družbo potrebno pozicijo avtorskega prava vedno znova postavljati pod vprašaj.50 Zato je ena ključnih nalog avtorskega prava najti ustrezno ravnovesje med avtorjevim monopolom na eni strani ter interesi družbe na drugi strani – družbe, ki je hkrati naslovnik in vir avtorjevega ustvarjalnega navdiha. To ravnovesje avtorsko pravo udejanja prek vzpostavitve in urejanja izjem ter omejitev avtorske pravice. Na tej podlagi lahko sklepamo, da so tehnološke spremembe za avtorsko pravo relevantne le v obsegu, v katerem vplivajo na razmerje med avtorjem in njegovim avtorskim delom oziroma na razmerje med avtorsko pravico kot izključno pravico avtorja ter omejitvami, ki služijo koristim družbe kot celote. Zunaj tega konteksta tehnološke spremembe za avtorsko pravo nimajo neposredne pravne relevantnosti in predstavljajo zgolj spremembo oblike, ki pa v svojem bistvu ni odločilna za temeljne pravne kategorije avtorskega prava. 3.2 Pojem avtorskega dela in avtorja – de lege lata Pojem avtorskega dela je eno najpomembnejših vprašanj avtorskega prava, saj avtorska pravica obstaja le v povezavi z avtorskimi deli. Kar zadeva definicijo avtorja, tega praviloma avtorsko pravo ne določa izrecno, tj. vsebinsko ne opredeljuje pojma avtorja. Ta temelji na načelu avtorstva, po katerem je avtor tisti, ki je delo ustvaril. 51 Slovenski zakonodajalec izrecno opredeljuje avtorja kot zgolj fizično osebo (10. člen 48 Bently et al., 2018 strani 39–44. 49 Ovčak Kos v Repas (ur.), 2023, stran 488. 50 Bently et al., 2018, strani 39–44. 51 Trampuž et al., 1997, stran 57. 96 OD ALGORITMA DO PRAVA. Zakona o avtorski in sorodnih pravicah;52 ZASP). Zato pravilna kvalifikacija stvaritve kot avtorskega dela predstavlja ključno in začetno vprašanje avtorskega prava, prav tako pa tudi izhodišče za opredelitev avtorja. Pojem avtorskega dela je opredeljen na več ravneh v različnih mednarodnih, regionalnih in nacionalnih virih. V kontekstu Republike Slovenije je vsekakor najpomembnejša definicija avtorskega dela iz 5. člena ZASP. Vendar pa je v okviru navedene definicije treba izpostaviti vpliv in pomen mednarodnih konvencij s področja avtorskega prava, zlasti pomen 2. člena Bernske konvencije za varstvo književnih in umetniških del53 (Bernska konvencija). Poleg tega je treba poudariti tudi pomen evroavtonomnosti pojma avtorskega dela v pravu EU. Direktive EU54 s področja avtorskega prava namreč pri opredeljevanju avtorskega dela ne napotujejo na definicijo avtorskega dela v nacionalnih zakonodajah, temveč vsebujejo izrecne določbe o pogojih, ki jih mora delo za potrebe teh direktiv izpolnjevati, ali teh pogojev sploh ne določajo (npr. Direktiva 2001/29/ES Evropskega parlamenta in Sveta z dne 22. maja 2001 o usklajevanju določenih vidikov avtorske in sorodnih pravic v informacijski družbi – InfoSoc direktiva).55 Posledično je moralo o tem odločati Sodišče EU v več odmevnih zadevah,56 skozi katere je razvilo evroavtonomen pojem avtorskega dela, ki se – v obsegu, ki se nanaša na področje prava EU – mora razlagati neodvisno in enotno v celotni EU.57 To posledično vpliva tudi na razlago pravnega standarda iz 5. člena ZASP, ki se mora tako uskladiti z evropskim pravnim standardom avtorskega dela.58 Iz navedenih razlogov smo se pri predstavljanju navedenih pogojev v tem podrazdelku odločili za vzporedno predstavitev pogojev iz mednarodnih konvencij, zakonodaje EU in sodne prakse Sodišča EU ter nacionalnega prava Republike Slovenije. Takšen pristop je podoben pristopu v poročilu EU o trendih v umetni 52 Uradni list RS, št. 16/07 – uradno prečiščeno besedilo, 68/08, 110/13, 56/15, 63/16 – ZKUASP, 59/19 in 130/22. 53 Uradni list RS–MP, št. 17/07. 54 Primeroma Direktiva 2009/24/ES Evropskega parlamenta in Sveta z dne 23. aprila 2009 o pravnem varstvu računalniških programov (UL L 111, 5. 5. 2009, strani 16–22) in Direktiva 2006/116/ES Evropskega parlamenta in Sveta z dne 12. decembra 2006 o trajanju varstva avtorske pravice in določenih sorodnih pravic (UL L 372, 27. 12. 2006, strani 12–18). 55 Drobež, 2015, stran 3. 56 O razvoju pojma avtorskega dela v sodni praksi sodišča EU glej tudi Sganga, 2018. 57 Drobež, 2015, stran 3. 58 Prav tam. N. Jovanović: Avtor brez zavesti: pravni vidiki ustvarjalnosti umetne inteligence 97, inteligenci in izzivih za avtorsko pravo.59 K temu, kot je bilo že omenjeno, dodajamo še zakonske pogoje iz 5. člena ZASP. Pred tem je tudi na tem mestu treba poudariti, da lahko v avtorskopravni ureditvi obstajajo pomembne razlike med državami, ki avtorsko pravico obravnavajo kot pravico avtorja (droit d’auteur), in državami, ki sledijo copyright sistemu, kjer avtorska pravica bolj poudarja ekonomski vidik ter obravnava delo kot intelektualno lastnino avtorja, kar lahko ima vpliv na definicijo avtorskega dela. Svetovne mednarodne konvencije, ki urejajo avtorsko pravo, večinoma izhajajo iz droit d'auteur sistema, ne pa iz copyright sistema.60 Izhajajoč iz navedenega lahko izpostavimo, da mora delo, da bi ga lahko razumeli kot avtorsko, biti: − Stvaritev s književnega, znanstvenega in umetniškega področja. Ta pogoj je opredeljen predvsem v Bernski konvenciji, ki ne definira neposredno pojma avtorskega dela, temveč v prvem odstavku 2. člena navaja, kaj zajemajo »književna in umetniška dela« ter primeroma našteva takšna dela. Kot »književna in umetniška dela« se obravnavajo vse stvaritve s področja književnosti, znanosti in umetnosti, ne glede na način in obliko njihovega izražanja. To je podobno opredeljeno tudi v drugih pomembnejših mednarodnih konvencijah, kot so Univerzalna konvencija o avtorskih pravicah (1. člen), Konvencija o ustanovitvi Svetovne organizacije za intelektualno lastnino, ki v 2. členu dodatno poudarja zaščito izraza in ne idej, in Sporazum TRIPS (9. člen). Tej logiki sledi tudi pravo EU. Čeprav avtorska zakonodaja EU pogoja književnega, znanstvenega in umetniškega dela izrecno ne opredeljuje, je sodna praksa Sodišča EU ta pogoj v več zadevah61 opredelila na podoben način kot Bernska konvencija. ZASP v prvem odstavku 5. člena prav tako zahteva, da je delo s področja književnosti, znanosti in umetnosti, medtem ko v drugem odstavku istega člena, podobno kot Bernska konvencija, primeroma navaja najpogostejše kategorije avtorskih del. 59 Hartmann, Allan, Hugenholtz et al., 2020, stran 69. 60 Prav tam. 61 Glej v zadevah C-403/08, Football Association Premier League Ltd in drugi proti QC Leisure in drugi, ECLI:EU:C:2011:631, točka 98, in C-310/17, Levola Hengelo BV proti Smilde Foods BV, ECLI:EU:C:2018:899, točka 38. 98 OD ALGORITMA DO PRAVA. − Individualna intelektualna stvaritev kot rezultat originalnega ravnanja človekovega duha. Ta pogoj doktrina in sodna praksa večinoma ločujeta v več različnih pogojev,62 vendar jih zaradi notranje povezanosti lahko oblikujemo kot en celovit pogoj. Prvi pogoj se nanaša na lastnost avtorja kot izključno fizične osebe. Iz tega izhaja, da ni avtorskega dela, če tega ni ustvarila konkretna fizična oseba. Stroj, živali ali pravne osebe ne morejo ustvariti avtorskega dela.63 Ta pogoj opredeljuje predvsem Bernska konvencija. Tudi sodna praksa Sodišča EU izhaja iz podobnega stališča. Četudi pogoj človeka kot avtorja dela ni izrecno zahtevan, ga Sodišče EU64 opredeljuje kot predpogoj za ugotavljanje drugih pogojev, predvsem originalnosti.65 Tako Sodišče EU v zadevi Painer66 poudarja, da lahko avtor s storitvijo različnih izborov dá delu lastni osebni odtis. Dodatno generalna pravobranilka Trstenjak v isti zadevi v svojem mnenju poudarja, da so samo človeške kreacije pravno varovane.67 Slovenski ZASP v 10. členu izrecno opredeljuje, da je avtor fizična oseba, ki je delo ustvarila. Iz tega izhaja, da je avtor le fizična oseba, in sicer samo, če je ta fizična oseba tudi ustvarila delo.68 Ni avtorstva na delih, ki so jih ustvarili drugi.69 Ta pogoj je inherentno povezan z drugim pogojem, tj. z duhovnostjo dela. Delo mora biti izraz individualne človeške duhovne in osebne sfere avtorja. Samo človek je sposoben imeti ustvarjalno duhovno sfero, ki lahko ustvari avtorsko delo. Duhovnost pomeni, da je delo treba razlikovati od same tehnologije, ki tako delo nosi ali reproducira ipd.70 Sodišče EU, kot je bilo zapisano, ta pogoj obravnava skozi druge pogoje, saj ga zajema v avtorjevo individualno intelektualno ustvaritev.71 Iz pogoja duhovnosti izhaja tudi pogoj individualnosti72 oziroma originalnosti dela. Samo človeška duhovna sfera je namreč sposobna ustvarjanja intelektualnih stvaritev, ki imajo prav zaradi posebnosti duhovne sfere avtorja lastni poseben ter 62 Trampuž et al., 1997, stran 57; Ovčak Kos v Repas (ur.), 2023, stran 488. 63 Trampuž et al., 1997, stran 30. 64 Glej zadevo C-145/10, Eva-Maria Painer proti Standard VerlagsGmbH in drugi, ECLI: ECLI:EU:C:2011:798. 65 Hartmann, Allan, Hugenholtz et al., 2020, stran 69. 66 Zadeva Painer, točka 92. 67 Mnenje generalne pravobranilke Trstenjak v zadevi Painer, točka 121; European Commission, Directorate-General for Communications Networks, Content and Technology, Hartmann, Allan, Hugenholtz et al., 2020, strani 70–71. 68 Drugače glej Oleksy, 2023, stran 282. 69 Trampuž et al. 1997, stran 30. 70 Prav tam. 71 Tako v zadevi C-469/17, Funke Medien NRW GmbH/Zvezna republika Nemčija, ECLI:EU:C:2019:623; zadevi Levola Hengelo, zadevi C-683/17, Cofemel — Sociedade de Vestuário S.A./G-Star Raw CV, ECLI:EU:C:2019:721, in zadevi C-5/08, Infopaq International A/S proti Danske Dagblades Forening, ECLI:EU:C:2009:465. 72 Trampuž et al., 1997, stran 30. N. Jovanović: Avtor brez zavesti: pravni vidiki ustvarjalnosti umetne inteligence 99, individualen izraz. Individualnost se lahko odrazi ne nujno v sami vsebini dela (primeroma pri prevodih ali znanstvenih tekstih), temveč v izrazu in potezi avtorja, ki delo potem razlikujeta od splošnih nevarovanih idej in pojavov na eni strani in drugih avtorskih del na drugi.73 Sodna praksa Sodišča EU pogoj individualnosti opredeljuje kot originalnost dela in ga razlaga predvsem široko, saj originalnost ne pomeni nujno novosti, temveč zadosten vpliv avtorja na ustvaritev dela. Nujno je, kot navaja Sodišče EU, da je delo posledica avtorjevih svobodnih, kreativnih in osebnih izbir.74 V kateri fazi nastanka dela, na kakšen način, v kateri obliki in skozi katere kreativne izbire avtorja bo izražena originalnost, ni ključnega pomena za obstoj same originalnosti, vse dokler je le-to možno v zadostni meri ugotoviti. Enako je tudi s kakovostjo dela, ki za avtorsko varstvo ni relevantna. Stopnja originalnosti je torej pravni standard, zadostitev katerega mora sodišče v vsakem primeru ugotoviti.75 Slovenski ZASP pogoj individualnosti izrecno zahteva, saj delo v 5. členu definira kot »individualno« (…) stvaritev. − Izraženo, ne glede na način in obliko izražanja. Zadnji pogoj, ki ga avtorsko pravo za obstoj avtorskega dela zahteva, je izraženost dela. Delo mora biti torej na določen način izraženo, da je zaznavno za človeške čute. Oblika izraženosti ni odločujoča, pomembna je zadostna zaznavnost. Samo delo, ki kumulativno izpolnjuje vse zgoraj naštete pogoje po trenutno veljavni zakonodaji in sodni praksi, lahko štejemo kot avtorsko delo, ne glede na njegovo estetsko, materialno ali ekonomsko vrednost ter ne glede na to, s kakšno tehnologijo je ustvarjeno. 4 Dela umetne inteligence 4.1 Uvod Razmerje med umetno inteligenco, avtorstvom in avtorskim pravom je treba razumeti v luči razmerja avtorskega prava in tehnologije. Če umetna inteligenca na določen način vpliva na ratio legis avtorskega prava, je treba v tem delu avtorsko pravo ustrezno prilagoditi. Pomembno vprašanje je torej, kako umetna inteligenca vpliva na kreativni proces nastanka del ter kdo lahko šteje za avtorja teh del. Glede na 73 Prav tam, stran 31. 74 Glej v zadevah Levola Hangelo, točka 36, Coefemel, točka 30, Painer, točka 92. 75 Za analizo pogoja originalnosti glej v Rosati, 2013. 100 OD ALGORITMA DO PRAVA. načelo avtorstva je za opredelitev umetne inteligence kot avtorja pomembno opredeliti, ali so dela, ustvarjena z umetno inteligenco, avtorska dela. Če je temu tako, potem je tudi umetna inteligenca lahko avtor. Za lažje razumevanje in ponazoritev avtorskopravne obravnave kreativnega procesa ustvarjanja je Sodišče EU v zadevi Painer76 ta proces razdelilo na tri bistveno pomembne faze, in sicer: − Fazo koncepcije, ki vključuje zastavljanje osnovnih parametrov in idej avtorja. V tej fazi avtor v večji ali manjši meri opredeljuje stil, obliko, velikost dela, čas nastanka, kader ipd. ter na ta način specificira svojo idejo. Ta faza lahko pri določenih delih traja dalj časa, lahko pa nastane v trenutku. − Fazo eksekucije, v kateri avtorjeva ideja dobi začetni izraz (prva verzija, načrt, ipd.), ki ga človek lahko čustveno zazna. To fazo avtor lahko izvaja popolnoma samostojno, lahko pa to naredi s pomočjo določene tehnologije. − Fazo redakcije, ki predstavlja dokončno obdelavo in dodelavo začetnega izraza, začetne verzije (predelava, popravki, spremembe ipd.). Ta faza traja, vse dokler avtor ne odloči, da je delo dokončano in da je končna verzija dela ustvarjena. To delitev upoštevamo tudi v tem poglavju monografije,77 saj umetna inteligenca bistveno spreminja vlogo, ki jo ima človek v posameznih fazah ustvarjanja. Zato je treba natančno analizirati človeško udeležbo z namenom razjasnitve vprašanja, kdo se lahko obravnava kot avtor del, ustvarjenih s pomočjo ali samostojno s strani umetne inteligence, ter pod katerimi pogoji so ta dela sploh lahko predmet avtorskopravnega varstva. V tem kontekstu je ključno razlikovati med: (i) deli, nastalimi z uporabo umetne inteligence kot orodja, kjer umetna inteligenca deluje zgolj kot pripomoček v rokah avtorja, ter (ii) deli, ki jih umetna inteligenca ustvari avtonomno, tj. brez zadostnega vpliva človeka na proces nastanka dela. 4.2 Dela, nastala z uporabo umetne inteligence kot orodja Pri teh delih je torej človek prisoten v ustvarjalnem procesu in je potrebno ugotoviti, kako je proces ustvaritve teh del razdeljen med človekom in umetno inteligenco v luči zgoraj izpostavljenih kriterijev za opredelitev nekega dela kot avtorskega. Pomembno je izpostaviti, da je za opredelitev dela kot avtorskega dovolj, da ima avtor pomembno vlogo in da vpliva na delo v vsaj eni fazi nastanka dela. Cilj je torej, 76 Zadeva Painer, točki 91–92. 77 Enako delitev upoštevajo tudi drugi slovenski teoretiki. Glej Bogataj Jančič, 2023, strani 176–177. N. Jovanović: Avtor brez zavesti: pravni vidiki ustvarjalnosti umetne inteligence 101, da je avtorjev prispevek podan v zadostni meri, torej tako, da delo izpolnjuje pogoj individualne intelektualne stvaritve tega avtorja.78 V fazi koncepcije je človek pri delih, nastalih z uporabo umetne inteligence, še naprej osrednji kreator. Človek daje pozive jezikovnem modelu umetne inteligence v obliki tekstualnega dokumenta z bolj ali manj zastavljeno idejo tega, kar si želi, da umetna inteligenca generira. Vloga človeka v tem procesu je torej vsekakor pomembnejša od umetne inteligence, ker je umetna inteligenca v tej fazi le orodje. V tem primeru lahko vlogo umetne inteligence primerjamo z vlogo fotoaparata v rokah avtorja. Človek izbere, ali bo sploh ustvaril neko delo z umetno inteligenco, enako kot fotograf odloči, ali bo fotografiral.79 Nato fotograf izbere trenutek, enako kot uporabnik umetne inteligence napiše poziv umetni inteligenci, kaj točno želi od nje. Uporabnik lahko na eni strani zastavi zelo podroben poziv, v katerem zelo natančno opredeli svojo idejo in začetne parametre. V fazi koncepcije velja, da bolj kot avtor opredeli idejo, lažje je dokazati, da je delo posledica njegovih kreativnih izborov in odločitev, kar je ključnega pomena za opredelitev tega dela kot originalne oziroma individualne intelektualne stvaritve avtorja (v konkretnem primeru uporabnika umetne inteligence). Druga faza je področje, ki je z uporabo umetne inteligence najbolj spremenjeno v razmerju do ostalih tehnologij. To fazo namreč umetna inteligenca bolj ali manj v celoti izvede samostojno, seveda glede na poziv uporabnika. V tej fazi človek nima možnosti nadzora v trenutku same izvedbe, saj model deluje na podlagi že naučenih relacij, ki so zaradi globine nevronskih mrež zelo težko predvidljivi in tukaj obstaja t. i. problem črne skrinjice.80 Tretja faza je ključna, saj uporabnik spreminja stvaritev, ki jo je umetna inteligenca ustvarila po njegovih navodilih. V tej fazi avtor lahko izbere koncepte, spremembe, dodatke in močno vpliva na nastanek avtorskega dela. Skupno tem delom je, da je avtor fizična oseba, uporabnik modela umetne inteligence. Ta s svojimi ravnanji v katerikoli od treh navedenih faz zadostno vpliva na nastanek dela, tako da je delo v končni fazi posledica njegovih kreativnih odločitev in s tem posledično njegovo avtorsko delo. Da se avtorjeva vloga v eni fazi 78 Hartmann, Allan, Hugenholtz et al., 2020, stran 69. 79 Prav tam, stran 70. 80 Prav tam, stran 71. 102 OD ALGORITMA DO PRAVA. drastično zmanjša, zagotovo ne pomeni avtomatično, da njegove vloge pri nastanku tega dela več ni in da se takemu delu, četudi je generirano z umetno inteligenco, zavrne pravno varstvo. 4.3 Dela, nastala avtonomno s strani umetne inteligence 4.3.1 Ratio legis varstva avtonomno nastalih del umetne inteligence Kot je bilo v prejšnjem razdelku jasno izpostavljeno, je po trenutno veljavni zakonodaji, doktrini in sodni praksi avtorstvo izključna lastnost fizičnih oseb. To pomeni, da de lege lata delo, nastalo avtonomno s strani umetne inteligence in brez avtorsko relevantnega vpliva fizične osebe v katerikoli fazi nastanka dela, ni avtorsko delo. Vendarle je v teoriji aktualna razprava, ali je potrebno zakonsko intervenirati ter omogočiti avtorsko pravico v primerih, ko umetna inteligenca samostojno ustvari avtorska dela oziroma je vpliv fizične osebe na nastanek tega dela nezadosten, da bi ga lahko šteli kot avtorja.81 Če izhajamo iz pravilne analize ratio legis-a avtorske pravice, tudi de lege ferenda ta dela ne morejo biti avtorska dela. Ne gre torej samo za vprašanje izrecnega zakonskega pogoja avtorstva kot ekskluzivne lastnosti fizične osebe, saj se ta lahko zakonsko spremeni. Bistveno je, da je varstvo del, nastalih izključno s strani umetne inteligence, inherentno nepotrebno zaradi namena avtorske pravice.82 Avtorska pravica ima namen varovati ustvarjalnost in spodbujati nastanek novih avtorskih del. Vendar samo dejstvo, da bi umetna inteligenca lahko samostojno ustvarjala dela, ki lahko imajo veliko premoženjsko vrednost, še naprej ne opravičuje podelitve avtorstva umetni inteligenci. Kot smo že razložili v prejšnjih razdelkih, umetna inteligenca ni inteligenca, saj je že na pojmovni ravni inteligenca oziroma inteligentnost antropocentrična. Umetna inteligenca je torej le tehnologija in ne dejanska inteligenca, temveč strojna in trenutno v veliki meri nepopolna imitacija tega, kar trenutno razumemo kot človeško inteligenco. Če umetna inteligenca ni človeška in ustvarjalna inteligenca, temveč le tehnologija, potem določena tehnologija, ne glede na to, koliko je napredna in kognitivno sposobna imitirati ter opravljati človeške aktivnosti, in ne glede na to, koliko je dobičkonosna, ne more 81 Pred podelitvijo avtorske pravice bi bilo vsekakor potrebno najprej priznati umetni inteligenci pravno subjektiviteto. Pritrdilno o umetni inteligenci kot avtorju glej Oleksy, 2023, o subjektiviteti umetne inteligence pa pri Miščević in Savčić, 2024. 82 Craig, 2022, strani 8–17. N. Jovanović: Avtor brez zavesti: pravni vidiki ustvarjalnosti umetne inteligence 103, pridobiti statusa avtorja. Če razlikujemo človeško in umetno inteligenco kot dva inherentno različna pojma, potem lahko razumemo potrebo oziroma neobstoj potrebe po spodbujanju prve in druge.83 Človeško inteligenco in iz nje izhajajočo kreativnost je vsekakor treba spodbujati in ohranjati kot zelo pomembno. Po drugi strani pa je strojna inteligenca industrijski izdelek in je kot takšne ni potrebno in celo ni mogoče avtorskopravno spodbujati, saj ne more imeti občutka zadovoljstva oziroma »pravičnega izkoriščanja avtorskega dela« in pravičnosti. Da bi takšno avtorsko varstvo koristilo razvijalcem teh avtonomnih programov, za vprašanje avtorstva del, ustvarjenih z umetno inteligenco, ni pomembno, saj jih lastniki programov niti niso ustvarili, temveč jih je avtonomno ustvaril stroj. To pa ne pomeni, da bi morali razvijalci programov oziroma uporabniki umetne inteligence ostati brez kakršnegakoli zadoščenja. Pomeni samo, da tega ni mogoče niti potrebno uveljavljati preko avtorskopravnega varstva. Za avtorsko pravico in avtorstvo ni odločilna naprednost tehnologije oziroma dobičkonostnost in učinkovitost le-te, temveč vprašanje, ali je s pomočjo avtorske pravice takšno ustvarjanje potrebno dodatno spodbuditi in omogočiti njeno pravično izkoriščanje. Ustvarjalnost, duhovnost in iz njiju izhajajoča originalnost sta inherentno in konceptualno le človeški sposobnosti. Kot smo zgoraj izpostavili, je ratio legis avtorskega prava prav v varstvu in spodbujanju človekovih sposobnosti, katerih ni mogoče industrijsko ustvariti oziroma kupiti. Iz tega izhaja, da je fraza ustvarjalno-sposobna tehnologija conditio in adjecto in je njena avtorska pravica brez namena. 4.3.2 Usoda del umetne inteligence Večina avtorjev s področja avtorskega prava se strinja, da bi dela, nastala samostojno s strani umetne inteligence, oziroma dela, pri nastanku katerih je vloga človeka nezadostna, lahko bila javno dobro.84 Podobno kot dela, nad katerimi je potekel rok varstva, dela umetne inteligence ni smiselno varovati. Vsa dela, varovana in nevarovana, so del javnega dobra in splošnega kulturnega sklada družbe, s to razliko, da pri varovanih delih obstaja začasna izključna pravica avtorja, ki mu iz razloga pravičnosti (bodisi utilitaristično ali naravnopravno) omogoča posebna upravičenja. Vendar so tudi ta dela časovno omejena in s potekom časa prevladuje interes družbe, zaradi česar postanejo prosto dostopna kot del javne domene. Pri delih umetne inteligence potrebe po tej izključni začasni omejitvi v kontekstu avtorskega prava ni, 83 Prav tam. 84 Craig, 2022, strani 24–29; Hugenholtz in Quintais, strani 1190–1216; Hartmann, Allan, Hugenholtz et al., 2020; United States Copyright Office, 2025, stran 41; Ginsburg, 2020, strani 87–88. 104 OD ALGORITMA DO PRAVA. zato lahko takoj postanejo javno dobro. Takšno obravnavanje del umetne inteligence je koristno tudi za avtorje, saj jim omogoča lažje in bolj raznolike načine ustvarjanja. 5 Zaključek V tem poglavju monografije smo obravnavali dve skupini vprašanj. Najprej smo poenostavljeno predstavili način delovanja sistemov, ki jih danes imenujemo umetna inteligenca, ter njihovo zgodovino in razvoj. S tem smo dosegli bolj natančno razumevanje pojma umetne inteligence. V nadaljevanju pa smo proučevali, ali lahko takšne modele v kontekstu avtorskega prava razumemo kot ustvarjalno inteligenco. Ugotovili smo, da jih v kontekstu avtorskega prava ni mogoče razumeti kot ustvarjalce, ne glede na to, koliko so prispevali k nastanku avtorskega dela. S tem smo določili položaj in vlogo umetne inteligence kot tehnologije v razmerju do avtorskega prava. Nato smo predstavili pozitivnopravno definicijo avtorskega dela v sistemu avtorskega prava in pogoje, ki jih neko delo mora izpolniti za nastanek avtorskega dela. Ta opredelitev je pomembna predvsem zaradi usode del, ki nastanejo z uporabo umetne inteligence, ter s tem povezanega vprašanja avtorstva umetne inteligence. Ugotovili smo, da so dela, nastala z uporabo umetne inteligence, lahko avtorska dela le, če fizična oseba dovolj kreativno prispeva k njihovemu nastanku in je torej umetna inteligenca zgolj orodje. Pri delih, kjer takega zadostnega vpliva ni, pa ugotavljamo naslednje. Prvič, takšna dela niso avtorska dela, saj njihov ustvarjalec ni fizična oseba, kar je izrecna zakonska zahteva. In drugič, ugotovili smo, da lahko umetno inteligenco z vidika namena in ciljev avtorskega prava razumemo le kot psevdo-inteligenco, saj ne izkazuje ustvarjalnosti v smislu, kot jo zasledimo pri fizičnih osebah. Posledično je vprašanje avtorstva umetne inteligence brezpredmetno oziroma neupravičeno. Kar se tiče usode teh del, se strinjamo z večinskim mnenjem teorije, da bi takšna dela morala biti del javne domene. Umetna inteligenca predstavlja pomembno križišče človeške civilizacije. Bližina njenemu polnem razvoju lahko pomeni prelomnico, a hkrati tudi resen preizkus za celoten družbeni sistem. Umetna inteligenca že v svoji zgodnji fazi odpira vprašanja temeljnih paradigm in razumevanja sveta, na katerem je zgrajena sodobna civilizacija. Pravo – kot pojav in pojavna oblika normativnega sistema družbe – pri tem ni izjema. N. Jovanović: Avtor brez zavesti: pravni vidiki ustvarjalnosti umetne inteligence 105, Umetna inteligenca postavlja pravni red pred številne izzive, saj ta še vedno skuša tehnološke novosti umeščati v obstoječe pravne kategorije in antropocentrično razumevanje sveta. Če pa se umetna inteligenca razvije do mere, ko deluje avtonomno (kot oblika zavesti, kar je namen tehnoloških utopistov v Silicijski dolini), je ne bo več mogoče obravnavati izključno z antropocentričnega vidika. Prav tako se bo zastavilo vprašanje, ali je človeško bitje edini in izključni nosilec ustvarjalnosti. Enako velja za avtorsko pravo, katerega bistvo in namen izhajata iz zaščite in spodbujanja človekove ustvarjalnosti – kot lastnosti fizičnega bitja, ki ga družba prepoznava kot nosilca kulturne in intelektualne produkcije. Zato je s pojavom umetne inteligence nujno potrebno ponovno premisliti o temeljnih konceptih avtorstva, ustvarjalnosti in inteligence. Trenutno razumevanje inteligence in ustvarjalnosti je še naprej neločljivo povezano s človekom in njegovo duhovnostjo, zaradi česar je vprašanje avtorstva umetne inteligence, kot je bilo že navedeno, znotraj obstoječega pojmovnega okvira pravno irelevantno. Avtorsko pravo temelji na predpostavki, da je ustvarjalnost inherentna človeku. Če naj se pojem avtorstva razširi tudi na umetno inteligenco, je treba predhodno razširiti avtorskopravno pojmovanje inteligence in ustvarjalnosti. Pri tem velja poudariti, da ekonomske posledice uporabe umetne inteligence, denimo poslabšanje ekonomskega in pogajalskega položaja avtorja človeka na eni strani ter prerazporeditev prihodkov iz ekonomske eksploatacije del, ustvarjenih z umetno inteligenco, na drugi, niso vprašanja, ki bi jih avtorsko pravo kot tako imelo namen ali sposobnost sistemsko reševati. Literatura AI HLEG (2019) A Definition of AI: Main Capabilities and Disciplines (Brussels: European Commission). Au-Yong-Oliveira, M., Lopes, C., Soares, F., Pinheiro, G. & Guimarães, P. (2020) What Can We Expect from the Future? The Impact of Artificial Intelligence on Society (Seville: 15th Iberian Conference on Information Systems and Technologies). Bently, L., Sherman, B., Gangjee, D. & Johnson, P. (2018) Intellectual Property Law (Oxford: Oxford University Press). Bogataj Jančič, M. (2021) Ali je lahko umetna inteligenca avtor avtorskega dela? (Ljubljana: Inštitut za kriminologijo pri Pravni fakulteti v Ljubljani). Boole, G. (1854) An Investigation of the Laws of Thought (London: Macmillan). Bostrom, N. (2014) Superintelligence: Paths, Dangers, Strategies (Oxford: Oxford University Press). Bowen, X. (2024) What is Meant by AGI: On the Definition of Artificial General Intelligence, ArXiv, dostopno na: https://arxiv.org/abs/2404.10731 (obiskano: 1. 8. 2025). Buchanan, B. G. (2005) A (Very) Brief History of Artificial Intelligence, AI Magazine, 26(4), strain 53–60. 106 OD ALGORITMA DO PRAVA. Buchanan, R. A. (2025) History of Technology, Britannica, dostopno na: https://www.britannica.com/technology/history-of-technology (obiskano: 1. 8. 2025). Campbell, M., Hoane, A. J. & Hsu, F. (2002) Deep Blue, Amsterdam: Artificial Intelligence, 134(1–2), strani 57–83. Craig, J. C. (2022) The AI-Copyright Challenge: Tech-Neutrality, Authorship, and the Public Interest, Osgoode Hall Law School of York University, Rsearch, dostopno na: https://digitalcommons.osgoode.yorku.ca/all_papers/360. Crevier, D. (1993) AI: The Tumultuous History of the Search for Artificial Intelligence (New York: Basic Books). Darwiche, A. (2020) Three Modern Roles for Logic in AI Association for Computing Machinery, ArXiv, dostopno na: https://arxiv.org/abs/2004.08599. Drobež, E. (2015) Avtorsko delo kot evropski pravni standard, Pravna praksa, 34(2), strani 8–10. European Commission, Directorate-General for Communications Networks, Content and Technology, Hartmann, C., Allan, J., Hugenholtz, P. B. et al. (2020) Trends and developments in artificial intelligence : challenges to the intellectual property rights framework : final report. Publications Office of the European Union. https://data.europa.eu/doi/10.2759/683128. Ginsburg, J. C. (2020) People Not Machines: Authorship and What It Means in International Copyright Law, v: Austin, G. W., Christie, A. F., Kenyon, A. T., Richardson, M. (ur.), Across Intellectual Property: Essays in Honour of Sam Ricketson (Cambridge: Cambridge University Press), strani 19–91. Goodfellow, I. et al. (2016) Deep Learning (Cambridge, MA: MIT Press). Ifeanyi, I. in Maduabuchi, D. (2024) Investigating Epistemological Relations Between Descartes’ Thinking Mind and Artificial Intelligence Processing, dostopno na: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4958741 (obiskano: 1. 8. 2025). Kramer, S. (1996) Mind, Symbolism, Formalism: Is Leibniz a Precursor of Artificial Intelligence?, Knowl.Org., 23(2), strani 84–87. Krizhevsky, A., Sutskever, I. & Hinton, G. E. (2012) ImageNet Classification with Deep Convolutional Neural Networks, Advances in Neural Information Processing Systems, Communications of the ACM, 60(6), strani 84–90. Kühl, N., Schemmer, M., Goutier, M. et al. (2022) Artificial Intelligence and Machine Learning, Electronic Markets, 32, strani 2235–2244). Leonardo, B. & Gero, S. (2023) Generative Artificial Intelligence, Electronic Markets 33, 63, https://doi.org/10.1007/s12525-023-00680-1. Mayor, A. (2018) Gods and Robots: Myths, Machines and Ancient Dreams of Technology (Princeton: Princeton University Press). McCarthy, J. (2007) From Here to Human-Level AI, Artificial Intelligence, 171(18), strani 1174– 1182. McCarthy, J., Minsky, M., Rochester, N. in Shannon, C. (2006) A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, August 31, 1955, AI Magazine, 27(4), strani 12–14. Mira, J. M. (2008) Symbols Versus Connections: 50 Years of Artificial Intelligence, Neurocomputing, 71(4–6), strani 671–680. Miščević, N. & Savčić, S. (2024) On Legal Personhood of Artificial Intelligence, Zbornik radova Pravnog fakulteta Novi Sad, 58(1), strani 267–285). Mitchell, T. (1997) Machine Learning (New York: McGraw Hill). Oleksy, E. M. (2023) That Thing Ain’t Human: The Artificiality of Human Authorship and the Intelligence in Expanding Copyright Authorship to Fully Autonomous AI, Cleveland State Law Review, 72(1), strani 263-300. Repas, M., Ovčak Kos, M. & Zirnstein, E. (2023) Pravo intelektualne lastnine (Ljubljana: Uradni list Republike Slovenije). Rosati, E. (2013) Originality in EU Copyright: Full Harmonization through Case Law (Cheltenham: Edward Elgar Publishing). N. Jovanović: Avtor brez zavesti: pravni vidiki ustvarjalnosti umetne inteligence 107, Schneppat, J. O. (2025) Gottfried Wilhelm Leibniz, Schneppat AI, dostopno na: https://schneppat.com/gottfried-wilhelm-leibniz.html (obiskano: 1. 8. 2025). Sternberg, R. J. (2025) Human Intelligence, Encyclopaedia Britannica, dostopno na: https://www.britannica.com/science/human-intelligence-psychology (obiskano: 1. 8. 2025). Şuşnea, I., Pecheanu, E., Cocu, A. in Şuşnea, S. M. (2024) Superintelligence Revisited in Times of ChatGPT, BRAIN: Broad Research in Artificial Intelligence and Neuroscience, 15(2), strani 344–361. Turing, A. M. (1936) On Computable Numbers, with an Application to the Entscheidungsproblem, Proceedings of the London Mathematical Society, 42(1), strani 230–265. Turing, A. M. (1950) Computing Machinery and Intelligence, Mind, 59(236), strani 433–460. von Eschenbach, W. J. (2021) Transparency and the Black Box Problem: Why We Do Not Trust AI, Philosophy & Technology, 34, strani1607–1622. Williams, T. (2024) Hobbes, Leviathan, and the Specter of AI Supremacy, LinkedIn blog, dostopno na: https://www.linkedin.com/pulse/hobbes-leviathan-specter-ai-supremacy-tim-williams-phd-iqfrc (obiskano: 1. 8. 2025). Xing, X., Antwi-Afari, M. F., Zhang, Y. & Xing, X. (2024) The Impact of Artificial Intelligence on Organizational Justice and Project Performance: A Systematic Literature and Science Mapping Review, Buildings, 14(1). Trampuž, M., Oman, B., Zupančič, A. (1997) Zakon o avtorski in sorodnih pravicah (ZASP) s komentarjem (Ljubljana: Gospodarski vestnik). Zhang, A., Lipton, Z. C., Li, M. & Smola, A. J. (2021) Dive into Deep Learning, ArXiv, dostopno na: https://arxiv.org/abs/2106.11342 (obiskano: 1. 8. 2025). Extended abstract The chapter Author Without Consciousness: Legal Aspects of Artificial Intelligence Creativity critically examines the challenges that artificial intelligence (AI) poses to copyright law, focusing on the contested legal status of AI-generated works. The author situates AI within the long trajectory of technological inventions designed to replicate or replace human functions, emphasizing that creativity represents the most complex and disputed domain of such replication. While acknowledging the broader set of issues, such as potential copyright infringement in the use of training data, the chapter narrows its scope to the central question of authorship and the possibility of copyright protection for works created with or by AI. The first section contextualizes AI’s historical and conceptual development. From early philosophical and mathematical explorations of logic to modern machine learning and generative systems, the analysis highlights persistent ambiguities in defining “intelligence.” Although contemporary AI systems can generate texts, images, or music that closely resemble human-authored works, the author stresses that these outputs are products of advanced statistical modeling rather than genuine intellectual activity. This conceptual distinction is decisive: copyright law rests on the presumption of human creativity as the essential element of protection. Without a human origin, a creation cannot be meaningfully understood as a copyrightable work. The second section explores copyright’s normative foundations, emphasizing its dual role in safeguarding the author’s intellectual and spiritual contribution while simultaneously ensuring public access to cultural goods. Rooted in the European droit d’auteur tradition, copyright doctrine views authorship as inherently tied to human individuality, originality, and expression. International treaties such as the Berne Convention, EU case law, and Slovenian legislation all reinforce this principle by requiring that a work embody the personal imprint of a natural person. Copyright protection thus presupposes originality, human authorship, and expression as cumulative conditions that cannot be fulfilled by autonomous AI systems. 108 OD ALGORITMA DO PRAVA. Against this normative background, the chapter differentiates between two main categories of AI- related works. The first consists of creations made with AI as a tool. In such cases, human intervention during conception, execution, or revision is sufficient to meet copyright requirements, provided the individual’s intellectual and creative choices can be traced in the final product. Here, AI functions analogously to a camera, musical instrument, or editing software—an instrument through which the author expresses creativity. The second category involves works generated autonomously by AI, where human input is absent or insufficient. The author argues that such works cannot qualify as copyrightable de lege lata, since authorship is strictly reserved for natural persons. More importantly, even de lege ferenda, there is no normative justification for granting copyright to AI. The ratio legis of copyright lies in stimulating human creativity, not rewarding the outputs of machines. AI systems, no matter how sophisticated or economically valuable, cannot experience creativity, intentionality, or a sense of justice in exploiting works. Accordingly, AI-generated works should be treated as part of the public domain, freely accessible to all and capable of fostering new human creativity. The concluding reflections underscore that AI challenges foundational categories of law, particularly its anthropocentric orientation. Copyright cannot accommodate AI as an author without fundamentally redefining the concept of creativity. Yet broader questions regarding the cultural, social, and economic impact of AI on creative industries remain open. For the present, however, copyright protection must remain limited to works that bear the imprint of human originality and intellectual contribution. O VPRAŠANJU IZUMITELJ(STV) DOI A https://doi.org/ 10.18690/um.pf.11.2025.5 IN ZADEVI DABUS ISBN 978-961-299-086-2 NINA SMERDU Univerza v Mariboru, Maribor, Slovenija nina.smerdu@um.si Zmožnost izumiteljstva se od nekdaj pripisuje (samo) fizičnim Ključne besede: izumitelj, osebam, a vse večja prisotnost umetne inteligence v razvojno- izumiteljski prispevek, raziskovalnih procesih, v okviru katerih nastajajo novi, inventivni umetna inteligenca, rezultati, odpira dvom, ali sta ustvarjalnost in izumiteljstvo zares DABUS, patentno pravo, lastna samo ljudem. Prav ta izziv, postavljen pred uveljavljen pravica do navedbe, teorija spodbude patentni sistem, je predmet tega poglavja. V prvem delu sta obravnavana pojma izumitelj in (so)izumiteljski prispevek ter teorije o razvoju patentnega prava. Drugi del je namenjen analizi zadeve DABUS, ki je jedro projekta The Artificial Inventor. Cilj tega je preko vložitve patentne prijave, v kateri je sistem DABUS naveden kot izumitelj, pridobiti odločitve pristojnih organov o možnosti in dopustnosti take navedbe. Predstavljene in analizirane so odločitve Evropskega patentnega urada, nemškega, ameriškega in avstralskega urada ter tamkajšnjih sodišč in nato nova spoznanja o izumitelj(stv)u, tako v podobi fizične osebe kot potencialu umetne inteligence, ki (za zdaj) še vedno temelji na človekovi ustvarjalnosti. DOI ON THE QUESTION OF https://doi.org/ 10.18690/um.pf.11.2025.5 ISBN NVENTOR SHIP I () AND 978-961-299-086-2 THE DABUS CASE NINA SMERDU University of Maribor, Maribor, Slovenia nina.smerdu@um.si Keywords: Inventorship has always been attributed to natural persons (only), inventor, but the increasing presence of artificial intelligence in research and inventor's contribution, artificial intelligence, development, where new, inventive results are created, raises DABUS, doubts as to whether creativity and invention are truly inherent patent law, the right to be named, only to humans. The subject of this chapter is precisely this the incentive theory challenge, posed to the established patent system. First, the concepts of an inventor and inventive contribution are presented, followed by the development theories of patent law. The second part is devoted to the analysis of the DABUS case, the core of the Artificial Inventor project. The latter's goal is to obtain decisions from competent authorities on the possibility and admissibility of naming artificial intelligence as an inventor in a patent application. Decisions of the European Patent Office and patent offices of Germany, the USA and Australia, as well as court decisions in those countries, are presented and analysed. Lastly, new insights into inventor(ship), both in the figure of a natural person and the potential of artificial intelligence, which (for now) is still based on human creativity, are provided. N. Smerdu: O vprašanju izumitelj(stv)a in zadevi DABUS 111, 1 Uvod Že od mladih nog nas učijo, kaj človeka loči od drugih živih bitij, s katerimi sobivamo na tem planetu, in od koder posledično črpa moč in upravičenje, da ostala živa bitja tudi nadvladuje. To je zmožnost, sposobnost in dejavno izkoriščanje intelekta ter ustvarjalnosti. Za prepoznavanje in varstvo intelektualnih, raziskovalnih in ustvarjalnih dosežkov je bilo razvito posebno področje, tj. pravo intelektualne lastnine, ki ob izpolnjevanju nadaljnjih pogojev tvorce takšnih dosežkov nagrajuje z močnimi, izključnimi pravicami, ki posledično njihovim imetnikom nudijo možnost globalnega ekonomskega uspeha ob prizadevnem gospodarskem izkoriščanju predmetov teh pravic. Patentno pravo je skupek pravnih pravil, ki ureja patentno varstvo izumov, kadar so za to izpolnjeni vsi zakonski pogoji. Patent se tako podeli za izum, ki je nov, na inventivni ravni in je industrijsko uporabljiv, kot določa slovenski Zakon o industrijski lastnini1 (ZIL-1) v 10. členu. Definicije izuma nacionalni in mednarodni pravni viri (npr. ZIL-1, nemški Patentgesetz2 (PatG), Evropska patentna konvencija3 (EPK), Sporazum o trgovinskih vidikih pravic intelektualne lastnine4 (Sporazum TRIPs))5 ne vsebujejo, je pa ta pojem predmet obširne obravnave v pravni teoriji in seveda praksi pristojnih upravnih in sodnih organov. Ker je namen tega poglavja monografije zlasti razjasnitev (ali bolje razmejitev) vloge in »obličnosti« izumitelja, naj tukaj na kratko povzamem, da je izum konkretna rešitev tehničnega problema. Na primer, Svetovna organizacija za intelektualno lastnino izum definira kot rešitev specifičnega problema s področja tehnike. Izum je lahko proizvod ali proces. 6 Za bolj nazorno razlago in opozorilo na pomembnost človekove aktivnosti gre primerjati odkritje in izum. Odkritja so izrecno izvzeta iz patentnega varstva, saj ne le, da zanje patent ne more biti podeljen, pravo jih »kot take« niti ne šteje med izume, saj jim praviloma manjka ravno tehnična narava. Odkritja so namreč že obstoječe 1 Uradni list RS, št. 51/06 – UPB, 100/13, 23/20 in 76/23. 2 BGBl. 1981 I S. 1 in BGBl. 2024 I Nr. 323 – zadnja sprememba. 3 Oziroma Konvencija o podeljevanju evropskih patentov (Zakon o ratifikaciji Konvencije o podeljevanju evropskih patentov (MKPEP), Uradni list RS–MP, št. 68/02). 4 Uradni list RS–MP, št. 10/95. 5 Izumitelj je na primer definiran v področnem zakoniku ZDA (United States Code Title 35 – Patents, current as of January 31, 2024; https://www.uspto.gov/web/offices/pac/mpep/mpep-9015-appx-l.html). Več o tem glej v razdelku 3.5. 6 WIPO Intellectual Property Handbook, https://tind.wipo.int/record/28661/files/wipo_pub_489.pdf (obiskano: 13. 2. 2025). 112 OD ALGORITMA DO PRAVA. materije, snovi, tudi samodejni procesi v naravi, ki jih je človek zgolj odkril, našel.7 Kadar pa človek ob proučevanju naravnih zakonitosti in izkoristku svojega pridobljenega tehničnega znanja poseže v te naravne zakonitosti (tudi odkritja), na način, da proizvede, ustvari, razvije nov rezultat, gre za izum. Čeprav tudi izumitelj v zakonodaji ni izrecno definiran,8 pravo njegovo udeležbo pri razvoju in kreaciji izuma zahteva, saj mu dodeljuje izvirno upravičenje do zahtevanega pravnega varstva in mu priznava nadaljnja upravičenja kot nagrado za njegov izumiteljski prispevek k tehnološkemu in industrijskemu razvoju. In šele ob trku z umetno inteligenco se tolmačenje pojma izumitelj ne zdi več samo po sebi umevno, namreč, da je pridržano le fizičnim osebam. Kdo (ali kaj) drug bi namreč bil sposoben izumljanja – kompleksnega miselnega procesa, ki poteka v ozadju ustvarjalnih aktivnosti in končno pripelje do rezultata, kot ga stanje tehnike še ne obsega? S pojavom in praktično vsakodnevnimi nadgradnjami zmogljivosti generativne umetne inteligence se zdi potrebno na novo ovrednotiti človekov privilegij, da lahko samo on uživa izumiteljske pravice. Svojevrsten poseg v tolmačenje pojma izumitelj predstavlja projekt »The Artificial Inventor«.9 Vodi ga Ryan Abbott, njegovo ekipo pa tvorijo pravni strokovnjaki in patentni zastopniki iz več držav. Z vlaganjem patentnih prijav, tako nacionalnih kot regionalnih (evropska patentna prijava – EP) in mednarodnih (PCT), v kateri je kot izumitelj naveden umetnointeligenčni sistem DABUS,10 želi Abbottova ekipa zamajati temelje patentnega prava z uvedbo sodobnejšega in širšega razumevanja pojma izumitelj, tako da bi tudi umetni inteligenci področna zakonodaja priznala (samostojno) kapaciteto izumljanja in posledično status izumitelja. Zagotovo je projektni ekipi za zdaj uspelo to, da so sprožili širšo globalno razpravo o temeljnih postulatih prava intelektualne lastnine v današnji umetnointeligenčni realnosti. 7 Po drugi strani Direktiva Evropskega parlamenta in Sveta 98/44/ES z dne 6. julija 1998 o pravnem varstvu biotehnoloških izumov (UL L 213, 30. 7. 1998, strani 13–21) med drugim določa, da je biološki material, ki je s tehničnim postopkom izoliran iz svojega naravnega okolja ali je s takim postopkom pridobljen, lahko predmet izuma, tudi če je že prej obstajal v naravi (drugi odstavek 3. člena). V uvodnih pojasnilih Direktive 98/44 je navedenih več razlogov, zakaj je treba razširiti pravno varstvo na področjih biotehnologije in genskega inženiringa (npr. spodbujanje naložb v razvoj in raziskave, zmanjšanje onesnaževanja okolja, boj proti epidemijam in lakoti, zlasti v državah v razvoju, reprodukcijske zmožnosti s tehničnimi postopki, ki jih narava sama po sebi ne more izvesti ipd.). 8 Nasprotno je denimo avtor točno opredeljen kot fizična oseba, ki je ustvarila avtorsko delo (10. člen Zakona o avtorski in sorodnih pravicah, Uradni list RS, št. 16/07 – uradno prečiščeno besedilo, 68/08, 110/13, 56/15, 63/16 – ZKUASP, 59/19 in 130/22; ZASP). 9 Opis, napredek in gradiva so dostopni na spletni strani: https://artificialinventor.com/. 10 DABUS je kratica za Device for the Autonomous Bootstrapping of Unified Sentience. Več o delovanju tega sistema glej https://imagination-engines.com/dabus.html (obiskano: 30. 1. 2025). N. Smerdu: O vprašanju izumitelj(stv)a in zadevi DABUS 113, Poglavitno raziskovalno vprašanje tega poglavja je, koliko pravne elastičnosti obstaja v pojmu izumitelj, upoštevaje zmogljivosti generativne umetne inteligence na eni strani in veljavno pravno ureditev na drugi. V zvezi s tem zadeva DABUS s svojim preizkusom pravne regulative in še bolj njenega tolmačenja daje prvi uvid v aktualno prakso nacionalnih patentnih uradov in sodišč, temu poglavju pa izhodišče za preizpraševanje o tem, kdo ali kaj je lahko izumitelj. To poglavje za uvodom v drugem razdelku obravnava pravni pojem in status izumitelja, izumiteljski prispevek, ter teorije razvoja patentnega prava. Definicijo pojma izumitelj je namreč treba izvesti iz prepleta teorij, na katerih je oblikovano patentno pravo, postopkovnih določil izbrane zakonodaje in mednarodnih pravnih aktov ter podpreti s strokovno literaturo. Predmet tretjega razdelka je vprašanje, ali je lahko umetna inteligenca izumitelj, ob tem pa je predstavljena in analizirana zadeva DABUS preko najbolj zanimivih odločitev nacionalnih patentnih uradov, regionalnega – Evropskega patentnega urada (EPU) in tudi sodišč, ki so v obravnavo in odločanje prejeli omenjeno zadevo. Kljub temu da razprava o tem vprašanju še ni končana, so v četrtem razdelku navedena nekatera nova spoznanja o izumitelj(stv)u.11 2 Izumitelj kot pravni status 2.1 Izumitelj – njegov doprinos, pravice in interesi Snovati, ustvarjati, kreirati, raziskovati … vse to so aktivnosti, ki predpostavljajo miselni proces, intelektualni napor, sprejemanje odločitev in kritični razmislek, njihov cilj pa je oblikovati nek nov rezultat. Ker ZIL-1 ne definira izuma, je definicijo treba poiskati v občem slovarju. Izum je tisto, kar je na novo odkrito, ustvarjeno, zlasti na tehničnem področju. Izumiti je potemtakem (1.) narediti, ustvariti kaj novega, zlasti na tehničnem področju; in (2.) z razmišljanjem izoblikovati, ustvariti.12 V uvodu prispevka je že bila pojasnjena razlika med odkritjem in izumom, zato je potrebna pazljivost pri uporabi glagola »odkriti« v pravnem kontekstu pojma izum(-iti). Gramatikalna logika nas privede do zaključka, da je izumitelj, kdor kaj izumi. 11 S podobnim izzivom se sooča tudi avtorsko pravo. Več o tem glej pri Bogataj Jančič, 2021, in Damjan, 2023. 12 Slovar slovenskega knjižnega jezika, druga, dopolnjena in deloma prenovljena izdaja, dostopna na: www.fran.si (obiskano: 23. 1. 2025). 114 OD ALGORITMA DO PRAVA. V pravnem okolju je izum, ki je lahko manifestiran ali v obliki proizvoda ali postopka in izhaja s kateregakoli tehničnega področja, predmet patentnega varstva, če so za to izpolnjeni zakonsko določeni pogoji. Ti so na podlagi mednarodno dogovorjenih smernic (npr. 27. člen Sporazuma TRIPs) globalno harmonizirani,13 in sicer so to: novost, inventivna raven in industrijska uporabljivost izuma.14 Če sta pogoja novosti in industrijske uporabljivosti objektivno preverljiva kriterija, je doseganje inventivne ravni podvrženo preizkusu strokovnjaka z zadevnega tehničnega področja in je tako standard, postavljen po meri človekove sposobnosti izumljanja. Patentni preizkuševalec, ki je povprečni strokovnjak z zadevnega tehničnega področja, ima ravno tako kot izumitelj dostopno znanje iz aktualnega stanja tehnike, a ne toliko znanstvene domišljije kot izumitelj. Ob presoji, ali izum dosega inventivno raven, gre torej za vprašanje, ali pomeni zadevni izum za preizkuševalca (ne)očitno rešitev tehničnega problema. Kot bo prikazano v nadaljevanju, zgodovina patentnega prava in iz nje razvite teorije nastanka učijo, da je namen podelitve patenta za izum, ki je rezultat človekove nadpovprečne ustvarjalnosti, pravna »nagrada« in obet za ekonomski uspeh v zameno za doprinos k tehnološkemu napredku družbe. Pravna nagrada, ki se (ob izpolnitvi zgoraj naštetih pogojev) podeli prijavitelju v obliki časovno omejene pravice (patenta), poleg izključnih zahtevkov (18. člen ZIL- 1), ki so usmerjeni v zagotovitev boljšega ekonomskega položaja imetnika patenta, vključuje tudi osebnostno-pravno komponento. ZIL-1 in še posebej Pravilnik o vsebini patentne prijave in postopku z deljenimi patenti15 (Pravilnik) zahtevata, da vsebina patentne prijave med drugimi sestavinami vključuje podatke o prijavitelju (priimek, ime in naslov oziroma firmo in sedež, če gre za pravno osebo)16 in izumitelju (priimek, ime in naslov, pri katerem zadostuje navedba kraja).17 Izumiteljevo pravico do navedbe je v členu 4ter zagotovila že Pariška konvencija za varstvo industrijske lastnine iz leta 188318 (Pariška konvencija), prvi mednarodni sporazum, ki vzpostavlja univerzalna načela na področju varovanja industrijske lastnine. Dodatno pravno varstvo pravice do navedbe (ali tudi priznanja) imena izumitelja daje možnost sodnega uveljavljanja preko tožbe izumitelja za navedbo v prijavi in vseh dokumentih, ob tem pa lahko zahteva še javno objavo pravnomočne 13 O izčrpni predstavitvi mednarodnih sporazumov in konvencij s področja prava intelektualne lastnine glej pri Tritton et al., 2008, strani 48–55, in, posebej o določilih, ki veljajo za patente, strani 62–91. 14 Podrobneje o pogojih patentabilnosti glej v Cornish in Lllewelyn, 2003, strani 173–207; Bently et al., 2018, strani 458–463 in 551–598. 15 Uradni list RS, št. 102/01. 16 Določba 87. člena ZIL-1 in točka c) prvega odstavka 3. člena Pravilnika. 17 Določba točke e) prvega odstavka 3. člena Pravilnika. 18 Zakon o ratifikaciji sprememb Pariške konvencije za varstvo industrijske lastnine (Uradni list RS–MP, št. 17/07). N. Smerdu: O vprašanju izumitelj(stv)a in zadevi DABUS 115, sodbe na toženčeve stroške. Vložitev tožbe je možna ves čas trajanja veljavnosti patenta (118. člen ZIL-1).19 Zahteve po navedbi izumitelja/-ev so odraz spoštovanja t. i. moralne ali osebnostne pravice izumitelja do priznanja njegovega izumiteljskega prispevka.20 Po mnenju Fromer pravica priznanja služi dvema poglavitnima ciljema, ki sta oba povezana z osebnostnimi interesi. Prvič, olajša obveščanje javnosti o izumiteljevi vključenosti v razvojni proces, in drugič, izumitelj pridobi določen ugled ter nove profesionalne priložnosti, ki lahko vodijo do večjega finančnega zaslužka. A prav ugled krepi vez med izumiteljem in njegovim izumom ter prepoznavanje le- teh kot močnih komponent njihove osebnosti.21 Skladno z veljavno zakonodajo v veliki večini držav je lahko izumitelj zgolj fizična oseba, kar so v zadevi DABUS potrdili tudi pristojni upravni in sodni organi. Ker je izumiteljstvo duhovna dobrina, duhovna ustvarjalnost pa je lastna samo človeku kot posamezniku, je lahko izumitelj le fizična oseba (ali skupina fizičnih oseb), ne pa entiteta kot taka.22 Opozoriti je treba še na premoženjskopravni vidik zavarovanja izumiteljevih interesov. Ta je izražen v pravici do patenta, ki obstaja, vse dokler je izum patentabilen in ima naravo splošne pravice do varstva zasebne lastnine posameznika, ki je varovana s kazensko in civilnopravno zakonodajo.23 Po 115. členu ZIL-1, denimo, ima izumitelj, njegov dedič ali pravni naslednik možnost s tožbo izpodbijati pravico do patenta, in to ves čas trajanja patenta. Ob tem lahko zahteva tudi, da se ga razglasi za imetnika patenta, če je bil patent podeljen na ime nekoga, ki ni izumitelj, njegov dedič ali drug pravni naslednik. 2.2 Izumiteljski prispevek Ni izuma brez izumitelja in ne izumitelja brez njegovega dejanskega prispevka k nastanku izuma. Kaj šteje kot izumiteljski prispevek, je zahtevno vprašanje pravilnega vrednotenja konkretnih razvojno-raziskovalnih nalog v okviru kompleksnega procesa, v katerem dandanes praviloma sodeluje več oseb. A okoliščina sodelovanja še ne pomeni, da so prav vsi sodelujoči tudi soizumitelji. 19 Priznanje pravice do navedbe lahko s tožbo zahteva tudi oblikovalec. 20 Za primerjavo naj navedem, da je avtorska pravica sestavljena iz več komponent: moralnih in materialnih avtorskih pravic ter drugih pravic avtorja. ZASP kot eno izmed moralnih avtorskih pravic določa tudi pravico priznanja avtorstva (18. člen ZASP). 21 Fromer, 2012, stran 1790. 22 Marković 1997, stran 139. 23 Prav tam, stran 144. 116 OD ALGORITMA DO PRAVA. Izumitelj je le tisti, ki je k zasnovi končne rešitve ali kateremu od njenih ključnih elementov dodal svoj izviren (neodvisen) in konkreten intelektualni prispevek. Tak prispevek pomembno vpliva na bistvo, delovanje, uporabo ali proizvodnjo izuma.24 Standarda pomembnega vpliva pa ne gre enačiti z doseganjem inventivne ravni, kar velja za izum kot celoto. Za posamične izumiteljske prispevke to ni zahtevano, kar šteje, je znaten vpliv na uspeh delovanja končnega rezultata. Zato so tehnična pomoč, izvajanje posameznih opravil po navodilih drugih, zagotavljanje finančne podpore, postavljanje hipotetičnega problema brez nadaljnjih predlogov za njegovo reševanje primeri del ali nalog, ki se ne morejo kvalificirati kot (so)izumiteljski prispevki.25 Ob tem pa se postavlja še eno vprašanje, in sicer, ali je treba vrednost in težo človekovega doprinosa zmanjšati zaradi uporabe naprednih tehnologij, kot je umetna inteligenca. V zvezi s tem se pojavljajo stališča, da bi bilo treba izvajanje računalniških operacij po algoritemskih navodilih enačiti z aktom izumljanja, kar pa ni prepričljivo. Tehnike umetne inteligence lahko ustvarjajo »izven okvirjev« le znotraj ozke kategorije dobro naučenih rutinskih nalog. V večini primerov je za njeno delovanje potrebno precizno in namensko prilagajanje ter človekovo sprejemanje odločitev, ki je odraz posebnih okoliščin vsakega posameznega primera.26 Povzamemo lahko, da je za priznanje statusa izumitelja potrebna angažiranost v fazi zasnove, ki presega zgolj neko abstraktno idejo, in samo izvedbeno dejanje, obenem pa mora imeti ta angažiranost intelektualen oziroma kreativen značaj, ne pa finančnega, materialnega ali administrativnega.27 2.3 Teorije razvoja patentnega prava Pri tolmačenju prava se pravna stroka poslužuje več uveljavljenih tehnik. V prvi vrsti so to različne razlage pravnih pravil (npr. teleološka, jezikovna, sistematična ipd.), zateka pa se tudi k pravni zgodovini, teoriji nastanka in namena. Test časa in družbenega napredka vseskozi preizkuša njihovo veljavnost in vzdržljivost. Tekom 24 Inventorship Guidelines, Hoiberg European Patent Attorneys, izobraževanje za strokovno osebje na področju prenosa znanja, 11. 5. 2021, ASTP. 25 Več primerov prispevkov, ki se lahko kvalificirajo kot (so)izumiteljski ali te ravni ne dosegajo, navaja Bently et al., 2018, strani 624–629. 26 Kim et al., 2021, stran 5. 27 Shemtov, 2019, stran 19. N. Smerdu: O vprašanju izumitelj(stv)a in zadevi DABUS 117, časa so se v strokovni literaturi uveljavile štiri teorije o patentnem pravu: teorija pogodbe, naravnopravna teorija, teorija nagrade in teorija spodbude. Zaradi boljšega razumevanja osrednje vloge izumitelja v patentnem pravu in določenih argumentov iz odločitev v zadevi DABUS so v nadaljevanju na kratko povzete. Teorija pogodbe patent tolmači s pomočjo metafore, da gre za pogodbeni odnos med državo in izumiteljem. V prispodobi dvostransko zavezujoče pogodbe se država zaveže, da bo izumitelju zagotovila izključno zasebno pravico do ekonomskega izkoriščanja izuma, izumitelj pa, da bo svoj izum objavil in s tem zagotovil svoj doprinos k tehnološkemu razvoju družbe.28 Naravnopravna teorija izpostavlja nadzakonsko, naravno pravico človeka do rezultatov lastnega intelektualnega dela. Dediščina te teorije je danes prisotna kot obče sprejeto načelo patentnega prava: izvirno pravico do patenta ima samo izumitelj.29 S sklicevanjem na idejo pravičnosti (njeno poreklo je prav tako naravnopravno) vidi teorija nagrade v patentnem sistemu pravni mehanizem, ki izumitelju zagotavlja nagrado za njegov prispevek k tehnološkemu napredku skupnosti. Nagrado predstavlja izumiteljev časovno omejen in z zakonom zagotovljen tržni status izključnega uporabnika patentiranega izuma.30 Bistvo teorije spodbude je v razumevanju, da je patentni sistem upravičen s tem, da motivira ljudi k dejavnemu ustvarjanju novih izumov. Mehanizem motivacije deluje tako, da s patentom prikazuje obet izjemnega dobička iz naslova gospodarskega izkoriščanja izuma. V sodobnem času pretežno soizumiteljskega ustvarjanja, naročenih in zunanje financiranih raziskav ter razvojno-raziskovalnega sodelovanja med javnimi raziskovalnimi organizacijami in industrijskimi partnerji se mora ta teorija razumeti tako, da je obstoj patentnega sistema spodbuda za investicije v izumiteljsko dejavnost. Začasen monopolni položaj v zvezi z gospodarskim izkoriščanjem izumov, ki ga daje patent, investitorju obljublja realno možnost, da si na trgu povrne investicijo in dodatno ustvari dobiček. 31 28 Marković, 1997, stran 25. 29 Prav tam, stran 27. 30 Prav tam, stran 28. 31 Prav tam, strani 29–30. 118 OD ALGORITMA DO PRAVA. Četudi motivacijski mehanizem po teoriji spodbude danes ne naslavlja več izumiteljev kot posameznikov, jih patentno pravo z obetom nagrade ne zanemarja. V okviru delovnih nalog, ki vključujejo razvojno-raziskovalno oziroma izumiteljsko delo, nastajajo t. i. službeni izumi, to so izumi, ustvarjeni v delovnem razmerju. Tako na primer Zakon o izumih iz delovnega razmerja32 (in na njegovi podlagi sprejet Pravilnik o nagradah za izume iz delovnega razmerja33 (Pravilnik o nagradah) določata pravico do nagrade delavcem, ki so (so)ustvarili službene izume. Primerna nagrada se določi za prevzem vsakega posameznega izuma, ustvarjenega v delovnem razmerju, in za vsakega delavca posebej (prvi odstavek 2. člena Pravilnika o nagradah). 3 Umetna inteligenca kot izumitelj 3.1 Zadeva DABUS Ekipa predvsem pravnih strokovnjakov, zbrana okoli Ryana Abbotta in Dr. Stephena L. Thalerja, je v okviru projekta The Artificial Inventor vložila več patentnih prijav po svetu, v katerih je kot izumitelj naveden DABUS, umetnointeligenčni sistem. Dr. Stephen L. Thaler, ki je ustvaril sistem DABUS, je na teh patentnih prijavah napisan kot prijavitelj. Izum, ki je predmet patentnih prijav, je po zatrjevanjih Thalerja tehnična rešitev, ki jo je avtonomno ustvaril DABUS. Ekipa na svoji uvodni spletni strani navaja, da je namen teh »pro bono testnih pravnih zadev« promovirati dialog o socialnih, ekonomskih in pravnih učinkih novih tehnologij, kot je umetna inteligenca, in za deležnike ustvariti smernice o možnostih pravnega varstva rezultatov, ki jih generira umetna inteligenca.34 Abbott dodaja, da mora biti patentno varstvo na voljo tudi za dosežke, ki jih generira umetna inteligenca, ker bo to vzpodbudilo inoviranje. Obet pridobitve patenta sicer ne bo neposredno motiviral umetne inteligence, bo pa spodbuda za ljudi, ki razvijajo, posedujejo in uporabljajo umetno inteligenco.35 32 Uradni list RS, št. 15/07 – uradno prečiščeno besedilo. 33 Uradni list RS, št. 65/07. 34 Glej https://artificialinventor.com/, začetno spletno mesto (obiskano: 28. 12. 2024). 35 Abbott, 2019, https://www.wipo.int/en/web/wipo-magazine/articles/the-artificial-inventor-project-41111 (obiskano: 28. 12. 2024). N. Smerdu: O vprašanju izumitelj(stv)a in zadevi DABUS 119, Na spletni strani projekta so objavljene odločitve patentnih uradov in sodišč, ki so se v okviru svojih pristojnosti ukvarjali z zadevo DABUS. Doslej je bil podeljen samo en patent, in to v Južnoafriški republiki, 28. 7. 2021.36 V polju »izumitelj« je v spletnem patentnem glasilu navedeno: DABUS, izum je avtonomno ustvarila umetna inteligenca. Patentni sistem v tej državi sicer temelji zgolj na registraciji brez preizkušanja patentne prijave. Kot je razvidno iz objavljenega seznama poskusa izgradnje velike patentne družine, so v ostalih primerih pristojni organi patentno prijavo bodisi zavrnili bodisi je še v postopku (sodnega) preizkusa. V nadaljevanju tega prispevka povzemam postopke in odločitve, katerih argumentacije so po moji presoji morda zanimivejše in tudi pomembnejše za nadaljnjo razpravo ter reguliranje umetne inteligence v ustaljenem režimu patentnega prava. 3.2 Evropska patentna prijava Evropska patentna organizacija (EPO) je regionalna medvladna organizacija, ustanovljena leta 1977 na temelju EPK,37 podpisane v Münchnu leta 1973. EPU je izvršilni in upravni organ EPO, ki odloča o podelitvi evropskih patentov, zahtevanih z evropsko patentno prijavo. Pri tem uporablja materialno pravo EPK. Upravni svet EPO je upravljavski in nadzorni organ, katerega člani so predstavniki držav članic EPO. Ta ima danes 39 držav članic, patentno varstvo na temelju evropske patentne prijave pa lahko prijavitelji zahtevajo v 45 državah. Odločbe EPU so podvržene preizkusu Odbora za pritožbe, ki je sicer organizacijsko vključen v EPU, vendar je samostojen pri sprejemanju svojih odločitev in zavezan le z EPK. Materialno evropsko patentno pravo, ki je urejeno v drugem delu EPK, praviloma ne posega v nacionalni pravni režim. Evropsko in nacionalno patentno pravo obstajata hkrati, pri čemer se evropski patent po podelitvi zlije z nacionalnim patentnim sistemom in je pravno urejen po istem režimu, kot če bi ga priznal nacionalni patentni urad.38 Pridobitev evropskega patenta, ki ga podeli EPU na podlagi evropske patentne prijave, je mogoča ob izpolnjevanju formalnih in vsebinskih predpostavk, določenih v EPK. Evropski patent je skupek nacionalnih patentov in ima v vsaki državi članici, 36 Številka patentne prijave 2021/03242, glej na https://iponline.cipc.co.za/Publications/PublishedJournals/E_Journal_July%202021%20Part%202.pdf (obiskano: 28. 12. 2024). 38 Repas v Repas (ur.), 2023, stran 111. 120 OD ALGORITMA DO PRAVA. za katero je podeljen, enak učinek kot nacionalni patent tiste države članice (prvi odstavek 64. člena EPK). Tudi morebitna kršitev evropskega patenta se presoja po nacionalnem pravu (tretji odstavek 64. člena EPK). Thaler je najprej 17. 10. 2018 vložil evropsko patentno prijavo s številko prijave EP18275163A,39 v kateri je bil pod nazivom »Food container« prijavljen izum za hrambo pijače in netekočih živilskih izdelkov. Na patentni prijavi, ki je bila objavljena 6. 11. 2019, je v rubriki »izumitelj« zabeleženo, da navedba izumitelja še ni bila vložena, med opombami pa tudi, da imenovanje izumitelja ni skladno z zahtevami 81. člena EPK in 19. člena Pravil za izvajanje EPK.40 Prvo določilo zahteva, da je v evropski patentni prijavi treba imenovati izumitelja. Če to ni prijavitelj sam ali ni edini izumitelj, mora imenovanje vsebovati izjavo o izvoru pravice do evropskega patenta. Imenovanje vsebuje priimek, ime in naslov izumitelja, izjavo iz 81. člena EPK in podpis prijavitelja oziroma njegovega zastopnika. Pravilo o imenovanju izumitelja dopolnjuje še prvi odstavek 19. člena Pravil za izvajanje EPK. EPU je prijavitelja skladno s tretjim odstavkom 90. člena EPK41 v zvezi s 60. členom EPK (pravica do evropskega patenta) pozval k odpravi pomanjkljivosti, saj evropska patentna prijava ni izpolnjevala zahtev 81. člena EPK. V 16-mesečnem roku je bilo možno pomanjkljivosti odpraviti, v nasprotnem primeru bi nastopila posledica iz petega odstavka 90. člena EPK, tj. zavrnitev prijave. Prijavitelj je v odgovoru pojasnil, da je izum, ki je predmet zadevne evropske patentne prijave, ustvaril DABUS sam. Strojno učenje, ki je nakopičilo znanje tega umetnointeligenčnega sistema, je vključevalo le splošno znanje z dotičnega tehničnega področja, nato pa je DABUS samostojno razvil izum in ga tudi opredelil kot novega ter izstopajočega. Tako po nadaljnjih izvajanjih prijavitelja izumiteljstvo ne bi smelo biti pridržano le fizičnim osebam in tudi EPK izrecno ne odreka varstva avtonomnim izumom strojev. Ob tem pa dodaja, da stroji ne bi smeli biti imetniki patentov, saj nimajo ne pravne osebnosti ali samostojnih pravic, vsled česar ne morejo posedovati lastnine. Tako bi moral biti lastnik takega stroja domnevni imetnik katerekoli intelektualne 39 Vsi dokumenti v zadevi so objavljeni na spletni strani registra EPU: https://register.epo.org/application?tab=doclist&number=EP18275163&lng=en (obiskano: 10. 2. 2025). 40 V ang. Implementing Regulations to the Convention on the Grant of European Patents; skupaj z drugimi izvedbenimi pravnimi akti so dostopna na: https://link.epo.org/web/EPC_17th_edition_2020_en.pdf. 41 Če ima evropska patentna prijava dodeljen datum vložitve, EPU skladno s Pravili za izvajanje EPK preveri, ali prijava izpolnjuje zahteve 14., 78. in 81. člena ter, kadar je potrebno, še prvega odstavka 88. in drugega odstavka 133. člena, kot tudi tistih iz Pravil za izvajanje EPK. N. Smerdu: O vprašanju izumitelj(stv)a in zadevi DABUS 121, lastnine, ki jo stroj proizvede, kot tudi vseh koristi, ki sicer pripadajo imetnikom, ki so fizične osebe. V zadevnem primeru naj bo torej DABUS priznan kot izumitelj, Stephen Thaler, njegov lastnik, pa pridobitelj vseh podeljenih patentov za izume, ki jih je ustvaril DABUS. Naknadno je prijavitelj preko svojega patentnega zastopnika dodal še vlogo, v kateri je navedel, da izvaja svojo pravico do patenta kot pravni naslednik, ker je lastnik izumitelja – sistema DABUS. Da bi pospešili postopek, je prejemna služba EPU sklicala ustno zaslišanje, saj prijavitelj s svojimi dopolnitvami še vedno ni odpravil pomanjkljivosti v zvezi z 81. členom EPK in 19. členom Pravil za izvajanje EPK. V vabilu je služba zapisala preliminarno mnenje o vprašanju dopustnosti imenovanja umetne inteligence kot izumitelja na patentni prijavi ter naznanila, da bo o tem odločila na zaslišanju. Kot izhaja iz zapisnika, sta na zaslišanju EPU in prijavitelj vztrajala pri svojih pogledih, podanih že v pisnih pozivih oziroma vlogah. Posledično je EPU odločil, da se evropska patentna prijava zavrne, saj izumitelj ni imenovan v skladu z 81. členom EPK in 19. členom Pravil za izvajanje EPK. Odločba je bila izdana 27. 1. 2020, zoper njo se je prijavitelj pritožil. Bistveni poudarki pritožbenih navedb pritožnika (prijavitelja) so: (1.) EPK je bila pisana v času, ko umetna inteligenca še ni bila realnost in možnost ter na postavki človeškega izumitelja, vendar človeško izumljanje ni pogoj za podelitev patenta; (2.) izumiteljstvo je dejanska okoliščina, ki sporoča, da je bil narejen tehnični prispevek k izumu; (3.) dopustiti imenovanje umetne inteligence kot izumitelja bi zadostilo interesom javnosti in poštenosti, saj ima javnost pravico vedeti, kako je nastal izum; (4.) nobenega mednarodnega standarda ni, po katerem je lahko izumitelj samo fizična oseba; (5.) izumi, ustvarjeni z umetno inteligenco, so patentabilni tako po 52. členu EPK kot 27. členu Sporazuma TRIPS, zato EPU ne bi smel zavrniti patentnega varstva za tovrstne izume na podlagi pravil o imenovanju ali zaradi pomanjkanja upravičenosti do vložitve patentne prijave, saj gre v teh primerih za procesne kršitve, ki so v pristojnosti nacionalnih sodišč. O pritožbah zoper odločitve EPU odloča Odbor za pritožbe EPU (OP).42 V prvem delu obrazložitve (pravni okvir) je ob že večkrat omenjenih zahtevah iz 81. člena EPK izpostavil še 62. člen EPK (izumiteljeva pravica do omembe pred EPU), 20. člen Pravil za izvajanje EPK (omemba imenovanega izumitelja na objavljeni evropski patentni prijavi in specifikaciji) in 21. člen Pravil za izvajanje EPK (popravek napačnega imenovanja izumitelja na zahtevo in s soglasjem napačno 42 Odločitev Odbora za pritožbe EPU, št. J 008/20, z dne 21. 12. 2021. 122 OD ALGORITMA DO PRAVA. imenovane osebe). Prav tako se je OP opredelil do določbe drugega stavka 81. člena EPK, ki se navezuje na prvi odstavek 60. člena EPK glede pravice do evropskega patenta, in sicer tako, da gre za samostojno materialno določbo EPK, ki izpolnjuje tri funkcije; prvič, vzpostavlja pravico do evropskega patenta; drugič, to pravico dodeljuje izumitelju; in tretjič, omogoča ločeno prenosljivost pravice, še preden je evropska patentna prijava vložena. Določba tako predvideva dva načina pridobitve pravice do evropskega patenta: prvi je razvoj izuma (izumitelj), drugi pa pridobitev pravice od izumitelja, potem ko je izum razvit (pravni naslednik). Tako izumitelj kot pravni naslednik sta koncepta EPK in se morata tolmačiti enotno in avtonomno. Kadar so nacionalna sodišča soočena z vprašanjem upravičenosti do evropskega patenta,43 morajo pri odločanju uporabiti prvi odstavek 60. člena EPK in ne nacionalnega prava, ki ureja pravico do nacionalnega patenta. Pravico do evropskega patenta imajo namreč samo subjekti, navedeni v omenjenem določilu, ki pa ne zaobsega imetnikov oziroma ustvarjalcev strojev, iz česar je prijavitelj črpal svojo upravičenosti do evropskega patenta. Glede imenovanja izumitelja je OP sledil odločitvi prejemne službe EPU in odgovoru na pritožbo, ki jo je podal predsednik EPU, namreč da imenovanje ne izpolnjuje zahtev iz prvega stavka 81. člena EPK. Premisa EPK je, da je lahko izumitelj samo pravno sposobna oseba, kar je navsezadnje tudi skladno z običajnim pomenom pojma izumitelj. Kjerkoli se EPK sklicuje na ali vključuje pojem izumitelja, je uporabljena beseda »oseba« ali »pravni naslednik«, zato ni nikakršne leksikalne ali kontekstualne dvoumnosti, ki bi jo moral OP razrešiti. Poleg tega so cilji določil, ki vključujejo izumitelja oziroma njegovo imenovanje, najprej podeliti in zavarovati pravice izumitelja, nato olajšati uveljavljanje morebitnih zahtevkov do nadomestila ali nagrade, ki jih v korist izumitelja določa nacionalna zakonodaja, in ugotoviti pravno podlago za črpanje upravičenja do vložitve patentne prijave. Imenovanje stroja brez pravne sposobnosti ne more doseči nobenega teh ciljev. Pritožnikov argument, da ima javnost pravico vedeti, kdo je izumitelj in kako je izum nastal, je OP ravno tako ovrgel, saj za to ni nobene normativne podlage, prav tako ta vidik ni relevanten v zvezi s 83. členom EPK (razkritje izuma). Po drugi strani pa EPK niti ne zahteva niti ne prepoveduje, da prijavitelj na drugem mestu, najbolje v opisu izuma, točneje pojasni, kako je bil le-ta ustvarjen. Posledično bi bilo torej treba umetno inteligenco razumeti kot orodje oziroma pripomoček, s pomočjo katerega 43 Določba 1. člena Protokola o sodni pristojnosti in priznavanju odločitev v zvezi s pravico do podelitve evropskega patenta. N. Smerdu: O vprašanju izumitelj(stv)a in zadevi DABUS 123, je izumitelj – fizična oseba – ustvaril izum. Če človeški avtor ali izumitelj uporablja umetno inteligenco kot orodje pri svojem ustvarjanju oziroma izumiteljstvu, zanj uživa enako varstvo z avtorsko pravico ali možnostjo patentiranja kot v primeru ustvarjanja brez umetne inteligence.44 OP je 21. 12. 2021 pritožbo zavrnil, pri tem pa ni našel razloga za posredovanje zadeve na Razširjen OP. 3.3 Nemčija S sklicevanjem na prioriteto vložene evropske patentne prijave je Thaler po nemškem patentnem zastopniku dne 17. 10. 2019 vložil nemško patentno prijavo.45 Patentni urad (Deutsches Patent- und Markentamt – DPMA) je prijavitelja obvestil, da imenovanje izumitelja ni skladno s 6. in 37. členom Zakona o patentih (PatG) ter 7. členom Uredbe o patentih46 (Patentverordnung; PatV), po katerih je lahko izumitelj samo fizična oseba. Kot fizična oseba se razume človeško bitje s pravno sposobnostjo po 1. členu Civilnega zakonika47 (Burgerliches Gesetzbuch), kar očitno ne more veljati za umetno inteligenco. Če prijavitelj pomanjkljivosti ne bi odpravil, se patentna prijava zavrne skladno z 42. v zvezi s 37. členom PatG. Na ta poziv je prijavitelj odgovoril z vlogo, kjer je pri imenovanju izumitelja dodal samo »c/o Thaler S«,48 ob tem pa pojasnil, da ne bi ustrezalo dejanskim okoliščinam, če bi kot izumitelja navedel sebe. Namreč, tolmačenje, da lahko izum ustvarjajo le človeška bitja, temelji na povsem antropocentrični definiciji pojma »kreativen«, kar pa je postalo zastarelo. Izumitelj se mora vselej na novo interpretirati v luči tehničnega napredka, kar je naloga in pristojnost sodišča, kot je v svoji vlogi še izpostavil prijavitelj. Ker je DPMA iz zgoraj navedenih razlogov patentno prijavo zavrnil, je Thaler pred Zveznim patentnim sodiščem (Bundespatentgericht; BPG) vložil tožbo. Njegovi razlogi so bili smiselno enaki oziroma podobni navedbam, ki jih je zatrjeval že pred EPU, DPMA pa je v odgovoru na pritožbo vztrajal pri danem zakonodajnem okviru, 44 Damjan, 2023, stran 1035. 45 Številka nemške patentne prijave: DE 10 2019 128 120.2; vpogled v spletno patentno mapo (brez objavljene dokumentacije) je mogoč na spletni strani Deutsches Patent- und Markenamt: https://register.dpma.de/DPMAregister/pat/register?AKZ=1020191281202 (obiskano: 10. 2. 2025). 46 BGBl. I S. 1702 in BGBl. I S. 878 – zadnja sprememba. 47 BGBl. I S. 42, 2909; 2003 I S. 738 in BGBl. 2024 I Nr. 323 – zadnja sprememba. 48 Pri tem »c/o« pomeni »care of«, s čimer se na poštnih pošiljkah doda naslov, kjer naslovnik pošiljke dejansko živi. 124 OD ALGORITMA DO PRAVA. ki v polju izumitelja na prijavi onemogoča imenovati kogarkoli oziroma karkoli drugega kot fizično osebo. Pomembneje za ta postopek je izpostaviti, da je prijavitelj po vložitvi pritožbe na DPMA poslal več dopolnitev patentne prijave, v katerih je na različne načine dopolnjeval imenovanje, kar je sodni senat BPG ravno tako upošteval. Izmed omenjenih dopolnitev je osrednjega pomena tista z oznako »Annex B4«, v kateri je v polju izumitelj prijavitelj navedel samega sebe, v dodatni vrstici pa še besedilo: »ki je povzročil, da je umetna inteligenca z nazivom DABUS ustvarila izum«. BPG se je zato v svoji presoji lotilo še dopustnosti takšnih pristavkov in dodatnih informacij. Kar zadeva imenovanje umetne inteligence na mestu izumitelja, je BPG sklenilo, da aktualna nacionalna zakonodaja ne pušča dvoma, da je lahko izumitelj samo fizična oseba, in tako v tem delu potrdilo pravilnost odločitve DPMA. Prvi odstavek 37. člena PatG (imenovanje izumitelja in upravičenost do vložitve patentne prijave), ki ga je treba brati skupaj s 63. členom PatG (omemba izumitelja na objavah patentne prijave in patenta), vzpostavlja izumiteljevo pravico, da je imenovan, namen česar je izraziti pripoznanje njegove inventivnosti (gre torej za t. i. izumiteljevo čast). Te časti ne gre izkazati umetni inteligenci, po drugi strani pa nezmožnost imenovanja umetne inteligence kot izumitelja ne pomeni nikakršne omejitve patentabilnosti takih izumov ter ekonomskega zastoja. V zvezi z dopolnitvijo patentne prijave z »Annexom B4« je BPG sklenilo, da se mora šteti kot pravočasna in procesno dopustna. Da je imenovanje prijavitelja samega kot izumitelja v tej vlogi pravilno in skladno z zakonom, ni dvoma, prav tako pa pristavek »ki je povzročil, da je umetna inteligenca DABUS ustvarila izum« ni v nasprotju z drugim odstavkom 7. člena PatV. V tem delu BPG ni sledilo argumentu predsednice DPMA, ki je zatrjevala, da vsebuje omenjeno določilo PatV zaključen seznam informacij v zvezi z imenovanjem izumitelja. Nasprotno temu je BPG opozorilo, da obrazec, ki se mora uporabiti za imenovanje izumitelja, vsebuje več izpolnitvenih polj, kot je zahtevanih informacij po zgornjem členu, dodatne navedbe prav tako niso izrecno prepovedane (kot je to na primer zakonodajalec zapisal v primeru tretjega odstavka 10. člena PatV). V izreku sklepa je BPG odločbo DPMA razveljavilo in mu zadevo vrnilo v ponovno odločanje. 49 Nadaljnje pravno sredstvo glede presoje pravnih vprašanj je nato vložila predsednica DPMA, prijavitelj pa nasprotno pritožbo zaradi zavrnitve njegovega 49 Sklep BPG, št. 11 W (pat) 5/21, z dne 11. 11. 2021. N. Smerdu: O vprašanju izumitelj(stv)a in zadevi DABUS 125, pritožbenega zahtevka v zvezi z imenovanjem umetne inteligence kot izumitelja. Tako je zadevo v obravnavo prejelo še sodišče na najvišji instanci, to je Zvezno sodišče ZR Nemčije (Bundesgerichtshof; BGH).50 BGH je v svojem sklepu sledilo zaključkom BPG. Potrdilo je, da je lahko izumitelj samo fizična oseba. Glede na sodno prakso BGH status izumitelja ne izhaja le iz dejanskega procesa, tj. stvaritve nove tehnične rešitve, pač pa sproža tudi pravna razmerja. Vzpostavlja namreč pravico do patenta, poleg tega nastane še izumiteljeva osebnostna pravica. Ko je izum ustvarjen s pomočjo umetne inteligence, je ravno tako mogoče kot izumitelja imenovati fizično osebo, saj ni zahtevano, da bi morala ta oseba izkazovati samostojen inventiven prispevek k nastanku izuma. Iz sodne prakse v zvezi s (so)izumiteljskimi prispevki še izhaja, da so neupoštevni zgolj tisti prispevki, ki niso vplivali na končen razvojni uspeh ali so zanj neznatnega pomena, in tudi tista dela, ki so bila opravljena po navodilih izumitelja ali tretje osebe. Vsekakor pa predstavlja določanje kroga soizumiteljev oziroma razločevanje soizumiteljev in oseb, ki so tekom razvoja izuma nudili samo tehnično pomoč, eno najtežjih praktičnih vprašanj patentnega prava.51 BGH nadaljuje, da kadar človekov prispevek znatno pripomore h končnemu uspehu tehnične rešitve, ki je bila razvita s pomočjo umetne inteligence, to zadošča za priznanje statusa izumitelja. Tudi pri uporabi umetne inteligence je namreč možno identificirati človekov input in od tod s pravno oceno okvalificirati njegov izumiteljski status. Glede na trenutno tehnološko stanje še ne obstaja sistem, ki bi zmogel razvijati tehnične rešitve brez vsakršne človekove priprave ali posega. Po drugi strani pa človekov poseg ne rabi sam dosegati inventivnosti ali genialnosti, temveč zadošča že prepoznavanje koristnosti in pomembnosti rezultata, ki ga je razvila umetna inteligenca.52 Glede imenovanja izumitelja v dopolnitvi vloge »Annex B4« je BGH prav tako potrdilo pravilnost odločitve BPG, in sicer, da je zadevna vloga dopustna, imenovanje v njej pa skladno s prvim odstavkom 37. člena PatG. V Annexu B4 dodan pristavek kot dodatna informacija ne krši 7. člena PatV. BGH je presodilo, da je iz pristavka jasno, da DABUS ni naveden ko soizumitelj, temveč kot orodje, ki ga je pri razvoju izuma, predmetu sporne patentne prijave, uporabil prijavitelj. Slednji pa je v omenjeni dopolnitvi nedvoumno označen kot izumitelj. 50 Sklep BGH, št. X ZB 5/22, z dne 11. 6. 2024. 51 Marković, 1997, stran 140. 52 Shemtov, 2019, stran 32. 126 OD ALGORITMA DO PRAVA. Vsled navedenega je BGH sklenilo, da se obe pritožbi zavrneta, in s tem potrdilo sklep BPG. Iz spletnega registra patentov pri DPMA53 izhaja, da je po vrnitvi zadeve v ponovno obravnavo DPMA nadaljeval predhodno fazo patentnega postopka in jo dne 12. 2. 2025 tudi zaključil. V polju »izumitelj« je navedeno, da je to prijavitelj. 3.4 Mednarodna patentna prijava Pogodba o sodelovanju na področju patentov54 (v nadaljevanju je uporabljena angleška kratica za Patent Cooperation Treaty: PCT) je proceduralna pogodba, ki ne zadeva dejanske podelitve patenta in katere namen sta centralizacija in poenostavitev patentnih prijav za več različnih držav.55 PCT omogoča prijavitelju, da z vložitvijo ene same mednarodne prijave pri pooblaščenem patentnem uradu katerekoli države članice (sprejemni urad) ali pri Mednarodnem uradu Svetovne organizacije za intelektualno lastnino (v nadaljevanju: SOIL) uveljavlja pravice nacionalne patentne prijave v katerikoli ali v vseh državah članicah PCT,56 ne da bi že na začetku moral predložiti prevod patentne prijave ali plačati prijavne pristojbine v vsaki državi posebej.57 Vodenje postopka po vloženi mednarodni patentni prijavi je razdeljeno na mednarodno in nacionalne faze. Prijavitelj mora v prijavi navesti države članice, v katerih zahteva podelitev patenta, to so imenovane države (točka (ii) prvega odstavka 4. člena PCT). Sistem po PCT prijavitelju praktično omogoča, da s pomočjo mednarodne poizvedbe pridobi uvid v možnosti za pridobitev patenta oziroma patentov, hkrati pa časovni zamik plačila pristojbin prijavitelju daje dodaten čas, da preveri potencial tržnega uspeha svojega izuma. Poleg tega so lahko prijavitelji prepričani, da v kolikor njihova mednarodna patentna prijava izpolnjuje formalne zahteve po PCT, iz formalnih razlogov ne more biti zavržena s strani katerega koli imenovanega patentnega urada, pristojnega za obravnavo zadeve v nacionalni fazi.58 Na tem mestu je treba izpostaviti, da PCT v zvezi z vsebino zahteve za podelitev patenta med sestavine le-te dodaja tudi ime in druge predpisane podatke o izumitelju, kjer nacionalna zakonodaja vsaj ene od imenovanih držav zahteva, da se te navedbe predložijo ob vložitvi nacionalne prijave. V nasprotnem primeru se 53 Glej https://register.dpma.de/DPMAregister/pat/register?AKZ=1020191281202&CURSOR=13 (obiskano: 14. 2. 2025). 54 Uradni list RS–MP, št. 19/1993, št. 3/2007; besedilo v angleškem jeziku dostopno na: https://www.wipo.int/wipolex/en/text/288637. 55 Repas v Repas (ur.), 2023, stran 110. 56 Na dan 13. 2. 2025 je 158 držav članic PCT; https://www.wipo.int/wipolex/en/treaties/ShowResults?search_what=C&treaty_id=6 (obiskano 13. 2. 2025). 57 Zirnstein v Repas (ur.), 2023, stran 165. 58 Glej https://www.wipo.int/treaties/en/registration/pct/summary_pct.html (obiskano: 13. 2. 2025). N. Smerdu: O vprašanju izumitelj(stv)a in zadevi DABUS 127, omenjene navedbe lahko predložijo v zahtevi ali v ločenih vlogah, naslovljenih na vsak imenovani urad, katerega nacionalna zakonodaja zahteva predložitev omenjenih navedb, vendar dovoljuje, da se predložijo pozneje kot ob vložitvi nacionalne prijave (točka (v) prvega odstavka 4. člena PCT). In še, če v zahtevi ni navedenih imena in drugih predpisanih podatkov o izumitelju, to nima nobenih posledic v nobeni imenovani državi, katere nacionalna zakonodaja zahteva predložitev omenjenih navedb, vendar dovoljuje, da se predložijo pozneje kot ob vložitvi nacionalne prijave. Neupoštevanje navedenih navedb v ločeni vlogi nima nobenih posledic v nobeni imenovani državi, katere nacionalna zakonodaja ne zahteva predložitve takih navedb (četrti odstavek 4. člena PCT). Glede legitimacije za vložitev patentne prijave PCT v tretjem odstavku 27. člena (nacionalne zahteve) določa še, da v kolikor prijavitelj za namene katere koli imenovane države v skladu z nacionalno zakonodajo te države ni kvalificiran za vložitev nacionalne prijave, ker ni izumitelj, lahko imenovani urad mednarodno prijavo zavrne. Thaler je preko svojega zastopnika Ryana Abbotta 17. 9. 2019 na Mednarodni urad pri SOIL vložil mednarodno (PCT) patentno prijavo, pri kateri se je prav tako skliceval na prioritetni datum evropske patentne prijave. Preko storitve PATENTSCOPE, ki je s strani SOIL voden spletni register patentnih prijav in patentov, je dostopna vsa dokumentacija v zadevnem postopku.59 Iz registra so med drugim razvidni datum objave patentne prijave, ki je 23. 4. 2020, številka objave WO2020/079499 in navedba izumitelja. Kot izumitelj je naveden DABUS, pripisano pa je, da je izum avtonomno ustvarila umetna inteligenca. »Deluje« na enakem naslovu kot prijavitelj. Zadevna mednarodna patentna prijava, v zvezi s katero po večini v času pisanja tega prispevka nacionalne faze sicer še niso zaključene, je s tem prva, ki v polju izumitelja nosi ime umetnointeligenčnega sistema. 3.5 Združene države Amerike Julija 2019 je Thaler tudi na ameriškem patentnem uradu (United States Patent and Trademark Office; USPTO) vložil patentno prijavo za izum, ustvarjen s strani sistema DABUS. Je pa tudi v ZDA dotična patentna prijava doživela podobno usodo kot drugod. Potem ko je USPTO patentno prijavo z imenovanim izumiteljem, 59 Glej https://patentscope.wipo.int/search/en/detail.jsf?docId=WO2020079499&_cid=P12-KCS16F-43450-1 (obiskano: 13. 2. 2025). 128 OD ALGORITMA DO PRAVA. umetno inteligenco, zavrnil, ker je izumitelj lahko samo fizična oseba, so odločitev urada po vloženih prijaviteljevih pravnih sredstvih potrdile naslednje instance: najprej revizijski odbor USPTO, nato še prvo- in drugostopenjsko sodišče60 v zvezni državi Virginii. Pravno podlago daje US Code, Title 35 – Patents (35 U.S.C.), ki med definicijami v 100. členu izumitelja opredeljuje kot posameznika (ang. individual) oziroma, v primeru skupnega izuma, posameznike, ki so izumili ali odkrili predmet izuma. Določba 101. člen izumitelju/-em podeljuje pravico do patenta. Thaler je izkoristil še možnost vložitve izrednega pravnega sredstva61 pri Vrhovnem sodišču ZDA (Supreme Court of the United States; SC US), ki mu je zastavil to osrednje vprašanje: ali patentni zakon kategorično omejuje zakonski termin »izumitelj« na človeška bitja? Kot namreč izhaja iz sodnih odločitev nižjih sodišč, je treba v zakonu uporabljena termina posameznik (ang. individual) in izumitelj (ang. inventor) nedvomno razumeti tako, da gre za fizično osebo. SC US je aprila 2023 odločilo, da zahteve za revizijo ne dopusti, s čimer je de facto potrdilo vse predhodne odločitve, da umetna inteligenca pač ne more biti izumitelj skladno z veljavno zakonodajo, ki ta status pripoznava samo ljudem. Je pa bila med drugim v ZDA zadeva DABUS eden od pospeškov h kolektivnemu pristopu ustrezne(jše) obravnave umetne inteligence. USPTO je 13. 2. 2024 v Zveznem glasilu objavil Smernice o izumiteljstvu pri izumih, ustvarjenih s pomočjo umetne inteligence62 (Smernice), ki so pravzaprav odgovor na izvršni ukaz prejšnjega predsednika ZDA o varnem in zaupanja vrednem razvoju in uporabi umetne inteligence. Namen Smernic je podati jasen okvir za vse deležnike, tako bodoče prijavitelje kot patentne preizkuševalce, za to, kako bo USPTO obravnaval vprašanje izumiteljstva v današnjih okoliščinah, ko imajo umetnointeligenčni sistemi, vključno z generativno umetno inteligenco, vse večjo vlogo v inovacijskih procesih. USPTO poudari, da gre za »živ« dokument, ki ga bo po potrebi in v odgovor na nadaljnji razvoj umetne inteligence ter sodnih precedensov posodabljal. Presoja izumiteljstva se še naprej osredotoča na človekov prispevek, pri čemer izumi, ustvarjeni s pomočjo umetne inteligence, niso a priori izključeni iz patentnega varstva. V Smernicah je 60 Thaler v. Vidal, No. 21-2347 (Fed. Cir.), 5. 8. 2022; dostopno na: https://www.cafc.uscourts.gov/opinions- orders/21-2347.OPINION.8-5-2022_1988142.pdf (obiskano: 13. 2. 2025). 61 Dostopno na: https://www.supremecourt.gov/DocketPDF/22/22- 919/259306/20230317125139087_Thaler%20Cert%20Petition.pdf (obiskano: 13. 2. 2025). 62 Inventorship Guidance for AI-Assisted Inventions, dostopno na: https://www.federalregister.gov/documents/2024/02/13/2024-02623/inventorship-guidance-for-ai-assisted- inventions (obiskano: 14. 2. 2025). N. Smerdu: O vprašanju izumitelj(stv)a in zadevi DABUS 129, večkrat poudarjeno, da trenutna zakonodaja ne omogoča imenovati kot izumitelja karkoli drugega kot fizično osebo (ali več njih kot soizumiteljev) in v tem oziru tudi priznavanja prispevkov s strani umetne inteligence ne, četudi so bili ti prispevki ključnega pomena za nastanek izuma. Pa vendar je mogoče zahtevati patentno varstvo za tako nastale izume in pri katerih gre človeku pripisati pomemben (ang. significant) vpliv. Z vidika patentnega preizkuševalca tako ne bo pomembno, ali je umetna inteligenca (ali kak drug napreden računalniški sistem) izvedla takšne funkcije, ki bi lahko pomenile (so)izumiteljski prispevek, če bi jih izvedel človek. Kar šteje, je, ali je lahko (in je) vsaj ena fizična oseba imenovana kot izumitelj, obenem pa niso imenovani stroji oziroma druga pomagala, ki pač niso fizične osebe. Glede na navedeno, gre razumeti, da v izumiteljskem procesu USPTO še vedno največjo vlogo pripisuje človeku in največjo vrednost njegovemu prispevku, četudi si pri tem dandanes lahko pomaga z umetno inteligenco. S takšnim pristopom enega pomembnejših patentnih uradov ostajata teoriji spodbude in nagrade, ki upravičujeta podelitev patenta s spodbujanjem in nagrajevanjem človekove domiselnosti, še vedno aktualni. 3.6 Avstralija Ker je Thaler v zgoraj omenjeni mednarodni prijavi označil tudi Avstralijo, je prijava v avstralsko nacionalno fazo dospela 9. 9. 2020.63 Ob pregledu formalnih zahtev po avstralskem patentnem zakonu in uredbi (Patents Act in Patents Regulations; PA in PR)64 je avstralska pristojna agencija (IP Australia; IPA) prijavitelja pozvala k odpravi pomanjkljivosti, saj v prijavi naveden izumitelj ni bil imenovan skladno s PR. Zanimivo pri tem pozivu IPA je, da je prijavitelj lahko ali imenoval fizično osebo kot izumitelja ali pa razložil, zakaj je lahko DABUS, kljub temu da gre za umetno inteligenco, legitimno imenovan kot izumitelj. V odgovoru je prijavitelj trdil, da PA ne opredeljuje pojma izumitelj in da je DABUS samostojno ustvaril predmetni izum brez človekove intervencije. Dodatno je svojo upravičenost do pridobitve patenta utemeljil s tem, da kot lastnik sistema DABUS postane tudi lastnik rešitev, ki jih DABUS izvrže – podobno kot to velja za plodove. Ti argumenti IPA niso prepričali, zato je patentni preizkuševalec z odločbo, ki vsebuje izčrpno jezikovno razlago tako 63 Nacionalna številka patentne prijave je AU2019363177, patentni spis, vključno z izdanimi dokumenti, je na voljo na: https://ipsearch.ipaustralia.gov.au/patents/2019363177 (obiskano: 15. 2. 2025). 64 An Act relating to patents of inventions, 1990, in Patents Regulations, 1991; https://www.ipaustralia.gov.au/about-us/ip-legislation-in-australia. N. Smerdu: O vprašanju izumitelj(stv)a in zadevi DABUS 131, 130 OD ALGORITMA DO PRAVA. samega termina izumitelj kot relevantne pravne podlage, patentno prijavo zavrnil. Prijavitelj je vložil pritožbo na Zvezno sodišče Avstralije, o kateri je odločal sodnik posameznik in konec julija 2021 razsodil tako, da je razveljavil odločbo IPA in zadevo uradu vrnil v ponovni preizkus.65 Iz sodnikove obširne obrazložitve se da povzeti naslednje argumente, s katerimi je utemeljil svoje stališče o priznanju statusa izumitelja umetni inteligenci: − Izumitelj (ang. inventor) je samostalnik, izveden iz glagolske oblike, torej dejanja, ki ga glagol opisuje; v tem primeru je to »izumiti« (ang. to invent), kar ne predpostavlja zgolj fizičnih oseb. − Stališče, da je lahko izumitelj tudi umetna inteligenca, odraža dejansko stanje sicer patentabilnih izumov, za katere ni mogoče razumno trditi, da jih je izumil človek. − Trenutno veljavna zakonodaja ne zapoveduje nasprotnega zaključka. − Doseganje inventivne ravni, kot eden od pogojev patentabilnosti izuma, je hipotetičen in objektiven konstrukt, ki se ne ukvarja z izumiteljevim miselnim procesom in vprašanjem, ali je inventivno raven dosegel človek ali stroj. Po sodnikovi presoji je poleg navedenega pravno pravilno pojem izumitelj tolmačiti v duhu nagrajevanja in promocije tehnoloških inovacij, njihovih objav in razširjanja, ne glede ne na to, ali jih je ustvaril človek ali ne. Treba je enostavno priznati realnost, v kateri lahko stroji že nekaj časa avtonomno ali deloma avtonomno proizvajajo patentabilne rezultate. Zato ni zaželeno odreči patentnega varstva izumom, ki sicer izpolnjujejo zakonske pogoje, na podlagi, ki je zakon izrecno ne določa. Nenazadnje bi bilo to v nasprotju s promocijo inovacij. Sodnik se je opredelil tudi do Thalerjeve upravičenosti do patenta, ki jo črpa iz okoliščine, da je lastnik, programer in uporabnik sistema DABUS. Od tod izhaja, da je bil izum ustvarjen zanj, in glede na ustaljena načela lastninskega prava ter po analogiji z lastništvom nad živalskimi mladiči, je Thaler lastnik izuma. Ker nečloveški izumitelj ne more biti prijavitelj ali pridobitelj patenta, je Thaler glede na povedano upravičen do vložitve patentne prijave in pridobitve patenta na njeni podlagi. Zoper odločitev sodnika posameznika je IPA vložil pritožbo, ki jo je v obravnavo prejel petčlanski sodni senat Zveznega sodišča Avstralije.66 Ta se je v svoji obrazložitvi odmaknil od morda nekoliko bolj progresivnega stališča sodnika 65 Thaler v. Commissioner of Patents (2021) FCA 879, 30. 7. 2021. 66 Commissioner of Patents v. Thaler (2022) FCAFC 62, 13. 4. 2022. posameznika na prvi stopnji in argumente zgradil na bolj tradicionalnih jezikovni razlagi zakona ter teorijah spodbude in nagrajevanja. Čeprav senat priznava, da je ustrezno upoštevati tudi politične vzgibe, je za razumevanje zakonodajalčevega namena sam jezik pravnega določila še vedno najbolj prepričljivo vodilo. S tem v mislih ni dvoma, da PR v določilih, ki omenjajo izumitelja, zahteva ime ali referenco na fizično osebo. Kadar je že na prvi pogled očitno, da ta zahteva ni izpolnjena, patentni preizkuševalec nima druge izbire, kot da postopa, kot določa zakon. Če pomanjkljivosti tudi po pozivu in v danem roku niso odpravljene, je treba patentno prijavo zavrniti. Ne gre le za imenovanje izumitelja na patentni prijavi, temveč tudi upravičenost prijavitelja, ki ni izumitelj, do vložitve patentne prijave. PA določa več mogočih pravnih situacij in razmerij, ko je upravičenost do vložitve patentne prijave (in kasneje pridobitve patenta) podana, vendar vse predpostavljajo obstoj »dejanskega izumitelja«, s katerega je bilo upravičenje neposredno ali posredno preneseno, kar posledično pomeni, da je lahko glede na trenutno veljavno zakonodajo »dejanski izumitelj« samo oseba s pravno sposobnostjo. Senat je ob zapisanem dodal, da pravna zgodovina uči, da upravičenje do pridobitve patenta izvira iz posameznikovega prizadevanja, ki naj bo torej nagrajeno s podelitvijo časovno omejene monopolne pravice. Senat drugostopenjskega sodišča je tako zaključil, da je IPA pravilno odločil, ker je pravno nemogoče, da bi bila umetna inteligenca izumitelj. S sklepom je zato odločitev sodnika posameznika na prvi stopnji razveljavil, odločbo z IPA pa obnovil. Zanimivo je, da je senat v svojo obrazložitev vključil opazko, da je razprava o vlogi umetne inteligence pomembna in vredna časa ter angažmaja, kar je prepoznal tudi kot Thalerjev razlog za vložitev patentne prijave. Mnogo vidikov je oziroma bo potrebno nasloviti, vključno s tem, ali bi bilo treba pojem izumitelja na novo opredeliti. In če naj bi ta vključeval tudi umetno inteligenco, komu bi bilo potem treba podeliti patent za izume, ki jih umetna inteligenca generira sama. Sodišče je identificiralo enega ali več subjektov. To je lahko lastnik stroja, na katerem deluje umetna inteligenca, razvijalec programa, imetnik avtorske pravice na izvorni kodi takega programa, oseba, ki vnaša vhodne podatke, zato da jih umetna inteligenca predela v rezultat, itd. Glede na sedanje in predvideno tehnološko stanje umetnointeligenčni sistemi (še) ne zmorejo opraviti vseh korakov inventivnega procesa brez človekovega posega. Ta bo običajno potreben pri opredelitvi problema, pretvorbi slednjega v format, ki ga lahko nadalje obdeluje umetna inteligenca, učenju N. Smerdu: O vprašanju izumitelj(stv)a in zadevi DABUS 133, 132 OD ALGORITMA DO PRAVA. umetne inteligence in pri izbiri relevantnih rezultatov po kriterijih pomembnosti ter koristnosti. Vse te posege pa načeloma opravlja uporabnik umetne inteligence.67 Z izumiteljstvom umetne inteligence je neobhodno povezano še vprašanje preizkušanja pogojev patentabilnosti izuma, ki ga izvrže, zlasti glede doseganja inventivne ravni. Ali bi bilo treba standard inventivne ravni prevrednotiti tako, da ga ne bi predstavljal več vešč, a nedomiseln strokovnjak z zadevnega področja tehnike, ki v svojem preizkusu presoja, ali je dana rešitev očitna ali ne? Upoštevaje vse večjo zmogljivost umetnointeligenčnih sistemov in kapacitete podatkov, ki jih lahko v postopku strojnega učenja zajame, se postavi vprašanje, kako daleč je stopnja, ki bo lahko zajela vse dostopno spletno znanje. In če bo temu tako (ob dodatni predpostavki, da bo tak obširen zajem tudi avtorskopravno dopusten), ali bodo njene rešitve sploh še neočitne in s tem patentabilne?68 4 Zaključek Zdi se, da so pristojni patentni uradi in sodišča, ki so obravnavali zadevo DABUS, pojem izumitelj(stv)a dobro razjasnili in ponudili razmeroma enovito tolmačenje vsakokratne zakonske dikcije. Kljub temu je na drugi strani nastalo in ostalo več odprtih vprašanj. Definicija izumitelja torej ne samo, da ni poenotena ali vsaj navzkrižno usklajena na določenih skupnih imenovalcih v nacionalnih, regionalnih in mednarodnih pravnih aktih, pravzaprav po večini niti ne obstaja. A vendar iz pravne teorije in prakse izhaja, da je razumevanje in tolmačenje tega pojma vsaj za zdaj še kako skladno. In to razumevanje je, da je izumitelj lahko zgolj fizična oseba. Da je to razbrati kot nekaj samoumevnega, si gre najenostavneje razložiti s tem, da (i) tvorci in pisci patentne zakonodaje niso upoštevali možnosti, da bi bili stroji ali računalniški algoritmi sposobni samostojnega ustvarjanja novih in inventivnih tehničnih rešitev brez kakršnegakoli človekovega posega; in (ii) utemeljeno s teorijo nagrade in spodbude, se lahko na podelitev monopolne pravice (beri: spodbude za nadaljnje ustvarjanje) in obet gospodarskega uspeha ter s tem povezanih finančnih nagrad dejansko odzove le človek. Umetni inteligenci ni mar, podeljenega patenta ne bo smatrala kot spodbude in zagona, da bo izumljala še naprej in bolje. Prav tako sama nima 67 Shemtov, 2019, stran 30. 68 Nemec in Rann, 2023. nikakršnih interesov, ki bi jih bilo treba braniti s pravom, saj nima ne pravne osebnosti ne zmožnosti lastništva oziroma imetništva ter pravne in ekonomske volje koristiti in uveljavljati dodeljene pravice.69 Kot svarijo strokovnjaki s področja delovanja umetne inteligence, kljub vsesplošnemu čudenju javnosti70 nad zmogljivostmi teh kompleksnih sistemov, umetna inteligenca danes še ne premore sposobnosti kritične znanstvene presoje ter razmišljanja izven okvirjev z obzirom na širši družbeni kontekst, ki sta nujni vrlini za ustvarjanje znanstvenih dosežkov, nenazadnje tudi izumov. Generativna umetna inteligenca kot tudi umetna inteligenca na splošno je dobra le toliko, kolikor so dobri podatki, na katerih se uči; in obstoječi predsodki, ki jih lahko ti podatki vsebujejo, bodo vključeni tudi v končne rezultate.71 Prav zato ji je v njenih trenutnih gabaritih preuranjeno priznavati sposobnost povsem avtonomnega ustvarjanja in je človeška intervencija, ali s precizno oblikovanimi vhodnimi podatki ali z ustrezno selekcijo in vrednotenjem rezultatov umetne inteligence, še vedno potrebna in zato vredna ustrezne kvalifikacije. Človek mora biti vključen, da pregleda rezultate glede točnosti, ugotovi morebitno pristranskost in zagotovi, da modeli delujejo, kot je bilo predvideno. V širšem smislu je treba na generativno umetno inteligenco gledati kot na način za povečanje človeških zmogljivosti in opolnomočenje skupnosti, ne pa kot nadomeščanje ali izpodrivanje.72 Za boljšo uravnoteženost tega poglavja monografije sem za mnenje vprašala Chat GPT. Vprašanje (prompt) se je glasilo, ali meni, da bi bilo treba umetni inteligenci priznati status izumitelja. Odgovoril je, da gre za zelo zanimivo in kompleksno vprašanje, ki odpira pravne, etične in filozofske dileme, a da trenutno večina pravnih sistemov zahteva, da je izumitelj fizična oseba. Naštel je še argumente za in proti priznanju. Med prve je nanizal: (i) avtonomnost umetne inteligence pri ustvarjanju; (ii) spodbuda za inovacije in razvoj naprednih sistemov ter njihove uporabe v raziskavah; in (iii) pravičnost. Na drugi strani pa proti priznanju umetne inteligence kot izumitelja govorijo: (i) pravna odgovornost (ki je umetna inteligenca ne more 69 Shemtov, 2019, stran 25. 70 Večje število strokovnjakov s področja umetne inteligence svari, da dojemanje teh sistemov kot avtonomnih in samo-učečih izvira iz precenjenega razumevanja dejanskih zmožnosti in površinskega opazovanja, zamegljenega z znanstveno fantastiko. Open letter to the European Commission: Artificial Intelligence and Robotics, dostopno na https://robotics-openletter.eu/ (obiskano: 15. 2. 2025). 71 Wipo Intellectual Property Organisation (WIPO) (2024). Generative Artificial Intelligence. Patent Landscape Report. Dostopno na: https://www.wipo.int/web-publications/patent-landscape-report-generative-artificial-intelligence-genai/assets/62504/Generative%20AI%20-%20PLR%20EN_WEB2.pdf (obiskano: 18. 2. 2025). 72 Baxter in Schlesinger, 2023, https://hbr.org/2023/06/managing-the-risks-of-generative-ai (obiskano: 18. 2. 2025). 134 OD ALGORITMA DO PRAVA. nositi); (ii) človek kot končni nadzornik (umetna inteligenca še vedno deluje v okviru algoritmov, ki jih nastavijo ljudje, zato je človeški dejavnik vedno prisoten); in (iii) negotovost v pravnem sistemu. Chat GPT zaključi, da se trenutno večina strokovnjakov strinja, da bi moral biti izumitelj še vedno človek, tudi v primerih, ko je imela umetna inteligenca ključno vlogo pri ustvarjanju izuma. Po drugi strani bi bilo pa v nekaterih primerih smiselno ustvariti novo kategorijo, kjer bi bila umetna inteligenca priznana kot soavtor ali »generator« inovacije.73 Podelitev neke vrste subjektivitete umetni inteligenci, zato da bi bila sposobna imetništva pravic, je vprašanje, ki ni prepuščeno zgolj patentnemu pravu, saj gre za civilnopravni temelj. Glede na ubikvitarno prisotnost umetne inteligence in posledično potrebo po njeni regulaciji, pa je prav, da je tudi to vprašanje vzklilo in najbrž je nekako logično, da na pravnem področju, ki se ukvarja s tehničnimi rešitvami. Morda je poteza Abbotta z ekipo prav tisto, kar je bilo potrebno, da je poskus priznanja »obličnosti« ali nekega svojstva umetni inteligenci danes predmet resne globalne razprave, sodobne sodne prakse in nadaljnje akcije. Konec koncev bo ustrezna regulacija in postavitev umetne inteligence v pravno dogajanje in življenje domislica človeka. Literatura Abbott, R. (2019) The Artificial Inventor Project, WIPO Magazine, dostopno na: https://www.wipo.int/en/web/wipo-magazine/articles/the-artificial-inventor-project-41111 (obiskano: 28. 12. 2024). Baxter, K., Schlesinger, Y. (2023) Managing the risks of generative AI, Harvard Business Review, dostopno na: https://hbr.org/2023/06/managing-the-risks-of-generative-ai (obiskano: 18. 2. 2025). Bently, L., Sherman, B., Gangjee, D., Johnson, P. (2018) Intellectual Property Law (Oxford: Oxford University Press). Bogataj Jančič, M. (2021) Ali je lahko umetna inteligenca avtor avtorskega dela?, v: Završnik, A. in Simončič, K. (ur.): Pravo in umetna inteligenca: vprašanja etike, človekovih pravic in družbene škode (Ljubljana: Inštitut za kriminologijo pri Pravni fakulteti), strani 165–195. Cornish, W., Llewelyn, D. (2003) Intellectual Property: Patents, Copyright, Trade Marks and Allied Rights (London: Sweet & Maxwell). Damjan, M. (2023) Umetna inteligenca in pravice iz ustvarjalnosti, Podjetje in delo, 49(6-7), strani 1027–1037. Fromer, C. J. (2012) Expressive incentives in intellectual property, dostopno na: https://virginialawreview.org/wp-content/uploads/2020/12/1745.pdf (obiskano: 9. 2. 2025) Inventorship Guidelines, Hoiberg European Patent Attorneys, izobraževanje za strokovno osebje na področju prenosa znanja, 11. 5. 2021, ASTP. 73 Odgovor pridobljen po vnosu poziva v obliki vprašanja: https://chatgpt.com (obiskano: 18. 2. 2025). N. Smerdu: O vprašanju izumitelj(stv)a in zadevi DABUS 135, Kim, D., Drexl, J., Hilty, R. M., Slowinski, P. R. (2021) Artificial Intelligence Systems as Inventors? A Position Statement of 7 September 2021 in view of evolving case-law worldwide, Max Planck Institute for Innovation and Competition, dostopno na: https://www.ip.mpg.de/fileadmin/ipmpg/content/stellungnahmen/MPI_Position_stateme nt_AI_Inventor_2021-08-09.pdf (obiskano: 28. 12. 2024). Marković, S. M. (1997) Patentno pravo (Beograd: Nomos). Nemec, R. D., Rann, M. L. (2023) AI and Patent Law: Balancing Innovation and Inventorship, Skadden Insights, dostopno na: https://www.skadden.com/insights/publications/2023/04/quarterly-insights/ai-and-patent-law (obiskano: 18. 2. 2025). Open letter to the European Commission: Artificial Intelligence and Robotics, dostopno na: https://robotics-openletter.eu/ (obiskano: 15. 2. 2025). Repas, M., Ovčak Kos, M., Zirnstein, E. (2023) Pravo intelektualne lastnine (Ljubljana: Uradni list RS). Shemtov, N. (2019) A study on inventorship in inventions involving AI activitiy, dostopno na: https://link.epo.org/web/Concept_of_Inventorship_in_Inventions_involving_AI_Activity_ en.pdf (obiskano: 9. 2. 2025). Slovar slovenskega knjižnega jezika druga, dopolnjena in deloma prenovljena izdaja (2014), dostopno na: www.fran.si, (obiskano: 23. 1. 2025). Tritton, G., Davis, R., Edenborough, M., Graham, J., Malynicz, S., Roughton, A. (2008) Intellectual Property in Europe (London: Sweet & Maxwell). Wipo Intellectual Property Organisation (WIPO) (2024) Generative Artificial Intelligence. Patent Landscape Report. Dostopno na: https://www.wipo.int/web-publications/patent-landscape-report-generative-artificial-intelligence-genai/assets/62504/Generative%20AI%20-%20PLR%20EN_WEB2.pdf (obiskano: 18. 2. 2025). Wipo Intellectual Property Organisation (WIPO) (2004) WIPO Intellectual Property Handbook, dostopno na: https://tind.wipo.int/record/28661/files/wipo_pub_489.pdf (obiskano 13. 2. 2025). Extended abstract The chapter deals with an interesting and still very present challenge that the established patent system has been confronted with, but the foundations of which are largely harmonized at the global level. It concerns the issue of invention, which has always been attributed to humans (only) as an ability. The first part of the chapter is therefore intended to present the concept of the inventor, an attempt to define it, and theories that explain the development of patent law as a subfield of intellectual property law. Due to the absence of an explicit definition in legislation (at least in the vast majority of it), the inventor and the fruit of their intellectual work – the invention – have been subject to interpretation in case law and expert literature. The conditions that the invention must meet in order for the applicant to obtain a patent can contribute to a more precise definition of the invention. The latter must represent a technical solution to a specific problem, be novel in the global state-of-the-art, demonstrate an inventive step and be industrially applicable. However, because it is nowadays more frequent that inventions are created in collaboration with multiple individuals, who are therefore co-inventors, determining the team of co-inventors can be a challenging task in practice. How and what individuals have contributed to the final solution is a matter of fact, which has, of course, an important effect on the qualification of the legal status of the inventor. This establishes the original entitlement to file for and, if all conditions are met, obtain a patent, a monopoly right to commercially exploit the invention. As technological progress has led to super-powerful tools that can replace many individuals' jobs or functions and certainly accelerate the development and production of new, inventive solutions, evaluating the inventor's contribution is even more difficult. The emergence and increasing presence of artificial intelligence, including in research, development and innovation processes, where novel, inventive results are created, raises doubts about whether creativity and invention are truly unique to humans. This is precisely what Ryan Abbott, together with 136 OD ALGORITMA DO PRAVA. a team of colleagues, including experienced patent attorneys, has objected to with the project called "The Artificial Inventor". The aim of the project is to test the competent authorities in the patent granting procedure by filing a patent application with the question of whether artificial intelligence can be named as an inventor. Dr. Stephen Thaler joined the project as an applicant in patent applications, with his program DABUS, which works under even more complex principles of creative artificial intelligence. DABUS is listed as the inventor in all patent applications. The first one was filed on 17 October 2018 with the European Patent Office (hereinafter: EPO), and in the following one-year period (by enforcing the priority right), the team attempted to expand the protection by filing international, German, British, and other patent applications. Why almost all of them were rejected (with the exception of one) and how the patent and judicial authorities justified their decisions is the subject of the second part of the chapter. It presents the decisions of the EPO, the German patent office, whose decision reached the highest German court, the American and finally the Australian patent offices and court authorities. In Australia, the decision of the first instance court, which supported the position that artificial intelligence could be named as inventor, triggered a wide response in the large community of patent stakeholders and legal experts. The conclusion of the chapter should therefore present a somewhat closed circle of new insights into inventor(ship). At least for now, it seems that one of the foundations of patent law, namely the promotion of (human) creativity and encouragement of further contribution to the technological advancement of society, is still solid even in the artificial intelligence reality. U DOI STAVNOPRAVNE KRŠITVE https://doi.org/ 10.18690/um.pf.11.2025.6 DELOVANJA IN UPORABE ISBN 978-961-299-086-2 UMETNOINTELIGENČNIH SISTEMOV KRISTJAN ZAHRASTNIK Univerza v Mariboru, Pravna fakulteta, Maribor, Slovenija kristjan.zahrastnik@um.si Poglavje obravnava in kritično analizira delovanje in uporabo Ključne besede: ustavnopravne kršitve umetnointeligenčnih sistemov z vidika ustavnopravnih kršitev. umetnointeligenčnih Posegi v ustavnopravno varovane pravice, ki nastanejo pri sistemov, delovanju in uporabi umetnointeligenčnih sistemov, se pojavljajo avtorska pravica, varstvo osebnih podatkov, na dveh r prepoved diskriminacije, avneh: pri razvoju in učenju teh sistemov ter pri njihovi pravica do dela, uporabi s strani uporabnika. Avtor se pri tem osredotoča na svoboda izražanja, pravica do osebnega pravice iz ustvarjalnosti (avtorska pravica), varstvo osebnih dostojanstva, podatkov, enakost pred zakonom (prepoved diskriminacije), pravica do zasebnosti, osebnostne pravice svobodo dela (pravica do dela), svobodo izražanja, pravico do osebnega dostojanstva in varnosti ter varstvo pravic zasebnosti in osebnostnih pravic. V tej zvezi obravnava tudi relevantne pravne akte EU, kot so Akt o umetni inteligenci, Direktiva (EU) 2019/790 o avtorski in sorodnih pravicah na enotnem digitalnem trgu in Akt o digitalnih storitvah. DOI CONSTITUTIONAL VIOLATIONS IN https://doi.org/ 10.18690/um.pf.11.2025.6 ISBN THE OPERATION AND USE OF 978-961-299-086-2 ARTIFICIAL INTELLIGENCE SYSTEMS KRISTJAN ZAHRASTNIK University of Maribor, Faculty of Law, Maribor, Slovenia kristjan.zahrastnik@um.si Keywords: The chapter examines and critically analyses the operation and use constitutional violations of of artificial intelligence systems from the perspective of artificial intelligence systems, constitutional law violations. Interferences with constitutionally copyright, protected rights arising from the operation and application of protection of personal data, prohibition of artificial intelligence systems occur on two levels: during their discrimination, right to work, development and training, as well as in their use by end-users. The freedom of expression, author focuses on intellectual property rights (copyright), right to personal dignity and safety, protection of personal data, equality before the law (prohibition right to privacy, of discrimination), freedom of work (right to work), freedom of personality rights expression, right to personal dignity and safety, and protection of the rights to privacy and personality rights. In this context, the author also discusses relevant EU legal acts, such as the Artificial Intelligence Act, Directive (EU) 2019/790 on Copyright and Related Rights in the Digital Single Market, and the Digital Services Act. K. Zahrastnik: Ustavnopravne kršitve delovanja in uporabe umetnointeligenčnih sistemov 139, 1 Uvod Umetnointeligenčni sistemi imajo mnogo pozitivnih učinkov, kot so izboljšan dostop do informacij, poenostavitev procesov ipd., vendar delovanje in uporaba teh sistemov nista vselej povsem neškodljiva – lahko predstavljata nedopustne posege v pravice iz ustvarjalnosti (avtorska pravica), varstvo osebnih podatkov, enakost pred zakonom (prepoved diskriminacije), svobodo dela (pravica do dela), svobodo izražanja, pravico do osebnega dostojanstva in varnosti ter varstvo pravic zasebnosti in osebnostnih pravic. Namen in cilj tega poglavja v monografiji sta obravnavati in kritično analizirati delovanje in uporabo umetnointeligenčnih sistemov skozi presojo ustavnopravnih kršitev. Pravne kršitve so presojane z ustavnopravnega vidika in odražajo dva sklopa posega umetnointeligenčnih sistemov v ustavno varovane dobrine. Prva enota ponazarja kršitve teh dobrin pri razvoju, učenju in delovanju umetnointeligenčnih sistemov, pri čemer lahko pride do posegov v pravice iz ustvarjalnosti, varstvo osebnih podatkov, enakost pred zakonom ter varstvo pravic zasebnosti in osebnostnih pravic. Druga enota posegov predstavlja ustavne kršitve, ki nastanejo pri uporabi umetnointeligenčnih sistemov. Ogrožene so zlasti pravice iz ustvarjalnosti, varstvo osebnih podatkov, enakost pred zakonom, svoboda dela, svoboda izražanja, pravica do osebnega dostojanstva in varnosti ter varstvo pravic zasebnosti in osebnostnih pravic. Skladno s tem je zasnovana struktura poglavja, v katerem so razvrščeni razdelki po ustavnih pravicah, ki so ogrožene z delovanjem in uporabo umetnointeligenčnih sistemov. Razdelki si smiselno sledijo po zaporedju od začetnih ustavno varovanih človekovih pravic in njihovih kršitev, ki izvirajo iz razvoja, učenja in delovanja umetnointeligenčnih sistemov, do posegov v človekove pravice, ki nastanejo pri končni uporabi sistema s strani uporabnika. Za uvodom je tako v drugem razdelku predstavljen pomen ustavnopravnih kršitev za kategorizacijo sistemov umetne inteligence. Sledi prikaz morebitnih posegov umetnointeligenčnih sistemov v varovane avtorske pravice v tretjem razdelku, pri čemer so obravnavani načini zbiranja podatkov, pomen ustreznega navajanja virov izhodnih podatkov ter obstoječi primeri domnevnih kršitev avtorskih pravic. Četrti razdelek se osredotoča na kršitve varstva osebnih podatkov v skladu z evropsko zakonodajo. V petem razdelku avtor predstavi razloge za pristranskost umetnointeligenčnih sistemov in navede dejanske primere pristranskega delovanja. Šesti razdelek obravnava kršitve pravice do dela in vpliv morebitne opredelitve sistema umetne inteligence kot visokotveganega na uresničevanje te pravice. V sedmem razdelku so obravnavani položaji, v katerih lahko uporaba umetnointeligenčnih sistemov vodi v kršitev 140 OD ALGORITMA DO PRAVA. svobode izražanja, osmi razdelek pa se posveča kršitvam pravice do osebnega dostojanstva, zasebnosti in drugih osebnostnih pravic. To poglavje v monografiji se osredotoča na vse oblike umetnointeligenčnih sistemov, vendar so zaradi njihove priljubljenosti in aktualnosti največkrat v ospredju primeri ustavnopravnih kršitev, ki izhajajo iz delovanja in uporabe generativne umetne inteligence (npr. klepetalni robot ChatGPT). Izraz »delovanje in uporaba« je treba za namene tega prispevka razlagati tako, da po vzoru uvodne točke 1 Uredbe (EU) 2024/1689 Evropskega parlamenta in Sveta z dne 13. junija 2024 o določitvi harmoniziranih pravil o umetni inteligenci in spremembi uredb (ES) št. 300/2008, (EU) št. 167/2013, (EU) št. 168/2013, (EU) 2018/858, (EU) 2018/1139 in (EU) 2019/2144 ter direktiv 2014/90/EU, (EU) 2016/797 in (EU) 2020/18281 (Akt o umetni inteligenci) obsega razvoj, dajanje na trg, dajanje v uporabo ter samo uporabo umetnointeligenčnih sistemov. Delovanje in uporaba umetnointeligenčnih sistemov lahko povzročita negativne posledice v obliki premoženjske ali nepremoženjske škode.2 V tem poglavju so obravnavani najpogostejši in najbolj invazivni posegi umetnointeligenčnih sistemov v ustavno varovane dobrine v naslednjem zaporedju: pravice iz ustvarjalnosti (avtorska pravica), varstvo osebnih podatkov, enakost pred zakonom (prepoved diskriminacije), svoboda dela (pravica do dela), svoboda izražanja, pravica do osebnega dostojanstva in varnosti ter varstvo pravic zasebnosti in osebnostnih pravic. 2 Pomen ustavnopravnih kršitev za kategorizacijo umetnointeligenčnih sistemov Na območju EU3 je za delovanje in uporabo umetnointeligenčnih sistemov zavezujoč Akt o umetni inteligenci. Njegov namen je tudi zagotavljanje visoke ravni varovanja zdravja, varnosti in temeljnih pravic iz Listine Evropske unije o temeljnih pravicah4 (Listina) pred škodljivimi učinki umetnointeligenčnih sistemov.5 S tem namenom Akt o umetni inteligenci v 5. členu določa, katere prakse dajanja na trg, dajanja v uporabo in uporabe umetnointeligenčnih sistemov so prepovedane. Na 1 UL L 2024/1689, 12. 7. 2024, strani 1–144. 2 Evropska komisija, 2020, stran 10. 3 Podrobneje o področju uporabe Akta o umetni inteligenci glej 2. člen Akta o umetni inteligenci. 4 UL C 202, 7. 6. 2016, strani 389–405. 5 Prvi odstavek 1. člena Akta o umetni inteligenci. K. Zahrastnik: Ustavnopravne kršitve delovanja in uporabe umetnointeligenčnih sistemov 141, podlagi tega člena so prepovedani tudi umetnointeligenčni sistemi, ki s posebnim ciljem ali na določen način:6 − izkoriščajo katero koli ranljivost oseb ali skupin oseb zaradi njihove starosti, invalidnosti ali posebnega družbenega ali ekonomskega položaja; − z družbenimi točkami ocenjujejo ali razvrščajo osebe ali skupine oseb, pri čemer gre za škodljivo ali neugodno obravnavo nekaterih fizičnih oseb oziroma skupin oseb, ki ni povezana s kontekstom ustvarjanja oziroma zbiranja podatkov oziroma je neupravičena ali nesorazmerna z njihovim družbenim vedênjem.7 V uvodni točki 28 Akt o umetni inteligenci prepoveduje zlorabo umetnointeligenčnih sistemov, kadar so ti v nasprotju s spoštovanjem: »človekovega dostojanstva, svobode, enakosti, demokracije in pravne države ter temeljnimi pravicami, določenimi v Listini, vključno s pravico do nediskriminacije, varstva podatkov in zasebnosti ter pravicami otroka.« Nespoštovanje oziroma obseg kršitev določenih pravic, vključno s: »pravico do človekovega dostojanstva, spoštovanja zasebnega in družinskega življenja, varstvo osebnih podatkov, svobodo izražanja in obveščanja, svobodo zbiranja in združevanja, pravico do nediskriminacije, pravico do izobraževanja, varstvo potrošnikov, pravice delavcev, pravice invalidov, enakost spolov, pravice intelektualne lastnine, pravico do učinkovitega pravnega sredstva in nepristranskega sodišča, pravico do obrambe in domneve nedolžnosti ter pravico do dobrega upravljanja,« tvori temelj za razvrstitev umetnointeligenčnega sistema med sisteme visokega tveganja.8 Uredba (EU) 2022/2065 Evropskega parlamenta in Sveta z dne 19. oktobra 2022 o enotnem trgu digitalnih storitev in spremembi Direktive 2000/31/ES (Akt o digitalnih storitvah)9 v uvodni točki 81 določa, da druga kategorija sistemskih tveganj zadeva: »dejanski ali predvidljivi vpliv storitve na uresničevanje temeljnih pravic, kot so zaščitene z Listino, med drugim človekovega dostojanstva, svobode izražanja in obveščanja, vključno s svobodo in pluralizmom medijev, pravice do zasebnega 6 Glede konkretizacije posebnega cilja ali načina glej vsako posamezno točko prvega odstavka 5. člena Akta o umetni inteligenci. 7 Predstavljeni sta zgolj dve prepovedni praksi (točka b) in točka c) 5. člena Akta o umetni inteligenci). Prvi odstavek 5. člena obsega seznam osmih prepovedanih praks dajanja na trg, dajanja v uporabo in uporabe umetnointeligenčnih sistemov. 8 Akt o umetni inteligenci, uvodna točka 48. 9 UL L 277, 27. 10. 2022, strani 1–102. 142 OD ALGORITMA DO PRAVA. življenja, varstva osebnih podatkov, prepovedi diskriminacije, pravic otrok in varstva potrošnikov«. 3 Kršitev avtorskega prava 3.1 Načini pridobivanja podatkov umetnointeligenčnih sistemov Posegi umetnointeligenčnih sistemov v varovane avtorske pravice so prikazani skozi delovanje generativne umetne inteligence, vendar to ne pomeni, da analiza kršitev ni uporabna tudi za druge umetnointeligenčne sisteme, ki se razvijajo, učijo in delujejo na primerljiv način. Sistemi generativne umetne inteligence so običajno usposobljeni na obsežnem učnem naboru podatkov, pridobljenem s spleta, ki vključuje veliko količino besedil s spletnih mest, člankov, knjig, objav na družbenih omrežjih ter strokovnih in znanstvenih prispevkov. Pri tem sistemi generativne umetne inteligence niso seznanjeni z avtorskimi pravicami na teh podatkih, temveč uporabljajo besedilo za učenje vzorcev in odnosov med besedami, besednimi zvezami in stavki, čeprav je velika večina besedil, uporabljenih za usposabljanje, varovanih z avtorskimi pravicami.10 Tehnologija umetne inteligence običajno uporablja naslednje pristope: strojno učenje, globoko učenje, nevronske mreže, kognitivno računalništvo, obdelavo naravnega jezika in računalniški vid.11 Pridobivanje podatkov umetnointeligenčnih sistemov temelji na strganju podatkov, generiranju podatkov, odkupu podatkov in vnosu podatkov.12 Klepetalni roboti običajno pridobivajo podatke iz lastne podatkovne baze, iskanja po spletu, uporabe aplikacijskega programskega vmesnika, obdelave naravnega jezika, iz podatkovne baze uporabnika in strojnega učenja.13 Ključna in primarna vira pridobivanja podatkov za delovanje ter uporabo klepetalnih robotov sta lastna baza podatkov in iskanje po spletu. Z naraščajočo priljubljenostjo generativne umetne inteligence postaja ključno vprašanje, katere podatke lahko razvijalci umetnointeligenčnih sistemov uporabljajo za usposabljanje svojih modelov brez dovoljenja.14 Direktiva (EU) 2019/790 10 Helms in Krieser, 2023. 11 Glej https://csuglobal.edu/blog/how-does-ai-actually-work (obiskano: 23. 1. 2025). 12 Sahathullah, 2023. 13 Harris, 2024. 14 Bocharov et al., 2024. K. Zahrastnik: Ustavnopravne kršitve delovanja in uporabe umetnointeligenčnih sistemov 143, Evropskega parlamenta in Sveta z dne 17. aprila 2019 o avtorski in sorodnih pravicah na enotnem digitalnem trgu in spremembi direktiv 96/9/ES in 2001/29/ES15 (Direktiva 2019/790) v 4. členu določa izjeme ali omejitve za besedilno in podatkovno rudarjenje. Na tej podlagi države članice EU določijo izjeme ali omejitve za namene besedilnega in podatkovnega rudarjenja. Slovenski zakonodajalec je besedilno in podatkovno rudarjenje implementiral s 57.a členom Zakona o avtorski in sorodnih pravicah16 (ZASP). Na podlagi tega člena ZASP je za namene besedilnega in podatkovnega rudarjenja prosto reproduciranje del, do katerih se zakonito dostopa. Reproduciranje je prosto tudi za komercialne namene.17 Besedilno in podatkovno rudarjenje je treba razumeti kot vsako avtomatizirano analitično tehniko, namenjeno analiziranju elektronskega besedila in podatkov.18 Splošna izjema za besedilno in podatkovno rudarjenje ne pride v poštev, kadar si avtor pridrži pravico uporabe del, ki so javno dostopna na spletu,19 ali izrecno in na ustrezen način prepove besedilno in podatkovno rudarjenje takšnih del. To se doseže zlasti s strojno berljivimi sredstvi, kot je na primer protokol za izključevanje spletnih pajkov (ang. Robots Exclusion Standard),20 ki pajkom iskalnikov pove, do katerih URL-jev lahko dostopajo na zadevnem spletnem mestu.21 V tej zvezi se je tudi razvil program (Cloudflare), ki ima zmožnost samodejno blokirati bote, ki strgajo vsebine, s čimer lahko upravljavci spletnih strani na enostaven način blokirajo neželene umetnointeligenčne pajke.22 Dopustnost besedilnega in podatkovnega rudarjenja se označuje kot pomemben doprinos k razvoju podatkovne analitike in umetne inteligence v EU,23 čeprav gre pri tem za vsebinsko omejitev avtorskih pravic. Da se za primere razvoja in učenja umetnointeligenčnih modelov uporabljajo tehnike besedilnega in podatkovnega rudarjenja, izhaja že iz Akta o umetni inteligenci.24 Na tej podlagi lahko 15 UL L 130, 17. 5. 2019, strani 92–125. 16 Uradni list RS, št. 16/07 – uradno prečiščeno besedilo, 68/08, 110/13, 56/15, 63/16 – ZKUASP, 59/19 in 130/22. 17 Predlog Zakona o spremembah in dopolnitvah Zakona o avtorski in sorodnih pravicah, EVA 2020-2130-0064, stran 17. 18 Prvi odstavek 57.a člena ZASP. 19 Tretji odstavek 57.a člena ZASP. 20 Predlog Zakona o spremembah in dopolnitvah Zakona o avtorski in sorodnih pravicah, EVA 2020-2130-0064, strani 17, 56. 21 Glej https://developers.google.com/search/docs/crawling-indexing/robots/intro (obiskano: 23. 1. 2025). 22 Bocharov et al., 2024. 23 Predlog Zakona o spremembah in dopolnitvah Zakona o avtorski in sorodnih pravicah, EVA 2020-2130-0064, stran 34. 24 Akt o umetni inteligenci, uvodna točka 105. 144 OD ALGORITMA DO PRAVA. umetnointeligenčni sistemi, četudi komercialnega značaja, z namenom besedilnega in podatkovnega rudarjenja reproducirajo zakonito dostopna dela25 in jih hranijo tako dolgo, kot je to potrebno.26 3.2 Navajanje podatkov umetnointeligenčnih sistemov Uporaba podatkov za razvoj in učenje umetnointeligenčnih sistemov temelji na Direktivi 2019/790 in ZASP. Izhodni podatki v obliki proizvodov umetnointeligenčnih sistemov so vsaj pri nekaterih pogosto prikazani brez navedbe vnosnih podatkov, četudi jih ti pogosto poosebljajo. Spoštovanje in ustrezno navajanje tujih avtorskih del izhaja že iz osnovne akademske poštenosti in korektnosti.27 Prav tako se z navajanjem uporabljenih virov preprečujejo nekatere oblike plagiatorstva.28 Nekateri umetnointeligenčni sistemi, kot je na primer klepetalni robot ChatGPT, generirajo besedilo z uporabo vzorcev in struktur iz učnih podatkov, zato inherentno ne »podpirajo« določenih trditev ali idej. Namesto tega so njihovi odgovori oblikovani na temelju statističnih verjetnosti in vzorcev v podatkih.29 Na podlagi tega se utemeljuje zanemarjanje obveznosti navajanja uporabljenih virov pri oblikovanju določenih proizvodov umetne inteligence. Četudi bi pri tem zavzeli stališče, da umetnointeligenčni sistemi niso obvezani navesti seznama uporabljenih virov, na katerih temelji njihov proizvod, je vključitev navedbe uporabljenih virov še vedno koristna zaradi povečanja kredibilnosti in točnosti izhodnih podatkov.30 Nekateri modeli generativne umetne inteligence ne navajajo uporabljenih virov, s katerimi so oblikovali proizvod. Uporabnik lahko pozove umetnointeligenčni sistem, naj mu poda seznam uporabljenih virov. Odziv umetnointeligenčnega sistema je v posameznih primerih nekorekten in nedostojen, saj ponudi seznam virov, ki so izmišljeni.31 Seznam z neresničnimi viri, za katere umetnointeligenčni sistem trdi, da jih uporabil pri oblikovanju proizvoda, je brezpomenski in zavajajoč. Tovrstni odziv umetnointeligenčnih sistemov ne le da zanemarja obveznost 25 Primerjaj Lucchi, 2024, stran 616. 26 Drugi odstavek 57.a člena ZASP in drugi odstavek 4. člena Direktive 2019/790. 27 Primerjaj Beširević in Zahrastnik v Romih (ur.), 2023, stran 120. 28 Kot plagiatorstvo se med drugim šteje predstavljanje tujega dela kot lastnega in kopiranje besedila ali idej tujih del brez navedbe vira. Glej https://www.biblioblog.si/2011/03/plagiatorstvo-in-njegovo-odkrivanje.html (obiskano: 24. 1. 2025). 29 Lucchi, 2024, stran 617. 30 Evropska komisija, 2023. 31 Primerjaj Day, 2023, strani 1024–1027. K. Zahrastnik: Ustavnopravne kršitve delovanja in uporabe umetnointeligenčnih sistemov 145, sklicevanja na uporabljene vire, temveč tudi ponazarja prednost oblikovanja lažnega seznama virov pred seznanitvijo uporabnika z dejstvom, da ne more določiti konkretnih virov, ki tvorijo izhodne podatke. 3.3 Primeri domnevnih kršitev avtorskih pravic pri delovanju umetnointeligenčnih sistemov Vprašanje zakonitosti uporabe avtorsko zaščitenega gradiva za učenje algoritmov klepetalnih robotov (npr. ChatGPT) in pogojev, pod katerimi je takšna uporaba dovoljena, je že predmet razprave v sodnih sporih. Ker klepetalni robot ChatGPT in drugi sistemi generativne umetne inteligence močno temeljijo na velikih količinah podatkov za učenje, ki lahko vključujejo avtorsko zaščitena dela, lahko to predstavlja pomembno pravno oviro za njihovo delovanje.32 Getty Images Inc. je začel sodni postopek proti podjetju Stability AI Limited, pri čemer je trdil, da je Stability AI kršil pravice intelektualne lastnine, vključno z avtorskimi pravicami za vsebine, ki jih ima v lasti ali zastopa Getty Images. Po stališču Getty Images je Stability AI nezakonito kopiral in obdelal milijone slik, zaščitenih z avtorskimi pravicami, brez pridobitve ustrezne licence in z zasledovanjem lastnih komercialnih interesov, tj. učenje lastnega umetnointeligenčnega sistema.33 Višje sodišče v Angliji in Walesu,34 ki obravnava to zadevo, je 14. 1. 2025 izdalo sodbo, ki se nanaša na določena postopkovna vprašanja35 – meritorno o zadevi še ni odločalo. The New York Times je vložil tožbo36 proti OpenAI in Microsoftu zaradi kršitve avtorskih pravic. V tožbi je trdil, da so bili milijoni člankov, ki jih je objavil The Times, uporabljeni za usposabljanje avtomatiziranih klepetalnih robotov, ki zdaj konkurirajo časopisu kot viru zanesljivih informacij. V tožbi je navedenih več primerov, ko je klepetalni robot uporabnikom posredoval skoraj dobesedne odlomke iz člankov The Times, ki bi sicer zahtevali plačano naročnino za ogled. Trdil je, da sta OpenAI in Microsoft pri usposabljanju svojih programov umetne 32 Lucchi, 2024, stran 617. 33 Glej https://newsroom.gettyimages.com/en/getty-images/getty-images-statement (obiskano: 24. 1. 2025). 34 Izvorni naziv odločujočega sodišča je High Court of Justice, Business and Property Courts of England and Wales. 35 Zadeva št. IL-2023-000007, Getty Images (US) Inc, Getty Images International UC, Getty Images (UK) Limited, Getty Images Devco UK Limited, iStockphoto LP, Thomas M Barwick Inc proti Stability AI Ltd, [2025] EWHC 38 (Ch), z dne 14. 1. 2025. 36 Tožba je dostopna na naslednji povezavi: https://nytco- assets.nytimes.com/2023/12/NYT_Complaint_Dec2023.pdf (obiskano: 29. 1. 2025). 146 OD ALGORITMA DO PRAVA. inteligence posebno pozornost namenila uporabi novinarskih vsebin The Times zaradi domnevne zanesljivosti in točnosti teh gradiv.37 Domnevne kršitve OpenAI in Microsoft naj bi nastale tako pri usposabljanju umetnointeligenčnih sistemov kot tudi pri izhodnih podatkih v obliki proizvoda. Tožniki Paul Tremblay, Sarah Silverman,38 Christopher Golden in Richard Kadrey so imetniki avtorskih pravic na svojih knjigah. Tožena stranka, OpenAI, razvija in ponuja programsko opremo umetne inteligence ChatGPT. OpenAI je kopiral avtorske dela (knjige) tožnikov in jih uporabil v svojem učnem podatkovnem naboru. Ko je bil ChatGPT pozvan, da povzame knjige, ki so jih napisali tožniki, je ustvaril natančne povzetke vsebine teh knjig, pri čemer naj bi prišlo do kršitve njihovih avtorskih pravic.39 Omenjene zadeve so še vedno v teku,40 zaradi česar način njihovega razpleta trenutno ostaja negotov. Posledično ni jasno, ali bodo sodišča to obravnavala kot kršitev avtorskih pravic. Je pa skoraj nedvoumno, da gre za kršitev, v kolikor bo produkt umetnointeligenčnega sistema dobesedno prepisal določeno varovano avtorsko delo. Ti primeri predstavljajo prve pomembne pravne spore v zvezi z uporabo umetne inteligence in kršitvijo avtorskih pravic. Če bodo tožniki dosegli ugoden izid, bi to lahko imelo velik vpliv na razvoj tehnologije umetne inteligence.41 4 Kršitev varstva osebnih podatkov Med tradicionalno varovane vidike zasebnosti sodi tudi varstvo osebnih podatkov.42 Varstvo osebnih podatkov se v teoriji redoma opredeljuje s pojmom informacijska zasebnost, ki tvori del človekove zasebnosti.43 Informacijska zasebnost odraža pravico posameznika nad nadzorom informacij o sebi.44 Prav to je predmet človekove pravice do varstva osebnih podatkov na podlagi 38. člena Ustave RS.45 V tej zvezi pravica do varstva osebnih podatkov obsega različne oblike osebnih 37 Grynbaum in Mac, 2023. 38 Primerjaj »United States District Court, Northern District of California«, Silverman et al. proti OpenAI, Inc. et al., 23-cv-3416, datum vložitve: 7. 7. 2023. 39 »United States District Court, Northern District of California«, Paul Tremblay et al. proti OPENAI, INC. et al., 23-cv-03223-AMO, 23-cv-03416-AMO, z dne 12. 2. 2024. 40 Več o podobnih tožbah glej: https://www.mckoolsmith.com/newsroom-ailitigation-3 (obiskano: 30. 1. 2025). 41 Lucchi, 2024, stran 615. 42 Farmany v Avbelj (ur.), 2019, stran 342. 43 Čebulj, 2002. 44 Stone et al., 1983, stran 459. 45 Čebulj, 2002. K. Zahrastnik: Ustavnopravne kršitve delovanja in uporabe umetnointeligenčnih sistemov 147, podatkov – ti so lahko v besedilni, zvočni, slikovni obliki ali imajo genetske in druge biometrične značilnosti.46 Pri vključevanju generativnih umetnointeligenčnih sistemov v procese podjetij bi moral biti ponudnik teh sistemov dejansko obravnavan kot obdelovalec podatkov v smislu Uredbe (EU) 2016/679 Evropskega parlamenta in Sveta z dne 27. aprila 2016 o varstvu posameznikov pri obdelavi osebnih podatkov in o prostem pretoku takih podatkov ter o razveljavitvi Direktive 95/46/ES47 (Splošna uredba o varstvu podatkov). V skladu z 28. členom Splošne uredbe o varstvu podatkov bi bilo zato treba s ponudnikom skleniti pogodbo o obdelavi podatkov (ang. data processing agreement ali data processing addendum), s katero se opredelijo pravne obveznosti glede varstva osebnih podatkov. Če ponudnik generativnih umetnointeligenčnih sistemov (npr. OpenAI) ne omogoča sklenitve pogodbe o nerazkritju informacij (ang. non-disclosure agreement) ali pogodbe o obdelavi podatkov, obdelava osebnih podatkov ni zakonita. Zato podjetja, ki želijo obdelovati osebne podatke, uporabljajo podjetniške različice, s katerimi ponudnik svojim strankam zagotavlja pogodbo o obdelavi podatkov.48 Na ta način ponudniki priznavajo svojo vlogo obdelovalca podatkov in se zavezujejo, da bodo podatke obdelovali v skladu z navodili svojih strank.49 Splošna uredba o varstvu podatkov določa posebna pravila za prenos osebnih podatkov, ki se obdelujejo ali so namenjeni obdelavi po prenosu v tretjo državo.50 Če ima ponudnik sedež v tretji državi, morajo podjetja iz EU, ki želijo uporabljati umetnointeligenčni sistem ponudnika, upoštevati pravne posledice prenosa osebnih podatkov v tretje države. Da bi se podjetja izognila uporabi teh posebnih pravil oziroma zagotovitve skladnosti s Splošno uredbo o varstvu podatkov, podjetja v praksi pogosto ustanovijo podružnico na območju EU. S tem lahko uporabniki, katerih obdelava osebnih podatkov poteka po Splošni uredbi o varstvu podatkov, sklenejo pogodbeno razmerje s podružnico na območju EU in ne z matičnim podjetjem v tretji državi.51 46 Teršek v Avbelj (ur.), 2019, stran 367. 47 UL L 119, 4. 5. 2016, strani 1–88. 48 Glej na primer različico »ChatGPT Enterprise«. 49 Paschou, 2024. Glej npr. https://openai.com/policies/data-processing-addendum/ (obiskano: 29. 1. 2025). 50 Glej poglavje V Splošne uredbe o varstvu podatkov. 51 Kot primer kaže izpostaviti ameriško podjetje OpenAI, ki ima sedeže v Kaliforniji, in je s tem namenom ustanovila podružnico OpenAI Ireland Ltd. v Dublinu. Paschou, 2024. Primerjaj https://openai.com/policies/data-processing-addendum/ (obiskano: 29. 1. 2025). 148 OD ALGORITMA DO PRAVA. Usposabljanje generativnih umetnointeligenčnih sistemov temelji na ogromni količini javno dostopnih in pridobljenih podatkov s spleta, kar vključuje tudi številne vrste osebnih podatkov.52 V zvezi s tem se lahko pojavijo znatna tveganja glede varstva osebnih podatkov, predvsem nevarnost profiliranja in možna izguba nadzora nad osebnimi podatki.53 Zaradi tega trenutno ni jasno, v kolikšnem obsegu generativni modeli umetne inteligence lahko spoštujejo »pravico do izbrisa« oziroma »pravico do pozabe«, kot je določena v 17. členu Splošne uredbe o varstvu podatkov.54 Če se izgubi nadzor nad osebnimi podatki, ki so bili uporabljeni kot učni podatkovni nabor, bo praktično nemogoče uveljavljati pravico do izbrisa, četudi ta pripada posamezniku. Nasprotno, če je mogoče enostavno in jasno identificirati osebne podatke, ima posameznik pravico doseči, da upravljavec brez nepotrebnega odlašanja izbriše zadevne osebne podatke, ob predpostavki, da za to obstaja razlog iz 17. člena Splošne uredbe o varstvu podatkov. 5 Pristranskost umetnointeligenčnih sistemov 5.1 Razlog pristranskosti umetnointeligenčnih sistemov Sistemi umetne inteligence se učijo sprejemanja odločitve na podlagi učnih podatkov, zato je ključnega pomena oceniti nabor podatkov glede morebitne pristranskosti. Ena od metod je pregled vzorčenja podatkov, da bi ugotovili, ali so določene skupine oseb v učnih podatkih preveč oziroma premalo zastopane ali nedosledno označene (podatkovna pristranskost). Denimo, orodja umetne inteligence za zaposlovanje, ki uporabljajo nedosledno označevanje ali izključujejo oziroma prekomerno ovrednotijo določene značilnosti, lahko neupravičeno izločijo kvalificirane kandidate iz postopka izbire.55 Še več, nepopolni in pristranski podatki lahko povzročijo napake in nepravilnosti pri diagnosticiranju kožnih bolezni, kot je melanom.56 Ljudje so pri obdelavi podatkov in sprejemanju odločitev lahko pod vplivom lastnih subjektivnih prepričanj in stališč (kognitivna pristranskost). Posledično lahko te pristranskosti vgradijo v sisteme umetne inteligence prek izbire podatkov ali načina njihovega vrednotenja. Na primer, kognitivna pristranskost 52 Glej https://honoralia.com/en/the-right-to-be-forgotten-in-chatgpt/ (obiskano: 29. 1. 2025). 53 Paschou, 2024. 54 Glej https://www.fieldfisher.com/en/insights/does-chatgpt-comply-with-eu-gdpr-regulations-inves (obiskano: 29. 1. 2025) in Zhang et al., 2024, strani 1–10. 55 Glej https://www.ibm.com/think/topics/shedding-light-on-ai-bias-with-real-world-examples (obiskano: 20. 1. 2025). 56 Adamson in Smith, 2018, strani 1247–1248, Vokinger et al., 2021, stran 2. K. Zahrastnik: Ustavnopravne kršitve delovanja in uporabe umetnointeligenčnih sistemov 149, lahko povzroči, da se daje prednost podatkovnim naborom, zbranim v določeni državi, namesto da bi vključevali vzorce iz različnih populacij po vsem svetu. Uporaba nepravilnih učnih podatkov lahko privede do algoritmov, ki ponavljajo napake, povzročajo nepravične rezultate ali celo še dodatno krepijo pristranskost, ki je že prisotna v pomanjkljivih podatkih (algoritemska pristranskost). Ta vrsta pristranskosti se lahko pojavi tudi zaradi programskih napak, na primer če razvijalec nepošteno tehta določene dejavnike pri odločanju algoritma zaradi lastne zavestne ali nezavestne pristranskosti. Tako lahko algoritem na podlagi kazalnikov diskriminira med skupinami oseb z določenimi lastnostmi.57 Zato sta kakovosten učni nabor podatkov in ustrezna analitična zasnova ključnega pomena za odpravo pristranskosti v delovanju umetnointeligenčnih sistemov.58 5.2 Dejanski primeri pristranskosti umetnointeligenčnih sistemov V podjetju Amazon so zasnovali in uporabljali računalniške programe za pregledovanje življenjepisov kandidatov za zaposlitev z namenom mehanizacije izbire iskalcev zaposlitve. Leta 2015 je podjetje Amazon ugotovilo, da zasnovani sistem za izbiro kandidatov za delovna mesta programskih razvijalcev in drugih tehničnih položajev ni ocenjeval kandidatov na spolno nevtralen način. Razlog za to je dejstvo, da so bili Amazonovi računalniški modeli usposobljeni za preverjanje prijavljenih kandidatov s proučevanjem vzorcev v življenjepisih, ki so jih kandidati predložili podjetju v preteklih desetih letih. Ker tehnološko industrijo zaznamuje prevlada moških zaposlenih, se je Amazonov sistem priučil, da so moški kandidati bolj zaželeni. Na tej podlagi je negativno ovrednotil življenjepise, ki so vsebovali besedo »ženski«, na primer v izrazu »kapetanka ženskega šahovskega kluba«. Prav tako je nižje ovrednotil življenjepise diplomantk izključno ženskih fakultet.59 COMPAS je orodje za oceno tveganja in potreb storilcev kaznivih dejanj.60 Pravosodne agencije v ZDA uporabljajo COMPAS kot pomoč pri odločanju o razporejanju, nadzoru in upravljanju primerov storilcev kaznivih dejanj. COMPAS je bil razvit empirično, s poudarkom na dejavnikih, za katere je znano, da vplivajo 57 Glej https://www.ibm.com/think/topics/shedding-light-on-ai-bias-with-real-world-examples (obiskano: 20. 1. 2025). Podrobneje o tem Sun et al., 2020, strani 1–39. 58 Arbet et al., 2020, stran 1. 59 Dastin, 2018. 60 Orodje COMPAS vključuje dinamične dejavnike tveganja in zagotavlja informacije o različnih dobro preverjenih dejavnikih tveganja in potrebah, z namenom identificiranja ustreznih korektivnih ukrepov za zmanjšanje verjetnosti ponovitve kaznivih dejanj. 150 OD ALGORITMA DO PRAVA. na ponovitev kaznivih dejanj. Dejavniki, ki tvorijo podlago za oceno tveganja,61 so sestavljeni iz statusa poklicnega izobraževanja, trenutne starosti, starosti ob prvi aretaciji, zgodovine nasilja, števila prejšnjih aretacij, zaposlitvenega statusa in prejšnje razveljavitve pogojnega izpusta.62 Na podlagi tega orodja so bili temnopolti obtoženci dvakrat pogosteje kot belopolti napačno ocenjeni kot osebe z višjim tveganjem za nasilno ponovitev kaznivega dejanja, medtem ko so bili belopolti povratniki napačno ocenjeni kot nizko tveganje 63,2 % pogosteje kot temnopolti obtoženci.63 Ta primer ponazarja neprimernost pristranskosti učnih podatkov umetnointeligenčnega sistema, ki temeljijo na zgodovinskih kazenskih evidencah in vključujejo rasne razlike pri aretacijah in obsodbah. Orodju COMPAS je bilo očitano tudi pomanjkanje transparentnosti delovanja algoritma, saj ta ne omogoča preglednosti in sledljivosti pri odločanju v posameznih primerih. Lastniška narava algoritma COMPAS in njegova zapletenost sta oteževali razumevanje njegovih odločitev, kar je botrovalo k prikrivanju pristranskosti. Kljub temu je analiza ProPublice pokazala, da je algoritem pri ocenjevanju tveganja izkazoval rasno pristranskost – pogosto je precenjeval tveganje ponovitve kaznivega dejanja pri temnopoltih obtožencih, medtem ko ga je pri belopoltih podcenjeval.64 5.3 Pristranskost, pravičnost in natančnost umetnointeligenčnih sistemov Posebne značilnosti, ki opredeljujejo delovanje umetnointeligenčnih sistemov, vključno z netransparentnostjo (učinek črne skrinjice), kompleksnostjo, nepredvidljivostjo in delno avtonomnim vedenjem, lahko otežijo preverjanje skladnosti ter ovirajo učinkovito spoštovanje in uveljavljanje človekovih pravic.65 Prisotnost podatkovne, algoritemske in kognitivne pristranskosti ter diskriminacije v umetnointeligenčnih sistemih ima globoke etične in ustavnopravne implikacije. Reševanje tovrstne problematike zahteva usklajena prizadevanja za razvoj pravičnih, preglednih in odgovornih sistemov umetne inteligence, ki spoštujejo vse človekove pravice.66 Vendar pa je doseganje pravičnosti in natančnosti zahtevno, saj omejitve pravičnosti lahko okrnijo sposobnost umetnointeligenčnega sistema za natančno 61 Dejavniki, ki se upoštevajo, se razlikujejo glede na to, za kateri model ocenjevanja tveganj gre. 62 Glej https://s3.documentcloud.org/documents/2840784/Practitioner-s-Guide-to-COMPAS-Core.pdf (obiskano: 20. 1. 2025), strani 1, 28–29. 63 Larson et al., 2016. Dejanski in konkretni primeri, ki ponazarjajo pristranskost ocene tveganja do temnopoltih oseb, so razvidni v delu Angwin et al., 2016. 64 Min, 2023, stran 3812; Räz, 2022, strani 300–306. 65 Evropska komisija, 2020, stran 12. 66 Min, 2023, stran 3810. K. Zahrastnik: Ustavnopravne kršitve delovanja in uporabe umetnointeligenčnih sistemov 151, napovedovanje in obratno.67 Osredotočanje izključno na pravičnost lahko povzroči skupinske razlike, kjer določene skupine opravičeno prejemajo ugodno ali neugodno obravnavo, ne glede na njihove dejanske značilnosti.68 To privede do enake obravnave različnih subjektov ter različnih pravnih in dejanskih okoliščin, kar povzroča kršitev pravice do enakopravnosti.69 Na koncu je oblikovanje pravičnih in poštenih umetnointeligenčnih sistemov zapletena naloga, ki vključuje kompromis med pravičnostjo in natančnostjo.70 Bistveno bo najti pravo ravnovesje, da bodo sistemi umetne inteligence zagotavljali pravične rezultate, ne da bi pri tem ogrozili svojo učinkovitost. Spoštovanje človekovih pravic, ki med drugim prepovedujejo pristransko delovanje umetnointeligenčnih sistemov, bo ključnega pomena za dosego algoritemske pravičnosti.71 6 Kršitev pravice do dela 6.1 Visokotvegani umetnointeligenčni sistemi V Ustavi RS ni izrecno uporabljena besedna zveza »pravica do dela«, temveč je določba 49. člena Ustave RS poimenovana »svoboda dela«, ki sicer sestoji iz enakih elementov kot pravica do dela, določena v mednarodnih aktih.72 Uporaba umetnointeligenčnih sistemov v okviru pravice do dela lahko predstavlja veliko tveganje za posameznike, skupine, predstavnike delavcev (kot so sindikati), skupnosti in organizacije. Če je uporaba teh sistemov nepregledna, nepravilno uporabljena, napačno zasnovana ali neustrezno nadzorovana, lahko povzroči škodo ali krši človekove pravice in temeljne svoboščine. Uporaba pristranskih podatkov za usposabljanje umetnointeligenčnih orodij ali uporaba neustreznih ali nezakonitih dejavnikov oziroma kazalnikov v sistemih umetne inteligence lahko pomembno vpliva na osebni in poklicni razvoj delavca ter povzroči neenakost pri dostopu do zaposlitvenih priložnosti.73 67 Chouldechova, 2016; Min, 2023, stran 3814. 68 Crawford, 2016; Min, 2023, stran 3814. 69 Avbelj in Vatovec v Avbelj (ur.), 2019, stran 116. 70 Pravičnosti ni mogoče in je morda niti ne bi smeli avtomatizirati. Umetna inteligenca namreč nima sposobnosti razumevanja kontekstualne enakosti, ne more zajeti in upoštevati lokalnih političnih, družbenih ter okoljskih dejavnikov posameznega primera. Tako Wachter et al., 2020, stran 29. 71 Min, 2023, stran 3814. 72 Korpič – Horvat, 2018, stran 25. 73 Glej https://www.edps.europa.eu/system/files/2023-10/1.-resolution-on-ai-and-employment-en.pdf (obiskano: 2. 2. 2025), stran 2. 152 OD ALGORITMA DO PRAVA. Umetnointeligenčni sistemi, ki negativno vplivajo na varnost ali temeljne pravice, so obravnavani kot visoko tvegani. Na področju delovnega prava so takšni sistemi prisotni zlasti pri zaposlovanju, upravljanju delavcev in dostopu do samozaposlitve.74 Tako izhaja tudi iz Priloge III Akta o umetni inteligenci, ki kot visokotvegane sisteme umetne inteligence75 opredeli: »(a) sisteme umetne inteligence za zaposlovanje ali izbor fizičnih oseb, zlasti za ciljno oglaševanje delovnih mest, analizo in filtriranje prijav za zaposlitev ter ocenjevanje kandidatov, in (b) sisteme umetne inteligence za odločanje o pogojih delovnih razmerij, napredovanju ali prenehanju delovnih pogodbenih razmerij, dodeljevanju nalog na podlagi vedenja posameznika oziroma osebnostnih lastnosti ali značilnosti ter spremljanju in ocenjevanju uspešnosti in vedenja oseb v takih razmerjih.«76 Razvrstitev umetnointeligenčnega sistema med visokotvegane sisteme umetne inteligence prinaša posebne zahteve za te sisteme in obveznosti za operaterje takšnih sistemov.77 V skladu s tem morajo visokotvegani sistemi umetne inteligence izpolnjevati zahteve iz oddelka 2 Akta o umetni inteligenci,78 pri čemer je treba upoštevati njihov predvideni namen ter splošno priznane najsodobnejše dosežke na področju umetne inteligence.79 Delodajalci, ki uporabljajo umetnointeligenčne sisteme, ki jih Akt o umetni inteligenci opredeli kot visokotvegane, morajo izpolnjevati stroge obveznosti v zvezi s preglednostjo, nadzorom, usposabljanjem in poročanjem. Akt o umetni inteligenci določa zahteve za ponudnike in uporabnike umetnointeligenčnih sistemov, če se uporabljajo za zaposlovanje, napredovanje, prenehanje pogodbenega delovnega razmerja, za dodeljevanje nalog in ocenjevanje uspešnosti.80 Če gre z Aktom o umetni inteligenci za prepovedan umetnointeligenčni sistem, se morajo delodajalci izogibati njegovi uporabi. Akt o umetni inteligenci prepoveduje uporabo umetnointeligenčnih sistemov, ki veljajo za škodljive ali diskriminatorne. Kot prepovedani sistemi veljajo umetnointeligenčni sistemi,81 ki: 74 Glej https://www.europarl.europa.eu/topics/en/article/20230601STO93804/eu-ai-act-first-regulation-on- artificial-intelligence (obiskano: 3. 2. 2025). 75 Drugi odstavek 6. člena Akta o umetni inteligenci določa, da se za visokotvegane sisteme umetne inteligence štejejo tudi sistemi umetne inteligence iz Priloge III. 76 Glej četrto točko Priloge III Akta o Umetni inteligenci. 77 Glej točko c) drugega odstavka 1. člena Akta o umetni inteligenci. 78 Oddelek 2, zahteve za visokotvegane sisteme UI, obsega člene od 8 do 15 Akta o umetni inteligenci. 79 Določba 8. člena Akta o umetni inteligenci. 80 Zahteve za visokotvegane umetnointeligenčne sisteme se začnejo uporabljati 2. 8. 2026 ali 2. 8. 2027, odvisno od opredelitve sistema (primerjaj 113. člen Akta o umetni inteligenci). Zimmermann et al., 2024. 81 Primerjaj prepovedane prakse umetnointeligenčnih sistemov, določene s 5. členom Akta o umetni inteligenci. Uvodna točka 179 Akta o umetni inteligenci določa, da se prepovedi iz te uredbe uporabljajo že od 2. 2. 2025. K. Zahrastnik: Ustavnopravne kršitve delovanja in uporabe umetnointeligenčnih sistemov 153, − sklepajo o čustvih fizične osebe na delovnem mestu; − iz biometričnih podatkov sklepajo občutljive osebne značilnosti; − osebam dodeljujejo ocene na podlagi družbenega vedenja ali osebnostnih značilnosti.82 Akt o umetni inteligenci ne velja le za ponudnike, ki dajejo na trg ali v uporabo umetnointeligenčne sisteme v območju EU, temveč se uporablja tudi za multinacionalne delodajalce, če njihovi umetnointeligenčni sistemi zunaj EU sprejemajo odločitve v zvezi z delovno silo v EU.83 Na primer, delodajalec s sedežem v tretji državi, ki uporablja umetnointeligenčni sistem za merjenje uspešnosti zaposlenih pri dodeljevanju bonusov po vsem svetu, vključno z delavci v EU, bo zavezan z Aktom o umetni inteligenci.84 6.2 Dejanski primeri kršitve pravice do dela Sodišče v Amsterdamu je obravnavalo in delno zavrnilo vlogo, ki so jo vozniki Uberja vložili proti avtomatizirani prekinitvi njihovih pogodb zaradi domnevnih goljufij. Sodišče je ugotovilo, da deaktivizacija licence oziroma postopek prekinitve njihovih pogodb ne predstavlja avtomatiziranega sprejemanja posameznih odločitev v skladu z 22. členom Splošne uredbe o varstvu podatkov.85 Italijanski nadzorni organ za varstvo podatkov je presojal, ali gre za dopustno uporabo umetnointeligenčnih sistemov, ki avtomatizirano sprejemajo posamezne odločitve, vključno z oblikovanjem profilov, na podlagi katerih je prišlo do izključitve nekaterih dostavljavcev iz delovnih priložnosti. Nadzorni organ za varstvo podatkov je ugotovil, da je pri tem prišlo do kršitve Splošne uredbe o varstvu podatkov, saj podjetje ni uvedlo ustreznih ukrepov za varovanje človekovih pravic in svoboščin svojih zaposlenih pred diskriminatornim avtomatiziranim odločanjem. Točkovalni sistem za dodeljevanje dostavnih terminov je namreč nekatere dostavljavce izključil iz zaposlitvenih priložnosti.86 82 Zimmermann et al., 2024. 83 Točka c) prvega odstavka 2. člena Akta o umetni inteligenci. 84 Chance, 2024, stran 6. 85 Rb. Amsterdam - C/13/692003/HA RK 20-302. 86 Povzetek sklepa italijanskega nadzornega organa za varstvo podatkov, št. 9677611, 5. 7. 2021 in https://www.edps.europa.eu/system/files/2023-10/1.-resolution-on-ai-and-employment-en.pdf (obiskano: 2. 2. 2025), stran 7. 154 OD ALGORITMA DO PRAVA. 7 Kršitev svobode izražanja Delovanje umetnointeligenčnih sistemov – zlasti generativne umetne inteligence – lahko posega tudi v pravico do svobode izražanja, in sicer v njen del, ki vključuje sprejemanje informacij.87 Neresnične informacije, ki jih proizvajajo umetnointeligenčni sistemi, lahko predstavljajo nedopusten poseg v uporabnikovo pravico do svobode izražanja oziroma sprejemanja informacij, pri čemer pa ni vsako takšno dejanje že samo po sebi nedopustno. Pri ugotavljanju, ali obstaja pozitivna dolžnost ponudnika umetnointeligenčnega sistema glede pravilnega razširjanja informacij, je treba upoštevati pravično ravnovesje med splošnim interesom skupnosti in interesi posameznika. Obseg pozitivne dolžnosti se neizogibno razlikuje glede na raznolikost okoliščin v državah pogodbenicah, kompleksnost nadzora nad sodobnimi družbami ter potrebo po tehtanju med različnimi prioritetami in razpoložljivimi viri.88 Nedopustno poseganje v pravico do sprejemanja informacij nastopi le v primerih, ko je posamezniku resneje omejen, izkrivljen ali usmerjen dostop do informacij v javnem interesu. Vzrok za proizvajanje in navajanje neresničnih informacij izvira iz dveh razlogov. Prvi razlog odraža proizvod netočnih informacij zaradi nepravilnih vhodnih podatkov, na katerih je zgrajen velik jezikovni model. To lahko povzročijo že napačne informacije na spletu in drugih virih, ki so del podatkovnega nabora umetnointeligenčnega sistema. Drugi – bolj zaskrbljujoč – razlog nastopi, ko umetnointeligenčni sistem »halucinira« oziroma ustvarja nove, neresnične informacije, kadar ne najde ustreznega odgovora na uporabnikovo vprašanje. V tem primeru umetnointeligenčni sistem »zavestno« proizvede netočne informacije in jih prikazuje kot resnične.89 Mogoča je situacija, kjer si umetnointeligenčni sistem, če ne razpolaga s podatki za točen odgovor, nekritično izmisli zanj pravilen odgovor, ki ga označi kot resničnega. Pri tem lahko pride do izmišljevanja sodnih odločb, ki v konkretnem pravnem redu sploh ne 87 Teršek v Avbelj (ur.), 2019, stran 374. Tako Ustava RS (39. člen) kot EKČP (10. člen) (Zakon o ratifikaciji Konvencije o varstvu človekovih pravic in temeljnih svoboščin, spremenjene s protokoli št. 3, 5 in 8 ter dopolnjene s protokolom št. 2, ter njenih protokolov št. 1, 4, 6, 7, 9, 10 in 11, Uradni list RS–MP, št. 7/94) vključujeta v pravico do svobode izražanja sprejemanje informacij. Eskens et al. 2017, stran 260. 88 Glej 43. točko sodbe ESČP Özgür Gündemv proti Turčiji, št. 23144/93 z dne 16. 3. 2000. 89 Glej https://www.thefire.org/research-learn/artificial-intelligence-free-speech-and-first-amendment (obiskano: 3. 2. 2025). K. Zahrastnik: Ustavnopravne kršitve delovanja in uporabe umetnointeligenčnih sistemov 155, obstajajo.90 Izmišljevanje pravnih pravil ali sodne praske in zatrjevanje njihove resničnosti bi se lahko obravnavalo kot nedopustno okrnitev sprejemanja informacij, s čimer bi delovanje umetnointeligenčnih sistemov lahko posegalo v uporabnikovo pravico do svobode izražanja – predvsem v primerih obstoječe informacijske asimetrije med umetnointeligenčnim sistemom in uporabnikom. Umetnointeligenčni sistemi lahko na številne načine izboljšajo komunikacijo in dostop do informacij, tudi prek tradicionalnih medijev,91 vendar če je s tem omogočen dostop do večjega števila netočnih in neresničnih informacij, je takšna izboljšava zgolj navidezna, če ne celo ovirajoča in škodljiva. 8 Kršitev pravice do osebnega dostojanstva ter varstva pravic zasebnosti in osebnostnih pravic Temelj in meja ustavnega varstva časti izhajata iz pravice do osebnega dostojanstva (34. člen Ustave RS) ter varstva pravic zasebnosti in osebnostnih pravic (35. člena Ustave RS).92 Osrednji vidik varstva pravic zasebnosti in osebnostnih pravic je zagotavljanje nedotakljivosti zasebnosti, vendar med osebnostne pravice, varovane s 35. členom Ustave RS, umeščamo tudi pravico do varstva časti in ugleda.93 Sistemi generativne umetne inteligence so pogosto uporabljeni za kratkočasenje uporabnikov. V tej zvezi nastanejo številni zapisi, slike in video posnetki, ki na humorističen način prikažejo osebe v neobičajnem, nerodnem ali zabavnem kontekstu. Takšni proizvodi, vsaj praviloma, ne bodo predstavljali protipravnega posega v pravico do osebnega dostojanstva, pravico do zasebnosti in osebnostne pravice v smislu 35. člena Ustave RS – zlasti, če gre za javne osebe.94 Vendar pa se umetnointeligenčne sisteme lahko zlorabi tudi za oblikovanje žaljivih ali intimnih proizvodov. V Španiji je v javnost prišel primer zlorabe umetnointeligenčnih sistemov za namene ustvarjanja pornografskega gradiva. Uporabnik je v 90 Primerjaj Beširević, Zahrastnik v Romih (ur.), 2023, strani 111–112 (avtorja opisujeta primer, kjer je klepetalni robot ChatGPT v pozivu na poznavanje slovenske sodne prakse odgovoril z neresnično in neobstoječo sodno odločbo) in zadevo »United States District Court Southern District OF New York«, Roberto Mata proti Avianca, Inc., 22-cv-1461, z dne 22. 6. 2023 (gre za zadevo, kjer je odvetnik predložil neobstoječe sodne odločbe z lažnimi navedki in citati, ki jih je ustvaril klepetalni robot ChatGPT). 91 Primerjaj Haas, 2020, stran 1. 92 Ustavno sodišče Republike Slovenije, U-I-226/95, ECLI:SI:USRS:1999:U.I.226.95, točka 10. 93 Farmany v Avbelj (ur.), 2019, strani 342–343. 94 Tudi za absolutno javne osebe veljata pravica do osebnega varstva ter varstvo pravic zasebnosti in osebnostih pravic, čeprav v omejenem obsegu, ki je običajno rezultat tehtanja med pravico do osebnega dostojanstva oziroma pravico do zasebnosti in pravico do svobode izražanja. V primeru žaljivih ali zlonamernih objav, katerih namen je zaničevanje osebe, pa varstvo pripada tudi (absolutno) javni osebi. Glej Toplak v Šturm (ur.), 2010, stran 370. 156 OD ALGORITMA DO PRAVA. umetnointeligenčni sistem naložil fotografije mladoletnih deklet, katerih starost je bila med 11 in 17 leti. Fotografije je uporabnik pridobil iz družbenih omrežij in jih brez privolitve uporabil v programu umetne inteligence. Na tej podlagi je program ustvaril slike golih teles z obrazi, ki jih je prevzel iz naloženih fotografij.95 Takšni primeri uporabe in zlorabe umetnointeligenčnih sistemov so eklatanten primer protipravnega posega v pravico do osebnega dostojanstva, pravico do zasebnosti in osebnostne pravice v smislu 35. člena Ustave RS.96 Predvsem tehnologija globokih ponaredkov (ang. deep fake) zna zlahka omogoči platformo za zasledovanje nepristnih in škodoželjnih interesov, ki ogrožajo človekove pravice. Uporabnikovo prikazovanje, objavljanje in razširjanje proizvodov umetnointeligenčnih sistemov spadajo med njegovo pravico do svobode izražanja, vendar je pri tem omejen s tujo pravico do zasebnosti, vključno s pravico do varstva časti in dobrega imena. Kolizija pravice do svobode izražanja ter pravice do varstva časti in dobrega imena je lahko dopustna oziroma neobstoječa, četudi gre za zelo ostre, surove in brezobzirne izjave, ki jih oseba dojema kot kritiko ravnanja ali stališča in ne kot napad na osebnost ali njeno sramotitev, poniževanje, prezir ali zasmehovanje. Zadevni pravici sta vendarle lahko kolidirajoči, če izjavitelj z izjavo ne zasleduje prispevka k razpravi v zadevah javnega pomena, temveč je izjava žaljiva za drugega – takrat protipravnost izjav ni izključena.97 Pravica do lastnega glasu oziroma pravica na glasu velja za eno od osebnostnih pravic, varovanih na podlagi 35. člena Ustave.98 V tej zvezi je bilo sporno oblikovanje glasu umetnointeligenčnega sistema, poimenovanega »Sky«, ki je po barvi in tonaliteti spominjal na glas znane igralke Scarlett Johansson.99 OpenAI, ki je oblikoval in dal v javno uporabo sistem z možnostjo komuniciranja z umetnim ženskim glasom, poudarja, da program »Sky« ni imitacija igralkinega glasu. Navkljub temu je OpenAI kasneje z namenom izognitve morebitnem sodnem sporu to funkcijo umaknil iz uporabe.100 95 Brkan, 2023. Glej tudi Viejo, 2023. 96 Ustavnopravno zagotovljeno varstvo pravic zasebnosti varuje pred razkritjem posameznikove osebne zadeve, ki jih slednji želi ohraniti skrite in ki se po naravi stvari ali glede na ustaljena pravila ravnanja v družbi štejejo za take. Ustavno sodišče Republike Slovenije, U-I-272/98-26, ECLI:SI:USRS:2003:U.I.272.98. 97 Farmany v Avbelj (ur.), 2019, stran 347. 98 Farmany v Avbelj (ur.), 2019, stran 344, in odločba Ustavnega sodišča Republike Slovenije, Up-472/02, ECLI:SI:USRS:2004:Up.472.02. 99 Omenjena igralka je v filmu »Her« glasovno upodobila glas umetnointeligenčnega sistema. 100 Robins-Early, 2024. K. Zahrastnik: Ustavnopravne kršitve delovanja in uporabe umetnointeligenčnih sistemov 157, 9 Zaključek Umetnointeligenčni sistemi lahko vplivajo pozitivno na izboljšanje dostopa do informacij in poenostavitev procesov, vendar če proizvodi umetnointeligenčnih sistemov temeljijo na kršitvah in posegih v ustavno varovane dobrine, je treba utemeljeno podvomiti o stimuliranju teh sistemov in njihovi družbeni koristnosti. Umetnointeligenčnim sistemom je na podlagi besedilnega in podatkovnega rudarjenja dovoljeno reproducirati avtorska dela, do katerih zakonito dostopajo. Avtor ima pri tem možnost prepovedati podatkovno in besedilno rudarjenje takšnih del. V tej zvezi so bile razvite tehnične rešitve (npr. Robots Exclusion Standard, Cloudflare), ki onemogočajo spletnim pajkom in botom umetnointeligenčnih sistemov dostop do javno dostopnih spletnih vsebin. Dopustnost besedilnega in podatkovnega rudarjenja je vsekakor ključnega pomena za funkcionalno in natančno delovanje umetnointeligenčnih sistemov, čeprav to pomeni vsebinsko omejitev avtorske pravice. Pobuda in odgovornost, da umetnointeligenčnim sistemom prepreči dostop do lastnih avtorskih del, je torej na avtorju. Poleg kršitve avtorskih pravic pri razvoju, usposabljanju in delovanju umetnointeligenčnih sistemov, so lahko avtorske pravice ogrožene tudi pri končnem proizvodu oziroma konkretnem izhodnem rezultatu umetnointeligenčnega sistema. To je pogosto zlasti pri modelih generativne umetne inteligence, ki večinoma ne navajajo uporabljenih virov ali si jih celo izmislijo. Dosledno navajanje virov izvira iz akademske poštenosti in korektnosti ter je namenjeno preverjanju kredibilnosti in natančnosti navedenih podatkov. Zanemarjanje obveznosti navedbe tujega avtorskega dela se lahko pri fizičnih osebah šteje za plagiatorstvo. Informacijska zasebnost, ki zagotavlja varstvo osebnih podatkov, je na področju delovanja in uporabe umetnointeligenčnih sistemov podvržena številnim tveganjem, povezanim z upoštevanjem določb Splošne uredbe o varstvu podatkov. Če se modeli generativne umetne inteligence vključujejo v procese podjetij, bi moral biti ponudnik teh sistemov dejansko obravnavan kot obdelovalec podatkov v luči Splošne uredbe o varstvu podatkov. Upravljavec podatkov mora z obdelovalcem skleniti pogodbo o obdelavi podatkov, sicer gre za nezakonito obdelavo osebnih podatkov. V izogib temu so na voljo poslovne različice umetnointeligenčnih sistemov, ki svojim strankam zagotavljajo pogodbo o obdelavi podatkov. Nadalje Splošna uredba o varstvu podatkov določa posebna pravila za prenos osebnih podatkov, ki se obdelujejo ali so namenjeni obdelavi po prenosu v tretjo državo. Zato morajo 158 OD ALGORITMA DO PRAVA. podjetja iz EU, ki želijo uporabljati umetnointeligenčni sistem ponudnika s sedežem v tretji državi, upoštevati pravne posledice prenosa osebnih podatkov v tretje države.101 Umetnointeligenčni sistemi morajo prav tako upoštevati in izvajati »pravico do izbrisa« oziroma »pravico do pozabe«. Preteča nevarnost se kaže v izgubi nadzora nad osebnimi podatki, ki so bili uporabljeni kot učni podatkovni nabor, zaradi česar je v takšnih primerih praktično nemogoče udejanjiti pravico do izbrisa, četudi se ta utemeljeno uveljavlja. Razlog za pristranskost umetnointeligenčnih sistemov je mogoče identificirati v podatkovni pristranskosti (neprimeren in pristranski učni podatkovni nabor), algoritemski pristranskosti (algoritem je namerno ali nehote zasnovan pristransko) in kognitivni pristranskosti (pristranskost pri izbiri ali ovrednotenju podatkov).102 Pristranskost umetnointeligenčnih sistemov je mogoče odpraviti z oblikovanjem in zagotavljanjem pravičnega ter natančnega delovanja teh sistemov. Iskanje ustreznega ravnovesja med pravičnostjo in natančnostjo je zahtevno, saj lahko omejitve pravičnosti okrnijo sposobnost umetnointeligenčnega sistema za natančno napovedovanje.103 Nasprotno, osredotočanje izključno na pravičnost lahko povzroči skupinske razlike, kjer določene skupine opravičeno prejemajo ugodno ali neugodno obravnavo, ne glede na njihove dejanske značilnosti.104 Ključno bo najti pravo ravnovesje med natančnostjo in pravičnostjo, ne da bi prišlo do diskriminacije med osebami ali skupinami oseb. Akt o umetni inteligenci navaja kot visokotvegane umetnointeligenčne sisteme tiste, ki se uporabljajo za zaposlovanje ali izbor fizičnih oseb, ciljno oglaševanje delovnih mest, analizo in filtriranje prijav za zaposlitev, ocenjevanje kandidatov, za odločanje o pogojih delovnih razmerij, napredovanju ali prenehanju delovnih pogodbenih razmerij, dodeljevanju nalog na podlagi vedenja posameznika oziroma osebnostnih lastnosti ter spremljanju in ocenjevanju uspešnosti ter vedenja. Kvalifikacija umetnointeligenčnega sistema kot visokotveganega prinaša posebne strožje zahteve, ki jih morajo ti sistemi upoštevati. Če gre za umetnointeligenčni sistem, ki vključuje prepovedane prakse v smislu 5. člena Akta o umetni inteligenci (npr. uporaba umetnointeligenčnega sistema za sklepanje o čustvih fizične osebe na delovnem mestu), je njegova uporaba prepovedana. Neustrezna uporaba umetnointeligenčnih 101 Primerjaj Paschou, 2024. 102 Glej https://www.ibm.com/think/topics/shedding-light-on-ai-bias-with-real-world-examples (obiskano: 20. 1. 2025). 103 Chouldechova, 2016; Min, 2023, stran 3814. 104 Prav tam. K. Zahrastnik: Ustavnopravne kršitve delovanja in uporabe umetnointeligenčnih sistemov 159, sistemov lahko negativno vpliva na osebni in poklicni razvoj delavca ter povzroči neenakost pri dostopu do zaposlitvenih priložnosti.105 Neresnične informacije, ki jih proizvajajo umetnointeligenčni sistemi, lahko okrnijo svobodo izražanja, in sicer njen del, ki vključuje sprejemanje informacij.106 Razlog za proizvajanje in navajanje neresničnih informacij je predvsem odraz nepravilnih vhodnih podatkov oziroma podatkovnega učnega nabora ter haluciniranja umetnointeligenčnih sistemov, pri čemer lahko celo pride do izmišljevanja pravnih pravil in sodne prakse. Uporaba umetnointeligenčnih sistemov za oblikovanje žaljivih in intimnih vsebin lahko pomeni protipraven poseg v pravico do osebnega dostojanstva, pravico do zasebnosti in osebnostne pravice v smislu 35. člena Ustave RS – predvsem kadar gre za javno razkazovanje takšnih proizvodov. Uporabnikovo prikazovanje, objavljanje in razširjanje vsebin, ustvarjenih z umetnointeligenčnimi sistemi, sicer sodi v njegovo pravico do svobode izražanja, vendar je pri tem omejeno s pravico drugih do osebnega dostojanstva, pravico do zasebnosti, vključno s pravico do varstva časti in dobrega imena. Slovensko nacionalno pravo in pravo EU skupaj tvorita pravno ogrodje, ki posamezniku zagotavlja zadovoljivo varstvo pravic iz ustvarjalnosti, varstva osebnih podatkov, enakosti pred zakonom, svobode dela, svobode izražanja, pravice do osebnega dostojanstva in varnosti ter pravic zasebnosti in osebnostnih pravic. Zgolj s spoštljivim odnosom do človekovih pravic je mogoč varen in ustavnopravno skladen razvoj umetnointeligenčnih sistemov. Namesto, da bi se stremelo k razvoju človeku prijaznih umetnointeligenčnih sistemov, ima trenutna regulacija dejansko odvračilne učinke. Trenutno imajo namreč le štiri od petdesetih največjih tehnoloških podjetij sedež v EU.107 Tudi investicije v razvoj umetnointeligenčnih sistemov v EU so krepko v zaostanku v primerjavi z investicijami v ZDA.108 Tehnološki sektor v EU naj bi »zavirali« pravni akti, ki posegajo na področje tehnološke regulacije, kot so Splošna uredba o varstvu podatkov, Akt o digitalnih 105 Glej https://www.edps.europa.eu/system/files/2023-10/1.-resolution-on-ai-and-employment-en.pdf (obiskano: 2. 2. 2025), stran 2. 106 Primerjaj Teršek v Avbelj (ur.), 2019, stran 374. 107 Glej https://companiesmarketcap.com/tech/largest-tech-companies-by-market-cap/ (obiskano: 4. 2. 2025). 108 Benaich, 2024. 160 OD ALGORITMA DO PRAVA. storitvah, Akt o digitalnih trgih109 in Akt o umetni inteligenci. S svojo podrobno regulativno politiko naj bi EU v veliki meri posegala v tehnološke inovacije,110 kar ima odvračilni učinek na investicije in razvoj umetnointeligenčnih sistemov v EU. Takšen pogled obravnava spoštovanje človekovih pravic kot žrtev delovanja umetnointeligenčnih sistemov, čeravno bi moral biti njihov temeljni postulat. Razvijalci in uporabniki umetnointeligenčnih sistemov so sicer že podvrženi podrobni evropski zakonodaji o človekovih pravicah, vendar lahko nekatere specifične značilnosti umetne inteligence, kot je netransparentnost, otežijo uporabo in izvrševanje teh pravnih aktov,111 zaradi česar bo treba biti še posebej pozoren na skladnost umetnointeligenčnih sistemov z varovanimi ustavnopravnimi pravicami. Literatura Adamson, A. S., Smith, A. (2018) Machine Learning and Health Care Disparities in Dermatology. JAMA Dermatol, 154(11), strani 1247–1248, doi:10.1001/jamadermatol.2018.2348. Angwin, J., Larson, J., Mattu, S., Kirchner, L. (2016) Machine Bias, dostopno na: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing (obiskano: 31. 1. 2025). Arbet, J., Brokamp, C., Meinzen-Derr, J., Trinkley, K. E., Spratt, H. M. (2020) Lessons and tips for designing a machine learning study using EHR data, Journal of Clinical and Translational Science, 21(5), strani 1–10, doi: 10.1017/cts.2020.513. Avbelj, M., Vatovec, K. v Avbelj, M. (2019) 14. člen, Komentar Ustave Republike Slovenije (Nova Gorica: Nova univerza, Evropska pravna fakulteta), strani 110–123. Benaich, N. (2024) State of AI report, dostopno na: https://docs.google.com/presentation/d/1GmZmoWOa2O92BPrncRcTKa15xvQGhq7g4I 4hJSNlC0M/edit#slide=id.g2f75efebcb2_0_159 (obiskano: 4. 2. 2025). Beširević, I., Zahrastnik, K. v Romih, D. (2023) Uporabnost klepetalnega robota ChatGPT pri raziskovanju na področju prava, Digitalna ekonomija in pravo 2023 (Društvo ekonomistov), strani 105–123. Bocharov, A., Vargas, S., Martinetti, A., Tatoris, R., Azevedo, C. (2024) Declare your AIndependence: block AI bots, scrapers and crawlers with a single click, dostopno na: https://blog.cloudflare.com/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click/ (obiskano: 30. 1. 2025). Brkan, M. (2023) Pravni spori zaradi uporabe umetne inteligence, dostopno na: https://www.iusinfo.si/medijsko-sredisce/kolumne/pravni-spori-zaradi-uporabe-umetne-inteligence-308425 (obiskano 3. 2. 2025). Chance, C. (2024) What does the EU AI act mean or employers?, dostopno na: https://www.cliffordchance.com/content/dam/cliffordchance/briefings/2024/08/what-does-the-eu-ai-act-mean-for-employers.pdf (obiskano: 3. 2. 2025). Chouldechova, A. (2016) Fair prediction with disparate impact: A study of bias in recidivism prediction instruments, dostopno na: https://arxiv.org/pdf/1610.07524 (obiskano: 31. 1. 2025). 109 Uredba (EU) 2022/1925 Evropskega parlamenta in Sveta z dne 14. septembra 2022 o tekmovalnih in pravičnih trgih v digitalnem sektorju in spremembi direktiv (EU) 2019/1937 in (EU) 2020/1828 (UL L 265, 12. 10. 2022, strani 1–66). 110 Thierer, 2022; Inserra, 2024. 111 Evropska komisija, 2020, stran 10. K. Zahrastnik: Ustavnopravne kršitve delovanja in uporabe umetnointeligenčnih sistemov 161, Crawford, K., Whittaker, M., Elish, M. C., Barocas, S., Plasek, A., Ferryman, K. (2016) The AI Now Report: The Social and Economic Implicationsof Artificial Intelligence Technologies in the Near-Term, dostopno na: https://www.slideshare.net/slideshow/the-ai-now-report-the-social-and-economic-implications-of-artificial-intelligence-technologies-in-the-nearterm/79866755 (obiskano: 31. 1. 2025). Čebulj, J. (2002) Opredelitev in razmerje do drugih ustavnih določb, 38. člen Komentarja Ustave Republike Slovenije, dostopno na: https://e-kurs.si/komentar/opredelitev-in-razmerje-do-drugih-ustavnih-dolocb-17/ (obiskano: 10. 2. 2025). Dastin, J. (2018) Insight - Amazon scraps secret AI recruiting tool that showed bias against women, dostopno na: https://www.reuters.com/article/world/insight-amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK0AG/ (obiskano: 30 . 1. 2025). Day, T. (2023) A Preliminary Investigation of Fake Peer-Reviewed Citations and References Generated by ChatGPT, The Professional Geographer, 75(6), strani 1024–1027, dostopno na: https://doi.org/10.1080/00330124.2023.2190373. Eskens, S., Helberger, N., Moeller, J. (2017) Challenged by news personalisation: fiveperspectives on the right to receive information. Journal of Media Law, 9(2), strani 259–284, dostopno na: https://doi.org/10.1080/17577632.2017.1387353. Evropska komisija (2020) White paper On Artificial Intelligence - A European approach to excellence and trust, dostopno na: https://commission.europa.eu/document/download/d2ec4039-c5be-423a-81ef-b9e44e79825b_en?filename=commission-white-paper-artificial-intelligence-feb2020_en.pdf (obiskano: 4. 2. 2025). Evropska komisija (2023) Intellectual Property in ChatGPT, dostopno na: https://intellectual- property-helpdesk.ec.europa.eu/news-events/news/intellectual-property-chatgpt-2023-02-20_en (obiskano: 23. 1. 2025). Farmany, P. v: Avbelj, M. (2019) 35. člen, Komentar Ustave Republike Slovenije (Nova Gorica: Nova univerza, Evropska pravna fakulteta), strani 339–349. Grynbaum, M. M., Mac, R. (2023) The Times Sues OpenAI and Microsoft Over A.I. Use of Copyrighted Work, dostopno na: https://www.nytimes.com/2023/12/27/business/media/new-york-times-open-ai-microsoft-lawsuit.html (obiskano: 29. 1. 2025). Haas, J. (2020) Freedom of the Media and Artificial Intelligence, dostopno na: https://www.osce.org/files/f/documents/4/5/472488.pdf (obiskano: 3. 2. 2025). Harris, Y. (2024) Where and how does a chatbot get its information?, dostopno na: https://powell- software.com/resources/blog/where-does-chatbot-get-its-information/ (obiskano: 23. 1. 2025). Helms, S., Krieser, J. (2023) Copyrights, Professional Perspective - Copyright Chaos: Legal Implications of Generative AI, dostopno na: https://www.bloomberglaw.com/external/document/XDDQ1PNK000000/copyrights-professional-perspective-copyright-chaos-legal-implic (obiskano: 30. 1. 2025). Inserra, D. (2024) Artificial Intelligence Regulation Threatens Free Expression, dostopno na: https://www.cato.org/briefing-paper/artificial-intelligence-regulation-threatens-free expression#legislative-approaches (4. 2. 2025). Korpič – Horvat, E. (2018) Pravica do dela, Anali PAZU HD, 4(1–2), strani 25–36. Larson J., Mattu, S., Kirchner, L., Angwin, J. (2016) How We Analyzed the COMPAS Recidivism Algorithm, dostopno na: https://www.pro publica.org/article/how-we-analyzed-the-compas-recidivism-algorithm (obiskano: 31. 1. 2025). Lucchi, N. (2024) ChatGPT: A Case Study on Copyright Challenges for Generative Artificial Intelligence Systems, European Journal of Risk Regulation, 15, strani 602–624. Min, A. (2023) Artificial Intelligence Aad Bias: Challenges, Implications, and Remedies, Journal of Social Research, 11(2), strani 3808–3817. Paschou, V. (2024) How to use ChatGPT in your company in compliance with the GDPR, dostopno na: https://www.activemind.legal/guides/chatgpt/ (obiskano: 29. 1. 2025). 162 OD ALGORITMA DO PRAVA. Räz, T. (2022) COMPAS: zu einer wegweisenden Debatte über algorithmische Risikobeurteilung, Forens Psychiatr Psychol Kriminol, 16, strani 300–306. Robins-Early, N. (2024) ChatGPT suspends Scarlett Johansson-like voice as actor speaks out against OpenAI, dostopno na: https://www.theguardian.com/technology/article/2024/may/20/chatgpt-scarlett-johansson-voice (obiskano: 3. 2. 2025). Sahathullah, A. L. (2023) How does AI get data?, https://ahamed-saha.medium.com/how-does-ai- get-data-ea09bee6caa8 (obiskano: 23. 1. 2025). Stone, E. F., Gueutal, H. G., Gardner, D. G., McClure, S. (1983) A field experiment comparing information-privacy values, beliefs, and attitudes across several types of organizations, Journal of Applied Psychology 68(3), strani 459–468, DOI: 10.1037/0021-9010.68.3.459. Sun, W., Nasraoui, O., Shafto, P. (2020) Evolution and impact of bias in human and machine learning algorithm interaction, PLoS ONE, 15(8), strani 1–39, dostopno na: https://doi.org/10.1371/journal.pone.0235502. Teršek, A., v: Avbelj, M. (2019) 39. člen, Komentar Ustave Republike Slovenije (Nova Gorica: Nova univerza, Evropska pravna fakulteta), strani 370–389. Thierer, A. (2022) Why the Future of AI Will Not Be Invented in Europe, dostopno na: https://techliberation.com/2022/08/01/why-the-future-of-ai-will-not-be-invented-in-europe/ (obiskano: 4. 2. 2025). Toplak, L., v Šturm, L. (2010) 35. člen, Uvodna opredelitev, Komentar Ustave Republike Slovenije (Ljubljana: Fakulteta za podiplomske državne in evropske študije), strani 367–370. Viejo, M. (2023) In Spain, dozens of girls are reporting AI-generated nude photos of them being circulated at school: ‘My heart skipped a beat’, dostopno na: https://english.elpais.com/international/2023-09-18/in-spain-dozens-of-girls-are-reporting-ai-generated-nude-photos-of-them-being-circulated-at-school-my-heart-skipped-a-beat.html (obiskano: 3. 2. 2025). Vokinger, K. N., Feuerriegel, S., Kesselheim, A. S. (2021) Mitigating bias in machine learning for medicine, Commun Med, 25(1), strani 1–3, dostopno na: https://doi.org/10.1038/s43856-021-00028-w. Wachter, S., Mittelstadt, B., Russell, C. (2020) Why Fairness Cannot Be Automated: Bridging the Gap Between EU Non-Discrimination Law and AI. Computer Law & Security Review, 41, strani 1–31. Zhang, D., Finckenberg-Broman, P., Hoang, T., Pan, S., Zhenchang, X., Mark, S., Xiwei, X. (2024) Right to be forgotten in the Era of large language models: implications, challenges, and solutions, AI Ethics (Springer), strani 1–10, https://doi.org/10.1007/s43681-024-00573-9. Zimmermann, A., Karapetyan, M., Banse, J. (2024) The EU AI Act: What Employers Should Know, dostopno na: https://www.orrick.com/en/Insights/2024/09/The-EU-AI-Act-What-Employers-Should-Know (obiskano: 3. 2. 2025). Extended abstract The chapter examines and critically analyses the operation and use of artificial intelligence systems from the perspective of constitutional law violations. Artificial intelligence systems are permitted to reproduce copyrighted works to which they have lawful access based on text and data mining. However, authors have the option to prohibit text and data mining of such works, placing the initiative and responsibility on them to prevent artificial intelligence systems from accessing their copyrighted materials. In addition to copyright infringements during the development, training, and operation of artificial intelligence systems, copyright protection may also be at risk in the final output or specific products generated by artificial intelligence. This is particularly evident in generative AI models, which often fail to cite the sources used or even fabricate them. Information privacy, which ensures the protection of personal data, is subject to numerous risks in the operation and use of artificial intelligence systems, particularly in relation to compliance with the General Data Protection Regulation. Key concerns include whether an artificial intelligence system provider should be classified as a data K. Zahrastnik: Ustavnopravne kršitve delovanja in uporabe umetnointeligenčnih sistemov 163, processor under the General Data Protection Regulation, whether the legal consequences of transferring personal data to third countries should be considered when using artificial intelligence systems operated by providers based in third countries, and whether artificial intelligence systems can effectively respect and implement the “right to erasure” or the “right to be forgotten.” The causes of bias in artificial intelligence systems can be identified in data bias, algorithmic bias, and cognitive bias. Artificial intelligence bias can be mitigated by designing and ensuring fair and accurate artificial intelligence operations. Striking the right balance between accuracy and fairness—without resulting in discrimination against individuals or groups—will be of critical importance. The Artificial Intelligence Act is particularly relevant to the right to work, as it defines high-risk artificial intelligence systems as those used for recruitment or selection of individuals, targeted job advertisements, analysis and filtering of job applications, candidate evaluations, decisions affecting terms of work-related relationships, promotions, or termination of work-related contractual relationships, task allocation based on individual behaviour or personality traits, and monitoring and evaluating employee performance and behaviour. False information generated by artificial intelligence systems may impair freedom of expression, particularly the right to receive information. The production and dissemination of false information primarily result from inaccurate input data or biased training datasets, as well as artificial intelligence hallucinations, where artificial intelligence systems even fabricate legal rules and judicial decisions. The use of artificial intelligence systems to generate offensive or intimate content may constitute an unlawful infringement of the right to personal dignity, the right to privacy, and personality rights under Article 35 of the Constitution of the Republic of Slovenia— especially when such content is publicly displayed. This often leads to a collision between freedom of expression and the aforementioned rights. Slovenian national law and EU law together form a legal framework that provides individuals with adequate protection of their rights concerning copyright, personal data, equality before the law, freedom of work, freedom of expression, the right to personal dignity and security, as well as privacy and personality rights. Only through a respectful approach to fundamental human rights can artificial intelligence systems be developed safely and in accordance with constitutional law. However, considering the trends in technological investment and development, it is evident that extensive regulation of artificial intelligence systems in the EU may, regrettably, have a deterrent effect. 164 OD ALGORITMA DO PRAVA. I DOI ZBRANI VIDIKI UPORABE UMETNE https://doi.org/ 10.18690/um.pf.11.2025.7 INTELIGENCE V SODNIH POSTOPKIH ISBN 978-961-299-086-2 MATEJ MAKOTER ROŽMARIN, DENIS BAGHRIZABEHI Univerza v Mariboru, Pravna fakulteta, Maribor, Slovenija matej.rozmarin@um.si, denis.baghrizabehi@um.si Poglavje obravnava možnosti uporabe sistemov umetne Ključne besede: umetna inteligenca, inteligence v sodnih postopkih. Uporaba sistemov umetne klepetalni robot, inteligence prinaša prednosti, predvsem glede na načelo pravica do enakega varstva ekonomičnosti postopkov. Po drugi strani uporabo takšnih pravic, načelo kontradiktornosti, sistemov spremljajo pomanjkljivosti logično-izkustvena presoja, in slabosti, ki se odražajo pravica do človeškega predvsem kot ovire pri doslednem zagotavljanju načela enakega sodnika varstva pravic in pravice do sodnega varstva. Avtorja obravnavata omenjene slabosti in pomanjkljivosti, pri čemer se ne omejujeta zgolj na obstoječe sisteme umetne inteligence v sodnih postopkih, ampak poskušata oblikovati splošne zaključke, ki temeljijo na omejitvah, ki izhajajo iz same zasnove tehnologije velikih jezikovnih modelov. Pravna analiza problema upošteva nacionalni in mednarodni (pravo EU in EKČP) pravni okvir relevantnih načel. Poglavje vključuje razpravo o obstoju pravice do človeškega sodnika, ki na načelni ravni izključuje uporabo sistemov umetne inteligence v svojstvu odločevalca. DOI SELECTED ASPECTS https://doi.org/ 10.18690/um.pf.11.2025.7 ISBN EGARDING THE SE R U 978-961-299-086-2 OF ARTIFICIAL INTELIGENCE IN COURT PROCEEDINGS MATEJ MAKOTER ROŽMARIN, DENIS BAGHRIZABEHI University of Maribor, Faculty of Law, Maribor, Slovenia matej.rozmarin@um.si, denis.baghrizabehi@um.si Keywords: This chapter examines the possibilities of using artificial srtificial intelligence, intelligence systems in judicial proceedings. The use of artificial chatbot, right to equal protection of intelligence systems brings with it advantages, especially in terms rights, of the principle of the efficiency of proceedings. On the other the adversarial proceedings principle, hand, the use of such systems is accompanied by disadvantages logical-empirical reasoning, right to a human judge and shortcomings, which are mainly reflected as obstacles to the guarantees stemming from the principle of equal protection of rights and the right to judicial protection. The authors address these disadvantages and shortcomings, not limiting themselves to existing artificial intelligence systems in judicial proceedings, but attempting to draw general conclusions based on the limitations inherent in the very design of large language model technology. The legal analysis of the problem takes into account the national and international (EU law and ECHR) legal framework of the relevant principles. The chapter includes a discussion on the existence of a right to a human judge, which excludes, at a principle level, the use of AI systems in the capacity of a decision-maker. M. Makoter Rožmarin, D. Baghrizabehi: Izbrani vidiki uporabe umetne inteligence 167, v sodnih postopkih 1 Uvod Odkar je OpenAI v letu 2022 javnosti omogočil brezplačno uporabo velikega jezikovnega modela »ChatGPT«, se zdi, da umetna inteligenca pronica v vse pore družbenega življenja in vpliva na sicer ustaljena pravila družbenih (pod)sistemov. To velja tudi za pravosodje, kjer se postopno uvajajo umetnointeligenčna orodja s ciljem izboljšanja učinkovitosti pravosodja. Avtorja se v tej luči podrobneje ukvarjava z izbranimi vidiki uporabe sistemov umetne inteligence v sodnih postopkih in tveganjih, ki jih prinaša uporaba sistemov umetne inteligence v sodnih postopkih. Sistem umetne inteligence v sodnem postopku namreč predstavlja novo dimenzijo in sivo območje, kateremu pravna regulacija ne uspe dosledno slediti. To poglavje za uvodom v drugem razdelku najprej obravnava način delovanja sistemov umetne inteligence, in sicer z vidika klepetalnih robotov, in izpostavlja pomanjkljivosti oziroma meje uporabe sistema umetne inteligence v sodnih postopkih glede tega, kaj sploh klepetalni robot zmore in kje lahko ima težave oziroma kje so njegove pomanjkljivosti. V tretjem razdelku sledi analiza različnih načinov uporabe sistemov umetne inteligence v sodnih postopkih s predstavitvijo koncepta, ki ga je ubralo slovensko pravosodje glede vpeljave sistemov umetne inteligence v sodne postopke. V četrtem razdelku je obravnavan sistem umetne inteligence in ocena, ali bi bila uporaba umetne inteligence v slovenskem pravnem redu sploh skladna z vidika pravice do enakega varstva pravic, še posebej z vidika načela kontradiktornosti ter v luči pravice do človeškega sodnika. Kot ključno (daljnosežno) je v petem razdelku zastavljeno vprašanje, ali lahko umetna inteligenca, ki odloča v sporu med strankama, zagotavlja enake standarde pravnega varstva kot takrat, ko v vlogi sodnika nastopa človek. 2 Način delovanja umetne inteligence – klepetalnega robota, kje so meje in pasti njene uporabe Za začetek velja najprej pojasniti delovanje umetne inteligence, tj. kakšne so njene sposobnosti in kako oblikuje svoje odgovore ter iz česa črpa informacije, na podlagi katerih podaja odgovore. Kot je že bilo uvodoma pojasnjeno, se to poglavje v monografiji osredotoča predvsem na velike jezikovne modele oziroma klepetalne robote kot eno izmed različic. Zato je pojasnjen način delovanja velikih jezikovnih modelov (ang. Large Language Models, v nadaljevanju: LLM), saj ni nujno, da vsa 168 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . umetna inteligenca deluje na enak način. Interakcija z velikim jezikovnim modelom se lahko zagotavlja preko t. i. klepetalnih robotov. Zgolj v namen lažje predstave lahko kot primer klepetalnega robota navedemo »ChatGpt«. Pri slednjem gre za sistem umetne inteligence, ki ga je razvilo podjetje OpenAI, prvotno kot brezplačen model umetne inteligence, namenjen uporabi širše javnosti. Za splošno uporabo je bil izdan 30. novembra leta 2022. Priljubljenost tega klepetalnega robota izkazuje dejstvo, da je v prvih dveh mesecih po začetku delovanja dosegel 100 milijonov mesečnih aktivnih uporabnikov, s čimer gre za najhitreje rastočo potrošniško aplikacijo v zgodovini.1 Od takrat se je model izboljšal (doživel več novih različic). Če bi primerjali odgovore, ki jih je podajal v letu 2022, in odgovore, ki jih podaja v letu 2025, bil lahko ugotovili, da so slednji doslednejši in konkretnejši. V najnovejši različici ChatGPT-5.1 se nadaljuje trend eksponentnih izboljšav iz predhodne različice ChatGPT-4.0, in sicer zmožnost sledenja namenu uporabnika, manjša verjetnost ustvarjanja žaljivih ali nevarnih rezultatov, večja točnost dejstev, boljša vodljivost in s tem zmožnost spreminjanja obnašanja glede na zahteve uporabnika ter najnovejša funkcija – povezljivost z internetom, ki vključuje možnost iskanja po internetu v realnem.2 LLM sistemi umetne inteligence temeljijo na arhitekturi globoke nevronske mreže, ki je sestavljena iz več plasti transformatorjev. Te so zasnovane za obdelavo zaporednih podatkov, kot je besedilo v naravnem jeziku, in lahko ustvarjajo koherentne in podobne rezultate, kot bi jih ustvaril človek. Za usposabljanje klepetalnega robota se v model vnese velik korpus besedilnih podatkov, ki modelu omogoča učenje vzorcev in odnosov med besedami, frazami in stavki. Postopek usposabljanja je ponavljajoč, model pa se izboljšuje, ko je izpostavljen več podatkom. Večji nabor podatkov namreč omogoča, da model zajame kompleksnost in različne odtenke jezika človeka. Veliki jezikovni model je tako sposoben opravljati široko paleto jezikovnih nalog in to z veliko natančnostjo in stilom.3 Pri ustvarjanju besedila z umetno inteligenco ima ključno vlogo globoko učenje. Modeli globokega učenja se z učenjem na velikih količinah podatkov naučijo jezikovnih vzorcev in pravilnosti ter lahko ustvarijo realistična in skladna besedila.4 1 Hu, 2023. 2 Marr, 2023. 3 Ozdemir, 2023, stran 827. 4 Kelleher, 2019, strani 1–3. M. Makoter Rožmarin, D. Baghrizabehi: Izbrani vidiki uporabe umetne inteligence 169, v sodnih postopkih Poleg že omenjenega globokega učenja klepetalni robot podaja odgovore na podlagi statističnega predvidevanja in sicer na podlagi vzorcev v jeziku, v katerem je bil treniran. Iz tega izhaja, da odgovori temeljijo na podlagi verjetnosti. V luči načina delovanja klepetalnega robota se tako poraja vprašanje, ali nas umetna inteligenca, tj. klepetalni robot, razume in ali gre za pravo, pristno interakcijo, ko torej z nami komunicira na način, kot bi komunicirali s človekom, v smislu, da so njegovo vedenje in odgovori posledica razumevanja človeka, človeških besed in našega namena, ter tako na podlagi tega opravi ustrezen odziv oziroma poda ustrezen odgovor. Klepetalni robot poda najverjetnejši odgovor na besedilni vhod (»prompt«) (npr. vprašanja, navodila), ki je vanj vnesen. Vendar pa odgovarjanje klepetalnega robota na podlagi verjetnosti ni ugibanje, kot to dela človek, temveč je rezultat kompleksnih algoritmov. Gre torej za kombinatoriko učenih vzorcev in verjetnosti in ne za intuitivno ali empatično razmišljanje, saj pri njegovem delovanju ne gre za človeško razmišljanje, ampak zgolj za obdelavo besedila na podlagi naučenih vzorcev. Razumevanje čustev in empatično odzivanje nanje predstavljata večji izziv, saj empatija kot globoko niansirana in večplastna človeška izkušnja ne zahteva le jezikovnega znanja, temveč tudi globoko razumevanje človeške psihologije, čustev in družbenega konteksta. Empatija je temeljni vidik človeške interakcije in jo lahko opredelimo kot sposobnost razumevanja in deljenja čustev druge osebe.5 Poudariti velja še, da (vsaj za zdaj) klepetalni robot ni sposoben semantičnega razumevanja. Za to je namreč pomembno vedeti, ali odziv sistema umetne inteligence odraža občutljivost za pomen besedila, ki ga ustvarja. Bistveno je vprašanje, ali je odgovor umetne inteligence produkt razumevanja pomenov besed in besednih zvez ali pa gre zgolj za ustvarjanje besedila, ki je videti smiselno. Pri semantičnem razumevanju ne gre samo za golo in prazno razmišljanje. Nasprotnomiselni proces in dejanja kot kognitivni dejavniki odražajo razumevanje sveta okoli nas in prizadevanje za smiselno interakcijo s tem svetom.6 V strokovni literaturi so izpostavljene pomanjkljivosti klepetalnih robotov, ki temeljijo na LLM modelu. LLM modelom primanjkuje zdravorazumskega znanja. Kljub temu, da lahko LLM ustvarijo zelo koherentne in verjetne odgovore na najrazličnejša gesla in besedilne vhode (ang. prompt-e), pogosto ne premorejo sposobnosti razumevanja širšega konteksta pogovora ali posledic njegovih izjav, kar 5 Montemayor et. al, 2022, strani 1353–1359. 6 Miracchi Titus, 2024, strani 1–12. 170 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . lahko privede do napak ali nedoslednosti v podanih rezultatih, zlasti pri obravnavi stvarnih ali logičnih vprašanj. Strokovna literatura prav tako opozarja, da imajo LLM modeli lahko t. i. halucinacije, tj. izmišljanje informacij, ki niso podprte z dokazi ali resničnostjo. Razlog za haluciniranje naj bi tičal v tem, da se LLM modeli pri ustvarjanju besedila zanašajo na že omenjene statistične vzorce in verjetnosti (statistično predvidevanje), namesto da bi preverjali resničnost ali točnost svojih rezultatov. To tako predstavlja tveganje za uporabnike, ki bi se preveč zanašali na programe LLM kot vire informacij ali smernic.7 V tej zvezi lahko izpostaviva primer, ko uporabnik išče ustrezno strokovno literaturo preko modelov LLM, ki mu nato posreduje seznam literature, pri čemer na primer poda na videz povsem verodostojne naslove v zvezi s postavljenim vprašanjem oziroma podanim geslom, a se kasneje ugotovi, da znanstvena publikacija s tem naslovom v resnici sploh ne obstaja. Pri LLM modelih je bilo nadalje ugotovljeno, da so omejeni s kontekstualnim oknom, kar pomeni, da se uporabniki lahko s programi LLM pogovarjajo z razmeroma omejenim številom besed. Ko je določena meja besed presežena, začne model pozabljati na kontekst, kar lahko vpliva na skladnost ali doslednost odgovorov modela pri dlje trajajočih oziroma obsežnejših nalogah.8 Pri uporabi LLM se prav tako pojavljajo pomisleki glede varovanja zasebnosti. Uporabniki morajo biti posebej pozorni, da ne vnašajo občutljivih informacij (kot so npr. osebni podatki), ali morebitnih lastnih zamisli, idej, zapisov, zasnov člankov, ki še niso objavljeni. V tem primeru lahko (če seveda ne gre za klepetalne robote z lokalnimi serverji, tj. lokalno obdelavo podatkov) potencialno do njih dostopajo uporabniki z vsega sveta, s čimer zato obstaja mnogo večja verjetnost, da bi prišlo do zlorabe le teh. Klepetalni robot je naučen na veliki količini podatkov, pri čemer lahko slednji vsebujejo tudi informacije, zaščitene z avtorskimi pravicami, kar lahko privede do sporov o kršitvah, saj se klepetalni robot, v kolikor mu to ni izrecno naloženo, ne sklicuje na reference, hkrati pa lahko navaja napačne reference oziroma navaja že obravnavane halucinacije. 7 Briganti, 2024, strani 1565–1569. 8 Ratner et. al., 2023, stran 6383. M. Makoter Rožmarin, D. Baghrizabehi: Izbrani vidiki uporabe umetne inteligence 171, v sodnih postopkih Obstajajo tudi resni pomisleki v zvezi s sposobnostjo klepetalnih robotov glede moralnega presojanja oziroma njihove sposobnosti opravljanja moralnovrednostne sodbe. Klepetalni roboti, ki temeljijo na LLM, še ne dosegajo sposobnosti moralnega sklepanja na ravni, kot to počne človek. LLM modeli so namreč posebej učinkoviti pri prenosu obstoječih informacij in podajanju odgovorov na podlagi verjetnosti in statističnega predvidevanja in obdelavi podatkov ter prenašanju znanja na podlagi naučenih vzorcev. Hkrati klepetalni robot na podlagi besedilnih gesel (promptov) zlahka podaja moralne nasvete, čeprav nima trdnega moralnega stališča. Klepetalni robot namreč lahko daje popolnoma nasprotne moralne nasvete glede istega moralnega vprašanja. Kljub temu nasveti klepetalnih robotov vplivajo na moralno presojo uporabnikov. Pri tem pa tudi uporabniki velikokrat podcenjujejo vpliv klepetalnih robotov in njihova naključna moralna stališča nemalokrat sprejemajo za svoja.9 Klepetalni roboti imajo sposobnost sprožiti odzive, ki izzovejo uporabnikova moralna prepričanja ter spodbujajo etično samorefleksijo. Sistem umetne inteligence lahko tako vpliva na vrednote uporabnikov, saj s svojimi odzivi spodbuja, da se uporabnik sprašuje o lastnih etičnih normah, moralnih stališčih ter jih ponovno ovrednoti. Klepetalni robot se lahko na primer uporablja za ustvarjanje odgovorov na zapletena etična vprašanja, kot so tista, povezana z družbeno pravičnostjo. Njegov algoritem lahko zagotovi vpoglede in perspektive, ki izpodbijajo vnaprej sprejete predstave. Poleg tega lahko sistem umetne inteligence spreminja vrednostne predstave tudi s spodbujanjem spornih vrednot. Sistem umetne inteligence lahko na primer ustvari odzive, ki spodbujajo nestrpnost ali diskriminacijo. Ti odzivi pa lahko normalizirajo negativna stališča in odklonska vedenja ter posledično škodujejo posameznikom ali skupinam, zoper katere so usmerjeni. Spremembe in motnje, ki jih lahko prinaša sistem umetne inteligence, imajo tako lahko pomembne posledice za družbo. Ena od možnosti je tudi oblikovanje novih kulturnih norm in vrednot. Pri tem pa, kot je bilo že omenjeno, odzivi klepetalnih robotov po večini temeljijo na statističnih vzorcih oziroma podatkih, na podlagi katerih je bila umetna inteligenca naučena. Ti podatki pa so lahko pristranski ali nepopolni. Posledice te pristranskosti so lahko velike. Ker so klepetalni roboti, ki temeljijo na LLM, vse bolj vključeni v vsakdanjik uporabnikov, bi lahko njihova inherentna pristranskost premogla pomemben vpliv pri oblikovanju javnega mnenja, diskurza. Pristranskost 9 Krügel et. al., 2023, stran 3. 172 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . klepetalnih robotov bi subtilno spodbujala moralne vrednote, na katerih temeljijo sami klepetalni roboti, s čimer bi ti lahko vplivali na procese odločanja posameznikov. To bi lahko privedlo do homogenizacije moralnih perspektiv.10 Obravnavan vidik je še posebej sporen, če bi se klepetalni robot uporabil pri odločanju v sodnih postopkih. Obenem je treba poudariti, da moralne vrednote niso univerzalne, temveč so odvisne od številnih dejavnikov, med drugim tudi od jezika in kulture. Klepetalni robot lahko izvaja etično in moralno sklepanje v različnih jezikih, kar poraja vprašanje, ali se etično in moralno sklepanje razlikuje od jezika do jezika. Ugotovljeno je bilo, da imajo modeli LLM pri nekaterih jezikih, zlasti angleščini, boljše sposobnosti etičnega in moralnega sklepanja, medtem ko se pri jezikih z manj viri zaradi pomanjkanja podatkov vsi modeli ne izkažejo dobro.11 Glede na navedeno je mogoče problematizirati tudi uporabo klepetalnih robotov v sodnem postopku, ki poteka v slovenskem jeziku, kjer je zagotovo neprimerljivo manjša pluralnost virov kot pri angleškem jeziku. Ob tem je bilo ugotovljeno, da imajo LLM od konteksta odvisne vrednote in osebnostne lastnosti, ki se lahko torej razlikujejo glede na različne perspektive. Osebnostne lastnosti klepetalnega robota je treba razumeti v smislu tega, da se klepetalni robot pretvarja, da je oseba. Obravnavano je sicer v neposrednem nasprotju s človekom, ki običajno dosledneje ohranja vrednote in osebnostne lastnosti v različnih kontekstih in okoliščinah.12 Ključna pomanjkljivost klepetalnega robota je tudi nepreglednost postopka odločanja, saj uporabniku načeloma ni omogočeno, da bi lahko razbral, kako je klepetalni robot sploh prišel do odgovora, ki ga je podal, tj. prikritost delovanja algoritmov odločanja. Kot je bilo predstavljeno, klepetalni roboti nimajo stabilnih programskih kod. Strojno učenje, globoko učenje in nevronske mreže pomenijo avtonomne in iterativne spremembe programske opreme, pri čemer so programske kode zavarovane tudi s poslovno skrivnostjo, zaradi česar je preverjanje algoritmov izredno težko ali celo nemogoče.13 10 Esmaeilzadeh, 2023, strani 300–302. 11 Kalluri, 2023, stran 9. 12 Kovač et. al., 2024, stran 16. 13 Contini, 2020, stran 15. M. Makoter Rožmarin, D. Baghrizabehi: Izbrani vidiki uporabe umetne inteligence 173, v sodnih postopkih Uporabniki so tako lahko priča zgolj vhodom (input-om) in izhodom (output-om) iz teh zapletenih procesov klepetalnih robotov, ne pa tudi njihovemu notranjemu delovanju. Kako sistem umetne inteligence pride do zaključka, še vedno ostaja nepregledno ali skrito. Če torej ne razumemo, kako sistem umetne inteligence pride do svojih zaključkov, pa se poraja vprašanje, v kolikšni meri lahko tem sistemom zaupamo. Vprašanje zaupanja postaja vse bolj pereče, saj vse več odločanja prenašamo na umetno inteligenco in se nanjo vse bolj zanašamo pri varovanju pomembnih človeških dobrin, kot so varnost, zaščita, ter navsezadnje – ob poskusih, da bi v sporu kot sodnik odločala umetna inteligenca – tudi pravno varstvo. V luči obravnavanega velja dodati, da je treba sistem umetne inteligence na sodiščih ločiti od že dlje časa uveljavljene informacijsko-komunikacijske tehnologije (IKT), ki pa se tudi na slovenskih sodiščih uporablja že dlje časa. V primeru sistema umetne inteligence gre namreč za orodje, ki bo lahko izboljšalo delovanje sodišča, a gre za povsem novo tehnologijo, ki nima mnogo skupnega z IKT oziroma drugimi digitalnimi tehnologijami, ki jih sodišča uporabljajo že več let. Tradicionalne IKT tehnologije zajemajo različne aplikacije, vključno s tistimi za vodenje zadev (ang. case management), elektronsko vložitev in vročanje, platforme e-pravosodja, video tehnologije, pravne zbirke podatkov, kadrovske in računovodske sisteme itd.14 3 Načini uporabe umetne inteligence v sodnih postopkih 3.1 Umetna inteligenca na sodišču in umetna inteligenca kot sodišče Na kakšen način naj se uporaba sistemov umetne inteligence vpelje v sodne postopke, je bilo predmet številnih razprav. Ob tem je ključna ločitev, na kakšen način se sploh lahko sistem umetne inteligence uporablja na sodiščih. Tako se je izoblikovalo stališče, da v grobem obstajata dva različna načina uporabe sistema umetne inteligence na sodiščih, ki pa se med seboj razlikujeta v tem, v kakšni vlogi nastopa sistem umetne inteligence: ali nastopa v vlogi podpornega sistema za sodnika (»AI in the court«) ali pa v vlogi sodišča (»AI as the court«), da torej odloča v sporih in ne zgolj, da pomaga pri delu sodišča. Pri tem je meja med obema omenjenima režimoma uporabe sistema umetne inteligence na sodišču zamegljena. 14 Prav tam, stran 5. V slovenskem pravosodnem sistemu velja izpostaviti v okviru teh tradicionalnih IKT tehnologij, ki se že uporabljajo na sodiščih, predvsem portal e-sodstvo in v pod njegovim okriljem podportal e-izvršba, spletni sistem sodne prakse ipd. 174 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Umetna inteligenca na sodišču ali »AI in the Court« se nanaša na sisteme umetne inteligence, ki podpirajo sodnike pri opravljanju njihove sodniške funkcije. Sodnikom pomagajo na primer pri iskanju, organizaciji in izbiri ustrezne sodne prakse, odkrivanju vzorcev v sodni praksi, pripravi povzetkov pričevanj na sodišču ali drugih sodnih pisanj, pomagajo pri ugotovitvi argumentov, ki jih predložijo stranke ali pri oblikovanju argumentov, ki se potem uporabijo v sodni odločbi.15 Umetna inteligenca je lahko v tem smislu uporabna tudi za urejanje informacij ali pa prepoznavanje vzorcev v besedilnih dokumentih in datotekah, kar je lahko še posebej koristno, na primer, pri razvrščanju velikih količin podatkov pri zapletenih primerih.16 Sistem umetne inteligence lahko prav tako svetuje sodniku, kateri pravni predpisi se v konkretnem primeru lahko uporabijo, kakšne so možne rešitve ipd. Prav tako lahko sistemi umetne inteligence služijo kot učinkovito orodje za iskanje ustrezne strokovne literature in s tem olajšajo delo sodniku ter predvsem prihranijo čas. Kot evidentni primer umetne inteligence na sodišču (»AI in the Court«) lahko služi slovenski Tapko. Kadar pa sistem umetne inteligence nastopa v vlogi sodišča, govorimo o sistemu umetne inteligence kot o sodišču »AI as the Court«. Gre torej za primere, ko bo umetna inteligenca sprejela (vmesno ali končno) zavezujočo sodno odločitev brez človeške intervencije. Treba je poudariti, da je meja med obravnavanima oblikama uporabe umetne inteligence na sodišču zamegljena. Kadar sistem umetne inteligence nastopa kot pomoč oziroma podpora sodniku, obstaja nevarnost, da se bodo sodniki pričeli preveč zanašati na sistem umetne inteligence in tako le v redkih primerih odstopali od predlogov, ki jim jih bo ponujala, tj. od poiskane in predlagane sodne prakse, strokovne literature, predlaganih argumentov umetne inteligence, predloženih povzetkov itd. To bo pomenilo, da bo končne odločitve dejansko sprejel sistem umetne inteligence. Sodniki bodo tako postali zgolj »orodje«, ki se bo podpisalo pod te odločitve umetne inteligence. De iure bo torej resda sodnik tisti, ki bo sprejel končno odločitev o rešitvi spora, a bo de facto v sporu v pomembnem delu (četudi posredno) odločila umetna inteligenca. Obstaja torej nevarnost, da se bo sistem umetne inteligence na sodišču (AI in the Court) prelevil v umetno inteligenco kot sodišče (AI as the Court). 15 Themeli in Philipsen, 2021, strani 213–214. 16 Reiling, 2020, stran 3. M. Makoter Rožmarin, D. Baghrizabehi: Izbrani vidiki uporabe umetne inteligence 175, v sodnih postopkih Primer, ki lahko služi kot prikaz izpostavljene problematike, ko se sodišče preveč naslanja na umetno inteligenco, izhaja iz Združenega Kraljestva. Šlo je za zadevo v preživninskih sporih, v katerih je razmeroma preprosta informacijska tehnologija določala finančno sposobnost (nekdanjih) zakoncev. Stranki sta v postopku najprej izpolnili obrazec PDF, informacijski sistem pa je nato izračunal njune finančne sposobnosti. Kljub preprostosti tehnologije je bilo zaradi majhne napake, ki je dolgo časa nihče ni opazil, med aprilom 2011 in januarjem 2012 ter med aprilom 2014 in decembrom 2015 opravljenih kar 3638 nepravilnih izračunov vrednosti premoženja nekdanjih zakoncev. Namesto da bi se dolgovi od vrednosti premoženja odbili, so se premoženju vštevali, zato je bilo upoštevano in izračunano premoženje previsoko. V primerih, ki so bili še v postopku odločanja, je bilo to seveda še mogoče popraviti, kljub temu pa je bilo pred ugotovitvijo nepravilnosti izdanih kar 2200 napačnih odločb.17 Primer nakazuje, kako pomembno je, da je ob uporabi umetne inteligence vzpostavljen ustrezen nadzor na njenim delovanjem in zanesljivostjo, saj gre na sodišču vendarle za odločanje o pravicah in obveznostih strank. Številni si od uporabe sistemov umetne inteligence na sodiščih obetajo veliko, od skrajšanja časa trajanja postopkov, hitrejšega odločanja, cenejših postopkih pa vse do izboljšanja splošnega dostopa do pravnega varstva. Pri tem se odpirajo številne dileme. Kljub vsemu navedenemu in številnim pomislekom bo verjetno potrebno sprejeti dejstvo, da prihaja doba umetne inteligence, ter pričeti z dejavnim spodbujanjem preoblikovanja in nadgradnje vloge in funkcije sodnikov z namenom, da bi se lahko čim uspešnejše odzvali na nove zahteve po umestitvi vloge sodnikov v dobi umetne inteligence in digitalizacije. Raziskovalni problem tega poglavja v monografiji se omejuje na to, ali bo umetna inteligenca na sodiščih uspela slediti in dosegati standarde pravnega varstva, ki jih zagotavlja človek, ko nastopa v vlogi sodnika, in ali lahko uporaba sistemov umetne inteligence na sodiščih morebiti celo nasprotuje temeljnim človekovim pravicam (za potrebe tega poglavja je analiza namenjena predvsem vidiku pravice do enakega varstva pravic). Tveganje uporabe sistema umetne inteligence na sodišču ni zgolj hipotetično. Že akt, ki ga je pripravila Komisija Sveta Evrope za učinkovitost pravosodja (CEPES), tj. Etična listina o uporabi umetne inteligence v pravosodnih sistemih in njihovem 17 Contini in Lanzara, 2018, strani 44–45. M. Makoter Rožmarin, D. Baghrizabehi: Izbrani vidiki uporabe umetne inteligence 177, v sodnih postopkih 176 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . okolju18 (Etična listina) v uvodu navaja, da je treba umetno inteligenco uporabljati odgovorno in ob ustreznem upoštevanju temeljnih pravic posameznikov, določenih v Evropski konvenciji o varstvu človekovih pravic in temeljnih svoboščin19 (EKČP) in Konvenciji o varstvu posameznikov glede na avtomatsko obdelavo osebnih podatkov.20 Prav tako Etična listina navaja še etična načela, ki naj jih vpeljava uporabe umetne inteligence v pravosodju upošteva, in sicer načelo spoštovanja temeljnih pravic, načelo nediskriminacije, načelo kakovosti in varnosti, načelo preglednosti, nepristranskosti in pravičnosti ter načelo »pod nadzorom uporabnika.« Etična listina je sicer pravno nezavezujoč akt, ki pa ima kljub temu močan političen vpliv, s čimer lahko postavlja smernice za pravično in etično uporabo umetne inteligence v sodnih postopkih. Umetna inteligenca je lahko na sodišču sicer uporabna na različne načine in za izpolnjevanje različnih nalog. V literaturi je mogoče zaslediti, da naj bi bilo sojenje, ki ga opravlja umetna inteligenca, pravičnejše, poleg tega pa se sistem umetne inteligence za razliko od človeških sodnikov ne utrudi in njegovo delovanje ni odvisno od bioloških spremenljivk, na primer od ravni krvnega sladkorja v telesu.21 V isto kategorijo lahko uvrstimo tudi odločanje sodnikov po odmoru za hrano ali na samem začetku delovnega dne, saj je v delovnem dnevu sodnika takrat verjetnost ugodilne sodbe večja. To je sicer v skladu z raziskavami, ki so pokazale pozitivne učinke kratkega počitka, pozitivnega razpoloženja in ravni glukoze na človeško telo. Ugotovitve in rezultati preteklih raziskav podpirajo stališče, da lahko pravno nepomembne situacijske determinante (npr. odmor za malico) privedejo do tega, da sodnik v bistveno enakih primerih razsodi drugače.22 V obravnavanih primerih gre seveda za okoliščine in dejavnike, ki so povezani s človekom in njegovimi psihofizičnimi potrebami oziroma hierarhijo človeških potreb, ki jo je oblikoval Abraham Maslow. Iz hierarhije potreb izhaja, da so fiziološke potrebe pred potrebami po varnosti, potrebe po varnosti pred potrebami po pripadnosti, potrebe po pripadnosti pred potrebami po spoštovanju in na koncu v hierarhiji sledi še samoaktualizacija. Kadar posameznik nečesa nima dovolj, ima primanjkljaj, kar na koncu ustvari potrebe. Ko posamezniki na primer jedo in pijejo, je potreba po vodi 18 Sprejeta na 31 plenarni seji CEPEJ, Strasbourg, 3. in 4. december 2018, https://rm.coe.int/ethical-charter-en-for- publication-4-december-2018/16808f699c. 19 Uradni list RS–MP, št. 33/94. 20 Uradni list RS–MP, št. 11/94 in Uradni list RS, št. 86/04 – ZVOP-1. 21 Reiling, 2020, stran 3. 22 Danziger et. al., 2011, strani 6890–6892. in hrani zadovoljena, zato ni več motivacijskega dejavnika za pridobivanje vode ali hrane, fiziološke potrebe pa so začasno zadovoljene. Deficitne potrebe sestavljajo štiri spodnje sestavine Maslowove hierarhične piramide.23 Ključni rezultat piramide potreb je ugotovitev, da v kolikor katera izmed hierarhično nižjih potreb ni zadovoljena, se posameznik le s težavo premika po piramidi potreb navzgor. V analiziranem gre za človeške potrebe, ki pa seveda odpadejo, ko v vlogi sodnika nastopa umetna inteligenca. Prav to bi bilo mogoče navesti kot ključno prednost umetne inteligence pri odločanju v sodnih postopkih, saj ni vezana na nobene potrebe. Prav tako je uporaba nekaterih oblik umetne inteligence v sodni praksi pokazala celo večjo natančnost pri predvidevanju odločitev sodišča od natančnosti napovedi človeških sodnikov. Tako je na primer algoritem, ki sta ga razvila Illinois Institute of Technology in University of South Texas, na podlagi podatkov sodne prakse vrhovnega sodišča od leta 1791 do leta 2015 napovedal odločitve in glasovanja sodnikov vrhovnega sodišča s 70,2 % oziroma 71,9 % natančnostjo, kar je preseglo 66 % natančnost napovedovanja človeških pravnikov.24 Človeški sodniki, ki so nekoč veljali za nenadomestljive z umetno inteligenco, se tako vse pogosteje soočajo z izzivom (napovedmi), da se bodo kmalu v luči vse naprednejše umetne inteligence prisiljeni odpovedati določenim pristojnostim ali celo samemu odločanju. Raziskave so nadalje pokazale, da je umetna inteligenca sposobna podati prepričljive argumente, v bistvenem podobne sodnikovim. Zaradi tega so nekateri strokovnjaki prepričani, da če lahko umetna inteligenca učinkovito piše sodbe in pri tem celo preseže človeške sodnike, je treba takšno umetno inteligenco, ki je zanesljivejša in stroškovno učinkovitejša od človeka, tudi obravnavati kot sodnika.25 Vendar pa ima tudi umetna inteligenca svoje omejitve. Pri algoritemskem odločanju namreč ni lahko doseči popolne objektivnosti in natančnosti, pri zapletenih in težkih zadevah pa umetna inteligenca morda lahko spodbuja formalno, težko pa doseže materialno pravičnost.26 23 Poston, 2009, stran 348. 24 Katz et. al., 2017, stran 8. 25 Volokh, 2019, stran 1135. 26 Xu, 2021, stran 3. 178 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . 3.2 Vpeljava umetnointeligenčnih sistemov v slovenskem pravosodju Ob popularizaciji uporabe umetne inteligence na sodiščih v smislu pospešitve postopka in tudi olajšanja dela sodnikom in drugim uslužbencem sodišča (strokovni sodelavci, sodni zapisnikarji ipd.) se je tudi slovensko pravosodje lotilo vpeljave sistemov umetne inteligence v sodne postopke. Tako velja omeniti predvsem dva največja projekta Vrhovnega sodišča Republike Slovenije: »Tipko« in »Tapko«. V primeru Tipka gre za programsko opremo, razvito z namenom prepoznave različnih vrst glasovnih datotek, na podlagi katerih naredi prepoznavo govora, razloči govor po posameznih govorcih, popravi besedišče, kolikor je to le mogoče, saj ima vgrajen tudi slovar in prepis besedila opremi še z ločili. V primeru Tipka gre za »speech to text« aplikacijo. Hkrati deluje na lokalnih serverjih oziroma z lokalno obdelavo podatkov, s čimer je omogočen strog nadzor nad podatki, ki niso namenjeni širši javnosti in ne smejo zapustiti sodišča. Podatki so tako tudi zaščiteni pred nepooblaščenimi vdori in dostopi. Tipko se je najprej začel uporabljati na ljubljanskem okrožnem sodišču.27 Tipko se je izkazal kot precej uspešen projekt. To potrjuje dejstvo, da se je precej skrajšal čas za prepis zvočnih posnetkov obravnav. Če je prej zapisnikar potreboval za prepis ene ure zvočnega posnetka obravnave okoli 4,4 ure dela, se je ta čas ob uporabi Tipka skrajšal, tj. za prepis ene ure zvočnega posnetka obravnave na 2,5 ure. Čas prepisa se je torej skoraj prepolovil, kar seveda ni nič nenavadnega, če Tipko sam popravi besedišče, besedilo opremi z ločili in ga še loči po posameznih govorcih.28 Seveda je bila uporaba Tipka ponekod manj uspešna in bi torej bilo to povprečje prepisa še nižje, če se ne bi v praksi pojavile težave, ki jih snovalci aplikacije niso mogli vnaprej predvideti, hkrati pa gre za okoliščine, moteče spremenljivke, ki jih je zelo težko popolnoma odpraviti. Med te je mogoče uvrstiti uporabo narečnega jezika na obravnavah. V Republiki Sloveniji naj bi sicer po nekaterih podatkih bilo kar 50 narečij,29 ki se med seboj pomembno razlikujejo. Ta okoliščina Tipku povzroča manjše težave. Tipko ima vgrajen slovar, ki je oblikovan na podlagi slovenskega 27 Huš, 2024. 28 Prav tam. 29 UKOM, 2021, https://www.gov.si/novice/2021-01-12-narecja-bogatijo-slovenski-jezik/ (obiskano: 10. 2. 2025). M. Makoter Rožmarin, D. Baghrizabehi: Izbrani vidiki uporabe umetne inteligence 179, v sodnih postopkih knjižnega jezika, zato mu prepisovanje posameznih narečij, ki se precej razlikujejo od slovenskega knjižnega jezika, pri prepisu zvočnega posnetka povzroča težave. Ob prepisu narečij sicer razdeli besedilo po govorcih in ga (kolikor se le da) opremi tudi z ločili, a besedilo je po prepisu še vedno treba preoblikovati v knjižni zborni jezik in slovnično pravilen zapis, zato je v teh primerih tudi za zapisnikarje potrebno nekoliko več časa. Hkrati sta bila kot problematična ocenjena tudi akustičnost določenih sodnih dvoran ter odmev, ki vplivata na samo kvaliteto zvočnih posnetkov, zaradi česar je zato tudi prepis slabši. Težave se prav tako pojavijo, ko na sodišču govori več oseb hkrati, kar se seveda pogosto dogaja, še posebej, če je razprava burna. Slednje lahko privede do večjih napak, predvsem, ko Tipko opravi prepis zgolj ene osebe, tj. če bi na posnetku govorilo več oseb hkrati, Tipko opravi prepis govora zgolj ene osebe. Hkrati se lahko zgodi, da neustrezno razdeli govor po posameznih osebah. Vsi obravnavani primeri tako pomembno vplivajo na povprečno dolžino trajanja prepisov posameznega zvočnega posnetka. Velja pa omeniti še, da se v primeru prepisa zgolj diktata sodnikov, kjer je torej prisoten zgolj eden govorec in gre za narekovani govor, čas prepisa v najboljšem primeru lahko skrajša celo na manj kot eno uro za eno uro diktata. Pri uporabi Tipka je pomemben tudi človeški vidik. Po vsakem prepisu mora namreč zapisnikar, kateremu je bil posamezen prepis preko lokalnega strežnika dodeljen, predmetni prepis še pregledati in ustrezno popraviti ter potrditi (odkljukati), da je opravil pregled, s čimer se torej zagotavlja tudi neke vrste osebna odgovornost posameznega zapisnikarja za pravilnost prepisa in vrši nadzor nad umetno inteligenco, ki še zaenkrat ni popolnoma zanesljiva. Zabeležen je bil primer, ko so se zapisnikarji in sodniki preveč lahkotno zanašali na Tipkove prepise in jih nekritično potrjevali. Navedena pomanjkljivost se je potem sicer sanirala s tem, da je v programu postalo točno razvidno, kateri sodni zapisnikar je bil pristojen za vsak posamezni spis in se ga je potem lahko opozorilo.30 Na tem mestu velja omeniti še drugi projekt z imenom Tapko. Gre prav tako za projekt Vrhovnega sodišča v razvojni fazi, a že v procesu testiranja. Gre za nekoliko drugačen koncept kot v primeru Tipka, saj Tapko ni namenjen prepisu zvočnih posnetkov, temveč gre za LLM aplikacijo, ki bi sodnikom pomagala pri izpolnjevanju formularjev (npr. vpisovala podatke v obrazec), pripravi povzetkov pričevanj z 30 Uredništvo VS RS, 2024, https://www.youtube.com/watch?v=n0ltM6Ailvs (obiskano: 13. 11. 2024), glej od 1:01:10 naprej. 180 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . namenom, da bi se sodniku prihrani čas, ki bi ga ta lahko namenil za druge stvari, kot je na primer odločanje v sporu. Poudarjeno je namreč bilo, da bi o rešitvi spora seveda še vedno odločal sodnik in ne umetna inteligenca. Pri Tapku se je upoštevalo tudi, da se mora učinek »black box« zmanjšati na minimum, da se pri povzemanju pričevanj ne bi izpustilo kakšnih pomembnih dejstev ali prišlo do izmišljenih dejstev (že omenjene halucinacije umetne inteligence). Kar se oblikovanja povzetkov tiče, se je Tapko usmeril v to, da ima sodnik pri pregledu povzetka pred sabo še vedno originalno, tj. primerjano besedilo, kar mu omogoča, da enostavno preveri, ali je bil povzetek pripravljen ustrezno in dosledno. Tudi v primeru Tapka gre za »promp based« aplikacijo. Ločene iniciative uvajanja sistemov umetne inteligence v pravosodni sistem se je lotilo tudi Vrhovno državno tožilstvo. Vrhovno državno tožilstvo je svoj projekt vpeljave umetne inteligence v postopke na državnem tožilstvu poimenovalo Virtualni pomočnik. Zamislilo si ga je kot podporni program, ki bi državnemu tožilcu pomagal pri analizi podatkov v okviru zahtevnejših in obsežnejših primerov, kot so gospodarski kriminal in organizirani kriminal. Hkrati naj bi Virtualni pomočnik še omogočal hitro preučevanje in primerjavo novih zadev z zaključenimi primeri ter predlagal smer reševanja primera.31 V tej smeri je bil tudi že opravljen strokovni dialog z gospodarskimi subjekti v zvezi s pripravo razpisne dokumentacije za izdelavo Virtualnega pomočnika, na katerem je Vrhovno državno tožilstvo izpostavilo nekatere pomembne pomisleke v zvezi z pripravo in uporabo Virtualnega pomočnika, kot so občutljivi osebni podatki oziroma osebni podatki posebne vrste, saj bi neupravičeno posedovanje le teh lahko imelo pomemben vpliv na potek postopka, ki še traja.32 Pri uporabi Tipka in Tapka se pojavljajo pomisleki predvsem v zvezi z določbo 8. točke Priloge III Uredbe (EU) 2024/1689 Evropskega parlamenta in Sveta z dne 13. junija 2024 o določitvi harmoniziranih pravil o umetni inteligenci in spremembi uredb (ES) št. 300/2008, (EU) št. 167/2013, (EU) št. 168/2013, (EU) 2018/858, (EU) 2018/1139 in (EU) 2019/2144 ter direktiv 2014/90/EU, (EU) 2016/797 in (EU) 2020/182833 (Akt o umetni inteligenci). Dotična določba Akta o umetni 31 Ministrstvo za pravosodje, https://www.gov.si/assets/ministrstva/MP/SIKP/Projekti-Nacrta-za-okrevanje-in- odpornost.pdf (obiskano: 23. 11. 2024). 32 Vrhovno državno tožilstvo, 2024, https://www.gov.si/assets/ministrstva/MP/VirtualniPomocnik/Skupni- zapisnik-strokovnega-dialoga-Virtualni-pomocnik-na-VDT_k.pdf (obiskano: 12. 11. 2024). 33 UL L 2024/1689, 12. 7. 2024. M. Makoter Rožmarin, D. Baghrizabehi: Izbrani vidiki uporabe umetne inteligence 181, v sodnih postopkih inteligenci namreč določa, da se za visokotvegane sisteme umetne inteligence iz drugega odstavka 6. člena Akta o umetni inteligenci štejejo tudi sistemi umetne inteligence, ki spadajo na področje pravosodja in demokratičnih procesov, natančneje sistemi umetne inteligence, ki naj bi jih uporabljal sodni organ ali naj bi se uporabljali v njegovem imenu za pomoč sodnemu organu pri raziskovanju in razlagi dejstev in prava ter pri uporabi prava za konkreten sklop dejstev ali ki naj bi se uporabljali na podoben način pri alternativnem reševanju sporov. Za visokotvegane sisteme po Aktu o umetni inteligenci namreč veljajo strožja pravila, kljub temu pa še vedno ostaja ključno vprašanje, ali bi se Tipko in Tapko sploh lahko obravnavala kot sistema umetne inteligence, ki sodnemu organu pomagata pri raziskovanju in razlagi dejstev. Omeniti velja, da v pravnem redu Republike Slovenije do zdaj še ni bila sprejeta posebna zakonodaja za uporabo sistemov umetne inteligence v sodnih postopkih (ali drugih sodnih dejavnostih). Problem predstavlja tudi pomanjkanje sodne prakse na tem področju. V obstoječih nacionalnih pravnih okvirih, ki predvidevajo sodno odločanje, se sicer zdi zelo malo verjetno, da bi bil pristop umetne inteligence kot sodišča sploh dopusten, medtem ko se uporaba umetne inteligence na sodišču ne zdi toliko sporna. 4 Uporaba umetne inteligence v sodnem postopku z vidika pravice do enakega varstva pravic (22. člen URS) Enako varstvo pravic določa določba 22. člena Ustave Republike Slovenije34 (URS), ki navaja, da je vsakomur zagotovljeno enako varstvo njegovih pravic v postopku pred sodiščem in pred drugimi državnimi organi, organi lokalnih skupnosti in nosilci javnih pooblastil, ki odločajo o njegovih pravicah, dolžnostih ali pravnih interesih. V nadaljevanju je analiza in uporaba sistemov umetne inteligence ter njihova skladnost z vidika določbe 22. člena URS usmerjena na področje civilnega postopka. Določba 22. člena URS pod skupnim imenom pravica do enakega varstva pravic zaobsega več pravic, ki pa se medsebojno prepletajo in povezujejo, in sicer pravica do izjavljanja, pravica do kontradiktornega postopka, pravica do enakopravnosti strank (enakost orožij), prepoved sodniške samovolje in prepoved samovoljnega 34 Uradni list RS, št. 33/91-I s spremembami. M. Makoter Rožmarin, D. Baghrizabehi: Izbrani vidiki uporabe umetne inteligence 183, v sodnih postopkih 182 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . odstopa od uveljavljene in enotne sodne prakse.35 Ustavno sodišče RS je kot enega izmed izkazov pravice do enakega varstva pravic navedlo tudi pravico do obrazloženosti sodne odločbe.36 Neposreden izkaz pravice do enakega varstva pravic v postopku je torej med drugim načelo kontradiktornosti, kot ga določa prvi odstavek 5. člena Zakona o pravdnem postopku37 (ZPP). Gre za eno temeljnih načel pravdnega postopka, ki strankam zagotavlja, da se v postopku lahko opredelijo do vseh vprašanj, pomembnih za odločitev, ter da branijo svoje pravice in interese.38 Vsaka stranka mora v pravdnem postopku imeti možnost predstaviti svoja stališča, vključno z dokazi, pod pogoji, ki je ne postavljajo v vsebinsko slabši položaj nasproti drugi stranki. Enakost orožij, ki je sicer najpomembnejši izraz pravice do enakega varstva pravic pred sodiščem, narekuje takšno ureditev in vodenje (pravdnega) postopka, ki bo zagotavljala enakopraven položaj strank. Iz 22. člena URS še izhaja, da se mora pravdni postopek voditi ob spoštovanju temeljne zahteve po enakopravnosti in procesnem ravnotežju strank ter spoštovanju njihove pravice, da se branijo pred vsemi procesnimi dejanji, ki lahko vplivajo na njihove pravice in interese. Pravdni postopek tako stremi tudi k spoštovanju človekove osebnosti, saj zagotavlja vsakomur možnost priti do besede v postopku in se zavzemati za njegove pravice in interese, s čimer se med drugim preprečuje, da bi človek postal objekt oziroma predmet postopka.39 Prav to bi se lahko v primeru, ko bi na mestu sodnika odločala umetna inteligenca oziroma klepetalni robot, lahko zgodilo, če bi umetna inteligenca zadeve obravnavala rutinsko, tj. na podlagi algoritemskega odločanja ob upoštevanju statističnih verjetnosti. Načelo kontradiktornosti je tesno povezano z načelom dispozitivnosti iz 3. člena ZPP, ki določa, da so stranke gospodar postopka (dominus litis), kar pomeni, da lahko prosto razpolagajo z zahtevkom, sodišče pa je vezano na zahtevek, ki so ga stranke postavile ali mu ugovarjale.40 Prav tako je povezano z razpravnim načelom iz 7. člena ZPP, ki določa, da morajo stranke same navesti vsa dejstva, na katera opirajo svoje zahtevke. Sodišče sme ugotavljati dejstva, ki jih stranke niso navajale, in izvajati 35 Galič v Avbelj (ur.), 2019, stran 175. 36 Odločba US RS Up-97/20-27, ECLI:SI:USRS:2024:Up.97.20. 37 Uradni list RS, št. 73/07 s spremembami. 38 Sklep VSL I Cpg 871/2015, ECLI:SI:VSLJ:2015:I.CPG.871.2015. 39 Odločba USRS Up-39/95-19, ECLI:SI:USRS:1997:Up.39.95. 40 Sodba VSRS II Ips 63/2018, ECLI:SI:VSRS:2019:II.IPS.63.2018. dokaze, ki jih niso predlagale, le če iz obravnave in dokazovanja izhaja, da stranke želijo razpolagati z zahtevki, s katerimi ne morejo razpolagati (četrti odstavek 7. člena in tretji odstavek 3. člena ZPP). Procesno jamstvo enakosti orožij je poleg pravice do izjavljanja temeljno jamstvo poštenega obravnavanja po prvem odstavku 6. člena EKČP. Stranke postopka morajo imeti pravico predstaviti svoje argumente, vključno z dokazi in pod pogoji, ki jih ne postavljajo v občutno slabši položaj nasproti drugi stranki.41 Veliko oviro bo lahko predstavljala tudi prikritost delovanja algoritmov umetne inteligence. Pomanjkanje preglednosti algoritmov odločanja namreč lahko neposredno vpliva tudi na stranke v postopku. Nezmožnost razumevanja algoritmov, ki stojijo za umetno inteligenco, strankam v postopku preprečuje, da bi razumele dejanja ali opustitve druge stranke. To pa oslabi njihov položaj, saj jim bo tako oteženo tudi dokazovanje svojih trditev. Proučevanje in razumevanje sistemov umetne inteligence in algoritmov, ki jih poganjajo in ki bi odločali v sporih na sodiščih, pa lahko zahteva tudi precejšen ekonomski strošek, kar bo povzročalo težave zlasti posameznikom - fizičnim osebam ali malim podjetjem, s čimer bo tako lahko pomembno prizadet tudi dostop do sodnega varstva. Ponovno je pomembno izpostaviti tveganje t. i. halucinacij, ki jih proizvajajo veliki jezikovni modeli. Ob nastopu tega tveganja bi umetnointeligenčni sistem lahko odločil nekaj povsem drugega kakor tisto, kar so zatrjevale oziroma dokazovale stranke v postopku. To bi med drugim lahko nakazovalo na t. i. sodbo presenečenja, ki prav tako predstavlja kršitev ustavne pravice do izjave, ki jo zagotavlja 22. člen URS.42 V okviru 22. člena URS je o sodbi presenečenja mogoče govoriti, kadar sodišče uporabi pravno podlago, na katero se nobena od strank oziroma nobeno od nižjih sodišč v postopku ni sklicevalo, pri čemer pa strankama ni mogoče očitati, da bi ob potrebni skrbnosti z uporabo te pravne podlage mogli in morali računati. Uporaba takšne pravne norme ima namreč lahko za posledico, da stranki svojih navedb ne moreta dopolniti z dejstvi in ugovori, ki jih po njunem mnenju kot upoštevno narekuje novo, presenetljivo pravno stališče, na katero se je pri odločanju oprlo sodišče, s tem pa gre za nedopustni poseg v pravico strank do izjave.43 41 Odločba ESČP v zadevi Colak in Tsakiridis proti Nemčiji, 77144/01 in 35493/05 z dne 5. 3. 2009. 42 Sklep VSRS III Ips 1/2023, ECLI:SI:VSRS:2024:III.IPS.1.2023. 43 Odločba USRS Up-765/13-24, ECLI:SI:USRS:2015:Up.765.13. 184 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . V luči pravdnega postopka in sodniškega odločanja velja izpostaviti še, da gre v primeru sodniške presoje (ko v sporu odloča človek) za logično in izkustveno presojo, ki mora biti v skladu s sodnikovo nepristransko naravo.44 Sodišče v okviru logično izkustvene presoje od primera do primera odgovarja tudi na vprašanje, kaj vse na primer šteje za pravnorelevantno vzročno zvezo, izhajajoč pri tem tako iz pravne teorije kot tudi iz življenjskih izkušenj in logike ter pri tem zasleduje zdravo razumsko rešitev.45 Kljub temu, da klepetalni roboti temeljijo na tehnologiji globokega učenja, pri kateri se uporablja velika količina podatkov in več sto milijard parametrov, ti še vedno uporabljajo le najpreprostejšo metodo obdelave informacij, tj. statistično predvidevanje naslednje možne besede v stavku. Klepetalni robot torej ni sposoben ustvariti in modelirati natančnih informacij. Pogosto navaja tudi napačna dejstva in ni sposoben izvesti zapletenih matematičnih operacij. Pravzaprav je napredna inteligenca ljudi, kot sta spoznavanje in odločanje, zelo odvisna od znanja, ki ga je družbena civilizacija pridobivala skozi ves svoj razvoj. Klepetalni roboti pa pri podaji odgovorov ne upoštevajo pridobivanja in uporabe takšnega eksplicitnega znanja.46 Zato je mogoče trditi, da bi bila situacija, kjer bi v sporu odločal klepetalni robot, že zgolj s teh vidikov lahko sporna, saj bi klepetalni robot, ki ni sposoben semantičnega razmišljanja ali interakcije z resničnim svetom okoli sebe, le s težavo podal ustrezno presojo na podlagi življenjskih izkušenj in tako zadostil pravnemu standardu logično-izkustvene presoje. Uporaba sistemov umetne inteligence bi nadalje lahko bila sporna z vidika dokazne ocene v pravdnem postopku. Dejstva se lahko v pravdnem postopku dokazuje s katerimkoli dokaznim sredstvom, bo pa sodišče na koncu sprejelo dokazno oceno, katere stvar je, kdaj se šteje neko dejstvo za dokazano.47 Tako sodna odločba kot tudi dokazna ocena, na kateri temelji, sta zavezani k razumni ter logično vzdržni in preverljivi argumentaciji. Kadar sodnik navaja argumente dokazne (ne)vrednosti za posamezen dokaz, morajo biti ti argumenti logično prepričljivi in življenjsko sprejemljivi.48 Hkrati mora biti dokazna ocena sodišča vestna in skrbna ter mora analitično pripeljati do zaključka o ugotovitvah dejanskega stanja.49 Element vestnosti dokazne presoje predstavlja tudi moralno kategorijo, ki izraža dvoje, in 44 Sodba VSM IV Kp 3140/2017, ECLI:SI:VSMB:2020:IV.KP.3140.2017.1. 45 Sodba VSL I Cpg 1206/2011, ECLI:SI:VSLJ:2012:I.CPG.1206.2011. 46 Wu et. al., 2023, stran 1129. 47 Sodba VSL I Cp 3649/2009, ECLI:SI:VSLJ:2009:I.CP.3649.2009. 48 Sodba VS RS II Ips 213/2018, ECLI:SI:VSRS:2014:II.IPS.213.2013 in sklep VS RS II Ips 121/2021, ECLI:SI:VSRS:2022:II.IPS.121.2021. 49 Sklep VS RS VIII Ips 318/2017, ECLI:SI:VSRS:2018:VIII.IPS.318.2017. M. Makoter Rožmarin, D. Baghrizabehi: Izbrani vidiki uporabe umetne inteligence 185, v sodnih postopkih sicer: prvič, da gre za sodnikovo intimno prepričanje, in drugič, da dokazna ocena kljub obveznemu poudarjanju racionalnosti in stvarnosti izraža tudi sodnikovo moralno in vrednostno pojmovanje.50 Ali je tako sistem umetne inteligence sploh sposoben na podlagi statističnega predvidevanja in verjetnosti sprejeti ustrezno verodostojno dokazno oceno? Brez življenjsko-izkustvene sodniške razsežnosti je odgovor bržkone nikalen. Tudi v tem primeru bo uporaba umetne inteligence ob odsotnosti življenjsko-izkustvene sodniške presoje in fluidnosti moralnih stališč klepetalnega robota lahko sporna in se ne kaže kot ustrezna rešitev. Klepetalni robot bo lahko v okviru navedenega naletel na oviro tudi v okviru določbe 3. člena Obligacijskega zakonika51 (OZ), ki določa, da udeleženci prosto urejajo obligacijska razmerja, ne smejo pa jih urejati v nasprotju z URS, s prisilnimi predpisi ali z moralnimi načeli. Določba 86. člena OZ določa, da je pogodba, kadar nasprotuje ustavi, prisilnim predpisom ali moralnim načelom, nična, razen, v kolikor bo namen kršenega pravila odkazoval na kakšno drugo sankcijo ali, če zakon v posameznem primeru ne predpisuje kaj drugega. Na ničnost pa sodišče po določbi 92. člena OZ pazi po uradni dolžnosti. Tako bi po obravnavanem sodeč morala tudi umetna inteligenca, če bi nastopala v vlogi sodišča, na ničnost paziti po uradni dolžnosti, s čimer bi morala biti med drugim sposobna oceniti tudi, kdaj bo pogodba v nasprotju z moralnimi načeli. Tudi ZPP v določbi 3. člena navaja, da je disponiranje z zahtevki omejeno s kogentnimi predpisi (tožniku je možno priznati le tisto sodno varstvo, ki mu pripada po materialnem pravu) in moralo.52 Sodišče tako ne sme dopustiti, da bi stranka pravdnega postopka na primer s procesnimi sredstvi izigrala prepovedi materialnega prava, in dosoditi, da je podlaga nedopustna, če je v nasprotju z ustavo, prisilnimi predpisi ali z moralnimi načeli.53 5 Pravica do človeškega sodnika 5.1 Integracija umetne inteligence v sodstvu Integracija sistemov umetne inteligence v družbene dejavnosti, vključno s pravosodjem, se na intuitivni ravni, navkljub prej izraženim pomislekom, zdi skoraj normalna oziroma pričakovana. V javnem (laičnem) diskurzu se pravniški poklic 50 Sklep VSC Cp 1533/2006, ECLI:SI:VSCE:2007:CP.1533.2006. 51 Uradni list RS, št. 97/07 – uradno prečiščeno besedilo, 64/16 – odl. US in 20/18 – OROZ631. 52 Sklep VSRS VIII SM 1/2023, ECLI:SI:VSRS:2024:VIII.SM.1.2023. 53 Sklep VSL II Cp 2742/2016, ECLI:SI:VSLJ:2017:II.CP.2742.2016. 186 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . včasih omenja kot skorajšnje obsoleten vpričo (prihajajočih) rešitev umetne inteligence.54 Posledično se napoveduje tudi postopno odmiranje pravniškega poklica, s tem pa tudi umik človeških deležnikov v pravosodju in prevzem dejavnosti pravosodja s strani sistemov umetne inteligence. Trenutna stopnja integriranosti sistemov umetne inteligence v pravosodju variira med posameznimi jurisdikcijami, pri čemer po našem vedenju v nobeni jurisdikciji ni kot splošno uveljavljeno, da bi sistem umetne inteligence nadomeščal sodnika kot končnega odločevalca. Tudi sicer je treba poudariti, da strokovni in znanstveni diskurz na to temo ne potrjujeta napovedi o (polni) zamenljivosti pravniških poklicev v bližnji prihodnosti.55 Kljub temu je treba zadevno možnost obravnavati resno in pri tem upoštevati, da ne gre zgolj za strokovno, temveč za pravnopolitično vprašanje. Še preden navdušenje nad tehnološko inovativnostjo in zatrjevano učinkovitostjo sistemov umetne inteligence spodbudi napovedano celostno integracijo teh sistemov v pravosodju, se velja na ontološki ravni najprej vprašati, ali pri dejavnostih pravosodja obstaja element človeške avtonomije (človeškega delovanja), ki je nezamenljiv oziroma tak, da zamejuje polje integracije sistemov umetne inteligence. Z drugimi besedami, ne sprašujemo se, ali določene dejavnosti lahko prenesemo v domeno sistemov umetne inteligence, temveč ali bi to smeli početi. V širšem gre za vprašanje etičnih vplivov uporabe algoritmov za sprejemanje odločitev. Za potrebe pričujočega dela je razprava o tem sicer kompleksnem vprašanju omejena zgolj na izkaz problema, to je erodiranje človeške avtonomije (5.2). Takšen izkaz nas lahko pouči tudi o zamejitvah sistemov umetne inteligence v pravosodju kot o pravnem vprašanju ali vsaj ponudi ideološko podlago odločitvam o zamejitvi. Po drugi strani pa je v pravno-dogmatičnem smislu mogoče govoriti o »pravici do človeškega sojenja« (tudi: pravici do človeške odločitve), ki jo lahko izvedemo iz pravice do poštenega sojenja (5.3.4). 5.2 Na kratko o človeški avtonomiji in sistemih umetne inteligence (v pravosodju) Avtonomija largo sensu pomeni zmožnost človeka, da deluje na podlagi prepričanj, vrednot, motivacij in razlogov, ki so v nekem pretežnem smislu njemu lastni. Iz takšne opredelitve je mogoče izvesti dve razsežnosti avtonomije. Prva je, da so 54 Glej https://www.lexpert.ca/news/features/new-study-ranks-legal-jobs-most-likely-to-be-impacted-by- ai/386711 (obiskano: 12 2. 2024). 55 Glej na primer Bodul, 2023, strani 15–34. M. Makoter Rožmarin, D. Baghrizabehi: Izbrani vidiki uporabe umetne inteligence 187, v sodnih postopkih prepričanja, vrednote, motivi in razlogi, na katerih temeljijo posameznikova dejanja (ali ki jih posameznik ima), dejansko njemu lastni. Gre za interno ali zavestno razsežnost avtonomije. Pravno varstvo te razsežnosti je implicitno predvideno tudi v Aktu o umetni inteligenci, ki v prvem odstavku 5. člena prepoveduje »sisteme umetne inteligence, ki uporabljajo subliminalne tehnike, ki presegajo zavest osebe, ali namerno manipulativne ali zavajajoče tehnike, s ciljem ali učinkom bistvenega izkrivljanja vedenja osebe ali skupine oseb, tako da se znatno zmanjša njihova sposobnost, da sprejmejo informirano odločitev […].« Druga razsežnost avtonomije se osredotoča na dejansko sposobnost posameznika, da sprejema odločitve, se odloča in prevzema odgovornost za pomembne vidike svojega življenja. Gre za zmožnost človeškega delovanja ali zunanjo razsežnost avtonomije56 oziroma operativno razsežnost avtonomije. Kot primer lahko navedemo tehnologije, ki podpirajo koncept t. i. socialnega kredita, ki generira kreditno oceno posameznika in s tem potencialno onemogoča pridobivanje posojil ali vključevanje v posamezne družbene dejavnosti. Že od razsvetljenstva je avtonomija razumljena kot razlikovalni znak in srčica človeštva (zato je nekoliko ironično, da digitalne tehnologije, ki temeljijo na uporabi sistemov umetne inteligence, včasih označujemo kot avtonomne). Sistemi umetne inteligence pogosto, ne da bi ljudje to sploh opazili, sodelujejo pri oblikovanju človeškega delovanja in človeške izkušnje.57 Tako lahko na primer izpostavimo tarčno politično oglaševanje na spletu ali druge oblike uporabnikom prilagojenih izkušenj, ki slonijo na profiliranju uporabnikov. V zadnjih desetletjih se je odnos med človekom in tehnologijo v filozofiji pogosto naziral fenomenološko – tj. skozi človekov odnos do dejanskosti. Tako je mogoče trditi, da ljudje »poosebljajo« tehnologijo (ko si na primer nadenejo očala), da ljudje »berejo« tehnologijo ali jo odčitajo (ko na primer uporabljajo toplomer) ali vstopajo v »interakcijo« s tehnologijo (ko na primer uporabljajo tipkovnico). Odnos med človekom in tehnologijo je lahko tudi pasiven oziroma se odvija v zaledju (če na primer gorijo luči v sobi). Osrednja ideja zadevnega naziranja, ki ga je postuliral Ihde,58 je v tem, da človek tehnologijo »uporablja«.59 V tem naziranju je mogoče 56 Prunkl, 2024, stran 25. 57 Verbeek v Hildebrandt in Rouvroy (ur.), 2011, stran 27. 58 Glej Ihde, 1990, strani 72–111. 59 Verbeek v Hildebrandt in Rouvroy (ur.), 2011, stran 28. 188 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . prepoznati klasično dihotomijo med subjektom (človekom) in objektom (tehnologijo). Razmerje med človekom in tehnologijo je dinamično in odvisno (tudi) od kulturnih in gmotnih dejavnikov v družbi, vendar bo praviloma vodilo v zmanjšanje človeške avtonomije zaradi stopnjevitega tehnološkega razvoja. Takšno izhodišče lahko vodi v nihilistični sklep, da je »človeško stanje« povsem historično in da se ni mogoče nanj sklicevati v etični razpravi o zamejitvah tehnologije. Če bi sprejeli takšen sklep, bi prav tako bilo brezpredmetno ugotavljati etične zamejitve sistemov umetne inteligence, saj gre pri prenosu avtonomije za vnaprejšnjo danost. To poraja vprašanje, ali se je sploh vredno ukvarjati z mejami človeške avtonomije oziroma ali se ni treba prepustiti toku razvoja in sprejeti prihod sistemov umetne inteligence tudi na področje pravosodja brez etične razprave. Odgovor mora biti nikalen. V nasprotnem namreč odrekamo sam obstoj človeške avtonomije. Verbeek60 predlaga, da je treba namesto trenutnega dialektičnega pristopa (kjer se tehnologija in človeštvo dojemata v odnosu zatiranja naproti osvobajanja), uporabiti hermenevtični pristop, po katerem predstavlja tehnologija tvarino pomena, v katerem se oblikuje človeško stanje. Z drugimi besedami, tehnologija je del človeškega stanja, cilj etike pa je v tem, da na razumen in odgovoren način pomaga oblikovati razmerje med ljudmi in tehnologijo. Pri diskurzu o vključevanju sistemov umetne inteligence v odločevalske dejavnosti v pravosodju je v ospredju zunanja razsežnost avtonomije. Tukaj se sprašujemo, če, kako in koliko avtonomije prenesti (delegirati) na sisteme umetne inteligence. Ta vprašanja niso novost, porojena z vključevanjem sistemov umetne inteligence v pravosodje. Intenziven diskurz se na primer že dlje časa vodi glede tehnologije za prepoznavo obraza, namenjene večji učinkovitosti nadzora, ki pa lahko po drugi strani predstavlja invaziven poseg v človekove pravice. Orisan primer nakazuje, da je pogosto počez vprašanje, »kako« se sistemi umetne inteligence koristijo in ne uporaba sistemov umetne inteligence per se.61 Z drugimi besedami, sporen ni nujno sistem umetne inteligence sam po sebi, marveč način uporabe (zlorabe) takšnega sistema. 60 Prav tam, strani 31–32. 61 Prunkl, 2024, stran 25. M. Makoter Rožmarin, D. Baghrizabehi: Izbrani vidiki uporabe umetne inteligence 189, v sodnih postopkih Težava nastopi pri avtomatiziranih sistemih umetne inteligence, ki sprejemajo odločitve o pravicah in obveznostih posameznika. Tukaj gre za delegacijo oblastnega ravnanja (človeškega procesa) na neživo strojno entiteto. Težava presega omenjeni vidik, »kako« se sistemi umetne inteligence koristijo, saj ne gre več za »uporabo« tehnologije v zgoraj opisanem tradicionalnem pomenu (razmerje subjekt in objekt). Pri avtomatiziranih tehnoloških sistemih določeni avtorji zato govorijo o preseganju strogega ločevanja med subjektom in objektom. Etika nastaja kot skupni produkt.62 Po drugi strani, če ostajamo v okvirju dialektičnega modela, se razprava praviloma osredinja na utilizacijo sistemov umetne inteligence. Ljudje morajo ohraniti avtonomijo pri delegiranju odločitev, ki naj se poverijo sistemom umetne inteligence, da se uresničujejo človeško določeni (človeku pomembni ali celo človeku nravni) cilji, pri čemer morajo biti taki prenosi nujno reverzibilni. To nakazuje svojevrstno meta-avtonomijo (avtonomija odločati o prenosu (cediranju) avtonomije).63 5.3 Pravni okvir 5.3.1 Nadnacionalna in nacionalna ureditev Pravica do človeškega sodnika je v pravu EU mestoma že določena.64 Pravica sicer ni artikulirana izrecno, jo je pa mogoče izvesti kot korelat prepovedi avtomatiziranega odločanja, ki je vsebovana v Uredbi (EU) 2016/679 Evropskega parlamenta in Sveta z dne 27. aprila 2016 o varstvu posameznikov pri obdelavi osebnih podatkov in o prostem pretoku takih podatkov ter o razveljavitvi Direktive 95/46/ES (Splošna uredba o varstvu podatkov),65 in bolj podrobno (ter širše) urejena v Aktu o umetni inteligenci. Ureditev v teh dveh instrumentih ni absolutna in pušča prostor interpretaciji glede dometa obravnavane pravice. Stanje de lege lata v Republiki Sloveniji ne omogoča, da bi sistemi umetne inteligence sprejemali odločitve. To je na najosnovnejši ravni razvidno že iz opredelitve pogojev za opravljanje sodniške službe.66 Morebitni poskusi sprememb v tej zvezi bodo morali nujno nasloviti procesne kavtele, ki jih strankam zagotavlja pravica do poštenega sojenja. 62 Verbeek v Hildebrandt in Rouvroy (ur.), 2011, strani 30–33. 63 Floridi in Cowls, 2019, stran 7. 64 Huq, 2020, strani 621–623. 65 UL L 119, 4. 5. 2016, strani 1–88. 66 Glej Zakon o sodniški službi (Uradni list RS, št. 94/07 – UPB, 91/09, 33/11, 46/13, 63/13, 69/13 – popr., 95/14 – ZUPPJS15, 17/15, 23/17, 36/19 – ZDT-1C, 34/23 – odl. US in 76/23). 190 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Tudi sicer v nacionalnem pravu uporaba sistemov umetne inteligence v pravosodju trenutno ni posebej normativno urejena. Pričakovati je mogoče, da bo nedavni sprejem Akta o umetni inteligenci spodbudil nacionalnega zakonodajalca k regulaciji tega področja, saj se določene umetnointeligenčne iniciative (glej 3.1) pospešeno uvajajo pri delu sodišč in tožilstva. Te iniciative bo glede na njihove značilnosti treba umestiti v kategorije tveganj in jih temu primerno nadzorovati in regulirati. V nadaljevanju na kratko predstaviva obstoj pravice do človeškega sodnika v Splošni uredbi o varstvu podatkov (5.3.2) in v Aktu o umetni inteligenci (5.3.3). V sosledju predstaviva še tezo, po kateri je mogoče pravico do človeškega sodnika izpeljati iz pravice do poštenega sojenja (5.3.4). 5.3.2 Splošna uredba o varstvu podatkov Pravica do človeške odločitve (ne nujno tudi »sodnika«) je bila v pravu EU najprej priznana v Splošni uredbi o varstvu podatkov.67 Določba 22. člena zadevne uredbe določa, da ima posameznik, na katerega se nanašajo osebni podatki, pravico, da zanj ne velja odločitev, ki temelji zgolj na avtomatizirani obdelavi, vključno z oblikovanjem profilov, ki ima pravne učinke v zvezi z njim ali na podoben način nanj znatno vpliva. Po drugi strani zadevna ureditev ne naslavlja področja uporabe sistemov umetne inteligence v pravosodju per se. Obravnavani člen varuje posameznika predvsem pred odločitvami upravljavca osebnih podatkov, ki temeljijo na profiliranju. Bojazen sprejemanja odločitev na podlagi profiliranja je najbolj prisotna v kazenskem pravu (npr. pri ugotavljanju begosumnosti, ponovitvene nevarnosti ipd.). Splošna uredba o varstvu podatkov v točki d) drugega odstavka 2. člena izrecno izključuje uporabo predmetne uredbe pri pristojnih organih za namene preprečevanja, preiskovanja, odkrivanja ali pregona kaznivih dejanj ali izvrševanja kazenskih sankcij. Res je sicer, da se določbe Splošne uredbe o varstvu podatkov glede obdelave osebnih podatkov upoštevajo pri izvajanju dokazov v civilnem postopku,68 vendar na podlagi navedenega ni mogoče trditi, da bi uveljavljale splošno pravico do človeške odločitve v sodnih postopkih. Obseg pravice do človeške odločitve iz obravnavane uredbe 67 UL L 119, 4. 5. 2016, strani 1–88. 68 Zadeva C-268/21, Norra Stockholm Bygg AB proti Per Nycander AB, ECLI:EU:C:2023:145. M. Makoter Rožmarin, D. Baghrizabehi: Izbrani vidiki uporabe umetne inteligence 191, v sodnih postopkih torej ne seže na področje pravosodja kot takega, a vendar kaže, da takšna pravica v pravu EU obstaja in lahko služi kot podstav za normativno urejanje v pravosodju. 5.3.3 Akt o umetni inteligenci Pravica do človeškega sodnika v sodnih postopkih je potom negativne regulacije uveljavljena v Aktu o umetni inteligenci. Ta v točki d) prvega odstavka 5. člena med prepovedanimi praksami navaja uporabo sistema umetne inteligence za ocenjevanje tveganja v zvezi s fizičnimi osebami, da se oceni ali predvidi, kakšno je tveganje, da bo fizična oseba storila kaznivo dejanje, izključno na podlagi oblikovanja profila fizične osebe ali ocenjevanja njenih osebnostnih lastnosti in značilnosti. V tem zapisu je jasno določena načelna69 prepoved, ki mora imeti za svoj korelativ pravico do človeške odločitve. Nadalje so (specifično za uporabo v pravosodju) v 8. točki priloge III, 2) Akta o umetni inteligenci kot visoko tvegani sistemi umetne inteligence opredeljeni tisti sistemi, ki naj bi jih uporabljal sodni organ ali naj bi se uporabljali v njegovem imenu za pomoč sodnemu organu pri raziskovanju in razlagi dejstev in prava ter pri uporabi prava za konkreten sklop dejstev ali ki naj bi se uporabljali na podoben način pri alternativnem reševanju sporov. Ti sistemi torej niso prepovedani, marveč podvrženi strogi regulaciji in nadzoru, zato zanje na načelni ravni ni mogoče izvesti korelativne pravice. Zapisano je treba dopolniti z uvodno točko 61 Akta o umetni inteligenci, ki navaja, da se orodja umetne inteligence lahko uporabljajo kot pomoč sodnikom pri odločanju ali kot podpora neodvisnosti sodstva, vendar jih ne bi smela nadomeščati: končno odločanje mora ostati dejavnost, ki jo vodi človek. Zdi se, da Akt o umetni inteligenci kot ločnico med prepovedanimi in dovoljenimi praksami (s tem pa tudi meje pravice do človeške odločitve) določa »končno odločanje«. Četudi na tem mestu lahko govorimo o izrecnem pripoznanju pravice do človeške odločitve (»dejavnost, ki jo vodi človek«), ureditev deluje ponesrečena. Prvič, zapoved človeškega odločanja o končni odločitvi je vsebovana v uvodnih izjavah in ne v normativnem delu uredbe. Drugič, ureditev po razlogovanju a contrario omogoča, da sistemi umetne inteligence sprejemajo »vmesne« sklepe, ki so lahko, glede na okoliščine primera, po učinkih vsaj začasno primerljivi s sprejemom končne odločbe 69 Ta prepoved se ne uporablja za sisteme umetne inteligence, ki se uporabljajo za podporo človeški oceni vpletenosti osebe v kriminalno dejavnost, ki že temelji na objektivnih in preverljivih dejstvih, neposredno povezanih s kriminalno dejavnostjo. 192 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . (npr. začasne odredbe ali vmesne sodbe). Tretjič, in v navezavi na predhodno točko, ni jasno kaj »končno odločanje« zajema. Jasno je torej, da Akt o umetni inteligenci v določenem obsegu določa pravico do človeške pravice. Jasno je tudi, da v določenem obsegu pušča polje svobode za bodoč razvoj in vpeljavo sistemov umetne inteligence kot odločevalcev v pravosodju. Ob tem je vendarle treba poudariti, da Akt o umetni inteligenci izraža jasno tendenco k spoštovanju oziroma varovanju človeške avtonomije. Cilj varovanja človeške avtonomije je izrecno pripoznan v uvodni točki 27, ki navaja, da se sistemi umetne inteligence razvijajo in uporabljajo kot orodje, ki služi ljudem, spoštuje človeško dostojanstvo in osebno avtonomijo ter deluje tako, da ga ljudje lahko ustrezno upravljajo in nadzorujejo. Ta cilj (ki se pojavi tudi v uvodni točki 29) je torej izrecno pripoznan s strani zakonodajalca EU in vsaj posredno kroji odločitve naslovnikov Akta o umetni inteligenci, kjer glede regulacije sistemov umetne inteligence ni izrecnih pravil. Končno lahko dodava še, da sistemi umetne inteligence, namenjeni izključno pomožnim upravnim dejavnostim pravosodja, ki ne vplivajo na dejansko razsojanje v posameznih primerih, kot so anonimizacija ali psevdonimizacija sodnih odločb, dokumentov ali podatkov, komunikacije med osebjem ali upravnih nalog, v skladu z uvodno točko 61 ne bi smeli zapasti v kategorijo visoko tveganih sistemov umetne inteligence. To je posebej pomembno za iniciativi umetne inteligence Tipko in Tapko, ki se uveljavljata na slovenskih sodiščih. Še posebej pri iniciativi Tapko se glede na napovedane funkcionalnosti lahko zgodi, da bo zapadla v kategorijo visoko tveganih sistemov. 5.3.4 Pravica do poštenega sojenja Pravico do človeškega sodnika je ob odsotnosti izrecne pravne podlage mogoče izvesti iz pravice do poštenega sojenja. Kavtele, ki zagotavljajo pošteno sojenje, so namreč nezdružljive s konceptom »AI as the court«. Pravica do poštenega sojenja je v mednarodnem pravnem okvirju opredeljena v 6. členu EKČP ter 47. členu Listine Evropske unije o temeljnih pravicah.70 Slovensko nacionalno pravo ne uporablja enake nomenklature, zagotavlja pa varstvo enakih kavtel v 22. (enako varstvo pravic) 70 UL C 202, 7. 6. 2016, strani 389–405. M. Makoter Rožmarin, D. Baghrizabehi: Izbrani vidiki uporabe umetne inteligence 193, v sodnih postopkih in 23. členu (pravica do sodnega varstva) URS.71 Nezdružljive vidike sistemov umetne inteligence v odnosu do enakega varstva pravic sva že naslovila v prejšnjem razdelku (4.). V pričujočem razdelku obravnavava predvsem nezdružljivost sistemov umetne inteligence s pravico do sodnega varstva. Z vidika zagotavljanja pravice do sodnega varstva je ključno opredeliti, ali sistemi umetne inteligence ustrezajo pojmu neodvisnega in nepristranskega sodišča. Naproti takšnemu pojmovanju stoji več ovir. Sodišča izvršujejo (sodno) oblast v državi in izdajajo sodbe v imenu ljudstva. Izvrševanje oblasti mora biti poverjeno ljudem, ki uživajo določeno stopnjo družbenega zaupanja, kar se praviloma zagotavlja skozi demokratične procese. Sodnik zato ne more biti sistem umetne inteligence, temveč mora biti član družbe v kateri opravlja funkcijo, ki mu je poverjena. Sodnik mora razumeti družbo, njeno zgodovino, kulturo in izvrševati funkcijo z družbeno odgovornostjo.72 Sistemi umetne inteligence so nezmožni takšnega udejstvovanja v družbi. V tem smislu zato ni možno trditi, da bi sistemi umetne inteligence uživali stopnjo družbenega zaupanja oziroma, da bi jih družba dojemala kot legitimne.73 Družbena nelegitimnost sistemov umetne inteligence se odraža tudi na področju zaupanja v sodstvo. Javnost namreč zaupa v sodstvo zaradi demokratičnih postopkov izvolitve sodnikov in meritokratskih meril, ki zagotavljajo usposobljenost kandidatov. Sistemi umetne inteligence ne premorejo nikakršne subjektivne motivacije prispevati k pravni kulturi ali zavzemati si za pravično uporabo pravnih pravil. Ti sistemi umetne inteligence niso prestali študija, državnega pravniškega izpita, kandidacijskega postopka in drugih procesov, ki na vsakem koraku preverjajo usposobljenost in (družbeno) primernost človeka za to funkcijo.74 Obstaja tudi bojazen, da izvršilna veja oblasti posredno vpliva na odločitve sistemov umetne inteligence v svojstvu sodnikov, in sicer tako, da v razvojni fazi takšnih sistemov preko naročil razvijalcu zasnuje pristranski model algoritemskega odločanja, ki navzven ni razviden.75 Iz tega razloga bi bilo treba v razvojni fazi sistemov umetne 71 Šturm v Avbelj (ur.), 2019, stran 200. 72 V prid pravici do človeškega sodnika priča tudi povezan argument, ki ga prvenstveno ne izvajamo iz pravice do poštenega sojenja, temveč iz pravice do osebnega dostojanstva. V mislih imava že omenjeno dihotomijo subjekt – objekt, v kateri se človek ne bi smel znajti kot objekt avtomatiziranih sistemov umetne inteligence, kadar se odloča o njegovih pravicah in obveznostih. Primerjaj Huq, 2020, strani 652 in 659. 73 Sroka v Balcerzak in Kapelańska-Pręgowsk (ur.), 2024, strani 254–255. 74 Prav tam. 75 Gorski, 2023, stran 84. 194 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . inteligence izključiti možnost slehernih zunanjih vplivov (vključno z vplivom samega razvijalca, če ta ni organiziran v režiji pravosodja). Najverjetneje bi družbena nelegitimnost, vsaj v trenutnem obdobju, izhajala tudi iz okoliščine, da družba ne zaupa v pravilnost in zakonitost odločb,76 ki jih proizvajajo sistemi umetne inteligence. Kot nakazano, gre pri tej okoliščini najverjetneje za tranzicijski pomislek. S povečanjem kapacitet sistemov umetne inteligence se bo izboljševala stopnja natančnosti odločitev. Prav tako je treba razlikovati različne faze sodniškega odločanja. V nekaterih fazah, na primer ob predhodnem preverjanju tožbe, je natančnost sistemov umetne inteligence morda že danes zadovoljiva in uživa zaupanje javnosti. Empirične raziskave prav tako kažejo, da laična in strokovna javnost trenutno pripisuje večjo procesno pravičnost postopkovnim modelom, v katerih je prisotna nizka stopnja avtomatizacije postopkov, percepcija postopkovne pravičnosti pa pada premo sorazmerno glede na stopnjo avtomatizacije. Podobno velja za fazo postopka – uvedba avtomatiziranih postopkov se zdi najmanj problematična v (začetni) fazi zbiranja procesnega gradiva in najbolj problematična v kasnejši fazah (sprejemanju odločitev).77 Med pomisleke lahko uvrstimo tudi nezmožnost (nelegitimnost) sistemov umetne inteligence delovati v sistemu zavor in ravnovesij, ko izvršujejo sodno oblast. Ta problem prihaja do izraza predvsem na področju upravnega sodstva, kjer sodišče preverja zakonitost delovanja upravno-izvršilne veje oblasti. Podobno velja za uporabo exceptio illegalis, kjer bi sistemi umetne inteligence na ad hoc bazi sami ocenjevali ali je določen podzakonski akt neustaven ali nezakonit. 6 Zaključek Vpeljava sistemov umetne inteligence v sodne postopke prinaša številne izzive z ozirom na varstvo človekovih pravic, odpira kompleksna pravna in etična vprašanja, a hkrati predstavlja potencial za številna izboljšanja v delovanju pravosodja. Sistemi umetne inteligence lahko pripomorejo k hitrejšemu sodnemu odločanju, zmanjšanju stroškov postopkov ter izboljšanju dostopa do pravnega varstva. Kljub temu ostajajo za zdaj nerazrešene ključne dileme pri uvajanju sistemov umetne inteligence v 76 Treba je poudariti, da v pravni teoriji pravica do poštenega sojenja ne pomeni nujno tudi pravice do (vsebinsko) zakonite in pravilne odločbe. Iz tega razloga za sisteme umetne inteligence kot sodnike ne moremo zasnovati standarda vsakokratne zakonite in pravilne odločbe. Glej Huq, 2020, strani 653–655; Galič, 2004, strani 75–76. 77 Baryse in Sarel, 2024, strani 117–146. M. Makoter Rožmarin, D. Baghrizabehi: Izbrani vidiki uporabe umetne inteligence 195, v sodnih postopkih pravosodje, pri čemer sva kot poglavitne opredelila nepreglednost delovanja algoritmov sistemov umetne inteligence, zagotavljanje in spoštovanje temeljnih človekovih pravic, kot sta na primer pravica do enakega varstva pravic strank in v povezavi z njo načelo kontradiktornosti ter obstoj pravice do človeškega sodnika. V obravnavanih primerih gre sicer za interdisciplinarna vprašanja, kar nakazuje na to, da bo za njihovo obravnavo potrebno povezovanje s strokovnjaki z IT področij. Slovensko pravosodje se je že lotilo uvajanja sistemov umetne inteligence na sodiščih, in sicer s projektoma Tipko in Tapko ter Virtualnim pomočnikom v domeni tožilstva. Ti sistemi umetne inteligence so trenutno zamišljeni zgolj kot podporni sistemi umetne inteligence (»AI in the court«), ki bi razbremenili delo sodnikov in državnih tožilcev, ob čemer bi končno odločanje ostalo v rokah sodnikov oziroma državnega tožilca. Ob odsotnosti pravnega okvirja glede uporabe sistemov umetne inteligence v pravosodju v pravnem redu Republike Slovenije je treba razmisliti o pripravi ustrezne pravne regulacije, ki bi uravnotežila potencial sistemov umetne inteligence in hkrati zagotovila varstvo pravic vseh udeležencev sodnih postopkov. Pravni red EU nakazuje na previdnejši pristop, ki je postavil meje popolni avtomatizaciji sodnega odločanja in tudi poudaril pomen človeške avtonomije v sodnih postopkih ter s tem nekoliko omejil uvajanje sistemov umetne inteligence v pravosodju. Stanje slovenske ureditve je trenutno vzdržno, ker omenjene iniciative predstavljajo pripomoček in ne nadomeščajo sodnika, zato v pravice strank in postopkovne kavtele neposredno ni poseženo. Ob bolj intenzivni uporabi in zanašanju na sisteme umetne inteligence se riziko teh posegov lahko uresniči, zato bi bilo treba na tem področju delovati proaktivno. Pravni sistemi se bodo primorani prilagoditi hitremu tehnološkemu napredku in digitalizaciji, pri čemer bo moralo ključno ostati predvsem spoštovanje temeljnih pravnih načel, v funkciji varovalk, ki zagotavljajo pravične in legitimne postopke pred sodišči. Iz tega razloga je še toliko bolj pomembna pravilno umišljena integracija sistemov umetne inteligence v delu pravosodja, ki bo omogočila, da bodo lahko tudi pravosodni sistemi izkoristili potencial, ki ga imajo sistemi umetne inteligence, ne da bi pri tem bila ogrožena pravica do poštenega sojenja. 196 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Literatura Barysė, D., Sarel, R. (2024) Algorithms in the court: Does it matter which part of the judicial decision making is automated?. Artificial Intelligence and Law, 2024(32), strani 117–146. Bodul, D. (2023) Can Artificial Intelligence (AI) Replace the Judge?. Harmonius: Journal of Legal and Social Studies in South East Europe, 12(1), strani 15–34. Briganti, G. (2024) How ChatGPT works: a mini review. European Archives of Oto-Rhino- Laryngology, 2024, 281(3), strani 1565–1569. Contini, F. (2020) Artificial Intelligence and the Transformation of Humans, Law and Technology Interactions in Judicial Proceedings, Law, Technology and Humans, 2(1), strani 4–18. Contini, F., Lanzara, G. F. (2017) The Elusive Mediation between Law and Technology, Undetectable Errors in ICT–Based Judicial Proceedings v. Branco, Hosen, N., Leone, M., Mohr, R., Tools of Meaning representation, objects, and agency in the technologies of law and religion, Aracne editrice, Canterano, strani 39–66. Danziger, S., Levav, J., Avnaim-Pesso, L. (2011) Extraneous factors in judicial decisions, Proceedings of the National Academy of Sciences USA, 108(17), strani 6889–6892. Esmaeilzadeh, P. (2025) The role of ChatGPT in disrupting concepts, changing values, and challenging ethical norms: a qualitative study, AI and Ethics, 5, strani 291–304. Floridi, L., Cowls, J. (2019) A unified framework of five principles for AI in society, Harvard Data Science Review, 1(1), strani 535–545. Galič, A. v Avbelj, M. (ur.) (2019) Komentar Ustave Republike Slovenije (Ljubljana: Nova univerza, Evropska pravna fakulteta). Galič, A. (2004) Ustavno civilno procesno pravo: ustavna procesna jamstva, ustavna pritožba - meje preizkusa in postopek (Ljubljana: GV Založba). Gorski, M. (2023) Why a Human Court?, On the Right to a Human Judge in the Context of the Fair Trial Principle, European Law Forum: Prevention, Investigation, Prosecution, 2023(1), strani 83–87. Huš, M. (2024) Umetna inteligenca na slovenskih sodiščih, Monitor, februar 2024, dostopno na: https://www.monitor.si/clanek/umetna-inteligenca-na-slovenskih-sodiscih/230338/ (obiskano: 5. 11. 2024). Hu, K. (2023) ChatGPT sets record for fastest-growing user base - analyst note, dostopno na: https://www.reuters.com/technology/chatgpt-sets-record-fastest-growing-user-base-analyst-note-2023-02-01/ (obiskano: 13. 10. 2024). Huq, A. (2020) A Right to a Human Decision. Virginia Law Review, 106(3), strani 611–688. Ihde, D. (1990) Technology and the Lifeworld (Bloomington: Indiana University Press). Prunkl, C. (2024) Human Autonomy at Risk? An Analysis of the Challenges from AI, Minds and Machines, 34(1), strani 1–26. Kalluri, K. (2023) Adapting LLMs for low resource languages – Techniques and ethical considerations, Interantional journal of scientific research in engineering and management, 2(3), strani 1–11. Katz, D. M., Bommarito, M. J. II, Blackman, J. (2017) A general approach for predicting the behavior of the Supreme Court of the United States, PLoS ONE, 12(4), strani 1–18. Kelleher, J. D. (2019) Deep Learning, The MIT Press Essential Knowledge, Cambridge, Massachusetts. Kovač, G., Portelas, R., Sawayama, M., Dominey, P. F., Oudeyer, P-Y. (2024) Stick to your role! Stability of personal values expressed in large language models, PLoS ONE 19(8, strani 1–20. Krügel, S., Ostermaier, A., Uhl, M. (2023) ChatGPT’s inconsistent moral advice influences users’ judgment, Scientific Reports, 13(4569), strani 1–5. Marr, B. (2023) A Short History Of ChatGPT: How We Got To Where We Are Today, dostopno na: https://www.forbes.com/sites/bernardmarr/2023/05/19/a-short-history-of-chatgpt-how-we-got-to-where-we-are-today/ (obiskano: 20. 10. 2024). Montemayor, C., Halpern, J., Fairweather, A. (2022) In principle obstacles for empathic AI: why we can’t replace human empathy in healthcare, AI&Society, 37(4), strani 1353–1359. M. Makoter Rožmarin, D. Baghrizabehi: Izbrani vidiki uporabe umetne inteligence 197, v sodnih postopkih Ministrstvo za pravosodje (2023) Projekti Načrta za okrevanje in odpornost, dostopno na: https://www.gov.si/assets/ministrstva/MP/SIKP/Projekti-Nacrta-za-okrevanje-in-odpornost.pdf (obiskano: 23. 11. 2024). Miracchi Titus, L. (2024) Does ChatGPT have semantic understanding? A problem with the statistics-of-occurrence strategy, Cognitive Systems Research, 83, strani 1–12. Ozdemir, S. (2023) Quick start guide to large language models, Strategies and best Practices for Using Chat Gpt and other LLMS, Addison-Wesley Data and Analztics Series, Hoboke, New Yersey. Poston, B. (2009) An Exercise in Personal Exploration: Maslow’s Hierarchy of Needs, The Surgical Technologist, 41, strani 347–353. Ratner, N., Levine, Y., Belinkov, Y., Ram, O., Magar, I., Abend, O., Karpas, E., Shashua, A., Leyton- Brown, K., Shoham, Y. (2023) Parallel context windows for large language models, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics,1, strani 6383–6402. Reiling, D. (2020) Courts and Artificial Intelligence. International Journal for Court Administration, 2020, 11(2), strani 1–10. Sroka, T., Chapter 14: Artificial intelligence and the right to a fair trial, v Balcerzak, M. in Kapelańska-Pręgowsk, J. (2024) Artificial Intelligence and International Human Rights Law (Northampton: Edward Elgar), strani 252–265. Šturm, L. v Avbelj, M. (2019), Komentar Ustave Republike Slovenije (Nova Gorica: Nova Univerza, Evropska pravna fakulteta). Themeli, E., Philipsen, S. (2021) AI as the Court: Assessing AI Deployment in Civil Cases v. Benyekhlef, K. (ur.), AI and Law, A Critical Overview, Éditions Thémis 2021, strani 213– 232. UKOM (2021) Narečja bogatijo slovenski jezik, dostopno na: https://www.gov.si/novice/2021-01- 12-narecja-bogatijo-slovenski-jezik/ (obiskano: 10. 2. 2025). Uredništvo VS RS (2023) Okrogla miza Vrhovnega sodišča RS, Priložnosti in pasti uporabe umetne inteligence v sodstvu, 4.12.2023, Youtube, dostopno na: https://www.youtube.com/watch?v=n0ltM6Ailvs (obiskano: 13. 11. 2024). Verbeek, P. (2011) Subject to Technology, On autonomic computing and human autonomy, v Hildebrandt, M. in Rouvroy, A., Law, human agency, and autonomic computing: the philosophy of law meets the philosophy of technology (New York: Routledge), strani 27–45. Volokh, E. (2019) Chief Justice Robots, Duke Law Journal, 68(6), strani 1135–1192. Vrhovno državno tožilstvo (2024) Skupni zapisnik strokovnega dialoga –Virtualni pomočnik na VDT ki je potekal 16. in 17. 5. 2024, na lokaciji Vrhovnega državnega tožilstva RS, dostopno na: https://www.gov.si/assets/ministrstva/MP/VirtualniPomocnik/Skupni-zapisnik-strokovnega-dialoga-Virtualni-pomocnik-na-VDT_k.pdf (obiskano: 12. 11. 2024). Wu, T., et al. (2023) A Brief Overview of ChatGPT: The History, Status Quo and Potential Future Development," in IEEE/CAA Journal of Automatica Sinica, 10(5), strani 1122–1136. Xu, Z. (2021) Human Judges in the Era of Artificial Intelligence: Challenges and Opportunities, Applied Artificial Intelligence, 36(1), strani 1025–1045. Extended abstract Artificial Intelligence (AI) is permeating nearly every aspect of social life and influencing the otherwise established rules of social (sub)systems. This is also the case in the justice system, where AI tools are gradually being introduced with the aim of improving the efficiency of justice. AI systems in the judicial process represent a new dimension and a legal grey area where the law fails to apply consistently and regulation plays catch-up with technology. This chapter first discusses how AI systems work from the perspective of chatbots and the shortcomings or limits of the use of AI in judicial proceedings, what a chatbot can do, and where AI might encounter problems or where its shortcomings lie. This is followed by an analysis of the ways in which AI systems have been used in court proceedings and what we know 198 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . of the ways in which AI systems have been used in court proceedings. In addition, this chapter of the monograph presents the approach taken by the Slovenian judiciary with regard to the introduction of AI systems in court proceedings. The use of AI systems is discussed and assessed to determine whether such use is at all compatible in the Slovenian legal order from the perspective of the principle of equal protection of rights, including the principle of adversarial proceedings, as well as in light of a purported right to a human judge. However, the key (far-reaching) question raised in the chapter is whether an AI adjudicating a dispute between parties can provide the same standards of justice as when a human being acts as a judge. There are roughly two different ways in which AI can be used in the courts, but they differ in the role of the AI system, namely whether it acts as a support system for the judge (»AI in the court«) or whether it acts as a court (»AI as the court«), i.e. adjudicating disputes rather than simply assisting the court. However, the line between these two regimes of AI use in courts is blurred. The Slovenian judiciary has started to introduce AI systems in court proceedings. Two of the largest projects of the Supreme Court of the Republic of Slovenia are »Tipko« and »Tapko.« Selected aspects of these systems are presented in the chapter and used as an example of the aforementioned division between the two regimes of the use of AI by the courts. In the context of litigation and judicial decision-making, it is worth highlighting that judicial discretion (i.e. when a human being is the decision-maker in a dispute) is a logical and experiential judgment that must be consistent with the judge's impartial nature. The court also answers, on a case-by-case basis, the question of what, for example, constitutes a legally relevant causal link, in the context of a logical- experiential assessment, based on legal theory as well as on life experience and logic, following a common-sense solution. It can therefore be argued that a situation in which AI decides a dispute could be highly controversial on these grounds alone, as a chatbot that is incapable of semantic reasoning or of interacting with the real world around it would struggle to make an appropriate judgment based on life experience and thus satisfy the legal standard of logical-experiential judgment. The hidden nature of AI algorithms may also be a major obstacle. The lack of transparency of decision-making algorithms can also have a direct impact on the parties to the proceedings. The inability to understand the algorithms behind AI prevents the parties to the proceedings from understanding the actions or omissions of the other party. Ultimately, the contribution finds that a right to a human decision does exist in the framework of EU law and the AI Act in particular. While it is not readily apparent as such, it can be derived from the rules prohibiting automatic decision-making. Furthermore, the right seems to emanate from the right to judicial protection, as AI systems do not seem to conform to the notion of a court. In any case, the new EU regulatory framework demonstrates a profound care for human autonomy. D DOI OKTRINA O SPREMENJENIH https://doi.org/ 10.18690/um.pf.11.2025.8 OKOLIŠČINAH IN IZZIVI ISBN 978-961-299-086-2 PRILAGODLJIVOSTI PAMETNIH POGODB KLEMEN DRNOVŠEK Univerza v Mariboru, Pravna fakulteta, Maribor, Slovenija klemen.drnovsek@um.si Skokovit tehnološki razvoj v zadnjih treh desetletjih ni bistveno Ključne besede: spremenjene okoliščine, vplival le na naše vsakdanje življenje, temveč tudi na področje pametna pogodba, pogodbenega prava. Prava revolucija se je napovedovala v času, umetna inteligenca, ko je širšo prepoznavnost dosegla tehnologija veriženja prilagodljivost pogodbe, sprememba pogodbe, podatko inteligentna pogodba, vnih blokov, ki med drugim omogoča tudi sklepanje blockchain inteligenca pametnih pogodb. V zadnjem času pa je osrednja tema strokovnih in znanstvenih razprav postala umetna inteligenca, ki omogoča, da stroji in naprave posnemajo človeško inteligenco na način, da razmišljajo, se učijo, samostojno odločajo in rešujejo praktične in pravne probleme. Avtor analizira trende sodobne pravne teorije in sodne prakse v evropskih državah glede vprašanja sodne prilagodljivosti pogodbe ob spremenjenih okoliščinah ter preučuje možnost vključitve umetne inteligence v pametne pogodbe. Namen analize je oceniti potencial umetne inteligence za povečanje uporabne vrednosti pametnih pogodb v luči njihove samostojne prilagodljivosti spremenjenim okoliščinam. DOI THE DOCTRINE OF CHANGED https://doi.org/ 10.18690/um.pf.11.2025.8 ISBN CIRCUMSTANCES AND 978-961-299-086-2 THE CHALLENGES OF SMART CONTRACT ADAPTABILITY KLEMEN DRNOVŠEK University of Maribor, Faculty of Law, Maribor, Slovenia klemen.drnovsek@um.si Keywords: The rapid technological development over the last three decades changed circumstances, has profoundly influenced not only our everyday lives but also the smart contract, artificial intelligence, field of contract law. A revolution was anticipated when contract adaptability, blockchain technology, which, among other things, facilitates the contract modification, intelligent contract, conclusion of smart contracts, gained broader recognition. blockchain intelligence Recently, artificial intelligence (AI) has become a central topic of professional and scholarly debate, enabling machines and devices to emulate human intelligence in the way they think, learn, make decisions autonomously, and solve practical and legal problems. In this chapter, the author examines trends in contemporary legal theory and jurisprudence in European countries regarding the judicial adaptability of contracts under changed circumstances and explores the possibility of integrating AI into smart contracts. The purpose of this analysis is to evaluate the potential of AI to enhance the practical utility of smart contracts by enabling their autonomous adaptability to changed circumstances. K. Drnovšek: Doktrina o spremenjenih okoliščinah in izzivi prilagodljivosti pametnih pogodb 201, 1 Uvod Skokovit tehnološki razvoj v zadnjih treh desetletjih je bistveno preoblikoval številne gospodarske panoge in posegel na različna pravna področja, pri čemer tehnološke inovacije vse bolj vplivajo tudi na področje pogodbenega prava. Začetki digitalizacije segajo v leto 1989, ko je bil vzpostavljen svetovni splet (ang. World Wide Web), ki je sčasoma omogočil globalno povezljivost in dostop do informacij v realnem času. Kot naslednje pomembnejše faze tehnološkega razvoja lahko navedemo revolucijo pametnih mobilnih naprav (ang. smartphone), razvoj računalništva v oblaku (ang. cloud computing), pojav koncepta velikih podatkovnih zbirk (ang. big data) in razvoj interneta stvari (ang. internet of things). Prava revolucija na področju pogodbenega prava pa se je napovedovala v letu 2017, ko je širšo prepoznavnost dosegla tehnologija veriženja podatkovnih blokov1 (ang. blockchain technology). Ponudniki različnih decentraliziranih platform so poudarjali visoko uporabno vrednost t. i. pametnih pogodb (ang. smart contracts).2 Kot odločujočo prednost so izpostavljali dejstvo, da izpolnitev pogodbe v primeru pametne pogodbe ni odvisna od volje in dejanj posamezne stranke, temveč le od izpolnitve vnaprej določenih (objektivnih) pogojev, saj je pametna pogodba v celoti odvisna od sprogramirane računalniške kode. Najbolj zagreti zagovorniki so celo napovedovali, da bodo pametne pogodbe v nekaj letih povsem nadomestile klasično pogodbeno pravo.3 Napovedi pa so se hitro izkazale za pretirane in neuresničljive. Dogovor v obliki pametne pogodbe lahko namreč sklenemo samo v primeru omejenih, manj kompleksnih pogodbenih razmerjih. Omejitev pa velja tudi po vsebini pogodbenega razmerja, saj lahko pametne pogodbe sklenemo samo za obligacije rezultata in še to samo za tiste, ki 1 Začetki tehnologije veriženja podatkovnih blokov segajo v leto 2008, ko je neznani avtor pod psevdonimom Satoshi Nakamoto objavil članek, v katerem je podrobno opisal inovativen sistem digitalne plačilne valute Bitcoin (BTC), ki temelji na veriženju podatkovnih blokov. Tehnologija je širšo prepoznavnost dosegla leta 2017 ob visokih finančnih donosih kriptovalute Bitcoin in drugih kriptovalut, ki delujejo na njeni osnovi. Vrednost valute Bitcoin se je, recimo, od začetka januarja do konca decembra leta 2017 zvišala z 963 na 14.453 USD, ob tem da je 17. decembra 2017 dosegla takratni absolutni vrh pri 19.857 USD. Visoka volatilnost (predvsem v času visokih donosov) je povzročila, da v družbi v tistem času praktično ni bilo posameznika, ki ne bi slišal za kriptovaluto Bitcoin in tehnologijo podatkovnih blokov. Različni ponudniki decentraliziranih platform oziroma t. i. »blockchain« platform so poudarjali različne uporabne vrednosti svojih valut oziroma žetonov, in sicer hitrost transakcij, varnost transakcij, možnost izmenjave podatkov med različnimi »blockchain« mrežami, čezmejno plačevanje, zasebnost, anonimnost idr. Tehnologija veriženja podatkovnih blokov je tako na podlagi oblikovanja lastne (nespremenljive) podatkovne verige omogočila številne novosti na različnih področjih. Za spremljanje vrst in števila kriptovalut ter njihove vrednosti glej spletno stran www.coinmarketcap.com. 2 Za razliko od platforme kriptovalute Bitcoin, katere glavna značilnost je plačilno sredstvo, je bila platforma Etherum razvita z namenom, da omogoči sklepanje pametnih pogodb (ang. smart contracts) in oblikovanje decentraliziranih aplikacij (ang. dApps). Platforma Etherum velja za prvo in najpomembnejšo decentralizirano platformo, ki ponuja možnost sklepanja pametnih pogodb. Tako tudi Ouyang et al., 2022, stran 2. 3 Mik, 2017, stran 269. 202 OD ALGORITMA DO PRAVA. imajo jasna in računalniško berljiva pogodbena določila in pri katerih ni potrebno oblikovati vsebine oziroma razlagati njihovega pomena.4 V pravni teoriji pa se je dodaten dvom izpostavljal tudi v povezavi z neprilagodljivostjo pametnih pogodb. Čeprav se na prvi pogled morda zdi, da je avtomatična izpolnitev pogodbe, v katero ni mogoče posegati, absolutno pozitivna lastnost pametnih pogodb, pa ima ta značilnost poleg svojih prednosti tudi številne slabosti.5 Po sklenitvi pogodbe namreč pogosto nastopijo okoliščine, zaradi katerih je treba vsebino pogodbenih obveznosti spremeniti oziroma prilagoditi.6 Posledično številni pravni teoretiki neprilagodljivost pogodbenega razmerja izpostavljamo celo kot ključno slabost pametnih pogodb.7 Ravno v povezavi z vprašanjem (ne)prilagodljivosti pametnih pogodb se v zadnjem času nakazujejo tehnološke rešitve, ki bi v določenih primerih in v določenem obsegu lahko omogočile prilagodljivost pametnih pogodb na spremembe v poslovnem okolju. V mislih imam uporabo umetne inteligence (ang. artificial inteligence, AI), ki je v zadnjem času postala osrednja tema strokovnih in znanstvenih razprav. Umetna inteligenca namreč omogoča, da stroji in naprave posnemajo človeško inteligenco na način, da razmišljajo, se učijo, samostojno odločajo in rešujejo praktične in pravne probleme. Zaradi naglega razvoja je njena uporaba vse pogostejša v praktično vseh gospodarskih in negospodarskih panogah in tudi v vsakdanjem življenju. Če bi umetno inteligenco lahko vključili v pametne pogodbe, bi na ta način lahko vplivali tudi na njihovo (avtomatično) prilagodljivost in s tem povečali uporabno vrednost pametnih pogodb.8 4 Glej Samec Berghaus in Drnovšek, 2018, stran 48. Pametnih pogodb ni mogoče sklepati, kadar gre za obligacije prizadevanja (presoja skrbnosti ravnanja stranke ne more biti algoritmično določena; na primer mandatna pogodba) in tudi tistih obligacij rezultata, pri katerih je izpolnitveno ravnanje nedoločno opredeljeno. O nedoločni opredelitvi razmerja govorimo, kadar so v pogodbeno razmerje vključeni standardi, običaji, načela in drugi pojmi, ki na abstraktni ravni niso konkretno opredeljeni in se njihova vsebina oblikuje šele na podlagi okoliščin konkretnega primera. 5 »The self-executing feature could offer many benefits, but it is also one of the biggest risks of smart contracts as well«. Tako Máté, 2023, stran 68. 6 O prilagodljivosti pogodb v širšem pomenu pa lahko govorimo tudi v primeru uporabe pravnih standardov, ki omogočajo prilagoditev pogodbene vsebine konkretnim okoliščinam posameznega primera. Pogodbeni stranki se recimo lahko dogovorita, da prodajalec v zameno za izročitev predmeta prodajne pogodbe kupcu izroči »primerno plačilo«. Vsebina pravnega standarda »primerno plačilo« je na abstraktni ravni nedoločena in je določljiva šele v konkretnem primeru, ko je mogoče glede na okoliščine konkretnega primera (npr. gibanje cen na organiziranem trgu) določiti primernost plačila v določenem časovnem trenutku. 7 Glej Drnovšek, 2018, strani 744–746; Samec Berghaus in Drnovšek, 2018, strani 52–54; Sklaroff, 2017, strani 263– 303; Lampič, 2019, strani 945–958; Radić in Pilipović, 2020, stran 120; Rugina, 2021, strani 30–46, Máté, 2023, stran 68. 8 O relativno majhnem dometu uporabne vrednosti pametnih pogodb glej Samec Berghaus in Drnovšek, 2018a. K. Drnovšek: Doktrina o spremenjenih okoliščinah in izzivi prilagodljivosti pametnih pogodb 203, Stranki lahko s soglasjem volje kadar koli spremenita vsebino pogodbenega razmerja, pogodbo razvežeta ali skleneta novo (pametno) pogodbo. V določenih primerih pa lahko razvezo ali spremembo pogodbe preko sodišča uveljavlja tudi zgolj ena stranka. Gre za t. i. doktrino o spremenjenih okoliščinah, ki ureja primere, v katerih bi bila izpolnitev pogodbene obveznosti zaradi naknadno spremenjenih okoliščin v nasprotju z načeli vestnosti in poštenja, ekvivalence in pravičnosti. Doktrina se je sprva razvijala skozi sodno prakso, danes pa je v skoraj vseh razvitih pravnih redih tudi pravno regulirana. V zadnjih letih je bila regulirana v več evropskih državah in sicer leta 2002 v Nemčiji, leta 2014 na Češkem in Madžarskem, leta 2016 v Franciji in leta 2023 v Belgiji, njena regulacija pa je v okviru predlaganih sprememb napovedana tudi v Švici. Odgovor na vprašanje, kako negativna je lastnost neprilagodljivosti pametnih pogodb in na kakšen način vpliva na njihovo uporabno vrednost, je v veliki meri odvisen od vprašanja, kakšen pomen daje sodobno pogodbeno pravo možnosti sodne prilagodljivosti pogodbenega razmerja. S ciljem odgovoriti na postavljeno vprašanje glede prilagodljivosti pametnih pogodb je namen tega poglavja analizirati pomen sodne prilagodljivosti pogodbenih razmerij v sodobnem pogodbenem pravu ter odgovoriti na vprašanje, ali lahko vključitev umetne inteligence v pametne pogodbe prispeva k njihovi večji prilagodljivosti. Skladno z nakazanim raziskovalnim problemom in namenom sta v tem poglavju monografije obravnavani dve raziskovalni tezi: 1) sodobno pogodbeno pravo v evropskih državah poudarja potrebo po sodni prilagodljivosti pogodbenega razmerja in 2) vključitev umetne inteligence v pametne pogodbe lahko prispeva k njihovi večji prilagodljivosti spremembam v poslovnem okolju. Poglavje je razdeljeno na šest razdelkov. V uvodnem razdelku so predstavljena raziskovalna vprašanja, cilj in namen ter raziskovalni tezi. V drugem razdelku so najprej predstavljena splošna znanstvena dognanja o doktrini o spremenjenih okoliščinah, v nadaljevanju pa so na podlagi zakonskih ureditev, sodne prakse in pravne teorije analizirani sodobni trendi vprašanja sodne prilagodljivosti pogodbenih razmerij v mednarodnih pravnih aktih in v več kot dvajsetih evropskih državah. Temeljne značilnosti pametnih pogodb in umetne inteligence so obravnavane v tretjem poglavju. Gre za tehnološki rešitvi, ki temeljita na naprednih računalniških algoritmih in omogočata digitalizacijo in avtomatizacijo različnih procesov. Četrti razdelek analizira vprašanje, ali je umetno inteligenco mogoče vključiti v pametno 204 OD ALGORITMA DO PRAVA. pogodbo in na kakšen način. V petem razdelku je predstavljena vloga vključitve umetne inteligence glede prilagodljivosti pametnih pogodb. Predstavljeni so primeri pogodbenih dogovorov, pri katerih bi vključitev umetne inteligence v pametno pogodbo lahko omogočila njihovo samodejno prilagajanje. V povezavi z njimi je analiziran domet uporabne vrednosti pametnih pogodb z vključeno umetno inteligenco, obenem pa so predstavljeni tudi pomisleki in morebitne težave, do katerih bi z vključitvijo umetne inteligence lahko prišlo. V zaključku so predstavljene ključne ugotovitve glede postavljenih raziskovalnih tez. 2 Sodobni trendi glede vprašanja sodne prilagodljivosti pogodb 2.1 Izjeme od načela pacta sunt servanda Pogodbeno pravo temelji na načelu avtonomije volje pogodbenih strank in poudarja potrebo po svobodi urejanja medsebojnih razmerij.9 S trenutkom, ko stranki dosežeta soglasje in skleneta pogodbo, v veljavo stopi načelo pacta sunt servanda, ki določa, da je sklenjene dogovore potrebno spoštovati.10 Načelo temelji na stabilnosti pogodb in omogoča predvidljivost in pravno varnost pogodbenih strank, zato mora biti vsakršno odstopanje od tega načela strogo omejeno.11 Kljub velikemu pomenu pa načelo pacta sunt servanda ni absolutno. Pogodbena obveznost se namreč lahko spremeni ali preneha s soglasjem pogodbenih strank ali v primeru zakonsko predpisanih izjem. Temeljni primer zakonsko določenega prenehanja pogodbenih obveznosti je nemožnost izpolnitve,12 tj. kadar izpolnitev obveznosti postane nemogoča (npr. uničenje individualno določenega predmeta izpolnitve).13 Od stranke namreč ne moremo zahtevati da izpolni nekaj, česar 9 Glej Zimmermann, 1996, stran 584. 10 Novodobna razlaga načela pacta sunt servanda, ki je še vedno v uporabi, temelji na angleški zadevi Printing and Numerical Registering Company v. Sampson [1873 P. 177.], v kateri je Sir George Jessel MR poudaril pomen svobodnega sklepanja pogodb. Izpostavil je, da mora biti posameznikom glede sklepanja pogodb zagotovljena največja avtonomija volje, da morajo biti pogodbe, ki so sklenjene svobodno in prostovoljno, obravnavane kot svete in sodno izvršljive in da se v svobodo sklepanja pogodb lahko poseže samo izjemoma. S trenutkom veljavno sklenjene pogodbe stranki postaneta zavezani in sta svojo obveznost dolžni izpolniti. 11 Binder, 2012, stran 911. 12 Nemožnost izpolnitve (ang. impossibility, nem. Unmöglichkeit, fran. impossibilité) šteje za eno izmed temeljnih izjem od načela pacta sunt servanda, ki jo v obliki zakonskega pravila ali sodne prakse poznajo v praktično vseh pravnih redih. Skladno s splošnim načelom obligacijskega prava nihče ne more biti zavezan izpolniti nekaj, česar sploh ni mogoče izpolniti – »Impossibilium nulla obligatio est«. 13 Glej Eisenberg, 2009, strani 207–220. K. Drnovšek: Doktrina o spremenjenih okoliščinah in izzivi prilagodljivosti pametnih pogodb 205, objektivno gledano sploh ni več mogoče izpolniti, kar je razumljivo in logično tudi nepravnikom oziroma laikom.14 Poleg nemožnosti izpolnitve pa lahko po sklenitvi pogodbe nastanejo okoliščine, zaradi katerih je izpolnitev pogodbene obveznosti sicer še vedno mogoča, vendar bi bila v nasprotju z načeli vestnosti in poštenja, ekvivalence in pravičnosti. Gre za primere, kadar izpolnitev obveznosti zaradi naknadno spremenjenih okoliščin za eno izmed strank postane bistveno otežena oziroma stranka z izpolnitvijo ne more več doseči (prvotnega) poslovnega namena pogodbe. Ta vprašanja ureja doktrina o spremenjenih okoliščinah, ki pod določenimi pogoji dopušča poseg v avtonomijo volje pogodbenih strank in omogoča sodno razvezo ali spremembo oziroma prilagoditev pogodbe. 2.2 Splošno o doktrini o spremenjenih okoliščinah Doktrina o spremenjenih okoliščinah15 ureja primere, v katerih se po sklenitvi pogodbe pojavijo nepredvidene spremembe okoliščin, ki bistveno otežijo izpolnitev obveznosti ali izjalovijo poslovni namen pogodbenih strank in s tem povzročijo, da breme izpolnitve pogodbenih obveznosti postane nesorazmerno. Dandanes je za doktrino o spremenjenih okoliščinah široko uveljavljen izraz clausula rebus sic stantibus, ki ga je prvič uporabil Ludovico Pontano v 15. stoletju. V osnovi doktrina izpostavlja, da je pogodba zavezujoča samo toliko časa, dokler okoliščine ostanejo takšne, kot so bile v času sklenitve pogodbe in se ne spremenijo.16 Iz navedenega izhaja, da je vsebino pogodbenih razmerij v določenih primerih potrebno spremeniti oziroma prilagoditi, saj bi bila ta v nasprotnem primeru v nasprotju z načelom pravičnosti in drugimi temeljnimi načeli pogodbenega prava.17 Clausula rebus sic stantibus je svoj razcvet doživela v 16. in 17. stoletju, s tem ko je postala del The Usus Modernus Pandectarum in del naukov naravnopravne šole.18 Kljub obetavnem začetku pa je v začetku 19. stoletja za določen čas povsem izgubila svoj 14 »Gre za to, da tudi nepravniki oziroma laiki ob nastopu dejanskih okoliščin, ki povzročijo nemožnost izpolnitve, intiutivno, po zdravi pameti vedo, da pogodbe ni treba odpovedati ali od nje odstopiti, ker je že sama od sebe prenehala.« Glej sklep VSL I Cpg 1382/2012, ECLI: SI:VSLJ:2014:I.CPG.1382.2012. 15 Za namen tega poglavja v monografiji je uporabljen splošni izraz, ki vključuje temeljne značilnosti različnih pravnih ureditev vprašanja spremenjenih okoliščin, tako oteženosti izpolnitve (ang. hardship) kot tudi izjalovitev pogodbenega namena (ang. frustration of purpose). 16 Povzeto po Karlović, 2011, strani 17 in 18. 17 Več o vprašanju vpliva spremenjenih okoliščin glej Cigoj, 1984, strani 431–451; Lando in Beale, 1995; Stone, 2002; Dolenc, 2003, strani 594–611. 18 Glej Zimmermann, 1993, stran 135. 206 OD ALGORITMA DO PRAVA. pomen. Na podlagi argumenta potrebe po stabilnosti in pravni gotovosti namreč ni bila vključena v velike civilne kodifikacije v Franciji, Nemčiji, Italiji in Švici, ki so poudarjale potrebo po trdnosti pogodbenih obveznosti.19 Potreba po prilagodljivosti pogodbenih razmerij se je zopet začela izpostavljati po prvi svetovni vojni, ki se je na poslovnem področju odražala predvsem v obliki velikega pomanjkanja dobrin in razvrednotenja denarja. Poudarja se predvsem primer hiperinflacije v Nemčiji med letoma 1921 in 1923, do katere je prišlo kot posledica tiskanja papirnatih mark z namenom plačila povojnih reparacij.20 Ker vprašanje spremenjenih okoliščin v večini evropskih držav ni bilo pravno regulirano, se je v 20. stoletju doktrina o spremenjenih okoliščinah v glavnem razvijala skozi sodno prakso. Kazuistični razvoj je temeljil na konkretnih primerih porušenega pogodbenega ravnovesja, do česar je prišlo na različne načine in iz različnih razlogov. Sodišča so pravno podlago za pravično prilagoditev pogodbene vsebine iskala predvsem v načelih pravičnosti, poštenosti, zvestobe in zaupanja. V pogodbeno voljo strank pa so posegla v primerih, če bi vztrajanje pri prvotni pogodbi povzročilo »rezultat, ki nima veze s pravom in pravičnostjo«.21 Čeprav je bil osnovni namen sodišč v vseh državah enak (ponovno vzpostaviti ravnovesje pogodbenih obveznosti), pa se posledice kazuističnega razvoja doktrine spremenjenih okoliščin odražajo v različnih predpostavkah, posledicah in tudi poimenovanjih.22 Ker je sodna praksa v praktično vseh pravnih redih izpostavljala potrebo po upoštevanju doktrine o spremenjenih okoliščinah, je bila slednja vključena tudi v mednarodne akte s področja pogodbenega prava,23 prav tako pa je bila s sprejemom 19 Glej Karlović, 2011, stran 15. 20 V letu 1921 je bila inflacija še obvladljiva, pa vendar je mesečno znašala med 5 % in 10 %. Hiperinflacija je dosegla vrhunec v letu 1923, ko so se cene podvojile na vsake 3 do 4 dni, za njen konec pa štejemo 15. november 1923, ko je bila v Nemčiji uvedena nova stabilna denarna valuta (Retenmark). Razsežnost inflacije in s tem razvrednotenja vrednosti denarja (in posledično vseh pogodbenih denarnih obveznosti) lahko prikažemo z razmerjem do vrednosti ameriškega dolarja. Medtem ko je bil januarja 1921 1 USD vreden približno 60 nemških mark, je bilo v januarju 1923 potrebno za 1 USD plačati že 17.000 nemških mark, novembra 1923 pa nepredstavljivih 4,2 bilijona nemških mark. 21 Glej Flume, 1992, stran 497. 22 V evropskih pravnih redih so najpogosteje uporabljeni naslednji izrazi: spremenjene okoliščine oziroma changed circumstances, rebus sic stantibus, frustration of purpose, Störung der Geschäftsgrundlage, imprévision in hardship. 23 Z namenom poenotenja gospodarskega pogodbenega prava je vprašanje spremenjenih okoliščin urejeno tudi v mednarodnih aktih, in sicer v Načelih za mednarodne gospodarske pogodbe (ang. Principles of International Commercial Contracts – PICC) v členih 6.2.1, 6.2.2 in 6.2.3.; v Načelih evropskega pogodbenega prava (ang. Principles of European Contract Law – PECL) v členu 6:111 in v Osnutku skupnega referenčnega okvira za evropsko pogodbeno pravo (ang. Draft Common Frame of Reference – DCFR, Principles, Definitions and Model Rules of European Private Law) v členu III.-1:110. Poleg tega pa velja omeniti še vzorčne klavzule ICC o oteženih K. Drnovšek: Doktrina o spremenjenih okoliščinah in izzivi prilagodljivosti pametnih pogodb 207, reform civilnih kodifikacij v začetku 21. stoletja v večini primerov vključena tudi v nacionalne predpise. Čeprav se je pravo v državah common law razvijalo neodvisno od temeljev rimskega in kanonskega prava in s tem tudi neodvisno od doktrine rebus sic stantibus, so se tudi v teh pravnih redih na podlagi običajev in načel skozi sodno prakso izoblikovali podobni instituti oziroma doktrine.24 Ne glede na to, ali je doktrina o spremenjenih okoliščinah pripoznana samo v okviru sodne prakse ali je tudi pravno regulirana, pa za vse ureditve velja, da izjema od splošnega načela pacta sunt servanda pride v poštev le v izjemnih primerih.25 Ugotovimo lahko, da se je potreba po uporabi doktrine klavzule rebus sic stantibus (in s tem tudi njen pomen) skozi zgodovino neprestano spreminjala, pri čemer se je povečala predvsem v času velikih družbenih pretresov. Windscheidova izjava lepo zajame vprašanje klavzule in s tem problematike spremenjenih okoliščin: »Če jo vržemo skozi vrata, bo vedno znova prišla nazaj skozi okno.«26 To se je v zadnjih letih še kako izkazalo za resnično. Medtem ko smo v začetku 21. stoletja na uporabo doktrine že skoraj pozabili, pa v zadnjem času nepričakovanim družbenim pretresom velikih razsežnosti kar ni videti konca. V zadnjih letih so v evropskih državah na izpolnjevanje pogodbenih obveznosti vplivali predvsem naslednji dogodki: zlom nepremičninskega trga in finančno-gospodarska kriza v letu 2008, odprava zgornje meje vrednosti švicarskega franka v primerjavi z evrom v letu 2015, pandemija covida-1927 v letu 2020, spremembe cen na trgu in več stoodstotni dvig cen določenih energentov28 ter oboroženi konflikt v Ukrajini v letu 2021 in nadpovprečno visoka inflacija29 v letu 2022. Negotovi časi pa se nadaljujejo tudi v letu 2025, ko na pogodbena razmerja vplivajo različne (povsem nepričakovane) razmerah (ang. ICC Hardship Clause 2020), ki jih je pripravila Mednarodna trgovinska zbornica (International Chamber of Commerce – ICC) in jih stranke pogosto vključijo v svoja pogodbena razmerja. 24 Za angleško pravo je značilna doktrina frustration, med bolj znane doktrine common law sistemov pa štejemo tudi ameriško doktrino impracticability. 25 Glej Ridder in Weller, 2014, stran 384; Huguenin, 2019, strani 102–104; Juhász, 2020, strani 61–64. 26 »Wirf ihn durch die Tür, er wird immer wieder durch das Fenster hereinkommen«. Die Voraussetzung, 1892, stran 78, Archiv fur die civilistische Praxis 197, citirano v Zimmermann, 1996, stran 581. 27 Pandemija covida-19 je npr. v Nemčiji za gospodarstvo in družbo predstavljala celo največji izziv po drugi svetovni vojni, saj so številne gospodarske panoge zaradi strogih omejevalnih ukrepov v celoti zastale, podrobneje o vplivu pandemije covida-19 in problematiki (ne)spremenljivosti pogodb glej Samec Berghaus in Drnovšek, 2020; Berger in Behn, 2020; MacMillan, 2021; Finkenauer v MüKoBGB, 2022, § 313 RN. 318. 28 Cena zemeljskega plina je v letih 2021 in 2022 skokovito porastla. V primerjavi s ceno iz leta 2016 se je cena zemeljskega plina v drugi polovici leta 2021 gibala okrog indeksa 400, v avgustu 2022 pa je bila cena glede na izhodišče iz leta 2016 višja za 893,1 %. Podrobneje glej: Monthly natural gas price index worldwide from January 2020 to December 2022, Eurostat, www.statista.com (obiskano: 17. 1. 2025). 29 Stopnja inflacije v Evropski uniji je v mesecu oktobru 2022 dosegla 11,5 %, kar šteje za najvišjo zabeleženo stopnjo inflacije v obdobju od leta 1997 do leta 2022. Prejšnji vrh v višini 4,4 % je bil dosežen julija 2008, stopnja inflacije pa je bila najnižja v januarju 2015, in sicer 0,5 %. Podrobneje glej: Harmonized index of consumer prices (HICP) inflation rate of the European Union from January 1997 to November 2022, Eurostat, www.statista.com (obiskano: 17. 1. 2025). 208 OD ALGORITMA DO PRAVA. odločitve Donalda Trumpa, ki je januarja 2025 nastopil svoj drugi mandat predsednika Združenih držav Amerike.30 2.3 Analiza ureditev v mednarodnih aktih in različnih evropskih državah Sodobne trende glede vprašanja sodne prilagodljivosti pogodbenih razmerij bom opredelil na podlagi analize pravnih ureditev doktrine o spremenjenih okoliščinah v mednarodnih pravnih aktih in več kot dvajsetih evropskih državah. Vezano na obravnavo spremenjenih okoliščin v različnih ureditvah ločimo tri osnovne strategije oziroma pristope: 1) možnost prizadete stranke zahtevati razvezo pogodbe na sodišču, 2) možnost prizadete stranke zahtevati spremembo oziroma prilagoditev pogodbe na sodišču in 3) zakonska dolžnost ponovnih pogajanj obeh pogodbenih strank kot procesna predpostavka pred vložitvijo zahteve na sodišče.31 Vsak izmed navedenih pristopov ima svoje prednosti in slabosti. Glede na to, da možnost prizadete stranke zahtevati razvezo pogodbe omogoča zgolj rešitev po načelu »vse ali nič«, je za vprašanje prilagodljivosti pogodbe pomembno predvsem dejstvo, ali ima prizadeta stranka tudi možnost zahtevka za sodno prilagoditev oziroma spremembo pogodbe.32 Zgolj v tem primeru se namreč lahko ohrani prvotni poslovni namen pogodbenih strank oziroma ponovno vzpostavi pogodbeno ravnovesje.33 V okviru analize mednarodnih pravnih aktov so bila analizirana Načela za mednarodne gospodarske pogodbe (Principles of International Commercial Contracts – PICC), Načela evropskega pogodbenega prava (Principles of European Contract Law – PECL) in Osnutek skupnega referenčnega okvira za evropsko pogodbeno pravo (Draft Common Frame of Reference – DCFR), Principles, 30 Na področju pogodbenega prava velja v Evropi trenutno omeniti predvsem 25-odstotne carine na aluminij in jeklo ter napoved 25-odstotnih carin na vse avtomobile, ki niso proizvedeni v ZDA. Evropa je kot protiukrep napovedala 50-odstotne carine na ameriške žgane pijače, na kar je ameriški predsednik odgovoril z napovedjo kar 200-odstotnih carin na evropske šampanjce in vina. 31 Glej Hondius in Grigoleit, 2011, strani 8–10. 32 Glej Samec Berghaus in Drnovšek, 2020, strani 495 in 496. 33 Ohranitev poslovnega namena s prilagoditvijo vsebine pogodbe lahko pojasnimo na primeru najemnine za stanovanje, ki vključuje materialne stroške. Stranki skleneta najemno pogodbo za stanovanje za obdobje petih let. Glede na trenutne povprečne stroške, ki znašajo približno 200 EUR mesečno, se dogovorita za mesečno najemnino v višini 500 EUR. Po enem letu pride do velike energetske krize, tako da se materialni stroški stanovanja povečajo najprej na 400 EUR, kasneje pa za določen čas celo presežejo vrednost 500 EUR. V konkretnem primeru vidimo, da se zgolj ob sorazmernem zvišanju najemnine skladno z načelom pravičnosti ponovno vzpostavi pogodbeno ravnovesje in ohrani prvotni poslovni namen pogodbenih strank (enotno določena višina najemnine, ki poleg najema vključuje tudi kritje materialnih stroškov). K. Drnovšek: Doktrina o spremenjenih okoliščinah in izzivi prilagodljivosti pametnih pogodb 209, Definitions and Model Rules of European Private Law). Vsi analizirani mednarodni pravni akti vključujejo doktrino o spremenjenih okoliščinah, pri čemer je vprašanje spremenjenih okoliščin v PICC urejeno v členih 6.2.1, 6.2.2 in 6.2.3 pod naslovom »Hardship«, v PECL v členu 6:111 z naslovom »Change of Circumstances« in v DCFR v členu III.-1:110 z naslovom »Sprememba ali prenehanje s strani sodišča v primeru spremembe okoliščin«.34 Vse ureditve poudarjajo, da mora prizadeta stranka izpolniti svojo pogodbeno obveznost tudi v primeru, če izpolnitev postane otežena (ang. onerous), izjema pa je dopustna v primeru, če izpolnitev postane prekomerno otežena (ang. excessively onerous).35 Vezano na vprašanje raziskovalne teze lahko ugotovimo, da ureditve v vseh treh analiziranih mednarodnih pravnih aktih določajo možnost zahtevka za sodno prilagoditev pogodbe, dodatno pa velja izpostaviti, da vse ureditve kot predpogoj za uveljavljanje sodne intervencije določajo obveznost ponovnih pogajanj (ang. renegotiation). Za vse ureditve torej velja, da lahko sodišče v primeru spremenjenih okoliščin na podlagi zahtevka stranke prilagodi vsebino pogodbenega razmerja. Obveznost lahko prilagodi na različne načine, npr. da zviša ali zniža pogodbeno ceno, določi večjo ali manjšo količino blaga, ki naj bi bilo dobavljeno, podaljša rok izpolnitve, ipd. V vsakem primeru pa mora biti nova obveznost razumna in poštena v novih okoliščinah in ne sme odpirati novih težav ali krivičnosti.36 V okviru raziskave ureditev v različnih evropskih državah so bile analizirane pravne ureditve v naslednjih državah: Slovenija, Nemčija, Francija, Italija, Švica, Španija, Belgija, Estonija, Romunija, Srbija, Hrvaška, Portugalska, Nizozemska, Poljska, Češka, Slovaška, Danska, Švedska in Madžarska, prav tako pa so bile analizirane tudi značilnosti angleškega prava. Uvodoma lahko ugotovimo, da je splošna razlika med pristopom kontinentalnega prava in pristopom common law37 razvidna tudi glede vprašanja spremenjenih okoliščin. Angleško pravo je preko zadeve Paradine proti Jane38 iz leta 1647 sprva uveljavilo absolutno odgovornost za izpolnitev pogodbe (ang. doctrine of absolute 34 Ang. Variation or termination by court on a change of circumstances. 35 Dolžnik obveznosti ni dolžan izpolniti, če izpolnitev postane tako otežena, da bi bilo vztrajanje pri obveznosti v nasprotju z načelom pravičnosti. Podrobneje glej Komentar DCFR, 2009, stran 741. 36 Komentar DCFR, 2009, stran 741. 37 Izraz common law se v ožjem pomenu nanaša na pravo in običaje kraljevih sodišč, ki so v času po normanski osvojitvi Anglije leta 1066 postopoma nadomestili lokalno pravo in običaje dotedanjih lokalnih sodišč. S tem, ko so se odločitve kraljevih sodišč zapisovale in objavljale, se je na angleških sodiščih razvila praksa citiranja in argumentiranja predhodnih odločitev. Na ta način so predhodne odločitve pridobile argumentativno ali celo zavezujočo moč. Glej Baker, 2019, strani 46–47. 38 Paradine v. Jane (1647) Aleyn 26; 82 E.R. 897. 210 OD ALGORITMA DO PRAVA. contracts). Kljub temu pa je sodna praksa sčasoma razvila določene izjeme. Za eno izmed njih šteje tudi doktrina frustration, ki ureja vprašanje izjalovitve pogodbe oziroma izjalovitve pogodbenega namena. Kot klasičen primer uporabe doktrine frustration se ponavadi navaja precedenčna zadeva Krell proti Henry39 iz leta 1903. Gospod Henry je sklenil pogodbo za najem stanovanja, da bi si ogledal slovesnost kronanja kralja Edvarda VII. Čeprav zaradi kraljeve bolezni do dogodka ni prišlo (in gospod Henry stanovanja ni mogel uporabiti za namen, zaradi katerega je stanovanje najel), je najemodajalec zahteval plačilo (celotne) najemnine. Sodišče je zahtevek za plačilo najemnine zavrnilo z argumentom izjalovitve pogodbenega namena (ang. frustration of purpose), čeprav namen (ogled slovesnosti kronanja kralja Edvarda VII) v pogodbi ni bil izrecno naveden. Kljub relativno obetavnemu začetku pa angleška sodišča doktrino frustration uporabljajo zelo zadržano, kar izhaja tudi iz zadeve Canary Wharf Group proti EMA40 iz leta 2019, ki se nanaša na vprašanje izjalovitve namena najemne pogodbe kot posledice brexita in zadeve Salam Air SAOC proti Latam Airlines Groups SA41 iz leta 2020, ki se nanaša na vprašanje izjalovitve namena najema letal v času pandemije covida-19. Vezano na raziskovalno tezo je treba poudariti, da doktrina frustration omogoča zgolj razvezo pogodbe. Ne glede na naravo in obseg izjalovitve pogodbene obveznosti angleška sodišča torej nimajo pristojnosti, da bi pogodbo spremenila oziroma prilagodila in na ta način posegla v vsebino pogodbenega razmerja.42 V povezavi z ureditvijo v angleškem pravu lahko zaključimo, da vprašanje sodne prilagodljivosti pogodb nima večjega pomena, saj ureditev ne omogoča sodne prilagoditve pogodbenega razmerja. Na drugi strani pa lahko v pravnih ureditvah preostalih analiziranih držav zaznamo drugačen trend. Uvodoma lahko ugotovimo, da je doktrina o spremenjenih okoliščinah vsebinsko upoštevana v prav vseh analiziranih državah in da je v veliki večini držav tudi zakonsko urejena. Vprašanje spremenjenih okoliščin ni zakonsko urejeno le v Švici, Avstriji, Španiji in Slovaški, pri čemer sodišča v teh državah odločitve v povezavi s spremembo okoliščin utemeljujejo na načelih pogodbenega prava in primerjalnopravnih ureditvah. Zaradi uporabe v sodni praksi in pomena instituta pa se tudi v teh državah pojavljajo težnje po zakonski regulaciji.43 39 Krell v. Henry [1903] 2 K.B. 740 (C.A.). 40 Canary Wharf (BP4) T1 Ltd v European Medicines Agency [2019] EWHC 335 (Ch). 41 SAOC v Latam Airlines Group SA [2020] EWHC 2414. 42 Tako Schramm, 2018, stran 31; Baranauskas in Zapolskis, 2009, stran 203. 43 Osnutek novega splošnega dela obligacijskega zakonika oziroma t. i. »Schweizer Obligationenrecht 2020« so pripravili znanstveniki z različnih švicarskih fakultet kot odgovor na nepopoln, preveč podroben in notranje neusklajen splošni del zakonika. Osnovni cilj predlagateljev je bil, da se Obligacijski zakonik povzdigne na raven sodobne švicarske sodne prakse in pravne teorije ter evropskega in mednarodnega prava. Nastal je osnutek prenove členov K. Drnovšek: Doktrina o spremenjenih okoliščinah in izzivi prilagodljivosti pametnih pogodb 211, Druga bistvena razlika v primerjavi z angleškim pravom pa je ta, da velika večina analiziranih ureditev poleg zahtevka za sodno razvezo pogodbe dopušča ali celo izrecno določa tudi možnost zahtevka za sodno spremembo oziroma prilagoditev pogodbe. Izmed vseh analiziranih ureditev le ureditve v Italiji, Srbiji in Sloveniji sledijo načelu »vse ali nič« ter sodiščem podeljujejo zgolj pristojnost za razvezo pogodbe, ne pa tudi za spremembo oziroma prilagoditev pogodbene vsebine. Čeprav ureditve v Italiji, Srbiji in Sloveniji ne omogočajo sodne spremembe pogodbe, lahko v vseh treh državah zaznamo pobude za potrebne spremembe, ki so izražene na različne načine. V Italiji je vprašanje spremenjenih okoliščin urejeno v 1467. členu Codice Civile.44 Leta 2019 je bil pripravljen osnutek sprememb civilnega zakonika (legge delega no. 115145), v okviru katerega je bil podan tudi predlog nove ureditve vprašanja spremenjenih okoliščin na način, da lahko sodišče (ob neuspešnih ponovnih pogajanjih) tudi prilagodi pogodbo in na ta način ponovno vzpostavi ekonomsko ravnovesje med obveznostmi na način, kot sta se stranki prvotno dogovorili (it. proporzione tra le prestazioni originariamente convenute dalle parti).46 Ureditvi v Srbiji in Sloveniji sta si vsebinsko zelo podobni, ker obe državi ohranjata ureditev iz bivše skupne države Jugoslavije. Gre za ureditev iz Zakona o obligacijskih razmerjih,47 ki je bil na osnovi italijanske in nemške ureditve sprejet leta 1978. V Srbiji je vprašanje spremenjenih okoliščin urejeno v členih od 133 do 136 srbskega Zakona o obligacijskih razmerjih,48 v Sloveniji pa v členih od 112 do 115 Obligacijskega zakonika.49 Čeprav obe ureditvi dopuščata zgolj sodno razvezo pogodbe, pa so v obeh državah vse glasnejše težnje za spremembo na način, da bi imela sodišča tudi pristojnost za spremembo oziroma prilagoditev pogodbene vsebine. V Srbiji je bila sprememba v tej smeri predlagana v osnutku civilnega zakonika Srbije,50 v Sloveniji pa je do tovrstnih pobud prišlo predvsem v povezavi z obravnavo najemnih razmerij v času pandemije covida-19.51 1 do 183 Obligationenrecht (v nemškem, francoskem, italijanskem in angleškem jeziku), ki je bil objavljen skupaj s komentarjem. Glej Huguenin in Hilty, 2013. 44 Codice Civile, Testo del Regio Decreto 16 marzo 1942, n. 262, s spremembami in dopolnitvami do št. 41/2023. 45 Disegno di legge (d.d.l.) delega n. 1151 del 2019, Delega al Governo per la revisione del codice civile. 46 Povzeto po Sirena in Patti, 2020, stran 14. 47 Uradni list SFRJ, št. 29/78, 39/85, 45/89 – odl. US, 57/89, Uradni list RS, št. 88/99 – ZRTVS-B, 83/01 – OZ, 30/02 – ZPlaP in 87/02 – SPZ. 48 Zakon o obligacionim odnosima, Službeni list SFRJ (Закон о облигационим односима, »Службени лист СФРЈ«, бр. 29 од 26. маја 1978, 39 од 28. јула 1985, 45 од 28. јула 1989 – УСЈ, 57 од 29. септембра 1989, »Службени лист СРЈ«, број 31 од 18. јуна 1993, »Службени гласник РС«, број 18 од 3. марта 2020). 49 Uradni list RS, št. 97/07 – uradno prečiščeno besedilo, 64/16 – odl. US in 20/18 – OROZ631. 50 Prednacrt Građanskog Zakonika Republike Srbije (Преднацрт Грађанског законика Републике Србије), dostopno na: https://shorturl.at/G5nRE. 51 Podrobneje o neuporabnosti instituta spremenjenih okoliščin v slovenskem pravu v času pandemije covida-19 glej Samec Berghaus in Drnovšek, 2020. K. Drnovšek: Doktrina o spremenjenih okoliščinah in izzivi prilagodljivosti pametnih pogodb 213, 212 OD ALGORITMA DO PRAVA. Na drugi strani pa lahko ugotovimo, da ureditve v vseh preostalih analiziranih evropskih državah (Nemčija, Francija, Švica, Španija, Belgija, Estonija, Romunija, Hrvaška, Portugalska, Nizozemska, Poljska, Češka, Slovaška, Danska, Švedska in Madžarska) izrecno ali preko sodne prakse dopuščajo (tudi) možnost zahtevka za sodno spremembo oziroma prilagoditev pogodbenega razmerja. Trend v smeri sodne prilagodljivosti pogodbenega razmerja je še posebej razviden v zadnjih letih, saj je bila ta možnost izrecno urejena v vseh spremembah zakonskih ureditev analiziranih držav, do katerih je prišlo v zadnjih tridesetih letih.52 Glede na to, da ureditve velike večine analiziranih evropskih držav kontinentalnega sistema določajo možnost zahtevka za sodno spremembo pogodbe in da se potreba po zakonski spremembi v tej smeri izpostavlja tudi v vseh drugih analiziranih državah,53 lahko zaključimo, da sodobni trendi pogodbenega prava v analiziranih državah v celoti težijo k možnosti zahtevka za sodno spremembo oziroma prilagoditev pogodbe. Prav tako lahko ugotovimo, da so spremembe glede posledic nastanka spremenjenih okoliščin večinoma usmerjene v rešitve, ki so določene v mednarodnih pravnih aktih. Vse več nacionalnih ureditev namreč določa dolžnost ponovnih pogajanj kot procesno predpostavko za sodno uveljavljanje (razveze ali spremembe pogodbe). Šele če stranki v razumnem roku ne uspeta doseči soglasja, pride v poštev zahtevek za sodno intervencijo.54 V več ureditvah lahko zaznamo tudi težnje po primarnosti prilagoditve pogodbe pred njeno razvezo.55 Primarnost zahtevka za prilagoditev pogodbe večinoma izhaja iz samega namena instituta in drugih načel pogodbenega prava, v določenih primerih pa je celo izrecno določena v samem zakonu, kar recimo velja za ureditev v Estoniji. Skladno s 97. členom Võlaõigusseadus56 lahko stranka v primeru nastanka spremenjenih okoliščin zahteva prilagoditev pogodbe na način, da se ponovno vzpostavi prvotno ravnovesje med pogodbenimi obveznostmi. Šele v primeru, če prilagoditev pogodbe ni mogoča ali ni ustrezna upoštevajoč interese druge stranke, lahko stranka odstopi od pogodbe oziroma lahko sodišče takšno pogodbo razveže.57 V večini primerov je sodišče vezano na zahtevek stranke in v primeru, če stranka ne postavi ustreznega zahtevka, 52 Na ta način je bila doktrina o spremenjenih okoliščinah na novo regulirana v Litvi in Estoniji leta 2001, Nemčiji leta 2002, v Romuniji leta 2011, na Češkem in Madžarskem leta 2014, v Franciji leta 2016 in v Belgiji leta 2023. 53 Potreba po spremembi je bila izražena v Italiji, Srbiji in Sloveniji. 54 Ureditve se deloma razlikujejo glede vprašanja, katera stranka lahko zahteva spremembo ali razvezo pogodbe (obe stranki ali zgolj prizadeta stranka). 55 Primarno si je tako potrebno prizadevati za prilagoditev pogodbe, saj ta bolj ustreza načelu zvestobe pogodbi. Tako Bollenberger v KommABGB, 2007, stran 883. 56 Võlaõigusseadus, Vastu võetud 26. september 2001, RT I 2001, 81, 487 jõustumine s spremembami in dopolnitvami, dostopno na: https://shorturl.at/Ys5cE. 57 Glej tudi Kull, 2001, stran 51. tega zavrne. Drugače pa je recimo določeno v romunski ureditvi, kjer lahko sodišče ne glede na zahtevek stranke pogodbo spremeni ali razveže, pri čemer je razveza dopustna samo v primeru, če pogodbe ni mogoče prilagoditi na način, da bi se tveganje pravično prerazporedilo med pogodbeni stranki.58 Na podlagi analize relevantnih mednarodnih pravnih aktov in pravnih ureditev več kot dvajsetih pomembnejših evropskih držav, lahko sklenemo, da je doktrina o spremenjenih okoliščinah v določeni obliki prisotna v prav vseh ureditvah. Praktično povsem enoten pa je tudi odgovor glede vprašanja sodne prilagodljivosti pogodb. Za vse analizirane ureditve, razen za angleško pravo, namreč velja, da omogočajo zahtevek za sodno prilagoditev pogodbenega razmerja oziroma izkazujejo težnje za spremembo v tej smeri. Pri tem je zahtevek za spremembo v več državah določen kot prednostna možnost, zahtevek za razvezo pa je dopusten samo, če sprememba oziroma prilagoditev ni mogoča. Dejstvo, da angleško pravo temu trendu (še) ne sledi, je pričakovano, saj lahko za ureditve v državah common law že a priori pričakujemo večji odpor do možnosti sodnega poseganja v voljo pogodbenih strank, ker veliko bolj temeljijo na načelu svetosti pogodbe (ang. sanctitiy of contract). Na podlagi opravljene analize sodnih ureditev lahko zaključimo, da ima sodna prilagodljivost pogodbenega razmerja v primeru nastanka spremenjenih okoliščin v sodobnem pogodbenem pravu evropskih držav velik pomen. 3 Splošno o pametnih pogodbah in umetni inteligenci Pametna pogodba in umetna inteligenca se uvrščata med sodobne tehnološke rešitve. Temeljita na naprednih računalniških algoritmih in omogočata digitalizacijo in avtomatizacijo različnih procesov. Čeprav se zdi, da sta se oba pristopa začela uporabljati šele v zadnjih letih, pa temu ni tako. Znanstvene koncepte, ki se nanašajo na avtomatizacijo procesov in posnemanje človeške inteligence, namreč lahko zasledimo že v zgodnjih obdobjih zgodovine.59 Izraz umetna inteligenca je bil prvič uradno uporabljen na konferenci Dartmouth leta 1956, ko je skupina raziskovalcev začela razvijati ideje o tem, kako bi stroji lahko posnemali človeško inteligenco.60 58 Tako Urs in Ispas, 2014, stran 19. 59 O prednostih avtomatiziranega sklepanja pogodb so recimo razmišljali že v času pred našim štetjem, saj za prvi poznani prodajni avtomat štejemo napravo za samopostrežbo svete vode iz Aleksandrije, ki je vernike proti plačilu (vstavitvi kovanca) poškropil s sveto vodo. V Evropi so prodajne avtomate najprej poznali v 19. stoletju, pri čemer so jih uporabljali predvsem za nakup tobačnih izdelkov, razglednic, znamk in knjig. Glej Higuchi, 2007, stran 5. 60 Allen Newell in Herbert Simon, kognitivna znanstvenika, ki sta sodelovala na konferenci, sta predlagala, da človeška inteligenca v osnovi temelji na obdelavi podatkov. Če so ljudje inteligentni zaradi svoje sposobnosti obdelave podatkov in simbolične reprezentacije, bi bilo morda mogoče računalniške sisteme opremiti z enako K. Drnovšek: Doktrina o spremenjenih okoliščinah in izzivi prilagodljivosti pametnih pogodb 215, 214 OD ALGORITMA DO PRAVA. Izraz pametna pogodba pa je uvedel Nick Szabo, znanstvenik na področju prava in računalništva leta 1994, ko je z njim poimenoval pogodbe, ki se sklenejo v digitalni obliki in ki se s pomočjo informacijske tehnologije ob izpolnitvi vnaprej določenih pogojev avtomatično izpolnijo.61 Čeprav beseda »pamet« šteje za enega izmed pomenov besede »inteligenca« in čeprav bi glede na pomen besednih zvez lahko sklepali, da se v primeru pametnih pogodb nanašata na isto vsebino, pa temu ni tako. Izraz pametna pogodba namreč ne pomeni, da pogodba vključuje umetno inteligenco. Beseda »pametna« ponazarja zgolj večjo uporabno vrednost tovrstnih pogodb v primerjavi s klasičnimi (papirnatimi) pogodbami zaradi možnosti avtomatične izpolnitve.62 Glede na to, da pametne pogodbe niso »pametne« v smislu mišljenja, učenja ali sprejemanja odločitev, teorija izpostavlja, da poimenovanje ni ustrezno, saj ustvarja iluzijo glede njihove vsebine.63 Pridevnik »pametna« je tudi daleč od resničnosti, če pomislimo na vsa pravila sklepanja pogodb, ki so lahko kršena, pa se bo pogodba vseeno avtomatično izvršila.64 Čeprav je sklepanje pogodb v digitalni obliki možno že kar nekaj časa, se je uporabna vrednost pametnih pogodb začela poudarjati šele z razvojem tehnologije veriženja podatkovnih blokov. Ta namreč omogoča, da se določen dogovor (pametna pogodba) ob izpolnitvi vnaprej določenih pogojev avtomatično izvrši na vnaprej predviden način.65 Pametno pogodbo na področju pogodbenega prava definiramo kot dogovor pogodbenih strank v obliki računalniške kode, ki omogoča računalniško analizo in avtomatično izpolnitev v trenutku, ko se izpolnijo vnaprej določeni pogoji.66 S trenutkom, ko je pametna pogodba vključena v potrjen podatkovni blok, sposobnostjo. Cilj konference je bil, kako omogočiti, da bi bili stroji sposobni reševati (praktične) probleme na način, kot so jih v tistem času lahko reševali samo ljudje. Glej de Kleijn, 2022, stran 31. 61 Glej Szabo, 1994. 62 »I call these new contracts "smart", because they are far more functional than their inanimate paper-based ancestors. No use of artificial intelligence is implied«. Tako Szabo, 1996. 63 Tako Samec Berghaus in Drnovšek, 2018, stran 27, glej tudi Surden, 2024, stran 37. 64 Glej Samec Berghaus in Drnovšek, 2018, strani 27 in 28. Kot primer lahko navedemo sklenitev pametne zavarovalne pogodbe za primer suše, na podlagi katere bo zavarovanec prejel zavarovalnino, če količina padavin v določenem časovnem obdobju ne bo presegla vnaprej določene vrednosti. Pametna pogodba bo od zunanjega, zaupanja vrednega vira (na primer Agencije Republike Slovenije za okolje) pridobila informacijo o količini padavin v določenem obdobju. Če bo količina padavin nižja od dogovorjene mejne vrednosti, se bo pametna pogodba avtomatično izpolnila, in sicer tako, da se bo izvedlo nakazilo zavarovalnine na transakcijski račun zavarovanca. 65 Glej Hsiao, 2017, stran 687; Mik, 2017, stran 270, Raskin, 2017, stran 315. Računalniška koda temelji na logiki če/potem (ang. if/then concept), ki predstavlja osnovno pravilo v programiranju in odločanju. Koda deluje na način, da se določen pogoj (ang. if) preveri in če je ta pogoj izpolnjen, se (avtomatično) izvede določena akcija (ang. then). Na primer: »Če se zgodi X, prenesi znesek Y z javnega naslova A na javni naslov B.«. Glej tudi Mik, 2017, stran 277. 66 Glej Drnovšek, 2018, stran 730; Raskin, 2017, stran 310. je časovno ožigosana in je ni več mogoče spremeniti, zaustaviti ali preklicati.67 Posledice se lahko odpravijo zgolj s sklenitvijo novega dogovora, za kar pa morata stranki skleniti novo pametno pogodbo.68 Zaradi navedenih značilnosti morata stranki pametno pogodbo skleniti v posebnem okolju, ki deluje decentralizirano in onemogoča kakršne koli zunanje posege.69 Čeprav pametne pogodbe omogočajo avtomatično izpolnitev pogodbenega dogovora, pa njihova sklenitev ni mogoča brez soglasja volj pogodbenih strank. Poslovno voljo za sklenitev pravno zavezujočega posla lahko namreč oblikujejo zgolj ljudje in ne računalniki, zato pogodba v pravnem smislu vedno obstaja ločeno od tehničnega pojma pametne pogodbe, izvedene v obliki računalniške kode.70 Pametne pogodbe lahko sklepamo na način, da je pogodba v tradicionalni obliki sklenjena vzporedno (ustno ali pisno) in je v računalniško kodo pretvorjeno zgolj določeno pogodbeno določilo, ki skrbi za samodejno izpolnitveno dejanje, ali na način, da je vsebina pogodbenega razmerja v celoti pretvorjena in je zapisana izključno v obliki računalniške kode.71 V primeru vzporedne sklenitve pogodbe torej stranki z računalniško kodo definirata zgolj izpolnitveno ravnanje (npr. skleneta pisno posojilno pogodbo in v obliki pametne pogodbe (dogovora) v obliki računalniške kode zapišeta avtomatično vračilo posojila po vnaprej določenih obrokih v trenutku, ko bo na transakcijskem računu znesek v določeni višini). Na drugi strani pa lahko stranki celotno pogodbeno razmerje opredelita izključno v obliki računalniške kode oziroma pametne pogodbe. Pametna pogodba torej ni nova oziroma posebna vrsta pogodbenega razmerja, temveč gre za klasičen dogovor med pogodbenima strankama, ki je vključen v decentralizirano platformo veriženja podatkovnih blokov in zapisan na način, ki omogoča avtomatično izpolnitev. Ne glede na to, ali stranki pametno pogodbo skleneta izključno v obliki računalniške kode ali ne, se za (pravno) presojo konkretnega razmerja uporabijo klasična pravila pogodbenega prava.72 Tudi pri pametnih pogodbah se za sklenitev pogodbenega razmerja zahteva izpolnjevanje 67 Ko je pametna pogodba enkrat sklenjena, na njeno vsebino ni več mogoče vplivati niti v primeru, če bi se s spremembo ali razvezo pogodbe strinjali obe pogodbeni stranki. Zaradi decentralizirane narave tehnologije veriženja podatkovnih blokov v vsebino dogovora med strankama ne more poseči niti sodišče niti drug državni organ, recimo v vlogi »varuha zakonitosti«. 68 Glej Kiviat, 2015, stran 579. 69 Najbolj znana okolja za sklepanje pametnih pogodb so Ethereum, Polkadot, Ripple in Tron. 70 Tako Damjan, 2020, stran 107. 71 Glej Zahrastnik, 2022, stran 16. 72 Glej Drnovšek, 2018, stran 747, Maydanyk, 2024, strani 18–20, Damjan, 2020, stran 107. 216 OD ALGORITMA DO PRAVA. vseh predpostavk za veljavnost pravnih poslov, edina razlika napram tradicionalni obliki je v tem, da je faza izpolnitve pogodbenih obveznosti neodvisna od volje oziroma ravnanj pogodbenih strank.73 Če stranki pogodbo skleneta izključno v obliki računalniške kode, svoje soglasje s pogodbeno vsebino in hkrati tudi z izpolnitvijo pogodbene obveznosti podata že s potrditvijo zapisa pametne pogodbe v podatkovni blok. Čeprav so pametne pogodbe sklenjene v posebnem decentraliziranem okolju, se lahko povežejo tudi z realnim svetom. To omogočajo posebni agenti, za katere uporabljamo izraz oraklji (ang. oracles). Oraklji so posebna tehnična infrastruktura, ki preverja podatke v resničnem svetu in jih posreduje v verigo blokov.74 Glede na vir zunanjih podatkov ločimo: programske oraklje (ang. software oracles), strojne oraklje (ang. hardware oracles) in človeške oraklje (ang. human oracles).75 Za vse oraklje pa je ključno, da so zunanji, zaupanja vredni neodvisni viri, ki pametnim pogodbam omogočajo dostop do podatkov iz realnega sveta.76 S tem ko pametna pogodba tekoče pridobiva zunanje podatke, se lahko nanje tudi pravočasno in ustrezno odziva. Čeprav pametne pogodbe z vključitvijo orakljev pridobijo določene značilnosti dinamičnih pametnih pogodb (ang. dynamic smart contracts), so zgolj omejeno prilagodljive. Prilagodljivost se namreč nanaša zgolj na upoštevanje objektivno merljivih podatkov, ne pa tudi na njihovo obdelavo ali analizo in na možnost samostojnega prilagajanja pogodbene vsebine. Poudariti velja, da so nekateri že v času razvoja pametnih pogodb izpostavljali, da bo razvoj umetne inteligence odpravil to pomanjkljivost in omogočil, da bodo pametne pogodbe na podlagi obdelave in analize podatkov ter sprejemanja odločitev lahko delovale povsem samostojno in neodvisno.77 Medtem ko pametne pogodbe delujejo deterministično (njihove operacije se izvajajo na podlagi vnaprej določenih pravil), umetna inteligenca temelji na realnočasovni obdelavi vhodnih podatkov. Učenje iz podatkov oziroma preteklih ravnanj umetni 73 Máté, 2023, stran 70. 74 Tako Damjan, 2020, stran 111. 75 Tako Beniiche, 2020, stran 1. 76 Glej Drnovšek, 2018, stran 732; Virovets et. al, 2024, stran 40. Kot primer lahko navedemo platformo Etherisc, ki omogoča, da pametna (zavarovalna) pogodba preko oraklja Provable (Oraclize) pridobiva podatke o letalskih zamudah iz zunanjih javnih baz podatkov. Če so izpolnjeni pogoji iz zavarovalne police, pametna (zavarovalna) pogodba ob zamudi letalskega leta samodejno izvede plačilo zavarovalnine. 77 »We believe that this shortage of smart contract will be removed with the development and application of artificial intelligence. The use of advanced artificial intelligence will allow a smart contract to «live independently», by allowing the software to evaluate the circumstances of a particular case, evaluate certain contractors’ behaviours, make decisions on suspending some or introducing other clauses etc.« (tako Radić in Pilipović, 2020, stran 121). K. Drnovšek: Doktrina o spremenjenih okoliščinah in izzivi prilagodljivosti pametnih pogodb 217, inteligenci omogoča prilagajanje in sprejemanje odločitev na podlagi prepoznanih vzorcev. Umetna inteligenca zajema širok nabor konceptov in izrazov, zato jo je v celoti praktično nemogoče zajeti z eno samo definicijo. Marvin Minsky, matematik, računalniški znanstvenik in pionir na področju umetne inteligence, jo je kot eden prvih znanstvenikov na tem področju opredelil kot »znanost o tem, kako narediti stroje sposobne izvajati naloge, za katere bi bila sicer potrebna inteligenca, če bi stroje upravljali ljudje«.78 Leta 1978 jo je Richard Bellman definiral kot »avtomatizacijo dejavnosti, ki jih povezujemo s človeškim razmišljanjem, kot so sprejemanje odločitev, reševanje problemov, učenje, ustvarjanje, igranje iger itd.«. V novejšem času pa jo je Nils J. Nillson opisal kot »dejavnost, posvečeno ustvarjanju inteligentnih strojev, pri čemer je inteligenca lastnost, ki subjektu omogoča, da ustrezno in preudarno deluje v svojem okolju«. Ugotovimo lahko, da v teoriji ne obstaja splošno sprejeta definicija umetne inteligence, kljub temu pa je različnim opredelitvam skupno, da vključujejo pojme, ki so značilni za človeško inteligenco in sicer prepoznavanje, razmišljanje, učenje in prilagajanje.79 Računalniška koda (umetna inteligenca) lahko pridobi značilnosti človeške inteligence preko posebnega sistema, imenovanega strojno učenje (ang. machine learning). Gre za sistem, ki računalnikom omogoča, da se učijo iz vhodnih podatkov in izboljšujejo svoje delovanje brez izrecnega programiranja. Omeniti velja predvsem dve temeljni tehniki strojnega učenja, ki pa se v svoji strukturi in načinu delovanja precej razlikujeta, in sicer: odločitveno drevo (ang. decision tree) in nevronske mreže (ang. neural networks). Odločitveno drevo je graf oziroma risba, ki nam služi kot navodilo za odločanje. Beseda »drevo« v imenu sporoča, da je graf sestavljen iz vej in je zato po videzu podoben drevesu.80 S tem ko graf v obliki drevesa vnesemo v računalnik (ki pozna trenutne vrednosti vseh atributov),81 se lahko računalnik samostojno odloča skladno z vnesenimi podatki in sprejme končno odločitev.82 Na drugi strani pa nevronske mreže veljajo za bolj kompleksen model strojnega učenja. Zasnovane so tako, da posnemajo človeške možgane. Sestavljene so iz velikega števila medsebojno povezanih vozlišč oziroma nevronov, pri čemer vsak od teh nevronov prevaja vhodne podatke in ustvarja izhodne podatke, ki so usmerjeni na druge nevrone v mreži. 78 »AI is the science of making machines do things that would require intelligence if done by men.« (tako Marvin Minsky). 79 Povzeto po Häuselmann, 2024, stran 44. 80 Ker odločitvena drevesa rišemo od zgoraj navzdol, je slika v resnici bolj podobna koreninam drevesa. 81 Beseda »atribut« v strokovnem jeziku umetne inteligence pomeni odločilni dejavnik. Glej Ploj, 2016, stran 8. 82 Prav tam, stran 8. K. Drnovšek: Doktrina o spremenjenih okoliščinah in izzivi prilagodljivosti pametnih pogodb 219, 218 OD ALGORITMA DO PRAVA. Namesto da bi bil vsak korak ročno kodiran, sistem umetne inteligence prepoznava vzorce v obdelanih podatkih in na podlagi teh vzorcev sprejema odločitve ali napovedi. Reševanje problemov se sčasoma izboljšuje, saj pri sprejemu odločitev in prepoznavi vzorcev upošteva tudi pretekle odločitve.83 Sklenemo lahko, da umetna inteligenca deluje na podlagi obdelave velike količine podatkov, ki jo ustrezno preuči. Iz podatkov se nauči vzorcev, na podlagi katerih lahko samostojno sprejema odločitve za reševanje konkretnih problemov. Za pravno analizo vpliva umetne inteligence na različna pravna področja je bistveno predvsem to, da je umetna inteligenca krovni izraz za tehnologijo, ki ima lastnosti, ki so na videz podobne delovanju človeških možganov oziroma človeškemu mišljenju.84 Izraz umetna inteligenca tako lahko (vsaj v kontekstu pravne analize) primerjamo s pojmom inteligence, ki jo pripisujemo človeku. Človek svojo inteligenco uporablja v zelo različnih situacijah, na primer ob vožnji avtomobila, pisanju besedil ali sklepanju pogodbenih razmerjih. Vsem navedenim situacijam je skupno, da človek s svojimi čutili sprejema zunanje podatke ter na podlagi njihove obdelave, učenja, preteklih izkušenj in prepoznavanja vzorcev sprejema odločitve in rešuje probleme (npr. prilagajanje vožnje cestnoprometnim predpisom, odločitev o vsebini pogodbenega razmerja ipd.). Modeli umetne inteligence lahko vključujejo vmesnike za zbiranje različnih podatkov iz realnega sveta, ki so avtomatično strukturirani za nadaljnje spremljanje in analizo.85 Dandanes lahko uporabo umetne inteligence srečamo že praktično na vsakem koraku. Med splošno znana orodja lahko navedemo orodja za generiranje naravnega besedila in odgovarjanje na vprašanja (npr. ChatGPT), pametne asistente za prepoznavanje govora in izvajanje ukazov (npr. Siri, Alexa), orodja za prevajanje (npr. DeepL), orodja za grafično oblikovanje (npr. Canva AI), orodja za hitro analizo pravnih dokumentov (npr. Kira Systems) ipd. Praktično vsa navedena orodja umetne inteligence lahko uporabljamo tudi na področju pogodbenega prava. Z njihovo uporabo si lahko pomagamo pri oblikovanju pogodbene vsebine, analizi pomena posamezne določbe, pregledu in analizi sodne prakse, pregledu pravnih virov ipd. 83 Glej Patel, 2024, stran 3. 84 Tako Cerar, 2024, stran 83. 85 Glej Virovets et al., 2024, stran 41. 4 Vključitev umetne inteligence v pametne pogodbe V zadnjem času se vse več pozornosti namenja možnosti združevanja modelov umetne inteligence s tehnologijo veriženja podatkovnih blokov, za kar se je uveljavil izraz Blockchain inteligenca (ang. Blockchain intelligence).86 Zagovorniki velike upe polagajo v združitev pozitivnih lastnosti obeh tehnologij, pri čemer tehnologija veriženja podatkovnih blokov ponuja zanesljivo in decentralizirano infrastrukturo za shranjevanje podatkov, umetna inteligenca pa prispeva k odpravi omejitev struktur podatkovnih blokov, saj omogoča pridobivanje informacij in izvajanje nalog, ki zahtevajo različne oblike inteligence, kot so učenje, sklepanje, načrtovanje, samostojno odločanje in reševanje problemov.87 S tem ko lahko umetno inteligenco povežemo s tehnologijo podatkovnih blokov, jo lahko povežemo tudi s pametnimi pogodbami na decentraliziranih platformah. Na ta način lahko tudi de facto dobimo pametno pogodbo v pravem pomenu besede.88 Ker je pojem »pametna pogodba« tako v stroki kot tudi v znanosti že zelo zakoreninjen za »navadne pametne pogodbe«, se v teoriji za pametne pogodbe, ki vključujejo elemente umetne inteligence, uporablja izraz »inteligentne pogodbe« (ang. intelligent contracts).89 Integracija umetne inteligence v pametne pogodbe lahko okrepi njihove ključne prednosti in poveča njihovo uporabno vrednost. Med drugim umetna inteligenca omogoča izvajanje bolj zapletene logike, s čimer se pametnim pogodbam lahko izboljša prilagodljivost, uporabnost in učinkovitost.90 Kot konkreten primer raziskave glede prednosti inteligentnih pogodb lahko izpostavimo raziskavo glede odkrivanja ponarejenih izdelkov v spletni trgovini. Ugotovitve raziskave kažejo, da je z integracijo modelov strojnega učenja v pametne pogodbe raziskava dosegla višjo stopnjo odkrivanja in preprečevanja ponarejenih izdelkov, kar je prispevalo k večji varnosti spletne prodaje. Oblikovani modeli strojnega učenja namreč zagotavljajo prepoznavo specifičnih značilnosti izdelkov za odkrivanje ponaredkov, kar znatno zmanjšuje pojavnost ponarejenih izdelkov in skrajšuje čas njihove identifikacije. Poleg tega uporaba pametnih pogodb omogoča sprotno, avtomatizirano in takojšnjo prilagoditev vnaprej določenim pravilom in predpisom v okolju spletne trgovine.91 86 Tako Li et al., 2024, stran 6634; Zheng in Dai, 2019; Zheng et al., 2021, stran 2. 87 Glej Ouyang et al., 2022, stran 1. 88 Li et al., 2024, stran 6634. 89 »To make a distinction, this paper names this special type of SCs designed for blockchain-based AI tasks as Intelligent Contracts (ICs).«. Tako Ouyang et al., 2022, stran 2; Stathis et al., 2024, stran 1; Li et al., 2024, stran 6634; in Patel, 2024, stran 1. 90 Tako Li et al., 2024, stran 6634. 91 Glej Laxmaiah et al., 2024, strani 1150–1154. K. Drnovšek: Doktrina o spremenjenih okoliščinah in izzivi prilagodljivosti pametnih pogodb 221, 220 OD ALGORITMA DO PRAVA. Vključitev umetne inteligence v pametne pogodbe je lahko neposredna ali posredna. Za neposredno vključitev je značilno, da model umetne inteligence sprogramiramo v samo računalniško kodo, pri posredni vključitvi pa je zunanji modul umetne inteligence v pametno pogodbo vključen preko posrednika oziroma inteligentnega oraklja.92 Čeprav je vključitev umetne inteligence neposredno v pametno pogodbo (ang. on-chain) ustreznejša, ker zaradi zaprtosti sistema veriženja podatkovnih blokov odpravi vprašanje zaupanja zunanjemu viru, pa je takšna vključitev bistveno težje izvedljiva, saj zahteva tehnično izjemno zapleten postopek programiranja.93 Pri neposredni vključitvi je treba v računalniško kodo pametne pogodbe za vsak posamezen primer posebej sprogramirati celotno vsebino zmožnosti strojnega učenja oziroma modula umetne inteligence. Zaenkrat lahko v praksi zasledimo predvsem posamezne primere specializiranih omrežij, ki integrirano umetno inteligenco uporabljajo za ponavljajoče poslovne procese v okviru posameznih inteligentnih pogodbenih določil.94 Na drugi strani pa gre pri posredni vključitvi umetne inteligence za povsem enak način povezave z realnim svetom, kot smo ga pri pametnih pogodbah poznali pred integracijo umetne inteligence, saj je pametna pogodba preko orakljev iz realnega sveta že prej lahko pridobila zunanje podatke. V tem primeru se pametna pogodba preko oraklja poveže z že obstoječim zunanjim modulom umetne inteligence, ki lahko samostojno obdeluje in analizira velike količine vhodnih podatkov. Ker so modeli umetne inteligence zunaj verige blokov (ang. off-chain) izpostavljeni zunanjim vplivom, morajo delovati v zaupanja vrednem okolju. V zunanje module umetne inteligence se lahko vključuje različne vrste in količine podatkov, pri čemer posebni algoritmi omogočajo, da se umetna inteligenca na podlagi obdelanih podatkov tudi uči, razmišlja, samostojno rešuje probleme in sprejema odločitve.95 V primeru posredne vključitve pametna pogodba preko t. i. inteligentnega oraklja 92 Glej Ouyang et al., 2022, stran 5. 93 Tako Reshi et al., 2023, stran 2. V primeru neposredne vključitve je treba model umetne inteligence sprogramirati v samo verigo podatkovnih blokov. Kljub bistveno težji implementaciji pa je bistvena prednost v tem, da neposredna vključitev omogoča izračunavanje in izvajanje na verigi blokov, kar pomeni, da pametne pogodbe pridobijo ustrezne sposobnosti samostojnega zaznavanja, sklepanja, učenja in odločanja brez kakršne koli zunanje povezave oziroma možnosti zunanjega vpliva. Glej Ouyang et al., 2022, stran 5. 94 Rešitve za neposredno integracijo modelov umetne inteligence v verigo podatkovnih blokov in njihovo uporabo v pametnih pogodbah ponujata platformi Cortex in Matrix. Algoritem Proof of Intelligent Mining na platformi Matrix izkorišča umetno inteligenco za optimizacijo rudarjenja, kjer so transakcije in podatki samodejno obdelani z uporabo strojnega učenja. Delegated Proof of Stake pa je konsenzni mehanizem na platformi Cortex, kjer imetniki kriptovalut glasujejo za delegate, ki so zadolženi za validacijo transakcij in ustvarjanje novih blokov. To omogoča hitrejše in učinkovitejše delovanje omrežja ter odpravlja nekatere omejitve tradicionalnega Proof of Stake sistema. Povzeto po Virovets et al., 2024, stran 42. 95 Glej Patel, 2024, stran 3. pridobi že obdelane in analizirane podatke, ki jih zgolj preveri in oceni skladno z vnaprej določenimi pogoji ter rezultate zabeleži v verigo podatkovnih blokov.96 Poleg vključitve analitike ali napovedi umetna inteligenca zagotavlja tudi preverjanje objektivnosti oziroma točnosti podatkov, saj lahko podatke pridobiva in primerja iz različnih zunanjih virov.97 S tem ko umetno inteligenco vključimo v pametno pogodbo, lahko omogočimo, da se sposobnost obdelave in analize podatkov, učenja, razmišljanja, samostojnega reševanja problemov in sprejemanja odločitev prenese na samo pogodbo. Ključna razlika med pametno in inteligentno pogodbo je torej v tem, da lahko inteligentna pogodba na podlagi analizirane velike količine vhodnih podatkov samostojno sprejema odločitve in se na ta način prilagaja poslovnemu okolju. 5 Vloga umetne inteligence pri prilagodljivosti pametnih pogodb Glede na to, da se neprilagodljivost pametnih pogodb pogosto navaja kot ena izmed glavnih pomanjkljivosti, hkrati pa inteligentna pogodba z obdelavo in analizo velikih količin podatkov lahko samostojno sprejema odločitve, ki posnemajo človeško razmišljanje, se odpira vprašanje, kakšno vlogo ima umetna inteligenca pri povečanju prilagodljivosti pametnih pogodb. Uvodoma velja poudariti, da lahko stranke tudi brez vključitve umetne inteligence deloma vplivajo na prilagodljivost pametne pogodbe. Vseeno pa je ta možnost zelo omejena, saj morajo že ob sklenitvi pogodbe točno določiti vse pogoje kot tudi konkretno vsebino prilagoditve, kar pa je praktično neizvedljivo. Pametna pogodba se sicer prilagodi, vendar le ob točno določenem dogodku in za točno določeno vsebino (npr. avtomatično zvišanje najemnine za x, če se izpolni pogoj y).98 Glede na predstavljene značilnosti umetne inteligence pa bi stranki v inteligentni pogodbi klavzulo o spremenjenih okoliščinah lahko zapisali na opisni način, recimo da se v primeru razvrednotenja vrednosti denarja višina dogovorjenega plačila 96 Glej Ouyang et al., 2022, stran 5. 97 Virovets et al., 2024, stran 41. Primer inteligentnega oraklja je projekt Chainlink. Gre za decentralizirano orakeljsko omrežje verige podatkovnih blokov, ki temelji na platformi Ethereum. Vsak orakel v tem sistemu zbira podatke iz neodvisnih virov in jih primerja, da zagotovi njihovo točnost. 98 Kot primer lahko navedemo inkorporacijo valorizacijske klavzule v najemno pogodbo. Stranki se s pametno pogodbo, ki je zapisana izključno v obliki računalniške kode, dogovorita, da bo najemodajalec najemojemalcu vsak mesec plačal najemnino v višini 100 enot, pri čemer platforma omogoča avtomatično izpolnjevanje obveznosti. Stranki lahko preko oraklja v pametno pogodbo vključita podatek o letni inflaciji in vnaprej določita pogoj, da se mesečna najemnina zviša za 10 %, če inflacija v posameznem letu preseže stopnjo 10 %. 222 OD ALGORITMA DO PRAVA. primerno prilagodi. Gre za uporabo enostavnega pravnega standarda, katerega vsebino je potrebno določiti na podlagi konkretnih okoliščin posameznega primera.99 Izvedljivost avtomatične presoje enostavnega pravnega standarda lahko preizkusimo z uporabo prosto dostopnega orodja umetne inteligence ChatGPT. V orodje lahko zapišemo enostaven primer, da sta stranki leta 2005 sklenili pogodbo za mesečni odkup ene tone pšenice za 115 EUR, pri čemer sta se dogovorili, da se cena spreminja glede na razmere na trgu. Zanima nas, kolikšna bi morala biti primerna cena leta 2020, da bi se ohranil prvotni poslovni namen. Ugotovimo lahko, da ChatGPT iz dostopnih podatkov najprej ugotovi, da so povprečne cene pšenice odvisne od kakovostnega razreda. Leta 2005 je odkupna cena na tono za razred A znašala 112,7 EUR, za razred B 104,3 EUR in za razred C 96,3 EUR. Iz navedenega izpelje, da je povprečna cena tone pšenice v Sloveniji v letu 2005 znašala 105,93 EUR. Na enak način ugotovi, da so se leta 2020 odkupne cene pšenice v Sloveniji gibale med 146 in 153,7 EUR na tono, odvisno od kakovosti in časa odkupa. Končna rešitev, ki nam jo poda ChatGPT, je: »Ustrezna višina plačila za eno tono pšenice v letu 2020, ki bi ohranila prvotni poslovni namen strank, bi znašala približno 162,61 EUR.« Če bi stranki pametno pogodbo povezali s podobnim modulom umetne inteligence, bi na ta način lahko vnaprej omogočili avtomatično prilagodljivost višine mesečnih izplačil glede na spreminjajoče se tržne razmere. Ker lahko inteligentna pogodba obdela in analizira obsežno količino vhodnih podatkov, bi se polje samostojne prilagodljivosti lahko razširilo tudi na druge primere spremenjenih okoliščin. Kot primer lahko navedemo inteligentno najemno pogodbo, ki preko inteligentnega oraklja pridobiva podatke o različnih okoliščinah, ki vplivajo na najemna razmerja. Inteligentna pogodba bi na primer lahko samodejno spremenila višino najemnine, če bi po sklenitvi pogodbe prišlo do (bistvene) spremembe višine davka od oddajanja v najem.100 Z vključitvijo različnih modulov umetne inteligence bi inteligentne pogodbe lahko samostojno prilagajale svojo 99 V primeru opisne klavzule ni potrebno točno določiti vseh pogojev in predvidenih načinov ravnanja. Uporaba pravnega standarda »primerno prilagodi« namreč omogoča nešteto možnosti prilagoditev glede na nešteto možnosti sprememb okoliščin. Že na tem osnovnem primeru lahko namreč brez uporabe pravnega standarda pride do številnih nepravičnih situacij. Na eni strani lahko inflacija v posameznem letu vsako leto znaša (zgolj) 9,9 %, kar ne izpolnjuje pogoja za prilagoditev pogodbenega razmerja, čeprav je razlika do izpolnitve pogoja minimalna. Na drugi strani pa je inflacija v določenem letu zaradi izrednega dogodka lahko tudi bistveno višja od 10 %, recimo več sto odstotna, pa vendar se bo višina najemnine zaradi vnaprej določene posledice zvišala zgolj za 10 %. 100 Če se višina davka spremeni, to posega v položaj najemodajalca, ki za enak predmet pogodbe (oddaja nepremičnine v najem) dobi manjšo protivrednost (najemnino) kot v času, ko je sklenil pametno pogodbo. Če je sprememba bistvena, se poruši ravnovesje pogodbenih obveznosti. K. Drnovšek: Doktrina o spremenjenih okoliščinah in izzivi prilagodljivosti pametnih pogodb 223, vsebino tudi glede na druge spremenjene okoliščine. Kot možne primere samostojnih prilagoditev lahko navedemo: podaljšanje dobavnega roka zaradi naravne nesreče, prilagoditev zavarovalne premije glede na pogostost oziroma pričakovanost škodnega dogodka, prilagajanje cene električne energije glede na trenutno povpraševanje in ponudbo na trgu, prilagoditev hotelskih rezervacij zaradi letalskih zamud ali začasne zaustavitve letalskega prometa ipd. Kljub novim funkcionalnostim in obetavnim priložnostim, pa lahko tudi v primeru inteligentnih pogodb ugotovimo številne omejitve, ki pomembno vplivajo na njihovo dejansko uporabno vrednost. V prvi vrsti lahko ugotovimo, da je samostojna prilagodljivost inteligentne pogodbe večinoma omejena na denarne obveznosti in nekatere nebistvene sestavine pogodb (npr. rok izpolnitve). Prav tako velja izpostaviti, da številnih vrst pogodbenih razmerij zaradi predmeta izpolnitve (npr. obligacija prizadevanja, vezanost na osebno izpolnitev ipd.) sploh ni mogoče zapisati v algoritmičnem zapisu (računalniški kodi), tudi pri preostalih vrstah pogodb pa lahko v obliki računalniške kode zapišemo zgolj izpolnitveno ravnanje, ne pa tudi posledic, ki v praksi praviloma odpirajo največ pravnih vprašanj (npr. grajanje napak, garancija ipd.).101 Kot velik izziv se v praksi izpostavlja tudi vidik novih varnostnih tveganj, pri čemer lahko dodatni varnostni mehanizmi dodatno omejijo uporabno vrednost inteligentnih pogodb.102 Teorija navaja tudi problem povečevanja prostora za shranjevanje v potrjenem podatkovnem bloku in problem varovanja zasebnosti.103 Čeprav so transakcije anonimne (naslov denarnice ne razkriva identitete lastnika), se vse transakcije povezujejo s tem istim naslovom denarnice in so trajno vidne ter javno dostopne. V povezavi z inteligentnimi pogodbami je še posebej pomembno tudi vprašanje zanesljivosti in verodostojnosti pridobljenih podatkov, saj obstaja nevarnost napačne strojne interpretacije in drugih napak.104 Poleg navedenega lahko izpostavimo tudi druge splošne izzive, kot so visoki stroški programiranja, problem tehnične izvedljivosti, zagotovilo izpolnitve v primeru spremembe vsebine, energetska potratnost ipd. Z vidika pravne znanosti je treba posebej poudariti še problematiko kompleksnosti pravnih razmerij, saj enostavna pogodbena razmerja praviloma ne vodijo v spore oziroma ne povzročajo potrebe po pravni razlagi. Čeprav samostojna prilagoditev takšnega razmerja (npr. letno podaljšanje in plačilo valorizirane naročnine za 101 Primerjaj Samec Berghaus in Drnovšek, 2018, strani 50–52. 102 Tako Li et al., 2024, stran 6639. 103 Glej Taherdoost, 2023, strani 12–13. 104 Glej Tako Li et al., 2024, stran 6639. 224 OD ALGORITMA DO PRAVA. določeno storitev) poenostavi postopek sklepanja in izpolnjevanja pogodbe, to z vidika pravne znanosti dejansko ne prinaša velikega napredka, saj z avtomatizacijo rešimo zgolj praktična, ne pa tudi pravnih vprašanj. Še več, obstaja celo verjetnost, da se pojavijo nova pravna vprašanja (npr. avtomatično podaljšanje naročnine kljub prenehanju kavze ali smrti naročnika ipd.). Prav tako je treba poudariti, da nobena tehnološka rešitev ne more nadomestiti pravne regulacije pogodbenega razmerja, saj se za pravno presojo razmerja v vsakem primeru uporabljajo zakonske norme in klasična pravila pogodbenega prava.105 Samodejna prilagoditev in izpolnitev inteligentne pogodbe rešuje zgolj praktični vidik izpolnitvenega ravnanja in ne posega v pravice in obveznosti pogodbenih strank. Če se katera koli stranka ne bo strinjala s samodejno prilagoditvijo, bo svoj zahtevek (še vedno) lahko sodno uveljavljala.106 Pravna presoja (veljavnosti) pogodbenega razmerja je tako povsem enaka v primeru, ko stranki skleneta klasično pogodbo, kot v primeru, ko skleneta inteligentno pogodbo. Pravno gledano je glede vprašanja instituta spremenjenih okoliščin razlika med klasičnimi in inteligentnimi pogodbami predvsem v tem, da umetna inteligenca s samodejno spremembo pogodbenega dogovora vpliva na aktivno legitimacijo ene ali druge pogodbene stranke. V vsakem primeru (če pride do samodejne prilagoditve pogodbe ali ne) pa mora veljavnost pogodbenega dogovora presojati sodišče skladno s pravili pogodbenega prava in doktrino o spremenjenih okoliščinah. Če pride do samodejne prilagoditve, lahko stranka, katere obveznost je postala otežena, zahteva ustreznejšo prilagoditev pogodbe, nasprotna stranka pa lahko bodisi nasprotuje sorazmernosti samodejne prilagoditve bodisi v celoti vztraja pri izpolnitvi pogodbe v skladu z načelom pacta sunt servanda. Vnaprejšnji dogovor strank, da samostojno prilagoditev inteligentne pogodbe štejeta kot nesporno in dokončno, bi bil v nasprotju z načelom pravičnosti in posledično pravno neveljaven.107 Posledično tudi ni nevarnosti, da bi v primeru nesorazmernih prilagoditev inteligentnih pogodb prišlo do negativnih pravnih posledic. 105 Glej Drnovšek, 2018, stran 747; Maydanyk, 2024, strani 18–20; Damjan, 2020, stran 107. 106 To je še posebej pomembno v primeru nedopustnih ali nesorazmenih prilagoditev. 107 Stranki doktrine o spremenjenih okoliščinah ne moreta v celoti izključiti. Lahko sicer določita, kdaj in pod katerimi pogoji se bo določena sprememba okoliščin štela za pravno upoštevno ter kakšne bodo njene posledice, ne moreta pa v celoti izključiti njene uporabe na način, da bi se odpovedali uporabi doktrine v primeru nastanka katere koli spremenjene okoliščin ali na kakršen koli drug način nesorazmerno omejiti njene uporabe. K. Drnovšek: Doktrina o spremenjenih okoliščinah in izzivi prilagodljivosti pametnih pogodb 225, 6 Zaključek Na podlagi analize pomena sodne prilagodljivosti sodobnega pogodbenega prava lahko ugotovimo, da so pogodbena razmerja dinamičen in razvijajoč se proces, ki zahteva prilagodljivost, saj v določenih primerih zgolj ta omogoča upoštevanje temeljnih načel pogodbenega prava. Sodna prilagodljivost pogodbenega razmerja je ključnega pomena za spoštovanje načel vestnosti in poštenja, ekvivalence ter pravičnosti, ki so temeljni stebri pravičnega in učinkovitega izvajanja pogodbenih obveznosti. Na podlagi analize relevantnih mednarodnih pravnih aktov in pravne ureditve v več kot dvajsetih evropskih državah lahko ugotovimo, da je doktrina o spremenjenih okoliščinah upoštevana v prav vseh ureditvah in da lahko v vseh državah kontinentalnega sistema zaznamo težnje po sodni prilagodljivosti pogodbenega razmerja na način, da se ponovno vzpostavi pravično ravnovesje pogodbenih obveznosti. Posledično lahko potrdim prvo raziskovalno tezo, da sodobno pogodbeno pravo v evropskih državah poudarja potrebo po sodni prilagodljivosti pogodbenega razmerja. V povezavi z vprašanjem umetne inteligence pa je na podlagi analize značilnosti pametnih pogodb in umetne inteligence mogoče ugotoviti, da tehnološke rešitve že omogočajo njihovo povezovanje na način, da se umetna inteligenca, bodisi neposredno bodisi posredno, integrira v pametno pogodbo, kar omogoča tudi prenos lastnosti, ki so na videz podobne človeškemu mišljenju. Gre za t. i. inteligentne pogodbe. Upoštevajoč tehnološke možnosti ter opredeljene izzive lahko delno potrdim tudi drugo raziskovalno tezo, in sicer, da vključitev umetne inteligence v pametne pogodbe lahko prispeva k njihovi večji prilagodljivosti spremembam v poslovnem okolju. Potrdim lahko, da umetna inteligenca z možnostjo samostojnega odločanja na podlagi analize in obdelave velike količine podatkov odpira nove možnosti tudi na področju sklepanja pametnih pogodb in omogoča večjo prilagodljivost pametnih pogodb ter uporabo enostavnih opisnih klavzul oziroma pravnih standardov. Kljub temu pa zaradi drugih značilnosti to z vidika pravne znanosti bistveno ne prispeva k večji uporabni vrednosti inteligentnih pogodb. Uporaba umetne inteligence je namreč še vedno omejena na enostavna pogodbena razmerja oziroma posamezna inteligentna pogodbena določila, ker pogodbena razmerja postajajo vse bolj kompleksna in jih večinoma sploh ni mogoče v celoti zapisati v tehničnem smislu. Dodana vrednost umetne inteligence na področju pogodbenega prava se tako kaže predvsem v njeni praktični vrednosti, saj 226 OD ALGORITMA DO PRAVA. lahko poenostavi nekatere vidike izpolnitvenih ravnanj oziroma ponavljajočih se poslovnih procesov. Literatura Baker, J. (2019) An Introduction to English Legal History (Oxford: Oxford University Press). Baranauskas, E., Zapolskis, P. (2009) The Effect of Change in Circumstances on the Performance of Contract, Jurisprudencija: Mokslo darbu žurnalas, 118(4), strani 197–216. Beniiche, A. (2020) A Study of Blockchain Oracles, INRS, Montreal, QC, Canada. Cornell University, arXiv:2004.07140v2 z dne 14. 7. 2020, dostopno na: https://www.scribd.com/document/905054774/A-Study-of-Blockchain-Oracles (obiskano: 29. 8. 2025). Berger, K. P., Behn, D. (2020) Force Majeure and Hardship in the Age of Corona: A Historical and Comparative Study, McGill Journal of Dispute Resolution, 6(4), strani 79–130. Binder, C. (2012) Stability and Change in Times of Fragmentation: The Limits of Pacta Sunt Servanda Revisited, Leiden Journal of International Law, 25, strani 909–934. Bollenberger, R., v Koziol, H., Bydlinski, P., Bollenberger, R. (2007) ABGB Allgemeines Bürgerliches Gesetzbuch. Kommentar (Wien: Springer). Cerar, M. (2024) Etičnost prava in umetna inteligenca, Pravni letopis, 1, strani 83–108. Cigoj, S. (1984) Komentar obligacijskih razmerij, Veliki komentar Zakona o obligacijskih razmerjih (Ljubljana: Časopisni zavod Uradni list SR Slovenije). Damjan, M. (2020) Vloga verižnih orakljev pri pametnih pogodbah v: Repas, M. (ur.), Pravo in ekonomija: Digitalno gospodarstvo, Univerzitetna založba Univerze v Mariboru, strani 103– 125. de Kleijn, R. (2022) Artificial Intelligence Versus Biological Intelligence: A Historical Overview v: Custers, B., Fosch-Villaronga, E. (ur.): Law and Artificial Intellingence, Regulating AI and Applying AI in Legal Practice, AsserPress in Springer, 35, strani 29–42. Dolenc, M. (2003) v Obligacijski zakonik s komentarjem (ur. Juhart, M., in Plavšak, N.), splošni del, 1. knjiga (Ljubljana: GV Založba). Drnovšek, K. (2018) Tehnologija veriženja podatkovnih blokov in pravni vidiki sklepanja pametnih pogodb, Podjetje in delo, 5, strani 721–750. Eisenberg, M. A. (2009) Impossibility, Impractiability, and Frustration, Journal of Legal Analysis, 1(1), strani 207–262. Finkenauer, T., v Jürgen Säcker, F., Rixecker, R., Oetker, H., Limperg, B. (ur.) (2022) Münchener Kommentar zum Bürgerlichen Gesetzbuch, 9. Auflage (München: Beck-online). Flume, W. (1992) Allgemeiner Teil des Bürgerlichen Rechts Bd. 2: Das Rechtgeschäft (Berlin, Heidelberg: Springer-Verlag). Häuselmann, A. (2022) Disciplines of AI: An Overview of Approaches and Techniques v: Custers, B. in Fosch-Villaronga, E. (ur.): Law and Artificial Intellingence, Regulating AI and Applying AI in Legal Practice, AsserPress in Springer, 35, strani 43–72. Higuchi, Y. (2007) History of the Development of Beverage Vending Machine Technology in Japan v: National Museum of Nature and Science: Survey Reports on the Systemization of Technologies, dostopno na: https://sts.kahaku.go.jp/english/diversity/document/report.php (obiskano: 29. 8. 2025). Hondius, E., Grigoleit, H. C. v Diaz, O. B. et al. (2011) Unexpected Circumstances in European Contract Law (Cambridge: Cambridge University Press). Hsiao, I.-H. J. (2017) »Smart« Contract on the Blockchain-paradigm Shift for Contract Law?, US- China Law Review, 10, strani 685–694. Huguenin, C., v Maissen, E., Meise, B., Huber-Purtschert, T. (ur.) (2019) Obligationenrecht, Allgemeiner und Besonderer Teil, 3. Auflage (Zürich: Schulthess Juristische Medien AG). K. Drnovšek: Doktrina o spremenjenih okoliščinah in izzivi prilagodljivosti pametnih pogodb 227, Juhász Á. (2020) Significant Change of Circumstances and the Amendment of Contract v: Modern Researches: Progress of the Legislation of Ukraine and Experience of the European Union, Collective monograph, Law Faculty of the University of Miskolc, strani 56–76. Karlović, T. (2011) The Origins of clausula rebus sic stantibus v: Béli, G. (ur.) Institutions of Legal History with Special Regard to the Legal Culture and History (Bratislava: Faculty of Law University of Pécs), strani 15–25. Kiviat, T. I. (2015) Beyond Bitcoin: Issues In Regulating Blockchain Transactions, Duke Law Journal, 6(569), strani 569–608. Kull, I. (2001) About Grounds for Exemption from Performance under the Draft Estonian Law of Obligations Act, Juridica International, VI/2001, ISBN 9985-9326-5-X, strani 44–52. Lampič, J. (2019) Rikardijanske pogodbe: prihodnost obligacijskega prava ali nišni produkt?, Podjetje in delo, 6-7, strani 945–958. Lando, O., Beale, H. (1995) The Principles of European contract law. Part 1, Performance, Non- preference and Remedies (Dordrecht: Martinus Nijhoff Publishers). Laxmaiah, B., Subburam, S., Ramy Riad, A-F., Sravanthi, J., Sharma, H., Rajaram, G. (2024) Leveraging Smart Contracts for Automated Counterfeit Prevention in E-Commerce, 2024 International Conference on IoT, Communication and Automation Technology (ICICAT), Conference Proceedings, Gorakhpur, India, strani 1150–1155. Li, J., Qin, R., Guan, S., Hou, J., Wang F. -Y. (2024) Blockchain Intelligence: Intelligent Blockchains for Web 3.0 and Beyond. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 54(11), strani 6633–6642. MacMillan, C. (2021) Covid-19 and the problem of frustrated contracts, King's Law Journal, 32(1), strani 60–70. Maydanyk, R. (2024) Smart Contract on a Crypto Assets in the Civil Law and Common Law Jurisdictions: Implementation of Best Practices, Open Journal for Legal Studies (OJLS), 7(2), strani 15–36. Máté, F. (2023) Contractual Dilemmas of Smart Contracts Information Society Versus Contract Law, Jog-Állam-Politika, 1. Mik, E. (2017) Smart Contracts: Terminology, Technical Limitations and Real World Complexity. Innovation and Technology, 9(2), strani 269–300. Ouyang, L., Zhang, W., Wang, F. (2022) Intelligent contracts: Making smart contracts smart for blockchain intelligence. Computers and Electrical Engineering, 104, Part B, dostopno na: https://www.sciencedirect.com/science/article/pii/S0045790622006383. Patel, O. (2024) AI-Driven Smart Contracts. Journal of Artificial Intelligence & Cloud Computing, 3(4), strani 1–9. Ploj, B. (2016) Odločitveno drevo, Elektrotehniška revija, 3, strani 8–10. Radić, D., Pilipović, D. (2020) Smart Contract – Challenges and Perspectives, International Scientific Conference: Transformative Technologies: Legal and Ethical Challenges of the 21st Century, Banja Luka. Raskin, M. (2017). The Law and Legality of Smart Contracts, Georgetown Law Technology Review, 304, strani 305–341. Reshi, I., Khan, M., Shafi S., et al. (2023) AI-Powered Smart Contracts: The Dawn of Web 4, TechRxiv, dostopno na: https://www.techrxiv.org/doi/full/10.36227/techrxiv.22189438.v1. Ridder, P., Weller, M.-P. (2014) Unforeseen Circumstances, Hardship, Impossibility and Force Majeure under German Contract Law, European Review of Private Law, 22(3), strani 371– 392. Rugina, C. R. (2021) Smart Contacts Technology and Avoidance of Disputes in Construction Contracts, Lex ET Scientia International Journal, 28(2), 2021, strani 30–46. Samec Berghaus, N., Drnovšek, K. (2018). Iluzija pojma pametne pogodbe. Konferenčni zbornik X. posveta Pravo in ekonomija: Digitalno gospodarstvo. Samec Berghaus, N., Drnovšek, K. (2018a) Domet uporabne vrednosti pametnih pogodb na področju pogodbenega prava, Pravni letopis, 2018, strani 41-57. 228 OD ALGORITMA DO PRAVA. Samec Berghaus, N., Drnovšek, K. (2020) Pandemija covid-19 in uporabnost instituta spremenjenih okoliščin, Podjetje in delo: revija za gospodarsko, delovno in socialno pravo, 46(3/4), strani 471–497. Schramm, A. (2018) The English and German Law on Change of Circumstances: An Examination of the English System and Potential Advantages of the German Model. Anglo-German Law Journal, 4, 2018, stran 25–55. Sirena, P., Patti, F. P. (2020) Hardship and Renegotiation of Contracts in the Prospective Recodification of Italian Civil Law, Università Bocconi, Bocconi Legal Studies Research Paper No. 3706159, dostopno na: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3706159. Sklaroff, J. M. (2017) Smart Contracts and the Cost of Inflexibility. University of Pennsylvania Law Review, 166, strani 263-303. Stathis, G., Trantas, A., Biagioni, G., et al. (2024) Designing an Intelligent Contract with Communications and Risk Data, SN Computer Science, 5(709), dostopno na: https://link.springer.com/article/10.1007/s42979-024-03021-x. Stone, R. (2002) The Modern Law of Contract (London: Cavendish Publishing Limited, 2002). Surden, H., v: Lim, E., in Morgan, P (ur.) (2024) Computable Law and AI v The Cambridge Handbook of Private Law and Artificial Intelligence (Cambridge: Cambridge University Press), strani 36–70. Szabo, N. (1994) Smart Contracts v: Essays on Smart Contracts, Commercial Controls and Security, dostopno na: https://www.fon.hum.uva.nl/rob/Courses/InformationInSpeech/CDROM/Literature/LO Twinterschool2006/szabo.best.vwh.net/smart.contracts.html. Szabo, N. (1996) Smart Contracts: Building Blocks for Digital Market, https://www.fon.hum.uva.nl/rob/Courses/InformationInSpeech/CDROM/Literature/LO Twinterschool2006/szabo.best.vwh.net/smart_contracts_2.html. Taherdoost, H. (2023) Smart Contracts in Blockchain Technology: A Critical Review, Information, 14(2), dostopno na: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4626828. Urs, R. I., Ispas P. (2014) The »Pacta Sunt Servanda« Principle and the »Rebus Sic non Stantibus« Rule in Complying with the Contractual Obligations. Theory of Imprevision v The International Conference 13-21, v Education and Creativity for a Knowledge-based Society - DREPT, Bucureşti, Universitatea Titu Maiorescu. Virovets, D., Obushnyi, S., Zhurakovskyi, B., Skladannyil, P. in Sokolov, V. (2024) Smart Contract on a Crypto Assets in the Civil Law and Common Law Jurisdictions: Implementation of Best Practices, Open Journal for Legal Studies, 7(2), strani 15–36. Zahrastnik, K. (2022) Civilno pravo in nove tehnologije: kriptovalute in pametne pogodbe, Odvetnik, 105, strani 16–17. Zheng, Z., Dai, H. (2019) Blockchain Intelligence: When Blockchain Meets Artificial Intelligence. ArXiv, abs/1912.06485, https://arxiv.org, 2019. Zheng, Z., Dai, H-N., Wu, J. (2021) Overview of Blockchain Intelligence v: Zheng, Z., Dai, H-N., Wu, J. (ur.): Blockchain Intelligence Methods, Applications and Challenges (Singapur: Springer). Zimmermann, R. (1996) The Law of Obligations, Roman Foundations of the Civilian Tradition (Oxford: Oxford University Press). Extended abstract Over the last three decades, we have witnessed a technological revolution that has significantly impacted not only our everyday lives but also the field of contract law. A major revolution was anticipated when blockchain technology enabled the creation of smart contracts, digital records that automate the performance of contractual obligations. Early proponents of these technological solutions believed that smart contracts would eventually replace traditional contract law. However, these high K. Drnovšek: Doktrina o spremenjenih okoliščinah in izzivi prilagodljivosti pametnih pogodb 229, expectations have proven overstated. One of the main disadvantages of smart contracts is their inflexibility. Once a smart contract is embedded in a data block and time-stamped, its precisely predefined content can no longer be altered. Recently, new technological solutions have emerged that could, in certain cases and to a certain extent, render smart contracts adaptable to changes in the business environment. Meanwhile, artificial intelligence (AI) has become a central topic of professional and scientific debate, enabling machines and devices to simulate human intelligence by learning, making autonomous decisions, and solving practical as well as legal problems. If artificial intelligence could be integrated into smart contracts, it might facilitate (automatic) adaptability and thereby increase their utility. In this chapter, the author analyses trends in contemporary legal theory and case law in European countries regarding the judicial adaptability of contracts under changed circumstances and examines the possibility of incorporating artificial intelligence into smart contracts. The purpose of this analysis is to evaluate the potential of artificial intelligence to enhance the utility of smart contracts in light of their capacity for independent adaptability to changed circumstances. Drawing on an assessment of how crucial adaptability is in modern contract law, the author concludes that contractual relationships are dynamic and evolving processes that require judicial adaptability. Moreover, in certain cases, such adaptability is the only way to uphold the fundamental principles of contract law. Based on an examination of relevant international legal instruments and the legal orders of more than twenty European countries, the author establishes that the doctrine of changed circumstances is recognised in all of them, thus confirming the research thesis that modern contract law in Europe stresses the need for judicial adaptability of contractual relations. Following an analysis of the key features of both smart contracts and artificial intelligence, the author concludes that existing technological solutions already allow for artificial intelligence to be integrated, either directly or indirectly, into smart contracts, imparting characteristics that emulate human thinking. In light of these technological possibilities and associated challenges, the author partially confirms the second research thesis: that the integration of artificial intelligence into smart contracts can enhance their adaptability to changes in the business environment. However, due to other limitations of so-called intelligent contracts, such integration does not substantially increase the utility value from a strictly legal perspective. Indeed, artificial intelligence remains largely limited to simpler contractual relationships or discrete intelligent contract clauses. As contracts grow ever more complex and cannot be fully captured in purely technical terms, the added value of artificial intelligence in contract law lies primarily in its practical applicability, simplifying certain performance elements or repetitive business processes. 230 OD ALGORITMA DO PRAVA. U DOI METNA INTELIGENCA IN https://doi.org/ 10.18690/um.pf.11.2025.9 KULTURNA DEDIŠČINA VONJAV ISBN 978-961-299-086-2 M 1, 2 OJCA R AMŠAK 1 Univerza v Ljubljani, Filozofska fakulteta, Ljubljana, Slovenija mojca.ramsak@guest.arnes.si 2 Univerza v Ljubljani, Fakulteta za kemijo in kemijsko tehnologijo, Ljubljana, Slovenija mojca.ramsak@guest.arnes.si To poglavje predstavlja uporabo umetne inteligence pri Ključne besede: vonj, ohranjanju in interpretaciji kulturne dediščine vonjav. Obravnava kulturna dediščina, ključne faze tehnološkega napredka, pravne izzive in etična vonjalna dediščina, vprašanja, ki se pojavljajo na presečišču umetne inteligence in umetna inteligenca, etika vonjalnega vidika kulturne dediščine. Analiza se osredotoča na potencial umetne inteligence za digitalizacijo, rekonstrukcijo in ohranjanje zgodovinskih vonjev ter na etične okvire, potrebne za zaščito in upravljanje te nesnovne dediščine. Avtorica oriše tudi vpogled v prihodnje smeri razvoja tega področja in predlaga smernice za oblikovanje politik, ki bi omogočile odgovorno in učinkovito uporabo umetne inteligence v kontekstu kulturne dediščine vonjav. DOI ARTIFICIAL INTELLIGENCE AND https://doi.org/ 10.18690/um.pf.11.2025.9 ISBN LFACTORY ULTURAL O CHERITAGE 978-961-299-086-2 MOJCA R 1, 2 AMŠAK 1 University of Ljubljana, Faculty of Arts, Ljubljana, Slovenija mojca.ramsak@guest.arnes.si 2 University of Ljubljana, Faculty of Chemistry and Chemical Technology, Ljubljana, Slovenia mojca.ramsak@guest.arnes.si Keywords: The chapter presents the use of artificial intelligence in the smell, preservation and interpretation of olfactory cultural heritage. It cultural heritage, olfactory heritage, discusses the main stages of technological progress, legal artificial intelligence, challenges and ethical issues that arise at the intersection of ethics artificial intelligence and the olfactory aspect of cultural heritage. The analysis focuses on the potential of artificial intelligence for the digitisation, reconstruction and preservation of historical smells, as well as the ethical framework required to protect and manage this intangible heritage. The author also outlines insights into the future directions of development in this field and proposes guidelines for the design of measures that would enable the responsible and effective use of artificial intelligence in the context of olfactory cultural heritage. M. Ramšak: Umetna inteligenca in kulturna dediščina vonjav 233, 1 Uvod Pomen vonjev v kulturni dediščini je večplasten. Vonji niso le kemične substance, temveč nosijo tudi kulturne pomene in zgodovinske informacije. Kulturna dediščina vonjav predstavlja edinstveno in pogosto spregledano dimenzijo naše kolektivne zgodovine in identitete. Vonji imajo moč priklicati spomine, čustva in kulturne asociacije, ki so globoko zakoreninjene v človeški izkušnji. Vendar je ta vidik dediščine izjemno krhek in minljiv, saj se vonji s časom spreminjajo ali izgubljajo.1 Napredek umetne inteligence pa omogoča in odpira nove možnosti za ohranjanje, rekonstrukcijo in interpretacijo snovne in nesnovne kulturne dediščine. Umetna inteligenca ponuja priložnost za sistematično dokumentiranje in ohranjanje olfaktornih elementov, ki so bili doslej pogosto zanemarjeni v tradicionalnih pristopih k ohranjanju dediščine. V tem poglavju monografije so predstavljena in analizirana presečišča umetne inteligence in kulturne dediščine vonjav, s poudarkom na tehnoloških, pravnih in etičnih vidikih tega nastajajočega področja. Umetna inteligenca ima potencial za korenite spremembe načinov dokumentiranja, ohranjanja in predstavljanja vonjalne dediščine, obenem pa predstavlja tudi izzive in tveganja, ki jih prinaša ta tehnološki napredek. Za uvodom drugi razdelek obravnava umetno inteligenco in digitalizacijo vonjev, pri čemer se osredotoča na tehnološki napredek v zaznavanju in analizi vonjev, digitalne tehnologije za ohranjanje kulturne dediščine vonjev ter izzive pri ustvarjanju virtualnih vonjalnih izkušenj. Tretji razdelek se posveča pravnim izzivom in možnim rešitvam na tem področju, medtem ko četrti razdelek raziskuje etična vprašanja, ki se pojavljajo v povezavi z digitalizacijo in rekonstrukcijo vonjev. Poglavje se zaključi s petim razdelkom, ki povzema ključne ugotovitve in nakazuje možne smeri nadaljnjega razvoja. 1 Classen et al., 1994, stran 2 in 3. 234 OD ALGORITMA DO PRAVA. 2 Umetna inteligenca in digitalizacija vonjev 2.1 Tehnološki napredek v zaznavanju in analizi vonjev Vonj že od sredine 90. let pridobiva na pomenu prav na področju tehnologije. Takrat so se začele pojavljati številne inovacije, kot so okoljsko odišavljenje, biometrija vonjav, elektronski nosovi, umetne dišave in okusi, militarizirani vonji in olfaktorno trženje. Te inovacije kažejo, da je vonj postajal vse bolj »instrumentaliziran«, tj. znanstveno preverjen, komercialno izrabljen in pravno zaščiten s patenti.2 Razvoj »elektronskih nosov« – senzorskih naprav, ki posnemajo človeški voh s pomočjo niza kemijskih senzorjev in se uporabljajo že od 1980-ih let za nadzor kakovosti v živilski industriji, diagnostiko bolezni in odkrivanje eksplozivov, predstavlja pomemben korak v tehnološkem napredku. Elektronski nosovi skupaj z drugimi naprednimi senzorskimi tehnologijami omogočajo natančnejše zaznavanje in analizo kompleksnih mešanic hlapnih organskih spojin, kar predstavlja pomemben napredek v industrijskem in okoljskem spremljanju vonjev. Algoritmi umetne inteligence igrajo ključno vlogo pri interpretaciji podatkov, zbranih s temi napravami. To omogoča natančno kartiranje kemične sestave vonjev in identifikacijo spojin na podlagi obsežnih podatkovnih baz. Vzporedno z razvojem novih senzorskih tehnologij potekajo raziskave o napovedovanju človeške zaznave vonja na podlagi kemijskih lastnosti molekul. Na primer, Keller in sodelavci3 so razvili algoritme strojnega učenja, ki lahko uspešno napovedujejo intenzivnost in prijetnost vonja ter prepoznajo semantične deskriptorje, kot so česen, riba, sladko, sadje, zažgano, začimbe, cvet in kislo. Ti raziskovalni pristopi, čeprav metodološko različni, skupaj omogočajo nove načine razumevanja in potencialne aplikacije na področju vonjalne znanosti. Uporabni so za nadzor kakovosti izdelkov, senzorično profiliranje in primerjave različnih receptur, spremljanje emisij v okolju, odkrivanje kriminala, povezanega z drogami ter za medicinske aplikacije za odkrivanje bolezenskih stanj z zaznavanjem značilnih hlapnih organskih spojin. 2 Drobnick, 2006, stran 2. 3 Keller et al., 2017, strani 820–826. M. Ramšak: Umetna inteligenca in kulturna dediščina vonjav 235, 2.2 Digitalne tehnologije in kulturna dediščina vonjev Tehnološki napredek na področju analize vonjev odpira nove možnosti tudi za raziskave kulturne dediščine. Proces rekonstrukcije zgodovinskih vonjev je kompleksen in večplasten postopek, ki vključuje zbiranje zgodovinskih podatkov iz različnih virov. Raziskovalci preučujejo zgodovinska besedila, recepte, dnevnike in druge dokumente, ki opisujejo vonje določenega obdobja ali kraja.4 Britanski zgodovinar Mark Jenner poudarja pomen historičnih rekonstrukcij vonjav, ker izpodbijajo poenostavljeno pripoved o »deodorizaciji« sodobne družbe. Čeprav prevladuje narativ o postopnem »osvobajanju od smradu« od 18. stoletja naprej – od javnozdravstvenih reform do kanalizacijskih sistemov in osebne higiene – je ta pogled preveč poenostavljen. Zgodovinarji opozarjajo, da so se proti neprijetnim vonjavam borili že mnogo prej, od 15. do 17. stoletja, kar postavlja pod vprašaj idejo o popolnoma novih razsvetljenskih higienskih politikah. Prav tako je zavajajoče trditi, da je moderna družba začela »vojno proti vsem vonjavam«, saj so novi industrijski vonji preprosto nadomestili starejše. Rekonstrukcije zgodovinskih vonjav nam tako pomagajo razumeti kompleksnejšo vonjalno preteklost, ki presega stereotipne predstave o »srednjeveškem smradu« in zavrača orientalistične predpostavke o »primitivnih družbah«.5 Za zajem informacij o zgodovinskih vonjavah, vohalnih praksah in vonju krajine lahko posežemo po bogatih zbirkah digitalne dediščine, ki so bile ustvarjene v zadnjih desetletjih. Sklicevanje na vonje in vohalne prakse najdemo v številnih digitalnih besedilih in slikah: v normativnih besedilih, medicinskih besedilih in priročnikih o parfumih, ki ponujajo informacije o proizvodnji in uporabi parfumov. Tudi romani, pesmi in potopisna literatura razkrivajo povezave med vonjavami in identitetami ter pričajo o kulturni občutljivosti v zvezi z vonjem, opisujejo vonj mest, cerkev, parkov, kanalizacije. Vohalne namige, geste in alegorije najdemo tudi na slikah, grafikah in drugih vizualnih virih.6 4 Jenner, 2011, strani 338–340. 5 Prav tam. 6 Lisena et al., 2022. M. Ramšak: Umetna inteligenca in kulturna dediščina vonjav 237, 236 OD ALGORITMA DO PRAVA. 2.3 Digitalna rekonstrukcija zgodovinskih vonjev Napredne računalniške tehnologije in strojno učenje so v zadnjih letih bistveno spremenile ohranjanje in rekonstrukcijo vonjalne dediščine. Tradicionalne metode so se zanašale na neposredno kemično analizo redkih ohranjenih vzorcev, vendar je ta pristop omejen zaradi razgradnje organskih spojin čez čas.7 Sodobni pristopi z uporabo umetne inteligence pa omogočajo rekonstrukcijo vonjev tudi tam, kjer fizični vzorci niso več na voljo. Umetna inteligenca omogoča rekonstrukcijo vonjev, ki so se izgubili čez čas, kar predstavlja zanimivo presečišče tehnologije, zgodovine in kemije. Ta proces vključuje več medsebojno povezanih pristopov, ki se dopolnjujejo pri oživljanju vonjalne dediščine. Analiza zgodovinskih receptov in formul predstavlja temeljni korak, pri katerem algoritmi obdelujejo starodavne recepte za parfume, kadila, zdravila in kulinarične pripravke. Sistemi umetne inteligence lahko prepoznajo in interpretirajo zastarele kemijske termine, stare merske enote ter regionalne variacije sestavin, kar omogoča natančno rekonstrukcijo izvirnih formul. Posebej pomembna je identifikacija zgodovinskih imen za rastline in kemične spojine, ki se danes imenujejo drugače ali so bile zamenjane z modernimi nadomestki. Interpretacija opisov vonjev v literarnih, zgodovinskih in etnoloških delih ter v likovnih upodobitvah zahteva napredne tehnike obdelave naravnega jezika. Algoritmi analizirajo metafore, primerjave in kulturno specifične opise, ki so jih avtorji uporabljali za opis vonjev. Na primer, srednjeveški opisi »božanskih dišav« ali »peklenskega smradu« se lahko preko semantičnih analiz povežejo s konkretnimi kemičnimi spojinami. Likovne upodobitve, kot so freske z upodobitvami cerkvenih kadilnic ali kuhinj, prav tako prispevajo podatke o vonjalnih praksah preteklosti. Simulacija kemičnih procesov, ki so vplivali na vonje v preteklosti, vključuje modeliranje starih tehnoloških postopkov – od fermentacije in destilacije do zgorevanja različnih materialov. Umetna inteligenca lahko simulira, kako so se vonji spreminjali zaradi okoljskih dejavnikov, kot so vlažnost, temperatura in kemične reakcije med različnimi surovinami. To je posebej pomembno pri rekonstrukciji 7 Bembibre in Strlič, 2017. vonjev zgodovinskih prostorov, kjer so se prepletali vonji kuhinje, ognja, tekstila, parfumov in človeškega telesa. Metodologija digitalne rekonstrukcije zgodovinskih vonjav temelji na večplastnem pristopu, ki vključuje: tekstovno analizo, pri kateri algoritmi za obdelavo naravnega jezika (NLP) analizirajo zgodovinske opise vonjev v literarnih, medicinskih in drugih besedilih. To omogoča ekstrakcijo olfaktornih deskriptorjev in njihovo povezovanje s sodobnimi kemičnimi spojinami, kemometrijo, ki integrira zgodovinske recepte za parfume, zdravila in druge aromatične substance z modernimi kemometričnimi modeli, kar omogoča identifikacijo verjetnih kemijskih profilov, in retrosintezo, kjer algoritmi za retrosintezo analizirajo zgodovinske proizvodne procese in predvidevajo kemične spremembe v sestavinah čez čas. Nevronske mreže, ki so bile trenirane na obsežnih zbirkah sodobnih vonjev in njihovih kemičnih profilov, lahko z visoko natančnostjo predvidijo kemično sestavo zgodovinskih dišav na podlagi njihovih opisov. Najbolj znani primer uspešne rekonstrukcije vonja je nedvomno parfum Kleopatre, pri čemer so sodelovali tako klasični kot eksperimentalni arheologi in egiptologi. Ti so na podlagi najdišča parfumerije v Tell Timai v Egiptu in naprednih tehnologij paleobotanike uspeli določiti egipčanska olja ter poustvarili Kleopatrin parfum.8 Zaradi njegove izjemne priljubljenosti med egipčanskimi zgornjimi sloji se je zapisani recept ohranil tudi v stari Grčiji in Rimu. Znanstveniki so z eno vrsto spremenljivk o sestavinah uspeli ustvariti prijeten pikantno-sladek vonj z osnovno noto sveže mlete mire in cimeta, ki je ostal močan skoraj dve leti, kar je bila kakovost, ki je bila povezana z egipčanskimi parfumi. 2.4 Multisenzorični pristopi in izzivi Digitalna rekonstrukcija vonjev se vse pogosteje povezuje z drugimi tehnologijami za doseganje celovitejše predstavitve zgodovinske senzorične izkušnje. Druge tehnologije so lahko virtualna resničnost za vizualno rekonstrukcijo zgodovinskih okolij, digitalno rekonstruirani vonji, ki jih lahko vohamo prek posebnih naprav, in haptični vmesniki za taktilno dimenzijo. Multisenzorični pristop bistveno poveča 8 Littman et al., 2021. M. Ramšak: Umetna inteligenca in kulturna dediščina vonjav 239, 238 OD ALGORITMA DO PRAVA. občutek prisotnosti in poglobljeno razumevanje zgodovinskih kontekstov pri uporabnikih. Kljub napredku se rekonstrukcija zgodovinskih vonjev sooča z metodološkimi in etičnimi izzivi. Kot poudarjata Bembibre in Strlič,9 je ključno vprašanje avtentičnosti, v kolikšni meri lahko rekonstruiran vonj predstavlja zgodovinsko resničnost. V kontekstu digitalne rekonstrukcije vonjev avtentičnost ne pomeni popolne identičnosti z izvirnim vonjem iz preteklosti, kar je zaradi časovne oddaljenosti in spremenjenih okoljskih pogojev praktično nemogoče, temveč stopnjo zanesljivosti in znanstvene utemeljenosti rekonstrukcije na podlagi razpoložljivih zgodovinskih, kemičnih in arheoloških dokazov. Algoritmi so omejeni s podatki, na katerih so trenirani, kar lahko vodi v pristranskost in napačno interpretacijo. Pri rekonstrukcijah zgodovinskih vonjav je zato pomembna transparentnost glede stopnje gotovosti zgodovinskih dejstev in alternativnih interpretacij. Drugo pomembno vprašanje je upravljanje z rekonstruiranimi vonji, ki so lahko neprijetni ali celo škodljivi. Zgodovinska mesta so pogosto imela vonje, ki bi bili za sodobne standarde nesprejemljivi. Tu se odpira etična dilema med avtentičnostjo in sodobnimi pričakovanji. Digitalna rekonstrukcija zgodovinskih vonjev tako predstavlja zanimivo interdisciplinarno področje, ki združuje humanistiko, naravoslovje in računalništvo v prizadevanju za celostno razumevanje in ohranjanje senzorične dimenzije kulturne dediščine. 2.5 Ustvarjanje virtualnih vonjalnih izkušenj Umetna inteligenca ne le analizira in rekonstruira vonje, ampak tudi omogoča ustvarjanje novih načinov za doživljanje olfaktorne dediščine. Ti načini vključujejo virtualne in obogatene resničnostne aplikacije, ki vključujejo vonje, interaktivne muzejske in galerijske inštalacije, ki uporabljajo umetno inteligenco za prilagajanje vonjav obiskovalcem ter digitalne arhive vonjev, dostopne prek spleta. Razvoj virtualnih vonjalnih izkušenj temelji na stekanju več naprednih tehnologij. Za uspešno implementacijo takšnih sistemov so potrebni trije ključni elementi: natančna digitalna karakterizacija vonjev, učinkoviti sistemi za dovajanje vonjav in pametni algoritmi za kontekstualno integracijo vonjav v uporabniško izkušnjo. 9 Bembibre in Strlič, 2021. Primer inovativne uporabe umetne inteligence v tem kontekstu je razvoj »pametnih razpršilcev vonjav«, ki lahko ustvarijo širok spekter vonjev na zahtevo. Algoritmi umetne inteligence nadzorujejo mešanje različnih vonjalnih komponent za ustvarjanje specifičnih vonjev ali celo zaporedij vonjev, ki ustrezajo določenemu zgodovinskemu obdobju ali kraju. Najsodobnejši sistemi lahko mešajo do sto osnovnih olfaktornih komponent v realnem času, s čimer ustvarijo na tisoče različnih vonjev. Tehnološki preboj ne predstavlja le sposobnosti reproduciranja posameznih vonjev, temveč tudi ustvarjanja dinamičnih olfaktornih pokrajin, ki se razvijajo čez čas in prostor, podobno kot zvočne pokrajine v zvočni umetnosti. Te tehnologije odpirajo nove možnosti za muzeje in kulturne institucije. Obiskovalci bi lahko »vonjali« vzdušje srednjeveške tržnice, vonj parfumov iz 18. stoletja ali celo »novi vonj avtomobila« iz sredine 20. stoletja. Takšne izkušnje obogatijo naše razumevanje preteklosti in ustvarjajo močnejše in bolj spominske povezave s kulturno dediščino. Ustvarjanje personaliziranih vonjalnih izkušenj v muzeju se začne s kratkim vprašalnikom, na podlagi katerega sistem prilagodi intenzivnost in kompleksnost vonjav za vsakega obiskovalca posebej, pri čemer upošteva kulturno ozadje, starost in vonjalne preference. To omogoča vključujočo izkušnjo tako za obiskovalce z visoko vonjalno občutljivostjo kot za tiste z zmanjšanim občutkom za vonj. Nova generacija digitalnih arhivov se ne osredotoča več le na vizualno in zvočno podporo pri razlagi zgodovine, ampak vključuje tudi vonje. Digitalni arhiv katalogizira in digitalno karakterizira vonje, povezane s kulturno dediščino. V idealnem primeru bi vsak vnos v arhivu vseboval: kemično karakterizacijo vonja, podatke o percepciji vonja, zgodovinski in kulturni kontekst ter algoritem za rekonstrukcijo z uporabo sodobnih sestavin. Digitalni vonjalni arhiv ni le zbirka formul, temveč kompleksen informacijski sistem, ki povezuje kemične podatke s kulturnimi narativi in človeškimi izkušnjami. Virtualna in obogatena resničnost (VR/AR) predstavljata močno platformo za integracijo vonjalnih izkušenj. Sistem lahko sinhronizirano dovaja vonje z VR izkušnjami zgodovinskih lokacij, saj predvideva, kateri vonji so najpomembnejši v določenem trenutku uporabniške interakcije, in jih dovaja prek nosljivega razpršilca. Sprehod po antičnem mestu bi lahko obiskovalcem med sprehodom po ruševinah s pomočjo aplikacije dovajal rekonstruirane vonje, značilne za različne dele antičnega mesta – od pekarn do parfumerij in javnih kopališč, pri čemer bi upošteval tudi 240 OD ALGORITMA DO PRAVA. vremenske pogoje in letne čase, saj so te spremenljivke pomembno vplivale na vonjave v antičnih mestih. 2.6 Izzivi in prihodnje smeri Kljub navdušujočemu napredku se virtualne vonjalne izkušnje soočajo z izzivi. Eden ključnih je subjektivna narava zaznavanja vonjev, ki se močno razlikuje med posamezniki in kulturami. Isti vonj lahko v različnih kulturnih kontekstih sproži popolnoma različne asociacije in čustvene odzive. Etični pomisleki se nanašajo predvsem na verodostojnost in avtentičnost ter na nevarnost »disneyifikacije« zgodovine skozi selektivno rekonstrukcijo prijetnih vonjev in izogibanje manj prijetnim, a zgodovinsko pomembnim vonjavam, kot so vonji bolezni, nehigiene ali industrializacije. Tehnični izziv predstavlja tudi trajnost vonjav. Medtem ko lahko digitalno ohranjamo vizualne in zvočne informacije neomejeno dolgo, ostajajo molekularne osnove vonjav podvržene razgradnji. Tudi najboljši sistemi za dovajanje vonjav se soočajo z izzivi stabilnosti kemičnih spojin. Prihodnost virtualnih vonjalnih izkušenj kaže na vse večjo personalizacijo in kontekstualizacijo. Raziskave na področju nevroznanosti in genetike vonja odpirajo možnosti za razvoj sistemov, ki bi lahko predvideli individualne razlike v zaznavanju vonjav in temu ustrezno prilagodili izkušnjo. Razvijajo se tudi novi pristopi k doživljanju vonjav brez uporabe dejanskih kemičnih spojin, s samo neposredno stimulacijo nevronov z elektromagnetnimi impulzi, kar bi lahko revolucioniralo področje virtualnih vonjev. Čeprav je ta tehnologija še v zgodnji fazi razvoja, obeta bolj trajnostne in prilagodljive sisteme za doživljanje rekonstruiranih zgodovinskih vonjev. V prihodnosti lahko pričakujemo tudi vse večjo demokratizacijo vonjalnih tehnologij in večjo cenovno dostopnost naprav za doživljanje »vonjalnih potovanj« skozi čas in prostor, kar bi lahko pomembno prispevalo k ohranjanju in približevanju kulturne dediščine širši javnosti. Digitalna rekonstrukcija zgodovinskih vonjev tako predstavlja zanimivo interdisciplinarno področje, ki združuje humanistiko, naravoslovje in računalništvo v prizadevanju za celostno razumevanje in ohranjanje senzorične dimenzije kulturne dediščine. Te inovacije kažejo na transformativni potencial združevanja umetne M. Ramšak: Umetna inteligenca in kulturna dediščina vonjav 241, inteligence in vonjalne tehnologije za ohranjanje, raziskovanje in doživljanje kulturne dediščine na nove, bolj celostne načine. 3 Pravni izzivi in rešitve Pravna zaščita vonjev predstavlja kompleksno področje, ki zahteva inovativne pristope in prilagoditev obstoječih pravnih okvirov. Čeprav se vonjave tradicionalno obravnavajo kot eno od najbolj subjektivnih človeških doživetij, se pojavlja potreba po njihovi formalni zaščiti in regulaciji. Ta potreba izhaja iz različnih kontekstov – od ohranjanja kulturne dediščine do zaščite komercialnih interesov. Pravna zaščita vonjev lahko poteka na dveh ločenih nivojih. Prvi nivo predstavlja varovanje kulturnih pomenov in simbolne vrednosti, ki jih nosijo določeni vonji – tu gre za zaščito vohalne dediščine kot dela kolektivne identitete in tradicije. Drugi nivo pa zajema zaščito intelektualne lastnine, kjer se vonji obravnavajo kot komercialni produkti, ki lahko postanejo predmet patentov, blagovnih znamk ali drugih oblik pravne zaščite. Medtem ko prvi pristop poudarja javni interes in ohranjanje kulturne dediščine, drugi pristop ščiti komercialne interese in spodbuja inovacije v kozmetični ter drugih industrijah. Izvrsten primer prvega pristopa predstavlja Zakon št. 2021-85 z dne 29. januarja 2021, ki določa in ščiti čutno dediščino na francoskem podeželju.10 Ta pionirski zakon predstavlja novo kategorijo pravne zaščite, ki presega tradicionalne okvire varstva dediščine in vključuje zvoke in vonjave. Z vključitvijo čutnih elementov v pravni sistem Francija priznava, da kulturna dediščina ni le vizualna ali snovna, temveč zajema tudi bogastvo čutnih doživetij, ki so neločljivo povezana z določenimi kraji in načini življenja. Zakon zaščiti avtentične zvoke in vonjave podeželskih območij – od vonja sveže pokošene trave do zvoka cerkvenih zvonov, od vonja hleva do kikirikanja petelinov – kot sestavni del francoske kulturne identitete, ki jo je treba ohraniti za prihodnje generacije.11 Simbolni pomen tega zakona najbolje ponazarja primer petelinčka Maurica, ki je postal prava maskota boja za ohranitev francoskih podeželskih tradicij. Maurice, ki je živel z lastnico v vasi Saint-Pierre-d'Oléron na otoku Oléron ob atlantski obali, je 10 Loi n° 2021-85 du 29 janvier 2021 visant à définir et protéger le patrimoine sensoriel des campagnes françaises. NOR: MICX2003330L. ELI: https://www.legifrance.gouv.fr/eli/loi/2021/1/29/MICX2003330L/jo/texte (obiskano: 10. 6. 2025). 11 Duthil, 2021. 242 OD ALGORITMA DO PRAVA. bil leta 2019 postavljen pred sodišče zaradi pritožb sosedov, ki so se pritoževali nad njegovim glasnim kikirikanjem. Pravni spor se je začel, ko je bil Maurice še mlad petelinček, nad katerim sosedje, ki so na podeželje prišli iz mesta, niso bili navdušeni, in so vložili tožbo zaradi njegovega glasnega kikirikanja. Sodišče je tožbo zavrnilo. Mauricov primer in podobni spori po vsej Franciji – pritožbe proti glasnim kravam v francoskih Alpah, kvakajočim žabam v vrtnih ribnikih in jatam rac na dvoriščih – so neposredno vplivali na sprejetje zakona o čutni dediščini.12 S sprejetjem zakona, ki priznava senzorično dediščino podeželja, se zvoki in vonji obravnavajo v novem, pozitivnem in kulturnem smislu. Namen zakona ni ustvarjanje posebnega pravnega varstvenega režima, temveč priznanje intrinzične in pristne značilnosti podeželskega življenja. Zakon potrjuje to stališče, njegove določbe pa zdaj spreminjajo člen L. 110-1 okoljskega zakonika, ki določa: »Naravni kopenski in morski prostori, viri in okolja, zvoki in vonji, ki jih označujejo (...), so del skupne narodne dediščine.« Zvoki in vonji podeželja se tako štejejo za nematerialne kulturne elemente, povezane s skupno narodno dediščino, saj so dodatki k zaščitenim elementom. Ta povezava kaže, da zvoki in vonji podeželja zdaj predstavljajo kolektivni interes za njihovo zaščito, ki zadeva celotno skupnost. Na ta način se prihodnji razvoj te skupne dediščine združuje z obstoječo zakonodajo.13 Na drugi strani pa zaščita vonjev kot intelektualne lastnine predstavlja edinstvene pravne izzive, saj subjektivna narava zaznavanja vonja in nestabilnost molekularnih spojin otežujeta doseganje konsistentne in objektivne pravne zaščite. Poleg tega avtorske pravice in tradicionalni sistemi patentov niso bili zasnovani za zaščito vonjev. Ker imajo gospodarski subjekti očiten interes uporabiti vonjalne znake za označitev svojih proizvodov, mora grafična predstavitev še vedno omogočiti, da se te lahko natančno identificira, da bi se zagotovilo dobro delovanje sistema registriranja znamk. Tako je v zadevi Eden SARL proti OHIM14 Splošno sodišče EU potrdilo, da se vonji načeloma lahko zaščitijo z znamko (točka 28), vendar le pod pogojem ustrezne grafične predstavitve. V konkretnem primeru registracije vonja »zrelih jagod« je Splošno sodišče EU ugotovilo, da imajo različne vrste jagod različne vonje, 12 Prav tam. 13 Prav tam. 14 Zadeva T 305/04, Eden SARL proti OHIM (Urad za usklajevanje na notranjem trgu) (Vonj zrelih jagod), ECLI:EU:T:2005:380. M. Ramšak: Umetna inteligenca in kulturna dediščina vonjav 243, zato besedni opis »vonj zrele jagode« ni enopomenski in natančen. Vonj jagode se spreminja od vrste do vrste. Posledično opis »vonj zrele jagode«, ki se lahko nanaša na več vrst in zato na več različnih vonjev, ni ne enopomenski ne natančen in ne dopušča neupoštevanja katerega koli subjektivnega elementa v postopku identifikacije in zaznave (točka 33). Sodišče je poudarilo, da v zadevnem času ne obstaja splošno sprejeta mednarodna klasifikacija vonjev, ki bi dopuščala, po zgledu mednarodnih barvnih oznak ali glasbenih del, objektivno in natančno identifikacijo vonjalnega znaka s pomočjo določitve imena ali natančne oznake, ki je lastna vsakemu vonju (točka 34). Slika jagode prav tako ni ustrezna grafična predstavitev vonja, ker predstavlja le sadje, ne pa vonja samega (točka 40). Tudi kombinacija obeh elementov ne more nadomestiti pomanjkljivosti vsakega posameznega elementa (točka 45). Zahteva za registracijo vonjalne znamke »vonj zrele jagode« je bila posledično zavrnjena, ker predstavlja znak, ki ga ni mogoče grafično predstaviti v skladu z zahtevami prava znamk EU, ki so veljale v času odločanja v zadevi Eden SARL proti OHIM. Zahteva po grafičnem prikazu je danes sicer omiljena z zahtevo po tem, da se morajo znaki prikazati tako, da lahko pristojni organ in javnost natančno ugotovijo, kaj je predmet varstva, ki je podeljeno njihovemu imetniku.15 Grafični prikaz torej ni več pogoj, ampak je zgolj ena od možnih oblik predstavitve znaka. Kljub milejši zahtevi pa ostaja rezultat za vonje enak kot po prejšnji pravni ureditvi, saj trenutno stanje tehnologije ne omogoča take predstavitve vonja.16 V nasprotju s tem pa so nekatere jurisdikcije, na primer ZDA, bolj odprte za zaščito vonjev in omogočajo registracijo nekaterih vonjev kot blagovnih znamk. Ameriški urad za patente in blagovne znamke (USPTO) načeloma omogoča registracijo vonjav, čeprav v omejenem obsegu. Zgodovinsko gledano se je prva registrirana vonjalna znamka v ZDA pojavila leta 1990, ko je podjetje OSEWEZ uspešno registriralo vonj rože plumerije17 za nitke za vezenje, kar je ustvarilo možnost prihodnjim registracijam vonjev.18 Do leta 2015 je bilo aktivno registriranih le 10 vonjalnih znamk, pozneje pa so bile uspešno registrirane tudi druge, med njimi leta 2018 značilen vonj modelirne gline Play-Doh podjetja Hasbro, opisan kot sladka, rahlo mošusna, vaniljeva dišava z rahlim pridihom češnje, v kombinaciji z vonjem 15 Glej 4. člen Uredbe 2017/1001 Evropskega parlamenta in Sveta z dne 14. junija 2017 o blagovni znamki Evropske unije (UL L 154, 16. 6. 2017, strani 1–99). 16 Smernice EUIPO za preverjanje blagovnih znamk Evropske unije; dostopno na: https://www.euipo.europa.eu/sl/guidelines. 17 Sukulenta, imenovana tudi frangipani po markizu iz plemiške družine Frangipani v Italiji iz 16. stoletja, ki je ustvaril sintetični parfum, podoben vonju plumerije. 18 Greene, 2015. 244 OD ALGORITMA DO PRAVA. po slanem pšeničnem testu. Ta značilen vonj je takoj prepoznaven pri Play-Dohu in tako služi kot identifikator izvora modelirne gline. Pravzaprav bi večina ljudi, ko bi jim zavezali oči in bi odprli lonček Play-Doha, skoraj zagotovo že po vonju ugotovila, da je Play-Doh v bližini.19 Razlog za tako nizko število registriranih vonjalnih znamk v ZDA leži v strogih zahtevah za dokazovanje njihove nefunkcionalnosti. Po ameriškem pravu mora prijavitelj dokazati, da dišava ne služi nobeni pomembni praktični funkciji, razen da pomaga prepoznati in razlikovati blagovno znamko.20 To pomeni, da izdelki, katerih glavni namen je povezan z vonjem, kot so parfumi ali osvežilci zraka, ne morejo pridobiti tovrstne zaščite vonjalne znamke, saj je njihov vonj funkcionalen element. Dodatno kompleksnost postopka predstavlja tudi dejstvo, da morajo biti vzorci fizično predloženi vladnemu preiskovalcu za ovohavanje.21 Da bi bil vonj registrabilen, mora prijavitelj dokazati, da njegov vonj deluje kot blagovna znamka in služi kot pokazatelj vira, pri čemer lahko strateško oglaševanje čez leta pomaga vzpostaviti drugotni pomen in s tem registracijo znamke.22 Mednarodna primerjava iz leta 2015 kaže, da so bile pri dopustitvi registracije vonjalnih znamk tudi druge jurisdikcije restriktivne. Evropska unija ni imela nobene registrirane vonjalne znamke, Avstralija je imela registrirano le eno (vonj evkaliptusa za golf opremo), Združeno kraljestvo pa dve iz leta 1994 – peresa puščic, ki dišijo po grenkem pivu, in pnevmatike s cvetličnim vonjem, ki spominja na vrtnice.23 Kljub temu napredek v tehnologiji umetne inteligence in digitalizacije vonjev odpira nove možnosti za pravno zaščito vonjalne intelektualne lastnine. Te možnosti vključujejo: patentiranje specifičnih metod za digitalno zajemanje in reprodukcijo vonjev; zaščito digitalnih reprezentacij vonjev kot avtorskih del, pri čemer bi bil predmet zaščite specifičen način kodiranja ali predstavitve vonja v digitalnem formatu; razvoj pravic za zaščito digitalnih vonjev, ki bi upoštevale edinstvene lastnosti vonjev in njihovih digitalnih reprezentacij; zaščita poslovne skrivnosti namesto patentiranja kot alternativni pristop in konkurenčna prednost, z namenom nerazkritja natančnih algoritmov ali metode, ki jih uporabljajo. 19 Forte, 2021. 20 Gershman, 2015. 21 Greene, 2015. 22 Forte, 2021. 23 Greene, 2015. M. Ramšak: Umetna inteligenca in kulturna dediščina vonjav 245, Mednarodni vidiki zaščite olfaktorne intelektualne lastnine potrebujejo harmonizacijo pravil na mednarodni ravni, saj obstaja pravna negotovost za inovatorje prav zaradi razlike v nacionalnih pristopih k zaščiti vonjev. Zbiranje in analiza podatkov o vonjavah odpira tudi vprašanja zasebnosti, saj vonji lahko razkrivajo občutljive osebne informacije, vključno z zdravstvenim stanjem posameznika in boleznimi (določene bolezni povzročajo značilne spremembe v telesnem vonju), prehranjevalnimi navadami in življenjskim slogom, genetsko zasnovo (nekateri vonji so povezani z genetskimi variacijami), čustvenim stanjem (stres, anksioznost in druga čustvena stanja lahko vplivajo na telesni vonj). Poleg tega niso jasna pravila za zbiranje, shranjevanje in uporabo vonjalnih podatkov, a bi morali biti obravnavani kot posebna kategorija osebnih podatkov, ki zahteva višjo stopnjo zaščite, podobno kot genetske ali biometrične podatke. Sistemi umetne inteligence, ki analizirajo vonje, morajo biti zasnovani v skladu z načeli vgrajene zasebnosti (privacy by design) in upoštevati zakonodajo o varstvu osebnih podatkov, kot je Uredba (EU) 2016/679 Evropskega parlamenta in Sveta z dne 27. aprila 2016 o varstvu posameznikov pri obdelavi osebnih podatkov in o prostem pretoku takih podatkov ter o razveljavitvi Direktive 95/46/ES24 (Splošna uredba o varstvu podatkov) v Evropski uniji. Čeprav Splošna uredba o varstvu podatkov izrecno ne omenja olfaktornih podatkov, jih lahko obravnavamo kot osebne podatke, kadar se nanašajo na določenega ali določljivega posameznika. V nekaterih primerih bi lahko spadali tudi pod »posebne kategorije osebnih podatkov«, zlasti če razkrivajo zdravstvene informacije. Kar se tiče tehničnih in organizacijskih rešitev mora biti posebna pozornost namenjena anonimizaciji olfaktornih podatkov oziroma tehnikam za odstranjevanje osebno določljivih informacij iz podatkov o vonjih, pri čemer bi se ohranila njihova uporabnost za raziskave in ohranjanje dediščine. Podobno kot pri izvajanju drugih raziskav je treba oblikovati tudi protokole za pridobivanje informiranega soglasja posameznikov za zbiranje in uporabo njihovih olfaktornih podatkov, zlasti v kontekstu kulturnih in zgodovinskih raziskav. V zvezi z varno hrambo in upravljanjem olfaktornih podatkov veljajo ista pravila kot pri drugih vrstah hrambe osebnih podatkov, ki preprečujejo nepooblaščen dostop in zlorabo. Mednarodni prenos olfaktornih podatkov odpira dodatne pravne izzive. Ko so podatki zbrani v 24 UL L 119, 4. 5. 2016, strani 1–88. 246 OD ALGORITMA DO PRAVA. eni jurisdikciji in analizirani ali shranjeni v drugi, se lahko pojavijo vprašanja glede veljavne zakonodaje in ustreznih zaščitnih ukrepov. Za učinkovito uporabo umetne inteligence v kontekstu kulturne dediščine vonjav je potrebno razviti: mednarodne standarde za digitalizacijo in shranjevanje olfaktornih podatkov, protokole za preverjanje verodostojnosti rekonstruiranih vonjev in regulativne okvire za uporabo umetne inteligence v muzejskih in izobraževalnih kontekstih. Ključni izziv pri standardizaciji in regulaciji tehničnih standardov in protokolov vključuje razvoj enotne taksonomije vonjev, saj bi standardiziran sistem za opisovanje in kategoriziranje vonjev v digitalnem okolju olajšal mednarodno sodelovanje in izmenjavo podatkov. Potrebna je tudi določitev metod za validacijo digitalno rekonstruiranih vonjev skozi vzpostavitev znanstveno utemeljenih protokolov za preverjanje natančnosti in verodostojnosti digitalno rekonstruiranih zgodovinskih vonjev (npr. kemijska instrumentalna analiza, senzorično ocenjevanje usposobljenih ocenjevalcev in primerjavo z zgodovinskimi opisi). Oblikovati je treba takšne etične smernice za uporabo umetne inteligence pri delu z olfaktorno kulturno dediščino, ki bi upoštevale kulturno občutljivost in spoštovanje različnih tradicij. Standardi za analizo in zapis vonjev morajo vključevati kemično sestavo vonja, zaznavne lastnosti vonja, zgodovinski in kulturni kontekst ter metapodatke o metodah zajemanja in rekonstrukcije. Pri razvoju standardov in regulativnih okvirov ostajajo pomembni izzivi pri njihovi implementaciji, še zlasti zaradi tehnoloških omejitev, saj trenutna tehnologija za digitalizacijo vonjev še vedno ne omogoča popolne reprodukcije vseh vidikov vonja, kar otežuje standardizacijo. Vonji so tudi močno kulturno pogojeni, zato je zaradi kulturnih razlik pri percepciji vonjav težko razviti univerzalne standarde, ki bi upoštevali vse kulturne kontekste in interpretacije. Pomembni so tudi ekonomski dejavniki, saj razvoj in implementacija novih standardov in tehnologij zahteva znatna sredstva, ki morda niso na voljo vsem institucijam. Upoštevati pa je treba tudi morebiten odpor do sprememb, saj so kulturne institucije včasih zadržane do vključevanja novih tehnologij in pristopov, kar lahko upočasni sprejetje standardov. Za učinkovito obravnavo pravnih izzivov, povezanih z digitalizacijo olfaktorne dediščine, je potrebno mednarodno sodelovanje in postopna harmonizacija pravnih pristopov. V zvezi z razvojem umetne inteligence so potrebni fleksibilni pravni M. Ramšak: Umetna inteligenca in kulturna dediščina vonjav 247, okviri, ki lahko sledijo hitremu tehnološkemu razvoju na področju digitalizacije vonjev, in mednarodna harmonizacija pristopov k zaščiti olfaktorne intelektualne lastnine, ki bi upoštevala različne pravne tradicije, a hkrati omogočala učinkovito čezmejno sodelovanje. Oblikovanje politik, ki bi združevalo pravno, tehnično, etično in kulturno perspektivo mora biti interdisciplinarno in vključujoče v smislu sodelovanja skupnosti pri določanju standardov in pravil. Pravni okviri za zaščito digitalne olfaktorne dediščine ne smejo biti zgolj tehnični in instrumentalni, ampak morajo odražati globoko razumevanje kulturnega pomena vonjev v različnih tradicijah in spoštovati različne načine, na katere skupnosti doživljajo in vrednotijo olfaktorno dimenzijo svoje dediščine. Ta holistični pristop k pravni regulaciji predstavlja obetavno pot naprej za razvoj uravnoteženih in učinkovitih pravnih rešitev na tem novem in dinamičnem področju. 4 Etična vprašanja Uporaba umetne inteligence za rekonstrukcijo in interpretacijo vonjev odpira številna vprašanja o avtentičnosti, kulturnih apropriacijah in senzitivnosti ter dostopnosti vonjalne dediščine. Kar se avtentičnosti tiče, je treba paziti na več vidikov. Rekonstruirani vonji morajo verodostojno predstavljati zgodovinsko resničnost, ne smemo jih idealizirati ali izboljševati, četudi so neprijetni.25 Prav tako z vonji ne smemo manipulirati na način, da bi se občinstvo počutilo zlorabljeno in postalo sumničavo – to se lahko zgodi, kadar identiteta vonja ni znana, namen ni očiten ali ker je vonj zaznavno sintetičen.26 Na primer, rekonstrukcija vonja starodavnega mesta bi lahko poudarila prijetne vonje in zmanjšala neprijetne, kar bi lahko vodilo v zgodovinsko netočno predstavitev. Ta selektivnost pri rekonstrukciji lahko ustvari romantiziran ali steriliziran pogled na preteklost, ki ne odraža dejanskih življenjskih razmer tistega časa. Izključitev neprijetnih vonjev iz rekonstrukcij zgodovinskih okolij ni zgolj vprašanje estetske preference, temveč predstavlja obliko zgodovinske revizije, ki izbriše pomembne vidike vsakdanjega življenja in materialnih pogojev preteklosti. To je še posebej očitno pri rekonstrukciji urbanih okolij iz časov pred modernimi 25 Tako Bembibre in Strlič, 2017. 26 Drobnick, 2014, stran 193. 248 OD ALGORITMA DO PRAVA. sanitarnimi ukrepi, industrijsko revolucijo ali pri predstavitvi delovnih prostorov, kot so strojarne, usnjarne ali barvarne, kjer so bili neprijetni vonji neločljiv del izkušnje. Findlay, direktor vodilnega britanskega podjetja za aroma marketing, je analiziral neprijetne vonjave v muzejskem kontekstu27 in na podlagi številnih primerov zaključil, da neprijetni vonji omogočajo bolj izrazito in nepozabno učno izkušnjo v muzejih. Med drugim je navedel primer iz londonskega Imperialnega vojnega muzeja, kjer so v razstavi rekonstrukcij okopov iz prve svetovne vojne (1990–2013) uporabili kombinacijo vonjev po smodniku, strupenih hlapih, bruhanju in urinu, ki je pri obiskovalcih vzbujala občutja empatije do vojakov, ki so te vonjave nekoč resnično vdihavali. Podoben pristop je bil uporabljen na razstavi Flushed with Pride (2002) v britanskem muzeju keramike v Gladstonu, kjer je bil rekonstruiran smrad zgodovinskih stranišč iz 19. stoletja. Ta smrad je spodbujal angažiranost obiskovalcev, ki so drug drugega izzivali, da povonjajo ta smrad, ob čemer so se učili o higieni in prehrani tega obdobja. Smrad lahko služi tudi nadzoru gneče muzejskih obiskovalcev in v ta namen ga uporabljajo v ozkih hodnikih gradov. Findlay meni, da se smradu v muzejskem kontekstu ni treba izogibati, saj predstavlja ključni element avtentične zgodovinske izkušnje, ki omogoča globljo čustveno povezavo obiskovalcev s preteklostjo in povečuje učinkovitost učnega procesa. Med priporočljivimi sodobnimi tehnološkimi možnostmi, ki omogočajo natančno kontrolo širjenja vonjev preko različnih metod, priporoča ločene, dobro prezračevane prostore, omejeno difuzijo vonja, zaprtega v škatlicah z luknjicami, prostovoljno aktivacijo vonja preko naprav, ki jih sprožimo s pritiskom na pedal, označene predalčke, ki jih obiskovalci lahko odpirajo, ter uporabo aromatskih blokov, ki ne širijo vonja več kot tri metre daleč. Za zagotovitev udobja obiskovalcev Finlay priporoča testiranje vonjev z različnimi skupinami pred uvedbo na razstavo, uporabo opozorilnih napisov pri občutljivih temah in celo zamenjavo neprijetnih vonjev s prijetnejšimi, ki pa v kontekstu vseeno delujejo kot smrad – na primer vonj dimljene ribe v hiši, ki jo je zajela kuga. Edinstvena moč vonjev za čustveno povezavo s preteklostjo se je pokazala celo med pandemijo covid-19, ko so ljudje kupovali spominke s smrdljivimi vonjavami na prizoriščih zgodovinskih atrakcij (na primer hlevi iz gradu Warwick, mučilnice iz Edinburške ječe), kar potrjuje njihovo vlogo kot orodja za angažiranost obiskovalcev in pridobivanje učnih izkušenj.28 27 Findlay, 2023. 28 Prav tam, strani 85–89. M. Ramšak: Umetna inteligenca in kulturna dediščina vonjav 249, Vsekakor uporaba rekonstruiranih zgodovinskih vonjev postavlja pomembno vprašanje avtentičnosti in znanstvene natančnosti, saj je rekonstrukcija vonjev iz preteklosti zapletena in pogosto nepopolna naloga, ki zahteva interdisciplinarni pristop ter kombinacijo zgodovinskih virov, kemijskih analiz in sodobnih tehnologij. Bembibre in Strlič zato predlagata transparentnost procesa rekonstrukcije in jasno komuniciranje metod in omejitev pri rekonstrukciji zgodovinskih vonjev. To vključuje razkritje uporabljenih podatkovnih virov, algoritmov za rekonstrukcijo, negotovosti v procesu in vseh subjektivnih odločitev, sprejetih med rekonstrukcijo.29 Ključno je uravnotežiti avtentičnost in dostopnost ter poiskati ravnovesje med zgodovinsko natančnostjo in sodobnimi estetskimi ter higienskimi standardi. Pri tem avtentičnost ne pomeni popolne skladnosti z izvirnim vonjem iz preteklosti, kar je zaradi časovne oddaljenosti in spremenjenih okoljskih pogojev praktično nemogoče doseči, temveč utemeljeno približevanje zgodovinski resničnosti na podlagi znanstvene zanesljivosti, ki temelji na razpoložljivih zgodovinskih, kemičnih in arheoloških dokazih. Ta izziv je podoben tistemu, s katerim se srečujejo restavratorji in kustosi pri odločanju, koliko »patine časa« ohraniti na zgodovinskih predmetih in stavbah. Najbolje je uporabiti »večplastni pristop« k olfaktornim rekonstrukcijam, ki omogoča različne stopnje avtentičnosti. Osnovna izkušnja je prilagojena sodobnim senzibilnostim, medtem ko zgodovinsko informirana izkušnja vsebuje opozorila za obiskovalce, da je vonj avtentičen in da jim morda ne bo všeč. Hkrati je treba omogočiti tudi možnost popolne rekonstrukcije, ki je dostopna raziskovalcem in posebej zainteresiranim obiskovalcem. Vonj je vedno treba umestiti v ustrezen interpretativni kontekst in zagotoviti, da so rekonstruirani vonji predstavljeni z ustreznim zgodovinskim in kulturnim kontekstom. Brez konteksta lahko vonji vodijo v napačno razumevanje ali celo utrjevanje stereotipov o določenih zgodovinskih obdobjih ali kulturah. Zgodovinski kontekst naj vključuje razlago kdaj, kje in v kakšnih okoliščinah bi se vonj pojavil, razlaga mora vsebovati, kakšen je bil njegov družbeni pomen oziroma kaj je vonj pomenil za ljudi tistega časa. Obiskovalcem pa je treba ponuditi tudi povezavo s sodobnostjo in jih opozoriti, da se naše dojemanje tega vonja razlikuje od zgodovinskega. 29 Bembibre in Strlič, 2021. 250 OD ALGORITMA DO PRAVA. Pomembno etično vprašanje je tudi ravnovesje med izobraževalno vrednostjo in potencialnim senzacionalizmom pri predstavitvi zgodovinskih vonjev. Obstaja nevarnost, da olfaktorne rekonstrukcije postanejo zgolj atrakcije, ki privabljajo obiskovalce s šokantnimi ali nenavadnimi vonji, ne da bi prispevale k resnejšemu razumevanju zgodovinskih kontekstov. Da bi preprečili to nevarnost, je pametno pripraviti ocenjevalni okvir za pedagoško vrednost olfaktornih rekonstrukcij, ki vključuje prispevek k razumevanju zgodovinskega konteksta, povezavo z drugimi oblikami zgodovinskih dokazov, spodbujanje kritičnega razmišljanja o preteklosti in potencial za izzivanje stereotipov in poenostavitev. Umetna inteligenca sama po sebi ni nevtralna v procesu rekonstrukcije vonjev. Algoritmi se učijo na podatkih, ki so lahko pristranski ali nepopolni, kar lahko vodi v sistematične napake pri rekonstrukciji zgodovinskih vonjev. Poleg tega sistemi umetne inteligence pogosto optimizirajo rezultate glede na določene parametre, ki niso nujno usklajeni s ciljem zgodovinske avtentičnosti. Zato je treba paziti na razvoj posebej prilagojenih sistemov umetne inteligence za zgodovinsko rekonstrukcijo vonjev, ki eksplicitno modelirajo negotovost in zanesljivost svojih napovedi, ki transparentno prikazujejo alternativne interpretacije, kadar so podatki dvoumni, ki vključujejo mehanizme za integracijo strokovnega znanja zgodovinarjev in drugih humanističnih ved in ki so zasnovani za prepoznavanje in zmanjševanje potencialnih pristranskosti v podatkih in algoritmih. Sistemi umetne inteligence, ki delajo z vonji, morajo biti občutljivi na kulturne razlike in pomen vonjev v različnih skupnostih. Naučiti jih je treba, da imajo lahko nekateri vonji v določenih kulturah sveti ali ritualni pomen. Da bi se izognili kulturnim apropriacijam in povečali senzitivnost, je treba vključiti lokalne skupnosti v proces digitalizacije in interpretacije vonjev. Kulturna občutljivost pri delu z vonjalno dediščino se razteza na več dimenzij. Prva so sveti in ritualni vonji. V mnogih tradicijah imajo določeni vonji (npr. kadila, dišave, dimni rituali) globok duhovni pomen in so integralni del verskih praks. Njihova digitalizacija in predstavitev izven izvirnega konteksta lahko predstavlja obliko desakralizacije ali celo skrunitve. Druga se nanaša na zasebnost kulturnih praks. Nekateri olfaktorni rituali so namenjeni le članom določene skupnosti ali posvečenim posameznikom. Javna predstavitev takšnih vonjev lahko predstavlja kršitev kulturnih pravil in tradicij. Tretja dimenzija je avtorstvo in lastništvo. Vprašanje, kdo ima pravico dokumentirati, rekonstruirati in predstavljati vonje, M. Ramšak: Umetna inteligenca in kulturna dediščina vonjav 251, povezane z določeno kulturno skupnostjo, je ključnega pomena za preprečevanje kulturne apropriacije. Četrta dimenzija pa zajema kontekstualizacijo in interpretacijo. Vonji so globoko vpeti v kulturne sisteme pomena. Njihova predstavitev brez ustreznega konteksta lahko vodi v eksotizacijo, trivializacijo ali napačno razumevanje kulturnih praks. Za reševanje teh izzivov je potrebno razviti participativne modele raziskav, vključiti lokalne skupnosti in strokovnjake v vse faze projekta, od načrtovanja do implementacije. To ne pomeni le posvetovanja, temveč resnično sodelovanje, kjer imajo skupnosti moč odločanja in nadzora nad procesom. Uspešen model participativnega raziskovanja olfaktorne dediščine v sodelovanju z lokalno skupnostjo je tak, da obe strani skupaj določita, kateri vonji so primerni za dokumentiranje in kateri ne, da lokalna skupnost sodeluje pri razvoju protokolov za zajemanje in analizo vonjev, da odobrili vse interpretacije in predstavitve rezultatov in da postane soavtor znanstvenih publikacij in razstavnih katalogov. Participativni pristopi in etične prakse upoštevajo kulturno relativnost vonjev in krepijo razumevanje, da imajo lahko isti vonji različne pomene in asociacije v različnih kulturah. To zahteva preseganje evrocentričnih klasifikacij vonjev in odprtost za drugačne konceptualne okvire. Na primer, konceptualne kategorije za vonje razlikujejo med jezikovnimi in kulturnimi skupinami, in tako v Melaneziji v jeziku Jahai obstaja bogat besednjak specifičnih besed za vonje, ki nimajo ekvivalentov v evropskih jezikih. Drugi primer, v mnogih vzhodnih kulturah so vonji kategorizirani glede na energijske kvalitete (npr. jin in jang), ne glede na hedonsko vrednost (prijetno/neprijetno). Tretji primer, v andskih kulturah so vonji povezani s kozmološkimi kategorijami, ki presegajo preproste kemične ali percepcijske klasifikacije. Razumevanje in spoštovanje teh drugačnosti je nujno za uspešno etično prakso predstavitve vonjav izven izvornega kulturnega konteksta. Etične smernice za uporabo umetne inteligence pri delu z olfaktorno kulturno dediščino je treba implementirati v mednarodnem kontekstu in tako, da upoštevajo kulturno občutljivost in spoštovanje različnih tradicij. Etične smernice za digitalizacijo nematerialne senzorične dediščine naj vključujejo načela o predhodnem informiranem soglasju skupnosti, naj jasno razmejijo koristi od raziskav in komercializacije, priznavajo intelektualne pravice skupnosti, spoštujejo kulturne omejitve glede dostopa in uporabe in določijo dolgoročno skrbništvo in trajnost projektov. 252 OD ALGORITMA DO PRAVA. Ključen vidik kulturne občutljivosti je tudi izobraževanje raziskovalcev in širše javnosti o pomenu vonjev v različnih kulturnih kontekstih. Razumevanje kulturne dimenzije vonjev ni le etična obveza, temveč tudi pogoj za razvoj tehnologij, s katerimi želimo verodostojno in spoštljivo zajeti bogastvo vonjalne dediščine človeštva. Izobraževanje na področju digitalizacije vonjev naj ponudi temeljno razumevanje kulturne raznolikosti vonjalnih praks, orodja za razmislek o lastnih kulturnih predpostavkah, primere dobrih praks pri sodelovanju s skupnostmi in smernice za etično ravnanje v medkulturnih kontekstih. Uporaba umetne inteligence za rekonstrukcijo kulturno občutljivih vonjev prinaša dodatne etične izzive. Sistemi umetne inteligence pogosto temeljijo na podatkovnih zbirkah in modelih, ki so razviti v zahodnem znanstvenem in kulturnem kontekstu, kar lahko vodi v pristranskosti in etnocentrične interpretacije. Za premagovanje teh omejitev je nujen razvoj sistemov umetne inteligence, ki lahko vključujejo različne epistemologije in načine razumevanja vonjev, dekonstrukcijo vgrajenih pristranskosti v obstoječih algoritmih za analizo vonjev in oblikovanje novih pristopov k strojnemu učenju, ki temeljijo na sodelovanju s skupnostmi in vključujejo tradicionalno znanje. Dodatno pomembno etično vprašanje je trajnost in dostopnost digitaliziranih olfaktornih izkušenj. Digitalizacija vonjev mora služiti širšemu cilju demokratizacije dostopa do kulturne dediščine, ne pa ustvarjanju novih oblik izključenosti. Olfaktorne tehnologije se soočajo s posebnimi izzivi trajnosti, kot so tehnološka zastarelost, saj se napredne tehnologije za zaznavanje in reprodukcijo vonjev hitro razvijajo, kar postavlja vprašanje dolgoročne dostopnosti digitaliziranih vonjev. Poleg tega naprave za razprševanje vonjev pogosto uporabljajo potrošne materiale in kemikalije, kar lahko predstavlja okoljsko breme in omejuje njihovo uporabo v institucionalnih kontekstih z omejenimi sredstvi. Zagotavljanje, da bodo digitalni zapisi vonjev dostopni in uporabni tudi v prihodnosti, zahteva skrbno načrtovanje formatov za dolgotrajno hrambo in strategije prenosa podatkov. Etično pomembno vprašanje je tudi dostopnost olfaktornih izkušenj za različne skupine uporabnikov. Pri tem je pomembna geografska dostopnost, saj so mnoge napredne tehnologije za reprodukcijo vonjev na voljo le v dobro financiranih institucijah v bogatih državah, kar lahko poglablja obstoječe neenakosti v dostopu do kulturne dediščine. Enako pomembna je ekonomska dostopnost, saj visoki M. Ramšak: Umetna inteligenca in kulturna dediščina vonjav 253, stroški tehnologij za zaznavanje in reprodukcijo vonjev lahko omejijo njihovo uporabo na elitne institucije in občinstva. Poleg tega je treba upoštevati dostopnost za osebe z različnimi sposobnostmi, vključno s tistimi z anozmijo (nezmožnostjo zaznavanja vonjev) ali preobčutljivostjo na vonje. 5 Zaključek Uporaba umetne inteligence pri ohranjanju in interpretaciji kulturne dediščine vonjav predstavlja vznemirljivo novo področje raziskav in prakse. Medtem ko tehnologija odpira številne možnosti za bogatejše in bolj poglobljeno razumevanje naše vonjalne preteklosti, prinaša tudi pomembne pravne in etične izzive. Ključne ugotovitve tega prispevka so v transformativnem potencialu umetne inteligence za dokumentiranje, ohranjanje in doživljanje olfaktorne dediščine. Napredni algoritmi strojnega učenja omogočajo analizo kompleksnih olfaktornih podatkov, rekonstrukcijo izgubljenih vonjev in ustvarjanje novih načinov interakcije z olfaktorno dediščino, ki presegajo omejitve tradicionalnih pristopov. Pravni okviri za zaščito in upravljanje digitalizirane olfaktorne dediščine še niso v celoti razviti in zahtevajo nadaljnjo pozornost. Vprašanja intelektualne lastnine, varstva osebnih podatkov in standardizacije ostajajo ključni izzivi, ki zahtevajo inovativne pravne rešitve in mednarodno harmonizacijo. Etična vprašanja, povezana z avtentičnostjo, interpretacijo in kulturno občutljivostjo, so ključnega pomena pri uporabi umetne inteligence v tem kontekstu. Potrebovali bi premišljen pristop, ki bi uravnotežil tehnološke možnosti s potrebo po spoštovanju kultur, zagotavljanju verodostojnosti in vključevanju skupnosti. Učinkovita digitalizacija olfaktorne dediščine zahteva sodelovanje strokovnjakov z različnih področij, vključno z računalništvom, kemijo, zgodovino, antropologijo, etiko in pravom, pa tudi tesno sodelovanje s skupnostmi, ki so nosilci te dediščine. Z napredkom tehnologije in poglabljanjem razumevanja kompleksnosti olfaktorne dediščine lahko pričakujemo, da bo področje uporabe umetne inteligence pri ohranjanju in interpretaciji kulturne dediščine vonjav še naprej raslo in se razvijalo. To bo nedvomno odprlo nove poti za raziskovanje in doživljanje naše skupne preteklosti, hkrati pa bo zahtevalo nenehno pozornost in premislek o etičnih in pravnih implikacijah tega napredka. V prihodnosti bo ključnega pomena, da 254 OD ALGORITMA DO PRAVA. raziskovalci, tehnologi, pravniki in etiki sodelujejo pri oblikovanju odgovornih in učinkovitih pristopov k uporabi umetne inteligence v kontekstu kulturne dediščine vonjav. Le s takšnim interdisciplinarnim pristopom bomo lahko v celoti izkoristili potencial te tehnologije, hkrati pa ohranili integriteto in pomen olfaktorne dediščine za prihodnje generacije. Digitalizacija olfaktorne dediščine ni le tehnološki projekt, temveč kulturno in družbeno prizadevanje, ki nas vabi, da na novo premislimo odnos do preteklosti, našo povezanost s sedanjostjo in naše odgovornosti do prihodnosti. V tem procesu se moramo vprašati ne le, kako lahko tehnologija služi ohranjanju dediščine, temveč tudi, kako lahko dediščina oblikuje našo uporabo tehnologije. Ta holistični pristop k olfaktorni dediščini obljublja ne le tehnološke inovacije, temveč tudi poglobljeno razumevanje in spoštovanje bogatega čutnega sveta, ki ga delimo kot človeštvo – sveta, ki presega vizualno in zvočno, da bi zajel polno kompleksnost našega zgodovinskega in kulturnega izkustva. Priznanje To poglavje je nastalo v okviru velikega temeljnega projekta Vonj in nesnovna kulturna dediščina (ARIS J7-50233) Literatura Bembibre, C. and Strlič, M. (2017) Smell of heritage: a framework for the identification, analysis and archival of historic odours, Heritage Science, 5, strani 1–11 (obiskano: 13. 6. 2025). Bembibre, C. and Strlič, M. (2021) From Smelly Buildings to the Scented Past: An Overview of Olfactory Heritage. Frontiers in Psychology, 12, doi: 10.3389/fpsyg.2021.718287 (obiskano: 13. 6. 2025). Classen, C., Howes, D., & Synnott, A. (1994) Aroma: The cultural history of smell (London, New York: Routledge). Drobnick, J. (2006) Olfactocentrism, v: The Smell Culture Reader, Oxford, (New York: Berg Publishers), strani 1–9. Drobnick, J. (2014) The Museum as Smellscape, v: Levent, N. in Alvaro, P.-L. (ur.), The Multisensory Museum: Cross-Disciplinary Perspectives on Touch, Sound, Smell, Memory, and Space, Rowman & Littlefield, strani 177–196. Duthil, A. (2021) La reconnaissance législative du patrimoine sensoriel des campagnes françaises, Droit, patrimoine et culture, dostopno na: https://doi.org/10.58079/nwa2 (obiskano: 13. 6. 2025). Findlay, L. R. (2023) Considerations for using malodours in olfactory storytelling, v: Ehrich, S. C., et al. The Olfactory Storytelling Toolkit: A ‘How-To’ Guide for Working with Smells in Museums and Heritage Institutions, Odeuropa, strani 85–89, dostopno na: https://odeuropa.eu/the-olfactory-storytelling-toolkit/ (obiskano: 13. 6. 2025). M. Ramšak: Umetna inteligenca in kulturna dediščina vonjav 255, Forte, S. M. (2021) Scent Trademarks: A Unique Smell, Oldsmar, Florida: Smith & Hopen, Patent and Trademark Attorneys, dostopno na: https://smithhopen.com/2021/03/23/scent-trademarks-a-unique-smell/ (obiskano: 13. 6. 2025). Gershman, J. (2015) Eau de Fracking? Companies Try to Trademark Scents, The Wall Street Journal, dostopno na: https://www.wsj.com/articles/should-companies-trademark-scents 1428965455?cb=logged0.34832156728953123 (obiskano: 13. 6. 2025). Green, N. (2015) The 10 Current Scent Trademarks Currently Recognized by the U.S. Patent Office, Mental Floss, dostopno na: https://www.mentalfloss.com/article/69760/10-scent-trademarks-currently-recognized-us-patent-office (obiskano: 13. 6. 2025). Jenner, M. S. (2011) Follow your nose? Smell, smelling, and their histories, The American Historical Review, 116(2), strani 335–351. Keller, A., Gerkin, R. C., Guan, Y., et al. (2017) Predicting human olfactory perception from chemical features of odor molecules, Science, 355(6327), strani 820–826. Lisena, P., Schwabe, D., van Erp, M., Troncy, R., Tullett, W., Leemans, I., Marx, L, Colette Ehrich, S. (2022) Capturing the Semantics of Smell: The Odeuropa Data Model for Olfactory Heritage Information, v: Groth, P. et al. The Semantic Web. ESWC 2022, Lecture Notes in Computer Science, 13261. Springer, Cham, dostopno na: https://doi.org/10.1007/978-3-031-06981-9_23 (obiskano: 10. 6. 2025). Littman, R. J., Silverstein, J., Goldsmith, D., Coughlin, S., and Mashaly, H. (2021) Eau De Cleopatra, “Mendesian Perfume and Tell Timai”, Near Eastern Archaeology, 84, strani 216–229. Extended abstract This chapter looks at the intersection of artificial intelligence and olfactory cultural heritage and explores how new technologies can preserve, reconstruct and interpret historical smells as an integral part of human cultural identity. The author presents a comprehensive analysis of the technological advances, legal challenges and ethical considerations in this emerging field. The digitization of olfactory heritage represents a significant technological leap forward. Since the 1990s, smell has gained prominence in technology through innovations such as environmental scenting, olfactory biometrics, electronic noses, artificial scents and scent marketing. Electronic noses — sensing devices that mimic human odour using chemical sensors — have been used since the 1980s for quality control in the food industry, disease diagnostics and explosives detection. Modern AI algorithms play a crucial role in interpreting the data collected by these devices. They enable the precise assignment of chemical compositions and the identification of compounds through extensive databases. Machine learning algorithms can successfully predict the intensity and pleasantness of scents while recognizing semantic descriptors such as garlic, fish, sweet, fruit, burnt, spice, floral and sour. The reconstruction of historical scents is a complex, multi-layered process that combines historical research with advanced computer techniques. Researchers analyse historical texts, recipes, diaries and documents that describe time- or place-specific smells. AI enables the reconstruction of lost scents through the analysis of historical recipes and formulas, the interpretation of scent descriptions in literary and historical works, and the simulation of chemical processes that influenced past aromas. A notable example is the successful reconstruction of Cleopatra’s perfume, which was achieved through the collaboration of classical and experimental archaeologists and Egyptologists. Based on finds from a perfumery site in Tell Timai, Egypt, and advanced paleobotanical technologies, the researchers reconstructed the Egyptian queen’s signature scent – a pleasant spicy-sweet fragrance with base notes of freshly ground myrrh and cinnamon. The legal protection of fragrances presents complex challenges that require innovative approaches. France’s law from 2021 introduced the protection of sensory heritage in rural areas and recognizes sounds and smells as part of the national heritage. This law protects authentic sounds and smells of rural areas – from freshly mown grass to church bells – as integral parts of French cultural identity. 256 OD ALGORITMA DO PRAVA. However, protecting scents as intellectual property remains a challenge. The European Union imposes strict requirements on the graphic representation of scent trademarks, while the United States is more open to scent registration, albeit with limited scope. The subjective nature of scent perception and the instability of molecular compounds make consistent legal protection difficult. The use of artificial intelligence in the field of olfactory heritage raises important ethical questions about authenticity, cultural appropriation and accessibility. Reconstructed scents must authentically reflect historical reality without idealization, even if they are unpleasant. Cultural sensitivity is crucial, as many traditions ascribe sacred or ritual significance to certain scents. Key ethical principles include: securing community consent, respecting cultural restrictions on access and use, recognizing the intellectual rights of communities, and providing long-term stewardship of projects. The democratization of access to olfactory heritage must avoid creating new forms of exclusion while respecting cultural boundaries. The field requires interdisciplinary collaboration between computer scientists, chemists, historians, anthropologists, ethicists and legal experts, as well as close cooperation with the communities that carry the heritage. As technology advances and the understanding of the complexity of olfactory heritage increases, this field will continue to grow. Ethical and legal implications must be considered while preserving the integrity and importance of olfactory heritage for future generations. M DOI ERJENJE EKONOMSKE https://doi.org/ 10.18690/um.pf.11.2025.10 NEGOTOVOSTI S POMOČJO ISBN 978-961-299-086-2 UMETNE INTELIGENCE DEJAN ROMIH, SILVO DAJČMAN Univerza v Mariboru, Ekonomsko-poslovna fakulteta, Maribor, Slovenija dejan.romih@um.si, silvo.dajcman@um.si Umetna inteligenca vpliva na vsa področja in vse vidike Ključne besede: ekonomija, družbenega življenja. V tem prispevku proučujemo merjenje kabelska novica, ekonomske negotovosti s pomočjo umetne inteligence, pri čemer negotovost, uporabljamo Stanford Cable TV News Analyzer, ki omogoča umetna inteligenca, Združene države Amerike analiziranje kabelskih novic na CNN-u, FOX-u in MSNBC-ju. S pomočjo tega orodja smo razvili tri na kabelskih novicah temelječe indekse ekonomske negotovosti, s katerimi smo dopolnili seznam indeksov ekonomske negotovosti, ki omogočajo poglobljeno obravnavanje tega raziskovalnega področja. Z uporabo vektorskega avtoregresijskega modela smo ugotovili, da šok v poročanju posameznih kabelskih televizijskih postaj o ekonomski negotovosti različno vpliva na ameriško gospodarstvo. DOI MEASURING ECONOMIC https://doi.org/ 10.18690/um.pf.11.2025.10 ISBN NCERTAINTY WITH U 978-961-299-086-2 ARTIFICIAL INTELLIGENCE DEJAN ROMIH, SILVO DAJČMAN University of Maribor, Faculty of Economics and Business, Maribor, Slovenia dejan.romih@um.si, silvo.dajcman@um.si Keywords: Artificial intelligence has an impact on all areas and aspects of economics, social life. In this paper, we analyse the measurement of economic cable news, artificial intelligence, uncertainty with artificial intelligence. To do so, we use the uncertainty, Stanford Cable TV News Analyzer, which allows us to analyse United States of America cable news on CNN, FOX and MSNBC. Using this tool, we have developed three cable news-based economic uncertainty indices that complement existing economic uncertainty indices and allow for more in-depth exploration of this area of research. Using a vector autoregression model, we found that a shock to economic uncertainty coverage by individual cable news channels has different effects on the US economy. D. Romih, S. Dajčman: Merjenje ekonomske negotovosti s pomočjo umetne inteligence 259, 1 Uvod Umetna inteligenca (angl. artificial intelligence) je razmeroma nova veda, tehnologija in orodje, ki spreminja naš način življenja in mišljenja. Uvedba klepetalnega robota ChatGPT, ki ga je razvilo podjetje OpenAI s sedežem v San Franciscu, je sprožila razpravo o vlogi in pomenu umetne inteligence v ekonomiji. Raziskovalci1 se strinjajo, da ima umetna inteligenca svoje prednosti in slabosti, ki se jih moramo zavedati, če jo želimo pravilno, varno in učinkovito uporabljati. To velja tudi pri merjenju, opazovanju in spremljanju negotovosti ter ugotavljanju njenih vzrokov in posledic. V literaturi srečujemo različne vrste negotovosti, kot so ekonomska negotovost, finančna negotovost in politična negotovost. Ekonomsko negotovost definiramo kot negotovost glede ekonomskih razmer, finančno negotovost kot negotovost glede finančnih razmer, politično negotovost pa kot negotovost glede političnih razmer. V nadaljevanju tega prispevka obravnavamo ekonomsko negotovost ter njene vzroke in posledice, pri čemer jo merimo, opazujemo in spremljamo s pomočjo spletne aplikacije Stanford Cable TV News Analyzer, ki temelji na uporabi umetne inteligence. Njena prednost je, da omogoča merjenje, opazovanje in spremljanje poročanja televizijskih kanalov CNN, FOX in MSNBC o dogajanju v Združenih državah Amerike (ZDA) in drugod po svetu. To poglavje v monografiji je strukturirano tako, da ima še štiri razdelke. V drugem razdelku podajamo metode, v tretjem rezultate, v četrtem razpravo, v petem pa sklepne ugotovitve. 2 Metode in podatki Raziskava ima dva dela. V prvem delu podajamo na CNN-ovih, FOX-ovih in MSNBC-jevih novicah temelječe indekse ekonomske negotovosti, s katerimi dopolnjujemo na kabelskih novicah temelječi indeks ekonomske negotovosti (angl. Cable News-Based Economic Uncertainty Index), ki so ga razvili Bergbrant in Bradley.2 V drugem delu pa podajamo posledice ekonomske negotovosti, pri čemer uporabljamo na kabelskih novicah temelječe indekse ekonomske negotovosti, ki smo jih razvili za potrebe te raziskave. Zanimalo nas je, ali se posledice ekonomske 1 Brynjolfsson in Unger, 2023; Korinek, 2024a, 2024b; Korinek & Stiglitz, 2017; Walsh, 2025. 2 Bergbrant in Bradley, 2022. 260 OD ALGORITMA DO PRAVA. negotovosti razlikujejo glede na to, kateri televizijski kanal upoštevamo kot vir podatkov. Da bi odgovorili na to vprašanje, smo uporabili vektorski avtoregresijski model (angl. Vector Autoregressive Model ali VAR), ki ga predstavljamo v nadaljevanju. Empirični del raziskave smo zasnovali tako, da smo sledili Bakerju, Bloomu in Davisu,3 ki so ocenili vektorski avtoregresijski model in z impulzno-odzivnimi funkcijami analizirali odziv ekonomskih spremenljivk na šok v ekonomskopolitični negotovosti (angl. economic policy uncertainty). V tem prispevku je pristop enak. Prav tako je enak nabor endogenih spremenljivk modela, z izjemo kazalca negotovosti. Natančneje, naš niz (vektor) endogenih spremenljivk zajema naslednje spremenljivke oziroma časovne vrste: ekonomska negotovost ( 𝐸𝐸𝐸𝐸 ), naravni 𝑡𝑡 logaritem indeksa cen delnic za ZDA (𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸 ), ključna obrestna mera denarne 𝑡𝑡 politike ameriške centralne banke oziroma Federalnih rezerv (𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝑙𝑙 ), 𝑡𝑡 naravni logaritem ravni (števila) zaposlenosti v ZDA (𝑙𝑙𝐸𝐸𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝐹𝐹𝑙𝑙 ) in naravni 𝑡𝑡 logaritem indeksa industrijske proizvodnje v ZDA (𝑙𝑙𝑙𝑙𝑙𝑙 ). Spremenljivke so kot v 𝑡𝑡 delu Bakerja, Blooma in Davisa4 v ravneh oziroma naravnem logaritmu ravni (𝑙𝑙 označuje naravni logaritem). VAR-model, ki smo ga ocenili, lahko zapišemo tako: 𝐸𝐸𝐸𝐸 𝑡𝑡 = 𝑐𝑐1 + 𝑎𝑎11𝐸𝐸𝐸𝐸𝑡𝑡−1 + 𝑎𝑎12𝐸𝐸𝐸𝐸 𝑡𝑡−2 + 𝑎𝑎13𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝑡𝑡−1 + 𝑎𝑎14𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝑡𝑡−2 + 𝑎𝑎15𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝑙𝑙𝑡𝑡−1 + 𝑎𝑎16𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝑙𝑙𝑡𝑡−2 + 𝑎𝑎17𝑙𝑙𝐸𝐸𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝐹𝐹𝑙𝑙 𝑡𝑡−1 + 𝑎𝑎18𝑙𝑙𝐸𝐸𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝐹𝐹𝑙𝑙 𝑡𝑡−2+𝑎𝑎19𝑙𝑙𝑙𝑙𝑙𝑙 𝑡𝑡−1+𝑎𝑎110𝑙𝑙𝑙𝑙𝑙𝑙 𝑡𝑡−2 + 𝑒𝑒1𝑡𝑡 𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝑡𝑡 = 𝑐𝑐2 + 𝑎𝑎21𝐸𝐸𝐸𝐸𝑡𝑡−1 + 𝑎𝑎22𝐸𝐸𝐸𝐸𝑡𝑡−2 + 𝑎𝑎23𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝑡𝑡−1 + 𝑎𝑎24𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝑡𝑡−2 + 𝑎𝑎25𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝑙𝑙𝑡𝑡−1 + 𝑎𝑎26𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝑙𝑙𝑡𝑡−2 + 𝑎𝑎27𝑙𝑙𝐸𝐸𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝐹𝐹𝑙𝑙𝑡𝑡−1 + 𝑎𝑎28𝑙𝑙𝐸𝐸𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝐹𝐹𝑙𝑙𝑡𝑡−2+𝑎𝑎29𝑙𝑙𝑙𝑙𝑙𝑙 𝑡𝑡−1+𝑎𝑎210𝑙𝑙𝑙𝑙𝑙𝑙 𝑡𝑡−2 + 𝑒𝑒2𝑡𝑡 𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝑙𝑙 𝑡𝑡 = 𝑐𝑐3 + 𝑎𝑎31𝐸𝐸𝐸𝐸𝑡𝑡−1 + 𝑎𝑎32𝐸𝐸𝐸𝐸𝑡𝑡−2 + 𝑎𝑎33𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝑡𝑡−1 + 𝑎𝑎34𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝑡𝑡−2 + 𝑎𝑎35𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝑙𝑙𝑡𝑡−1 + 𝑎𝑎36𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝑙𝑙𝑡𝑡−2 + 𝑎𝑎37𝑙𝑙𝐸𝐸𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝐹𝐹𝑙𝑙𝑡𝑡−1 + 𝑎𝑎38𝑙𝑙𝐸𝐸𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝐹𝐹𝑙𝑙𝑡𝑡−2+𝑎𝑎39𝑙𝑙𝑙𝑙𝑙𝑙 𝑡𝑡−1+𝑎𝑎310𝑙𝑙𝑙𝑙𝑙𝑙 𝑡𝑡−2 + 𝑒𝑒3𝑡𝑡 3 Baker, Bloom in Davis, 2016. 4 Prav tam. D. Romih, S. Dajčman: Merjenje ekonomske negotovosti s pomočjo umetne inteligence 261, 𝑙𝑙𝐸𝐸𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝐹𝐹𝑙𝑙 𝑡𝑡 = 𝑐𝑐 4 + 𝑎𝑎41𝐸𝐸𝐸𝐸𝑡𝑡−1 + 𝑎𝑎42𝐸𝐸𝐸𝐸𝑡𝑡−2 + 𝑎𝑎43𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝑡𝑡−1 + 𝑎𝑎44𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝑡𝑡−2 + 𝑎𝑎45𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝑙𝑙𝑡𝑡−1 + 𝑎𝑎46𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝑙𝑙𝑡𝑡−2 + 𝑎𝑎47𝑙𝑙𝐸𝐸𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝐹𝐹𝑙𝑙𝑡𝑡−1 + 𝑎𝑎48𝑙𝑙𝐸𝐸𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝐹𝐹𝑙𝑙𝑡𝑡−2+𝑎𝑎49𝑙𝑙𝑙𝑙𝑙𝑙 𝑡𝑡−1+𝑎𝑎410𝑙𝑙𝑙𝑙𝑙𝑙 𝑡𝑡−2 + 𝑒𝑒4𝑡𝑡 𝑙𝑙𝑙𝑙𝑙𝑙 𝑡𝑡 = 𝑐𝑐5 + 𝑎𝑎51𝐸𝐸𝐸𝐸𝑡𝑡−1 + 𝑎𝑎52𝐸𝐸𝐸𝐸𝑡𝑡−2 + 𝑎𝑎53𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝑡𝑡−1 + 𝑎𝑎54𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝑡𝑡−2 + 𝑎𝑎55𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝑙𝑙𝑡𝑡−1 + 𝑎𝑎56𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝐸𝐸𝐹𝐹𝐹𝐹𝑙𝑙𝑡𝑡−2 + 𝑎𝑎57𝑙𝑙𝐸𝐸𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝐹𝐹𝑙𝑙𝑡𝑡−1 + 𝑎𝑎58𝑙𝑙𝐸𝐸𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝐸𝐸𝐹𝐹𝑙𝑙𝑡𝑡−2+𝑎𝑎59𝑙𝑙𝑙𝑙𝑙𝑙 𝑡𝑡−1+𝑎𝑎510𝑙𝑙𝑙𝑙𝑙𝑙 𝑡𝑡−2 + 𝑒𝑒5𝑡𝑡 𝑒𝑒1𝑡𝑡, 𝑒𝑒2𝑡𝑡, 𝑒𝑒3𝑡𝑡, 𝑒𝑒4𝑡𝑡, 𝑒𝑒5𝑡𝑡 označuje napake posamezne ocenjene enačbe. Posledice šokov v posameznih kazalnikih ekonomske negotovosti primerjamo tako, da ocenimo tri VAR-modele z omenjenimi značilnostmi, ki se med seboj razlikujejo zgolj po spremenljivki (𝐸𝐸𝐸𝐸 𝑡𝑡), kar pomeni, da 𝐸𝐸𝐸𝐸 𝑡𝑡 enkrat predstavlja 𝐸𝐸𝐸𝐸_𝐶𝐶𝐹𝐹𝐹𝐹 𝑡𝑡, tj. indeks ekonomske negotovosti, izračunan na osnovi poročanja televizijske postaje CNN, drugič 𝐸𝐸𝐸𝐸_𝐹𝐹𝑙𝑙𝐹𝐹 , tj. indeks ekonomske negotovosti, izračunan na osnovi 𝑡𝑡 poročanja televizijske postaje FOX, in tretjič 𝐸𝐸𝐸𝐸_𝑙𝑙𝑙𝑙𝐹𝐹𝑀𝑀𝐶𝐶 , 𝑡𝑡 tj. indeks ekonomske negotovosti, izračunan na osnovi poročanja televizijske postaje MSNBC. Kot je razvidno, sta med pojasnjevalnimi spremenljivkami tudi prva dva odloga endogenih spremenljivk. Na osnovi informacijskih kriterijev HQIC in SBIC smo namreč ocenili, da je to optimalni red odloga VAR-modela. Rezultati testov izbora optimalnega odloga so v prilogi. Vsi izračuni v prispevku so narejeni s programom Stata. Identifikacija šokov, ki je pomembna za izračun impulzno-odzivnih funkcij, je kot v raziskavi Bakerja, Blooma in Davisa5 na osnovi Choleskyjeve dekompozicije, s čimer je pomemben vrstni red endogenih spremenljivk v VAR-modelu. Tudi pri tem sledimo navedenim avtorjem in izberemo vrstni red, kot je naveden v besedilu in enačbah zgoraj. Osnovne značilnosti in vir časovnih vrst 𝐸𝐸𝐸𝐸_𝐶𝐶𝐹𝐹𝐹𝐹 𝑡𝑡, 𝐸𝐸𝐸𝐸_𝐹𝐹𝑙𝑙𝐹𝐹𝑡𝑡 in 𝐸𝐸𝐸𝐸_𝑙𝑙𝑙𝑙𝐹𝐹𝑀𝑀𝐶𝐶𝑡𝑡 podajamo v tretjem razdelku. Indeks cen delnic za ZDA je desezoniran, vir podatkov pa je OECD (2025), ključna obrestna mera ameriške centralne banke (angl. Federal Funds Effective Rate) je podana v odstotkih in ni desezonirana, vir pa je Board of 5 Prav tam. 262 OD ALGORITMA DO PRAVA. Governors of Federal Reserve System (2025a). Število zaposlenih predstavlja celotno raven zaposlenosti v ZDA in je desezonirano, vir pa je U.S. Bureau of Labor Statistics (2025). Indeks industrijske proizvodnje je desezoniran, vir pa je Board of Governors of Federal Reserve System (2025b). Čas opazovanja je od 2010m1 do 2024m9 (tj. od januarja 2010 do septembra 2024). 3 Rezultati 3.1 Na CNN-ovih, FOX-ovih in MSNBC-jevih novicah temelječi indeksi ekonomske negotovosti 3.1.1 Ekonomska negotovost Ekonomska negotovost ni nov ekonomski pojav. Res pa je, da se o njej veliko govori in piše od finančne krize leta 2008, ki je vplivala na zmanjšanje ekonomske aktivnosti in posledično na povečanje ekonomske negotovosti.6 Raziskave7 kažejo, da na povečanje ekonomske negotovosti vplivajo različni dejavniki, od ekonomskih do neekonomskih, ki so medsebojno povezani. Propad ameriške banke Lehman Brothers septembra 2008 je sprožil razpravo o vlogi in pomenu ekonomske negotovosti. Izkazalo se je, da le-te ne smemo podcenjevati. Raziskave8 namreč kažejo, da ima povečanje ekonomske negotovosti negativne ekonomske posledice, kar dokazujemo tudi v tem razdelku. Razumeti moramo, da povečanje ekonomske negotovosti vpliva na ravnanje ekonomskih enot, kot so na primer gospodinjstva in podjetja, ki bodo zaradi ekonomske negotovosti odložile nenujne investicije ipd., kar pa ekonomsko stanje še poslabša. Tako je naloga oblikovalcev ekonomske politike, da preprečijo nastajanje in razvoj ekonomske negotovosti. Pri tem imajo pomembno vlogo tudi mediji, kot je kabelska televizija. Raziskovalci se strinjajo, da obstaja potreba po merjenju, opazovanju in spremljanju ekonomske negotovosti. Živimo namreč v času ekonomske negotovosti, ki jo povzročajo različni dejavniki. Ne preseneča nas torej, da so raziskovalci razvili indekse, s katerimi merimo, opazujemo in spremljamo ekonomsko negotovost. V literaturi srečujemo različne vrste indeksov ekonomske negotovosti, kot sta na 6 Prav tam. 7 Al-Thaqeb in Algharabali, 2019. 8 Prav tam. D. Romih, S. Dajčman: Merjenje ekonomske negotovosti s pomočjo umetne inteligence 263, primer na časopisnih novicah temelječi indeks ekonomske negotovosti in na kabelskih novicah temelječi indeks ekonomske negotovosti.9 V tem razdelku predstavljamo na kabelskih novicah temelječe indekse ekonomske negotovosti, pri čemer se osredotočamo na tri televizijske kanale: CNN, FOX in MSNBC. 3.1.2 Na CNN-ovih novicah temelječi indeks ekonomske negotovosti Na CNN-ovih novicah temelječi indeks ekonomske negotovosti (angl. »CNN News-Based Economic Uncertainty Index«) smo dobili tako, da smo v spletno aplikacijo Stanford Cable TV News Analyzer vnesli text="economy | economic" AND text="uncertainty | uncertain" AND textwindow="10" AND channel="CNN", s čimer smo prilagodili na kabelskih novicah temelječi indeks ekonomske negotovosti. Operator | smo uporabili zato, ker smo želeli, da spletna aplikacija upošteva vse iskalne zadetke, ki ustrezajo vsaj enemu od obeh delov iskalnega niza, ki ju ta operator povezuje. Slika 1 kaže gibanje časa zaslona o ekonomski negotovosti na CNN-u, ki je znan kot levičarski televizijski kanal. Čas zaslona smo izrazili v sekundah. Slika 1: Gibanje časa zaslona o ekonomski negotovosti na CNN-u v sekundah Vir: Hong et al. 2021, https://tvnews.stanford.edu/, lastni izračuni. 9 Bergbrant in Bradley, 2022. D. Romih, S. Dajčman: Merjenje ekonomske negotovosti s pomočjo umetne inteligence 265, 264 OD ALGORITMA DO PRAVA. S slike 1 je razvidno, da je bila ekonomska negotovost, merjena z na CNN-ovih novicah temelječim indeksom ekonomske negotovosti, največja avgusta 2011, ko je čas zaslona o ekonomski negotovosti znašal 945,2 sekunde. 3.1.3 Na FOX-ovih novicah temelječi indeks ekonomske negotovosti Na FOX-ovih novicah temelječi indeks ekonomske negotovosti (angl. »FOX News- Based Economic Uncertainty Index«) smo dobili tako, da smo v spletno aplikacijo Stanford Cable TV News Analyzer vnesli text="economy | economic" AND text="uncertainty | uncertain" AND textwindow="10" AND channel="FOX". Slika 2 kaže gibanje časa zaslona o ekonomski negotovosti na FOX-u, ki je znan kot desničarski televizijski kanal. Slika 2: Gibanje časa zaslona o ekonomski negotovosti na FOX-u v sekundah Vir: Hong et al. 2021, https://tvnews.stanford.edu/, lastni izračuni. S slike 2 je razvidno, da je bila ekonomska negotovost, merjena z na FOX-ovih novicah temelječim indeksom ekonomske negotovosti, največja septembra 2010, ko je čas zaslona o ekonomski negotovosti znašal 602,7 sekunde. 3.1.4 Na MSNBC-jevih novicah temelječi indeks ekonomske negotovosti Na MSNBC-jevih novicah temelječi indeks ekonomske negotovosti (angl. »MSNBC News-Based Economic Uncertainty Index«) smo dobili tako, da smo v spletno aplikacijo Stanford Cable TV News Analyzer vnesli text="economy | economic" AND text="uncertainty | uncertain" AND textwindow="10" AND channel="MSNBC". Slika 3 kaže gibanje časa zaslona o ekonomski negotovosti na MSNBC-ju, ki je tako kot CNN znan kot levičarski kabelski televizijski kanal. Slika 3: Gibanje časa zaslona o ekonomski negotovosti na MSNBC-ju v sekundah Vir: Hong et al., 2021, https://tvnews.stanford.edu/, lastni izračuni. S slike 3 je razvidno, da je bila ekonomska negotovost, merjena z na MSNBC-jevih novicah temelječim indeksom ekonomske negotovosti, največja julija 2011, ko je čas zaslona o ekonomski negotovosti znašal 574,1 sekunde. Izkazalo se je, da med TV postajami obstajajo razlike v obsegu poročanja o ekonomski negotovosti (glej prilogo 1). To je razvidno tudi iz Tabele 1, ki prikazuje korelacijo med posameznimi kazalci ekonomske negotovosti. Korelacija je največja med 𝐸𝐸𝐸𝐸_𝐹𝐹𝑙𝑙𝐹𝐹 in 𝑡𝑡 𝐸𝐸𝐸𝐸_𝑙𝑙𝑙𝑙𝐹𝐹𝑀𝑀𝐶𝐶 𝑡𝑡 , a v nobenem primeru ne presega 0,7. 266 OD ALGORITMA DO PRAVA. Tabela 1: Korelacija med 𝑬𝑬𝑬𝑬_𝑪𝑪𝑪𝑪𝑪𝑪𝒕𝒕, 𝑬𝑬𝑬𝑬_𝑭𝑭𝑭𝑭𝑭𝑭𝒕𝒕 in 𝑴𝑴𝑴𝑴𝑪𝑪𝑴𝑴𝑪𝑪_𝑪𝑪𝑪𝑪𝑪𝑪𝒕𝒕 𝐸𝐸𝐸𝐸_𝐶𝐶𝐹𝐹𝐹𝐹 𝑡𝑡 𝐸𝐸𝐸𝐸_𝐹𝐹𝑙𝑙𝐹𝐹𝑡𝑡 𝐸𝐸𝐸𝐸_𝑙𝑙𝑙𝑙𝐹𝐹𝑀𝑀𝐶𝐶𝑡𝑡 𝐸𝐸𝐸𝐸_𝐶𝐶𝐹𝐹𝐹𝐹 𝑡𝑡 1 𝐸𝐸𝐸𝐸_𝐹𝐹𝑙𝑙𝐹𝐹𝑡𝑡 0,5916 1 𝐸𝐸𝐸𝐸_𝑙𝑙𝑙𝑙𝐹𝐹𝑀𝑀𝐶𝐶 𝑡𝑡 0,5871 0,6579 1 Opomba: 𝑝𝑝 ≤ 0,05. Vir: Lastni izračun. Slike 4–6 kažejo, da se je podobnost poročanja preučevanih TV postaj skozi čas spreminjala. Izračunana drseča korelacija namreč kaže, da se je korelacija med posameznimi pari TV postaj gibala od približno –0,5 do preko 0,9. Zlasti v zadnjem obdobju, po letu 2022, je opazno znižanje podobnosti poročanja TV postaj o ekonomski negotovosti. Še več, korelacija je postala v zadnjem obdobju negativna, kar pomeni, da medtem ko se je pri eni televizijski postaji obseg poročanja o ekonomski negotovosti povečeval, se je pri drugi zmanjševal. Slike 4–6 prikazujejo drsečo korelacijo med posameznimi pari kazalcev ekonomske negotovosti. Slika 4: Drseča korelacija med 𝑬𝑬𝑬𝑬_𝑪𝑪𝑪𝑪𝑪𝑪𝒕𝒕 in 𝑬𝑬𝑬𝑬_𝑭𝑭𝑭𝑭𝑭𝑭𝒕𝒕 Opomba: Drseča korelacija je izračunana na osnovi 12 mesečnih podatkov poročanja o ekonomski negotovosti. Korelacijski koeficient dobimo za vsako časovno opazovanje (mesec) razen za prvih 11 opazovanj. Vir: Hong et al., 2021, https://tvnews.stanford.edu/, lastni izračuni. D. Romih, S. Dajčman: Merjenje ekonomske negotovosti s pomočjo umetne inteligence 267, Slika 5: Drseča korelacija med 𝑬𝑬𝑬𝑬_𝑪𝑪𝑪𝑪𝑪𝑪𝒕𝒕 in 𝑬𝑬𝑬𝑬_𝑴𝑴𝑴𝑴𝑪𝑪𝑴𝑴𝑪𝑪𝒕𝒕 Vir: Hong et al., 2021, https://tvnews.stanford.edu/, lastni izračuni. Slika 6: Drseča korelacija med 𝑬𝑬𝑬𝑬_𝑭𝑭𝑭𝑭𝑭𝑭𝒕𝒕 in 𝑬𝑬𝑬𝑬_𝑴𝑴𝑴𝑴𝑪𝑪𝑴𝑴𝑪𝑪𝒕𝒕 Vir podatkov: Hong et al., 2021, https://tvnews.stanford.edu/, lastni izračuni. 268 OD ALGORITMA DO PRAVA. 3.2 Posledice ekonomske negotovosti V nadaljevanju prikazujemo impulzno-odzivne funkcije endogenih spremenljivk na pozitiven šok (tj. povečanje obsega poročanja o ekonomski negotovosti) posameznih TV postaj na druge endogene spremenljivke modela. Slika 7 prikazuje odziv logaritma cen delnic za ZDA. Razvidno je, da šok v poročanju negotovosti vodi do negativnega odziva cen delnic na ameriškem delniškem trgu. Odziv je bil največji v mesecu šoka, ko so se cene delnic znižale za približno en odstotek. Po dveh (v primeru šoka 𝐸𝐸𝐸𝐸_𝐶𝐶𝐹𝐹𝐹𝐹 ) oziroma treh mesecih (v primeru 𝑡𝑡 šokov 𝐸𝐸𝐸𝐸_𝐹𝐹𝑙𝑙𝐹𝐹 in 𝑡𝑡𝐸𝐸𝐸𝐸_𝑙𝑙𝑙𝑙𝐹𝐹𝑀𝑀𝐶𝐶 ) odziv ni več statistično značilen. Razvidno je, da 𝑡𝑡 sta imela šoka v poročanju o ekonomski negotovosti televizijskih postaj CNN in FOX nekoliko večji učinek kot šok v poročanju televizijske postaje MSNBC. Slika 7: Odziv indeksa cen delnic za ZDA (spremenljivke 𝒍𝒍𝑴𝑴𝒍𝒍𝒍𝒍𝒍𝒍𝑬𝑬𝒕𝒕) na šok v 𝑬𝑬𝑬𝑬_𝑪𝑪𝑪𝑪𝑪𝑪 𝒕𝒕, 𝑬𝑬𝑬𝑬_𝑭𝑭𝑭𝑭𝑭𝑭𝒕𝒕 in 𝑬𝑬𝑬𝑬_𝑴𝑴𝑴𝑴𝑪𝑪𝑴𝑴𝑪𝑪𝒕𝒕. Opombe: Prikazane so ocene ortogonaliziranih impulzno-odzivnih funkcij na šok (v obsegu) poročanja posameznih TV postaj. Šok je v velikosti enega standardnega odklona. Prikazani so tudi 95-odstotni intervali zaupanja. Vir: Lastni izračuni. D. Romih, S. Dajčman: Merjenje ekonomske negotovosti s pomočjo umetne inteligence 269, Odziv obrestne mere ameriške centralne banke na šoke v 𝐸𝐸𝐸𝐸_𝐶𝐶𝐹𝐹𝐹𝐹 𝑡𝑡 , 𝐸𝐸𝐸𝐸_𝐹𝐹𝑙𝑙𝐹𝐹 in 𝑡𝑡 𝐸𝐸𝐸𝐸_𝑙𝑙𝑙𝑙𝐹𝐹𝑀𝑀𝐶𝐶 prikazuje slika 8. Impulzno-odzivne funkcije kažejo negativen odziv 𝑡𝑡 (tj. nižanje obrestne mere), a ta vpliv za noben šok ni statistično značilen. Slika 8: Odziv obrestne mere ameriške centralne banke (spremenljivke 𝑭𝑭𝑬𝑬𝑭𝑭𝑭𝑭𝑬𝑬𝑪𝑪𝑭𝑭𝑴𝑴𝒕𝒕) na šok v 𝑬𝑬𝑬𝑬_𝑪𝑪𝑪𝑪𝑪𝑪 𝒕𝒕, 𝑬𝑬𝑬𝑬_𝑭𝑭𝑭𝑭𝑭𝑭𝒕𝒕 in 𝑬𝑬𝑬𝑬_𝑴𝑴𝑴𝑴𝑪𝑪𝑴𝑴𝑪𝑪𝒕𝒕. Opombe: Prikazane so ocene ortogonaliziranih impulzno-odzivnih funkcij na šok (v obsegu) poročanja posameznih TV postaj. Šok je velikosti enega standardnega odklona. Prikazani so tudi 95- odstotni intervali zaupanja. Vir: Lastni izračuni. Slika 9 prikazuje odziv trga dela na negativen ekonomski šok, tj. povečanje poročanja o ekonomski negotovosti. Razvidno je, da se je zaposlenost v ZDA kratkoročno statistično značilno zmanjšala za približno 0,2 odstotka v primeru šokov v 𝐸𝐸𝐸𝐸_𝐶𝐶𝐹𝐹𝐹𝐹 𝑡𝑡 in 𝐸𝐸𝐸𝐸_𝑙𝑙𝑙𝑙𝐹𝐹𝑀𝑀𝐶𝐶 in nekoliko več v primeru šoka v 𝑡𝑡𝐸𝐸𝐸𝐸_𝐹𝐹𝑙𝑙𝐹𝐹 . 𝑡𝑡 270 OD ALGORITMA DO PRAVA. Slika 9: Odziv zaposlenosti (spremenljivke 𝒍𝒍𝑬𝑬𝑴𝑴𝒍𝒍𝒍𝒍𝑭𝑭𝒍𝒍𝑴𝑴𝑬𝑬𝑪𝑪𝒍𝒍𝒕𝒕) na šok v 𝑬𝑬𝑬𝑬_𝑪𝑪𝑪𝑪𝑪𝑪𝒕𝒕, 𝑬𝑬𝑬𝑬_𝑭𝑭𝑭𝑭𝑭𝑭𝒕𝒕 in 𝑬𝑬𝑬𝑬_𝑴𝑴𝑴𝑴𝑪𝑪𝑴𝑴𝑪𝑪𝒕𝒕 . Opombe: Prikazane so ocene ortogonaliziranih impulzno-odzivnih funkcij na šok (v obsegu) poročanja posameznih TV postaj. Šok je velikosti enega standardnega odklona. Prikazani so tudi 95- odstotni intervali zaupanja. Vir: Lastni izračuni. Slika 10: Odziv industrijske proizvodnje (spremenljivke 𝒍𝒍𝒍𝒍𝒍𝒍𝒕𝒕) na šok v 𝑬𝑬𝑬𝑬_𝑪𝑪𝑪𝑪𝑪𝑪𝒕𝒕, 𝑬𝑬𝑬𝑬_𝑭𝑭𝑭𝑭𝑭𝑭𝒕𝒕 in 𝑬𝑬𝑬𝑬_𝑴𝑴𝑴𝑴𝑪𝑪𝑴𝑴𝑪𝑪𝒕𝒕 . Opombe: Prikazane so ocene ortogonaliziranih impulzno-odzivnih funkcij na šok (v obsegu) poročanja posameznih TV postaj. Šok je velikosti enega standardnega odklona. Prikazani so tudi 95- odstotni intervali zaupanja. Vir: Lastni izračuni. D. Romih, S. Dajčman: Merjenje ekonomske negotovosti s pomočjo umetne inteligence 271, Odziv ekonomske aktivnosti, tj. proizvodnje, v ZDA prikazuje slika 10. Razvidno je, da je bil odziv industrijske proizvodnje na šok relativno in časovno zelo podoben odzivu zaposlenosti. Statistično značilna sta sicer zgolj odziva na šoka v 𝐸𝐸𝐸𝐸_𝐶𝐶𝐹𝐹𝐹𝐹 𝑡𝑡 in 𝐸𝐸𝐸𝐸_𝐹𝐹𝑙𝑙𝐹𝐹 . 𝑡𝑡 4 Razprava Na osnovi predstavljenih rezultatov sklepamo, da je navkljub razlikam v obsegu poročanja o ekonomski negotovosti vpliv šokov v poročanju o ekonomski negotovosti zelo različnih TV postaj zelo podoben. Šele podrobnejša analiza razkrije, da ima šok v poročanju o ekonomski negotovosti TV postaje FOX nekoliko večji negativni vpliv na industrijsko proizvodnjo in zaposlenost kot poročanje ostalih dveh medijskih hiš, šok v poročanju o negotovosti TV postaje MSNBC pa ima relativno najmanjši vpliv na preučevane ekonomske spremenljivke. Rezultati so skladni s pričakovanji oziroma obstoječo literaturo. V referenčni študiji Bakerja, Blooma in Davisa,10 ki preučujejo vpliv gospodarskopolitične negotovosti, prav tako ugotovijo negativen vpliv šoka na industrijsko proizvodnjo in zaposlenost, ki je sicer nekoliko večji kot v naši raziskavi. 5 Zaključek V tem poglavju monografije smo analizirali tri primere uporabe umetne inteligence pri merjenju, opazovanju in spremljanju ekonomske negotovosti ter ugotavljanju njenih vzrokov in posledic. Ugotovili smo, da spletna aplikacija Stanford Cable TV News Analyzer omogoča merjenje, opazovanje in spremljanje časa zaslona o ekonomski negotovosti na CNN-u, FOX-u in MSNBC-ju, kar raziskovalcem omogoča ugotavljanje razlik med kabelskimi novičarskimi kanali in ocenjevanje posledic ekonomske negotovosti glede na vir podatkov. To pomeni, da umetna inteligenca omogoča poglobljeno obravnavanje ekonomske negotovosti, kar je koristna informacija za vse, ki jih to raziskovalno področje zanima. Ne glede na rezultate pa so potrebne dodatne raziskave, ki bi omogočile poglobljeno obravnavo vzrokov in posledic ekonomske negotovosti, pri čemer priporočamo uporabo drugih (virov) podatkov in metod. 10 Baker, Bloom in Davis, 2016. 272 OD ALGORITMA DO PRAVA. Literatura Al-Thaqeb, S. A., & Algharabali, B. G. (2019) Economic policy uncertainty: A literature review, The Journal of Economic Asymmetries, 20, e00133, dostopno na: https://doi.org/10.1016/j.jeca.2019.e00133 (obiskano: 8.8.2025). Baker, S. R., Bloom, N., & Davis, S. J. (2016) Measuring Economic Policy Uncertainty, The Quarterly Journal of Economics, 131(4), strani 1593–1636, dostopno na: https://doi.org/10.1093/qje/qjw024 (obiskano: 8. 8. 2025). Bergbrant, M. C., & Bradley, D. (2022) Did they just say that? Using AI to extract economic policy uncertainty from cable news networks, SSRN, dostopno na: https://doi.org/10.2139/ssrn.4059681 (obiskano: 8. 8. 2025). Board of Governors of the Federal Reserve System (US) (2025a) Federal funds effective rate [FEDFUNDS], Federal Reserve Bank of St. Louis, https://fred.stlouisfed.org/series/FEDFUNDS. Board of Governors of the Federal Reserve System (US) (2025b) Industrial production: Total index [INDPRO], Federal Reserve Bank of St. Louis, dostopno na: https://fred.stlouisfed.org/series/INDPRO (obiskano: 8. 8. 2025). Brynjolfsson, E., & Unger, D. (2023), The macroeconomics of artificial intelligence, Finance & Development, International Monetary Fund, dostopno na: https://www.imf.org/en/Publications/fandd/issues/2023/12/Macroeconomics-of-artificial-intelligence-Brynjolfsson-Unger (obiskano: 8. 8. 2025) Hong, J., Crichton, W., Zhang, H., Fu, D. Y., Ritchie, J., Barenholtz, J., ... & Fatahalian, K. (2021). Analysis of faces in a decade of us cable tv news, v: KDD'21: Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining, strani 3011–3021, dostopno na: https://doi.org/10.1145/3447548.3467134 (obiskano: 8. 8. 2025). Korinek, A. (2024a) The economics of transformative AI, NBER Reporter, National Bureau of Economic Research, dostopno na: https://www.nber.org/reporter/2024number4/economics-transformative-ai (obiskano: 8. 8. 2025). Korinek, A. (2024b) Economic policy challenges for the age of AI (Working Paper No. 32980), National Bureau of Economic Research, dostopno na: https://www.nber.org/papers/w32980 (obiskano: 8. 8. 2025). Korinek, A., & Stiglitz, J. E. (2017) Artificial intelligence and its implications for income distribution and unemployment (Working Paper No. 24174), National Bureau of Economic Research, dostopno na: https://www.nber.org/papers/w24174 (obiskano: 8. 8. 2025). OECD – Organization for Economic Co-operation and Development (2025) Financial market: Share prices for United States [SPASTT01USM661N], Federal Reserve Bank of St. Louis, dostopno na: https://fred.stlouisfed.org/series/SPASTT01USM661N (obiskano: 8. 8. 2025). U.S. Bureau of Labor Statistics (2025) Employment level [CE16OV], Federal Reserve Bank of St. Louis, dostopno na: https://fred.stlouisfed.org/series/CE16OV (obiskano: 8. 8. 2025). Walsh, D. (2025) A new look at the economics of AI, MIT Sloan School of Management, dostopno na: https://mitsloan.mit.edu/ideas-made-to-matter/a-new-look-economics-ai (obiskano: 8. 8. 2025). Extended abstract Artificial intelligence has an impact on all areas and aspects of social life. In this paper, we analyse the measurement of economic uncertainty with artificial intelligence. To do this, we use the Stanford Cable TV News Analyzer, which allows us to analyse cable news on CNN, FOX and MSNBC. Using this tool, we have developed three cable news-based economic uncertainty indices that complement the existing economic uncertainty indices and allow for a more in-depth examination of this area of research. Experience teaches us that the media are not impartial, which makes it necessary to examine their impact on the economy. The idea is that different media coverage of economic uncertainty D. Romih, S. Dajčman: Merjenje ekonomske negotovosti s pomočjo umetne inteligence 273, influences the behaviour of economic actors in different ways, which in turn can have different effects on economic activity. The media play an important role, which is why the content and the way they report matters. To our knowledge, this is the first paper to examine the impact of individual TV cable news media coverage of economic uncertainty on the economy. In doing so, we hope to stimulate discussion about the role of artificial intelligence in economics and the role of media in the economy. In the first part of the paper, we present and analyse the economic uncertainty indices based on CNN, FOX and MSNBC news for the period 2010m1–2024m9. We find differences in the extent of economic uncertainty coverage between the different TV cable news providers, which is also evidenced by the rolling correlation. In the second part, we evaluate the impact of positive shocks on the news-based uncertainty indices using an impulse response analysis. The results show a short-term negative response of the stock market, employment and industrial production, while the response of monetary policy is not significant. Although the differences in TV channels' coverage of economic uncertainty can be significant, the responses of the observed economic variables to shocks in each of the TV channels' uncertainty indices are relatively small. FOX's coverage of economic uncertainty has a slightly larger negative impact on industrial production and employment than the coverage of the other two media channels. The results of this study offer a different perspective that is unusual in economics. Until now, economists have mainly focused on the effects of media coverage in aggregate form rather than in disaggregated form, which is new and has important policy implications. The reality is that the media landscape is heterogeneous, and policymakers need to take this heterogeneity into account. Today, more than ever, we know how important the role of the media is, both liberal and conservative, as their coverage can influence the behaviour of economic agents such as households and businesses. This is particularly true in the United States, which for some time has been divided into two camps – liberal and conservative – competing not only for political but also for economic power. We are confident that this study will contribute to the critical debate on the role of liberal and conservative media in the economy and stimulate further research in this area, which is urgently needed. Priloga 1 Slika P.1: Gibanje časa zaslona o ekonomski negotovosti na CNN-u, FOX-u in MSNBC-ju v sekundah Vir: Hong et al., 2021, https://tvnews.stanford.edu/, lastni izračuni. Priloga 2 Rezultati testov izbora optimalnega odloga VAR-modela Model z 𝑬𝑬𝑬𝑬_𝑪𝑪𝑪𝑪𝑪𝑪𝒕𝒕 Lag-order selection criteria Sample: 2011m1 thru 2024m9 Number of obs = 165 Lag LL LR df p FPE AIC HQIC SBIC 0 -471.831 .000223 5.77977 5.81797 5.87389 1 519.955 1983.6 25 0.000 1.8e-09 -5.93884 -5.70961 -5.37413 2 630.272 220.63 25 0.000 6.5e-10 -6.97299 -6.55272* -5.93768* 3 660.646 60.748 25 0.000 6.1e-10 -7.03813 -6.42683 -5.53222 4 684.315 47.338 25 0.004 6.2e-10 -7.022 -6.21966 -5.04549 5 701.694 34.759 25 0.093 6.8e-10 -6.92962 -5.93626 -4.48252 6 738.812 74.236 25 0.000 5.9e-10* -7.07651* -5.89211 -4.15881 7 763.427 49.229 25 0.003 6.1e-10 -7.07184 -5.69641 -3.68354 8 775.512 24.171 25 0.510 7.2e-10 -6.9153 -5.34884 -3.0564 9 804.899 58.772 25 0.000 7.0e-10 -6.96847 -5.21097 -2.63897 10 824.98 40.164 25 0.028 7.6e-10 -6.90885 -4.96033 -2.10876 11 851.12 52.279 25 0.001 7.8e-10 -6.92267 -4.78311 -1.65197 12 876.299 50.358* 25 0.002 8.1e-10 -6.92484 -4.59425 -1.18355 * optimal lag Endogenous: EU_CNN lSHARE FEDFUNDS lEMPLOYMENT lIP Exogenous: _cons Model z 𝑬𝑬𝑬𝑬_𝑭𝑭𝑭𝑭𝑭𝑭𝒕𝒕 Lag-order selection criteria Sample: 2011m1 thru 2024m9 Number of obs = 165 Lag LL LR df p FPE AIC HQIC SBIC 0 -393.209 .000086 4.82677 4.86498 4.92089 1 615.076 2016.6 25 0.000 5.7e-10 -7.09183 -6.86259 -6.52711 2 723.962 217.77 25 0.000 2.1e-10 -8.10862 -7.68835* -7.07331* 3 754.881 61.838 25 0.000 1.9e-10* -8.18037 -7.56907 -6.67446 4 779.129 48.498 25 0.003 2.0e-10 -8.17127 -7.36893 -6.19476 5 795.994 33.73 25 0.114 2.2e-10 -8.07266 -7.07929 -5.62555 6 829.265 66.54 25 0.000 2.0e-10 -8.1729 -6.98851 -5.2552 7 853.699 48.869 25 0.003 2.0e-10 -8.16605 -6.79062 -4.77775 8 866.027 24.656 25 0.482 2.4e-10 -8.01245 -6.44599 -4.15355 9 899.196 66.337 25 0.000 2.2e-10 -8.11146 -6.35397 -3.78196 10 919.063 39.735 25 0.031 2.4e-10 -8.04925 -6.10072 -3.24915 11 957.477 76.828 25 0.000 2.1e-10 -8.21184* -6.07228 -2.94115 12 980.777 46.6* 25 0.005 2.3e-10 -8.19124 -5.86064 -2.44994 * optimal lag Endogenous: EU_FOX lSHARE FEDFUNDS lEMPLOYMENT lIP Exogenous: _cons Model z 𝑬𝑬𝑬𝑬_𝑴𝑴𝑴𝑴𝑪𝑪𝑴𝑴𝑪𝑪𝒕𝒕 Sample: 2011m1 thru 2024m9 Number of obs = 165 Lag LL LR df p FPE AIC HQIC SBIC 0 -418.568 .000117 5.13416 5.17236 5.22828 1 570.602 1978.3 25 0.000 9.8e-10 -6.55275 -6.32351 -5.98803 2 683.32 225.44 25 0.000 3.4e-10 -7.61599 -7.19572* -6.58068* 3 714.186 61.733 25 0.000 3.2e-10 -7.6871 -7.0758 -6.18119 4 740.649 52.925 25 0.001 3.1e-10 -7.70483 -6.9025 -5.72832 5 757.557 33.817 25 0.112 3.5e-10 -7.60675 -6.61338 -5.15964 6 790.432 65.75 25 0.000 3.2e-10 -7.70221 -6.51781 -4.7845 7 823.621 66.378 25 0.000 2.9e-10* -7.80147* -6.42604 -4.41316 8 844.108 40.974 25 0.023 3.1e-10 -7.74676 -6.1803 -3.88786 9 867.672 47.129 25 0.005 3.3e-10 -7.72936 -5.97187 -3.39986 10 884.194 33.044 25 0.130 3.7e-10 -7.6266 -5.67807 -2.8265 11 910.594 52.799 25 0.001 3.8e-10 -7.64356 -5.504 -2.37287 12 932.564 43.94* 25 0.011 4.1e-10 -7.60683 -5.27624 -1.86554 * optimal lag Endogenous: EU_MSNBC lSHARE FEDFUNDS lEMPLOYMENT lIP Exogenous: _cons NOVA PRAVILA IGRE: DOI https://doi.org/ 10.18690/um.pf.11.2025.11 ODGOVORNOST V DOBI UMETNE ISBN 978-961-299-086-2 INTELIGENCE M 1, ONIKA N 2 AUMOVSKI 1 Univerza v Mariboru, Pravna fakulteta, Maribor, Slovenija monika.naumovski@student.um.si 2 Republika Slovenija, Ministrstvo za pravosodje, Ljubljana, Slovenija monika.naumovski@student.um.si Umetna inteligenca prinaša številne koristi, a hkrati pravne izzive, Ključne besede: umetna inteligenca, ki se kažejo tudi na področju deliktne odškodninske odškodninska odgovornost, odgovornosti. Evropska unija poskuša s pravno regulacijo informacijska asimetrija, uravnotežiti spodbudo inovacijam z zagotavljanjem učinkovitega dokazovanje, nepreglednost delovanja, sodnega varstva oškodovancem. Kljub reviziji Produktne pravno varstvo direktive in predlogu Direktive o umetni inteligenci ostajajo na področju odškodninske odgovornosti izzivi. Določene posledice netransparentnosti delovanja umetne inteligence, monopola nad podatki in težav pri dokazovanju škode je težko pravno nasloviti. Vendar tudi (predlog) ureditve v Evropski uniji vsebuje vrsto omejitev in nejasne zahteve, ki ne prispevajo k enotnemu pravnemu okviru in pravni varnosti. DOI NEW RULES OF THE GAME: https://doi.org/ 10.18690/um.pf.11.2025.11 ISBN GE OF L IABILITY IN THE A 978-961-299-086-2 ARTIFICIAL INTELLIGENCE M 1, 2 ONIKA N AUMOVSKI 1 University of Maribor, Faculty of Law, Maribor, Slovenia monika.naumovski@student.um.si 2 Republic of Slovenia, Ministry of Justice, Ljubljana, Slovenia monika.naumovski@student.um.si Keywords: Artificial intelligence (AI) brings many benefits, but also legal artificial intelligence, challenges, which are also evident in the field of tort liability. The tort liability, information asymmetry, European Union (EU) seeks to balance the promotion of proof difficulties, innovation with ensuring effective legal protection for victims operational opacity, legal protection through legal regulation. Despite the revision of the Product Liability Directive and the proposed AI Directive, challenges remain in the area of tort liability. Certain consequences of the non-transparency of AI operations, the monopoly on data, and the difficulties in proving damage are difficult to address legally. However, the (proposed) regulation in the EU also contains a number of limitations and unclear requirements that do not contribute to a unified legal framework and legal certainty. M. Naumovski: Nova pravila igre: odgovornost v dobi umetne inteligence 279, 1 Uvod Nove tehnologije spreminjajo svet z obljubo, da bo svet postal varnejši, pravičnejši in bolj produktiven. Pri tem pa največ obetov in strahov prinaša umetna inteligenca. Uporaba umetne inteligence se širi na številna področja, kot so zdravstvo, finance, transport in industrija, kjer prinaša številne koristi, kot so povečana učinkovitost, napredna avtomatizacija in optimizacija procesov. Njen razvoj je neverjetno hiter in ima široko polje učinkovanja, saj novi modeli spreminjajo način dela, ustvarjanja in komunikacije ter rešujejo širok spekter izzivov, ki niso več omejeni na specifične naloge. Kljub prednostim umetne inteligence, njeno uvajanje spremljajo številni pravni in etični izzivi, ki zahtevajo prilagojen regulativni pristop, tako zaradi razložljivosti delovanja nove tehnologije kot tudi zmanjšane vloge uporabnika pri nadzoru delovanja.1 Mnogi predpisi v EU in njenih državah članicah so zasnovani na načelu tehnološke nevtralnosti,2 kar pomeni, da so uporabni tudi za umetno inteligenco. Vendar EU v zadnjih letih intenzivno sprejema posebno zakonodajo za področje umetne inteligence, da bi omogočila inovacije in hkrati zagotovila zaščito pravic posameznikov ter varno in odgovorno uporabo. Namen EU je, da prevzame vodilno vlogo pri oblikovanju globalnih standardov za varno in odgovorno uporabo umetne inteligence, pri čemer se poudarja t. i. Bruselj efekt, saj bi regulacija lahko imela pomembne posledice za druge države, če bo izdelek dan na trg ali uporabljen v EU.3 Z Uredbo (EU) 2024/1689 Evropskega parlamenta in Sveta z dne 13. junija 2024 o določitvi harmoniziranih pravil o umetni inteligenci4 (Akt o umetni inteligenci), veljavno od 1. avgusta 2024, je EU postavila osnovo za regulacijo varnostnih vidikov umetne inteligence, ki temelji na oceni tveganj posameznega sistema. 23. oktobra 2024 je bila z učinkom na področju deliktnega odškodninskega prava sprejeta tudi Direktiva (EU) 2024/2853 Evropskega parlamenta in Sveta z dne 23. oktobra 2024 o odgovornosti za proizvode z napako in razveljavitvi Direktive Sveta 85/374/EGS (Produktna direktiva), ki bo uporabljiva za izdelke, ki bodo dani na trg po 9. 1 Hacker, 2022, stran 1; Wagner, 2024, stran 179. 2 Kot na primer protidiskriminacijska zakonodaja, zakonodaja o nepoštenih poslovnih praksah, Splošna uredba o varstvu osebnih podatkov (GDPR) ter splošno pogodbeno in odškodninsko pravo. 3 Tako določa prvi odstavek 2. člena Akta o umetni inteligenci. Prav tako pa je v postopku sprejema tudi Konvencija o umetni inteligenci, ki bo zavezujoča za države kot varuhe človekovih pravic. Hacker, 2022, strani I, 2–3. 4 Uredba (EU) 2024/1689 Evropskega parlamenta in Sveta z dne 13. junija 2024 o določitvi harmoniziranih pravil o umetni inteligenci in spremembi uredb (ES) št. 300/2008, (EU) št. 167/2013, (EU) št. 168/2013, (EU) 2018/858, (EU) 2018/1139 in (EU) 2019/2144 ter direktiv 2014/90/EU, (EU) 2016/797 in (EU) 2020/1828 (Akt o umetni inteligenci; UL L 2024/1689, 12. julij 2024, strani 1–35). 280 OD ALGORITMA DO PRAVA. decembru 2026. Medtem pa je Predlog Direktive o prilagoditvi nepogodbenih pravil o civilni odgovornosti za umetno inteligenco5 (Predlog direktive o umetni inteligenci), predlagan leta 2022, trenutno začasno umaknjen po več kot dveletnemu postopku usklajevanja. V tem poglavju monografije proučujem, ali uvedeni in predlagani instituti deliktne odškodninske odgovornosti v EU, ki se nanašajo na umetno inteligenco, prispevajo k enotnemu pravnemu okviru in večji stopnji varstva oškodovancev. Najprej je v drugem razdelku predstavljen razvoj umetne inteligence in zakaj je šele v 21. stoletju postala predmet razprave tudi v pravnih krogih. Nato so v tretjem razdelku ugotovljeni izzivi z vidika ureditve področja nepogodbene odškodninske odgovornosti za škodo, ki jo povzroči umetna inteligenca, proučeni preko pristopa zakonodajalca EU - revizije Produktne direktive in Predloga direktive o umetni inteligenci. Podrobneje je kritično analizirana dvojna regulacija odgovornosti z vidika naslovnikov in institutov, ki jih direktivi vsebujeta. Četrti razdelek izpostavlja obstoječe pomanjkljivosti ureditve na treh glavnih področjih: težave pri ugotavljanju odgovorne osebe, informacijske težave ter težave pri dokazovanju odgovornosti. Čeprav je Evropska komisija 11. februarja 2025 opustila Predlog direktive o umetni inteligenci, vprašanja obravnavana v tem poglavju še vedno ostajajo relevantna v kontekstu bodočega pravnega urejanja. V zadnjem razdelku so zaključno povzete ugotovitve in predstavljeni prihodnji izzivi zagotavljanju ustrezne stopnje pravnega varstva oškodovancev v primerih škode, ki jo povzroči umetna inteligenca. 2 Umetna inteligenca Umetna inteligenca se po svetu, občutno pa tudi v evropskem prostoru, uveljavlja kot ena najhitreje razvijajočih se tehnologij, ki pomembno vpliva na sodobno družbo in gospodarstvo. Gre za področje računalniške znanosti, ki se posveča razvoju sistemov, zmožnih izvajanja nalog, ki običajno zahtevajo človeško inteligenco, in se opredeljuje kot »zmožnost sistema, da pravilno interpretira zunanje podatke, se iz njih uči in to znanje uporabi za doseganje določenih ciljev in nalog s prilagodljivim odzivanjem«.6 5 COM(2022) 496 final – 2022/0303 (COD), Bruselj, 28. 9. 2022. 6 Haenlein in Kaplan, 2019, stran 1. M. Naumovski: Nova pravila igre: odgovornost v dobi umetne inteligence 281, Razvoj umetne inteligence sega v 50. leta prejšnjega stoletja, ko so raziskovalci prvič poskusili zasnovati stroje, ki bi lahko simulirali človeško miselnost in reševali probleme podobno kot ljudje.7 Leta 1942 je ameriški pisec znanstvene fantastike Isaac Asimov objavil kratko zgodbo Runaround, v kateri je predstavil tri zakone robotike. V približno istem časovnem obdobju pa je Alan Turing, britanski matematik, razvil dešifrirno napravo namenjeno razbijanju kode Enigma, uporabljene s strani nemške vojske v drugi svetovni vojni. Sposobnost stroja za reševanje nalog, ki so predstavljale nemogoč izziv tudi za najboljše človeške matematike, je Turinga spodbudila k razmišljanju o njihovi inteligenci.8 Leta 1950 je objavil članek Computing Machinery and Intelligence, kjer je opisal, kako ustvariti inteligentne stroje in kako testirati njihovo inteligenco. Uradno poimenovanje »umetna inteligenca« pa je bilo skovano na Poletnem raziskovalnem srečanju o umetni inteligenci v New Hampshiru leta 1956, delavnici, ki jo je financirala Fundacija Rockefeller in ki je povezala raziskovalce z različnih področij v skupnem cilju: razvoju strojev, ki simulirajo človeško inteligenco.9 Preboji v razvoju umetne inteligence so bili v začetnih fazah omejeni na teorijo in enostavne algoritme, zato je več kot pol stoletja ostala znanstveno obrobna in s skromnim praktičnim zanimanjem. Ključni premiki so se zgodili v zadnjih dveh desetletjih, predvsem zaradi napredka v računalniški moči, vzpona Big Data ter pojava naprednih algoritmov, kot sta strojno in globoko učenje. S tem je umetna inteligenca prešla v novo obdobje, v katerem lahko sistemi analizirajo ogromne količine podatkov in samostojno prilagajajo svoje algoritme. Umetno inteligenco danes označuje širok nabor tehnologij, zasnovanih za izvajanje nalog, ki tradicionalno zahtevajo človeško inteligenco, kot so prepoznavanje vzorcev, učenje iz izkušenj, reševanje problemov in sprejemanje odločitev. Cilj umetne inteligence ni zgolj avtomatizacija, ki jo sicer že dolgo poznamo v obliki robotov, tj. strojev, ki izvajajo ponavljajoča se opravila, temveč ustvarjanje sistemov, ki posnemajo kompleksne človeške kognitivne funkcije. Danes so umetne nevronske mreže in globoko učenje temelj večine aplikacij, ki jih poznamo pod oznako umetna inteligenca, in temeljijo na tehnikah strojnega in globokega10 učenja, ki omogočajo 7 Slovenska tiskovna agencija, 2023, Pojmovnik ključnih pojmov v umetni inteligenci, https://znanost.sta.si/3252135/pojmovnik-kljucnih-pojmov-v-umetni-inteligenci (obiskano: 30. 10. 2024); Haenlein in Kaplan, 2019, stran 1. 8 T. i. Turingov test je še danes ključen za ugotavljanje inteligence umetnega sistema: če človek ne more ločiti med drugim človekom in strojem, potem je stroj inteligenten. 9 Haenlein in Kaplan, 2019, strani 2–3. 10 Globoko učenje je podvrsta strojnega učenja in gre za avtomatiziran proces določanja funkcionalnosti vhodnih podatkov, ki za svoje delovanje ne potrebuje več človeškega posredovanja. Burger, 2021, stran 3. 282 OD ALGORITMA DO PRAVA. prilagajanje odzivov na podlagi nenehnega zbiranja in obdelave velikih količin zunanjih podatkov.11 So osnova algoritmov za samovozeče avtomobile, prepoznavanje slik, ki jih na primer uporablja Facebook, ter prepoznavanje govora, ki na primer omogočajo delovanje pametnih zvočnikov.12 Ker je umetna inteligenca širok pojem, ki zajema številne tehnologije, je usklajevanje njene definicije predstavljalo ključno problematiko in izziv tudi v procesu sprejemanja Akta o umetni inteligenci na ravni EU. Pravilna uporaba posebnih pravnih pravil, namenjenih izključno sistemom umetne inteligence, je namreč močno odvisna od jasnega obsega in pomena definicije. Ob dejstvu, da nekatera podjetja v javnosti navajajo, da uporabljajo umetno inteligenco, ko gre v resnici za standardno programsko opremo oziroma malo bolj kompleksne algoritme, je bila v EU potrebna jasna opredelitev, da pravila za umetno inteligenco veljajo zgolj za tehnologije, ki dejansko spadajo v ta okvir.13 Skladno s 3. členom Akta o umetni inteligenci je umetna inteligenca definirana kot »sistem temelječ na napravah, ki je zasnovan za delovanje z različnimi stopnjami avtonomije in lahko po uvedbi izkaže prilagodljivost ter za eksplicitne ali implicitne cilje iz prejetih vhodnih podatkov sklepa, kako ustvariti izhodne podatke, kot so napovedi, vsebine, priporočila ali odločitve, ki lahko vplivajo na fizična ali virtualna okolja.« Že dandanes je umetna inteligenca vpeta v različne industrijske panoge, kjer prinaša pomembne izboljšave z avtomatizacijo procesov in analizo velikih podatkovnih nizov, kar je ključno za sektorje, kot sta finance in medicina. Zaradi svoje sposobnosti obdelave ogromnih količin podatkov v kratkem času tako omogoča hitrejše in natančnejše odločitve, zaradi česar tudi Evropski parlament poudarja pomembnost spodbujanja razvoja umetne inteligence, saj to povečuje konkurenčnost EU na globalnem trgu.14 Tehnološki izdelki in storitve, podprti z umetno inteligenco, imajo (poudarjene) značilnosti, kot so kompleksnost,15 11 Cauffman, 2018, str. 527; Haenlein in Kaplan, 2019, stran 1. 12 Haenlein in Kaplan, 2019, strani 4 in 6. 13 Bruner, 2020. 14 European Court of Auditors, 2024. 15 Kompleksnost je vse večja pri strojni opremi (t. i. hardware), sestavljeni iz več delov, katerih interakcija zahteva visoko stopnjo tehnične izpopolnjenosti, ter dejstvu, da se strojna oprema kombinira z digitalnimi komponentami programske opreme (software), vključno z umetno inteligenco, kjer so algoritmi visoko kompleksni. Expert Report, 2019, strani 32–33. M. Naumovski: Nova pravila igre: odgovornost v dobi umetne inteligence 283, nepreglednost,16 odprtost17 in avtonomnost delovanja,18 nepredvidljivost,19 podatkovna usmerjenost20 in ranljivost.21 Tako zmožnost samostojne analize podatkov pomeni, da lahko umetna inteligenca sprejema odločitve v realnem času glede na konkretne okoliščine, ne pa po vnaprej določenih scenarijih, kot je značilno za klasične avtomatizirane rešitve.22 V primerjavi s preteklimi determinističnimi (linearnimi) informacijskimi sistemi so sodobni umetno-inteligenčni sistemi tako bistveno bolj dinamični in nepredvidljivi.23 To pa prinaša izzive tudi ureditvi odgovornosti za škodo, ki jo taki sistemi povzročijo. V nadaljevanju je predstavljeno, kako značilnosti umetne inteligence postavljajo izziv pravnemu urejanju, osredotočeno na težave pri uveljavljanju nepogodbene odškodninske odgovornosti. Pri analizi regulacije umetne inteligence na ravni EU sta podrobneje proučeni Produktna direktiva in trenutno (začasno) opuščen Predlog direktive o umetni inteligenci z vidika naslovnikov in institutov, ki so skupni obema ureditvama. Ker se je vsebina Predloga direktive o umetni inteligenci močno prekrivala z instituti, ki jih vsebuje revidirana Produktna direktiva, hkrati pa obstajajo določena nenaslovljena vprašanja, so zaključno predstavljene in analizirane tudi pomanjkljivosti in težave, ki se lahko pojavijo v praksi. 16 Algoritmi postajajo kompleksni, zato je dostop do relevantnih podatkov lahko drag in težak (v primerih umetne inteligence črna skrinjica, ki se je razvila s samoučenjem). Expert Report, 2019, strani 32–33. 17 Izdelki odvisni od poznejših vnosov, posodobitev oziroma nadgradenj (odprti sistemi), ki morajo po zasnovi ostati odprti, tj. dovoljevati zunanji vnos podatkov preko strojnega vtiča ali brezžične povezave in prihajajo kot hibridne kombinacije strojne opreme, programske opreme, stalnih posodobitev programske opreme in različnih stalnih storitev. Expert Report, 2019, strani 32–33. 18 Tehnologije, ki opravljajo naloge z manj ali v celoti brez človeške kontrole in so same sposobne spremeniti začetne algoritme zaradi zmožnosti samoučenja, pri čemer izbiro podatkov in / ali stopnjo vpliva, ki ga imajo uporabniki na izid delovanja tehnologije, stalno prilagajajo razvijajoči se algoritmi sami. Expert Report, 2019, strani 32–33. 19 Številni sistemi so zasnovani na način, da se ne odzivajo samo na vnaprej določene dražljaje, ampak identificirajo in razvrščajo tudi nove ter jih povezujejo s samoizbrano ustrezno reakcijo, ki ni bila vnaprej programirana kot taka. Expert Report, 2019, strani 32–33. 20 Nastajajoče digitalne tehnologije so vse bolj odvisne od zunanjih informacij, ki niso vnaprej nameščene, ampak jih generirajo bodisi vgrajeni senzorji ali pa so posredovani s strani okolice preko rednih virov podatkov ali s strani ad hoc dobaviteljev. Expert Report, 2019, strani 32–33. 21 Zaradi nenehnih posodobitev in delovanja v stalni interakciji z zunanjimi informacijami in vgrajenih funkcij, ki omogočajo dostop do takih vnosov, so nastajajoče tehnologije še posebej ranljive za kibernetske napade. Expert Report, 2019, strani 32–33. 22 Wagner, 2023, stran 5. 23 Expert Report, 2019, strani 32–33. 284 OD ALGORITMA DO PRAVA. 3 Deliktna odškodninska odgovornost za umetno inteligenco: evropski pristop k regulaciji 3.1 Razvoj evropskega pristopa k urejanju umetne inteligence Odškodninsko pravo kot del zasebnega prava ureja razmerja med prirejenima subjektoma, povzročiteljem škode in oškodovancem, pri čemer mora vzpostaviti ravnotežje med zaščito interesov obeh strani ter varovanjem položaja šibkejše stranke.24 Sodobni tehnološki izdelki, kot so sistemi umetne inteligence, postavljajo tradicionalna odškodninska pravila pred pomembne izzive, saj zahtevajo ohranjanje opisanega ravnotežja ob hkratnem zasledovanju ciljev, kot so: nemoteno delovanje enotnega trga, spodbujanje inovacij ter zagotavljanje visoke ravni varstva potrošnikov. Sistemi umetne inteligence imajo posebne lastnosti, ki otežujejo uporabo obstoječih pravil odškodninskega prava, kar lahko vodi do neučinkovitega pravnega varstva oškodovancev, nepravičnih rezultatov in pomanjkljive pravne zaščite ter različne ravni zaščite v državah članicah.25 Prav tako pa lahko to povzroči pravno negotovost za podjetja ter negativno vpliva na delovanje notranjega trga.26 EU si že dolgo prizadeva za vodilno vlogo pri vzpostavljanju trdnega pravnega okvira za regulacijo digitalnih tehnologij. Z razvojem umetne inteligence je okrepila svojo ambicijo na tem področju s težnjo, da postavi globalne standarde, ki zagotavljajo odgovorno uporabo umetne inteligence, skladno z evropskimi vrednotami. Leta 2018 je 25 držav članic EU podpisalo Deklaracijo o sodelovanju na področju umetne inteligence,27 ki vključuje zavezo po sodelovanju pri zagotavljanju primernega pravnega okvira na podlagi temeljnih pravic in vrednot EU.28 Evropska komisija je kmalu za tem predstavila strateški dokument »Odgovornost za nastajajoče digitalne tehnologije« skupaj s sporočilom »Umetna inteligenca za Evropo«, v katerem je orisala vizijo varnega okolja za razvoj umetne inteligence, ki 24 Polajnar-Pavčnik, 2011, stran 1275. 25 Strategije o umetni inteligenci, ki so bile sprejete v Italiji, na Češkem, Malti, Poljskem in Portugalskem že omenjajo iniciative za sprejetje pravil, ki bi prispevala k razčiščenju odgovornosti na tem področju. Poročilo Evropske komisije o oceni Produktne direktive, 2018, stran 8. 26 AI Subsidiarity Grid, 2022. 27 Declaration of cooperation on Artificial Intelligence, 10. april 2018, Bruselj. 28 EU Member States sign up to cooperate on artificial intelligence, 2018, https://wayback.archive- it.org/12090/20180620090945/https://ec.europa.eu/digital-single-market/en/news/eu-member-states-sign- cooperate-artificial-intelligence (obiskano: 9. 1. 2025). M. Naumovski: Nova pravila igre: odgovornost v dobi umetne inteligence 285, krepi zaupanje državljanov preko spodbujanja raziskav in inovacij na tem področju, zagotavlja konkurenčnost evropske industrije ter razvoj umetne inteligence, ki temelji na etičnih načelih.29 Peto poročilo iz leta 2018 o izvajanju Produktne direktive pa je jasno signaliziralo tudi potrebo po prilagoditvi pravil odgovornosti za proizvode z napako zaradi razvoja digitalnih tehnologij. Evropski parlament je zato 20. oktobra 2020 sprejel dve ključni zakonodajni pobudi: Resolucijo o ureditvi civilne odgovornosti za področje umetne inteligence,30 ki je pozivala k uvedbi objektivne odgovornosti upravljalcev za visoko tvegane umetno-inteligenčne sisteme, ter Resolucijo o okvirju za etične vidike umetne inteligence, robotike in sorodne tehnologije,31 ki je zahtevala celovit regulativni okvir etičnih načel in pravnih obveznosti pri razvoju umetne inteligence.32 Leta 2020 je bila izdana tudi Bela knjiga o umetni inteligenci »Evropski pristop k odličnosti in zaupanju«,33 ki vsebuje Poročilo o vprašanjih varnosti in odgovornosti, ki jih sprožajo umetna inteligenca, internet stvari in robotika, ter ponuja smernice za varen razvoj umetne inteligence, ki spoštuje evropske vrednote in pravice državljanov. Med predlaganimi ukrepi so: obvezne ocene tveganja, predhodno ugotavljanje skladnosti umetno-inteligenčnih sistemov pred dajanjem na trg ter zahteve po preglednosti, sledljivosti in človeškem nadzoru v nekaterih primerih umetne inteligence. Prav tako Bela knjiga poudarja pomen varnosti umetno-inteligenčnih sistemov pri visoko tveganih aplikacijah, kot so zdravstvena diagnostika, avtonomna vozila in javna infrastruktura, kjer so posledice napačnega delovanja lahko izjemno hude. Leta 2024 je bil na ravni EU sprejet temeljni zakonodajni predpis na področju umetne inteligence, Akt o umetni inteligenci, ki je osredotočen na urejanje razvoja in načina dajanja umetno-inteligenčnih izdelkov na trg na podlagi klasifikacije sistemov v štiri skupine tveganja z namenom določanja primerne stopnje varnostne regulacije.34 29 Expert Report, 2019, stran 12. 30 Resolucija Evropskega parlamenta z dne 20. oktobra 2020 s priporočili Komisiji o ureditvi civilne odgovornosti za področje umetne inteligence (2020/2014(INL); UL C 404, 20. oktober 2020, strani 107–128). 31 Resolucija Evropskega parlamenta z dne 20. oktobra 2020 s priporočili Komisiji o okviru za etične vidike umetne inteligence, robotike in sorodne tehnologije (2020/2012(INL), UL C 404, 20. 10. 2020, strani 63–106). 32 Wagner, 2023, stran 10. 33 Council of the European Union (2020), White Paper on Artificial Intelligence - A European approach to excellence and trust (COM (2020) 65 final) (Bela knjiga o umetni inteligenci), https://op.europa.eu/sl/publication-detail/-/publication/ac957f13-53c6-11ea-aece-01aa75ed71a1 (obiskano: 12. 6. 2025). 34 Sistemi »brez tveganja« ne bodo potrebovali dosti regulacije, sistemi »omejenega tveganja« bodo zahtevali uvedbo posebnih obveznosti po preglednosti oziroma transparentnosti, sistemi »visokega tveganja« bodo zahtevali dodatno regulacijo, medtem ko bodo sistemi »nesprejemljivega tveganja« prepovedani. Hacker, 2022, strani 3–4. 286 OD ALGORITMA DO PRAVA. V povezavi z urejanjem deliktne odškodninske odgovornosti na nacionalni ravni še ni mogoče opaziti, da bi države članice sprejemale posebna pravila,35 prav tako pa spremljevalne študije k reviziji Produktne direktive skoraj niso odkrile sodnih primerov odgovornosti, ki bi kazali na problematiko v primerih sodobnih tehnologij.36 Kljub temu je bojazen pred neučinkovitostjo obstoječih pravil37 ter sprejetjem nacionalnih regulativnih posegov ob odsotnosti reakcije EU vodila do dveh predlogov na tem področju. Evropska komisija je 28. septembra 2022 podala predlog revizije Produktne direktive in Predlog direktive o umetni inteligenci. Revizija Produktne direktive je bila sprejeta 23. oktobra 2024 in začela veljati 8. decembra 2024, sprejetje Predloga direktive o umetni inteligenci pa je vedno bolj vprašljivo, tako zaradi stališč teorije, ki so obravnavana tudi v tem poglavju monografije, kot tudi nasprotovanja držav članic. Zato je Evropska komisija 11. februarja 2025 sprejela odločitev, da (začasno) opusti predlog ureditve odgovornosti za umetno inteligenco, kar je bilo predstavljeno Evropskemu parlamentu 12. februarja 2025.38 3.2 Pravni izzivi umetne inteligence Umetna inteligenca z vse večjo uporabo v vsakodnevnem življenju in kritičnih sistemih, kot so zdravstvo, transport in finančne storitve, odpira kompleksna pravna in etična vprašanja. Tehnična zapletenost umetno-inteligenčnih sistemov predstavlja poseben izziv za pravo, predvsem zaradi narave izdelkov, ki se sproti učijo, spreminjajo in prilagajajo, kar lahko vodi v odločitve, ki jih ni mogoče v celoti napovedati ali razložiti. Ključno vprašanje je tako, kako regulirati tehnologijo, ki jo je zaradi nenehnega razvoja težko razumeti že strokovnjakom, ter poskrbeti, da so zavarovane temeljne pravice oseb, ne da bi pri tem ovirali inovacije. 35 V Nemčiji je na primer v povezavi z avtonomnimi vozili zakonodajalec v letu 2021 predstavil posebno zakonodajo ter tako odstranil dvome, da avtonomna vozila spadajo pod ista pravila objektivne odgovornosti za prometne nesreče, kot veljajo za tradicionalna. Wagner, 2023, strani 6–7. 36 Poročilo o oceni Produktne direktive iz leta 2018 navaja le en nacionalni sodni primer, ki je zadeval nove tehnologije, in sicer pred bolgarskim sodiščem. 37 Oblikovanje strokovne skupine na področju novih tehnologij (NTF), ki je ugotovila, da veljavni sistemi odškodninske odgovornosti v državah članicah zagotavljajo osnovno zaščito oškodovancem, katerim nastane škoda zaradi delovanja novih tehnologij, vendar lahko posebne značilnosti tehnologij in njihove uporabe (kompleksnost, spreminjanje s posodobitvami, samoučenje med delovanjem, omejena predvidljivost in ranljivost za grožnje kibernetski varnosti) oškodovancem otežujejo uveljavljanje odškodninskih zahtevkov. Expert Report, 2019, stran 3. 38 IAPP News – European Commission Withdraws AI Liability Directive from Consideration, https://iapp.org/news/a/european-commission-withdraws-ai-liability-directive-from-consideration (obiskano: 15. 2. 2025). M. Naumovski: Nova pravila igre: odgovornost v dobi umetne inteligence 287, Eden izmed vidikov urejanja, ki je predmet najbolj odmevnih debat, so etične implikacije umetne inteligence. EU si prizadeva, da bi tehnologija umetne inteligence temeljila na evropskih vrednotah, kot sta spoštovanje človekovega dostojanstva in varstva zasebnosti, kar pomeni razvoj pravične in vključujoče tehnologije.39 Kljub temu ostajajo številna odprta vprašanja zaradi izzivov, kot so pristranskost v algoritmih, kršitve zasebnosti in varstva podatkov ter možni vplivi na temeljne pravice. Pogosto so ti vidiki umetno-inteligenčnih sistemov posledica zgodovinskih družbenih vzorcev, ki vplivajo na vhodne podatke, saj je značilnost razvoja teh sistemov tudi potreba po učenju na velikih količinah (kdaj tudi osebnih) podatkov.40 Te vidike v določeni meri naslavlja tudi Akt o umetni inteligenci (npr. 10. člen glede podatkov za usposabljanje, validacijo in testiranje, 15. člen glede zahtev po točnosti, robustnosti in kibernetski varnosti delovanja umetno-inteligenčnih sistemov);41 ureditev varstva zasebnosti pa tudi Uredba (EU) 2016/679 Evropskega parlamenta in Sveta z dne 27. aprila 2016 o varstvu posameznikov pri obdelavi osebnih podatkov in o prostem pretoku takih podatkov ter o razveljavitvi Direktive 95/46/ES42 (Splošna uredba o varstvu podatkov). V nadaljevanju se bom osredotočila predvsem na vidik pravice do poštenega sojenja ter na ovire, ki jih tehnologija umetne inteligence prinaša pri uveljavljanju deliktne odškodninske odgovornosti. 3.3 Nova pravila deliktne odgovornosti na področju umetne inteligence Ključni pravni izziv na področju deliktne odškodninske odgovornosti, ko pride do škode, ki jo povzroči umetna inteligenca, je, da je izvor škode pogosto težko ugotoviti. To je posledica netransparentnosti delovanja sistemov umetne inteligence, kompleksnosti algoritmov, možnosti avtonomnih prilagoditev sistema ter medsebojne povezanosti in vplivanja tehnologij. Poleg tega pravno varstvo oškodovancev omejuje informacijska asimetrija in težave pri dokazovanju zaradi omejenega dostopa do podatkov ter tehničnih in finančnih ovir. Ko sistemi umetne inteligence sprejemajo odločitve, ki imajo pravne ali materialne posledice, je pomembno, da tovrstne težave, ki izvirajo iz samih značilnosti tehnologije, ne vplivajo na pravico oškodovancev pri dostopu do odškodnine. 39 White Paper on Artificial Intelligence – A European Approach to Excellence and Trust, 2020. 40 Shaelou in Razmetaeva, 2024, stran 578; Hacker, 2022, stran 5. 41 Hacker, 2022, stran 57. 42 UL L 119, 4. 5. 2016, strani 1–88. 288 OD ALGORITMA DO PRAVA. Produktna direktiva iz leta 1985 velja za pionirski poskus harmonizacije odškodninske odgovornosti v EU. Določa t. i. objektivno odgovornost za proizvode z napako z namenom zagotavljanja delovanja notranjega trga ter visoke ravni pravnega varstva za potrošnike. Revidirana različica, sprejeta leta 2024, ureditev posodablja in prilagaja izzivom, ki jih prinašajo sodobne tehnologije in krožno gospodarstvo.43 Prilagojena opredelitev izdelka danes vključuje tudi programsko opremo, digitalne proizvodne datoteke in povezane storitve; uveden je večplastni pristop h kvalifikaciji odgovorne osebe glede na položaj v dobavni verigi; časovna točka odgovornosti proizvajalca je podaljšana (dokler ima nadzor na proizvodom, tudi kadar je napaka posledica odsotnosti posodobitev v zvezi s kibernetsko varnostjo44); odpravljen je spodnji prag odškodnine 500 EUR; in možnost držav članic, da določijo zgornjo mejo odškodnine ter podaljšan zastaralni rok v primeru latentnih poškodb. V povezavi z izpostavljenimi izzivi dokazovanja je morda najpomembnejša novost, da – podobno kot Predlog direktive o umetni inteligenci – predvideva institute namenjene olajševanju dokazovanja elementov odškodninske odgovornosti. Na drugi strani je Predlog direktive o umetni inteligenci poskušal zapolniti vrzeli v varstvu, ki ga nudi nacionalno odškodninsko pravo, v primeru škode, ki jo povzročijo sistemi umetne inteligence. Medtem ko Produktna direktiva uvaja t. i. objektivno produktno odgovornost, vezano na ugotavljanje napake izdelka, je Predlog direktive o umetni inteligenci temeljil na krivdnih sistemih odškodninske odgovornosti, kot so v veljavi v državah članicah. Predlog ni definiral krivde (vseboval pa je sklic na kršitev dolžne skrbnosti), škode in vzročne zveze, temveč je to prepustil ureditvi držav članic. Določal pa je institute, namenjene olajšanju dokaznega bremena oškodovancev v primerih škode, ki jo povzročijo sistemi umetne inteligence, pri čemer je svojo uporabo vezal na definicijo umetne inteligence v 3. členu Akta o umetni inteligenci. V večini primerov je za uporabljivost institutov, ki jih je urejal, zahteval vsebinsko kršitev Akta o umetni inteligenci, saj sta Predlog direktive in Akt o umetni inteligenci predstavljala komplementarni pristop k zagotavljanju varne umetne inteligence.45 43 Subsidiarity Grid, 2022, strani 2–4. 44 Produktna direktiva, uvodna točka 38. 45 Hacker, 2022, strani 3, 19 in 71; Povzetek ocene učinka predloga Direktive o umetni inteligenci, 2022, stran 2. M. Naumovski: Nova pravila igre: odgovornost v dobi umetne inteligence 289, Tabela 1: Prikaz ureditve na podlagi Produktne direktive in Predloga direktive o umetni inteligenci46 Produktna direktiva Predlog direktive o umetni inteligenci Zahtevek temelji na pravu EU Zahtevek temelji na nacionalnem pravu držav članic Materialni in procesni vidiki produktne Ukrepi v povezavi z dokaznim bremenom odgovornosti Nanaša se na fizične izdelke in programsko opremo, vključno s sistemi umetne Nanaša se le na umetno-inteligenčne sisteme inteligence Zahtevki proti proizvajalcu in drugim Zahtevki proti proizvajalcu, profesionalnim deležnikom v dobavni verigi uporabnikom in potrošnikom Pravno priznana škoda: odvisna od zakonodaje Pravno priznana škoda: lastnina, smrt, držav članic, pri čemer lahko pride v poštev osebna poškodba in izguba podatkov tudi kršitev temeljnih pravic in čista premoženjska škoda Popolna harmonizacija (3. člen) Minimalna harmonizacija (uvodna točka 14) 3.4 Dvojna regulacija odgovornosti za umetno inteligenco Predlog direktive o umetni inteligenci je predvideval kumulativno uporabo tako Direktive o umetni inteligenci kot Produktne direktive, saj bi bili obe uporabljivi v primeru škode, ki jo povzročijo sistemi umetne inteligence. Določba 1. člena Predloga direktive o umetni inteligenci je določala, da ne posega v pravice, ki jih oškodovanec lahko uveljavlja na podlagi nacionalnih pravil, ki prenašajo Produktno direktivo. Na prvi pogled sta bili vlogi direktiv jasni, saj je Predlog direktive o umetni inteligenci temeljil na krivdni odgovornosti, revidirana Produktna direktiva pa temelji na sistemu objektivne odgovornosti, kar bi omogočalo vzporedno uveljavljanje zahtevkov. Vendar je bila ta dihotomija v večini zgolj navidezna.47 V praksi je med obema predpisoma obstajalo pomembno prekrivanje z vidika naslovnikov in predmeta urejanja. 3.4.1 Naslovniki Na vprašanje, kdo naj nosi odgovornost za napačne odločitve ali škodo, ki jo povzroči sistem umetne inteligence (razvijalci, uporabniki ali proizvajalci), ob oblikovanju predloga ureditve odgovornosti za umetno inteligenco v EU ni bilo jasnega odgovora. Prvotno je Evropski parlament sicer predlagal ureditev, ki bi uvajala objektivno odgovornost upravljalcev visokotveganih sistemov umetne 46 Prirejeno po Hacker, 2022, stran 7. 47 Wagner, 2023, stran 43. 290 OD ALGORITMA DO PRAVA. inteligence, kjer bi bilo treba dokazati zgolj vzročno zvezo med delovanjem sistema in nastankom škode, medtem ko bi upravljavci umetno-inteligenčnih sistemov z nižjim tveganjem odgovarjali krivdno (z obrnjenim dokaznim bremenom dokazovanja krivde).48 Ta pristop je bil v predlogu Evropske komisije septembra 2022 opuščen, saj se je osredotočal na odgovornost proizvajalca, ki ima nadzor nad umetno-inteligenčnimi sistemi. Glede na to, da tudi samo besedilo Produktne direktive poudarja, da je odgovornost proizvajalca za brezhibnost izdelka edina ustrezna rešitev, ki omogoča pravično razdelitev tveganj v sodobni tehnološki proizvodnji,49 se zdi pristop, ki se usmerja na odgovornost proizvajalca, bolj smiseln. Pri urejanju odgovornosti je to treba usmeriti na subjekt, ki ima še vedno določeno stopnjo nadzora nad digitalnim sistemom in ima od njega korist. V primeru podjemov, ki vključujejo aktivnosti, kjer je več verjetnosti za poškodbo tretjih oseb, četudi le zaradi bolj pogoste izpostavljenosti tem, je smotrno, da odgovarja tisti, ki ima nadzor in koristi od dejavnosti. Proizvajalec je tisti, ki lahko zagotovi zahtevano varnost sistema in to kontinuirano izboljšuje, zato je primeren prvi naslovnik za izvedbo aktivnosti z namenom preprečevanja potencialne škode. Prenos odgovornosti na uporabnike pa ne bi dosegel potrebnih ekonomskih spodbud za varnejše okolje pri uporabi umetne inteligence.50 Odgovorne osebe na podlagi Predloga direktive o umetni inteligenci so bile tako opredeljene kot ponudniki in uporabniki umetno-inteligenčnih sistemov, medtem ko Produktna direktiva v ospredje postavlja proizvajalce izdelkov. Kljub temu, da sta na prvi pogled besedili naslavljali različne subjekte, je definicija ponudnika (ang. provider)51 v Aktu o umetni inteligenci skoraj enaka opredelitvi proizvajalca v Produktni direktivi (ang. manufacturer). Ob upoštevanju 25. člena Akta o umetni inteligenci pa je Predlog direktive o umetni inteligenci zajemal tudi kvazi proizvajalce, uvoznike in distributerje umetno-inteligenčnih sistemov ter subjekte, ki so tovrstni sistem spremenili po uvedbi na trg. Podobno opredeljuje gospodarske subjekte, odgovorne za proizvode z napako, tudi Produktna direktiva v 8. členu. Ne 48 Skladno s priporočili resolucije bi lahko bil kot priloga pravnemu aktu priložen izčrpen seznam sistemov umetne inteligence z visokim tveganjem, ki bi se ga redno posodabljalo z delegiranimi akti. 49 Produktna direktiva, uvodna točka 2. 50 Wagner, 2023, strani 4 in 9; Schellekens, 2022, strani 236; European Group on Tort Law, 2005, stran 99. 51 Določba 3. točke 3. člena Akta o umetni inteligenci: »Ponudnik« pomeni fizično ali pravno osebo, javni organ, agencijo ali drugo telo, ki razvije sistem umetne inteligence ali model umetne inteligence za splošne namene ali ima razvit sistem umetne inteligence ali model umetne inteligence za splošne namene in ga da na trg ali da sistem umetne inteligence v uporabo pod svojim imenom ali znamko, za plačilo ali brezplačno.« M. Naumovski: Nova pravila igre: odgovornost v dobi umetne inteligence 291, glede na to pa je Predlog direktive o umetni inteligenci zajemal širši spekter odgovornih oseb, saj so bili vključeni tudi uporabniki ter javne oblasti, druge institucije in organi.52 V kontekstu naslovnikov je bila potreba po Predlogu direktive o umetni inteligenci prepoznana predvsem zaradi njegovega širšega regulatornega dometa. Z vključevanjem uporabnikov ter javnih in institucionalnih akterjev kot odgovornih oseb je namreč presegel tradicionalne okvire regulative produktne odgovornosti. Prav tako pa je zaradi svoje povezanosti z drugo regulativo, ki zadeva področje umetne inteligence, bolj specifično urejal naslovitev deliktne odškodninske odgovornosti v kontekstu značilnosti umetno-inteligenčnih sistemov. 3.4.2 Instituti, namenjeni olajševanju dokaznega bremena Produktna direktiva in Predlog direktive o umetni inteligenci vsebujeta vsebinsko podobne institute, katerih namen je zagotovitev dostopa do dokazov in olajšanje dokaznega bremena. Ti so bili po Predlogu direktive o umetni inteligenci osrednji ukrep minimalne harmonizacije. Trije ključni instituti, ki naj bi bili v pomoč oškodovancem pri dostopu do odškodnine, so: razkritje podatkov, ki tožniku omogoča dostop do relevantnih informacij, domneva kršitve dolžne skrbnosti oziroma obstoj napake proizvoda ter domneva vzročne zveze. Institut razkritja podatkov poskuša nasloviti problem pomanjkljive transparentnosti delovanja sistemov umetne inteligence. Informacijska asimetrija je eden ključnih izzivov pri reševanju sporov, povezanih z novimi tehnologijami, kot je umetna inteligenca. V takih primerih ima ena stranka nadzor nad podatki in strokovnim znanjem, druga pa nima ne dostopa in ne tehničnih sredstev za razumevanje podatkov. Predvidljivost in transparentnost umetne inteligence sta tako ključni za dokazovanje odgovornosti v primeru škode, saj je pogosto šele naknadna analiza sposobna ponuditi delno razlago za odločitve, ki jih je tovrstni sistem sprejel.53 Akt o umetni inteligenci in Predlog direktive o umetni inteligenci deloma naslavljata to problematiko, vendar z omejeno učinkovitostjo. Določba 13. člena Akta o umetni inteligenci vsebuje zahtevo transparentnosti, prvi odstavek 11. člena pa zahteva, da 52 Wagner, 2023, strani 11, 35–36 in 43–44. 53 Hacker, 2022, stran 58. 292 OD ALGORITMA DO PRAVA. tehnična dokumentacija vključuje razlago funkcij in delovanja, vendar le sistemov umetne inteligence visokega tveganja. Predlog direktive o umetni inteligenci pa je urejal zahtevo za razkritje podatkov, ki jih morajo ponudniki umetno-inteligenčnih sistemov dokumentirati na podlagi Akta o umetni inteligenci, vendar to zamejil le na primere sistemov visokega tveganja (3. člen).54 Za primer, da toženec ne bi izpolnil odredbe sodišča po razkritju, je Predlog predvideval vzpostavitev domneve kršitve dolžnosti ravnanja. Določba 8. člena revidirane Produktne direktive na drugi strani podobno uvaja možnost razkritja podatkov, vendar z nekaterimi razlikami. Zahtevo po razkritju podatkov je mogoče podati šele v okviru sodnega postopka. Ker se Produktna direktiva nanaša na celoten spekter izdelkov in povezanih storitev, institut tudi ni zamejen na visokotvegane sisteme umetne inteligence. Tabela 2: Pregled uporabljivosti Predloga direktive o umetni inteligenci in Produktne direktive v povezavi z visoko tveganimi sistemi umetne inteligence, proizvajalci, ponudniki, poslovnimi uporabniki in potrošniki.55 VTUIS NVTUIS Proizva Ponud uporabn Potroš Poslo (Visoko (Ne-visoko tvegani tvegani umetno- umetno- inteligenčni inteligenčni sistemi) sistemi) Razkritje 9(1) 9(1) 9(1) - - - dokazov (PD) Razkritje 3(1) - - 3(1) 3(1) 3(1) dokazov (PDUI) Domneva 10(2) & 10(2) & 10(2) 10(4) - - - (napaka: PD) 10(4)) 10(4) Domneva 3(5) - - 3(5) 3(5) 3(5) (krivda: PDUI) Domneva (vzročna zveza: 10(3) 10(3) 10(3) 10(4) - - - napaka→rezultat, 10(4) 10(4) PD) Domneva (vzročna zveza: 4(2), 4(3) 4(2) & 4(3) & 4(2) & 4(5)- 4(6) krivda→ rezultat, 4(5) 4(5) 4(5) PDUI) Produktna direktiva in Predlog direktive o umetni inteligenci naslavljata težave dokazovanja tudi z domnevo obstoja napake / kršitve dolžne skrbnosti ter domnevo vzročne zveze. Na podlagi Predloga direktive o umetni inteligenci je prišlo do 54 V skladu s 3. členom Predloga direktive o umetni inteligenci je to mogoče tako med sodnim sporom kot pred njegovim začetkom, pri čemer lahko sodišča odredijo razkritje tudi tretjim osebam, ki niso neposredno vključene v postopek. Tako Predlog direktive o umetni inteligenci, uvodna točka 19. 55 Prirejeno po Hacker, 2022, stran 6. M. Naumovski: Nova pravila igre: odgovornost v dobi umetne inteligence 293, domneve kršitve dolžnosti ravnanja, če podatki, na katere se je nanašala sodna odredba, niso bili razkriti ali zavarovani. Glede na zamejenost instituta iz 3. člena Predloga direktive o umetni inteligenci le na sisteme visokega tveganja bi bila posledično tudi predlagana domneva uporabljiva le v teh primerih. Na podlagi 9. člena Produktne direktive pa pride do izpodbojne domneve, da ima izdelek napako, če: a) ni spoštovana sodna odredba po razkritju podatkov, b) ko se izdelek ne sklada z obveznimi varnostnimi zahtevami ali c) če tožeča stranka dokaže, da je škoda nastala zaradi očitne okvare proizvoda med normalno uporabo ali v običajnih okoliščinah. Dodatno je Predlog Direktive o umetni inteligenci urejal tudi možnost domneve vzročne zveze med kršitvijo dolžne skrbnosti in rezultatom sistema umetne inteligence, revidirana Produktna direktiva pa vsebuje domnevo vzročne zveze med napako izdelka in povzročeno škodo. Skladno s 4. členom Predloga direktive o umetni inteligenci bi tožnik moral dokazati, da: 1) je toženec kriv (oziroma velja domneva), 2) obstaja razumna verjetnost, da je krivda toženca vplivala na rezultat umetno-inteligenčnega sistema (ali odsotnost tega), ter 3) je rezultat sistema umetne inteligence (ali odsotnost tega) povzročil škodo, da pride v poštev domneva vzročne zveze med kršitvijo dolžnostne skrbnosti in rezultatom sistema. Tožnik pa bi moral še vedno dokazati vzročno povezavo med rezultatom sistema umetne inteligence in škodo. Poleg tega je besedilo 4. člena Predloga direktive o umetni inteligenci v sedmih odstavkih kompleksno in razdrobljeno postavljalo pogoje za uporabo domneve, ki so se razlikovali glede na vrsto sistema umetne inteligence (visoko tvegan ali ne) in glede na vlogo odgovorne stranke (uporabnik ali ponudnik / proizvajalec).56 Na drugi strani se domneva vzročne zveze na podlagi Produktne direktive uporabi, če je škoda običajna posledica določene vrste napake izdelka in je tehnična ali znanstvena zapletenost taka, da povzroča oškodovancu pretirane težave pri dokazovanju odgovornosti. V tem primeru mora oškodovanec dokazati, da je izdelek prispeval k nastanku škode in da je verjetno, da je imel proizvod napako ali da je napaka verjetno vzrok za škodo.57 V spodnji razpredelnici so prikazani opisani instituti na podlagi besedila Produktne direktive in Predloga direktive o umetni inteligenci ter njihovo prekrivanje. 56 Wagner, 2023, strani 40 in 42. 57 Hacker, 2022, strani 31 in 34–35. 294 OD ALGORITMA DO PRAVA. 4 Pomanjkljivosti predlagane ureditve 4.1 Nerešena vprašanja odgovornosti za škodo Tako Produktna direktiva kot umaknjen Predlog direktive o umetni inteligenci naslavljata glavne težave na preseku deliktne odškodninske odgovornosti in umetne inteligence: informacijsko asimetrijo, težave dokazovanja, težave pri identifikaciji ustreznih tožencev ter problem vlaganja neutemeljenih tožb, kar naj bi vodilo do manjše obremenjenosti sodišč in družbene stroške. Vendarle so bili instituti iz umaknjenega Predloga direktive o umetni inteligenci osredotočeni predvsem na visokotvegane sisteme, da se ne ovira inovacij s prevelikimi obremenitvami razvijalcev ostalih sistemov umetne inteligence.58 Revidirana Produktna direktiva pa je razširila svoje področje uporabljivosti tako, da vključuje ne le izdelke (vključno s programsko opremo), temveč tudi povezane storitve. Posledično bo t. i. objektivna produktna odgovornost uporabljiva tudi v primeru sistemov umetne inteligence in to brez razlikovanja med visoko tveganimi in drugimi sistemi umetne inteligence. Instituti, ki jih Produktna direktiva in Predlog direktive o umetni inteligenci urejata, pa so precej podobni. Kljub predlaganim institutom se tako zdi, da bi tudi ob sprejemu Predloga direktive o umetni inteligenci določene težave ostale. Nekatere je skoraj nemogoče nasloviti s pravnimi instituti, še posebej na področju, kjer so potrebe po pravni fleksibilnosti zaradi hitro spreminjajoče se tehnologije vse večje, kar terja nove pristope k pravnem urejanju. Kljub temu pa se zdi, da bi na določenih področjih lahko bila (predlagana) ureditev nadgrajena. 4.2 Težave pri ugotavljanju odgovorne osebe in pridobivanju podatkov Glede na dejstvo, da je težavo predstavljal že sprejem primerne definicije umetne inteligence, ob nepreglednosti in kompleksnosti delovanja te tehnologije eno izmed glavnih težav predstavlja identifikacija odgovorne osebe v primerih škode, ki jo povzroči. Ureditev pravnih posledic, če tožnik v postopku zoper odgovorno osebo stori napako (npr. toži napačno osebo, ne vključi vseh odgovornih ali tožbo utemelji na napačni pravni podlagi),59 še naprej ostaja v pristojnosti nacionalnega prava. 58 Hacker, 2022, strani 12 in 27–28. 59 Na primer domneva, da gre za sistem umetne inteligence, čeprav temu ni tako. M. Naumovski: Nova pravila igre: odgovornost v dobi umetne inteligence 295, Dejstvo, da je veliko število ljudi običajno vključenih v oblikovanje, razvoj, uporabo in upravljanje sistemov umetne inteligence, otežuje oškodovancem, da ugotovijo, kdo (vse) je odgovoren za nastalo škodo. Zato posledice pomanjkanja dostopa do podatkov in možnost prekluzije ob vložitvi »napačne« tožbe v državah članicah terja vse več pozornosti. Vprašanje odgovorne osebe ima svoj temelj v pravilih materialnega prava. Težavnost ali celo nezmožnost ex ante opredelitve specifičnih zahtev, ki jih morajo digitalni izdelki, kot je umetna inteligenca, izpolnjevati, preden bo prišlo do kakršnekoli škode, je očitna že ob bežnem pogledu na Akt o umetni inteligenci.60 Tako ugotavljanje odgovorne osebe za škodo povzročeno z umetno inteligenco pogosto terja podrobno poznavanje celotnega poteka nastanka škode zaradi ugotavljanja, ali je škoda nastala zaradi začetne napake v algoritmu, nepričakovanih posledic posodobitev ali avtonomnega učenja sistema. Za oškodovanca je posledično pogosto praktično nemogoče ugotoviti vse odgovorne osebe z namenom pridobiti celotno odškodnino; pogosto je to tudi zaradi dejstva, da z vidika znanosti ali medicine škoda ni razdeljiva.61 Delno težavo pri ugotavljanju odgovorne osebe predstavlja netransparentnost umetno-inteligenčnih sistemov in njihova kompleksnost, saj so pogosto zasnovani tako, da se prilagajajo in razvijajo. Medsebojna povezanost digitalnih tehnologij in njihova odvisnost od zunanjih podatkov pomeni, da pogosto škode ni povzročil le en vzrok, temveč medsebojno delovanje več (dejanskih ali potencialnih) dejavnikov.62 Pogosto pa tožnik sploh nima dostopa do podatkov o delovanju sistema umetne inteligence. Oškodovanec, ki bo moral vložiti več tožb zaradi vrste odgovornih oseb za razvoj sistema umetne inteligence, tako tvega, da teh ne bo pravilno usmeril oziroma zamejil in bo dolžan vračati stroške postopka glede na uspeh v pravdi, kar je pravilo v večini evropskih pravnih sistemov. V primeru, da je tožena napačna stranka, je zato zelo pomembno, da ima tožnik možnost, da v postopek vključi pravilnega toženca, ne da bi to vplivalo na njegovo pravico do dostopa do sodnega varstva. Glede na težave dokazovanja in nezmožnosti identifikacije vseh odgovornih oseb bi 60 Ta, razen izrecnih prepovedi iz 5. člena, uvaja precej fleksibilne zahteve celo za visokotvegane sisteme umetne inteligence. Wagner, 2023, stran 22. 61 European Group on Tort Law, 2005, strani 144–145. 62 Expert Report, 2019, stran 20. M. Naumovski: Nova pravila igre: odgovornost v dobi umetne inteligence 297, 296 OD ALGORITMA DO PRAVA. pomembno varnost oškodovancem v tovrstnih sporih predstavljalo tudi pravilo solidarne odgovornosti, na podlagi katerega lahko tožnik od posamezne odgovorne osebe zahteva povrnitev celotnega zneska odškodnine, ta pa ima nato regresno pravico za povračilo sorazmernega dela od ostalih odgovornih. V vsakem primeru pa bodo že vprašanja, ali, kako in proti komu vložiti tožbo, terjala strokovnjake, specializirane na področju prava in umetne inteligence. 4.3 Informacijske težave Institut razkritja podatkov naslavlja težave netransparentnosti delovanja in informacijske asimetrije. Poleg tehnične nepreglednosti, ki izhaja iz kompleksnosti same tehnologije,63 je problem odškodninskih sporov v primeru umetne inteligence tudi institucionalna nepreglednost, saj imajo dostop in nadzor nad podatki razvijalci teh sistemov, pri čemer prihaja tudi do strateškega zadrževanja teh informacij. Potrebne informacije za dokazovanje odgovornosti tako pogosto ostajajo pod nadzorom proizvajalcev ali razvijalcev, kar oškodovance postavlja v izrazito slabši položaj.64 Ker države članice uporabljajo različne pristope glede možnosti predhodnega razkritja dokazov,65 je predlagani institut razkritja podatkov iz Produktne direktive, ki ga je vseboval tudi Predlog direktive o umetni inteligenci, pomembna novost in pridobitev za enakopravno varstvo oškodovancev v celotni EU. Za zagotovitev učinkovitega pravnega varstva bi bilo najprej smiselno zahteve po transparentnosti in tehnični dokumentaciji iz Akta o umetni inteligenci razširiti na vse sisteme umetne inteligence, ne glede na stopnjo tveganja, še posebej tiste, ki so širše družbeno uporabljivi. Razložljivost delovanja umetne inteligence je namreč ključni element za večje zaupanje uporabnikov v te sisteme, saj izboljšuje sledljivost in omogoča boljše 63 Selbst in Barocas, 2018, stran 1085. 64 Expert Report, 2019, stran 20. 65 Na primer, Češka ima pravila o predhodnem razkritju dokazov le v primeru kršitev konkurenčnega prava; Francija pozna institut in futurum (145. Code de procédure civile), ki omogoča zbiranje dokazov pred začetkom sodnega postopka, na Nizozemskem je mogoče zahtevati razkritje v predhodnem postopku in med sodnim postopkom (Artikel 843a Wetboek van Burgerlijke Rechtsvordering), podoben institut pozna tudi Švedska (Rättegångsbalk (1942:740), 38 kap. Om skriftligt bevis), v Italiji je to mogoče le omejeno, običajno v nujnih primerih (Articolo 692- 696 Codice di procedura civile), v Avstriji Zivilprozessordnung na splošno tega ne ureja, prav tako pa tovrstnih mehanizmov ne pozna Litva. razumevanje odločitev. Hkrati pa bi to spodbudilo razvijalce in ponudnike umetne inteligence k raziskavam, ki povečujejo njeno razložljivost.66 Neposrečena pa je bila zamejitev instituta razkritja dokazov iz Predloga direktive o umetni inteligenci na visokotvegane sisteme. Ker problem informacijske asimetrije ni zamejen le na visokotvegano umetno inteligenco, je bila bojazen, da večina oškodovancev tega instituta ne bo mogla koristiti. Posledično bi težave dokazovanja pri sistemih umetne inteligence, ki niso visoko tvegani, ostajale. Dodatno je to odpiralo vrsto vprašanj pravilne kategorizacije umetno-inteligenčnih sistemov in izbire pravilne podlage pri uveljavljanju zahtevkov, pri čemer se je Predlogu direktive o umetni inteligenci očitalo neopravičljivo združevanje temeljne razlike med družbenimi in individualnimi tveganji, s tem da je enačil visoko-tvegane sisteme v Aktu o umetni inteligenci s tistimi, ki spadajo v okvir odškodninskega prava.67 Evropski parlament je celo predlagal, da bi moral Predlog direktive o umetni inteligenci razširiti svoje področje uporabe ne le na sisteme umetne inteligence za splošno rabo in druge »visoko vplivne sisteme«, temveč tudi na programsko opremo.68 Pri tem je res, da določeni bolj kompleksni algoritmi programske opreme porajajo enake težave pri dokazovanju kot sistemi, kategorizirani kot umetna inteligenca, zato je tako težko najti utemeljen razlog za odsotnost uporabe na teh področjih. 4.4 Težave pri dokazovanju Predlog direktive o umetni inteligenci je temeljil na krivdni odgovornosti in se osredotočal na kršitev dolžne skrbnosti, medtem ko Produktna direktiva uveljavlja t. i. objektivno odgovornost, povezano z napako izdelka, ki temelji na standardu varnostnih pričakovanj. Čeprav sta direktivi na videz naslavljali povsem ločena sistema odgovornosti, se v praksi vprašanja, kot so predvidljivost nastanka škode, odkritje vzroka škode, sprejeti varnostni ukrepi, ki se presojajo v sklopu obeh sistemov, pogosto prepletajo. 66 Uredba o splošni varnosti proizvodov, uvodni točki 6 in 12. Razširitev odgovornosti povečuje izdatke za raziskave in razvoj varnostnih tehnologij, kar potrjujejo rezultati raziskav, po katerih je več kot polovica anketiranih podjetij povečala izdatke za raziskave in razvoj zaradi skrbi glede odgovornosti. Geistfeld, 2009, stran 304. 67 Pri tem je že sama kategorizacija predmet razprave, saj nekateri izpostavljajo, da bi morala biti v visokotvegane sisteme umetne inteligence vključena tudi avtomatizirana vozila, sistemi za prepoznavanje čustev in cenovni modeli zavarovalnic. Obenem pa sploh ne naslavlja prepovedanih sistemov (5. člen Akta o umetni inteligenci). Hacker, 2022, strani 30–31, 39–40 in 66. 68 Ocena učinka Predloga direktive o umetni inteligenci, 2024, stran 46. 298 OD ALGORITMA DO PRAVA. Dokazovanje kršitve standarda ravnanja oziroma napake sistema umetne inteligence predstavlja izziv sam zase, kljub zahtevam po točnosti, robustnosti in kibernetski varnosti 15. člena Akta o umetni inteligenci in zahtevah po specifikacijah skozi tehnične norme.69 Obveznosti so namreč opredeljene na splošno in bodo od sodišč terjale rekonstrukcijo ustreznega standarda na podlagi družbenih prepričanj o preudarnem in razumnem ukrepanju v danih okoliščinah. Sistemi umetne inteligence pa proizvedejo določene napake, ki jih ljudje ne bi (npr. napačna prepoznava tovornjaka kot mostu), obenem pa se izognejo napakam, ki so značilne za ljudi.70 Sodišča pogosto nimajo tehničnega strokovnega znanja o delovanju umetno- inteligenčnih sistemov, hkrati pa bodo družbena prepričanja pogosto neobstoječa zaradi novosti teh tehnologij.71 Če bi uporabili antropomorfni pristop 72 in ugotavljali, ali bi povprečen človek storil enako napako kot umetno-inteligenčni sistem, bi proizvajalce spodbudili k iskanju tovrstnih napak, vendar bi lahko to negativno vplivalo na tehnološki napredek. Ob težavah, ki bi jih prinašala zahteva po primerjavi sistemov umetne inteligence in človeka, je dodatno vprašljiva tudi razumnost vzpostavljanja tovrstnega vpliva preko odškodninskih pravil v primerih, ko bi bil umetno-inteligenčni sistem 90 % varnejši za uporabo, še vedno pa bi povzročil škodo v redkih nepredvidljivih okoliščinah.73 Naloga sodišč pri napolnjevanju teh pojmov tako ne bo enostavna. Produktna direktiva in Predlog direktive o umetni inteligenci predvidevata možnost domneve kršitve dolžne skrbnosti, čeprav jo je Predlog direktive o umetni inteligenci ponovno neposrečeno zamejil le na visokotvegane sisteme in le na primere, ko ni bila izpolnjena zahteva po predložitvi ali zavarovanju dokazov. Nadalje 4. člen Predloga direktive o umetni inteligenci in 10. člen Produktne direktive predvidevata domnevo vzročne zveze. Kot je bilo predhodno že opisano v povezavi s težavami pri ugotavljanju odgovorne osebe v primerih škode povzročene z umetno inteligenco, je pri kompleksnih modelih, kot so globoke nevronske mreže,74 izredno težko razumeti, kako in zakaj je sistem prišel do 69 Wagner, 2023, strani 48–49. 70 Hacker, 2022, stran 23. 71 Expert Report, 2019, strani 34–35. 72 Skladno z definicijo Slovarja slovenskega knjižnega jezika (SSKJ) pomeni antropomorfen: podoben človeku, https://www.fran.si/130/sskj-slovar-slovenskega-knjiznega- jezika/3527728/antropomorfen?Query=opisovanje&View=2&AllNoHeadword=opisovanje&FilteredDictionaryI ds=130 (obiskano: 12. 3. 2024). 73 Hacker, 2022, stran 23. 74 Globoke nevronske mreže so napredna struktura umetne inteligence, zasnovana po vzoru človeških možganov, kjer se podatki procesirajo v večslojnih omrežjih umetnih nevronov. Ta mreža uporablja več plasti – vhodne, skrite in izhodne plasti – skozi katere informacije potujejo, vsaka plast pa omogoča, da sistem pridobi globlje razumevanje M. Naumovski: Nova pravila igre: odgovornost v dobi umetne inteligence 299, določenih zaključkov zaradi problema »črne škatle« (ang. black box problem), ki pomeni nezmožnost uvida, kako sistem sprejema svoje odločitve. Čeprav je kakovost rezultatov teh sistemov, na primer odstotek pravilno razvrščenih slik, enostavno oceniti, pa sam proces, s katerim sistemi dosežejo te rezultate, večinoma ostaja netransparenten.75 Določba 4. člena Predloga direktive o umetni inteligenci je določala le možnost domneve vzročne povezave med kršitvijo dolžne skrbnosti in rezultatom sistema umetne inteligence ter vsebovala vrsto kompleksnih pogojev za uporabo.76 Za uporabljivost domneve bi stranka morala še vedno dokazati kršitev dolžne skrbnosti, razumno verjetnost, da je to vplivalo na rezultat sistema umetne inteligence, ter vzročno zvezo med rezultatom sistema in nastalo škodo. Tudi če bi tožnik dobil dostop do (relevantnih) podatkov, kar je bilo glede na Predlog direktive o umetni inteligenci mogoče le v primeru visokotveganih sistemov, mu tudi to pogosto ne bi zagotavljalo uspeha v postopku. Že možnost, da se v tovrstnih sporih tožnika preplavi s prekomerno količino nepreglednih informacij, pred njega postavlja oviro v odškodninskem postopku. Navadno gre pri umetno-inteligenčnih sistemih za velike količine podatkov, katerih branje zahteva posebno tehnično znanje in drago analizo strokovnjakov. Nacionalna pravila o zalaganju stroškov za postavitev izvedenca lahko v tovrstnih primerih za oškodovance predstavljajo nepremostljivo finančno oviro in resno vplivajo na njihovo pravico do učinkovitega sodnega varstva. Če je dokaz stroškovno nesorazmeren s samo škodo (tako visok ali višji od same škode), gre namreč za nerazumno zahtevo po dokazovanju.77 Tako Zobec in Pavčnik poudarjata, da je pravica upravičenca do poštenega sojenja ogrožena, če je prisiljen predložiti dokaz na nedosegljiv način.78 Domneva vzročne zveze iz Predloga direktive o umetni inteligenci se tako ni zdela najboljša. Že če bi bilo odstranjeno razlikovanje med visokotveganimi in ostalimi sistemi ter bi se ohranili le trije temeljni pogoji iz prvega odstavka predlaganega 4. podatkov in prepozna kompleksne vzorce. Za razliko od običajnih nevronskih mrež, globoke nevronske mreže vsebujejo več skritih plasti, kar jim omogoča boljše rezultate pri prepoznavanju vzorcev in klasifikaciji podatkov. Burger, 2021, stran 3. 75 Haenlein in Kaplan, 2019, stran 7. 76 Wagner, 2023, stran 30. 77 European Group on Tort Law, 2005,strani 40–41, Expert Report, 2019, strani 34–35; Cek, 2020, stran 176. 78 Pavčnik, 2012, stran 1413. 300 OD ALGORITMA DO PRAVA. člena Predloga direktive o umetni inteligenci, bi bila njegova uporaba veliko bolj jasna. Ker pa razložljivost in dokazljivost nastanka škode v primeru umetne inteligence pod vprašaj postavlja vrsto tradicionalnih pristopov k ugotavljanju odgovornosti, bi bilo treba ponovno proučiti tudi ustreznost zahteve po dokazovanju določenih predpostavk odgovornosti v primeru teh sistemov, če so praktično nedokazljive. Posledice značilnosti sistemov umetne inteligence v povezavi z dostopom do sodnega varstva tako predstavljajo večplastni problem, saj tehnične, finančne in informacijske ovire vplivajo tudi na pravico do poštenega sojenja. 5 Zaključek Umetna inteligenca prinaša številne koristi za družbo in gospodarstvo, hkrati pa odpira nova pravna in etična vprašanja. Čeprav je kot tehnologija prisotna že več desetletij, je njen hiter razvoj v zadnjih letih sprožil intenzivne razprave tudi na pravnem področju. Tako se nam na prvi pogled zdi, da tudi tradicionalna pravila odškodninske odgovornosti odpovejo, ko pride do tovrstne tehnologije. EU se s svojimi zakonodajnimi pobudami trudi vzpostaviti pravni okvir skladen z evropskimi vrednotami, ki bi omogočal inovacije in hkrati nudil ustrezno zaščito oškodovancem. EU se je pri oblikovanju predlogov direktiv na področju deliktnega odškodninskega prava iz leta 2022 oprla na načeli subsidiarnosti in sorazmernosti, saj države članice ciljev zagotavljanja delovanja notranjega trga, neizkrivljene konkurence in visoke ravni varstva potrošnikov naj ne bi zmogle same zadovoljivo doseči ob značilnostih novih tehnologij.79 Čeprav so instituti iz Predloga direktive o umetni inteligenci in v Produktni direktivi poskušali uravnotežiti tržne interese in konkurenčnost z visoko ravnjo varstva potrošnikov, to poglavje v monografiji izpostavlja področja, kjer nejasnosti in neskladja niso prispevali k zagotavljanju jasnega in enotnega okvira za odgovornost na področju umetne inteligence v EU. Predlog direktive o umetni inteligenci je očitno nastal kot odziv na politično potrebo po zakonodajni ureditvi, hkrati pa razkriva negotovost glede ustreznega modela odgovornosti za umetno- inteligenčne sisteme. Mišljen je bil kot dopolnitev Aktu o umetni inteligenci, vendar je njegova dodana vrednost za oškodovance vprašljiva. Ker Predlog direktive o umetni inteligenci ni bil omejen na kršitve klasičnih interesov življenja, telesne 79 Produktna direktiva, uvodna točka 47. M. Naumovski: Nova pravila igre: odgovornost v dobi umetne inteligence 301, integritete, zdravja in lastnine, se je poudarjal doprinos tega predloga predvsem zaradi možnosti dostopa do odškodnine v primeru kršitve osebnostnih pravic (diskriminacija, kršitve zasebnosti),80 škode na izključno poklicnem oziroma tržnem premoženju in na samem izdelku z napako ter v primeru čiste ekonomske izgube, če to omogočajo nacionalni sistemi.81 Predlog ni bil sprejet, saj dogovora ni bilo mogoče doseči predvsem zaradi pozivov tehnološke industrije k poenostavitvi regulacije. Posledično je Evropska komisija 11. februarja 2025 Predlog direktive o umetni inteligenci umaknila.82 Dodatna pomanjkljivost pri ureditvi področja odgovornosti za škodo, ki jo povzroči umetna inteligenca, se kaže na področju neodkrivljivih tveganj. Ta v Predlogu direktive o umetni inteligenci niso bila naslovljena. Glede na to, da Evropska komisija dvotirnemu pristopu Evropskega parlamenta, ki je leta 2020 predlagal strogo odgovornost za visoko tvegane sisteme in domnevo o malomarnosti za druge sisteme umetne inteligence, ni sledila, hkrati pa Produktna direktiva na podlagi obrambe razvojnega tveganja izključuje odgovornost za neodkrivljiva (nepredvidljiva) in/ali neodvrnljiva tveganja, ta posledično še vedno ostajajo v sferi oškodovancev tudi v primeru škode, ki jo povzroči umetna inteligenca. Ti pa očitno niso ne najcenejši preprečevalci škode v teh primerih in ne v primarni poziciji za sprejem ukrepov, ki bi zmanjševali možnost nastanka škode. Ni povsem jasno, zakaj zakonodajalec EU kljub intervenciji na področju deliktne odškodninske odgovornosti ni nepredvidljivih tveganj vključil v sfero odgovornosti proizvajalcev oziroma ponudnikov. To bi bilo smotrno, saj vključitev teh tveganj v odgovornost proizvajalcev vpliva na obseg dejavnosti, kar pomeni, da bi bolj tvegane dejavnosti z več nepredvidljivimi primeri nastanka škode nosile več odgovornosti. Če ta tveganja niso vključena v odgovornost, je s tem odstranjena tudi vzpodbuda proizvajalcem, da investirajo v raziskave in razvoj, ki bi omogočale odkrivanje še nepoznanih tveganj in tako večjo varnost umetne inteligence na evropskem trgu.83 80 Kršitev osebnostnih pravic ni del evropske produktne odgovornosti, saj tehnične naprave, avtomobili, stroji in zdravila kot kategorije izdelkov, normalno ne vodijo do kršitve osebnega dostojanstva in časti, kršitve ugleda osebe v očeh javnosti ali kršitve zasebnosti. Z internetom in vedno večjo uporabo umetne inteligence pa se je to spremenilo in vprašanja zasebnosti so postala pomembna tema tudi v produktnem pravu. Wagner, 2023, strani 51–53; Wagner, 2024, strani 208–209. 81 Wagner, 2023, strani 46, 49, 50–51 in 55. 82 IAPP News – European Commission Withdraws AI Liability Directive from Consideration, https://iapp.org/news/a/european-commission-withdraws-ai-liability-directive-from-consideration (obiskano: 15. 2. 2025). 83 Stapleton, 1986, strani 394–395; Spacone, 2000, strani 366–367. M. Naumovski: Nova pravila igre: odgovornost v dobi umetne inteligence 303, 302 OD ALGORITMA DO PRAVA. Kljub napredku pri oblikovanju zakonodaje o umetni inteligenci tako ostajajo številni izzivi. Eden največjih bo zagotoviti, da zakonodaja ostaja dovolj fleksibilna, da omogoča inovacije, hkrati pa dovolj zaščitna, da učinkovito naslavlja tveganja, ki jih prinaša umetna inteligenca. EU ima že nekaj časa kot glavno prioriteto krepitev boljše zakonodaje, ki je jasna, smiselna in uresničljiva, izpolnjuje svoj namen, je preprosta za izvajanje, zagotavlja varnost in predvidljivost, saj so cilji razumna in realistična pravila, ki se pravilno izvajajo in izvršujejo po vsej EU.84 Vendar morajo pravila odražati posebnosti umetne inteligence in potrebo po interdisciplinarnem pristopu ter vzpostavitvi dinamičnega in kontekstualnega regulatornega okvirja, ki presega statične normativne pristope. Zato je bilo resnično vprašljivo, če je res potreben poseben akt na ravni EU v obliki Predloga direktive o umetni inteligenci, in ali države članice ne bi mogle same zadovoljivo doseči ciljev, ki jih je ta zasledoval. Nacionalni pravni redi v večini sistemov že vsebujejo mehanizme za olajševanje dokaznih bremen v posebej zapletenih primerih oziroma postrožitev standardov ravnanja v primerih bolj tveganih aktivnosti. Splošni instituti, kot so nižanje dokaznega bremena zaradi narave stvari in dokaznih stisk,85 obrnjeno dokazno breme dokazovanja predpostavk odgovornosti (krivde) ter možnost višjega standarda odgovornosti v primeru bolj tveganih podjemov, ki bi bili v diskreciji sodišč, se zdijo bolj primerni. Zaveza k uporabi in razlagi institutov ter pravil, ki so tuji nacionalnim pravnim redom, pa lahko odpre vrsto nejasnosti in različnih interpretacij. Presoja, prilagojena konkretnemu primeru, je bolj primerna za sisteme umetne inteligence, ki zajemajo spekter različnih rešitev z različno uporabljivostjo, družbeno zaželenostjo in stopnjo tveganja. Enoznačne rešitve tako pogosto niso najbolj optimalne. Literatura Bruner, G. (2020) No, Artificial Intelligence doesn’t exist (yet), https://towardsdatascience.com/no- artificial-intelligence-doesnt-exist-yet-3318d83fdfe8/ (obiskano: 12. 2. 2025). Burger, G. (2021) Definicije in algoritmi UI, Digitalno inovacijsko središče Slovenije in Fakulteta za elektrotehniko Univerze v Ljubljani (https://www.dihslovenia.si/assets/images/DIH_Slovenia_Definicije_in_algoritmi_umetne_ inteligence.pdf – obiskano: 4. 1. 2025). 84 Nomotehnične smernice, 2018, stran 177. 85 Dejansko področje, kjer narava stvari najbolj očitno (in najbolj pogosto) narekuje nižanje dokaznega standarda, je vprašanje vzročne zveze. Pavčnik, 2012, stran 1414. Cauffman, C. (2018) Robo-liability: The European Union in Search of the Best Way to Deal with Liability for Damage Caused by Artificial Intelligence, Maastricht Journal of European and Comparative Law, 25(5), strani 527–532. Cek, N. (2020) The Standards of Proof in Medical Malpractice Cases, Medicine Law & Society, 13(2), strani 173–196. Council of the European Union (2018) Report from the Commission to the European Parliament, the Council and the European Economic and Social Committee on the application of the Council Directive on the approximation of the laws, regulations, and administrative provisions of the Member States concerning liability for defective products (85/374/EEC) (Ocena Produktne direktive – Poročilo Komisije) (EUR-Lex - 52018DC0246 - EN - EUR-Lex - obiskano: 5. 2. 2025). Council of the European Union (2022) Commission Staff Working Document AI Subsidiarity Grid Accompanying the Document Proposal for a Directive of the European Parliament and of the Council on Adapting Non-Contractual Civil Liability Rules to Artificial Intelligence (AI Liability Directive). Council of the European Union (2022) Commission Staff Working Document Executive Summary of the Impact Assessment Report, Accompanying the Document Proposal for a Directive of the European Parliament and of the Council on Adapting Non-Contractual Civil Liability Rules to Artificial Intelligence (AI Liability Directive) (Povzetek ocene učinka predloga Direktive o umetni inteligenci). European Court of Auditors (2024) Artificial intelligence: EU must pick up the pace, https://www.eca.europa.eu/en/news?ref=NEWS-SR-2024-08 (obiskano: 2. 1. 2025). European Group on Tort Law (2005) Principles of European Tort Law: Text and Commentary (Wien: Springer-Verlag). European Parliamentary Research Service (2024) Proposal for a directive on adapting non-contractual civil liability rules to artificial intelligence: Complementary impact assessment. (Ocena učinka predloga Direktive o umetni inteligenci). Geistfeld, M. A. (2009) v Faure, M. (ur.) Encyclopedia of Law and Economics (Edward Elgar Press, NYU Law and Economics Research Paper No. 09-19). Grad, F. (2013) Nomotehnika, pravna država in politika, Pravni letopis, št. 1, strani 231–239. Haenlein, M., Kaplan, A. M. (2019) A Brief History of Artificial Intelligence: On the Past, Present, and Future of Artificial Intelligence, California Management Review, 61(4), strani 5–14. Hacker, P. (2022) The European AI Liability Directives – Critique of a Half-Hearted Approach and Lessons for the Future, doi: https://doi.org/10.1016/j.clsr.2023.105871. Nomotehnične smernice (2018) 3., spremenjena in dopolnjena izdaja (Ljubljana: Služba Vlade Republike Slovenije za zakonodajo). Polajnar-Pavčnik, A. (2011) Prava mera odškodninskega prava, Podjetje in delo, 37(6–7), strani 1275– 1284. Pavčnik, T. (2012) Dokazni standardi, Podjetje in delo, 38(6–7), strani 1407–1416. Selbst, A. D. in Barocas, S. (2018) The Intuitive Appeal of Explainable Machines, Fordham Law Review, 87(3), strani 1085–1139. Shaelou, S. L., Razmetaeva, Y. (2024) Challenges to Fundamental Human Rights in the Age of Artificial Intelligence Systems: Shaping the Digital Legal Order While Upholding Rule of Law Principles and European Values, ERA Forum 24, strani 567–587. Schellekens, G. W. M. (2022) Human–Machine Interaction in Self-Driving Vehicles: A Perspective on Product Liability, International Journal of Law and Information Technology, 30(2), strani 233–248. Spacone, A. C. (2000) Strict Liability in the European Union - Not a United States Analog, Roger Williams University Law Review, 5(2), strani 341–384. Stapleton, J. (1986) Products Liability Reform-Real or Illusory?, Oxford Journal of Legal Studies, 6(3), strani 392–422. Wagner G. (2023) Liability Rules for the Digital Age - Aiming for the Brussels Effect, doi: http://dx.doi.org/10.2139/ssrn.4320285. 304 OD ALGORITMA DO PRAVA. Wagner, G. (2024) Next Generation EU Product Liability – For Digital and Other Products, Journal of European Tort Law, 15(2), strani 172–224. Extended abstract Artificial intelligence (AI) is rapidly transforming various sectors, offering increased efficiency, advanced automation, and optimized processes. However, its deployment also raises significant legal and ethical challenges, including in the realm of tort liability for harm caused by AI systems. The European Union (EU) has taken a proactive approach in regulating AI by introducing several key legislative instruments, including the Artificial Intelligence Act (AI Act), the Revised Product Liability Directive, and the proposed AI Liability Directive. One of the main concerns surrounding AI is its transparency and explainability. AI models, especially those based on machine learning and neural networks, are designed to operate with varying degrees of autonomy and can adapt their responses based on data inputs, making their actions less predictable. That makes it difficult to determine how decisions are made. This lack of transparency poses a serious challenge in legal disputes where liability must be established. Victims of AI-induced harm often face significant challenges in proving fault, establishing causation, and identifying the responsible party. This is due to limited access to relevant information, the necessity of specialized technical expertise to interpret data, and the inherent complexities of AI systems—including their opacity, unpredictability, and capacity for self-learning, which make traditional liability assessments more difficult. Key challenges in addressing liability for harm caused by AI primarily stem from difficulties in identifying the responsible party and the potential need for victims to file multiple claims to receive fair compensation. A major obstacle is information asymmetry, as AI developers often retain exclusive control over data and the technical knowledge required to interpret system operations. Additionally, the "black box" nature of AI algorithms makes it challenging to establish a clear causal link between an AI system’s actions and the resulting damage, further complicating liability assessments. To address these challenges, the EU has proposed the AI Liability Directive, which aims to adapt non- contractual civil liability rules to AI, and has adopted the revised Product Liability Directive, which expands liability to include software and digital services, ensuring that manufacturers remain accountable for AI-driven products. The proposed AI Liability Directive was grounded in fault-based liability, whereas the Product Liability Directive introduces a strict liability regime for defective products. Both instruments aim to ease the burden of proof for claimants by introducing measures such as enhanced access to evidence and presumptions of fault or defect. However, the proposed AI Liability Directive has drawn criticism due to overlaps with the Product Liability Directive, raising concerns about legal uncertainty and potential regulatory inconsistencies. Despite these efforts, the EU’s dual approach—strict liability under the Product Liability Directive and fault-based liability under the AI Liability Directive—risks creating legal fragmentation. Several shortcomings remain in the (proposed) regulatory framework. Before the proposal of the AI Liability Directive was withdrawn, a key concern was that its focus on high-risk AI systems might leave many injured parties without adequate recourse and result in accountability loopholes. Moreover, the complex and fragmented conditions for applying the presumption of causality (depending on the type of AI system and the role of the responsible party) further complicated legal certainty and the effective enforcement of rights. In conclusion, while the EU's efforts to regulate AI liability represent a significant step forward, there is a need for a more flexible and coherent legal framework. Although the European Commission abandoned the proposed AI Liability Directive on February 11, 2025, the issues addressed in this paper remain relevant in the context of regulatory developments. This is essential to foster trust, ensure accountability, and balance innovation with consumer protection. T DOI VEGANJA UPORABE UMETNE https://doi.org/ 10.18690/um.pf.11.2025.12 INTELIGENCE PRI PREISKOVANJU ISBN 978-961-299-086-2 IN ODKRIVANJU KAZNIVIH DEJANJ V KAZENSKIH POSTOPKIH IN NADZORU MEJA TER UPRAVLJANJU MIGRACIJ K 2 ATJA K 1, OLARIČ 1 Univerza v Mariboru, Pravna fakulteta, Maribor, Slovenija katja.kolaric3@student.um.si 2 Okrožno sodišče Ptuj, Ptuj, Slovenija katja.kolaric@sodisce.si EU je prva na svetu sprejela Akt o umetni inteligenci, ki je pravni Ključne besede: Akt EU o umetni okvir za razvoj umetne inteligence. Poglavje obravnava uporabo inteligenci, umetne inteligence pri odkrivanju in preprečevanju kaznivih etična raba umetne dejanj, zlasti na področju organiziranega kriminala, terorizma, inteligence, varstvo temeljnih pravic, z umetna inteligenca agotavljana varnosti državljanov EU, obvladovanja migracij in kazenskih postopkih, nadzora meja. Strojno učenje umetne inteligence lahko privede upravljanje migracij, digitalna forenzika, do pristranskosti in diskriminacije zaradi algoritmov, na katerih te prepovedane prakse rabe aplikacije temeljijo. Kakovost uporabljenih podatkov vpliva na umetne inteligence, visoko tvegani sistemi. rezultate aplikacij, kar povečuje inherentno pristranskost. Akt o umetni inteligenci poudarja, da je treba prepovedati uporabo umetne inteligence, če ni združljiva s temeljnimi pravicami, zapisanimi v Listini Evropske unije o temeljnih pravicah.. Splošna uporaba umetne inteligence za namene množičnega nadzora je nesorazmerna. Ključno je uravnoteženje varstva pravic posameznikov in učinkovito izvajanje policijskih nalog. Pri uporabi umetne inteligence za preiskovanje kaznivih dejanj je nujno upoštevati Etične smernice za uporabo umetne inteligence, saj imajo odločitve resne posledice za življenje in svobodo posameznikov. DOI RISKS OF USING ARTIFICIAL https://doi.org/ 10.18690/um.pf.11.2025.12 ISBN INTELLIGENCE IN LAW 978-961-299-086-2 ENFORCEMENT, CRIMINAL PROCEEDINGS, BORDER CONTROL AND MIGRATION MANAGEMENT KATJA K 1, 2 OLARIČ 1 University of Maribor, Faculty of Law, Maribor, Slovenia katja.kolaric3@student.um.si 2 District court Ptuj, Ptuj, Slovenia katja.kolaric@sodisce.si Keywords: The EU is the first in the world to adopt the Artificial Intelligence EU Artificial Intelligence Act, a single legal framework for its development. This chapter Act, ethical use of artificial discusses the use of artificial intelligence in crime prevention, intelligence, border control and migration. Artificial intelligence helps detect protection of fundamental rights, crime, improve law enforcement methods and investigate financial artificial intelligence in criminal proceedings, and cybercrime. However, at the same time, it can threaten migration management, fundamental rights under the Charter of Fundamental Rights of digital forensics, prohibited practices in the the European Union. Mass surveillance is disproportionate, and use of artificial intelligence, algorithmic bias can lead to discrimination. The quality of data high-risk systems. affects the results, increasing inherent bias. It is crucial to balance the protection of rights with the effective implementation of police tasks. It is essential to follow the Ethical Guidelines when using artificial intelligence for criminal investigations, as decisions have serious consequences for the life and freedom of individuals. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 307, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij 1 Uvod Pojem umetna inteligenca je bil v različnih obdobjih v zadnjih 60-ih letih zelo različno definiran in uporabljen. Vključuje najrazličnejše tehnologije, s pomočjo katerih računalniki analizirajo svoje okolje in na tej podlagi ukrepajo za doseganje določenih ciljev. Gre za dejavnosti, do nedavnega omejene na zmožnosti človeka. Pravna opredelitev umetne inteligence bi morala temeljiti na ključnih značilnostih sistemov umetne inteligence.1 Pojma umetne inteligence in strojnega učenja se pogosto uporabljata kot sopomenki, čeprav to nista. Strojno učenje je tehnika, ki pomaga povezovati in obdelovati velike količine podatkov in se ob tem kaj novega naučiti. Umetna inteligenca pa je bistveno širši pojem in vključuje področja računalniškega vida, robotike in obdelave naravnega jezika, pa tudi druge pristope, ki ne vključujejo tehnologij strojnega učenja. Umetna inteligenca se danes uporablja v različnih fazah sodnih postopkov, pri čemer vsaka faza vključuje specifične primere uporabe. V fazi preiskave in zbiranja dokazov lahko algoritmi strojnega učenja pomagajo pri analizi velikih količin podatkov, kot so elektronska sporočila in dokumenti, ter identifikaciji relevantnih informacij.2 Na mednarodnem področju poteka med državami na različnih kontinentih boj za prevlado. Mednarodne študije primerov kažejo, da si napovedna analitika in tehnologije umetne inteligence vse bolj utirajo pot v mednarodne zadeve, diplomacijo in obveščevalne službe. Tehnologije, ki se uporabljajo pri upravljanju migracij, so na mednarodnem področju neregulirane in posegajo v človekove pravice. Obstaja nevarnost, da države na migrantih preskušajo nove tehnologije. Tehnologije, ki se uporabljajo pri upravljanju migracij, posegajo v človekove pravice. Sledljivi migranti upravičujejo uporabo tehnologije in zbiranja podatkov pod krinko nacionalne varnosti ali celo pod krinko humanitarnosti in razvoja.3 Uredba (EU) 2024/1689 Evropskega parlamenta in Sveta o določitvi harmoniziranih pravil o umetni inteligenci in spremembi uredb (ES) št. 300/2008, (EU) št. 167/2013, (EU) št. 168/2013, (EU) 2018/858, (EU) 2018/1139 in (EU) 2019/2144, ter direktiv 2014/90/EU, (EU) 2016/797 in (EU) 2020/18284 (Akt o umetni inteligenci) je pričela veljati 13. junija 2014 in je prvi predpis, ki podaja pravila glede uporabe umetnointeligenčnih sistemov. Tudi izven EU se vzpostavlja koncept algoritemske etike, ki povzema nujnost vključevanja etičnega nadzora v algoritmične sisteme in potrebo po normativno-operativnem 1 Nacionalni program spodbujanja razvoja in uporabe umetne inteligence v Republiki Sloveniji do leta 2025. 2 Več o tem Selinšek, 2021, stran 223. 3 Molnar, 2019. 4 UL L 2024/1689, 12. 7. 2024. 308 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . okvirju, ki vključuje moralno razmišljanje skozi celoten življenjski cikel umetne inteligence – od zasnove do uvedbe, od regulacije do organizacijskega upravljanja.5 Namen tega poglavja v monografiji je obravnavati pravno opredelitev umetne inteligence v EU s posebnim poudarkom na uporabi umetne inteligence v kazenskem pravu, uporabnosti digitalnih dokazov ter uporabi umetne inteligence pri nadzoru meja in upravljanju migracij. Etične smernice za zaupanja vredno umetno inteligenco iz leta 2019 je razvila neodvisna strokovna skupina na visoki ravni za umetno inteligenco (AI HLEG), ki jo je imenovala Evropska komisija (Etične smernice), saj do tedaj umetna inteligenca ni bila regulirana s posebnim predpisom. V teh smernicah je AI HLEG razvila sedem nezavezujočih etičnih načel za umetno inteligenco, ki naj bi pomagala zagotoviti, da je umetna inteligenca zaupanja vredna in etično zanesljiva. Teh sedem načel vključuje človeško delovanje in nadzor, tehnično robustnost in varnost, zasebnost in upravljanje podatkov, preglednost, raznolikost, nediskriminacijo in pravičnost ter družbeno in okoljsko blaginjo in odgovornost.6 Akt o umetni inteligenci je v tem poglavju monografije obravnavan tudi z namenom zagotavljanja načel varovanja človekovih pravic in varovanja temeljnih pravic in vrednot uporabnika ter etičnih in pravnih načel za uporabo umetnointeligenčnih sistemov v kazenskem pravu. V drugem razdelku je obravnavana pravna opredelitev umetne inteligence v EU in Akt o umetni inteligenci, v tretjem razdelku uporaba umetne inteligence v kazenskem pravu, v četrtem pa uporaba digitalnih dokazov v predkazenskih in kazenskih postopkih. Peti razdelek naslavlja uporabo umetne inteligence za nadzor meja in upravljanje migracij, v šestem razdelku so povzeta etična načela za uporabo umetne inteligence, v sedmem pa nesprejemljivo tveganje in prepovedane prakse. V osmem razdelku so zapisane zaključne ugotovitve. 5 Celsi, Zomaya, 2025. 6 Etične smernice neodvisne strokovne skupine na visoki ravni za umetno inteligenco, ki jo je ustanovila Evropska komisija, (2018), dostopno na: ethics_guidelines_for_trustworthy_ai-sl_88015DAF-E3CC-BBB8- AFE06902735B11DE_60438 (1).pdf87, (obiskano: 6. 1. 2025). K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 309, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij 2 Pravna opredelitev umetne inteligence v EU 2.1 Umetnointeligenčni sistemi Umetnointeligenčne sisteme je mogoče zlahka uporabljati v številnih različnih gospodarskih in družbenih sektorjih, tudi čezmejno, in lahko enostavno krožijo po vsej EU.7 Akt o umetni inteligenci izpostavlja, da je ključna značilnost umetnointeligenčnih sistemov njihova sposobnost sklepanja,8 ki se nanaša na proces pridobivanja izhodnih podatkov, kot so napovedi, vsebina, priporočila ali odločitve, ki lahko vplivajo na fizično in virtualno okolje ter na sposobnost umetnointeligenčnih sistemov, da izpeljejo modele ali algoritme ali oboje iz vhodnih vrednosti ali podatkov.9 Tehnike, ki omogočajo sklepanje pri vzpostavljanju sistema umetne inteligence, vključujejo pristope strojnega učenja, ki se tega, kako doseči določene cilje, učijo iz podatkov, ter pristope, ki temeljijo na logiki in koordiniranem znanju. Zmogljivost umetnointeligenčnih sistemov za sklepanje presega osnovno obdelavo podatkov, saj omogoča učenje, oblikovanje zaključkov in modeliranje. Izraz »temelječ na napravah« se nanaša na dejstvo, da umetnointeligenčne sisteme poganjajo stroji.10 Visokokakovostni podatki in dostop do njih imajo ključno vlogo pri zagotavljanju strukture in zmogljivosti številnih umetnointeligenčnih sistemov.11 Akt o umetni inteligenci v 3. členu določa pomembnost terminološke uskladitve pojma »umetnointeligenčnih sistemov«, ki naj bo jasno opredeljen in tesno usklajen z delom mednarodnih organizacij, ki se ukvarjajo z umetno inteligenco, da bi zagotovili pravno varnost, olajšali mednarodno zbliževanje ter hkrati zagotavljali prožnost, ki bo omogočala prilagajanje hitremu tehnološkemu razvoju na tem področju. Cilj harmonizacijske zakonodaje je, da v skladu z vrednotami EU spodbuja uvajanje na človeka osredotočene ter zaupanja vredne in varne umetne inteligence, hkrati pa zagotavlja visoko raven varovanja zdravja, varnosti in temeljnih pravic, kot so določene v Listini Evropske unije o temeljnih pravicah. Pri razvrstitvi umetnointeligenčnega sistema med sisteme visokega tveganja je zlasti pomemben obseg škodljivega vpliva sistema umetne inteligence na temeljne pravice, varovane z Listino Evropske unije o temeljnih pravicah12 in Evropsko konvencijo o človekovih 7 Akt o umetni inteligenci, uvodna točka 3. 8 Prav tam, uvodna točka 12. 9 Evropska komisija, 2025. 10 Več o tem glej Akt o umetni inteligenci, uvodna točka 12. 11 Več o tem glej Akt o umetni inteligenci, uvodna točka 67. 12 UL C 326, 26. 10. 2012, strani 391–407. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 311, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij 310 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . pravicah (EKČP).13 Gre za pravico do človekovega dostojanstva, spoštovanja zasebnega in družinskega življenja, varstvo osebnih podatkov, svobodo izražanja in obveščanja, svobodo zbiranja in združevanja, pravico do nediskriminacije, pravico do izobraževanja, varstvo potrošnikov, pravice delavcev, pravice invalidov, enakost spolov, pravice intelektualne lastnine, pravico do učinkovitega pravnega sredstva in nepristranskega sodišča, pravico do obrambe in domneve nedolžnosti ter pravico do dobrega upravljanja. Iz temeljnih načel uporabe umetne inteligence, upoštevanih v določbah Akta o umetni inteligenci, izhaja, da imajo otroci posebne pravice, zapisane v 24. členu Listine Evropske unije o temeljnih pravicah in v Konvenciji Združenih narodov o otrokovih pravicah,14 ki zahtevata upoštevanje šibkih točk otrok ter nalagata zagotavljanje zaščite in varstva, ki sta potrebna za njihovo dobro počutje. Pri ocenjevanju resnosti škode, ki jo lahko povzroči sistem umetne inteligence, je treba upoštevati tudi pravico do visoke ravni varstva okolja, ki je zapisana v Listini Evropske unije o temeljnih pravicah in se izvaja v politikah EU tudi v zvezi z zdravjem in varnostjo oseb. Pristop k umetni inteligenci, osredotočen na temeljne pravice, temelji na pravni ureditvi, kjer je za spoštovanje, zaščito in izpolnjevanje pravic odgovorna država. Na ta način bi morala biti zagotovljena visoka raven pravnega varstva pred morebitno zlorabo novih tehnologij. Akt o umetni inteligenci tako zagotavlja jasno pravno podlago za razvoj umetne inteligence, v kateri bosta sklicevanje na temeljne pravice in njihova uporaba v praksi trdno zasidrana.15 Nekatere države članice so že preučile možnost sprejetja nacionalnih predpisov, s katerimi bi zagotovile, da je umetna inteligenca zaupanja vredna in varna ter da se razvija in uporablja v skladu z obveznostmi glede temeljnih pravic. Različna nacionalna pravila lahko povzročijo razdrobljenost notranjega trga in zmanjšajo pravno varnost za operaterje, ki razvijajo, uvažajo ali uporabljajo sisteme umetne inteligence Zato bi bilo treba zagotoviti dosledno in visoko raven varstva po vsej EU, da bi dosegli zaupanja vredno umetno inteligenco in hkrati preprečili razlike, ki ovirajo prosti pretok, inovacije, uvajanje in uporabo umetnointeligenčnih sistemov ter z njimi povezanih proizvodov in storitev na notranjem trgu, in sicer z določitvijo enotnih obveznosti za operaterje ter 13 Zakon o ratifikaciji Konvencije o varstvu človekovih pravic in temeljnih svoboščin, spremenjene s protokoli št. 3, 5 in 8 ter dopolnjene s protokolom št. 2, ter njenih protokolov št. 1, 4, 6, 7, 9, 10 in 11 (MKVCP), Uradni list RS–MP, št. 7/94. 14 Uradni list SFRJ–MP, št. 15/90, Akt o notifikaciji nasledstva glede konvencij Organizacije združenih narodov in konvencij, sprejetih v mednarodni agenciji za atomsko energijo (Uradni list RS–MP, št. 9/92). 15 FRA, Agencija Evropske unije za temeljne pravice, 2024. zagotovitvijo enotnega varstva prevladujočih razlogov javnega interesa in pravic oseb na notranjem trgu na podlagi 114. člena Pogodbe o delovanju Evropske unije16 (PDEU).17 Na nacionalnih ravneh bo na posameznih podpodročjih potrebna zakonska regulacija pravil o umetni inteligenci. Republika Slovenija na državni ravni še ni sprejela predpisa, ki bi urejal področje umetne inteligence. Kadar je zakonska ureditev nujna zaradi same narave posamezne pravice, njena opustitev povzroči protiustavno pravno praznino.18 Evropski parlament in Evropska komisija sta se dokaj intenzivno ukvarjala s harmonizacijo prava EU o umetni inteligenci.19 Z dodatnimi prihodnjimi in deloma že sprejetimi pravnimi dokumenti EU naj bi države članice zagotovile harmonizacijo pravnih predpisov, ki bi se nanašali na umetno inteligenco. Akt o umetni inteligenci podaja podlage za zaščito javnih interesov, kot so zdravje, varnost in varovanje temeljnih pravic. Harmonizacija naj bi za najhujše zlorabe s področja umetne inteligence obsegala tudi kazenskopravno zaščito.20 Umetna inteligenca pomembno prispeva k prepoznavanju groženj in preprečevanju napadov, vendar njen razvoj odpira tudi številna tveganja. Med drugim se umetna inteligenca uporablja v izboljšanih nadzornih brezpilotnih letalih – dronih, ki spremljajo javne dogodke, proteste ali območja z visoko stopnjo kriminala za nadzor množic in ukrepanje v sili. Z namenom analize socialnega vedenja umetna inteligenca spremlja spletne dejavnosti in označuje sumljivo vedenje ali komunikacijo, orodja umetne inteligence pa spremljajo družbene medije tudi glede morebitnih groženj in dejavnosti tolp.21 Umetna inteligenca utegne postati stalen del našega kazenskega pravosodja, saj omogoča preiskovalno analizo dokazov predvsem v fazi izločanja dokazov in je v pomoč pri sprejemanju odločitev.22 16 UL C 326, 26. 10. 2012, strani 47–390. 17 Tako Akt o umetni inteligenci, uvodna točka 3. 18 Testen v Šturm (ur.), 2011, stran 198. 19 Evropski parlament je naročil tudi številne raziskovalne študije, da bi pridobil znanstveno podlago za zakonodajne dejavnosti na čelu tehnološkega razvoja in varstva podatkov, med drugim študijo o vplivu Splošne uredbe o varstvu podatkov (GDPR) na umetno inteligenco, študijo o biometričnem prepoznavanju in zaznavanju vedenja, študijo o metaverzumu in nedavno študijo o pravu in IKT. Več o tem glej Maciejewski et al., 2024. 20 Ferlinc, 2024. 21 Glej https://www.europarl.europa.eu/topics/sl/article/20200827STO85804/kaj-je-umetna-inteligenca-in-kako-se-uporablja-v-praksi (obiskano: 6. 1. 2025). 22 Več o tem Selinšek, 2021, strani 219–232. 312 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Potrebno je zagotoviti, da bodo organi poznali in razumeli omejitve, zmogljivosti in tveganja pri uporabi sistemov umetne inteligence, vključno s tveganjem pristranskosti zaradi avtomatizacije. Evropski parlament je leta 2021 v postopku oblikovanja načel za uporabo umetne inteligence v kazenskih postopkih s sprejetjem Resolucije Evropskega parlamenta z dne 6. oktobra 2021 o umetni inteligenci v kazenskem pravu in njeni uporabi v policiji in pravosodnih organih na področju kazenskih zadev (2020/2016(INI))23 (Resolucija o umetni inteligenci) še posebej izpostavil, da je za ustrezno odgovornost in pristojnost potrebno obsežno specializirano usposabljanje v zvezi z etičnimi pravili, morebitnimi nevarnostmi, omejitvami in pravilno uporabo tehnologije umetne inteligence, zlasti policijskega in pravosodnega osebja. Treba je prepoznati možnosti za pristranskost, saj lahko nabori podatkov, na katerih temelji delo umetnointeligenčnega sistema, temeljijo na diskriminatornih in pristranskih podatkih.24 Obstaja nevarnost, da policijsko delo, ki ga ustvarja umetna inteligenca, temelji na sklopih učnih podatkov z elementi rasizma, kar neizogibno privede do rasistične pristranskosti izsledkov, ocen in priporočil. Zato naj države članice spodbujajo protidiskriminacijske politike in pripravijo nacionalne akcijske načrte proti rasizmu pri policijskem delu in v pravosodnem sistemu. Služba Evropskega parlamenta za raziskave v nedavno opravljeni raziskavi »Umetna inteligenca na mejah EU« izpostavlja, da bi razvoju in uvajanju zmogljivih tehnologij umetne inteligence koristilo popolno razumevanje in razmisleki o širših vidikih, vključno z zgodovinskimi koreninami tehnologij ter prevladujočimi družbenimi in političnimi pogledi in pričakovanji. Sprejemanje tehnologije brez soočanja s pastmi, kot sta tehnološki determinizem in mit o tehnološki nevtralnosti, bi dodatno slabilo temeljne pravice preglednosti in zavezanosti odgovornosti.25 Resolucija o umetni inteligenci je izpostavila nesorazmerje moči med tistimi, ki uporabljajo tehnologijo umetne inteligence, in tistimi, ki so ji podvrženi. Organi preprečevanja, odkrivanja in preiskovanja kaznivih dejanj in pravosodni organi pod nobenim pogojem ne smejo uporabljati umetne inteligence tako, da bi postala dejavnik neenakosti, socialnih napetosti ali izključenosti. Izpostaviti je občutljive vidike uporabe orodij umetne inteligence, ki ne sme vplivati na pravice osumljencev 23 UL C 132, 6. 10. 2021, strani 17–26. 24 Akt o umetni inteligenci, uvodna točka 59. 25 Dumbrava, 2021. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 313, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij do obrambe, še posebej glede na tveganja ob uporabi le-te. Posebna previdnost velja pri pridobivanju tehtnih informacij o načinu pridobivanja izsledkov umetne inteligence, katere rezultati so lahko na videz prepričljivi. Posebno pozornost je treba nameniti položaju preiskovanega posameznika, ki bo moral izpodbijati rezultate takšnih preiskav na sodišču. Iz uvodnih točk Akta o umetni inteligenci izhaja jasno zavedanje, da je poleg koristnih uporab umetno inteligenco mogoče tudi zlorabiti tako, da bi nastala nova in močna orodja za manipulacijo, izkoriščanje in družbeni nadzor. Take prakse so še posebej škodljive in zlonamerne ter bi jih bilo treba prepovedati, ker so v nasprotju z vrednotami EU glede spoštovanja človekovega dostojanstva, svobode, enakosti, demokracije in pravne države ter temeljnimi pravicami, določenimi v Listini Evropske unije o temeljnih pravicah, vključno s pravico do nediskriminacije, varstva podatkov in zasebnosti ter pravicami otroka. Z umetno inteligenco omogočene manipulativne tehnike se lahko uporabljajo za napeljevanje posameznikov k neželenemu vedenju ali za njihovo zavajanje tako, da se jih spodbuja k odločitvam na način, ki spodkopava in ovira njihovo avtonomijo, odločanje in svobodno izbiro.26 V ZDA so v obdobju po letu 2020 opravljali raziskave,27 ki izpostavljajo princip učenja s pristopom in metodologijo, ki sta pozornost usmerila na pravne okvire ZDA in ustavne premisleke, kot sta enaka zaščita pravic in postopkovna pravičnost, glede na tveganja, ki nastanejo v okviru orodij, ki so nepregledna in dovzetna za pristranskost. Izpostavili so, da je za obravnavo vprašanj ključnega pomena bolj globalen pristop, vključno s primerjavo z drugimi nacionalnimi pristopi in upoštevanjem nadnacionalnih pravnih in upravnih režimov. V ta namen so se pridružili projektu Sienna, ki ga je koordinirala Univerza v Twenteju (Nizozemska), s Trilateralnim raziskovanjem (Združeno kraljestvo), ki deluje kot namestnik koordinatorja. Projekt, katerega cilj je bil preslikati globalno pravno in regulativno okolje za široko paleto umetne inteligence in robotskih tehnologij, je imel enajst partnerjev in dva pridružena partnerja iz Evrope, Azije, Afrike in ZDA. Ključen cilj je bil obravnavati etična vprašanja na nastajajočih tehnoloških področjih človeške genomike, izboljšave človeka in interakcije človek-stroj. Projekt je prejel sredstva v okviru programa EU za raziskave in inovacije H2020. Poleg tega je Center sodeloval 26 Akt o umetni inteligenci, uvodne točke 29, 59 in 60. 27 Bergman Klein center, 2018. 314 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . z laboratorijem za digitalno vključevanje kanadske vlade, da bi obravnaval širše posledice umetne inteligence in sorodnih tehnologij za človekove pravice. Cilj tega tekočega projekta je oceniti vpliv tehnologij umetne inteligence v okviru Splošne deklaracije o človekovih pravicah.28 Z razvojem nabora gradiv, ki poudarjajo tveganja, ki jih umetna inteligenca lahko predstavlja za človekove pravice, se opredeljujejo najboljše prakse za prepoznavanje, ublažitev in odpravo teh tveganj. Hkrati ta gradiva priznavajo tudi priložnosti, ki jih takšne tehnologije ponujajo za izboljšanje rezultatov na področju človekovih pravic.29 2.2 Akt EU o umetni inteligenci Akt o umetni inteligenci določa harmonizirana pravila za dajanje na trg in za uporabo sistemov umetne inteligence v EU, prepoved nekaterih praks umetne inteligence, posebne zahteve za visoko tvegane sisteme umetne inteligence in obveznosti za operaterje takih sistemov. Določa tudi harmonizirana pravila o preglednosti za nekatere sisteme umetne inteligence, harmonizirana pravila za dajanje na trg umetnointeligenčnih modelov za splošne namene, pravila o spremljanju trga, nadzoru trga, upravljanju in izvrševanju ter ukrepe v podporo inovacijam, s posebnim poudarkom na malih in srednjih podjetjih, vključno z zagonskimi podjetji. Cilj je izboljšanje delovanja notranjega trga z določitvijo enotnega pravnega okvira, predvsem za razvoj, dajanje na trg ter za uporabo umetnointeligenčnih sistemov v EU v skladu z vrednotami EU. Namen je spodbujati uvajanje na človeka osredotočenih in zaupanja vrednih umetnointeligenčnih sistemov ter hkrati zagotoviti visoko raven varovanja varnosti in temeljnih pravic.30 Akt o umetni inteligenci za sisteme opredeljuje štiri ravni tveganja: minimalno tveganje, omejeno tveganje, visoko tveganje in nesprejemljivo tveganje,31 ne uvaja pa pravil za umetno inteligenco, ki se šteje za minimalno ali brez tveganja. V to kategorijo spada velika večina umetnointeligenčnih sistemov, ki se trenutno uporabljajo v EU.32 Iz uvodne točke 97 Akta o umetni inteligenci izhaja, da se umetnointeligenčni modeli za splošne namene, vključno z velikimi generativnimi 28 Uradni list RS–MP, št. 24/2018. 29 Raso et al., 2018. 30 Glej tudi GOV.SI, 1. 8. 2024, dostopno na: https://www.gov.si/novice/2024-08-01-danes-je-začela-veljati- evropska-uredba-o-umetni-inteligenci-prva-taka-celovita-zakonodaja-na-svetu/ (obiskano: 6. 1. 2025). 31 Evropska komisija, 2024. 32 Prav tam. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 315, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij umetnointeligenčnimi modeli, lahko uporabljajo za najrazličnejše naloge. Ti modeli se učijo iz velikih količin podatkov. Pomembno je, da ima ponudnik sistema, ki vključuje umetnointeligenčni model za splošne namene, dostop do vseh potrebnih informacij, da lahko zagotovi, da je sistem varen in skladen z Aktom o umetni inteligenci. Ponudniki modelov s sistemskimi tveganji so dolžni ocenjevati in zmanjševati tveganja, poročati o resnih incidentih, izvajati najsodobnejše preizkuse in ocene modelov ter zagotavljati kibernetsko varnost svojih modelov.33 Umetnointeligenčni sistemi, ki se razvrstijo kot sistemi velikega tveganja, so opredeljeni v poglavju III Akta o umetni inteligenci, če je umetnointeligenčni sistem vgrajen kot varnostna komponenta v proizvode, ki jih zajema obstoječa zakonodaja o proizvodih (Priloga I), ali če sam predstavlja take proizvode. To je lahko na primer medicinska programska oprema, ki temelji na umetni inteligenci, če naj bi se umetnointeligenčni sistem uporabljal v primeru velikega tveganja iz Priloge III k Aktu o umetni inteligenci. Na seznamu so navedeni primeri uporabe s področij, kot so izobraževanje, zaposlovanje, preprečevanje, odkrivanje in preiskovanje kaznivih dejanj ali migracije. Umetnointeligenčni sistem se razvrsti kot sistem velikega tveganja, če je namenjen za katerega koli od primerov uporabe, določene v Prilogi III Akta o umetni inteligenci, in zajema osem področij: (1) biometrija, (2) kritična infrastruktura, (3) izobraževanje in poklicno usposabljanje, (4) zaposlovanje, upravljanje delavcev, (5) dostop do bistvenih zasebnih in javnih storitev, (6) preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, (7) migracije, nadzor meje ter (8) pravosodje in demokratični procesi.34 Umetnointeligenčni sistem, ki predstavlja sistem visokega tveganja, je lahko vgrajen kot varnostna komponenta v proizvode, ki jih zajema obstoječa zakonodaja o proizvodih Priloga I), ali sam predstavlja take proizvode. V skladu z Aktom o umetni inteligenci bodo za umetnointeligenčne sisteme velikega tveganja veljale posebne zahteve: ustrezni sistemi za oceno in zmanjšanje tveganja, visokokakovostni nabori podatkov, ki se uporabljajo v sistemu, da se čim bolj zmanjša tveganje diskriminatornih rezultatov, beleženje dejavnosti za zagotovitev sledljivosti rezultatov, podrobno dokumentacijo z vsemi potrebnimi informacijami o sistemu in njegovem namenu, da lahko organi ocenijo njegovo skladnost, jasne in ustrezne informacije uvajalcu, ustrezni ukrepi za 33 Akt o umetni inteligenci uvaja posebne obveznosti razkritja za zagotovitev, da so ljudje obveščeni, kadar je to potrebno za ohranitev zaupanja. Na primer, pri uporabi umetnointeligenčnih sistemov, kot so klepetalni boti, bi bilo treba ljudi opozoriti, da komunicirajo s strojem, da lahko sprejmejo informirano odločitev. Povzeto po Evropska komisija, 2024. 34 Evropska komisija, 2024. 316 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . človeški nadzor, visoka raven robustnosti, kibernetske varnosti in natančnosti.35 V Aktu o umetni inteligenci je tako izpostavljena standardizacija teh sistemov.36 Uvajalci umetnointeligenčnih sistemov najbolje razumejo, kako se bo visoko tvegani umetnointeligenčni sistem dejansko uporabljal, in lahko tako opredelijo potencialna velika tveganja, ki niso bila predvidena v fazi razvoja, saj natančneje poznajo okoliščine uporabe, osebe ali skupine oseb, ki bodo verjetno izpostavljene, vključno z ranljivimi skupinami. Uvajalci visoko tveganega umetnointeligenčnega sistema imajo ključno vlogo pri skrbi za zaščito temeljnih pravic, kar dopolnjuje obveznosti ponudnika pri razvoju sistema (26. člen Akta o umetni inteligenci). Iz uvodnih točk 28, 38 in 39 Akta o umetni inteligenci izhaja, da je pri uporabi visoko tveganih umetnointeligenčnih sistemov, ki se uporabljajo za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, potrebno obveznost izvajati v skladu z 10. in 13. členom Direktive (EU) 2016/680 Evropskega parlamenta in Sveta z dne 27. aprila 2016 o varstvu posameznikov pri obdelavi osebnih podatkov, ki jih pristojni organi obdelujejo za namene preprečevanja, preiskovanja, odkrivanja ali pregona kaznivih dejanj ali izvrševanja kazenskih sankcij in o prostem pretoku takih podatkov.37 Umetnointeligenčni sistemi, posebej namenjeni uporabi v upravnih postopkih s strani davčnih in carinskih organov ter finančno obveščevalnih enot, ki izvajajo upravne naloge analiziranja informacij na podlagi prava EU o preprečevanju pranja denarja, naj ne bi bili opredeljeni kot visoko tvegani umetnointeligenčni sistemi. Sisteme sicer uporabljajo organi za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj za namen preprečevanja, odkrivanja, preiskovanja in pregona kaznivih dejanj. Orodij umetne inteligence pa ne bi smeli uporabljati na način, ki bi prispeval k neenakosti ali izključenosti. Iz uvodne točke 60 Akta o umetni inteligenci tudi izhaja, da je med sisteme visokega tveganja primerno razvrstiti sisteme umetne inteligence, ki so na podlagi ustreznega prava EU in nacionalnega prava dovoljeni za uporabo na področju migracij, azila in upravljanja nadzora meja ter poligrafov in podobnih orodij, za ocenjevanje nekaterih 35 Prav tam. 36 Pri izvajanju teh zahtev imajo ključno vlogo harmonizirani standardi EU. Ko bodo ti standardi objavljeni, se bo za umetnointeligenčne sisteme, razvite v skladu z navedenimi standardi, domnevalo, da so skladni s pravili (t. i. domneva o skladnosti). Več o tem Evropska komisija, 2024. 37 UL L 119, 4. 5. 2016, strani 89–131. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 317, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij tveganj, ki jih predstavljajo fizične osebe, ki vstopajo na ozemlje države članice ali zaprosijo za vizum ali azil, za pomoč pristojnim javnim organom pri obravnavi, vključno s povezano oceno zanesljivosti dokazov, prošenj za azil, vizumov in dovoljenj za prebivanje, ter s tem povezanih pritožb zaradi ugotavljanja upravičenosti fizičnih oseb, ki zaprosijo za status, za namene odkrivanja, priznavanja ali identifikacije fizičnih oseb v okviru upravljanja migracij, azila in nadzora meja, z izjemo preverjanja potnih listin. Na področju migracij in azila je pomembna točnost in preglednost teh sistemov, ne pa diskriminatornost. Ob tem pa je potrebno dosledno zagotavljanje temeljnih pravic zadevnih oseb, zlasti pravice do prostega gibanja, nediskriminacije, varstva zasebnega življenja in osebnih podatkov, mednarodnega varstva ter dobrega upravljanja. V določbi 5. člena Akta o umetni inteligenci so določena nesprejemljiva tveganja.38 Gre za sklop posebno škodljivih načinov rabe umetne inteligence, ki je v nasprotju z vrednotami EU, ker krši temeljne pravice, zaradi česar so prepovedani. Prepovedane prakse so: izkoriščanje ranljivosti oseb, prirejanje in uporaba sublimiranih tehnik, družbeno točkovanje za javne in zasebne namene, individualno napovedno policijsko delo, ki temelji izključno na profiliranju oseb, neciljno zbiranje slik obrazov s spleta ali posnetkov sistema televizije zaprtega kroga (CCTV) za vzpostavitev ali razširitev podatkovnih zbirk, prepoznavanje čustev na delovnem mestu in v izobraževalnih ustanovah, razen iz zdravstvenih ali varnostnih razlogov (tj. spremljanje stopnje utrujenosti pilota), biometrična kategorizacija fizičnih oseb za sklepanje o njihovi rasi, političnem prepričanju, članstvu v sindikatu, verskem ali filozofskem prepričanju ali spolni usmerjenosti. Še vedno bo mogoče označevanje ali filtriranje naborov podatkov in razvrščanje podatkov na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, biometrična identifikacija na daljavo v realnem času v javno dostopnih prostorih s strani organov kazenskega pregona, ob upoštevanju omejenih izjem.39, 40 Priloga III zajema osem področij, na katerih je 38 Informacijski pooblaščenec RS je posebej opozoril na uporabo določb I. in II. poglavja Akta o umetni inteligenci, ki so se začele uporabljati 2. februarja 2025, vključujoč prepovedi uporabe določenih umetointeligenčnih sistemov, ki jih ta predpis določa Gre za sisteme umetne inteligence za družbeno ocenjevanje (t. i. social scoring) ter sklepanje o čustvih posameznikov v šolstvu in na delovnih mestih. Prav tako so prepovedane tudi določene oblike napovedovanja domnevnih izvršitev kaznivih dejanj in druge. 39 Več o tem Resolucija o umetni inteligenci, točka 25. 40 Akt o umetni inteligenci, uvodni točki 17 in 43. 318 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . lahko uporaba umetne inteligence še posebej problematična, in našteva konkretne primere uporabe za vsako področje.41 3 Umetna inteligenca v kazenskem pravu Resolucija o umetni inteligenci ugotavlja, da orodja in aplikacije umetne inteligence uporablja sodstvo po vsem svetu, tudi pri odločanju o priporu, pri izrekanju kazni, izračunu verjetnosti ponovitve kaznivega dejanja, določanju pogojne kazni, spletnem reševanju sporov, upravljanju sodne prakse in olajševanju dostopa do prava. Resolucija o umetni inteligenci tudi ne prezre, da uporaba umetne inteligence izkrivlja in zmanjšuje možnosti za nebelce in manjšine. Dodati je, da se ta orodja in aplikacije v EU, z izjemo nekaj držav članic, trenutno večinoma uporabljajo v civilnih zadevah. V digitalni forenziki so metode uporabljane v uvodnih fazah digitalnega forenzičnega procesa, kjer se triaža uporablja za izločitev nerelevantnih podatkov, da ostane za poglobljeno preiskavo oziroma ročni pregled kolikor toliko obvladljiva količina podatkov. Razvila se je tudi dodatna veja forenzike – protiforenzika, ki označuje programsko opremo in naprave oziroma predstavlja ukrepe, ki preiskovalcem preprečujejo oziroma jim otežijo pridobivanje podatkov s preiskovane digitalne naprave. Pomembno je, da preiskovalci vedo, kako ti ukrepi delujejo, da lahko potem uspešno izvedejo preiskave.42 Organi preprečevanja in preiskovanja kaznivih dejanj tako uporabljajo aplikacije umetne inteligence, kot so tehnologija za prepoznavanje obrazov, na primer za iskanje po zbirkah podatkov o osumljencih in identifikacijo žrtev trgovine z ljudmi ali spolnega izkoriščanja in zlorabe otrok, tehnologije za avtomatizirano prepoznavanje registrskih tablic, identifikacijo govorcev, identifikacijo govora, branje z ustnic, zvočni nadzor (tj. mehanizmi za odkrivanje strelov), avtonomne raziskave in analize identificiranih zbirk podatkov, napovedi (napovedno policijsko delo in analiza kriminalnih žarišč), orodja za zaznavanje vedenja, napredna virtualna obdukcijska orodja, ki so v pomoč pri določanju vzroka smrti, avtonomna orodja za odkrivanje finančnih goljufij in financiranja terorizma, spremljanje družbenih 41Evropska komisija, 2024; Akt o umetni inteligenci, Shaping Europe’s digital future, dostopno na: https://digital- strategy.ec.europa.eu/sl/factpages/ai-act (obiskano: 25. 1. 2025). 42 Brezovnik, 2016, stran 20. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 319, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij medijev (strganje in nabiranje podatkov za rudarjenje povezav), ter sistemi avtomatiziranega nadzora, ki vključujejo različne detekcijske zmogljivosti (kot so detekcija srčnega utripa in toplotne kamere). Te aplikacije so lahko poleg drugih morebitnih ali prihodnjih aplikacij tehnologije umetne inteligence na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj različno zanesljive in natančne ter lahko različno vplivajo na varstvo temeljnih pravic in dinamiko kazenskopravnih sistemov. Dodati je, da se številna tovrstna orodja uporabljajo v tretjih državah, a bi bila v skladu z zakonodajnim okvirom in sodno prakso EU nezakonita. Rutinska uporaba algoritmov lahko kljub nizki stopnji lažno pozitivnih rezultatov privede do tega, da število napačnih opozoril močno preseže število pravilnih opozoril.43 V tej zvezi je treba omeniti, da sodišča redno uporabljajo dokaze, pridobljene z analizami elektronskih naprav, potovalnih računalnikov na osebnih vozilih, preiskav DNK in bioloških sledov. V predkazenskem postopku policija za izločitev možnih osumljencev uporablja tudi metodo poligrafa. V uvodni točki 59 Akta o umetni inteligenci je poudarjeno, da je primerno, da se številni umetnointeligenčni sistemi, če je njihova uporaba dovoljena na podlagi zadevnega prava EU in nacionalnega prava, namenjeni uporabi v okviru preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, razvrstijo med sisteme visokega tveganja, kjer so točnost, zanesljivost in preglednost še posebej pomembni, da se preprečijo škodljivi vplivi, ohrani zaupanje javnosti ter zagotovita odgovornost in učinkovito sodno varstvo. Med preiskovanjem ali pregonom kaznivih dejanj bi morali visoko tvegani umetnointeligenčni sistemi pri ocenjevanju tveganja, v izogib situacijam, da lahko fizična oseba postane žrtev poligrafov in podobnih orodij za ocenjevanje zanesljivosti dokazov, glede na naravo dejavnosti in s tem povezana tveganja, vključevati zlasti sisteme umetne inteligence, specializirane za namen uporabe organov preprečevanja, odkrivanja in preiskovanja kaznivih dejanj ali institucij, organov, uradov ali agencij EU v podporo tem organom. Ob ocenjevanju in presoji tveganja ponovitvene nevarnosti je treba zagotavljati, da odločitev ne nasprotuje prepovedim iz 5. člena Akta o umetni inteligenci in ne temelji izključno na podlagi oblikovanja profilov fizične osebe, ocene osebnostnih lastnosti in značilnosti ali preteklega kaznivega ravnanja fizičnih oseb ali skupin za oblikovanje profilov med odkrivanjem, preiskovanjem ali pregonom kaznivih dejanj. Oseba ima v skladu s 43 Glej Resolucija o umetni inteligenci, točka M. 320 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . pravom EU pravico, da ni predmet odločitve, ki ima zanjo pravne učinke ali nanjo znatno vpliva in temelji izključno na avtomatizirani obdelavi podatkov. 4 Uporabnost digitalnih dokazov Resolucija o umetni inteligenci postavlja zahtevo, da je za učinkovito uveljavljanje pravic do obrambe in preglednost nacionalnih kazenskopravnih sistemov nujen poseben, jasen in natančen pravni okvir, ki bo urejal pogoje, načine in posledice uporabe orodij umetne inteligence na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj in pravosodja, ter določal pravice oseb, ki so njihove tarče, pa tudi učinkovite pritožbene in odškodninske postopke, vključno s pravnimi sredstvi.44 Poudarja, da imajo stranke v kazenskem postopku pravico, da so seznanjene s postopkom zbiranja podatkov in s tem povezanih ocen, ki se izvedejo ali pridobijo z uporabo aplikacij umetne inteligence. Domneva nedolžnosti predstavlja enega temeljnih stebrov demokratične države, ki svojo oblast utemeljuje na vladavini prava. Gre za ustavno varovano pravico v določbi 27. člena Ustave RS,45 ki je v Zakonu o kazenskem postopku46 (ZKP) zapisana v določbi 3. člena. Ti določbi določata, da oseba, ki je obdolžena kaznivega dejanja, velja za nedolžno, dokler njena krivda ni ugotovljena s pravnomočno sodbo. To pomeni, da dokazno breme nosi tožilec. Enako besedilo vsebujeta tudi drugi odstavek 6. člena EKČP in 11. člen Splošne deklaracije o človekovih pravicah. Šepec v zvezi s tem izpostavlja, da izjave in dokazi v kazenskem postopku, ki vzbujajo sum, da je obdolženi storil kaznivo dejanje, vse do pravnomočnega končanja postopka niso sporne z vidika drugega odstavka 6. člena EKČP, na primer, ko gre za izvajanje odločanja o priporu ali izvajanje preiskovalnih ukrepov.47 Z vidika hrambe podatkov ter presoje in nadaljnje validacije digitalnih dokazov, pridobljenih s pomočjo umetne inteligence, ki se uči na podlagi podatkov iz različnih podatkovnih baz, je izpostaviti zavezujočo odločbo USRS U-I-312/11,48 v kateri je Ustavno sodišče ugotovilo neustavnost prve alineje prvega odstavka 63. člena tedaj 44 Prav tam. 45 Uradni list RS, št. 33/91-I, 42/97 – UZS68, 66/00 – UZ80, 24/03 – UZ3a, 47, 68, 69/04 – UZ14, 69/04 – UZ43, 69/04 – UZ50, 68/06 – UZ121,140,143, 47/13 – UZ148, 47/13 – UZ90,97,99, 75/16 – UZ70a in 92/21 – UZ62a. 46 Uradni list RS, št. 176/21-uradno prečiščeno besedilo, 96/22 – odl. US, 2/23 – odl. US, 89/23 – odl. US in 53/24. 47 Šepec et al., 2023, strani 60 in 61. 48 ECLI:SI:USRS:2014:U.I.312.11. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 321, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij veljavnega Zakona o policiji.49 Ta določba je omogočala, da so se profili oseb, ki so bile osumljene, niso pa bile pravnomočno obsojene, lahko hranili vse do zastaranja pregona za predmetno kaznivo dejanje. Trajna hramba profilov DNK oseb, za katere bi veljala domneva nedolžnosti, ni bila nujna za dosego namenov odkrivanja obravnavanega in prihodnjega kaznivega dejanja. Ustavno sodišče je opozorilo, da je pri trajni hrambi obstajala velika nevarnost za stigmatizacijo teh oseb (34. člen Ustave RS), ki bi bile obravnavane enako, kot če bi bile obsojene. Pooblastila za trajno hrambo niso ustrezala merilu nujnosti. Uveljavitev novih dokaznih metod z uporabo umetne inteligence bo nedvomno postavljena pred nove sodne izzive z vidika presoje že uveljavljenih načel in standardov varovanja pravic osumljencev. Tudi Resolucija o umetni inteligenci izrecno izpostavlja, da avtomatizirano odločanje ne sme temeljiti na posebnih vrstah osebnih podatkov, razen če so vzpostavljeni ustrezni ukrepi za varstvo pravic in interesov posameznika, na katerega se podatki nanašajo.50 Resolucija poziva, naj se na javnih mestih trajno prepove uporaba avtomatizirane analize in/ali prepoznavanja na podlagi drugih človeških značilnosti, kot so hoja, prstni odtisi, DNK, glas ter drugi biometrični in vedenjski znaki. Obenem poziva k moratoriju uvedbe sistemov prepoznavanja obrazov za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj pri identifikaciji, razen če se uporabljajo izključno za identifikacijo žrtev kaznivih dejanj, dokler ne bodo tehnični standardi popolnoma v skladu s temeljnimi pravicami, rezultati pa nepristranski in nediskriminatorni, ob upoštevanju strogih zaščitnih ukrepov proti zlorabi in strogega demokratičnega nadzora in spremljanja, ter zagotovitvi, da je uporaba tehnologij nujna in sorazmerna.51 Akt o umetni inteligenci izpostavlja pravico do človeške presoje. V skladu z domnevo nedolžnosti bi bilo treba fizične osebe v EU zmeraj presojati glede na njihovo dejansko ravnanje. Preiskovancev nikoli ne bi smeli presojati na podlagi ravnanja, ki ga predvideva umetna inteligenca, ali zgolj na podlagi oblikovanih profilov, osebnostnih lastnosti ali značilnosti, kot so državljanstvo, kraj rojstva, kraj prebivališča, število otrok, stopnja zadolženosti ali vrsta avtomobila, ki jih izdela umetnointeligenčni sistem, brez dokazov o utemeljenih razlogih za sum, da je bila ta oseba vpletena v kriminalno dejavnost na podlagi objektivnih preverljivih dejstev in brez človeške ocene. Zato bi bilo treba prepovedati ocene tveganja, ki se izvajajo v 49 Uradni list RS, št. 66/09 – uradno prečiščeno besedilo, 22/10, 26/11 – odl. US, 58/11 – ZDT-1, 40/12 – ZUJF, 96/12 – ZPIZ-2, 15/13 – ZNPPol in 15/13 – ZODPol. 50 Resolucija o umetni inteligenci in Akt o umetni inteligenci, uvodna točka 70. 51 Glej tudi točke 6.3, 6.4. in 6.5 tega poglavja. 322 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . zvezi s fizičnimi osebami, da se oceni verjetnost, da bodo te osebe storile kaznivo dejanje, ali da se predvidi dejansko ali potencialno kaznivo dejanje samo na podlagi oblikovanja profilov teh fizičnih oseb ali ocene njihovih osebnostnih lastnosti in značilnosti. Ta prepoved se ne nanaša na sisteme umetne inteligence, ki opravljajo analizo tveganja, ki ne temelji na oblikovanju profilov oseb ali na osebnostnih lastnostih in značilnostih posameznikov za oceno verjetnosti finančnih goljufij s strani podjetij na podlagi sumljivih transakcij ali za orodja, ki izvajajo analizo tveganja, ki omogočajo napovedovanje verjetnosti lokalizacije prepovedanih drog ali nezakonitega blaga s strani carinskih organov, na primer na podlagi znanih trgovskih poti.52 V pravni teoriji Selinšek obširneje obravnava kazenskopravni vidik uvajanja avtomatizacije in drugih novosti v digitalnih forenzičnih preiskavah. Čeprav so temelji digitalne forenzike (računalniška znanost, fizika, elektronika) razmeroma trdni in v osnovi podprti z matematično znanostjo (ENFSI, 2015), je njeno delovno področje – ob upoštevanju hitrega razvoja tehnologije in s tem povezane podatkovne ekspanzije – očitno torej preveč dinamično, da bi se (že) lahko ustalila kot splošno priznana znanstvena disciplina s trdnimi teoretičnimi in metodološkimi temelji. Kot je bilo že navedeno, to za pravosodne organe kot osrednje uporabnike njenih storitev predstavlja posebne izzive. Uporaba znanstveno nepreizkušenih tehnik za dokazovanje v kazenskem postopku je inherentno problematična, zato digitalni dokazi pogosto le s težavo zadostijo strogim zahtevam po zanesljivosti digitalnih forenzičnih dokazov. Ob odsotnosti univerzalnih pravil oziroma standardov za izvajanje digitalnih forenzičnih procesov, digitalni forenziki te preiskave opravljajo predvsem na podlagi svojih izkušenj in politike svoje organizacije, kar lahko na globalni, pa tudi na regionalni in v večjih državah celo nacionalni ravni, ustvarja precejšnjo neenakost pri izkoriščanju potenciala digitalnih forenzikov v kazenskih postopkih. Za izvedenska dela foreznikov veljajo znanstveni kriteriji, ki načeloma veljajo za izvedenska dela v kazenskih postopkih.53 Med temeljnimi in najpomembnejšimi načeli kazenskega procesnega prava in postopka je načelo iskanja materialne resnice,54 ki izhaja iz določbe 17. člena ZKP. To načelo izrecno zavezuje sodišče in državne organe, ki sodelujejo v kazenskem 52 Akt o umetni inteligenci, uvodna točka 42. 53 Selinšek, 2021, stran 226. 54 Gorkič in Šugman Stubbs, 2010, stran 371. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 323, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij postopku (torej policijo in državno tožilstvo), da morajo po resnici in popolnoma ugotoviti dejstva, pomembna za izdajo zakonite odločbe, pri čemer morajo enako pazljivo preizkusiti in ugotoviti tako dejstva, ki obdolženca obremenjujejo, kakor tudi dejstva, ki so mu v korist.55 Prav tako je predsednik senata v okviru pravil procesnega vodstva dolžan skrbeti za to, da se zadeva vsestransko razčisti. Posamezna načela v kazenskem postopku pomenijo odstop od načela materialne resnice. Med drugimi gre za prepoved upoštevanja tistih spoznanj, do katerih ni prišlo na način, določen z zakonom, in je predvidena njihova ekskluzija ne glede na to, da kažejo na resničnost obstoja pravno pomembnih dejstev.56 Upoštevaje drugi odstavek 18. člena ZKP za nedovoljene štejejo dokazi, ki so bili pridobljeni s kršitvijo ustavno določenih človekovih pravic in temeljnih svoboščin, dokazi, ki so bili pridobljeni s kršitvijo določb kazenskega postopka in je zanje v tem zakonu določeno, da se sodna odločba nanje ne more opreti, ali ki so bili pridobljeni na podlagi takega nedovoljenega dokaza. V skladu s 83. členom ZKP sodišče po uradni dolžnosti ali na predlog stranke izloči navedene dokaze iz spisov takoj, ko ugotovi, da gre za nedovoljen dokaz. Dokaze, pridobljene na pravno nedovoljen način, torej s kršitvijo ustavno določenih pravic in temeljnih svoboščin oziroma s kršitvijo nekaterih določb kazenskega postopka, ter dokaze, pridobljene na podlagi nedovoljenega dokaza (sadeži zastrupljenega drevesa), pristojni sodnik izloči iz spisa. Načelo pravičnega sojenja je kot temeljno pravno načelo, ki zajema vse temeljne pravice posameznika, zajeto v 6. členu EKČP, na podlagi katerega obstaja obsežna sodna praksa Evropskega sodišča za človekove pravice (ESČP). Postopek po pravilih domačega zakona, ki krši ustavna načela in splošno sprejete mednarodne standarde, ne more biti zakonit. EKČP je namreč uvedla naddržavno varstvo človekovih pravic in s tem korenito posegla v suverenost nacionalnih držav.57 Med drugim zahteva, da so preiskovalne metode, uporabljene v konkretnem primeru, preizkušene in zanesljive. Kot eno ključnih zagotovil, da bodo državni organi spoštovali pravičnost postopka, velja omeniti ekskluzijo dokazov.58 S stališča presoje zanesljivosti digitalnih dokazov59 Selinšek izpostavlja, da forenzični priročniki in standardi večinoma molčijo o konceptu »veljavnega digitalnega dokaza« oziroma ne vzpostavljajo procedure za validacijo digitalnih dokazov. Tudi na pravnem področju 55 Gorkič, Šugman Stubbs in Fišer, 2020, strani 122–127. 56 Dežman et al., 2003, stran 271. 57 Ribičič, 2007, strani 121. 58 Šepec et al., 2023, strani 49 in 50. 59 Selinšek, 2021, stran 226. 324 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . ni posebnih postopkov za validacijo teh dokazov, ampak veljajo enaka pravila kot za vse druge dokaze. Selinšek s tega vidika opozarja, da uvajanje avtomatizacije v digitalne forenzične preiskave sproža naslednja (medsebojno povezana) vprašanja: vprašanje zanesljivosti avtomatiziranih digitalnih forenzičnih (pod)procesov, vprašanje zanesljivosti avtomatiziranih digitalnih forenzičnih orodij in vprašanje vsebinske celovitosti oziroma zanesljivosti (delno) avtomatizirano pridobljenih digitalnih dokazov. Osrednji izziv pri prepuščanju dela preiskovalnih dejavnosti računalniškemu programu (algoritmu) je torej zagotavljanje zanesljivosti izsledkov, kar je zelo pomembno v vseh pravnih postopkih, absolutno bistveno pa v kazenskem postopku, kjer lahko pravična (oprostilna ali obsodilna) sodba temelji le na objektivno in celovito ugotovljenem dejanskem stanju.60 Da je digitalni dokaz uporaben na sodišču, mora biti pravno dopusten in imeti ustrezno dokazno vrednost. Digitalni dokaz je pravno dopusten, kadar je pridobljen, shranjen in analiziran v skladu z določbami ZKP.61 Pravna dopustnost se, kot je bilo navedeno, presoja z vidika ustavnih in zakonskih standardov, določenih za postopanje z dokazili. Sodišče je vezano na ekskluzijska pravila, katerih dokazov zaradi nezakonitega načina pridobitve ne sme upoštevati.62 Selinšek še pojasnjuje, da pri presoji dokazne vrednosti digitalnih dokazov velja načelo proste presoje dokazov kot eno temeljnih načel kazenskega postopka. Sicer je treba pri presoji še posebej upoštevati naravo oziroma značilnosti digitalnih dokazov. Selinšek opozarja, da mora digitalni forenzični dokaz v tem okviru izpolnjevati naslednje elemente: avtentičnost (vsebinska verodostojnost, vključno z izkazano vzročno zvezo med dokazom in domnevnim storilcem kaznivega dejanja in med dokazom in elektronsko napravo, v kateri je shranjen); neokrnjenost oziroma integriteto (dokaz, predočen sodišču, mora biti popolnoma enak (nespremenjen), kot je obstajal ali nastal v času storitve kaznivega dejanja); preverljivost (ključno je izvajanje preiskave na identični kopiji nosilca dokaza in pravilno dokumentiranje dela v obliki skrbniške verige). Izpostavlja 60 Prav tam, strani 224–228. 61 Pravna podlaga za obravnavo digitalnih dokazov izhaja iz določb Zakona o elektronskem poslovanju in elektronskem podpisu (Uradni list RS, št. 98/04 – uradno prečiščeno besedilo, 61/06 – ZEPT, 46/14, 121/21 – ZEISZ in 130/22 – ZN-H), kjer je v 4. členu navedeno, da se elektronskim podatkom ne sme odreči dokazne vrednosti zgolj za to, ker so v elektronski obliki. Prav tako se je Republika Slovenija s podpisom Zakona o ratifikaciji Konvencije o kibernetski kriminaliteti in Dodatnega protokola h Konvenciji o kibernetski kriminaliteti (Uradni list RS–MP, št. 17/2004), ki obravnava inkriminacijo rasističnih in ksenofobičnih dejanj, storjenih v informacijskih sistemih, zavezala, da bo spremenila notranjo zakonodajo, kar je storila z dopolnitvijo določb 219.a in 223.a člena ZKP. Dodana sta bila dva člena, ki sta začrtala smernice preiskav digitalne forenzike. Več o tem glej Brezovnik, 2016, stran 17. 62 Šepec et al., 2023, stran 189. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 325, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij pa tudi vsebinsko celovitost (dokaz je treba ovrednotiti samostojno in tudi v povezavi z drugimi dokazi v tem primeru) in zanesljivost (način pridobitve dokaza in ravnanje z njim ne smeta vzbujati dvoma o avtentičnosti in verodostojnosti dokaza).63 Narava dokazov, pridobljenih z umetno inteligenco, je lahko problematična z vidika zakonitosti njihove pridobitve. Če pridobitev digitalnih dokazov ne terja njihove ekskluzije, je dokaze treba presojati glede na druge dokaze v spisu. S stališča uporabnosti v sodnih postopkih gre digitalne dokaze presojati kot vsak drug dokaz, pri čemer sodna praksa tudi izpostavlja, da je treba pri uporabi izsledkov umetne inteligence zagotoviti kritično presojo rezultatov raziskav, ki jih izdela umetna inteligenca. Če bodo posamezniki preveč zaupali navidezno objektivnim in znanstvenim orodjem umetne inteligence ter ne bodo pomislili, da so lahko njihovi rezultati napačni, nepopolni, neustrezni ali diskriminacijski, lahko to privede do kršitev pravic. Pomembno je, da imamo realna pričakovanja glede teh tehnoloških rešitev in da se ne obljubljajo popolne rešitve na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj in odkritje vseh storjenih kaznivih dejanj. Resolucija o umetni inteligenci še navaja, da obstoječi zaščitni ukrepi, kot je zaščitni ukrep »človek v zanki« (ki zahteva človeško interakcijo) in pravica do pojasnila, morda ne bodo zadostovali za obvladovanje tveganj. Kot se je izkazalo v primeru raziskovalnega projekta, ki ga financira EU in se osredotoča na razvoj tehnologij za zaznavanje čustev, je treba povečati preglednost in nadzor nad financiranjem raziskav umetne inteligence, zlasti na pomembnih področjih, kot je nadzor meja in varnosti. V zvezi s tem poudarja, da lahko uporaba umetne inteligence vpliva na človekove odločitve in vse faze kazenskega postopka. Zato morajo organi, ki uporabljajo sisteme umetne inteligence, spoštovati izredno visoke pravne standarde in zagotoviti človeško posredovanje, zlasti pri analizi podatkov, ki izhajajo iz teh sistemov. 5 Uporaba umetne inteligence pri nadzoru meja in upravljanju migracij To področje predstavlja presečišče zakonskih določb, ki regulirajo javno in nacionalno varnost, določb o priseljevanju ter varovanju človekovih pravic in temeljnih svoboščin.64 EU se pri prizadevanjih za okrepitev mejne kontrole in 63 Selinšek, 2021, stran 227. 64 Molnar et al. v Kenyon (ur.), 2018, stran 2. 326 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . zmanjševanja varnostnih tveganj, povezanih s težjimi kriminalnimi dejanji in terorizmom, usmerja k uporabi umetne inteligence. Namen uporabe umetnointeligenčnih sistemov je izboljšati učinkovitost in uspešnost pregledov na zunanjih mejah, okrepiti preprečevanje nezakonitega priseljevanja in boj proti njemu ter prispevati k visoki ravni varnosti na območju EU. Da se ohrani zaupanje javnosti v migracijski in azilni sistem, varnostne ukrepe in zmogljivosti EU za upravljanje zunanje meje, je treba zagotoviti interoperabilnost med informacijskimi sistemi EU, in sicer sistemom vstopa/izstopa (SVI), vizumskim informacijskim sistemom (VIS), evropskim sistemom za potovalne informacije in odobritve (ETIAS), sistemom Eurodac, schengenskim informacijskim sistemom (SIS) in evropskim informacijskim sistemom kazenskih evidenc za državljane tretjih držav. Za dosego tega je kot sestavne dele interoperabilnosti treba vzpostaviti evropski iskalni portal (ESP), skupno storitev za ugotavljanje ujemanja biometričnih podatkov (skupna BMS), skupno odložišče podatkov o identiteti (CIR) in detektor več identitet (MID).65 Tudi kaznovalna in varnostna politika v Republiki Sloveniji naslavlja in izpostavlja rastoči pomen obrambe in varovanja državnega teritorija.66 Za namene preverjanja identitete oziroma identifikacije centralizirani informacijski sistemi mejnih kontrol in varnostnih služb EU v vedno večji meri uporabljajo biometrične tehnologije. Tehnologija avtomatizirane identifikacije prstnih odtisov se trenutno uporablja v treh informacijskih sistemih: schengenskem informacijskem sistemu, v evropskem sistemu za primerjavo prstnih odtisov (Eurodac) in vizumskem informacijskem sistemu.67 Umetna inteligenca se bo za državljane tretjih držav (ki niso članice EU) uporabljala tudi v drugih dveh sistemih, sistemu vstopa in izstopa in v informacijskem sistemu kazenskih evidenc. Interoperabilnost informacijskih sistemov EU bi morala omogočiti, da se sistemi med seboj dopolnjujejo, kar bi olajšalo pravilno identifikacijo oseb.68 Evropski parlament je tekom priprav na sprejetje Akta o umetni inteligenci izpostavil občutljive vidike uporabe umetne inteligence na področju nadzora mej in migracijske politike.69 Slovenska Amnesty 65 Publications office of the EU, dostopno na: https://op.europa.eu/en/publication-detail/- /publication/c8823cd1-a152-11ea-9d2d-01aa75ed71a1/language-en (obiskano: 6. 1. 2025). 66 Glej tudi Šalamon et al. v Korošec, Filipčič, Zdolšek (ur.), 2019. 67 Tako tudi Dumbrava, 2025. 68 Uredba (EU) 2019/817 Evropskega parlamenta in Sveta z dne 20. maja 2019 o vzpostavitvi okvira za interoperabilnost informacijskih sistemov EU na področju meja in vizumov (UL L 135, 22. 5. 2019, strani 27–84) in Uredba (EU) 2019/818 Evropskega parlamenta in Sveta z dne 20. maja 2019 o vzpostavitvi okvira za interoperabilnost informacijskih sistemov EU na področju policijskega in pravosodnega sodelovanja, azila ter migracij (UL L 135, 22. 5. 2019, strani 85–135). Več o tem tudi https://eur-lex.europa.eu/legal- content/SL/TXT/?uri=LEGISSUM:4400468 (obiskano: 13. 2. 2025). 69 Dumbrava, 2021. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 327, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij International,70 Ministrstvo za digitalno preobrazbo Republike Slovenije in druge podpisnice so se tekom priprave stališč k predlogu Akta o umetni inteligenci zavzeli za zaščito pravic marginaliziranih ljudi, tujcev migrantov, beguncev, iskalcev azila in drugih z neurejenim migrantskim statusom.71 Avtomatski sistemi odločanja, ki se uporabljajo v kontekstu priseljevanja in beguncev, lahko vplivajo na sposobnost ljudi, da uveljavljajo svojo svobodo gibanja, pravico do potovanja in pravice do mobilnosti.72 V raziskavi Artificial intelligence at EU borders, 2021, Dumbrava ugotavlja, da z namenom nadzora meja in obvladovanja migracij v EU obstajajo štiri glavne vrste aplikacij umetne inteligence, ki se uporabljajo ali se razmišlja o njihovi uporabi v okviru mejnega nadzora in varovanja meja: biometrična identifikacija (avtomatsko prepoznavanje prstnih odtisov in obrazov), zaznavanje čustev, algoritemska ocena tveganja in orodja umetne inteligence za spremljanje, analizo in napovedovanje migracijskih tokov. Kljub napredku razvoja tehnologij biometrične identifikacije se natančnost rezultatov še vedno razlikuje v odvisnosti od uporabljene tehnologije in je odvisna od kontekstualnih dejavnikov. Tehnologija avtomatiziranega prepoznavanja obrazov se še ne uporablja v informacijskih sistemih EU, vendar je pričakovati, da bodo v bližnji prihodnosti sistemi za preverjanje in/ali identifikacijo obdelovali obrazne slike. Tehnologije za zaznavanje čustev na mejah in drugod predstavljajo eno najbolj kontroverznih aplikacij umetne inteligence. Sicer trenutno na mejah EU ni nameščenih nobenih sistemov za zaznavanje čustev, so pa takšne tehnologije za izboljšanja nadzora meja v številnih pobudah in projektih, ki jih financira EU. Poleg preverjanja identifikacije znanih oseb se algoritmi umetne inteligence uporabljajo tudi za identifikacijo zanimivih neznanih oseb na podlagi posebnih podatkovnih profilov tveganja. Algoritemsko profiliranje za ocenjevanje varnostnih tveganj in ilegalnih (nedovoljenih) migracij se trenutno razvija v okviru vizumskega informacijskega sistema in evropskega sistema za izmenjavo potovalnih informacij o potnikih. Avtomatizirano oceno tveganja izvajajo države članice v okviru medsebojne izmenjave obveščevalnih podatkov o potnikih. EU prav tako vlaga v orodja za spremljanje, analiziranje in napovedovanje migracijskih trendov in varnostnih groženj, ki temeljijo na umetni inteligenci. Evropski urad za podporo 70 Amnesty International Slovenija, 2023, dostopno na: https://www.amnesty.si/akt-o-umetni-inteligenci, (obiskano: 6. 1. 2025). 71 Enako tudi Amnesty International, 2024, dostopno na: https://www.amnesty.org/en/documents/pol40/7772/2024/en/ (obiskano: 6. 1. 2025). 72 Več o tem Molnar et al., 2018. 328 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . azilnih vprašanj trenutno uporablja sistem zgodnjega opozarjanja in napovedovanja za napovedovanje števila prošenj za azil. Evropska komisija in agencije EU na področju svobode, varnosti in prava raziskujejo druge aplikacije na tem področju tudi v okviru razvoja sistema Frontex, Eurosur in središča za inovacije Europol. Ciudad Fontecha je opravila novejšo podrobnejšo raziskavo uvajanja tehnologij umetne inteligence za varovanje mej in obvladovanje migracij. V okviru študije je izpostavljen pomen uvajanja novih tehnologij za namene mejnega nadzora ter varnostne in azilne politike in pomen sočasnega varovanja pravic. Izpostavljena je tudi kritika evropskih sistemov interoperabilnosti, ki naj bi jo zaradi nevarovanja pravic državljanov tretjih držav podale številne človekoljubne organizacije.73 Tudi kanadska vlada vlaga v nova prizadevanja za varnost meja in identifikacijo. Kanadska vlada vključuje razširitev prizadevanj za zbiranje prstnih odtisov tujih državljanov in premik v smeri razvoja koncepta digitalne identitete znanega popotnika, za olajšanje ocene tveganja pred preverjanjem in varnostnih postopkov, na primer z omogočanjem priseljenskih poti, ki temeljijo na tveganju.74 Tehnologija sama po sebi ni demokratična in vpliva na človekove pravice, kar je še posebej pomembno upoštevati v kontekstu prisilnih migracij, ko je tehnologija uporabljena zoper priseljence in deluje nehumano.75 Iz uvodne točke 60 Akta o umetni inteligenci izhaja, da bi umetnointeligenčni sistemi na področju migracij, azila in upravljanja nadzora meja, ki jih ta predpis zajema, morali biti skladni z ustreznimi postopkovnimi zahtevami iz Uredbe (ES) št. 810/2009 Evropskega parlamenta in Sveta z dne 13.julij 2009 o vizumskem zakoniku Skupnosti z dne 13. julija 2009 o vizumskem zakoniku Skupnosti,76 Direktive 2013/32/EU Evropskega parlamenta in Sveta z dne 26. junija 2013 o skupnih postopkih za priznanje ali odvzem mednarodne zaščite,77 in drugega ustreznega prava EU. Države članice ali institucije, organi, uradi ali agencije EU v nobenem primeru ne bi smeli uporabljati umetnointeligenčnih sistemov na področju migracij, azila in upravljanja nadzora meja kot sredstev za izogibanje svojim mednarodnim obveznostim iz Konvencije Združenih narodov o statusu beguncev.78 Prav tako se ne smejo uporabljati za 73 Ciudad Fontecha, 2023. 74 Več o tem Molnar et al., 2018, stran 22. 75 Molnar, 2019. 76 UL L 243, 15. 9. 2009, strani 1–58. 77 UL L 180, 29. 6. 2013, strani 60–95. 78 Konvencijo Združenih narodov o statusu beguncev je sprejela Diplomatska konferenca Združenih narodov o statusu beguncev in oseb brez državljanstva 28. julija 1951 v skladu z resolucijo št. 429 (V) Generalne skupščine z dne 14. decembra 1950. Veljati je začela 22. aprila 1954. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 329, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij kakršno koli kršitev načela nevračanja ali za odrekanje varnih in učinkovitih zakonitih poti na ozemlje EU, vključno s pravico do mednarodne zaščite.79 6 Etična načela za uporabo umetnointeligenčnih sistemov v kazenskem pravu 6.1 Uvodno Resolucija o umetni inteligenci izpostavlja, da nobenemu sistemu umetne inteligence, ki se uporablja na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj in pravosodja, ne bi smelo biti omogočeno, da posega v telesno celovitost ljudi ali posameznikom podeljuje pravice ali nalaga pravne obveznosti. Opozarja tudi, da mora v okviru pravosodja in preprečevanja, odkrivanja ter preiskovanja kaznivih dejanj vsako odločitev, ki ima pravni ali podobni učinek, vedno sprejeti človek. Ta lahko odgovarja za sprejete odločitve. Tisti, ki so podvrženi sistemom, ki temeljijo na umetni inteligenci, morajo imeti možnost uporabe pravnih sredstev. Resolucija tudi navaja, da ima oseba v skladu s pravom EU pravico, da ni predmet odločitve, ki ima zanjo pravne učinke ali nanjo znatno vpliva, in temelji izključno na avtomatizirani obdelavi podatkov, kot tudi, da človek ne more podati neodvisne ocene, če se zanaša le na podatke, profile in priporočila, ki jih ustvarjajo stroji. Pravica do človeškega posredovanja je pomembna zaradi morebitnih hudih negativnih posledic, zlasti na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj ter pravosodja. V zvezi s tem tudi Etične smernice izpostavljajo, da lahko uporaba umetne inteligence vpliva na človekove odločitve in vse faze kazenskega postopka. Zato morajo organi, ki uporabljajo sisteme umetne inteligence, spoštovati izredno visoke pravne standarde in zagotoviti človeško posredovanje. Resolucija opozarja, da je pri analizi podatkov, ki izhajajo iz teh sistemov, treba ohraniti diskrecijsko pravico sodnikov in odločanje za vsak primer posebej. Zato poziva k prepovedi uporabe umetne inteligence in sorodnih tehnologij za predlaganje sodb. Izpostavljeno je, da morajo izvršitveni organi, ko v okviru pravosodnega sodelovanja odločajo o prošnji za izročitev (ali predajo) drugi državi članici ali tretji državi, oceniti, ali je morda zaradi uporabe orodij umetne inteligence v državi prosilki ogrožena temeljna pravica do poštenega sojenja. Zato je bil naslovljen poziv na Evropsko komisijo, naj izda smernice, kako to ocenjevati v 79 Več o tem glej Akt o umetni inteligenci, uvodna točka 60. 330 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . okviru pravosodnega sodelovanja v kazenskih zadevah. Zato bi morale države članice v skladu z veljavno zakonodajo poskrbeti, da so posamezniki obveščeni, kadar jih organi preprečevanja, odkrivanja in preiskovanja kaznivih dejanj ali pravosodni organi obravnavajo z uporabo aplikacij umetne inteligence.80 6.2 Načelo preglednosti, nepristranskosti in pravičnosti Raznolikost, nediskriminacija in pravičnost vključujejo preprečevanje nepoštene pristranskosti, dostopnost in univerzalno zasnovo ter sodelovanje deležnikov. Preglednost vključuje sledljivost, razložljivost in obveščanje, kot navajajo Etične smernice. Gre za različne elemente postopkovne pravičnosti, ki so pomembni za sprejetje avtomatiziranih sistemov odločanja, vključno s pravico do zaslišanja, pravico do poštenega, nepristranskega in neodvisnega odločevalca, pravico do obrazložitve (vedno bolj znana tudi kot pravica do pojasnila) in pravico do pritožbe zoper neugodno odločitev, ki naj jih vključujejo avtomatizirani sistemi odločanja.81 V okviru pravosodja in preprečevanja, odkrivanja ter preiskovanja kaznivih dejanj mora vsako odločitev, ki ima pravni ali podobni učinek, vedno sprejeti človek, ki lahko odgovarja za sprejete odločitve. Resolucija o umetni inteligenci izpostavlja, da morajo imeti tisti, ki so podvrženi sistemom, ki temeljijo na umetni inteligenci, možnost uporabe pravnih sredstev, prav tako pa ima oseba v skladu s pravom EU pravico, da ni predmet odločitve, ki ima zanjo pravne učinke ali nanjo znatno vpliva in temelji izključno na avtomatizirani obdelavi podatkov. Resolucija o umetni inteligenci še opozarja, da je zaradi zapletenosti razvoja in upravljanja sistemov umetne inteligence izziv, kako pravilno določiti odgovornost za morebitno škodo, ter narekuje, da je treba oblikovati jasen in pravičen sistem za dodelitev pravne odgovornosti in krivdne sposobnosti za morebitne škodljive posledice teh naprednih digitalnih tehnologij. Poziva k uporabi previdnostnega načela pri vseh aplikacijah umetne inteligence na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj ter poudarja, da mora pravno odgovornost vedno nositi fizična ali pravna oseba. Na nabore podatkov, ki jih uporabljajo sistemi umetne inteligence (za učenje in delovanje), lahko negativno vplivajo vključitev nenamerne zgodovinske pristranskosti, nepopolnost in slabi modeli upravljanja. Nadaljevanje take pristranskosti bi lahko povzročilo (ne)posredne predsodke do nekaterih skupin ali ljudi in njihovo diskriminacijo, kar bi lahko še povečalo predsodke in marginalizacijo. 80 Resolucija o umetni inteligenci, točke 12–17. 81 Molnar et al., 2018, strani 32–45. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 331, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij Škoda lahko nastane tudi zaradi namernega izkoriščanja pristranskosti (potrošnikov) ali sodelovanja v nelojalni konkurenci, na primer z izenačevanjem cen s koluzijo ali nepreglednim trgom. Kadar je to mogoče, je treba ugotovljivo in diskriminacijsko pristranskost odstraniti v fazi zbiranja podatkov. Na način razvoja sistemov umetne inteligence (npr. programiranje algoritmov) lahko negativno vpliva tudi nepoštena pristranskost. To bi se lahko preprečilo z vzpostavitvijo postopkov nadzora za jasno in pregledno analizo in obravnavo namena, omejitev, zahtev in odločitev sistema. Poleg tega je mogoče z zaposlovanjem ljudi iz različnih okolij, kultur in disciplin zagotoviti raznolikost mnenj, kar bi bilo treba spodbujati, kot to poudarjajo Etične smernice.82 Nabori podatkov in algoritemski sistemi, ki se na različnih stopnjah obdelave uporabljajo pri razvoju umetne inteligence, robotike in sorodnih tehnologij, lahko povzročijo neposredno in posredno diskriminacijo skupin ljudi, zlasti ker podatki, ki se uporabljajo za učenje algoritmov za napovedano policijsko delo, vplivajo na prednostne naloge nadzora in lahko ohranijo ali povečajo obstoječe predsodke.83 Uvodne točke 64 do 68 Akta o umetni inteligenci tako navajajo, da lahko tveganja, povezana z umetnointeligenčnimi sistemi, nastanejo zaradi načina zasnove takih sistemov, kakor tudi iz tega, kako se ti uporabljajo. Uvajalci lahko tako opredelijo potencialna velika tveganja, ki niso bila predvidena v fazi razvoja. Po potrebi bi morali obvestiti fizične osebe, da se zanje uporablja visoko tvegani sistem umetne inteligence. Informacije bi morale vključevati predvideni namen sistema in vrsto odločitev, ki jih sprejema. Uvajalec bi moral fizične osebe obvestiti tudi o njihovi pravici do obrazložitve, določeni v Aktu o umetni inteligenci.84 6.3 Načelo človeške avtonomije Človeško delovanje in nadzor vključuje temeljne pravice, človeško delovanje in človeški nadzor.85 Temeljne pravice, na katerih temelji EU, so namenjene zagotavljanju spoštovanja svobode in avtonomije ljudi. Ljudje, ki komunicirajo s sistemi umetne inteligence, morajo imeti možnost, da se še naprej v celoti in dejansko samostojno odločajo in sodelujejo v demokratičnem procesu. Gre za skupine temeljnih pravic, posebej primerne za zajem sistemov umetne inteligence. Številne od teh pravic so v določenih okoliščinah pravno izvršljive v EU, tako da je upoštevanje njihovih pogojev po zakonu obvezno. Tudi po tem, ko je dosežena 82 Etične smernice, stran 22. 83 Glej Resolucija o umetni inteligenci, točka 22. 84 Akt o umetni inteligenci, uvodne točke 64–68. 85 Etične smernice, stran 19. 332 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . skladnost s pravno izvršljivimi temeljnimi pravicami, pa nam lahko etično razmišljanje pomaga razumeti, kako lahko razvoj, uvajanje in uporaba umetne inteligence vključujejo temeljne pravice in njihove temeljne vrednote, ter zagotoviti natančnejša navodila, ko si prizadevamo ugotoviti, kaj bi morali narediti s tehnologijo in ne kaj (trenutno) lahko naredimo z njo.86 6.4 Načelo varovanja temeljnih pravic Temeljni instrument pravnega okvira EU za varstvo temeljnih pravic, ki se nanaša na uporabo umetne inteligence, je Listina Evropske unije o temeljnih pravicah, ki skupaj z nenapisanimi splošnimi načeli prava EU predstavlja glavni vir temeljnih pravic v EU. Listina vsebuje širok spekter temeljnih pravic in ima enako pravno veljavnost kot Pogodbi EU ter zavezuje vse institucije in organe EU, pa tudi države članice, ko izvajajo pravo EU (prvi odstavek 51. člena). Številne pravice iz Listine Evropske unije o temeljnih pravicah so enake tistim iz EKČP. Njihova vsebina in obseg morata biti enaka ustreznim pravicam, zagotovljenim z EKČP (tretji odstavek 52. člena Listine). Vendar ta določba ne preprečuje širšega varstva po pravu EU.87 Temeljne pravice je mogoče najti tudi v določbah Pogodb EU (glej npr. drugi odstavek 6. člena PEU ter naslova V in X PDEU) in drugih dokumentih sekundarne zakonodaje EU.88 Načelo poudarja, da je treba prepovedati uporabo umetne inteligence, če ni združljiva s temeljnimi pravicami. Pri tem se opira na neodtujljive pravice iz mednarodnega prava o človekovih pravicah, Pogodb EU in Listine Evropske unije o temeljnih pravicah, ki določajo spoštovanje človekovega dostojanstva, svobodo posameznika, spoštovanje demokracije, pravičnosti in pravne 86 Prav tam, stran 14. 87 Načelo varovanja temeljnih pravic, povzeto v uvodu Resolucije o umetni inteligenci v kazenskih zadevah in njeni uporabi v policiji in pravosodnih organih na področju kazenskih zadev, izhaja iz Pogodbe o EU (UL C 202, 7. 6. 2016, strani 47–390), zlasti 2. in 6. člena, PDEU, zlasti 16. člena, Listine Evropske unije o temeljnih pravicah, zlasti členov 6., 7., 8., 11., 12., 13., 20., 21., 24. in 47., EKČP, Konvencije Sveta Evrope o varstvu posameznika glede na avtomatsko, obdelavo osebnih podatkov (ETS 108) in protokola o njeni spremembi (konvencija 108+), Strasbourške konvencije (28. 1. 1981, ETS št. 108), Evropske etične listine za uporabo umetne inteligence v pravosodnih sistemih in njihovem okolju, ki jo je pripravila Evropska komisija za učinkovitost pravosodja (CEPEJ) pri Svetu Evrope (2018), Sporočila Komisije z dne 8. aprila 2019 o krepitvi zaupanja v umetno inteligenco, osredotočeno na človeka (COM(2019)0168) final, 8. 4. 2019), Etičnih smernic za zaupanja vredno umetno inteligenco, ki jih je 8. aprila 2019 objavila strokovna skupina Komisije na visoki ravni za umetno inteligenco (Strokovna skupina na visoki ravni za umetno inteligenco, Etične smernice za zaupanja vredno umetno inteligenco, 8. 4. 2019), Bele knjige Komisije z dne 19. februarja 2020 o umetni inteligenci – evropski pristop k odličnosti in zaupanju (COM(2020)0065 final, UL C 65, 19. 2. 2020) in drugih. Več o tem Resolucija o umetni inteligenci, strani 17 in 18. 88 FRA, Agencija Evropske unije za temeljne pravice, (2021), Pravilno ravnanje v prihodnje, stran 5, dostopno na: https://fra.europa.eu/sites/default/files/fra_uploads/fra-2020-artificial-intelligence_sl.pdf,https://eur- lex.europa.eu/legal-content/SL/TXT/?uri=LEGISSUM:4365508 (obiskano: 13. 2. 2025). K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 333, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij države, enakost, nediskriminacijo in solidarnost, vključno s pravicami oseb, ki jim grozi izključenost. Državljani imajo različne pravice, vključno z volilno pravico, pravico do dobrega upravljanja ali dostopa do javnih dokumentov in pravico do naslavljanja peticij na upravo. Sistemi umetne inteligence ponujajo velik potencial za izboljšanje razsežnosti in učinkovitosti vlade pri zagotavljanju javnih dobrin in storitev družbi. Hkrati bi lahko primeri uporabe umetne inteligence negativno vplivali na pravice državljanov, ki bi jih bilo zato treba zaščititi. Kadar se uporablja pojem »pravice državljanov«, to ne pomeni zanikanja ali zanemarjanja pravic državljanov tretjih držav in oseb z neurejenim statusom v EU (ali oseb, ki nezakonito prebivajo v EU), saj imajo državljani tretjih držav prav tako pravice po mednarodnem pravu in zato tudi na področju umetne inteligence.89 Resolucija o umetni inteligenci izpostavlja, da morajo biti vse rešitve umetne inteligence na področju kazenskega prava ter preprečevanja, odkrivanja in preiskovanja kaznivih dejanj in pravosodja v skladu z Listino Evropske unije o temeljnih pravicah in EKČP, ki prav tako nalagata v celoti spoštovati načela človekovega dostojanstva, nediskriminacije, svobode gibanja, domneve nedolžnosti in pravice do obrambe, vključno s pravico do molka, svobodo izražanja in obveščanja, svobodo zbiranja in združevanja, enakosti pred zakonom, načela enakosti orožij ter pravice do učinkovitega pravnega sredstva in poštenega sojenja. Našteto je treba zagotavljati pri splošni rabi umetne inteligence ter še posebej na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj in pravosodja. Resolucija o umetni inteligenci tudi opozarja na tveganje, da bi uporaba umetne inteligence pri preprečevanju, odkrivanju in preiskovanju kaznivih dejanj vključevala številna potencialno visoka in nesprejemljiva tveganja za varstvo temeljnih pravic posameznikov, kot so nepregledno odločanje, različne oblike diskriminacije in napake, neločljivo povezane z osnovnim algoritmom, ki se lahko s povratnimi učinki še povečajo, ter tveganja za varstvo zasebnosti in osebnih podatkov ter svobode izražanja in obveščanja, domnevo nedolžnosti, pravico do učinkovitega pravnega sredstva in poštenega sojenja. Poudarja, da avtomatizirano odločanje ne sme temeljiti na posebnih vrstah osebnih podatkov, razen če so vzpostavljeni ustrezni ukrepi za varstvo pravic in svoboščin ter zakonitih interesov posameznika, na katere se nanašajo osebni podatki. Izražena je namreč skupna politična volja držav članic za zagotovitev spoštovanja temeljnih pravic pri uporabi sistemov umetne inteligence na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj in pravosodja. Te pravice izhajajo iz 89 Etične smernice, strani 12 in 13. 334 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . določb 2. in 3. člena PEU, Listine Evropske unije o temeljnih pravicah, zlasti v členih 7., 8., 11., 12., 13., 20., 21., 24. in 47., EKČP in drugih predpisov. 6.5 Pravica do zasebnosti in varstvo podatkov Zasebnost in upravljanje podatkov vključuje spoštovanje zasebnosti, kakovost in celovitost podatkov ter dostop do njih. Uvodne točke Akta o umetni inteligenci izpostavljajo pomembnost varstva posameznika pri obdelavi osebnih podatkov, ki na ravni EU predstavlja eno od temeljnih človekovih pravic na podlagi 8. člena Listine Evropske unije o temeljnih pravicah. Temeljna pravica do varstva osebnih podatkov je zajamčena zlasti z Uredbo (EU) 2016/679 Evropskega parlamenta in Sveta z dne 27. aprila 2016 o varstvu posameznikov pri obdelavi osebnih podatkov in o prostem pretoku takih podatkov ter o razveljavitvi Direktive 95/46/ES (Splošna uredba o varstvu podatkov)90 in Uredbo (EU) 2018/1725 Evropskega parlamenta in Sveta z dne 23. oktobra 2018 o varstvu posameznikov pri obdelavi osebnih podatkov v institucijah, organih, uradih in agencijah Unije in o prostem pretoku takih podatkov ter o razveljavitvi Uredbe (ES) št. 45/2001 in Sklepa št. 1247/2002/ES91 Evropskega parlamenta in Sveta ter Direktivo (EU) 2016/680 Evropskega parlamenta in Sveta z dne 27. aprila 2016 o varstvu posameznikov pri obdelavi osebnih podatkov, ki jih pristojni organi obdelujejo za namene preprečevanja, preiskovanja, odkrivanja ali pregona kaznivih dejanj ali izvrševanja kazenskih sankcij, in o prostem pretoku takih podatkov ter o razveljavitvi Okvirnega sklepa Sveta 2008/977/PNZ Evropskega parlamenta in Sveta o varstvu osebnih podatkov, ki se obdelujejo v okviru policijskega in pravosodnega sodelovanja v kazenskih zadevah.92 Direktiva 2002/58/ES Evropskega parlamenta in Sveta z dne 12. julija 2002 o obdelavi osebnih podatkov in varstvu zasebnosti na področju elektronskih komunikacij93 poleg tega varuje zasebno življenje in zaupnost komunikacij, vključno z zagotavljanjem pogojev za shranjevanje osebnih in neosebnih podatkov na terminalski opremi in za dostop do teh podatkov z nje. Navedeni pravni akti EU so podlaga za vzdržno in odgovorno obdelavo podatkov, tudi kadar nabori podatkov vključujejo kombinacijo osebnih in neosebnih podatkov.94 Država zagotavlja 90 UL L 119, 4. 5. 2016, strani 1–88. 91 UL L 295, 21. 11. 2018, strani 39–98. 92 UL L 119, 4. 5. 2016, strani 89–131. 93 UL L 201, 31. 7. 2002, strani 37–47. 94 Akt o umetni inteligenci, uvodna točka 10. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 335, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij dostopnost odprtih podatkov javnega sektorja širokemu krogu uporabnikov,95 zavedajoč se vloge različnih socialnih omrežij in platform, ki generirajo, zbirajo in hranijo podatke, povezovanje podatkov iz različnih virov javnega in zasebnega sektorja na področjih jezikovnih virov, opazovanja okolja, zdravja, prostorskega načrtovanja, prometa ter njihovega povezovanja s podatki industrijskega sektorja, finančnega sektorja in turizma, ob jasnem zavedanju, da je široko povezovanje različnih virov neosebnih podatkov lahko problematično tudi z vidika varovanja zasebnosti,96 posebej v kontekstu uporabe orodij umetne inteligence, ki lahko tudi na podlagi teh podatkov zelo dobro in natančno določijo (profilirajo) posamezne osebe in njihove aktivnosti in s tem posredno vplivajo tudi na področje regulacije osebnih podatkov. Ustrezen pravni okvir mora zato ustrezno odgovoriti tudi na te izzive. Obenem lahko te aplikacije ogrozijo temeljne pravice ljudi, zato je vsakršna splošna uporaba umetne inteligence za namene množičnega nadzora nesorazmerna.97 6.6 Načelo nediskriminacije Etične smernice opozarjajo, da je treba enako spoštovati moralne vrednosti in dostojanstvo vseh ljudi. To presega nediskriminacijo, ki dopušča razlikovanje med različnimi situacijami na podlagi objektivnih razlogov. Pri umetni inteligenci enakost pomeni, da delovanje sistema ne sme dati nepošteno pristranskih rezultatov. Podatki, ki se uporabljajo za učenje sistemov umetne inteligence, bi morali biti čim bolj vključujoči in predstavljati različne skupine prebivalstva. Za to je potrebno spoštovanje potencialno ranljivih oseb in skupin, kot so delavci, ženske, invalidi, etnične manjšine, otroci, potrošniki ali druge osebe, ki jim grozi izključenost.98 Izpostaviti velja pomisleke, da se zaradi napovedi umetne inteligence na podlagi značilnosti določene skupine oseb krepijo obstoječe oblike diskriminacije. Močno si je treba prizadevati za preprečevanje samodejne diskriminacije in pristranskosti in pozivati k zanesljivim dodatnim zaščitnim ukrepom, kadar se sistemi umetne inteligence na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj in 95 Nacionalni program spodbujanja razvoja in uporabe umetne inteligence v Republiki Sloveniji do leta 2025, dostopno na: file:///C:/Users/uporabnik/Downloads/NpUI-SI-2025%20(6).pdf (obiskano: 6. 1. 2025). 96 V Kanadi so tako primeroma opozorili, da izsledki preverjanja lahko vsebujejo občutljive podatke, vključno z dostopom do baze podatkov kanadskega policijskega informacijskega centra (CPIC), ki v skladu z zakonom o duševnem zdravju vsebuje občutljive zdravstvene podatke, vključno s poskusi samomora in nalogi za prijetje. Povzeto po Molnar et al., 2018. 97 Resolucija o umetni inteligenci, točka H. 98 Etične smernice, stran 13. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 337, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij 336 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . pravosodja uporabljajo za mladoletnike.99 Nabori podatkov in algoritemski sistemi, ki se na različnih stopnjah obdelave podatkov pri razvoju umetne inteligence, robotike in sorodne tehnologije uporabljajo pri razvrščanju, ocenjevanju in napovedovanju, lahko povzročijo različno obravnavo ter neposredno in posredno diskriminacijo skupin ljudi.100 Podatki, ki se uporabljajo za učenje algoritmov za napovedno policijsko delo, vplivajo na sedanje prednostne naloge nadzora in lahko posledično ohranijo in povečajo obstoječe predsodke. Skupine, odgovorne za zasnovo, razvoj, preskušanje, vzdrževanje, uvajanje in nabavo sistemov umetne inteligence za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj, ter pravosodje, so dolžni zmanjšati tveganja za diskriminacijo. Resolucija o umetni inteligenci izpostavlja, da povečana uporaba biometričnih podatkov v informacijskih sistemih EU povečuje tveganje za nezakonito profiliranje (podobe obraza lahko na primer razkrijejo etnično poreklo). Tudi če profiliranje ne temelji na biometričnih ali osebnih podatkih, lahko druge vrste podatkov in/ali njihove kombinacije, ki se uporabljajo za algoritemsko profiliranje, povzročijo diskriminacijo na podlagi prepovedanih razlogov. Odločitve na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj so skoraj vedno odločitve, ki imajo zaradi izvršilne narave organov preprečevanja, odkrivanja in preiskovanja kaznivih dejanj in njihovih ukrepov pravni učinek za osebo, na katero se nanašajo. Resolucija o umetni inteligenci opozarja, da obstaja tveganje, da se odločitve v zvezi z življenjskim ciklom in uporabo aplikacij umetne inteligence na področju pravosodja in kazenskega pregona ne bi sprejemale na pregleden način in se pri tem ne bi popolnoma varovale temeljne pravice101 ter bi se ohranjali obstoječa diskriminacija, pristranskost in predsodki. Že v preteklosti je bilo izpostavljeno, da številne tehnologije za identifikacijo, ki temeljijo na algoritmih in se trenutno uporabljajo, nebelce, pripadnike nekaterih etničnih skupnosti, osebe LGBTI, otroke, starejše in ženske nesorazmerno pogosteje napačno identificirajo in klasificirajo ter jim s tem povzročajo škodo. Posamezniki imajo pravico, da so pravilno identificirani, pa tudi pravico, da sploh niso identificirani, razen če identifikacijo zahteva zakon zaradi utemeljenih in legitimnih javnih interesov. Resolucija o umetni inteligenci prav tako navaja, da so odločitve na področju preprečevanja, odkrivanja in preprečevanja kaznivih dejanj skoraj vedno odločitve, ki imajo zaradi izvršilne narave organov preprečevanja, odkrivanja in preiskovanja kaznivih dejanj in njihovih ukrepov pravni 99 Resolucija o umetni inteligenci, točka 9. 100 Etične smernice, stran 22. 101 Akt o umetni inteligenci, uvodni točki 48 in 59. učinek za osebo, na katero se nanašajo.102 Nadalje poudarja, da prepoved diskriminacije izhaja iz vrste mednarodnih in domačih pravnih norm, med njimi 14. člena EKČP, 2. člena PEU, 21. in 23. člena Listine Evropske unije o temeljnih pravicah ter 14. člena Ustave RS. Ta pravni okvir ne le prepoveduje diskriminacijo, temveč tudi poskuša zagotavljati, da so vsi, ne glede na osebne značilnosti, deležni enakih pravic in pravnega varstva in da jim je zagotovljena pravica do pravnega sredstva in poštenega sojenja, kar krepi zaupanje v pravosodni sistem in družbeno pravičnost, pa tudi preprečuje tveganja za svobodo in varnost posameznikov.103 6.7 Načelo kakovosti in varnosti Tehnična robustnost in varnost vključuje odpornost proti napadom in varnost, rezervni načrt in splošno varnost, točnost, zanesljivost in ponovljivost. Uvodne točke Akta o umetni inteligenci izpostavljajo, da bi v okviru uporabe tega predpisa, skladno z zahtevo po pismenosti na tem področju, bilo treba vsem zadevnim akterjem v verigi zagotoviti vpoglede, potrebne za zagotovitev ustrezne skladnosti s tem predpisom in njegovo pravilno izvrševanje. Ponudniki umetnointeligenčnih sistemov velikega tveganja bodo morali izvajati tudi sisteme za upravljanje kakovosti in tveganj, da bi zagotovili skladnost z novimi zahtevami ter čim bolj zmanjšali tveganja za uporabnike in izpostavljene osebe. Akt o umetni inteligenci postavlja zahtevo, da je treba zagotovitvi ustrezno spremljanje zmogljivosti umetnointeligenčnih sistemov v realnem življenju, saj ti predstavljajo tveganja za varnost in temeljne pravice, ki so morda povezane z njihovo uporabo. Prav tako je primerno določiti posebne odgovornosti za uvajalce.104 S stališča kakovosti in varnosti se točnost nanaša na sposobnost sistema umetne inteligence, da pravilno razvršča informacije v ustrezne kategorije ali oblikuje pravilne napovedi, priporočila in odločitve na podlagi podatkov ali modelov. Če se občasnim netočnim napovedim ni mogoče izogniti, je pomembno, da lahko sistem navede, kako verjetne so te napake. Visoka stopnja točnosti je še posebno pomembna v situacijah, ko sistem umetne inteligence neposredno vpliva na človeška življenja.105 Umetnointeligenčni sistemi velikega tveganja, ki jih uvajajo javni organi ali subjekti, ki delujejo v njihovem imenu, bodo morali biti registrirani v javni podatkovni zbirki EU, razen če se ti sistemi uporabljajo na področjih preprečevanja, odkrivanja in preiskovanja kaznivih 102 Resolucija o umetni inteligenci, točki 8 in 9, glej tudi točke L–P. 103 Več o tem Škrjanc, 2024. 104 Evropska komisija, 2024. 105 Etične smernice, stran 20. 338 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . dejanj ali migracij. Sisteme, ki se uporabljajo na področjih preprečevanja, odkrivanja in preiskovanja kaznivih dejanj ali migracij, bo treba registrirati v nejavnem delu podatkovne zbirke, ki bo dostopen le ustreznim nadzornim organom. Da bi zagotovili skladnost v celotnem življenjskem ciklu umetnointeligenčnega sistema, bodo organi za nadzor trga izvajali redne revizije, olajševali spremljanje po dajanju na trg ter ponudnikom omogočili, da prostovoljno poročajo o vseh hudih incidentih ali kršitvah obveznosti glede temeljnih pravic, ki jih opazijo. V izjemnih primerih lahko organi odobrijo izjeme za nekatere umetnointeligenčne sisteme velikega tveganja, ki se dajo na trg. Zahteve bodo v primeru kršitve nacionalnim organom omogočile dostop do informacij, ki so potrebne za preiskavo tega, ali je uporaba umetnointeligenčnega sistema skladna s pravom.106 Resolucija o umetni inteligenci izpostavlja pomen razumljivosti rezultatov, saj bi moral biti organom preprečevanja, odkrivanja ali preiskovanja ali pravosodnim organom v EU dovoljen nakup le orodij in sistemov, katerih algoritmi in logika so preverljivi in dostopni vsaj policiji in sodstvu ter neodvisnim revizorjem, da jih lahko ocenijo, pregledajo in preverijo, prodajalci pa jih ne smejo zapreti ali označiti kot lastniške, da se zagotovijo tehnična preglednost, zanesljivost in točnost. Pravosodni organi in organi preprečevanja, odkrivanja in preiskovanja kaznivih dejanj naj zagotovijo proaktivno popolno preglednost zasebnih podjetij, ki jim zagotavljajo sisteme umetne inteligence za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj in pravosodja. Za dosego tega namena Resolucija o umetni inteligenci priporoča uporabo odprtokodne programske opreme, kjer je to mogoče. 6.8 Načelo »pod nadzorom uporabnika« Uporabniki bi morali imeti možnost sprejemati samostojne informirane odločitve glede sistemov umetne inteligence. Zagotoviti bi jim bilo treba znanje in orodja za zadovoljivo razumevanje sistemov umetne inteligence in interakcijo z njimi ter jim po možnosti omogočiti, da razumno sami ocenijo ali izpodbijajo sistem. Sistemi umetne inteligence bi morali posameznike podpirati pri sprejemanju boljših, bolj informiranih odločitev v skladu z njihovimi cilji. Človeški nadzor pomaga zagotavljati, da sistem umetne inteligence ne ogroža človekove avtonomije ali povzroča drugih škodljivih učinkov. Nadzor se lahko doseže z mehanizmi upravljanja, kot so pristopi s človekovim posredovanjem (HITL, human-in-the- 106Evropska komisija, 2024. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 339, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij loop), človekovim nadzorom (HOTL, human-on-the-loop) ali človekovim odločanjem (HIC, human-in-command).107 Resolucija o umetni inteligenci v točki 17 poziva k algoritemski razložljivosti, preglednosti, sledljivosti in preverljivosti, saj so nujen del nadzora, da bodo razvoj, uvajanje in uporaba sistemov umetne inteligence za pravosodje ter preprečevanje, odkrivanje in preiskovanje kaznivih dejanj skladni s temeljnimi pravicami in jim bodo državljani zaupali. 7 Nesprejemljivo tveganje in prepovedane prakse Akt o umetni inteligenci podaja celovit pristop do področij dovoljenega in nedovoljenega delovanja. Določba 5. člena kot sklop posebno škodljivih uporab umetne inteligence, ki so v nasprotju z vrednotami EU, ker kršijo temeljne pravice in so zato prepovedane, opredeljuje sisteme za sklepanje o čustvih na delovnem mestu, prakse izkoriščanja ranljivosti oseb, prirejanje in uporabo subliminalnih tehnik, družbeno točkovanje za javne in zasebne namene ter rasno profiliranje. Za zagotovitev odgovorne in sorazmerne uporabe teh sistemov je pomembno določiti, da bi bilo treba v vsakem od teh izrecno naštetih in ozko opredeljenih primerov upoštevati nekatere elemente, predvsem glede narave razmer, zaradi katerih je bila zahteva vložena, ter posledic uporabe za pravice in svoboščine vseh zadevnih oseb, ter zaščitnih ukrepov in pogojev, predvidenih za uporabo. Poleg tega bi bilo treba uporabo sistemov za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj uporabljati le za potrditev identitete specifično ciljnega posameznika in bi morala biti omejena na to, kar je nujno potrebno za časovno obdobje ter geografsko in osebno področje uporabe, pri čemer je treba upoštevati zlasti dokaze ali znake v zvezi z grožnjami, žrtvami ali storilcem. Zanemariti se tudi ne sme izjemne občutljivosti rabe biometričnih podatkov. Uvodne točke 14 do 20 Akta o umetni inteligenci izpostavljajo, da so biometrični podatki posebna kategorija osebnih podatkov ter da je primerno, da se več kritičnih primerov uporabe biometričnih sistemov razvrsti kot visoko tveganih, če je njihova uporaba dovoljena na podlagi ustreznega prava EU in nacionalnega prava. Obdelava biometričnih podatkov je dopustna na način, ki ne bo povzročal neselektivnega nadzora ali izogibanja pogojem prepovedi in strogim izjemam za biometrično identifikacijo na daljavo v realnem času. Resolucija o umetni inteligenci apelira, da je biometrična kategorizacija in 107 Etične smernice, stran 19. 340 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . biometrična identifikacija fizičnih oseb za sklepanje o njihovi rasi, političnem prepričanju, članstvu v sindikatu, verskem ali filozofskem prepričanju ali spolni usmerjenosti prepovedana praksa. Še vedno bo mogoče označevanje ali filtriranje naborov podatkov in razvrščanje podatkov na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj. Iz Resolucije o umetni inteligenci tudi izhaja, da je uporaba biometričnih podatkov širše povezana z načelom pravice do človekovega dostojanstva, ki je temelj vseh temeljnih pravic, ki jih zagotavlja Listina Evropske unije o temeljnih pravicah. Nevladne organizacije še posebej izpostavljajo, da nepregledna narava odločanja o priseljevanju in beguncih ustvarja okolje, zrelo za algoritemsko diskriminacijo.108 Akt o umetni inteligenci v 3. členu podaja opredelitev pojmov.109 Pojem »biometrična kategorizacija« je opredeljen kot razvrstitev fizičnih oseb v posebne kategorije na podlagi njihovih biometričnih podatkov. Takšne posebne kategorije se lahko nanašajo na spol, starost, barvo las, barvo oči, tetovaže, vedenjske ali osebnostne lastnosti, jezik, vero, pripadnost narodnostni manjšini in spolno ali politično usmerjenost. To ne vključuje sistemov za biometrično kategorizacijo, ki so izključno pomožni element, neločljivo povezan z drugo komercialno storitvijo, kar pomeni, da tega elementa iz objektivnih tehničnih razlogov ni mogoče uporabiti brez glavne storitve, njegova vključitev ali funkcionalnost pa ni sredstvo za izogibanje uporabi pravil iz tega predpisa.110 Pojem »sistem za biometrično identifikacijo na daljavo« je treba opredeliti funkcionalno kot sistem umetne inteligence, namenjen identifikaciji fizičnih oseb (ene ali več) brez njihovega dejavnega sodelovanja, običajno na daljavo, s primerjavo biometričnih podatkov osebe z biometričnimi podatki iz referenčne podatkovne zbirke, ne glede na uporabljeno tehnologijo, procese ali vrste biometričnih podatkov. To izključuje sisteme umetne inteligence za biometrično preverjanje, tudi avtentikacijo, katerih edini namen je potrditi, da je določena fizična oseba res tista, za katero se predstavlja, in potrditi identiteto fizične osebe izključno z namenom dostopa do storitve, odklepanja naprave ali varnostnega dostopa do prostorov. Ta izključitev je utemeljena z dejstvom, da bodo imeli taki sistemi verjetno manjši vpliv na temeljne pravice fizičnih oseb v primerjavi s sistemi za biometrično identifikacijo 108 Amnesty International, 2024, dostopno na: https://www.amnesty.org/en/documents/pol40/7772/2024/en/ (obiskano: 6. 1. 2025). 109 Akt o umetni inteligenci, uvodne točke 12–20. 110 Prav tam, uvodna točka 16. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 341, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij na daljavo, ki se lahko uporabljajo za obdelavo biometričnih podatkov velikega števila oseb brez njihovega dejavnega sodelovanja.111 Pri sistemih »v realnem času« se zajemanje biometričnih podatkov, primerjava in identifikacija izvedejo takoj ali skoraj takoj, v vsakem primeru pa brez večje zamude. V zvezi s tem ne bi smelo biti prostora za izogibanje pravilom Akta o umetni inteligenci o uporabi zadevnih sistemov umetne inteligence »v realnem času«, saj je predvidena možnost manjših zamud. Sistemi »v realnem času« vključujejo uporabo gradiva »v živo« ali »skoraj v živo«, kot je videoposnetek, ki ga ustvari kamera ali druga naprava s podobno funkcionalnostjo. Pri »naknadnih« sistemih so bili biometrični podatki že zajeti, primerjava in identifikacija pa se izvedeta šele po daljšem času. To vključuje gradivo, kot so slike ali videoposnetki, ki jih ustvarjajo kamere CCTV ali zasebne naprave in je bilo ustvarjeno pred uporabo sistema v zvezi z zadevnimi fizičnimi osebami. Kot tveganje so izpostavljene tehnične netočnosti sistemov umetne inteligence, namenjenih za biometrično identifikacijo fizičnih oseb na daljavo, ki lahko vodijo do pristranskih rezultatov in diskriminatornih učinkov. Tveganje takšnih pristranskih rezultatov in diskriminatornih učinkov je zlasti pomembno v zvezi s starostjo, etnično pripadnostjo, raso, spolom ali invalidnostjo. Glede na tveganja, ki jih predstavljajo sistemi za biometrično identifikacijo na daljavo, bi jih bilo treba razvrstiti kot sisteme visokega tveganja.112 Poleg tega bi bilo kot sisteme visokega tveganja treba opredeliti sisteme umetne inteligence, namenjene uporabi za biometrično kategorizacijo, v skladu z občutljivimi lastnostmi ali značilnostmi, zaščitenimi na podlagi prvega odstavka 9. člena Uredbe 2016/679, ki ureja rabo biometričnih podatkov, če ti niso prepovedani s to uredbo, in sisteme za prepoznavanje čustev, ki niso prepovedani s to uredbo. Iz uvodne točke 30 Akta o umetni inteligenci izhaja, da bi bilo treba prepovedati sisteme za biometrično kategorizacijo, ki temeljijo na biometričnih podatkih fizičnih oseb, kot so obraz ali prstni odtisi posameznika, za sklepanje ali ugotavljanje o političnem prepričanju posameznika, članstvu v sindikatu, verskem ali filozofskem prepričanju, rasi, spolnem življenju ali spolni usmerjenosti. Prepoved ne bi smela zajemati zakonitega označevanja, filtriranja ali kategorizacije naborov biometričnih podatkov, pridobljenih v skladu s pravom EU ali nacionalnim pravom na podlagi biometričnih podatkov, kot je razvrščanje slik glede na barvo las ali oči, ki se lahko 111 Prav tam, uvodna točka 17. 112 Prav tam. Primerjaj tudi Resolucija o umetni inteligenci, točka 25. 342 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . na primer uporabljajo na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj.113 Akt o umetni inteligenci v točki h) prvega odstavka 5. člena določa, da je kot prepovedana praksa opredeljena uporaba sistemov umetne inteligence za biometrično identifikacijo fizičnih oseb na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, kar je posebej hudo poseganje v pravice in svoboščine zadevnih oseb, kolikor lahko vpliva na zasebno življenje velikega dela prebivalstva, vzbuja občutek stalnega nadzora ter posredno odvrača od uresničevanja svobode zbiranja in drugih temeljnih pravic. V tretjem odstavku 5. člena Akta o umetni inteligenci je določeno, da bo za vsako uporabo sistema za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj treba pridobiti izrecno in posebno dovoljenje sodnega organa ali neodvisnega upravnega organa države članice, katerega odločitev je zavezujoča. Tako dovoljenje bi bilo treba načeloma pridobiti pred uporabo sistema umetne inteligence za identifikacijo osebe ali oseb. Izjeme od tega pravila bi morale biti dovoljene v ustrezno utemeljenih nujnih primerih iz nujnih razlogov, tj. v primerih, ko je uporaba zadevnih sistemov potrebna do te mere, da je dejansko in objektivno nemogoče pridobiti dovoljenje pred začetkom uporabe sistema umetne inteligence. V takih nujnih primerih bi bilo treba uporabo sistema umetne inteligence omejiti na absolutni minimum, zanjo pa bi morali veljati ustrezni zaščitni ukrepi in pogoji, kot jih določa nacionalno pravo ter kot jih v okviru vsakega posameznega primera nujne uporabe določi organ za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj. Poleg tega bi moral organ za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj v takšnih primerih zaprositi za tako dovoljenje, hkrati pa navesti razloge, zakaj ga ni mogel zahtevati prej, brez nepotrebnega odlašanja in najpozneje v 24 urah. Če se tako dovoljenje zavrne, bi bilo treba takoj prenehati z uporabo sistemov za biometrično identifikacijo v realnem času, povezanih s tem dovoljenjem, vse podatke, povezane s tako uporabo, pa bi bilo treba zavreči in izbrisati. Resolucija o umetni inteligenci opozarja, da je lahko uporaba in zbiranje biometričnih podatkov za namene identifikacije na daljavo, na primer z izvajanjem prepoznavanja obrazov na javnih mestih ter v okviru avtomatiziranega mejnega nadzora, ki se uporablja za mejno kontrolo na letališčih, posebej tvegana za temeljne pravice in da se lahko 113 Akt o umetni inteligenci, uvodni točki 30 in 39. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 343, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij posledice razlikujejo glede na namen, okoliščine in obseg uporabe. Tehnične netočnosti sistemov umetne inteligence, namenjenih za biometrično identifikacijo fizičnih oseb na daljavo, lahko namreč vodijo do pristranskih rezultatov in diskriminatornih učinkov. Zato bi bilo treba prepovedati uporabo teh sistemov za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, razen v izrecno naštetih in ozko opredeljenih primerih, ko je uporaba nujno potrebna za dosego pomembnega javnega interesa, katerega pomen prevlada nad tveganji, kakor je določeno v točki h) prvega odstavka 5. člena Akta o umetni inteligenci. Uvodna točka 33 Akta o umetni inteligenci pojasnjuje, da gre pri izjemah za primer iskanja nekaterih žrtev kaznivih dejanj, vključno s pogrešanimi osebami, nevarnosti za življenje ali fizično varnost oseb ali varnost pred terorističnim napadom ter lokalizacijo ali identifikacijo storilcev ali osumljencev kaznivih dejanj, ki so navedena v prilogi k temu predpisu. Gre za kazniva dejanja, za katera je v zadevni državi članici predpisana zgornja meja zaporne kazni ali ukrepa, vezanega na odvzem prostosti, najmanj štiri leta in so v pravu te države članice opredeljena. Tak prag za zaporno kazen ali ukrep, vezan na odvzem prostosti, v skladu z nacionalnim pravom prispeva k zagotavljanju določenosti, da je kaznivo dejanje dovolj hudo, da bi lahko upravičilo uporabo sistemov za biometrično identifikacijo na daljavo v realnem času. Seznam kaznivih dejanj iz priloge k Aktu o umetni inteligenci temelji na 32-ih kaznivih dejanjih, naštetih v Okvirnem sklepu sveta z dne 13. junija 2002 o evropskem nalogu za prijetje in postopkih predaje med državami članicami (2002/584/PNZ).114 Pri tem je treba upoštevati, da so nekatera od teh kaznivih dejanj v praksi verjetno pomembnejša od drugih, saj bi bila lahko uporaba biometrične identifikacije na daljavo v realnem času predvidoma potrebna in sorazmerna v zelo različnem obsegu za praktično izvajanje lokalizacije ali identifikacije storilca ali osumljenca različnih navedenih kaznivih dejanj ter ob upoštevanju verjetnih razlik v resnosti, verjetnosti in obsegu škode ali morebitnih negativnih posledic. Uporaba sistema za biometrično identifikacijo na daljavo v realnem času v javno dostopnih prostorih se dovoli le, če je ustrezni organ za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj opravil oceno učinka na temeljne pravice in, če v tej uredbi ni določeno drugače, sistem registriral v podatkovni zbirki, kot je določeno v tem predpisu.115 114 UL L 190, 18. 7. 2002, strani 1–20. 115 Akt o umetni inteligenci, uvodne točke 33–38. 344 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . V nacionalni zakonodaji Republike Slovenije procesne določbe ZKP še ne vsebujejo ustreznih določb o umetni inteligenci. Za obe področji, kazensko materialno in kazensko procesno pravo, bo zakonodajalec seveda najprej moral preveriti, kako in ali sploh lahko uporabi že sprejete zakonodajne rešitve tudi za sisteme umetne inteligence. Potrebno bo intenzivno delo zakonodajalca, da bo določil, v katerih primerih bo državni tožilec moral pridobiti sodne odredbe in v katerih bo, podobno kot pri uporabi nekaterih prikritih preiskovalnih ukrepov, za odredbe ali dovoljenja pristojen sam ali pa bodo dovolj le policijska pooblastila.116 Uvodna točka 31 Akta o umetni inteligenci opozarja, da lahko umetnointeligenčni sistemi, ki zagotavljajo družbeno točkovanje fizičnih oseb s strani javnih ali zasebnih akterjev, vodijo do diskriminatornih rezultatov in izključitve nekaterih skupin. Kršijo lahko pravico do dostojanstva in nediskriminacije ter vrednote enakosti in pravičnosti. Taki umetnointeligenčni sistemi ocenjujejo ali razvrščajo fizične osebe ali skupine fizičnih oseb na podlagi več podatkovnih točk, povezanih z njihovim družbenim vedenjem v več kontekstih ali znanimi, predpostavljenimi ali predvidenimi osebnimi ali osebnostnimi značilnostmi v določenih časovnih obdobjih. Število družbenih točk, dodeljenih s strani takih sistemov, lahko vodi do škodljivega ali neugodnega obravnavanja fizičnih oseb ali celotnih skupin oseb v družbenih kontekstih, ki niso povezani s kontekstom, v katerem so bili podatki prvotno ustvarjeni ali zbrani, ali do škodljivega obravnavanja. Prav tako je kot prepovedana praksa opredeljeno individualno napovedno policijsko delo, ki temelji izključno na profiliranju oseb. Resolucija o umetni inteligenci ugotavlja, da je napovedno policijsko delo ena od aplikacij umetne inteligence na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj, vendar opozarja, da se pri napovednem policijskem delu analizirajo nabori podatkov, potrebni za identifikacijo vzorcev in korelacij, ne more pa se podati odgovor na vprašanje vzročnosti. Glede na različne vrste uporabe prepoznavanja obrazov, kot so med drugim preverjanje/avtentifikacija (tj. ujemanje neposrednega obraza s fotografijo v osebnem dokumentu, npr. pametne meje), identifikacija (tj. ujemanje fotografije z zbirko fotografij) in odkrivanje (tj. odkrivanje obrazov v realnem času iz virov, kot je posnetek s CCTV, in njihovo povezovanje s podatkovnimi zbirkami, npr. nadzor v realnem času), pri čemer ima vsaka od njih različne posledice za varstvo temeljnih pravic, je bila izpostavljena kritika glede ciljnega zbiranja slik obrazov s spleta ali 116 Več o tem Ferlinc, 2024. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 345, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij posnetkov sistema televizije zaprtega kroga (CCTV) za vzpostavitev ali razširitev podatkovnih zbirk. Resolucija o umetni inteligenci problematizira, da akterji preprečevanja, odkrivanja in preiskovanja kaznivih dejanj in obveščevalne službe uporabljajo zasebne zbirke podatkov za prepoznavanje obrazov, kot je Clearview AI, ki je zbirka podatkov, sestavljena iz več kot treh milijard slik, nezakonito zbranih s socialnih omrežij in drugih spletišč, tudi od državljanov EU. Uvodna točka 28 Resolucije o umetni inteligenci opozarja, da je Evropski parlament še posebej izpostavil, da tehnologija Clearview AI v EU ni v skladu z ureditvijo EU o varstvu podatkov. Opravljanje prepoznav mora biti skladno z načeli sorazmernosti in nujnosti ter veljavnim pravom, zahtevami najmanjšega obsega podatkov, točnosti podatkov, omejitve hrambe, varnosti podatkov in odgovornosti skladno s pravom države članice ali pravom EU. Resolucija o umetni inteligenci izpostavlja, da morajo biti tehnični standardi popolnoma v skladu s temeljnimi pravicami. Poziva tudi, naj se na javnih mestih trajno prepove uporaba avtomatizirane analize in/ali prepoznavanja na podlagi drugih človeških značilnosti, kot so hoja, prstni odtisi, DNK, glas ter drugi biometrični in vedenjski znaki, oziroma predlaga moratorij uvedbe sistemov prepoznavanja obrazov za namene preprečevanja, odkrivanja in preiskovanja kaznivih dejanj pri identifikaciji, razen če se uporabljajo izključno za identifikacijo žrtev kaznivih dejanj, saj je treba zagotoviti, da bodo rezultati nepristranski in nediskriminatorni, ob zagotavljanju strogih zaščitnih ukrepov proti zlorabi in strogega demokratičnega nadzora in spremljanja ter ob zagotovitvi, da je uporaba tehnologij nujna in sorazmerna. Znanstvena veljavnost tehnologije za prepoznavanje čustev, kot so kamere, ki zaznavajo gibanje oči in spremembe velikosti zenice, je na področju preprečevanja, odkrivanja in preiskovanja kaznivih dejanj sporna. Obstajajo resni pomisleki glede znanstvene podlage sistemov umetne inteligence, katerih namen je prepoznavanje čustev ali sklepanje o njih, saj se izražanje čustev med kulturami in okoliščinami ter celo pri enem samem posamezniku zelo razlikuje. Akt o umetni inteligenci pojem »sistem za prepoznavanje čustev« opredeljuje kot umetnointeligenčni sistem za prepoznavanje čustev ali namer ali za sklepanje o čustvih ali namerah fizičnih oseb na podlagi njihovih biometričnih podatkov. Med ključnimi pomanjkljivostmi takšnih sistemov so omejena zanesljivost, premajhna specifičnost in omejena možnost posplošitve. Zato lahko umetnointeligenčni sistemi, ki prepoznavajo čustva ali namere fizičnih oseb na podlagi biometričnih podatkov ali ki iz njih sklepajo, vodijo do diskriminatornih rezultatov ter posegajo v pravice in svoboščine zadevnih oseb. Glede na neravnovesje moči v kontekstu dela ali izobraževanja ter intruzivne narave 346 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . teh sistemov bi lahko takšni sistemi povzročili škodljivo ali neugodno obravnavo nekaterih fizičnih oseb ali celotnih skupin fizičnih oseb. Zato bi bilo treba prepovedati dajanje na trg, dajanje v uporabo ali uporabo sistemov umetne inteligence, namenjenih odkrivanju čustvenega stanja posameznikov v situacijah, povezanih z delovnim mestom in izobraževanjem. Ta prepoved ne bi smela zajemati umetnointeligenčnih sistemov, danih na trg izključno iz zdravstvenih ali varnostnih razlogov, kot so sistemi za terapevtsko uporabo.117 8 Zaključek Umetnointeligenčne sisteme je mogoče zlahka uporabljati v številnih različnih gospodarskih in družbenih sektorjih, tudi čezmejno, in lahko enostavno krožijo po vsej EU. Nekatere države članice so že preučile možnost sprejetja nacionalnih predpisov, s katerimi bi zagotovile, da je umetna inteligenca zaupanja vredna in varna ter da se razvija in uporablja v skladu s temeljnimi pravicami. Zato bi bilo treba zagotoviti dosledno in visoko raven varstva po vsej EU, da bi dosegli zaupanja vredno umetno inteligenco in hkrati preprečili razlike, ki ovirajo prosti pretok, inovacije, uvajanje in uporabo sistemov umetne inteligence. V Republiki Sloveniji še ni sprejet predpis, ki bi celovito urejal področje umetne inteligence. Opustitev zakonske ureditve, kadar je to nujno zaradi narave posamezne pravice, povzroči protiustavno pravno praznino. V kazenskem pravu in pri uporabi umetne inteligence v policiji in pravosodnih organih na področju kazenskih zadev je uporabo umetne inteligence treba presojati s stališča sorazmernosti in nujnosti ter na podlagi temeljite ocene posledic dovoljenja za uporabo tehnologij, ki zmanjšujejo vlogo ljudi pri preprečevanju, odkrivanju in preiskovanju kaznivih dejanj in sojenju. Nikakor se ne bi smelo zanemariti vpliva uporabe orodij umetne inteligence na pravice osumljencev do obrambe, zlasti težav pri pridobivanju smiselnih informacij o delovanju teh sistemov in posledično težav pri izpodbijanju njihovih rezultatov na sodišču, zlasti s strani fizičnih oseb, ki so subjekt preiskave in v ranljivem položaju ter so odvisne od izida ukrepov pristojnih javnih organov. Uporaba sistemov umetne inteligence za biometrično identifikacijo fizičnih oseb na daljavo, če lahko vpliva na zasebno življenje velikega dela prebivalstva, vzbuja občutek stalnega nadzora ter posredno odvrača od uresničevanja svobode zbiranja in drugih temeljnih pravic, je opredeljena kot prepovedana praksa. Poleg tega se zaradi takojšnjega učinka in 117 Akt o umetni inteligenci, uvodne točke 27–39, 43 in 44. K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 347, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij omejenih možnosti za nadaljnja preverjanja ali popravke v zvezi z uporabo takih sistemov, ki delujejo v realnem času, povečujejo tveganja za kršitev pravic in svoboščin zadevnih oseb v okviru dejavnosti preprečevanja, odkrivanja in preiskovanja kaznivih dejanj. Zaradi vpliva teh dejavnosti nanje je potrebno premišljeno uvajanje tehnologij umetne inteligence v okviru nadzora meje. Umetna inteligenca prinaša jasne koristi, kot so večja zmogljivost za odkrivanje goljufij in zlorab, boljši in pravočasen dostop do ustreznih informacij, večja zmogljivost pri sprejemanju odločitev in možnosti za večjo zaščito ranljivih ljudi. S stališča uporabnosti v sodnih postopkih gre sicer izsledke umetne inteligence presojati kot vsak drug dokaz, pri čemer sodna praksa za vrednotenje teh dokazov še ni povsem izoblikovana. Resolucija o umetni inteligenci pri tem podaja vrednostna stališča za vrednotenje predmetnih dokazov. Razmah tehnologij omogoča širok nabor novih dokazov, katerih vrednost je inherentno problematična, saj omogočajo zaključke o vzdrževanju utemeljenega suma, a je njihova veljavnost lahko sporna s stališča varovanja temeljnih pravic obtoženih, kar lahko privede do izločitve dokazov. Obenem so sodišča dolžna upoštevati konvencijsko in ustavno sodno prakso, ki zvišuje raven varstva človekovih pravic. Uporaba umetne inteligence vpliva na človekove odločitve in vse faze kazenskega postopka, zato morajo organi, ki uporabljajo sisteme umetne inteligence, spoštovati izredno visoke pravne standarde in zagotoviti človeško posredovanje, zlasti pri analizi podatkov, ki izhajajo iz teh sistemov. Uporaba umetne inteligence v pravosodju prinaša številne prednosti, kot so povečana učinkovitost, natančnost in pravičnost pravnih postopkov. Ključno je, da se pri uporabi umetne inteligence dosledno upoštevajo etična načela, zlasti načelo nediskriminacije, da bi se izognili morebitnim negativnim posledicam za posameznike in družbo kot celoto. EU temelji na ustavni zavezi o varovanju temeljnih in neodtujljivih človekovih pravic, zagotavljanju spoštovanja pravne države ter spodbujanju demokratične svobode in skupnega dobrega. Nepregledna narava odločanja o priseljevanju in beguncih ustvarja okolje, ki je zrelo za algoritemsko diskriminacijo. Etične smernice opozarjajo, da si sistemi umetne inteligence ne bi smeli neupravičeno podrediti ljudi ali jih siliti, zavajati, manipulirati z njimi, jih določati ali zbirati v skupine. Namesto tega bi morali biti zasnovani tako, da povečujejo, dopolnjujejo in krepijo kognitivna, socialna in kulturna znanja in spretnosti ljudi. To pomeni, da bi bilo treba zagotoviti človeški nadzor. Sistemi umetne inteligence lahko tudi bistveno spremenijo delovno področje. Podpirati bi morali ljudi v delovnem okolju in si prizadevati za ustvarjanje smiselnega dela. 348 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Literatura Amnesty International Slovenija, Akt o umetni inteligenci odpira vrata strukturnemu rasizmu, revija Akcija (2023), dostopno na: https://www.amnesty.si/akt-o-umetni-inteligenci (obiskano: 6. 1. 2025). Amnesty International, The Digital Border: Migration, Technology and Inequality (2024), dostopno na: https://www.amnesty.org/en/documents/pol40/7772/2024/en/ (obiskano: 6. 1. 2025). Bergman Klein center (2018) Algorithms and Justice Examining the role of the state in the development and deployment of algorithmic technologies, dostopno na: https://cyber.harvard.edu/sites/default/files/2019- 10/2019AIAlgorithmsJusticeOnePager.pdf (obiskano: 6. 1. 2025). Brezovnik, B. (2016) Digitalna forenzika in digitalni dokazi, organizacijsko statični vidik Fakulteta za varnostne vede univerze v Mariboru, dostopno na: https://core.ac.uk/download/pdf/67605432.pdf (obiskano: 12. 2. 2025). Celsi, R., Zomaya, A. (2025) Perspectives on managing AI Ethics in Digital age, dostopno na: https://www.mdpi.com/2078-2489/16/4/318 (obiskano: 25. 8. 2025). Ciudad Fontecha, P. (2023) AI in Border Control. Opportunity or threat? An analysis of Artificial Intelligence practices in border control in EU's Member States, dostopno na: https://www.ie- ei.eu/Ressources/FCK/image/Theses/2023/Ciudad_Fontecha_EUDIPLO_Thesis_2023.p df (obiskano: 6. 1. 2025). Dežman, Z., et al. (2003) Kazensko procesno pravo Republike Slovenije (Ljubljana: GV Založba). Dumbrava, C. (2021) Artificial intelligence at EU borders, EPRS | European Parliamentary Research Service, dostopno na: https://www.europarl.europa.eu/RegData/etudes/IDAN/2021/690706/EPRS_IDA(2021) 690706_EN.pdf?pnespid=k7duqPpaXRCNgvJ6VONLvYSpFVIjJhtSp5XGZAO9RQ (obiskan: 26. 1. 2025). Dumbrava, C. (2025) Measuring irregular migration and returns in the EU, EPRS | European Parliamentary Research Service, dostopno na: https://www.europarl.europa.eu/RegData/etudes/BRIE/2025/767210/EPRS_BRI(2025)7 67210_EN.pdf (obiskano: 26. 1. 2025). European Commission: Directorate-General for Migration and Home Affairs & Deloitte (2020) Opportunities and challenges for the use of artificial intelligence in border control, migration and security . Volume 1, Main report, Publications Office, https://data.europa.eu/doi/10.2837/923610. Evropska komisija (2018) Etične smernice neodvisne strokovne skupine na visoki ravni za umetno inteligenco, dostopno na: ethics_guidelines_for_trustworthy_ai-sl_88015DAF-E3CC-BBB8-AFE06902735B11DE_60438 (1).pdf (obiskano: 6. 1. 2025). Evropska komisija (2024) Akt o umetni inteligenci, Shaping Europe’s digital future, dostopno na: https://digital-strategy.ec.europa.eu/sl/factpages/ai-act (obiskano: 25. 1. 2025). Evropska komisija (2024) Umetna inteligenca – vprašanja in odgovori, Bruselj, dostopno na: https://ec.europa.eu/commission/presscorner/detail/sl/qanda_21_1683 (obiskano: 6. 1. 2025). Evropska komisija (2025) Evropski pristop k umetni inteligenci Shaping Europe’s digital future, dostopno na: https://digital-strategy.ec.europa.eu/sl/policies/european-approach-artificial-intelligence (obiskano: 25. 1. 2025). Ferlinc, A. (2024) Umetna inteligenca z vidika uporabe kazenskega prava, V središču, Ius Info, dostopno na: https://www.iusinfo.si/medijsko-sredisce/v-srediscu/umetna-inteligenca-z-vidika-uporabe-kazenskega-prava-312126 (obiskano: 14. 2. 2025). FRA, Agencija Evropske unije za temeljne pravice (2024) Pravilno ravnanje v prihodnje, Umetna inteligenca in temeljne pravice, poročilo, Luxemburg: Urad za publikacije, dostopno na: https://fra.europa.eu/sites/default/files/fra_uploads/fra-2020-artificial-intelligence_sl.pdf, K. Kolarič: Tveganja uporabe umetne inteligence pri preiskovanju in odkrivanju kaznivih 349, dejanj v kazenskih postopkih in nadzoru meja ter upravljanju migracij https://eur-lex.europa.eu/legal-content/SL/TXT/?uri=LEGISSUM:4365508 (obiskano: 13. 2. 2025). Gorkič, P., Šugman Stubbs, K. (2010) Praktikum za kazensko procesno pravo (Ljubljana: GV Založba). Gorkič, P., Šugman Stubbs, K., Fišer, Z. (2020) Temelji kazenskega procesnega prava (Ljubljana: GV Založba). Maciejewski, M., et al. (2024) Law and ICT (Pravo in IKT), Evropski parlament, Generalni direktorat za notranjo politiko Unije, Tematski sektor za pravice državljanov in ustavne zadeve, dostopno na: https://www.europarl.europa.eu/RegData/etudes/STUD/2024/762738/IPOL_STU(2024) 762738_EN.pdf (obiskano: 14. 2. 2025). Molnar, P., et al. (2018) Bots at the Gate, A Human Rights Analysis of Automated Decision Making in Canada’s Immigration and Refugee System, University of Toronto, dostopno na: https://ihrp.law.utoronto.ca/bots-gate-update (obiskano: 11. 2. 2025). Molnar, P. (2019) Technology on the margins: AI and global migration management from a human rights perspective, Cambridge International Law Journal, dostopno na: https://www.researchgate.net/publication/337780154_Technology_on_the_margins_AI_an d_global_migration_management_from_a_human_rights_perspective (obiskano: 6. 1. 2025). Nacionalni program spodbujanja razvoja in uporabe umetne inteligence v Republiki Sloveniji do leta 2025 (NpUI), dostopno na: https://www.gzs.si/Portals/Panoga-ZIT/Vsebine/novice-priponke/NpUI-SI-2025.pdf (obiskano: 6. 1. 2025). Raso, F., et al., Bergman Klein center (2018) ”Artificial Intelligence and Human Rights”—developed with support from the Digital Inclusion Lab, Global Affairs Canada, dostopno na: http://ai-hr.cyber.harvard.edu/ (obiskano: 6. 1. 2025). Ribičič, C. (2007) Evropsko pravo človekovih pravic, Izbrana poglavja (Ljubljana: Pravna fakulteta v Ljubljani). Selinšek, L. (2021) Vpliv avtomatizacije digitalnih forenzičnih preiskav na dokazovanje v kazenskem postopku, Revija za kriminalistiko in kriminologijo, 72(3), strani 219–232. Selinšek, L., Malovrh, M., v: Dvoršek, A., Selinšek, L. (ur.), (2008). Nekateri praktični problemi dokazovanja v kazenskih postopkih, poglavje digitalni dokazi, Univerza v Mariboru, Pravna fakulteta, Fakulteta za policijsko-varnostne vede, strani 57–77. Šalamon, N., et al. v: Korošec, D., Filipčič, K., Zdolšek, S. (ur.) (2019) Veliki znanstveni komentar posebnega dela kazenskega zakonika KZ-1, 3. knjiga (Ljubljana: Pravna fakulteta Univerze v Ljubljani, Uradni list Republike Slovenije). Šepec, M., et al. (2023) Zakon o kazenskem postopku s komentarjem, 1. knjiga (Ljubljana: GV Založba). Škrjanc, M. (2024) Načelo nediskriminacije pri uporabi umetne inteligence v pravosodnih sistemih, V središču, IUS-INFO, dostopno na: https://www.iusinfo.si/medijsko-sredisce/v- srediscu/nacelo-nediskriminacije-pri-uporabi-umetne-inteligence-v-pravosodnih-si (obiskano: 6. 1. 2025). Testen, F., Šturm, L. ( ur.) (2011) Komentar Ustave Republike Slovenije, dopolnitev-A (Kranj: Fakulteta za državne in evropske študije). Umetna inteligenca tudi na mejah v EU (2018) Računalniške novice, dostopno na: https://racunalniske-novice.com/umetna-inteligenca-tudi-na-mejah-v-eu/ (obiskano: 14. 2. 2025). Extended abstract The most technologically advanced nations of the 21st century will fully exploit AI's benefits. AI systems simulate human cognitive functions, such as learning and decision-making, offering economic, social, and security benefits. However, their application in law enforcement and judicial processes introduces complex challenges, particularly regarding bias, discrimination, and mass surveillance risks. 350 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Recognizing these concerns, the European Commission established an independent high-level expert group, which in 2019 issued the Ethical Guidelines for Trustworthy AI. These guidelines emphasize legality, ethics, and robustness, outlining seven core principles: human oversight, security, privacy, transparency, fairness, social well-being, and accountability. This Chapter will explore the implications of AI in crime prevention, border control, and judicial processes, assessing both its advantages and ethical risks. It will examine the EU’s legal human rights- based approach to AI regulation and discuss whether the Artificial Intelligence Act successfully balances security and human rights. The EU’s adoption of the Artificial Intelligence Act (Regulation (EU) 2024/1689) marks a significant step in crime detection, prevention, migration management, and border control, and in the context of the potential aspects of fundamental rights violations in the use of artificial intelligence systems. With this act, the EU becomes the first to implement a unified legal framework for AI development, deployment, and use, ensuring a well-regulated internal market. Ethical Guidelines for Trustworthy AI emphasize legality, ethics, human oversight, technical robustness and security, data privacy, transparency, fairness, non-discrimination and accountability. AI offers major advantages in crime prevention, investigation, and law enforcement, particularly in financial crime, money laundering, terrorism financing, and cybercrime. While these applications enhance security, they also pose risks to fundamental rights. Mass surveillance through AI remains a disproportionate measure, raising ethical and legal concerns. The European Parliament’s resolution of 6 October 2021, highlights that AI-based law enforcement tools, particularly machine learning, can reinforce bias and discrimination due to flawed algorithms and biased datasets. Historical data used in AI systems can embed discrimination, disproportionately affecting racial and ethnic groups. Poor data quality worsens AI’s inherent bias, further entrenching societal inequalities. Therefore, ensuring a balance between protecting fundamental rights and effective policing is crucial. AI’s role in criminal investigations requires careful regulation. While it can enhance efficiency, accuracy, and fairness in legal proceedings, the European Parliament resolution of 6 October 2021 on artificial intelligence in criminal law and its use by police and judicial authorities in criminal matters (2020/2016(INI)) highlights that AI-driven decisions must align with ethical principles to avoid harmful consequences for individuals and society. Non-discrimination remains a key concern, as AI systems can perpetuate biases unless properly managed. Transparency, fairness, and proportionality must be maintained to ensure AI serves justice without infringing on fundamental rights. The EU and its Member States bear responsibility for regulating AI use in law enforcement and judicial processes. Decision-making related to AI systems must be transparent, ensuring that fundamental rights are upheld and biases are not reinforced. AI’s deployment in crime prevention and detection must be proportional and necessary, ensuring its use remains constitutional and contributes to a just, humane legal system. By establishing clear legal and ethical boundaries, the EU aims to harness AI’s potential while safeguarding human rights. AI's role in law enforcement should focus on improving security without leading to unjust surveillance, discrimination, or breaches of fundamental freedoms. Ethical AI implementation is essential for maintaining trust and ensuring that technological advancements benefit society equitably. V DOI PLIV » MEHKEGA PRAVA « NA https://doi.org/ 10.18690/um.pf.11.2025.13 PRAVNE POSLEDICE ZA ISBN 978-961-299-086-2 PONUDNIKE SISTEMA UMETNE INTELIGENCE V OKVIRU AKTA O UMETNI INTELIGENCI NATALIJA KUNSTEK Kunstek consulting, d.o.o., Maribor, Slovenija info@taxconsulting.si Pravni predpisi EU so usmerjeni v varovanje uporabnika sistema Ključne besede: umetna inteligenca, umetne inteligence na način, da je ponudnik sistema umetne Akt o umetni inteligenci, inteligence dolžan le mehko pravo, -tega umestiti v ustrezni razred tveganja, ki je opredeljen v Aktu o umetni inteligenci. Takšna razvrstitev smernice Evropske komisije, stališča davčnega organa omogoča uporabniku opredelitev tveganja, s katerim se sooča ob uporabi posameznega sistema umetne inteligence. Izvajanje Akta o umetni inteligenci v posameznih primerih s smernicami predpisuje Evropska komisija. To poglavje se ukvarja z vprašanjem, ali lahko smernice kot mehko pravo neposredno vplivajo na izrekanje sankcij, opredeljenih z Aktom o umetni inteligenci, ki so določene za ponudnike sistema umetne inteligence. Nadalje pa v tem kontekstu analizira vpliv t. i. mehkega prava oziroma smernic, pojasnil in drugih pisanj, ki jih izdajo nacionalni organi držav članice EU, in sicer Republike Slovenije, kot so pojasnila davčnega organa, na izvajanje Akta o umetni inteligenci. DOI THE IMPACT OF SOFT LAW ON https://doi.org/ 10.18690/um.pf.11.2025.13 ISBN ONSEQUENCES FOR L EGAL CAI 978-961-299-086-2 SYSTEM PROVIDERS WITHIN THE FRAMEWORK OF THE ARTIFICIAL INTELLIGENCE ACT NATALIJA KUNSTEK Kunstek consulting, d.o.o., Maribor, Slovenia info@taxconsulting.si Keywords: The regulation of European legislation is moving towards the artificial intelligence, protection of users of artificial intelligence (AI) systems in such a Artificial Intelligence Act, soft law, way that AI system providers are required to categorize their European Commission systems into an appropriate risk class, as defined under the Guidelines, Tax Authority rulings Artificial Intelligence Act. This classification enables the user to define the risks they face when using a specific AI system. The implementation of the Act in individual cases is prescribed by the European Commission's Guidelines. This chapter, focusing on the influence of the European Commission’s Guidelines on the enforcement of the Artificial Intelligence Act, addresses the question of whether the Guidelines affect the imposition of penal provisions as stipulated by the Act for AI system providers. Furthermore, it analyzes the impact of "soft law," such as rulings from the tax authority, and other writings in Slovenia, and their effect on the implementation of the Act. N. Kunstek: Vpliv »mehkega prava« na pravne posledice za ponudnike sistema umetne 353, inteligence v okviru Akta o umetni inteligenci 1 Uvod Predpisi EU so usmerjeni v varovanje uporabnika sistema umetne inteligence na način, da je ponudnik takega sistema dolžan le-tega umestiti v ustrezni razred tveganja, ki je opredeljen v okviru Uredbe (EU) 2024/1689 Evropskega parlamenta in Sveta z dne 13. junija 2024 o določitvi harmoniziranih pravil o umetni inteligenci in spremembi uredb (ES) št. 300/2008, (EU) št. 167/2013, (EU) št. 168/2013, (EU) 2018/858, (EU) 2018/1139 in (EU) 2019/2144 ter direktiv 2014/90/EU, (EU) 2016/797 in (EU) 2020/18281 (Akt o umetni inteligenci). Takšna razvrstitev omogoča uporabniku opredelitev tveganja, s katerim se sooča ob uporabi posameznega sistema umetne inteligence. Izvajanje Akta o umetni inteligenci v posameznih primerih s smernicami predpisuje Evropska komisija. To poglavje v monografiji obravnava vprašanje, ali smernice Evropske komisije vplivajo na izrekanje glob, opredeljenih z Aktom o umetni inteligenci, ki so v okviru tega predpisa določene za ponudnike sistema umetne inteligence. Nadalje pa analizira tudi vpliv t. i. mehkega prava oziroma smernic, pojasnil in drugih pisanj, ki jih izdajo nacionalni organi držav članic EU, in sicer Republike Slovenije, kot so pojasnila davčnega organa, na izvajanje Akta o umetni inteligenci. Temeljna teza tega poglavja je, da na pravne posledice, natančneje na izrekanje glob ponudnikom sistema umetne inteligence v okviru Akta o umetni inteligenci, vplivajo smernice Evropske komisije in drugi akti mehkega prava, ki jih sprejmejo nacionalni organi držav članic EU, primeroma pojasnila slovenskega davčnega organa. Pravno naravo mehkega prava so različni avtorji že raziskovali,2 niso pa še raziskovali njegovega neposrednega vpliva na pravne posledice, kot so sankcije oziroma globe za deležnike, ki jih zavezuje pravno pravilo, kar je analizirano v tem poglavju monografije. Avtorica v prvih dveh razdelkih analizira zgodovino in cilje Akta o umetni inteligenci. Nato pojasni način izvajanja Akta o umetni inteligenci tudi s pomočjo smernic Evropske komisije ter v tretjem in četrtem razdelku opredeli sankcije, ki jih določa Akt o umetni inteligenci. V petem razdelku avtorica obravnava smernice Evropske komisije, pravno zavezujoče delegirane akte in pristojnosti nacionalnih organov v zvezi z Aktom o umetni inteligenci. V šestem razdelku sledi analiza vpliva mehkega prava na doseganje ciljev predpisov EU in posledično uporabo kazenskih sankcij. 1 UL L 2024/1689, 12. 7. 2024. 2 Glej na primer Yamelska, 2021; Druzin, 2016; Stefan, 2014; Stefan et al., 2019. 354 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . 2 Zgodovina Akta o umetni inteligenci Število držav po svetu, ki oblikujejo in uvajajo zakonodajo ter politike za upravljanje umetne inteligence, narašča. Združene države Amerike (ZDA) so sprva zavzemale popustljiv pristop do umetne inteligence, vendar so se v zadnjem času okrepili pozivi k regulaciji. Bela hiša je objavila »Načrt za Listino pravic glede umetne inteligence« (Blueprint for an AI Bill of Rights) in sklop smernic za zaščito pravic ameriške javnosti v dobi umetne inteligence, predsednik Joe Biden pa je leta 2023 podpisal izvršni ukaz o umetni inteligenci. Kitajske vladne agencije so odobrile smernice o generativni umetni inteligenci, medtem ko je Združeno kraljestvo napovedalo pristop k regulaciji umetne inteligence, ki spodbuja inovacije in večinoma ureja umetno inteligenco z obstoječo zakonodajo. Na mednarodni ravni je Organizacija za gospodarsko sodelovanje in razvoj (OECD) leta 2019 sprejela nezavezujoča »Načela o umetni inteligenci«, UNESCO je leta 2021 sprejel »Priporočila o etiki umetne inteligence«, skupina G7 je leta 2023 dosegla dogovor o »Mednarodnih vodilnih načelih o umetni inteligenci«, Svet Evrope pa je maja 2024 sprejel mednarodno konvencijo o umetni inteligenci. Poleg tega v okviru novoustanovljenega partnerstva med EU in ZDA na področju tehnologije (Svet za trgovino in tehnologijo) EU in ZDA stremita k razvoju skupnega razumevanja načel, ki podpirajo zanesljivo in odgovorno umetno inteligenco. Septembra 2024 so ZDA, EU in Združeno kraljestvo podpisali prvo pravno zavezujočo mednarodno pogodbo o regulaciji umetne inteligence, ki poudarja človekove pravice in demokratične vrednote. Ta pogodba, ki je nastajala dve leti in vključuje več kot 50 držav, zahteva odgovornost za škodljive posledice umetne inteligence ter spoštovanje zasebnosti in enakopravnosti. V začetku leta 2024 je francoski predsednik Emmanuel Macron imenoval Anne Bouverot za posebno odposlanko za umetno inteligenco, da bi vodila priprave na »Francoski akcijski vrh o umetni inteligenci«, ki je potekal 10. in 11. februarja 2025 v Parizu. Cilj vrha je bil razširiti razprave o umetni inteligenci onkraj katastrofičnih tveganj ter vključiti teme, kot so vpliv na trg dela in okoljske vidike, ob hkratnem poudarjanju priložnosti, ki jih prinaša umetna inteligenca. Poleg tega so ZDA, EU, Združeno kraljestvo in druge države podpisale pravno zavezujočo pogodbo o umetni inteligenci, znano kot »Okvirna konvencija o umetni inteligenci«. Ta N. Kunstek: Vpliv »mehkega prava« na pravne posledice za ponudnike sistema umetne 355, inteligence v okviru Akta o umetni inteligenci pogodba določa ključna načela, ki jih morajo sistemi umetne inteligence upoštevati, kot so zaščita podatkov uporabnikov, spoštovanje zakonodaje in transparentnost. Vsaka država podpisnica mora sprejeti ustrezne zakonodajne, upravne ali druge ukrepe v skladu s smernicami konvencije. Ti dogodki poudarjajo globalna prizadevanja za vzpostavitev skupnih standardov in regulativnih okvirov za odgovoren razvoj in uporabo umetne inteligence.3 3 Cilji Akta o umetni inteligenci Skladno z uvodno točko 3 Akta o umetni inteligenci velja, da različna nacionalna pravila lahko povzročijo razdrobljenost notranjega trga in zmanjšajo pravno varnost za operaterje, ki razvijajo, uvažajo ali uporabljajo sisteme umetne inteligence. Zato je treba zagotoviti dosledno in visoko raven varstva po vsej EU, da bi dosegli zaupanja vredno umetno inteligenco in hkrati preprečili razlike, ki ovirajo prosti pretok, inovacije, uvajanje in uporabo sistemov umetne inteligence ter z njimi povezanih proizvodov in storitev na notranjem trgu. To bi se lahko doseglo z določitvijo enotnih obveznosti za operaterje (ponudnike umetne inteligence) ter zagotovitvijo enotnega varstva prevladujočih razlogov javnega interesa in pravic oseb na notranjem trgu na podlagi 114. člena Pogodbe o delovanju Evropske unije4 (PDEU). Akt o umetni inteligenci vključuje sprejetje pristopa, ki temelji na tveganju, pri čemer je pravna intervencija prilagojena konkretni ravni tveganja. Identificirane so štiri kategorije tveganj, in sicer nesprejemljivo tveganje, visoko tveganje, omejeno tveganje in minimalno ali ničelno tveganje. V okviru nesprejemljivega tveganja so prepovedane škodljive prakse umetne inteligence, ki predstavljajo jasno grožnjo varnosti, preživetju in pravicam ljudi. To so sistemi umetne inteligence, ki uporabljajo škodljive manipulativne 'subliminalne tehnike', sistemi umetne inteligence, ki izkoriščajo specifične ranljive skupine (fizična ali duševna invalidnost), sistemi umetne inteligence, ki jih javni organi uporabljajo ali so uporabljeni v njihovem imenu za namene socialnega točkovanja, pa tudi večina 3 Glej https://www.europarl.europa.eu/RegData/etudes/BRIE/2021/698792/EPRS_BRI(2021)698792_EN.pdf (obiskano: 7. 2. 2025). 4 UL C 202, 7. 6. 2016, strani 1–388. N. Kunstek: Vpliv »mehkega prava« na pravne posledice za ponudnike sistema umetne 357, inteligence v okviru Akta o umetni inteligenci 356 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . 'v realnem času' daljinskih biometričnih identifikacijskih sistemov v javno dostopnih prostorih za namene izvrševanja zakonodaje.5 V okvir visokega tveganje se uvrščajo sistemi, ki lahko negativno vplivajo na varnost ljudi ali njihove temeljne pravice. To so sistemi, ki se uporabljajo kot varnostna komponenta izdelka ali spadajo pod zakonodajo EU o usklajevanju zdravja in varnosti (npr. igrače, letalstvo, avtomobili, medicinske naprave, dvigala), in sistemi, uvedeni na osmih specifičnih področjih, navedenih v Prilogi III Akta o umetni inteligenci (npr. izvrševanje zakonodaje), ki jih lahko Evropska komisija po potrebi posodobi z delegiranimi akti. Omejeno tveganje predstavljajo sistemi umetne inteligence, ki komunicirajo z ljudmi (npr. klepetalni roboti), sistemi za prepoznavanje čustev, biometrični kategorizacijski sistemi in sistemi umetne inteligence, ki ustvarjajo ali manipulirajo s slikovnimi, avdio ali video vsebinami (npr. globoki ponaredki). Ti sistemi bi bili podvrženi omejenemu naboru obveznosti glede preglednosti.6 Minimalno ali nično tveganje pa predstavljajo vsi drugi sistemi umetne inteligence, ki bi se lahko razvijali in uporabljali v EU brez dodatnih pravnih obveznosti. Vendar se bodo tudi v ta namen oblikovali kodeksi ravnanja za spodbujanje ponudnikov nevisoko tveganih sistemov umetne inteligence, da prostovoljno uporabljajo obvezne zahteve za visoko tvegane sisteme umetne inteligence. V skladu z Aktom o umetni inteligenci države članice EU imenujejo enega ali več pristojnih organov, vključno z nacionalnim nadzornim organom, ki je zadolžen za nadzor nad uporabo in izvajanjem tega akta. Na ravni EU v ta namen deluje Evropski odbor za umetno inteligenco (sestavljen iz predstavnikov držav članic EU in Evropske komisije). Nacionalni organi za nadzor ocenijo skladnost operaterjev z obveznostmi in zahtevami za visoko tvegane sisteme umetne inteligence. Upravne globe različnih stopenj, odvisno od resnosti kršitve, so predvidene kot sankcije za neskladnost z Aktom o umetne inteligence.7 5 Akt o umetni inteligenci, uvodna točka 29. 6 Prav tam, uvodna točka 39. 7 Prav tam, uvodna točka 38. 4 Sankcije v primeru kršitve Sankcija je eden izmed elementov pravnega pravila.8 Pravno pravilo tako skupaj s sankcijo opozarja na vse tisto, kar omogoča razumeti pravnost vedenja in ravnanja, ki naj ga pravni subjekti udejanjajo, sicer sledi sankcija. Akt o umetni inteligenci predvideva visoke globe za subjekte, ki ne izpolnjujejo njegovih zahtev. Na ravni EU različni akterji, vključno z Evropsko komisijo, Odborom za umetno inteligenco, Uradom za umetno inteligenco, evropskima standardizacijskima telesoma (CEN in CENELEC) ter posvetovalnim forumom in znanstvenim panelom neodvisnih strokovnjakov, podpirajo izvajanje tega akta. Urad za umetno inteligenco, ustanovljen februarja 2024 znotraj Evropske komisije, zagotavlja nasvete glede izvajanja novih pravil, zlasti v zvezi z modeli splošne umetne inteligence, ter razvija kodekse ravnanja za podporo pravilni uporabi Akta o umetni inteligenci. Skladno z uvodno točko 179 Akta o umetni inteligenci je bilo treba kodekse prakse pripraviti najpozneje do 2. maja 2025, da bi ponudniki lahko pravočasno dokazali skladnost. Urad za umetno inteligenco zagotavlja posodabljanje pravil in postopkov razvrščanja glede na tehnološki razvoj. Skladno z uvodno točko 169 Akta o umetni inteligenci je izpolnjevanje obveznosti za ponudnike modelov umetne inteligence za splošne namene, določenih na podlagi tega akta, izvršljivo tudi z globami. V ta namen so določene ustrezne ravni glob za kršitev navedenih obveznosti, vključno z neizpolnjevanjem ukrepov, ki jih Evropska komisija zahteva v skladu s tem aktom, ob upoštevanju ustreznih zastaralnih rokov glede na načelo sorazmernosti. Vse odločitve, ki jih Evropska komisija sprejme na podlagi tega akta, so podvržene nadzoru Sodišča EU, vključno z njegovo neomejeno pristojnostjo glede kazni na podlagi 261. člena PDEU. Skladno z 99. členom Akta o umetni inteligenci države članice EU določijo pravila o izvajanju kazni, vključno z upravnimi globami, in o njih uradno obvestijo Evropsko komisijo ter do datuma začetka uporabe tega akta zagotovijo, da jih bodo učinkovito izvajale. Kazni so sicer določene z Aktom o umetni inteligenci in se uporabljajo od 2. avgusta 2025.9 8 Pavčnik, 2020, stran 96. 9 Glej tudi uvodno točko 179 Akta o umetni inteligenci, ki navaja, da izvajanje kazni določijo države članice, in sicer: »Ta uredba se uporablja od 2. avgusta 2026. Vendar je zaradi nesprejemljivega tveganja, povezanega z uporabo umetne inteligence, splošne določbe te uredbe potrebno uporabljati že od 2. februarja 2025. Čeprav bodo te prepovedi polno učinkovale šele po vzpostavitvi upravljanja in izvrševanja te uredbe, je pomembno predvideti 358 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Akt o umetni inteligenci v dvanajstem poglavju določa zelo visoke kazni. Nominalno najvišja v višini 35 000 000 evrov je določena v 99. členu in je predpisana v primeru neupoštevanje prepovedi praks umetne inteligence iz 5. člena Akta o umetni inteligenci. Sicer pa Akt o umetni inteligenci v istem poglavju predpisuje tudi globo za podjetja, in sicer v višini do 7 % njegovega skupnega svetovnega letnega prometa za preteklo poslovno leto. Predmetni kazni se lahko izrečeta v odvisnosti od tega, kateri znesek je višji: 35 000 000 EUR ali 7 % letnega prometa. 5 Izvajanje Akta o umetni inteligenci Evropski urad za umetno inteligenco in nacionalni organi za nadzor trga so odgovorni za izvajanje, nadzor in izvrševanje Akta o umetni inteligenci.10 Upravljanje akta o umetni inteligenci bodo usmerjali trije svetovalni organi, in sicer Evropski odbor za umetno inteligenco, ki ga sestavljajo predstavniki držav članic EU, znanstveni odbor, ki ga sestavljajo neodvisni strokovnjaki s področja umetne inteligence, in svetovalni forum, v katerem so zastopane različne zainteresirane strani, tako komercialne kot nekomercialne. 5.1 Smernice Evropske komisije Skladno s 96. členom Akta o umetni inteligenci velja, da Evropska komisija pripravi smernice za izvajanje tega akta, in sicer zlasti glede določenih področij, primeroma prepovedanih praks iz 5. člena Akta o umetni inteligenci.11 Evropska komisija pri uporabo prepovedi, da se upoštevajo nesprejemljiva tveganja in zato, da to vpliva na druge postopke, kot denimo v civilnem pravu. Poleg tega bi morala infrastruktura, povezana z upravljanjem in sistemom ugotavljanja skladnosti, začeti delovati pred 2. avgustom 2026, zato je treba določbe o priglašenih organih in strukturi upravljanja uporabljati od 2. avgusta 2025. Glede na hiter tehnološki napredek in sprejetje modelov umetne inteligence za splošne namene bi bilo treba obveznosti za ponudnike modelov umetne inteligence za splošne namene uporabljati od 2. avgusta 2025. Kodekse prakse bi bilo treba pripraviti najpozneje do 2. maja 2025, da bi ponudniki lahko pravočasno dokazali skladnost. Urad za umetno inteligenco bi moral zagotavljati posodabljanje pravil in postopkov razvrščanja glede na tehnološki razvoj. Poleg tega bi morale države članice določiti pravila o kaznih, vključno z upravnimi globami, in o njih uradno obvestiti Komisijo ter do datuma začetka uporabe Akta o umetni inteligenci zagotoviti, da jih bodo učinkovito izvajale. Zato bi bilo treba določbe o kaznih uporabljati od 2. avgusta 2025«. 10 Glej https://digital-strategy.ec.europa.eu/sl/policies/ai-act-governance-and-enforcement (obiskano: 15. 2. 2025). 11 Določba 96. člena Akta o umetni inteligenci določa: »1. Komisija pripravi smernice za praktično izvajanje te uredbe, zlasti glede: (a) izpolnjevanja zahtev in obveznosti iz členov 8 do 15 in člena 25; (b) prepovedanih praks iz člena 5; (c) praktičnega izvajanja določb v zvezi z bistveno spremembo; (d) praktičnega izvajanja obveznosti glede preglednosti iz člena 50; (e) podrobnih informacij o razmerju te uredbe do harmonizacijske zakonodaje Unije iz Priloge I ter drugega ustreznega prava Unije, tudi kar zadeva doslednost pri njihovem izvrševanju; (f) uporabe opredelitve sistema umetne inteligence iz člena 3, točka 1. Komisija pri izdaji takih smernic posebno pozornost nameni potrebam MSP, vključno z zagonskimi podjetji, ter lokalnih javnih organov in sektorjev, na katere bo ta uredba najverjetneje vplivala. Smernice iz prvega pododstavka tega odstavka ustrezno upoštevajo splošno priznane najsodobnejše tehnološke dosežke na področju umetne inteligence ter ustrezne harmonizirane standarde in skupne N. Kunstek: Vpliv »mehkega prava« na pravne posledice za ponudnike sistema umetne 359, inteligence v okviru Akta o umetni inteligenci izdaji takih smernic posebno pozornost nameni potrebam malih in srednjih podjetij, vključno z zagonskimi podjetji, ter lokalnih javnih organov in sektorjev, na katere bo Akt o umetni inteligenci najverjetneje vplival. Smernice ustrezno upoštevajo splošno priznane najsodobnejše tehnološke dosežke na področju umetne inteligence ter ustrezne harmonizirane standarde in skupne specifikacije iz 40. in 41. člena Akta o umetni inteligenci. Evropska komisija na zahtevo držav članic ali Urada za umetno inteligenco ali na lastno pobudo po potrebi posodobi že sprejete smernice. 5.2 Pravno zavezujoči delegirani akti S pravno zavezujočimi delegiranimi akti lahko Evropska komisija dopolni ali spremeni nebistvene dele zakonodajnih aktov EU in tako podrobneje opredeli ukrepe.12 Evropska komisija sprejme delegirani akt, ki začne veljati, če mu Evropski parlament in Svet ne nasprotujeta. Evropska komisija13 sprejme delegirani akt na podlagi pooblastila, danega v besedilu pravnega akta EU, v tem primeru zakonodajnega.14 Tak akt sprejme v okviru strogih omejitev, saj delegirani akt ne sme spremeniti bistvenih elementov zakonodajnega akta. Skladno s 97. in 98. členom Akta o umetni inteligenci se izvaja prenos pooblastila za sprejemanje delegiranih aktov in postopka. Pooblastilo za sprejem delegiranih aktov je preneseno na Evropsko komisijo pod pogoji, ki so natančno opredeljeni v 97. členu Akta o umetni inteligenci. Tako se pooblastilo za sprejem delegiranih aktov iz šestega in sedmega odstavka 6. člena, prvega in tretjega odstavka 7. člena, tretjega odstavka 11. člena, petega in šestega odstavka 43. člena, petega odstavka 47. člena, tretjega odstavka 51. člena, četrtega odstavka 52. člena ter petega in šestega odstavka 53. člena prenese na Evropsko komisijo za obdobje pet let, pri čemer rok teče od 1. avgusta 2024. Evropska komisija pripravi poročilo o prenosu pooblastila najpozneje devet mesecev pred koncem petletnega obdobja. Prenos pooblastila se samodejno specifikacije iz členov 40 in 41 oziroma harmonizirane standarde ali tehnične specifikacije, ki so določeni na podlagi harmonizacijskega prava Unije. 2. Komisija na zahtevo držav članic ali Urada za umetno inteligenco ali na lastno pobudo po potrebi posodobi že sprejete smernice.« 12 Glej https://commission.europa.eu/law/law-making-process/types-eu-law_sl#types-of-eu-legal-acts (obiskano: 15. 1. 2024). 13 Glej https://commission.europa.eu/law/law-making-process/adopting-eu-law/implementing-and-delegated-acts_sl#implementing-acts (obiskano: 10. 1. 2024). 14 Delegirani akti, izdani skladno z 290. členom PDEU, so pravno zavezujoči akti, ki Komisiji omogočajo dopolnjevanje ali spreminjanje nebistvenih delov zakonodajnih aktov EU. Izvedbeni in delegirani akti imajo lahko obliko uredb ali direktiv. Delegirani akt o kibernetski varnosti za elektroenergetski sektor je predlagan kot delegirani akt v obliki uredbe (Toftegaart, 2020, stran 3). 360 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . podaljšuje za enako dolga obdobja, razen če Evropski parlament ali Svet nasprotuje temu podaljšanju najpozneje tri mesece pred koncem vsakega obdobja. Za razliko od tega se prenos pooblastila iz šestega odstavka 6. člena, prvega odstavka 7. člena, prvega in enajstega odstavka 3. člena, petega in šestega odstavka 43. člena, petega odstavka 47. člena, tretjega odstavka 51. člena, četrtega odstavka 52. člena in petega in šestega odstavka 53. člena lahko kadarkoli prekliče s strani Evropskega parlamenta ali Sveta. S sklepom o preklicu preneha veljati prenos pooblastila iz navedenega sklepa. Sklep začne učinkovati dan po njegovi objavi v Uradnem listu EU ali na poznejši dan, ki je določen v navedenem sklepu. Sklep ne vpliva na veljavnost že veljavnih delegiranih aktov. Evropska komisija se pred sprejetjem delegiranega akta posvetuje s strokovnjaki, ki jih imenujejo države članice EU, v skladu z načeli, določenimi v Medinstitucionalnem sporazumu z dne 13. aprila 2016 o boljši pripravi zakonodaje.15 Evropska komisija takoj po sprejetju delegiranega akta o njem sočasno uradno obvesti Evropski parlament in Svet. Delegirani akt začne veljati le, če mu niti Evropski parlament niti Svet ne nasprotujeta v roku treh mesecev od uradnega obvestila Evropskemu parlamentu in Svetu o tem aktu ali če pred iztekom tega roka tako Evropski parlament kot Svet obvestita Evropsko komisijo, da mu ne bosta nasprotovala. Ta rok se na pobudo Evropskega parlamenta ali Sveta podaljša za tri mesece.16 Skladno z 98. členom je opredeljen postopek v odboru, ki pomaga Evropski komisiji. Gre za odbor v smislu Uredbe (EU) št. 182/2011 Evropskega parlamenta in Sveta z dne 16. februarja 2011 o določitvi splošnih pravil in načel, na podlagi katerih države članice nadzirajo izvajanje izvedbenih pooblastil Komisije.17 5.3 Pristojnosti nacionalnih organov v zvezi z Aktom o umetni inteligenci Kot je bilo omenjeno v tretjem razdelku, države članice EU na podlagi Akta o umetni inteligenci imenujejo enega ali več pristojnih organov, vključno z nacionalnim nadzornim organom, ki je zadolžen za nadzor nad uporabo in izvajanjem tega akta. Nacionalni organi za nadzor ocenijo skladnost operaterjev z obveznostmi in zahtevami za visoko tvegane sisteme umetne inteligence. Upravne 15 Glej https://eur-lex.europa.eu/legal-content/sl/LSU/?uri=oj:JOL_2016_123_R_0001 (obiskano: 22. 6. 2025). 16 Določba 73. člena Akta o umetni inteligenci. 17 UL L 55, 28. 2. 2011, strani 13–18. N. Kunstek: Vpliv »mehkega prava« na pravne posledice za ponudnike sistema umetne 361, inteligence v okviru Akta o umetni inteligenci globe različnih stopenj, odvisno od resnosti kršitve, so predvidene kot sankcije za neskladnost z Aktom o umetni inteligenci. V Republiki Sloveniji med nacionalne organe, ki pobirajo globe, sodi tudi Finančna uprava RS (FURS), ki je pristojna za pobiranje obveznih dajatev in izterjavo drugih denarnih nedavčnih obveznosti. Ti so prihodek proračuna države in posredno proračuna EU.18 FURS lahko z namenom izvajanja pravice davčnih zavezancev do informiranja v zvezi s svojim delovanjem izdaja stališča davčnega organa iz 13. člena Zakona o davčnem postopku19 (ZDavP-2). 6 Vpliv mehkega prava na doseganje ciljev predpisov EU in uporaba kazenskih sankcij 6.1 Mehko pravo in njegov vpliv na izvajanje zakonodaje Mehko pravo ali v instrumentih določena pravila ravnanja, ki nimajo pravne narave kot take, vendar imajo določen (posredni) pravni učinek, in katerih namen je doseči praktičen učinek, se od nekdaj uporablja, da bi se ublažilo pomanjkanje formalne zakonodajne pristojnosti in/ali sredstev za uveljavljanje. Kot tako je bilo značilno za mednarodno javno pravo.20 Na ravni EU mehko pravo zajema vse od zelenih in belih knjig, sklepov Sveta, skupnih izjav, resolucij Sveta, kodeksov ravnanja, smernic, sporočil in priporočil, pa do pojava, znanega pod imenom »koregulacija«. Zajema tudi postopke, kot je »odprta metoda usklajevanja«. Pri tem je treba omeniti, da PDEU izrecno predvideva nekatere instrumente mehkega prava, zlasti priporočila in sporočila, katerim je v tem prispevku namenjenega največ poudarka.21 18 Finančna uprava Republike Slovenije, https://www.fu.gov.si/placevanje_in_izvrsba/podrocja/placevanje_davkov_in_drugih_dajatev/ (obiskano: 31. 8. 2025). 19 Uradni list RS, št. 13/11 – UPB, 32/12, 94/12, 101/13 – ZDavNepr, 111/13, 22/14 – odl. US, 25/14 – ZFU, 40/14 – ZIN-B, 90/14, 91/15, 63/16, 69/17, 13/18 – ZJF-H, 36/19, 66/19, 145/20 – odl. US, 203/20 – ZIUPOPDVE, 39/22 – ZFU-A, 52/22 – odl. US, 87/22 – odl. US, 163/22, 109/23 – odl. US, 131/23 – ZORZFS in 100/24. 20 Sarsahra, 2023, stran 1. 21 Evropski parlament, delovni dokument, stran 3. 362 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Dokumenti, ki bi jih lahko uvrstili pod mehko pravo, so smernice, ki se jih deležniki po navadi držijo, kar postavlja pod vprašaj njihovo pravno naravo. Po eni strani gre za mehko pravo, po drugi strani pa dokumenti včasih predvidevajo tudi pravno sankcijo, kar je tipično za klasične pravne norme.22 Že skoraj 20 let nazaj sta Peters in Pagotto trdila, da je mehko pravo v penumbri prava.23 Lahko ga bolj ali manj zlahka ločimo od zgolj političnih dokumentov, odvisno od njegove bližine prototipu prava. Ugotovitve, pridobljene s preučevanjem mednarodnega mehkega prava, so relevantne za mehko pravo EU kljub določenim razlikam med temi pravnimi ureditvami. Sem tako sodijo smernice Evropske komisije kot tudi informacije davčnega organa, ki so relevantne za namene tega poglavja v monografiji. Mehko pravo EU ustvarjajo institucije, države članice in zasebni akterji. Peters in Pagotto24 navajata, da lahko pravne učinke aktov mehkega prava razvrstimo glede na njihovo povezanost s trdim pravom. Tako praktični kot normativni vidiki spodbujajo zanašanje na mehko pravo. Preučevanje pravnih posledic nespoštovanja mehkega prava kaže, da se mehanizmi nadzora nad skladnostjo za trdo in mehko mednarodno pravo zbližujejo. Poleg tega so nekateri dejavniki skladnosti neodvisni od teoretične trdote ali mehkobe določene norme. S tega vidika je povsem smiselno izhajati iz enakih izhodišč, ko želimo med sabo primerjati mehko pravo na nivoju institucij EU, kot so smernice Evropske komisije, in mehko pravo lokalne finančne uprave Republike Slovenije, kot so pojasnila, ki jih izdaja FURS. V obeh primerih je namreč naloga mehkega prava pojasnjevanje ali dopolnjevanje izvajanja trdega prava. Navedeno tudi napotuje na upravičeno primerjalno analizo za mehko pravo EU, kot so smernice Evropske komisije, in mehko pravo države članice EU, primeroma pojasnila FURS. Po mnenju Korkea-aho empirični dokazi kažejo, da bi mehki mehanizmi uveljavljanja mehkega prava lahko racionalizirali zakonodajno ukrepanje s ponujanjem informacij in upravnih virov, potrebnih za vodenje učinkovitih postopkov za ugotavljanje kršitev. Upravljanje implementacije prek množice, ki uporablja mehko pravo, 22 Brkan, 2023, stran 1. 23 Peters in Pagotto, 2006, stran 2. 24 Prav tam. N. Kunstek: Vpliv »mehkega prava« na pravne posledice za ponudnike sistema umetne 363, inteligence v okviru Akta o umetni inteligenci zmanjša obremenitev primerov, saj se težave rešujejo med udeleženci z uporabo mehkega prava brez sodnega posredovanja.25 Mehko pravo lahko tudi poveča legitimnost vladanja in navsezadnje razsojanja. Korkea-aho trdi, da je mehko pravo nujno za razvoj in izvajanje določb direktiv. Navaja namreč, da tovrstno izvajanje mehkega prava, ki je tukaj imenovano administrativno sklepanje, uteleša delo, ki ga prevzame več akterjev v obliko smernic mehkega prava. Za sprostitev polnega (legitimizirajočega) potenciala mehkega prava in njegove uporabe s strani sodišč pa zaključuje, da je potrebno opozoriti na nejasne pravne avtoritete mehkega zakona.26 Po drugi strani pa Yamelska27 predlaga ločitev mehkega prava od tradicionalnega pojmovanja mednarodnega prava in sicer kot sistema univerzalno zavezujočih norm, ki so jih razvile države ob upoštevanju postmodernih trendov v transformaciji nacionalnih pravnih redov. Nadalje Stefan28 ugotavlja, da se argumentacija sodišča, ki temelji na pravnih načelih, vključi v nove instrumente mehkega prava, ki jih sprejme Evropska komisija. Mehko pravo torej vpliva na napolnjevanje splošnih načel, ko Sodišče EU odloča na temelju posameznega pravnega vira. Kot primer Stefan29 navaja zadevo BASF,30 v kateri je Splošno sodišče EU sprejelo odločitev na podlagi oziroma upoštevajoč mehko pravo, natančneje smernice Evropske komisije. Hkrati Stefan opozarja, da je Sodišče EU vendarle zadržano pri uporabi mehkega prava, ko ocenjuje učinke, ki jih lahko ima mehko pravo EU na nacionalni ravni. Menim, da bi v primeru smernic Evropske komisije na podlagi določil Akta o umetni inteligenci lahko veljalo podobno. Takšna posledica smernic Evropske komisije se, tako navaja Stefan, odraža v sodbah Sodišč EU, ki dopolnjujejo vzpostavitev t. i. virtuous circle,31 ki prispeva k celostnemu pravnemu okviru. Druzin32 odgovarja na vprašanje, zakaj se pogosto sledi mehkemu pravu, četudi nima pravne veljave. Po njegovem mnenju je uporaba mehkega prava odvisna od širine uporabe. Več kot je deležnikov, ki uporabljajo mehko pravo, prej se pojavi »učinek 25 Korkea-aho, 2014, stran 649. 26 Korkea-aho, 2015, stran 70. 27 Yamelska, 2021, stran 397. 28 Stefan, 2019, stran 45. 29 Prav tam. 30 Zadeva T-15/02, BASF AG proti Komisiji Evropske skupnosti, ECLI:EU:T:2006:74. 31 Gre za metaforično poimenovanje, ki ga je v slovenski jezik možno prevesti kot »Sklenjen krog izboljšav«. 32 Druzin, 2016, stran 1. 364 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . snežne kepe«,33 tj. učinek široke uporabe mehkega prava. Mehko pravo, kjer je njegova uporaba široka, je kot takšno edinstveno prilagojeno za spodbujanje prostovoljne sprejetosti, celo skladnosti. Oblikovalci politik lahko takšno mehko pravo strateško izkoristijo za spodbujanje pravne harmonizacije, vendar Druzin na tem mestu opozarja tudi na negativne posledice. Stefan34 trdi, da Sodišča EU ne priznavajo pomembnih posledic, ki jih lahko ima mehko pravo na pravice in obveznosti posameznikov. Takšen pristop lahko negativno vpliva na pravno uveljavljenost mehkega prava, saj ustvarja prostor, da se obsežen sklop instrumentov EU izogne sodnemu nadzoru. Poleg tega mehko pravo brez sodnega priznanja ne izpolni nekaterih svojih ključnih ciljev, kot so spodbujanje pravne varnosti, transparentnosti in dosledne uporabe pravil v večnivojskem sistemu upravljanja EU. Po mnenju Reismana35 je koncept mehkega prava koristen za določene podvige v mednarodnem pravu, kot so razumevanje procesa ustvarjanja mednarodnega prava in politike, ki stojijo za sprejetjem pravnih instrumentov. Vendar pa hkrati meni, da bi se uporabi mehkega prava morali izogibati mednarodni sodniki in arbitri. Z dodajanjem pridevnika »mehko« k pojmu prava vnašamo idejo, da se zakonitost pojavlja v stopnjah, pri čemer je pravilo mehkega prava pravilo, ki je le »rahlo« pravno po svojem značaju. To posledično vnaša negotovost v regulativni režim. Negotovost pa odvrača od vključevanja v gospodarske dejavnosti in je priljubljena tehnika avtoritarnih vlad. Zato bi morali mednarodni sodniki in arbitri uporabljati izključno pravo, ki ne nosi pridevnika »mehko«. Mehko pravo lahko služi kot osnovno sredstvo za interakcijo med običajnim in trdim pravom, kot navaja Yi.36 Pri tem Provencher37 poudarja, da je tudi organizacija za gospodarsko sodelovanje in razvoj (OECD), ki ustvarja davčne norme, pogosto imenovane mehko pravo, v središču davčne normativnosti. Tudi brez prisilne moči nad državami imajo ta pravila znaten vpliv na njihove davčne režime. Zaradi tega bi ti alternativni normativni procesi lahko izvajali pritisk na demokratično teorijo. Po mnenju Habermasa,38 ki trdi, da bo pravna norma veljavna, če se lahko njen naslovnik hkrati zaznava kot njen avtor, so prav ti demokratični procesi tisti, ki pravu 33 Metaforično poimenovanje metode, pri kateri se število sodelujočih postopno veča. 34 Stefan, 2014, stran 25. 35 Reisman, 2011, strani 25–30. 36 Yi, 2012, strani 94–100. 37 Provencher, 2018, strani 822–859. 38 Habermas, 2010, stran 130. N. Kunstek: Vpliv »mehkega prava« na pravne posledice za ponudnike sistema umetne 365, inteligence v okviru Akta o umetni inteligenci omogočajo uveljavljanje legitimnosti. Raziskave so namreč pokazale, da videz pravičnosti davčnega sistema in vtis skladnosti drugih davkoplačevalcev povečata vedenje v smeri davčne skladnosti.39 Različni avtorji torej različno opredeljujejo vpliv mehkega prava na izvajanje zakonodaje. Na eni strani se zagovarja, da mehko pravo pomaga razumeti zakonodajo, po drugi strani pa lahko njegov vpliv z množično uporabo postane primerljiv trdemu (zavezujočemu) pravu. Ker so smernice Evropske komisije in pojasnila davčnega organa kot instituta mehkega prava zelo razširjeni in množično uporabljeni, bi lahko imeli primerljive učinke kot trdo pravo. Pomembno vlogo pri tem imajo sodišča, ki pa, glede na zgoraj zapisano, zaenkrat naj še ne bi bila naklonjena priznavanju mehkega prava. Pa vendar v posameznih primerih, kot je v zgoraj omenjeni zadevi BASF, sodišča pri svojih argumentacijah uporabijo tudi mehko pravo. To pomeni, da bi v tem kontekstu lahko bili naslovniki per law v primeru Akta o umetni inteligenci sankcionirani, če ne bi spoštovali smernic Evropske komisije ali pojasnila slovenskega davčnega organa. Tako izrečeno sankcijo bi imeli nato možnost prerekati pred sodiščem. Če torej mehko pravo upošteva organ na nivoju EU ali finančna uprava na nivoju države članice, bi imel naslovnik sankcije možnosti, da pred sodiščem dokaže, da sankcija ni bila izrečena upravičeno. 6.2 Smernice Komisije Splošno so smernice oziroma priporočila namenjeni temu, da institucije s priporočili izrazijo mnenje in predlagajo določeno ravnanje, ne da bi pri tem naslovnikom nalagale pravne obveznosti. Priporočila niso zavezujoča.40 Ker smernic Evropske komisije v zvezi z izvajanjem Akta o umetni inteligenci še ni, namen tega poglavja v monografiji pa je predstaviti pravno naravo smernic EU in posledično vpliv le-teh na odgovornost ponudnikov umetne inteligence, v nadaljevanju povzemam primer, ki ga navaja Brkan.41 Ta prikazuje, kako lahko smernice, ki so mehko pravo, vplivajo na pravne posledice deležnikov (torej gre razumeti, da tudi ponudnikov umetne inteligence). 39 Provencher, 2018, strani 822–859. 40 Hubkova, 2022, stran 1. 41 Brkan, 2023, stran 1. 366 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Brkan navaja, da je »v Smernicah Komisije EU za osebje pri uporabi na spletu dostopnega orodja generativne umetne inteligence določeno, da zaposleni pri uporabi programov umetne inteligence, ki so prosto dostopni na internetu, ne sme deliti (oziroma v tak program vnesti) nobenih informacij, ki še niso javno dostopne, ali osebnih podatkov. Pri tem je v opombi k navedenemu določilu sklic na 17. člen Kadrovskih predpisov za uradnike EU,42 kršitev katerega je sankcionirana z disciplinskim ukrepom. Čeprav gre torej pri smernicah Evropske komisije za »mehko pravo«, dokument predvideva sankcije za kršitev.« Nadalje Brkanova navaja, da se je z vprašanjem pravne narave mehkega prava že nekajkrat soočilo tudi Sodišče EU. Primeroma je v zadevi AJFR43 glede sporne romunske reforme pravosodja Sodišče EU odločilo, da mora Romunija skladno z načelom lojalnega sodelovanja na podlagi 267. člena PDEU upoštevati poročila Evropske komisije, pripravljena na podlagi odločbe o preverjanju napredka Romunije na področjih reforme pravosodja in boja proti korupciji, čeprav imajo tovrstna poročila načeloma nezavezujočo naravo. Kljub temu, da torej poročila niso predvidela kazni, lahko neizvršitev sodbe Sodišča EU na podlagi drugega odstavka 260. člena PDEU44 privede do finančnih sankcij za državo. Z upoštevanjem formalno nezavezujočih aktov ima izkušnje tudi Republika Slovenija. Čeprav je Sodišče EU v zadevi Kotnik45 odločilo, da Sporočilo Komisije o bančništvu,46 ki je določalo nekatere pogoje za dovoljeno državno pomoč v času finančne krize, ni bilo zavezujoče, bi v primeru neupoštevanja tega sporočila slovensko reševanje bank de facto pomenilo nedovoljeno državno pomoč. 42 UL L 56, 4. 3. 1968, strani 1–7. 43 Združene zadeve, C-83/19, C-127/19, C-195/19, C-291/19, C-355/19 in C-397/19, Asociaţia “Forumul Judecătorilor din România”, ECLI:EU:C:2021:393. 44 Določba 260. člena PDEU se glasi: Če Sodišče Evropske unije ugotovi, da katera od držav članic ni izpolnila neke obveznosti iz Pogodb, mora ta država sprejeti ukrepe, potrebne za izvršitev sodbe Sodišča. Če Komisija meni, da zadevna država članica ni sprejela potrebnih ukrepov za izvršitev sodbe. Sodišča, lahko pred Sodiščem vloži tožbo, potem ko je tej državi omogočila, da predloži svoje pripombe. Pri tem določi višino pavšalnega zneska ali denarne kazni, ki naj jo plača zadevna država članica in ki je po njenem mnenju primerna glede na okoliščine zadeve. Če Sodišče ugotovi, da zadevna država članica ni izvršila njegove sodbe, ji lahko naloži plačilo pavšalnega zneska ali denarne kazni. Ta postopek ne posega v člen 259. 3. Če Komisija pred Sodiščem vloži tožbo v skladu s členom 258, ker zadevna država članica ni izpolnila obveznosti o obvestilu glede ukrepov o prenosu direktive, sprejete v skladu z zakonodajnim postopkom, lahko Komisija, kadar meni, da je ustrezno, določi višino pavšalnega zneska ali denarne kazni, ki jo šteje za ustrezno v danih okoliščinah in katero naj zadevna država članica plača. Če Sodišče ugotovi kršitev lahko naloži zadevni državi članici plačilo pavšalnega zneska ali denarne kazni, ki ne presega zneska, ki ga je določila Komisija. Obveznost plačila učinkuje od dneva, ki ga Sodišče določi v svoji sodbi.« 45 Zadeva C-526/14, Tadej Kotnik in drugi proti Državnemu zboru Republike Slovenije, ECLI:EU:C:2016:570. 46 UL C 216, 30. 7. 2013, strani 1–15. N. Kunstek: Vpliv »mehkega prava« na pravne posledice za ponudnike sistema umetne 367, inteligence v okviru Akta o umetni inteligenci V zvezi z vprašanjem pravne narave priporočil Evropske komisije oziroma »Recomentation«, kot je uporabljen termin v zelo stari sodbi iz leta 1989 v primeru Salvatore Grimaldi,47 je Sodišče EU sklenilo, da »evropski seznam industrijskih bolezni in Priporočilo Komisije 66/462 z dne 20. julija 1966 o pogojih za dodelitev odškodnine osebam, prizadetim zaradi poklicnih bolezni48 sama po sebi ne moreta dajati pravic posameznikom, na katere se ti lahko sklicujejo pred nacionalnimi sodišči. Vendar so nacionalna sodišča dolžna ta priporočila upoštevati pri odločanju o sporih, ki jim jih predložijo, zlasti kadar lahko osvetlijo razlago drugih določb nacionalnega prava ali prava Skupnosti.« Izhajajoč iz navedenega gre zaključiti, da je smernicam Evropske komisije treba slediti, vendar pa posameznikom ne podeljujejo pravic. Povedano drugače, smernice služijo kot orodje interpretacije zavezujočih pravnih virov pri odločanju v posameznih primerih, samostojno pa ne nudijo pravne podlage za podeljevanje pravic ali obveznosti. 6.3 Stališča davčnega organa Skladno s 13. členom ZDavP-2 so stališča Finančne uprave Republike Slovenije nezavezujoče in informativne narave. Je pa treba omeniti, da določba 14. člena ZDavP-2 določa tudi izdajo t. i. zavezujočih informacij davčnega organa. Ker pri teh pravni učinek zaradi zavezujoče narave ni vprašljiv, se osredotočamo na mehko pravo, torej na nezavezujoče informacije davčnega organa iz 13. člena ZDavP-2. Stališča davčnega organa iz 13. člena ZDavP-2 ne bi smela imeti pravnih učinkov, kot je bilo že argumentirano,49 saj ta določba izrecno določa, da ne gre za pravni vir. Prav tako stališča davčnega organa ne smejo biti v nasprotju s sodno prakso. Skladno s sodbo Upravnega sodišča I U 1563/2019-1150 velja, da gre za odstop od obveznosti upoštevanja pravnih stališč Upravnega sodišča glede uporabe materialnega pravila in pravil postopka, če je finančni organ podal pojasnilo, izdano na podlagi 13. člena ZDavP-2 na način, da je s svojim ravnanjem direktno nasprotoval sprejetemu stališču Ustavnega sodišča v odločbah Up-785/15-14 in Up- 47 Zadeva C-322/88, Salvatore Grimaldi proti Fonds des maladies professionnelles, ECLI:EU:C:1989:646. 48 UL C 147, 9. 8. 1966, strani 2696–2700. 49 Kunstek, 2024, stran 20. 50 ECLI:SI:UPRS:2021:I.U.1563.2019.11. 368 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . 788/15-15 z dne 27. 10. 2016.51 Po presoji sodišča v konkretnem primeru je takšno ravnanje nesprejemljivo. S takšnim ravnanjem je finančni organ v obravnavani zadevi, kjer je Ustavno sodišče52 sprejelo jasno stališče, da ima tožnik pravico do udeležbe v postopku davčnega inšpekcijskega nadzora pri družbi A. d.d., s svojo razlago materialnega prava direktno kršil načelo zakonitosti v upravnem postopku, v katerem je bil dolžan ravnati skladno z napotki iz predmetne sodbe Upravnega sodišča. V tej zadevi je torej Upravno sodišče presodilo, da pojasnilo davčnega organa v konkretni zadevi ni uporabljivo, saj nasprotuje sprejetemu stališču Ustavnega sodišča. V zvezi s tem se postavlja vprašanje, kdaj so predmetna stališča uporabljiva. Skladno s sodbo Vrhovnega sodišča X Ips 76/201453 velja, da so pojasnila slovenskega davčnega organa, ki ustrezajo definiciji navodila iz drugega odstavka 13. člena ZDavP-2, namenjena zagotavljanju enotne prakse oziroma so namenjena poenotenju prakse. Podobno navaja sodba Upravnega sodišča I U 697/2019:54 »Če pojasnila davčnega organa na splošen in abstrakten način razlagajo posamezne zakonske določbe in če so objavljena na njegovih spletnih straneh, ustrezajo definiciji navodila iz drugega odstavka 13. člena ZDavP-2. Takšna navodila pa predstavljajo zagotovilo, da bo praksa davčnih organov enotna oziroma so vsaj namenjena poenotenju te prakse.« Pojasnila davčnega organa so torej namenjena poenotenju razlag in stališč davčnega organa. Vprašanje, ki se na tem mestu postavlja, pa je, ali to pomeni, da lahko zavezanec, ki ne sledi pojasnilu slovenskega davčnega organa, dobi kazen, ki je določena s predpisom, na podlagi katerega je bilo izdano posamezno pojasnilo. Tudi Brkan55 navaja, da pri normah mehkega prava, ki jih sprejemajo javni organi, obstaja tveganje »videza zavezujočnosti«. Po njenem mnenju lahko sprejetje tovrstnih smernic daje vtis, da ni potrebe po sprejetju drugih, zavezujočih pravnih aktov. Nadalje je za mehko pravo (pre)pogosto značilno hkratno sprejemanje več različnih smernic, kar lahko povzroča neusklajenost ureditve. Dokler torej mehko pravo ne postane zavezujoča norma, bi ga bilo treba obravnavati kot nezavezujoče. 51 ECLI:SI:USRS:2016:Up.785.15. 52 Prav tam. 53 ECLI:SI:VSRS:2015:X.IPS.76.2014. 54 ECLI:SI:UPRS:2021:I.U.697.2019.22. 55 Brkan, 2023, stran 1. N. Kunstek: Vpliv »mehkega prava« na pravne posledice za ponudnike sistema umetne 369, inteligence v okviru Akta o umetni inteligenci Sicer pa, kot navajajo Trubeck, Cottrell in Nance,56 je mehko pravo osnova ali predpriprava za sprejetje zavezujočega pravnega akta, pri čemer velja, da dokler zavezujoči pravni akt ni sprejet, je mehko pravo nezavezujoče in pravnih učinkov ne bi smelo imeti. Po drugi strani pa Hart57 navaja, da je pravo, ki dejansko obstaja, pravo, pa če nam je všeč ali ne. Ta resnica je tako preprosta, da izgleda, da ji je smiselno slediti. Kaj so torej stališča davčnega organa oziroma smernice Evropske komisije? Je to pravo? Dejstvo je, da ne bi smela biti zavezujoča. Torej ne bi smela imeti pravnih učinkov na ponudnike umetne inteligence. Sicer pa ne smemo pozabiti, kar opozarja Grad, da ima načelo pravne države veliko obrazov, ki jim je vsem skupno spoštovanje prava.58 To lahko pomeni spoštovanje prava tudi na podlagi le »navidezno« zavezujočega akta davčnega organa. Če izhajamo iz zgoraj prestavljenega izhodišča, bi takšnemu aktu bilo treba slediti enako kot smernicam Evropske komisije. Razlog je zagotavljanje pravne varnosti tistih, ki jih takšno stališče zadeva. Pravno formalno gre namreč za interpretativno vrednost mehkega prava, in sicer v obeh primerih, tako v primeru smernic Evropske komisije kot v primeru stališč oziroma pojasnil slovenskega davčnega organa. Pa vendar se v praksi v obeh primerih nalagajo obveznosti v smislu sankcij na podlagi mehkega prava – tj. smernic Evropske komisije in stališč davčnega organa. Najverjetneje so prav sodišča tista, ki lahko mehko pravo obravnavajo kot zavezujoče (trdo) pravo. Kljub temu pa ostaja nejasno, na kakšen način lahko davčni organ ali Evropska komisija zagotovita izvajanje stališč, ki so usmerjena bodisi k bolj natančnim navodilom (npr. smernice Evropske komisije) bodisi k enotni obravnavi (npr. pojasnila davčnega organa). Drugače kot s sankcijami, verjetno težko. Če torej lahko kaznujemo nekoga, ki ne izvaja mehkega prava, gre z vidika pravne varnosti za trdo pravo, kar pomeni, da je le izdajatelj tisti, ki v tem primeru ne nosi nobene odgovornosti, dokler sodišče ne presodi, da pojasnilo ni uporabno. 56 Trubek et al., 2005, stran 6. 57 Hart, 1958, stran 593. 58 Grad, 2013, stran 5. 370 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . 7 Zaključek Pravni učinek nespoštovanja Akta o umetni inteligenci je zakonsko določena sankcija. Izhajajoč iz zgoraj navedenega je lahko predmetna sankcija izrečena tudi na podlagi vsebine smernic Evropske komisije oziroma stališč slovenskega davčnega organa. Acceto59 meni, da je učinkovitost prava odvisna od več dejavnikov, in sicer skladnosti sprejetih pravil z interesi njihovih naslovnikov, čim nižje stopnje spreminjanja ustaljenih vzorcev družbenega ravnanja ter stopnje dograjenosti pravnega sistema in dela nadzornih organov, ki zagotavljajo izvajanje pravil v praksi. Sliši se enostavno, vendar temu ni tako. Mehko pravo je namreč eden od primerov, kjer je skladnost sprejetih pravil lahko neskladna z interesi njihovih naslovnikov. Tudi ustaljeni vzorci družbenega ravnanja, ki so pred pojavom mehkega prava sledili zgolj trdemu pravu, so se precej spremenili. Podobno velja za delo nadzornih organov, ki velikokrat sledijo mehkemu pravu, kot da bi šlo za trdo pravo. Kot je bilo zgoraj razloženo, je mehko pravo osnova za zavezujoče pravo. Če je temu tako, mehko pravo ne bi smelo biti podlaga za izrek sankcije. Pa vendar, kot je bilo pojasnjeno, je smernice treba spoštovati, sicer lahko država utrpi sankcije. Po odločbi Sodišča EU v zadevi Grimaldi60 je smernicam Evropske komisije treba slediti. To posledično pomeni, da tudi država članica EU zahteva spoštovanje smernic. Če torej smernice niso spoštovane, lahko ponudnika umetne inteligence ali druge deležnike, ki jih zavezuje Akt o umetni inteligenci, doleti kazen oziroma globa, določena z Aktom o umetni inteligenci. Podobno velja za stališča slovenskega davčnega organa. Potrebno je spoštovati načelo varstva zaupanja v pravo. Če slovenski davčni organ sankcionira zavezance na podlagi svojih stališč, ki ne bi smela imeti pravnega učinka, je predmetno načelo zaupanja v pravo zagotovo omajano. Kako naj zavezanec zaupa v pravo, če je mehko pravo, kot je pojasnilo davčnega organa, zanj zavezujoče, sicer ga davčni organ sankcionira, ni pa zavezujoče za davčni organ, saj takrat ko davčnemu organu ne ustreza, predmetnih pojasnil v okviru svojih postopkov nadzora ne upošteva? To pomeni, da je sankcija pravni učinek pojasnila davčnega organa, ki doleti zavezanca 59 Accetto, 2011, stran 1. 60 Zadeva C-322/88, Salvatore Grimaldi proti Fonds des maladies professionnelles, ECLI:EU:C:1989:646. N. Kunstek: Vpliv »mehkega prava« na pravne posledice za ponudnike sistema umetne 371, inteligence v okviru Akta o umetni inteligenci v okviru nadzora davčnega organa, kar je v nasprotju z načelom pravne varnosti. Skladno s 13. členom ZDavP-2 sme namreč davčni organ le obveščati zavezanca oziroma – na podlagi zgoraj povzete sodne prakse slovenskih sodišč – izdajati pojasnila z namenom poenotene razlage dikcij davčne zakonodaje. Te razlage morajo veljati tako za davčni organ kot za zavezanca. Na ta način davčni organ ne bi smel posegati v razlago materialnega predpisa tako, da bi ta imela pravne učinke za zavezanca, med katere nedvomno sodi tudi izrek sankcije. V zvezi z načelom varstva zaupanja v pravo namreč velja, da je to načelo eno od temeljnih načel pravne ureditve v Republiki Sloveniji.61 V skladu z odločbami Ustavnega sodišča je kot takšno zaobjeto v načelu pravne države iz 2. člena Ustave Republike Slovenije.62 Tako je, na primer, zapisalo Ustavno sodišče v odločbi U-I- 89/99:63 »Ustava v 2. členu določa, da je Slovenija pravna in socialna država. Pravna država mora spoštovati načelo varstva zaupanja v pravo, pravno varnost in druga načela pravne države. Načelo varstva zaupanja v pravo zahteva, da so posamezne odločitve, ki so zakonite in sprejete brez vnaprejšnjih pridržkov ter po svoji naravi niso prehodnega značaja, stabilne. Pravo lahko uveljavlja svojo funkcijo urejanja družbenega življenja, če je v čim večji meri stalno in trajno. Tako pravo kot tudi celotno ravnanje vseh državnih organov mora biti predvidljivo, ker to zahteva pravna varnost. Načelo varstva zaupanja v pravo posamezniku zagotavlja, da mu država njegovega pravnega položaja ne bo brez razloga, utemeljenega v prevladujočem javnem interesu, poslabšala.« Accetto64 navaja, da je to načelo tako kot veliko drugih sicer podvrženo tehtanju, kadar se zoperstavi drugim ustavno varovanim dobrinam, a v jedru je nesporno postavljeno kot eno temeljnih načel slovenskega pravnega reda. Tudi Jaderova in Hubalkova65 v zvezi s tem trdita, da je »pravna varnost bistveni pogoj za avtonomijo posameznika, saj pomanjkanje gotovosti onemogoča načrtovanje prihodnjih aktivnosti in sprejemanje racionalnih odločitev. Tako kot druga ključna pravna 61 Tako Accetto, 2011, stran 1. 62 Uradni list RS, št. 33/91-I, 42/97 – UZS68, 66/00 – UZ80, 24/03 – UZ3a, 47, 68, 69/04 – UZ14, 69/04 – UZ43, 69/04 – UZ50, 68/06 – UZ121,140,143, 47/13 – UZ148, 47/13 – UZ90,97,99, 75/16 – UZ70a in 92/21 – UZ62a. 63 Sodba Ustavnega sodišča, Uradni list RS, št. 59/99, in OdlUS VIII, 147, ECLI:SI:USRS:1999:U.I.89.99. 64 Acceto, 2011, stran 1. 65 Janderová in Hubálková, 2021, strani 63–82. 372 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . načela obsega aksiološko lastnost, ki vpliva na razlago pravnih pravil in uporabo zakonskih predpisov. Zato bi se ga morale držati vse veje državne oblasti.« Na podlagi zapisanega gre zaključiti, da mehko pravo naj ne bi imelo pravnega učinka, ampak ga posredno vendarle pogosto ima. Glede smernic Evropske komisije je ta učinek razbrati na podlagi predpisanih sankcij za državo članico v primeru, ko smernice niso spoštovane, v primeru stališč davčnega organa pa na podlagi razlage davčnega organa, ki jim sledi davčni organ v primeru davčnega nadzora davčnega zavezanca. Torej je v uvodu izpostavljeno tezo, da na pravne posledice, natančneje na izrekanje glob ponudnikom sistema umetne inteligence v okviru Akta o umetni inteligenci, vplivajo smernice Evropske komisije in drugi akti mehkega prava, ki jih sprejmejo države članice EU, kot so na primer pojasnila slovenskega davčnega organa, treba potrditi. Kot izhaja iz zgoraj zapisanega, je smernice Evropske komisije, čeprav nimajo pravne veljave, torej treba spoštovati. Za razliko od teh so stališča slovenskega davčnega organa vseeno pisanja, ki so namenjena obveščanju davčnih zavezancev, ne pa razlagi materialnega predpisa. Kljub temu pa imajo posredni vpliv na pravne posledice za davčnega zavezanca, saj davčni organ svojim pisanjem sledi v primeru nadzora zavezanca. Morda bi bilo smiselno pravno naravo institutov mehkega prava, ki se uporablja in se mu sledi, kot so smernice Evropske komisije in stališča slovenskega davčnega organa, spremeniti v pravno zavezujoča stališča. Predvsem je težko razumeti, zakaj lahko slovenski davčni organ izdaja zavezujoče in nezavezujoče informacije. Če je davčni sistem pravno formalno nastavljen tako, da davčni organ pojasnila izdaja skladno s 13. členom ZDavP-2, hkrati pa nadzira njihovo izvajanje ter ima možnost na tej podlagi sankcionirati zavezance, ni mogoče zagotoviti spoštovanja načela varstva zaupanja v pravo. Četudi bi sodišča takšno ravnanje slovenskega davčnega organa korigirala tako, da ne bi priznala uporabe stališča davčnega organa, je to povezano z zahtevo po preveliki angažiranosti naslovnikov pojasnil za dosego cilja. Posledično takšno ravnanje ne omogoča pravne varnosti za naslovnika. Tako se izgublja zaupanje v pravo in v celoten sistem. V zvezi s tem se postavlja vprašanje, kakšna bi bila rešitev zadevnega problema. Morda bi bilo drugače, če bi bila pojasnila zavezujoča tako za naslovnika kot za izdajatelja, saj pravna narava in njihov vpliv na izrekanje sankcij v takem primeru ne bi bila več vprašljiva. Tako bi bilo lažje N. Kunstek: Vpliv »mehkega prava« na pravne posledice za ponudnike sistema umetne 373, inteligence v okviru Akta o umetni inteligenci spoštovati načelo zaupanja v pravo, in sicer brez vključevanja sodišč, kar posledično pomeni razbremenitev tudi le-teh. Literatura Accetto, M. (2011) Kako povrniti zaupanje v pravo (Ljubljana: IUS INFO medijsko središče, https://www.iusinfo.si/medijsko-sredisce/dnevne-novice/74908 (obiskano 31. 8. 2025). Brkan, M. (2023) Mehko pravo in »trde« pravne posledice (Ljubljana: IUS INFO medijsko središče, https://www.iusinfo.si/medijsko-sredisce/kolumne/mehko-pravo-in-trde-pravne-posledice-306488 (obiskano: 31. 8. 2025). Druzin, H. B. (2016) Why does Soft Law Have any Power Anyway?, Asian Journal of International Law, 7(2), strani 1–18. Evropska komisija (2024) Definicija deligiranih aktov, https://commission.europa.eu/law/law- making-process/adopting-eu-law/implementing-and-delegated-acts_sl#implementing-acts (obiskano: 31. 8. 2025). Evropska komisija (2024) Upravljanje in izvrševanje akta o umetni inteligenci, https://digital- strategy.ec.europa.eu/sl/policies/ai-act-governance-and-enforcement (obiskano: 15. 2. 2025). Evropska komisija (2024) Vrste pravnih aktov EU, https://commission.europa.eu/law/law-making- process/types-eu-law_sl#types-of-eu-legal-acts (obiskano: 31. 8. 2025). Finančna uprava Republike Slovenije (2024) Izmenjava podatkov, ki jih sporočajo operaterji platform (MRDP/DAC7), https://www.fu.gov.si/nadzor/podrocja/mednarodna_izmenjava/izmenjava_podatkov_ki_ji h_sporocajo_operaterji_platform_dpi_model_rules/dac7/#c9128 (obiskano: 29. 2. 2024). Finančna uprava Republike Slovenije (2024) Plačevanje davkov in drugih dajatev (https://www.fu.gov.si/placevanje_in_izvrsba/podrocja/placevanje_davkov_in_drugih_daja tev/#c491). Grad, F. (2013) Nomotehnika, pravna država in politika. (Ljubljana: Pravni letopis). Habermas, J. (2010) Droit et démocratie, entre faits et normes, Saint-Nicolas (Kanada: Les Presses de l’Université Laval). Hart, H. L. A. (1958) Positivism and the separation of law and morals, The Harvard Law Review, 71(4), strani 593–629. Janderova, J., Hubalkova, P. (2021) Legal Certainty – Protected Values and Partial Objectives (Czech Republic: The Case of the Czech Republic). Korkea-aho, E. (2014) Watering Down the Court of Justice. The Dynamics Between Network Implementation and Article 258 TFEU Litigation, European Law Journal, 5, strani 649–666. Korkea-aho, E. (2015) Legal interpretation of EU Framework directives, A Soft Law Approach, European Law Review 40(1), strani 70–88. Kunstek, N. (2024) Pravna narava stališč davčnega organa, Davčno finančna praksa, 7-8, strani 20– 20. Madiega Tambiama, A. (2024) Artificial intelligence act. Briefing EU legislation in progress, https://www.europarl.europa.eu/RegData/etudes/BRIE/2021/698792/EPRS_BRI(2021)6 98792_EN.pdf (obiskano: 31. 8. 2025). Odbor za pravne zadeve RS (2009) Uporaba instrumentov mehkega prava, https://www.europarl.europa.eu/meetdocs/2004_2009/documents/dt/653/653346/653346 sl.pdf. (obiskano: 31. 8. 2025). Pavčnik, M. (2020) Teorija prava, Prispevek k razumevanju prava, 3. razširjena, spremenjena in dopolnjena izdaja (Ljubljana: GV Založba). Peters, A., Pagotto, O. (2006) Soft Law as a New Mode of Governance, A Legal Perspective, NEWGOV – New Modes of Governance Project 4: Democracy & New Modes of Governance, (Basel: University of Basel). 374 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Provencher, A. (2018) Soft Laws and Tax Conformity: 'We are Not Accusing You of Being Illegal, We are Accusing You of Being Immoral' (Normativités alternatives et conformité fiscale), 50 RJTUM, strani 821–861. Reisman, W. M. (2011) Soft Law and Law Jobs, Journal of International Dispute Settlement, 2(1), strani 25–30. Sarsahara, A., et al. (2024) The Status of Soft Law in International Law and Related Theories Comparative Studies in Jurisprudence, Law, and Politics, 6(3), strani 239–258. Stefan, O. (2014) Helping Loose Ends Meet? The Judicial Acknowledgement of Soft Law as a Tool of Multi-Level Governance, King’s College London: Dickson Poon School of Law Legal Studies, Research Paper Series, paper no. 2014-18 (London: King's college London). Stefan, O., et al. (2019) EU Soft Law in the EU Legal Order: A Literature Review (London: King's college London). Tooftegard, O., et al. (2024) Operational Technology resilience in the 2023 draft delegated act on cyber security for the power sector—An EU policy process analysis, 54 Computer Law & Security Review, strani 1–12. Trubek, D. M., Cottrell, P., et al. (2005), 'Soft law', 'Hard Law,' and European Integration: Toward a Theory of Hybridity (ZDA: Univ. of Wisconsin Legal Studies Research Paper No. 1002). Yamelska, H. Y. (2021) The legal nature of soft law acts of the Council of Europe (Ukraina: Uzhhorod National University. Herald Series Law № 64). Yi, Z. (2012) On the Relation and Transformation of Customary and Soft Law, Journal of Shandong University (Philosophy and Social Sciences), 2, strani 94–100. Extended abstract The Artificial Intelligence Act (AI Act) represents a significant step in the regulation of artificial intelligence (AI) within the European Union (EU), aiming to protect users of AI systems. Under this legislation, AI system providers are obligated to classify their systems into appropriate risk categories as defined by the AI Act. This classification enables users to understand the potential risks associated with the use of specific AI systems. Non-compliance with the AI Act results in legally prescribed sanctions. A pertinent question arises: Can such sanctions be imposed based on the content of the European Commission's guidelines or the positions of the Slovenian tax authority? More specifically, European Commission guidelines are likely to influence the implementation of the AI Act, whereas the positions or opinions of the Slovenian tax authorities do not possess the same legal effect. Nevertheless, it is reasonable to pose a comparative question: is it indeed the case that the guidelines issued by the European Commission and the positions of Slovenian tax authorities can serve as a legal basis for the imposition of sanctions? Considering this contribution, the answer is affirmative. Accetto asserts that the effectiveness of the law depends on several factors, including the alignment of enacted rules with the interests of their addressees, minimal disruption of established social behavior patterns, and the degree of development of the legal system and the work of supervisory authorities that ensure the practical implementation of rules. While this may seem straightforward, it is not. Soft law exemplifies situations where enacted rules may conflict with the interests of their addressees. The emergence of soft law has significantly altered established social behavior patterns that previously adhered solely to hard law. Similarly, supervisory authorities often treat soft law as if it were hard law. As defined above, "soft law" serves as a foundation for binding law. If this is the case, "soft law" should not serve as a basis for imposing sanctions. However, as explained in this contribution, guidelines, for instance, must be observed; otherwise, the state may face sanctions. According to the judgment in Case C-322/88 of 1989, the European Commission's guidelines must be followed. Consequently, Member States are required to enforce compliance with these guidelines. Therefore, if the guidelines are not N. Kunstek: Vpliv »mehkega prava« na pravne posledice za ponudnike sistema umetne 375, inteligence v okviru Akta o umetni inteligenci adhered to, AI providers or other stakeholders bound by the AI Act may face penalties or fines as stipulated by the AI Act. Regarding the positions of the tax authority and their impact on the operations of the Financial Administration of the Republic of Slovenia (FURS), it is important to emphasize the principle of legal certainty. If the Slovenian tax authority sanctions taxpayers based on its positions, which should not have legal effect, this principle is undoubtedly undermined. According to Article 13 of the Tax Procedure Act (ZDavP-2), the tax authority is permitted only to inform the taxpayer. It should not interpret substantive regulations in a manner that would have legal effects on the taxpayer, including the imposition of sanctions. However, as indicated in this contribution (particularly by Brkan), the European Commission's guidelines, despite lacking legal force, must be observed. In contrast, the rulings of the Slovenian tax authority are intended to inform taxpayers rather than interpret substantive regulations. Nevertheless, it is unavoidable that they have an indirect impact on the legal consequences for taxpayers, as the tax authority adheres to its positions during audits. 376 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . M DOI OŽNOST UPORABE UMETNE https://doi.org/ 10.18690/um.pf.11.2025.14 INTELIGENCE PRI SODNEM ISBN 978-961-299-086-2 ODLOČANJU: PRIMER PASIVNE STVARNE LEGITIMACIJE PRI IZBRISNI TOŽBI JASNA HUDEJ Ustavno sodišče Republike Slovenije, Ljubljana, Slovenija jasnahudej@gmail.com Avtorica obravnava vprašanje, v kakšnem obsegu bi se lahko Ključne besede: umetna inteligenca, umetna inteligenca vključila v odločanje o izbrisni tožbi, ki je nepremičnine, urejena v Zakonu o zemljiški knjigi. Na vprašanje odgovarja po lastninska pravica, predhodni analizi narave postopka, v katerem se odloča o izbrisni zemljiška knjiga, izbrisna tožba, tožbi, pri čemer se osredotoči le na enega od vidikov tožbe, tj. na pasivna stvarna legitimacija, vknjižba, pasivno stvarno legitimacijo. Ob omejitvi na pravnoposlovni zemljiškoknjižno dovolilo, načelo zaupanja v zemljiško pridobitni način obravnava pogoje, ki morajo biti izpolnjeni na knjigo, pasivni strani, da je izbrisni zahtevek lahko utemeljen. Analizirani dobra vera so naslednji položaji: položaj neposrednega pridobitelja, položaj nadaljnjega pridobitelja pri zaporednem razpolaganju z nepremičnino in položaj nadaljnjega pridobitelja pri večkratnem razpolaganju z nepremičnino. Avtorica ugotavlja, da je zaradi svoje vloge človeški sodnik nenadomestljiv v pravdnem postopku, v katerem se odloča o izbrisni tožbi, več možnosti za vpeljavo umetne inteligence pa vidi v zemljiškoknjižnih postopkih, ki so vezani na ta pravdni postopek. DOI THE POSSIBILITY OF USING https://doi.org/ 10.18690/um.pf.11.2025.14 ISBN ARTIFICIAL INTELLIGENCE IN 978-961-299-086-2 JUDICIAL DECISION-MAKING: AN EXAMPLE OF PASSIVE SUBSTANTIVE STANDING JASNA HUDEJ Constitutional Court of Slovenia, Ljubljana, Slovenia jasnahudej@gmail.com Keywords: The chapter explores how artificial intelligence could be involved artificial intelligence, in the decision-making process regarding cancellation actions immovable property, ownership right, (Land Registry Act). The question is answered after first having land register, analysed the nature of the procedure in which a cancellation action cancellation action, passive substantive is decided, whereby the focus is put on one aspect of the action – standing, registration, passive substantive standing. Limited to the acquisition of land register permission, property rights through legal transactions, the conditions on the principle of trust in the land register, passive side that must be fulfilled are examined. The chapter good faith analyses the position of the direct acquirer, the position of the subsequent acquirer in consecutive dispositions of the immovable property, and the position of the subsequent acquirer in multiple dispositions of the immovable property. The author concludes that the human judge is irreplaceable in the litigation procedure, where a cancellation action is decided. However, greater potential for integrating artificial intelligence is seen in the land registry procedures associated with this litigation procedure. J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 379, legitimacije pri izbrisni tožbi 1 Uvod Umetna inteligenca1 ima vedno pomembnejšo vlogo v današnji družbi. Njen pomen narašča tudi v pravu. Postaja neizogiben pripomoček na področju oblikovanja, uporabljanja in razlaganja prava.2 V zadnjem času je vse bolj aktualno vprašanje, kakšne so možnosti uporabe umetne inteligence pri sodnem odločanju – ali bo nudila sodniku le pomembno oporo oziroma pomoč pri sojenju (npr. pri sestavi povzetkov pravnih besedil, pri sestavi prevodov, pri iskanju sodne prakse) ali pa bo sodnika lahko tudi nadomestila. Menim, da je odgovor na to vprašanje v veliki meri odvisen od narave postopka, v katerem sodnik odloča. Bolj kot je postopek tehničen, mehanski, večja je možnost uporabe umetne inteligence pri odločanju. V postopkih, kjer je potrebna kreativnejša vloga sodnika, kot je na primer vrednotenje, tehtanje pravnih položajev in zapolnjevanje pravnih standardov, pa je človeški sodnik nenadomestljiv. V tovrstnih postopkih pride namreč v ospredje kvaliteta človekove inteligence, ki temelji na izkušnjah, čustvih, intuiciji.3 Te kvalitete umetna inteligenca, ki temelji na umetnem (algoritemskem) programiranju in učenju iz podatkov, še ne premore. Ključna ovira, da umetna inteligenca ni sposobna soditi enako kvalitetno kot človeški sodnik, so torej iracionalni elementi sodnega odločanja, ki jih umetna inteligenca (še) ne more simulirati.4 Cilj pričujočega poglavja te monografije je ugotoviti, v kakšnem obsegu bi se lahko umetna inteligenca vključila v proces odločanja o izbrisni tožbi po 243. členu Zakona o zemljiški knjigi5 (ZZK-1). Izbrisna tožba je namenjena odpravi materialnopravno neveljavne vknjižbe,6 torej vknjižbe, ki nima pravne podlage oziroma je podlaga 1 Ker se umetna inteligenca nenehno razvija, končne definicije tega pojava ni mogoče podati. Za potrebe tega poglavja je z izrazom umetna inteligenca mišljena tehnologija, ki ima nekatere lastnosti, ki so na videz podobne lastnostim človeških možganov oziroma človeškemu mišljenju. Primerjaj Cerar, 2024, strani 87–89. Sicer pa, kot navaja Keresteš, ločimo med splošno in usmerjeno umetno inteligenco. Splošna umetna inteligenca je tista, ki oponaša delovanje človeške inteligence, usmerjena umetna inteligenca pa je ozko specializirana za uspešno reševanje specifičnih nalog, nima pa širših miselnih sposobnosti, ki jih povezujemo s človekom (Keresteš, 2020, strani 5–7). 2 Primerjaj Cerar, 2024, strani 84–85. 3 Primerjaj Cerar, 2024, strani 87–89. 4 Primerjaj Lukman, 2022, strani 18–20. 5 Uradni list RS, št. 58/03, 37/08 – ZST-1, 45/08, 28/09, 25/11, 14/15 – ZUUJFO, 69/17, 11/18 – ZIZ-L, 16/19 – ZNP-1 in 121/21. 6 Prvi odstavek 243. člena ZZK-1 se glasi: »Če je vknjižba določene pravice neveljavna iz materialnopravnega razloga, lahko tisti, čigar stvarna ali obligacijska pravica je bila zaradi te vknjižbe kršena (v nadaljnjem besedilu: izbrisni upravičenec), s tožbo (v nadaljnjem besedilu: izbrisna tožba) 380 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . kasneje odpadla.7 O tožbi sicer odloča sodišče v pravdnem postopku, o zaznambi vložitve izbrisne tožbe (245. člen ZZK-1) pa sodišče v zemljiškoknjižnem postopku. V primeru, ko je izbrisnemu zahtevku v pravdnem postopku ugodeno, je potrebno v zemljiškoknjižnem postopku realizirati tudi odločitev, sprejeto v pravdnem postopku, torej izbrisati materialnopravno neveljavno vknjižbo in vzpostaviti prejšnje zemljiškoknjižno stanje. Da bi lahko odgovorili na zgoraj zastavljeno vprašanje, je treba najprej proučiti naravo postopka, v katerem odloča sodnik, oziroma se soočiti z dilemami, ki jih mora razrešiti pred odločitvijo. Zaradi kompleksnosti instituta izbrisne tožbe in prostorske omejenosti je predmet obravnave v tem poglavju lahko le en vidik izbrisne tožbe, in sicer analiza pogojev, ki morajo biti izpolnjeni na pasivni (toženi) strani, da je izbrisni zahtevek lahko utemeljen (pasivna stvarna8 legitimacija).9 Po uvodnem delu so tako v drugem razdelku na primeru pravnoposlovne pridobitve lastninske pravice10 na nepremičnini sistematično analizirani naslednji položaji: položaj neposrednega pridobitelja (2.1), položaj nadaljnjega pridobitelja pri zaporednem razpolaganju z nepremičnino (2.2) ter položaj nadaljnjega pridobitelja pri večkratnem oziroma vzporednem razpolaganju z nepremičnino (2.3). Na podlagi analize navedenih položajev so v tretjem razdelku prikazane značilnosti postopka, v katerem se odloča o izbrisni tožbi, le-to pa je ključnega pomena za proučitev možnosti vključitve umetne inteligence v ta postopek. Četrti razdelek povzema bistvene ugotovitve in se zaključi s sklepno ugotovitvijo o nujnosti nadzorovanja in omejevanja uporabe umetne inteligence v pravu. uveljavlja zahtevek (v nadaljnjem besedilu: zahtevek za izbris izpodbijane vknjižbe), da sodišče ugotovi neveljavnost te vknjižbe in odloči, da se vzpostavi prejšnje zemljiškoknjižno stanje vpisov.« 7 Primerjaj Tratnik v Juhart, Tratnik in Vrenčur, 2023, strani 203–205. 8 Stvarno legitimacijo je sicer treba razlikovati od procesne legitimacije, ki se nanaša na vprašanje dopustnosti tožbe. Za obstoj procesne legitimacije zadošča zatrjevanje stvarne legitimacije, torej zatrjevanje, da je tožnik upravičenec, toženec pa zavezanec iz materialnopravnega razmerja. Podrobneje o tem Galič v Ude et al., 2005, strani 313–315. 9 Ta vidik izbrisne tožbe, za razliko od aktivne stvarne legitimacije oziroma vprašanja, kdo je upravičen vložiti to tožbo, še ni bil deležen celostne in sistematične obravnave. Glede aktivne stvarne legitimacije primerjaj na primer Tratnik in Vrenčur, 2008, strani 47–60; Vrenčur, 2008, strani 123–140; Hudej, 2017, strani 133–143; Plavšak v Plavšak et al., 2019, strani 440–444. 10 Čeprav se poglavje osredotoča na lastninsko pravico kot temeljno stvarno pravico, je zavzeta stališča mogoče smiselno uporabiti tudi za druge stvarne pravice (13. člen Stvarnopravnega zakonika (SPZ), Uradni list RS, št. 87/02, 91/13 in 23/20). J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 381, legitimacije pri izbrisni tožbi 2 Pasivna stvarna legitimacija pri izbrisni tožbi 2.1 Neposredni pridobitelj 2.1.1 Opredelitev položaja neposrednega pridobitelja Po prvem odstavku 244. člena ZZK-1 se lahko izbrisna tožba uveljavlja proti tistemu, v čigar korist je bila z izpodbijano vknjižbo vknjižena pridobitev ali izbris pravice. Če se omejimo na pravnoposlovno pridobitev lastninske pravice na nepremičnini, ki je v praksi najpogostejša, je pasivno (stvarno) legitimiran najprej neposredni (prvi) pridobitelj oziroma sopogodbenik osebe, katere lastninska pravica je bila z izpodbijano vknjižbo prizadeta. Tipični primer, ko je izbrisna tožba vložena proti neposrednemu pridobitelju, je, ko je na primer zavezovalni posel, sklenjen med odsvojiteljem in neposrednim pridobiteljem, ničen. Po kavzalnem principu, ki je uveljavljen v našem pravnem sistemu,11 je neveljavno tudi zemljiškoknjižno dovolilo (razpolagalni pravni posel), posledično pa je materialnopravno neveljavna tudi vknjižba neposrednega pridobitelja, ki je bila opravljena na podlagi neveljavnega zemljiškoknjižnega dovolila. Resnični lastnik, ne pa tudi zemljiškoknjižni, je še vedno odsvojitelj. Če želi odsvojitelj, čigar lastninska pravica je bila kršena zaradi materialnopravno neveljavne vknjižbe, doseči polno učinkovanje svoje lastninske pravice, torej tudi v razmerju do tretjih oseb, mora z izbrisno tožbo poskrbeti za izbris neveljavne vknjižbe neposrednega pridobitelja in za vnovični vpis svoje lastninske pravice. Za izbrisno tožbo proti neposrednemu pridobitelju ni pomembno, ali je ta dobroveren ali ne.12 Izdajatelj zemljiškoknjižnega dovolila, ki je bilo podlaga za vknjižbo neposrednega pridobitelja, je namreč zemljiškoknjižni lastnik, ki je hkrati tudi resnični lastnik nepremičnine. Če je pridobitelj dobroveren13 in ima nepremičnino v posesti (dobroverna lastniška posest14), pa lahko s potekom 11 O kavzalnem sistemu podrobneje Tratnik in Vrenčur, 1999, strani 333–350; Plavšak in Vrenčur v Plavšak, Juhart in Vrenčur, 2009, strani 700–703. 12 Primerjaj Plavšak v Plavšak et al., 2019, strani 454–455. 13 Ker je pridobitelj pri tem položaju v razmerju z resničnim lastnikom, se njegova morebitna dobra vera logično ne nanaša na razpolagalno nesposobnost odsvojitelja. Tak položaj je predmet razdelka 2.2. 14 Dobroverni lastniški posestnik je tisti, ki ima stvar v posesti, kot da je njegova ter ne ve in niti ne more vedeti, da ni upravičen do posesti. Je torej v opravičljivi zmoti, da je lastnik stvari. Primerjaj Tratnik v Juhart, Tratnik in Vrenčur, 2018, stran 287. 382 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . desetletne dobe izvirno pridobi lastninsko pravico na temelju priposestvovanja (drugi odstavek 43. člena SPZ).15 Ker lastninska pravica odsvojitelja, ki je bila zaradi neveljavne vknjižbe kršena, v tem primeru ne obstaja več, odsvojitelj ne more biti uspešen z izbrisno tožbo proti neposrednemu pridobitelju. Možnost vložitve izbrisne tožbe torej zaradi izgube lastninske pravice izbrisnega upravičenca preneha. ZZK-1 za razliko od prej veljavne ureditve, ki je določala triletni prekluzivni rok za vložitev izbrisne tožbe proti neposrednemu pridobitelju (drugi odstavek 102. člena Zakona o zemljiški knjigi16 (ZZK)), izbrisne tožbe časovno več ne omejuje,17 s čimer ustrezno upošteva stvarnopravno naravo izbrisne tožbe pri tem položaju. 18 2.1.2 Možnost uporabe umetne inteligence pri odločanju o izbrisni tožbi, vloženi zoper neposrednega pridobitelja Kot je mogoče razbrati iz zgornje analize, položaj, ko je izbrisna tožba vložena zoper neposrednega pridobitelja, z vidika pasivne stvarne legitimacije ni posebno problematičen. Na toženi strani običajno nastopa tisti, v čigar korist je bila z izpodbijano vknjižbo vknjižena neka pravica. Sojenje je pri tem položaju tako osredotočeno na samo materialnopravno neveljavnost izpodbijanega vpisa. Kljub temu pa pot do končnega zaključka, ali je vpis materialnopravno neveljaven, pogosto ni enostavna. Če se omejimo na vknjižbe, ki temeljijo na pravnem poslu, je treba poudariti, da pridejo v poštev vse oblike začetne ali naknadne neveljavnosti pravnega posla (npr. vknjižba je lahko neveljavna zaradi ničnosti, neobstoja, razveljavitve, razveze pravnega posla). Oblika neveljavnosti pravnega posla včasih ni neposredno razvidna iz pravnega besedila, temveč je šele rezultat razlage tega besedila. Od oblike neveljavnosti pravnega posla je nadalje odvisna tudi oblika uveljavljanega sodnega varstva (tožbenega zahtevka) in seveda tudi presoja relevantnosti zatrjevanih dejstev. Dodatne zaplete lahko povzroči tudi preveč konkretizirana in težko pregledna določba sedaj veljavnega 243. člena ZZK-1, ki ureja izbrisno tožbo za različne oblike 15 Primerjaj sodbo Vrhovnega sodišča II Ips 167/2014, ECLI:SI:VSRS:2015:II.IPS.167.2014. 16 Uradni list RS, št. 33/95, 50/02 – odl. US in 58/03 – ZZK-1. 17 Tudi hrvaški Zakon o zemljišnim knjigama (ZZK; Narodne novine, br. 63/19, 128/22, 155/23 in 127/24) ne določa roka za vložitev izbrisne tožbe proti neposrednemu pridobitelju. Izbrisno tožbo je v tem primeru mogoče vložiti, dokler pravica, ki se z njo varuje, ne preneha (prvi odstavek 150. člena ZZK). Primerjaj Josipović, 2001, strani 272–273; Josipović, 1999, strani 70–76; Šago in Radić, 2017, strani 488–489. 18 O časovni omejenosti izbrisne tožbe pri tem položaju po ureditvi v ZZK in o ustavnopravnih pomislekih glede te ureditve podrobneje Hudej, 2012, strani 533–535. J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 383, legitimacije pri izbrisni tožbi materialnopravne neveljavnosti vpisa. Sojenje v izbrisni pravdi se tako izkaže kot zahtevno opravilo, ki pri iskanju zgornje in spodnje premise silogističnega sklepanja, zlasti pa pri njunem povezovanju, terja kvalitete, ki jih premore le človeška inteligenca (npr. vrednotenje, pravni občutek, izkušnje, čustva, intuicijo). Zaradi teh lastnosti, ki so lastne le človeški inteligenci, umetna inteligenca v tovrstnih sodnih postopkih vloge človeka pri sojenju ne more nadomestiti. Lahko pa mu na različne načine pomaga in s tem prispeva k večji kvaliteti odločitve kot tudi k skrajšanju sojenja in znižanju stroškov vseh udeležencev postopka (npr. pri iskanju relevantne sodne prakse, s povzetki vlog, s prevodi pravnih besedil). 2.2 Nadaljnji pridobitelj pri zaporednem razpolaganju z nepremičnino 2.2.1 Opredelitev položaja nadaljnjega pridobitelja pri zaporednem razpolaganju z nepremičnino Zahtevek za izbris izpodbijane vknjižbe se lahko uveljavlja tudi proti osebi, v korist katere je bila glede na izpodbijano vknjižbo vknjižena oziroma predznamovana pridobitev ali izbris pravice (drugi odstavek 244. člena ZZK-1). Gre za nadaljnjega (posrednega) pridobitelja oziroma pri pravnoposlovni pridobitvi lastninske pravice za sopogodbenika osebe, katere vknjižba je materialnopravno neveljavna (zemljiškoknjižni naslednik neposrednega pridobitelja). Najpomembnejši primer, v katerem se postavi vprašanje možnosti vložitve izbrisne tožbe proti nadaljnjemu pridobitelju, je, ko zemljiškoknjižni lastnik, ki ni tudi resnični lastnik (gre torej za neposrednega pridobitelja19), razpolaga z lastninsko pravico v korist nadaljnjega pridobitelja,20 še preden je njegova materialnopravno neveljavna vknjižba izbrisana iz zemljiške knjige (zaporedno razpolaganje21). Pogoji, pod katerimi lahko resnični 19 Glej razdelek 2.1. 20 Pojem nadaljnjega pridobitelja je najlažje ponazoriti s konkretnim primerom. Oseba A, ki je resnični in zemljiškoknjižni lastnik nepremičnine, proda to nepremičnino osebi B (neposredni pridobitelj), ki se kot lastnik vpiše v zemljiško knjigo. Pozneje se izkaže, da je prodajna pogodba, sklenjena med A in B, nična. Zaradi načela kavzalnosti oseba B ni postala lastnik nepremičnine in je torej njena vknjižba materialnopravno neveljavna. Še preden pride do zemljiškoknjižne izvedbe posledic neveljavne pogodbe, oseba B kot zemljiškoknjižni lastnik proda nepremičnino osebi C, ki ima v predstavljeni situaciji položaj nadaljnjega (posrednega) pridobitelja v smislu drugega odstavka 244. člena ZZK-1. 21 Novejša pravna teorija (Plavšak in Vrenčur, 2015b, strani 801–803) razlikuje zaporedno razpolaganje v ožjem in v širšem pomenu. V prvo skupino spadajo položaji, ki so urejeni v 150. členu ZZK-1, v drugo pa položaji, ko zemljiškoknjižni lastnik razpolaga z lastninsko pravico, ki jo je pridobil na podlagi zemljiškoknjižnega dovolila, izstavljenega na podlagi neveljavnega zavezovalnega pravnega posla. Razdelek 2.2 se nanaša na drugo skupino, torej na zaporedno razpolaganje v širšem pomenu. 384 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . lastnik (zemljiškoknjižni prednik neposrednega pridobitelja) uveljavlja izbrisno tožbo proti nadaljnjemu pridobitelju, so obrazloženi v nadaljevanju. Možnost izbrisne tožbe je pri obravnavanem položaju zelo omejena, saj izbrisna tožba ni dopustna proti dobrovernemu nadaljnjemu pridobitelju (tretji odstavek 244. člena ZZK-1). 22 Ker je v praksi pogosto sporno, na katerega pridobitelja (ali le na nadaljnjega ali pa tudi na neposrednega) se nanaša pogoj dobrovernosti, poudarjam, da se omenjena določba ZZK-1, ki prepoveduje izbrisno tožbo proti dobroverni osebi, ne nanaša na neposrednega knjižnega naslednika osebe, ki vlaga izbrisno tožbo (neposredni pridobitelj), temveč le na nadaljnjega pridobitelja pravice na nepremičnini. V prid takšni razlagi govori že besedilo 244. člena ZZK-1. Glede na uporabljeno dikcijo »ne glede na prejšnji odstavek tega člena« v tretjem odstavku 244. člena ZZK-1 je jasno, da se ta odstavek, ki prepoveduje vlaganje izbrisne tožbe proti dobrovernemu pridobitelju, nanaša izključno na položaj, ki ga obravnava drugi odstavek 244. člena ZZK-1, torej na položaj, ko je izbrisna tožba vložena proti nadaljnjemu pridobitelju. Tako je v več judikatih poudarilo tudi Vrhovno sodišče.23 Tudi v teoriji24 je zastopano stališče, da za dovoljenost izbrisnega zahtevka proti prvemu (neposrednemu) pridobitelju ni pomembno, ali je bil ta ob pridobitvi lastninske pravice dobroveren oziroma da se pogoj (ne)dobrovernosti nanaša izključno na nadaljnjega pridobitelja pravice na nepremičnini. Takšno stališče je tudi razumljivo, če upoštevamo, da pomeni prepoved vlaganja izbrisne tožbe proti dobroverni osebi samo izpeljavo načela zaupanja v zemljiško knjigo, na katerega se lahko sklicuje le tretja poštena oziroma dobroverna oseba25 (10. člen SPZ in 8. člen ZZK-1).26 Če zemljiškoknjižno stanje ni usklajeno z 22 Tretji odstavek 244. člena ZZK-1 se glasi: »Ne glede na prejšnji odstavek, zahtevek za izbris izpodbijane vknjižbe ni dovoljen proti dobrovernim osebam, v katerih korist je bila pridobitev oziroma izbris pravice vknjižen oziroma predznamovan z učinkom pred trenutkom, od katerega učinkuje zaznamba izbrisne tožbe.« 23 Glede pasivne legitimacije pri izbrisni tožbi in pogoja dobrovernosti primerjaj sodbo Vrhovnega sodišča II Ips 167/2014, ECLI:SI:VSRS:2015:II.IPS.167.2014. Primerjaj tudi odločbe II Ips 277/2010, ECLI:SI:VSRS:2013:II.IPS.277.2010, II Ips 402/2010, ECLI:SI:VSRS:2012:II.IPS.402.2010, in III Ips 21/2014, ECLI:SI:VSRS:2015:III.IPS.21.2014. 24 Primerjaj Plavšak, 2010, stran 48; Pavčnik, 2012, stran 167; Hudej, 2013, strani 495 in 504; Ščernjavič, 2017, strani 22–23. 25 Pojma (ne)dobroverna in (ne)poštena oseba se za namene tega poglavja uporabljata enakovredno. Glej razdelek 2.2.2. 26 Primerjaj Juhart v Juhart et al., 2004, strani 87–90; Hudej in Ščernjavič, 2013, strani 49–52. Glej tudi Tratnik v Berden et al., 2002, stran 161. J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 385, legitimacije pri izbrisni tožbi dejanskim oziroma če zemljiškoknjižni lastnik ni tudi dejanski (resnični) lastnik nepremičnine, oseba, ki se je v dobri veri zanesla na zemljiškoknjižne podatke, zaradi tega ne sme trpeti škodljivih posledic. To pomeni, da ima v takem primeru pravnoposlovna pridobitev lastninske pravice učinek ne glede na to, da odsvojitelj (zemljiškoknjižni lastnik) ni bil resnični lastnik nepremičnine in zato ni imel sposobnosti veljavno prenesti lastninske pravice.27 Odsotnost razpolagalne sposobnosti odsvojitelja, ki je sicer ena od temeljnih predpostavk za veljaven prenos lastninske pravice,28 v tem primeru nadomesti dobrovernost pridobitelja.29 Glede na navedeno je dobrovernost pridobitelja relevantna le v primeru, ko učinkuje načelo zaupanja v zemljiško knjigo,30 to pa je takrat, ko se zemljiškoknjižno in dejansko stanje ne ujemata oziroma ko odsvojitelj ni resnični lastnik nepremičnine (drugi odstavek 244. člena ZZK-1). Poudariti pa je treba, da načelo zaupanja v zemljiško knjigo (10. člen SPZ) varuje dobrovernega nadaljnjega pridobitelja le pred napakami v razpolagalni sposobnosti, ne pa tudi pred napakami v pravnem naslovu. Sklicevanje na omenjeno načelo (a non domino pridobitev lastninske pravice) je tako lahko uspešno le v primeru veljavnega pravnega posla.31 V primerih, ko je torej izbrisna tožba vložena zoper nadaljnjega pridobitelja, za njeno utemeljenost glede na tretji odstavek 244. člena ZZK-1 zadošča ugotovitev slabovernosti pridobitelja. To je, kot je bilo obrazloženo, tudi razumljivo, saj je dobra vera eden izmed pogojev, ki morajo biti izpolnjeni, da se lahko nadaljnji pridobitelj 27 Primerjaj Tratnik v Juhart et al., 2004, stran 322. Pridobitev lastninske pravice od nelastnika oziroma razpolagalno nesposobne osebe poznamo tudi pri premičninah (64. člen SPZ). O tem pridobitnem načinu podrobneje Vrenčur, 1998, strani 1234–1244; Tratnik v Juhart, Tratnik in Vrenčur, 2018, strani 396–408. 28 V slovenskem pravnem prostoru je sicer večinsko zastopano stališče, da je razpolagalna sposobnost eden od pogojev za prenos lastninske pravice. Primerjaj Juhart v Juhart, Tratnik in Vrenčur, 2018, strani 260–264 ter 345–346, in sodbo Vrhovnega sodišča II Ips 85/2023, ECLI:SI:VSRS:2024:II.IPS.85.2023. Nekateri teoretiki se sicer zavzemajo za opustitev rabe pojma razpolagalne sposobnosti in predlagajo vpeljavo pojma razpolagalno upravičenje. O tem podrobneje Plavšak in Vrenčur, 2015a, strani 595– 641. 29 Primerjaj sodbi Vrhovnega sodišča II Ips 167/2014, ECLI:SI:VSRS:2015:II.IPS.167.2014, in III Ips 11/2023, ECLI:SI:VSRS:2024:III.IPS.11.2023. 30 Za pridobitev lastninske pravice od nelastnika na podlagi načela zaupanja v zemljiško knjigo gre tudi v primeru, ko pride do kolizije med pravnoposlovnim in zakonitim pridobitnim načinom (10. člen SPZ, drugi odstavek 44. člena SPZ). Če vknjiženi lastnik, ki ni hkrati tudi resnični lastnik (lastninsko pravico na nepremičnini je namreč priposestvoval tretji, ki svoje pravice ni vpisal v zemljiško knjigo), nadalje razpolaga z lastninsko pravico, nadaljnji pridobitelj postane lastnik nepremičnine le ob izpolnjenem pogoju dobrovernosti. Resnični lastnik v tem primeru izbrisne tožbe niti ne potrebuje, temveč lahko svoj položaj varuje že z ugotovitveno tožbo, vloženo zoper nadaljnjega pridobitelja. 31 V zvezi s tem primerjaj tudi sodbi Vrhovnega sodišča II Ips 167/2014, ECLI:SI:VSRS:2015:II.IPS.167.2014, in II Ips 85/2023, ECLI:SI:VSRS:2024:II.IPS.85.2023. 386 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . sklicuje na načelo zaupanja v zemljiško knjigo. Če nadaljnji pridobitelj ni v dobri veri, na nepremičnini ne pridobi lastninske pravice, kar pomeni, da je njegova vknjižba materialnopravno neveljavna. Izbrisni upravičenec (resnični lastnik oziroma zemljiškoknjižni prednik neposrednega pridobitelja) bo zato v takem primeru izbrisni zahtevek lahko uspešno uveljavljal proti nadaljnjemu in neposrednemu pridobitelju. Možnost vlaganja izbrisne tožbe proti nadaljnjemu pridobitelju je poznal tudi ZZK (tretji, četrti in peti odstavek 102. člena),32 z razliko, da je vložitev izbrisne tožbe v določenem roku dopuščal tudi proti dobrovernemu33 nadaljnjemu pridobitelju.34 Kot rečeno, je ta možnost po sedanji ureditvi z določbo tretjega odstavka 244. člena ZZK-1 izrecno izključena, s čimer je omogočeno takojšnje učinkovanje načela zaupanja v zemljiško knjigo (10. člen SPZ in prvi odstavek 8. člena ZZK-1). Vknjižba dobroverne osebe, ki pridobi lastninsko pravico na podlagi načela zaupanja v zemljiško knjigo, tako ni več »pogojna« oziroma odvisna od tega, ali bo v zakonsko določenem roku (tretji in četrti odstavek 102. člena ZZK) vložena izbrisna tožba.35 Roka za vložitev izbrisne tožbe proti nedobrovernemu nadaljnjemu pridobitelju pa ZZK, enako kot sedaj ZZK-1, ni določal (peti odstavek 102. člena ZZK). 2.2.2 Pojem dobre vere Ker je torej uspešnost izbrisne tožbe proti nadaljnjemu pridobitelju odvisna od njegove (ne)dobrovernosti, je za prakso ključnega pomena, kako razumeti pojem dobrovernosti. V skladu z 9. členom SPZ se dobra vera domneva. Dokazovanje nedobrovernosti zato bremeni tistega, ki to zatrjuje, to je vlagatelja izbrisne tožbe. Pri tem opozarjam, da zakonodajalec v določenih zakonih govori o (ne)dobroverni osebi, v drugih pa o (ne)pošteni osebi. Do različne označbe prihaja tudi znotraj istega 32 O časovni omejenosti izbrisne tožbe pri tem položaju po ureditvi v ZZK podrobneje Hudej, 2012, strani 533–535. 33 Tudi hrvaški ZZK v rokih, določenih v drugem odstavku 150. člena ZZK, dopušča izbrisno tožbo proti dobrovernemu nadaljnjemu pridobitelju. Enako velja tudi za avstrijsko ureditev (primerjaj par. 63–64 Allgemeines Grundbuchsgesetz (GBG) iz leta 1955 s spremembami). Po obeh ureditvah začne torej načelo zaupanja v zemljiško knjigo učinkovati v polni mere šele, ko se iztečejo roki za vložitev izbrisne tožbe oziroma ko vknjižba postane dokončna. 34 V četrtem odstavku 5. člena ZZK je bilo sicer, enako kot v 8. členu ZZK-1, določeno, da kdor v pravnem prometu pošteno ravna in se zanese na podatke o pravicah, ki so vpisani v zemljiški knjigi, zaradi tega ne sme trpeti škodljivih posledic. 35 O pomenu izteka roka za vložitev izbrisne tožbe po ZZK primerjaj Zobec, 2001, strani V–VI. J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 387, legitimacije pri izbrisni tožbi zakona. Zaradi možnosti različnega razlaganja teh pojmov uvodoma pojasnjujem, da med njimi ne vidim vsebinske razlike, zato pojma (ne)dobroverna in (ne)poštena oseba uporabljam enakovredno. Že znotraj SPZ je mogoče najti nedoslednosti pri uporabi teh dveh pojmov. Tako na primer 10. člen SPZ (načelo zaupanja v zemljiško knjigo) omenja pošteno osebo, medtem ko je v drugem odstavku 44. člena SPZ, ki je le izpeljava omenjenega načela pri priposestvovanju, uporabljen izraz dobroverna oseba. Enako nedoslednost, na katero opozarja tudi Juhart,36 je mogoče najti pri primerjavi dikcije 10. člena SPZ (oziroma 8. člena ZZK-1) s tretjim odstavkom 244. člena ZZK-1, po katerem izbrisne tožbe ni mogoče vložiti proti dobroverni osebi. Strinjati se je mogoče z Juhartom, da opisane nedoslednosti ne pomenijo različnega vrednotenja ravnanja in da se ti pojmi dejansko prekrivajo. Morebitno nasprotno stališče, da pojma dobroverna in poštena oseba pri omenjenih položajih nista enakovredna, bi bilo nesprejemljivo tudi zato, ker je ureditev izbrisne tožbe le izpeljava načela zaupanja v zemljiško knjigo in se pojma že iz tega razloga morata prekrivati. Pri razlagi pojma dobra vera (poštenost) je treba upoštevati, da gre pri načelu zaupanja v zemljiško knjigo dejansko za razrešitev konflikta med dvema pravno varovanima položajema – položajem nadaljnjega pridobitelja, ki pooseblja pravni promet, in položajem resničnega lastnika nepremičnine. Ker je razrešitev tega konflikta odvisna od okoliščin konkretnega primera, je treba pojem dobre vere razlagati na način, ki sodiščem omogoča določen manevrski prostor pri iskanju ustreznega ravnovesja med tema dvema položajema.37 To pa je mogoče le v primeru, če upoštevamo, da je dobrovernost ravnanja etični pravni standard, katerega vsebino je treba napolniti v vsakem konkretnem primeru. V slovenskem pravnem prostoru prevladuje stališče,38 da se na načelo zaupanja v zemljiško knjigo lahko sklicuje tisti, ki ni vedel oziroma ni mogel vedeti, da je materialnopravno (resnično) stanje drugačno od tistega, ki je vpisano v zemljiški knjigi. Ravnanje torej ni nepošteno (nedobroverno) samo takrat, ko je naklepno, temveč tudi takrat, ko je pridobitelju glede na okoliščine konkretnega primera mogoče očitati malomarnost. Pri nepremičninah načeloma zadostuje vpogled v stanje zemljiške knjige (splošna poizvedovalna dolžnost) in zato na splošno ni 36 Primerjaj Juhart, 2013, strani 6–7; Juhart v Juhart, Tratnik in Vrenčur, 2018, strani 54–56. 37 Primerjaj Ščernjavič, 2017, stran 17. 38 Primerjaj Juhart v Juhart, Tratnik in Vrenčur, 2018, strani 54–56. 388 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . mogoče zahtevati dodatnega poizvedovanja. Izjema nastane takrat, ko že obstaja okoliščina, ki vzbuja dvom o pravnem položaju vpisane osebe oziroma o verjetnosti pravice drugega.39 V takem primeru se ni mogoče več slepo zanašati na stanje v zemljiški knjigi in je treba nastali dvom razjasniti. Če torej sklenemo, slabe vere ni mogoče razumeti zgolj kot védenje o neusklajenosti zemljiškoknjižnega stanja z resničnim, temveč tudi kot opustitev raziskovalne dolžnosti, ki se vzpostavi le v primeru, če obstaja okoliščina, ki vzbuja dvom o pravnem položaju vpisane osebe. Takšnemu pojmovanju dobre oziroma slabe vere sledi tudi novejša sodna praksa.40 V nadaljevanju izpostavljam dve odločitvi Vrhovnega sodišča, ki sta po mojem mnenju z vidika obravnavane tematike posebej pomembni. Vrhovno sodišče je v zadevi II Ips 192/201841 kronološko predstavilo različne teoretične poglede in spreminjanje odnosa sodniškega prava do vprašanja pričakovane raziskovalne dolžnosti pridobitelja – od zanemarjanja pomena zemljiške knjige v prejšnjem pravnem redu, prek stališča, da je poizvedovalna dolžnost omejena na vpogled v zemljiško knjigo, medtem ko zunajknjižnega stanja kupec ni dolžan preverjati (ta drža se je v praksi in teoriji vzpostavila po uveljavitvi SPZ) in nazadnje do mehčanja navedenega stališča. Zahtevo po mehčanju stališča, da je pridobiteljeva poizvedovalna dolžnost omejena le na podatke v glavni knjigi, je Vrhovno sodišče poudarilo tudi v zadevi II Ips 73/2019.42 Po mnenju Vrhovnega sodišča tvorita načelo zaupanja v zemljiško knjigo dejanska in pravna prvina (seznanjenost s podatki zemljiške knjige na eni ter standard poštenega ravnanja oziroma dobre vere na drugi strani). Zaupanje ne more biti slepo, temveč mora biti usklajeno z načelom vestnosti in poštenja (5. člen Obligacijskega zakonika43 (OZ)) ter z dejstvom, da pridobitev lastninske pravice na njegovi podlagi predstavlja v resnici izvirno, originarno pridobitev lastninske pravice, ki nujno poseže (odvzame) lastninsko pravico resničnemu lastniku. Vrhovno sodišče je bilo pri obeh judikatih seznanjeno tudi z 39 Primerjaj Juhart v Juhart, Tratnik in Vrenčur, 2018, strani 54–56; Tratnik v Juhart et al., 2004, stran 270; Damjan in Bergant Rakočević, 2015, stran 316. 40 Primerjaj odločbe Vrhovnega sodišča II Ips 73/2019, ECLI:SI:VSRS:2020:II.IPS.73.2019, II Ips 192/2018, ECLI:SI:VSRS:2018:II.IPS.192.2018, II Ips 304/2017, ECLI:SI:VSRS:2018:II.IPS.304.20178, II Ips 24/2017, ECLI:SI:VSRS:2018:II.IPS.24.2017, II Ips 67/2012, ECLI:SI:VSRS:2014:II.IPS.67.2012, in številne druge. 41 ECLI:SI:VSRS:2018:II.IPS.192.2018. 42 ECLI:SI:VSRS:2020:II.IPS.73.2019. 43 Uradni list RS, št. 97/07 – uradno prečiščeno besedilo, 64/16 – odl. US in 20/18 – OROZ631. J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 389, legitimacije pri izbrisni tožbi drugačnim pogledom dela novejše teorije,44 ki poudarja, da se lahko vsak zanese na podatke o stvarnih pravicah glede nepremičnine, ki so vpisani v zemljiški knjigi, in da mu ni treba (ni dolžan) raziskovati ali drugače preverjati, ali je stvarnopravni položaj nepremičnine v resnici tak, kot izhaja iz podatkov zemljiške knjige. Ker mu tega ni treba (ni dolžan) preverjati, po mnenju tega dela teorije ni mogoče sklepati, da je pridobitelj ravnal neskrbno (nepošteno), ker ni poskušal še na drug način (in ne samo s preveritvijo stanja zemljiške knjige) preveriti, ali morda glede nepremičnine obstaja (resnična) stvarna pravica. Pridobitelj je zato po mnenju tega dela teorije dobroveren samo, če ne ve, da vknjiženi lastnik v resnici ni upravičen samostojno razpolagati z lastninsko pravico na nepremičnini. Po presoji Vrhovnega sodišča je opisano stališče teorije, ki slabovernost pojmuje zgolj kot védenje o neusklajenosti zemljiškoknjižnega stanja z resničnim, prestrogo, saj obe prvini, ki tvorita načelo zaupanja v zemljiško knjigo (prvino seznanjenosti s podatki zemljiške knjige in zaupanje vanje ter prvino poštenega ravnanja) skoraj združuje v eno samo dejansko prvino. Vprašanje dobre ali slabe vere reducira na golo dejansko vprašanje. To pa, kot je zapisalo Vrhovno sodišče, nasprotuje splošnim načelom civilnega prava (predvsem načelu vestnosti in poštenja). Po mnenju Vrhovnega sodišča je raziskovalna dolžnost na abstraktni ravni sestavni del poštenega ravnanja, ki je pravni standard. Ali se bo aktivirala v konkretnem primeru in v kolikšnem obsegu, pa je odvisno od okoliščin konkretnega primera.45 S stališčem novejše sodne prakse se je mogoče strinjati. Le z upoštevanjem obeh (dejanske in pravne) prvin načela zaupanja v zemljiško knjigo je mogoče zajeti vse relevantne okoliščine konkretnega primera in ustrezno razrešiti konflikt med položajem resničnega lastnika in položajem pridobitelja, ki nastopa v pravnem prometu. Menim, da tudi druge zakonske določbe ne dajejo opore za stališče, da je slabo vero mogoče razumeti le kot védenje o neusklajenosti zemljiškoknjižnega stanja z resničnim. Če bi zakonodajalec želel, da slaba vera vključuje zgolj naklepno ravnanje in se torej nanaša le na položaj, ko tretji ve, da zemljiškoknjižno stanje ne ustreza resničnemu, bi to verjetno izrecno zapisal.46 Tako je na primer storil v tretjem odstavku 72. člena SPZ, v katerem je določeno, da je v primeru skupne lastnine slaba 44 Primerjaj Plavšak in Vrenčur v Plavšak et al., 2019, strani 238–240; Plavšak in Vrenčur, 2015b, strani 794–796. 45 Standardu poštenega ravnanja bo v takšnih okoliščinah zadoščeno šele, če bo pravnoposlovni pridobitelj skušal v razumni meri poizvedeti, zakaj stanje v naravi vzbuja dvom v resničnost zemljiškoknjižnih podatkov. Primerjaj sodbo II Ips 73/2019, ECLI:SI:VSRS:2020:II.IPS.73.2019. 46 Primerjaj tudi Ščernjavič, 2017, stran 18. 390 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . vera podana le v primeru, če je tretji vedel, da je stvar v skupni lastnini in da se razpolaga brez soglasja skupnega lastnika. Stališče, da je kriterij za presojo standarda dobre vere v primeru skupne lastnine milejši (v primerjavi s tistim iz 10. člena SPZ), saj tretjemu ni treba poizvedovati glede obstoja skupne lastnine, je sicer zastopano tudi v teoriji.47 Kljub navedenemu pa stališče teorije,48 ki ga je izpostavilo Vrhovno sodišče in ki poudarja pomen vpogleda v stanje zemljiške knjige, vendarle ni brez teže. Zemljiške knjige kot javne evidence, namenjene vpisu in javni objavi podatkov o pravicah na nepremičninah in o pravnih dejstvih v zvezi z nepremičninami (1. člen ZZK-1), namreč nimamo zato, da vanjo (že v naprej) dvomimo, temveč zato, da ji lahko zaupamo. Če že stanje zemljiške knjige, v katero nadaljnji pridobitelj mora vpogledati, vzbuja dvom, da se to sklada z resničnim stanjem, menim, da je zahteva po dodatnem razčiščevanju pravnega stanja nepremičnine upravičena. Tako je bilo na primer v že citirani zadevi II Ips 73/201949 – sporna parcela je bila v družbeni lastnini, bila je predmet pravice uporabe ter nazadnje tudi predmet lastninjenja po Zakonu o lastninjenju nepremičnin v družbeni lastnini50 (ZLNDL), pri čemer je splošno znano, da je bil velik delež zemljiškoknjižnih transformacij pravice uporabe v lastninsko pravico napačen, neskladen z resničnim pravnim stanjem. Če pa zemljiškoknjižne stanje ne poraja takšnih dvomov, nadaljnji pridobitelj po mojem mnenju nima vnaprej določene dolžnosti, da razišče, če se to stanje slučajno ne sklada z dejanskim. Menim, da to jasno izhaja tudi iz predstavljene sodne prakse. Raziskovalno dolžnost Vrhovno sodišče vzpostavlja le v primeru, ko je v naravi očitno (jasno vidno), da zemljiškoknjižno in dejansko stanje nista usklajena. To stališče pa očitno temelji na predpostavki, da je pridobitelj pred nakupom opravil ogled nepremičnine in se seznanil z okoliščinami, ki vzbujajo dvom v pravilnost zemljiškoknjižnega stanja nepremičnine. Če je to storil in je torej lahko zaznal te sumljive okoliščine, mora dvom razčistiti in se ne sme slepo zanesti na stanje v zemljiški knjigi. Menim, da gre v taki situaciji za tipičen primer, ko opustitev nadaljnjega raziskovanja izključuje dobrovernost pridobitelja. Tako je bilo tudi v že omenjeni zadevi II Ips 73/2019– stanje v naravi je govorilo v prid sklepanju, da 47 Primerjaj Juhart v Juhart, Tratnik in Vrenčur, 2018, strani 465–467; Rijavec v Juhart et al., 2004, strani 366–367; Žnidaršič Skubic, 2010, strani 21–22; Hudej in Ščernjavič, 2015, stran 27; Hudej in Ščernjavič, 2010, stran 773. 48 Glej opombo 46. 49 Glej opombo 44. 50 Uradni list RS, št. 44/97 in 59/01. J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 391, legitimacije pri izbrisni tožbi sporna parcela tvori pripadajoče zemljišče k stavbi tožnic, in toženec (pridobitelj) je to stanje v naravi poznal. Če pa pridobitelj po vpogledu v zemljiško knjigo, ki ne poraja nobenega dvoma v pravilnost zemljiškoknjižnega stanja, ne opravi ogleda nepremičnine in posebej ne ugotavlja posestnega stanja nepremičnine v naravi, samo zaradi tega še ni nepošten (slaboveren)51 – je pa zelo neskrben, v smislu, da tvega izgubo možnosti varstva (jamčevalni zahtevki) v primeru nekaterih stvarnih napak, ki bi jih ob ogledu nepremičnine lahko zaznal. Ker je to tveganje veliko, kupec običajno ne bo kupoval nepremičnine, ne da bi si jo predhodno ogledal v naravi (to velja zlasti v primerih, ko se nepremičnina kupuje za namen bivanja52). Če bodo ob tem izkazani jasno razpoznavni znaki, ki kažejo na dvom v pravilnost zemljiškoknjižnega stanja (npr. posestno stanje nepremičnine, asfaltirana pot čez zemljišče), se pridobitelj seveda ne bo mogel več slepo opirati na zemljiško knjigo in na učinke načela zaupanja. Skleniti je torej mogoče, da je od konkretnih okoliščin odvisno, ali se bo v posameznem primeru vzpostavila raziskovalna dolžnost in v kakšnem obsegu se bo vzpostavila. Razumevanje dobre vere kot mehanizma za iskanje ustreznega ravnovesja med varstvom resničnega lastnika in varstvom pravnega prometa, ki ga predstavlja nadaljnji pridobitelj, postavlja redna sodišča pred odgovorno nalogo, podobno tisti, ki jo ima Ustavno sodišče, ko mora pri razrešitvi konflikta med enakovrednimi človekovimi pravicami oblikovati pravilo o sobivanju pravic za konkretni primer.53 Tudi redna sodišča morajo namreč ob upoštevanju okoliščin konkretnega primera zapolniti pravni standard dobre vere, od katerega je na koncu odvisna rešitev konflikta med pravnima položajema, ki si konkurirata. Pri tem morajo upoštevati, da gre pri načelu zaupanja v zemljiško knjigo za poseg v premoženjsko sfero resničnega lastnika (izguba lastninske pravice, 33. člen Ustave Republike Slovenije54 (URS)) in da mora biti zato pridobitev lastninske pravice na podlagi tega načela bolj izjema kot pravilo. Izjema pa je lahko le v primeru, če je zemljiška knjiga urejena in se zemljiškoknjižno stanje v večini primerov pokriva z dejanskim. V nasprotnem 51 Drugače Tratnik, ki poudarja, da kljub domnevi dobre vere ne zadostuje, da pridobitelj preveri le zemljiškoknjižno stanje nepremičnine, temveč si mora praviloma ogledati tudi posestno stanje nepremičnine v naravi (Tratnik v Juhart, Tratnik in Vrenčur, 2018, stran 317). 52 Drugače pa je treba vrednotiti primere, ko posestno stanje ni jasno vidno (npr. nakup gozda) in običajno ni nekih jasno razpoznavnih znakov, ki bi vzbudili dvom v zemljiškoknjižno stanje. 53 Primerjaj Ščernjavič, 2017, stran 18. 54 Uradni list RS, št. 33/91-I, 42/97 – UZS68, 66/00 – UZ80, 24/03 – UZ3a, 47, 68, 69/04 – UZ14, 69/04 – UZ43, 69/04 – UZ50, 68/06 – UZ121, 140, 143, 47/13 – UZ148, 47/13 – UZ90, 97, 99, 75/16 – UZ70a in 92/21 – UZ62a. 392 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . primeru dosledna uporaba tega pridobitnega načina (10. člen SPZ) ne bi bila upravičena, saj bi pomenila pretiran poseg v pravico resničnega lastnika. Razlago pojma dobre vere je tako treba nujno prilagoditi tudi stopnji urejenosti zemljiške knjige in jo umestiti v kontekst obstoječih družbenih razmerij (2. člen URS). Tako je na primer ravnalo Vrhovno sodišče v primerih, povezanih z lastninjenjem nepremičnin v družbeni lastnini.55 V več judikatih56 je poudarilo, da glede na (neurejeno) stanje zemljiške knjige v času družbene lastnine in tudi po njem, predvsem povsod tam, kjer je bila družbena lastnina še vpisana v zemljiško knjigo, o dobrovernosti ni mogoče sklepati le na podlagi podatkov o zadnjem vpisu v zemljiško knjigo. Zaradi številnih sporov in zapletov v zvezi z lastninjenjem družbene lastnine je Vrhovno sodišče dobro vero oziroma načelo zaupanja v zemljiško knjigo »relativiziralo« v tem smislu, da se nanaša tudi na dejansko vedenje o uporabi določene nepremičnine in na poznavanje predpisov, tudi tistih o lastninjenju.57 Dopustitev sklicevanja na dobro vero bi po mnenju Vrhovnega sodišča v teh primerih pomenila »zaobid« zakonsko določenih pogojev za pridobitev lastninske pravice na zemljiščih oziroma »legalizacijo« nezakonitih vpisov lastninske pravice, ki so nastali v procesu lastninjenja nepremičnin. Dobro vero je Vrhovno sodišče torej v teh primerih razlagalo strožje in s tem preprečilo »nepravično« učinkovanje načela zaupanja v zemljiško knjigo.58 Presoja dobre vere nadaljnjega pridobitelja se tako izkaže kot zahtevno opravilo z ustavnopravno dimenzijo, ki je po mojem mnenju lahko tudi predmet preizkusa pred Ustavnim sodiščem. 2.2.3 Kdaj mora biti nadaljnji pridobitelj v dobri veri V zvezi s presojo dobrovernosti nadaljnjega pridobitelja se postavlja tudi vprašanje, kdaj oziroma v katerem trenutku mora biti pri nadaljnjem pridobitelju podana dobrovernost, da lahko izvirno (na temelju načela zaupanja v zemljiško knjigo, 10. 55 V primerih, povezanih z lastninjenjem nepremičnin, je pogosta situacija, ko se je na podlagi enega od zakonov o lastninjenju nepremičnin v zemljiško knjigo kot lastnik vpisala napačna oseba (na primer zaradi zunajknjižnega prenosa pravice uporabe) in je nato nepremičnino prodala tretji osebi. Resnični lastnik (kot dejanski imetnik pravice uporabe ob uveljavitvi ZLNDL) običajno zoper tretjo osebo vloži tožbo na ugotovitev svoje lastninske pravice, ta pa se sklicuje na načelo zaupanja v zemljiško knjigo. 56 Primerjaj na primer odločbe Vrhovnega sodišča II Ips 259/2006, ECLI:SI:VSRS:2008:II.IPS.259.2006, II Ips 13/2012, ECLI:SI:VSRS:2012:II.IPS.13.2012, II Ips 345/2008, ECLI:SI:VSRS:2012:II.IPS.345.2008, in II Ips 33/2011, ECLI:SI:VSRS:2012:II.IPS.33.2011. 57 Primerjaj Hudej, 2014, strani 1460–1461. 58 Vrhovno sodišče je pri reševanju zadev, povezanih z lastninjenjem, sledilo razmišljanju L. Udeta, ki je utemeljeno opozoril, da bi v pogojih neurejene zemljiške knjige dosledna uporaba načela zaupanja v zemljiško knjigo pripeljala do nepravičnih rešitev. Primerjaj Ude, 2007, strani 144–146. J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 393, legitimacije pri izbrisni tožbi člen SPZ) pridobi lastninsko pravico. Prenos lastninske pravice je namreč sestavljen iz različnih faz (zavezovalni pravni posel (npr. sklenitev prodajne pogodbe), razpolagalni pravni posel (izstavitev in izročitev zemljiškoknjižnega dovolila, sposobnega za vknjižbo) ter vknjižba pravice v zemljiško knjigo – glej 40. in 49. člen SPZ). Ni dvoma, da je nadaljnji pridobitelj varovan, če je v dobri veri, da je odsvojitelj tudi resnični lastnik, ob vložitvi predloga za vknjižbo.59 Čas odločanja zemljiškoknjižnega sodišča o predlogu za vknjižbo namreč ne more biti relevanten, saj ni v sferi pridobitelja oziroma ta nanj nima vpliva. Poleg tega vknjižba učinkuje že od trenutka, ko je zemljiškoknjižno sodišče prejelo predlog za vknjižbo (5. člen ZZK-1). Menim pa, da se mora trenutek, na katerega vežemo presojo dobrovernosti pridobitelja, glede na novejša stališča teorije60 in sodne prakse61 o učinkovanju prenosa lastninske pravice v notranjem in zunanjem razmerju,62 premakniti še v eno fazo pred vložitvijo predloga za vknjižbo. Trenutek, na katerega vežemo presojo dobrovernosti pridobitelja, se mora pokrivati s trenutkom, ko nepremičnina postane 59 Nekateri teoretiki zastopajo stališče, da je trenutek vložitve predloga za vknjižbo ključnega pomena za presojo dobrovernosti pridobitelja. Primerjaj na primer Vlahek, 2007, stran 118. Po mnenju Juharta pa je glede pogoja dobrovernosti bistven trenutek vpisa v zemljiško knjigo (Juhart, 2007, stran 160). Poudarjam, da so bila navedena stališča zavzeta še pred novejšimi spoznanji sodne prakse in teorije, ki dajejo v razmerju med odsvojiteljem in pridobiteljem odločilni pomen razpolagalnemu pravnemu poslu (izstavitvi in izročitvi zemljiškoknjižnega dovolila, sposobnega za vknjižbo) – glej opombo 63. 60 Primerjaj Plavšak, 2010, stran 44; Plavšak, 2008, strani 222–223; Juhart v Juhart et al., 2004, strani 250–251; Vrenčur, 2010, strani 29–55; Tratnik in Vrenčur, 2008, strani 52–53. 61 Ustavno sodišče je v odločbi Up-591/10 z dne 2. 12. 2010 po zgledu teorije opozorilo, da začne v notranjem razmerju (med pogodbenima strankama) prenos lastninske pravice učinkovati, ko je opravljen razpolagalni pravni posel oziroma ko odsvojitelj izstavi in izroči pridobitelju zemljiškoknjižno dovolilo (23. člen SPZ), na katerem je njegov podpis notarsko overjen. V zunanjem razmerju (erga omnes) pa začne prenos učinkovati z vknjižbo lastninske pravice v korist pridobitelja oziroma s trenutkom, ko zemljiškoknjižno sodišče prejme predlog za vknjižbo lastninske pravice v korist pridobitelja (5. člen ZZK-1). Ta koncept je nato prevzelo Vrhovno sodišče, ga nadgradilo in uporabilo pri razrešitvi kolizije med upnikom, ki razpolaga s hipoteko, pridobljeno v izvršilnem postopku, in pridobiteljem nepremičnine, ki razpolaga z zemljiškoknjižno listino, sposobno za vknjižbo (imetnik lastninske pravice v pričakovanju). Primerjaj na primer odločbe Vrhovnega sodišča II Ips 475/2008, ECLI:SI:VSRS:2012:II.IPS.475.2008, II Ips 132/2009, ECLI:SI:VSRS:2012:II.IPS.132.2009, II Ips 78/2010, ECLI:SI:VSRS:2012:II.IPS.78.2010, II Ips 385/2008, ECLI:SI:VSRS:2012:II.IPS.385.2008, III Ips 106/2009, ECLI:SI:VSRS:2012:III.IPS.106.2009, in številne druge. Varstvo lastninske pravice v pričakovanju je Ustavno sodišče poudarilo tudi v številnih novejših odločbah – primerjaj na primer odločbi Up-9/16, ECLI:SI:USRS:2018:Up.9.16, in Up-879/20, ECLI:SI:USRS:2022:Up.879.20. 62 Omenjeni koncept, zlasti njegova izpeljava v praksi Vrhovnega sodišča, sta bila deležna večjega odziva. Primerjaj Hudej in Ščernjavič, 2012, priloga, strani I–VII; Juhart, 2013, strani 6–9; Tratnik, 2013, priloga, strani I–VIII; Hudej in Ščernjavič, 2013, strani 39–53; Galič, 2013, strani 9–24; Plavšak in Vrenčur, 2015a, strani 595–641; Plavšak in Vrenčur, 2015b, strani 771–807; Tratnik, 2016a, strani 20–23; Tratnik, 2017, strani 19–22; Juhart v Juhart, Tratnik in Vrenčur, 2018, strani 268–269 in 347– 349. 394 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . del pridobiteljevega premoženja.63 To pa je trenutek, ko odsvojitelj kot zemljiškoknjižni lastnik (ki pri obravnavanem položaju ni tudi resnični lastnik nepremičnine) izstavi in izroči pridobitelju overjeno zemljiškoknjižno dovolilo.64 S tem trenutkom pridobitelju namreč priznavamo lastninsko pravico v pričakovanju, na podlagi katere pridobi v stečajnem postopku odsvojitelja položaj, primerljiv položaju izločitvenega upnika65 (prva alineja 3. točke tretjega odstavka 94. člena ZZK-1), v izvršilnem postopku pa ugovor tretjega66 (64. člen Zakona o izvršbi in zavarovanju67 (ZIZ)). Da spada nepremičnina v premoženje pridobitelja že v trenutku, ko je izstavljeno overjeno zemljiškoknjižno dovolilo, potrjuje tudi določba tretjega odstavka 168. člena ZIZ, ki upnikom omogoča izvršbo na nepremičnini tudi v primeru, ko dolžnik v zemljiški knjigi ni vpisan kot lastnik, če obstaja listina, ki je primerna za vpis dolžnikove lastninske pravice. Stališče, da je za prenos lastninske pravice na nepremičnini med odsvojiteljem in pridobiteljem ključen razpolagalni pravni posel, pa nenazadnje potrjuje tudi 1. točka prvega odstavka 99. člena ZZK-1, iz katere med drugim izhaja, da je v primeru zaznambe prepovedi odsvojitve in obremenitve vknjižba dovoljena, če je bil podpis na zemljiškoknjižnem dovolilu overjen pred trenutkom, od katerega učinkuje zaznamba prepovedi odtujitve in obremenitve. Če bi ob citiranih zakonskih določbah68 presojo dobre vere vseeno vezali na trenutek vložitve zemljiškoknjižnega predloga, bi lahko prišli do nevzdržne situacije, ko bi pridobitelju, ki bi bil ob izstavitvi zemljiškoknjižnega dovolila dobroveren, najprej v stečajnem postopku odsvojitelja priznali položaj, primerljiv položaju izločitvenega upnika, oziroma v izvršilnem postopku ugovor tretjega, kasneje pa, če bi se do vložitve predloga za vknjižbo seznanil z dejstvom, da 63 Primerjaj tudi Ščernjavič, 2017, strani 18–19. 64 Tako tudi Plavšak in Vrenčur v Plavšak et al., 2019, strani 238–240; Plavšak in Vrenčur, 2015b, strani 794–796. 65 Izločitvene pravice mu sicer v stečajnem postopku ni treba uveljavljati, saj lahko upravičenec (pričakovani lastnik) zaradi določbe v 3. točki tretjega odstavka 94. člena ZZK-1 doseže vknjižbo svoje pravice brez sodelovanja stečajnega dolžnika. Tako Plavšak, 2017, strani 172–174, 633–636 ter 665– 668. 66 Primerjaj prakso Vrhovnega sodišča, navedeno v opombi 63. 67 Uradni list RS, št. 3/07 – uradno prečiščeno besedilo, 93/07, 37/08 – ZST-1, 45/08 – ZArbit, 28/09, 51/10, 26/11, 17/13 – odl. US, 45/14 – odl. US, 53/14, 58/14 – odl. US, 54/15, 76/15 – odl. US, 11/18, 53/19 – odl. US, 66/19 – ZDavP-2M, 23/20 – SPZ-B, 36/21, 81/22 – odl. US in 81/22 – odl. US. 68 O pomenu zemljiškoknjižnega dovolila in vknjižbe lastninske pravice v zemljiški knjig podrobneje Hudej in Ščernjavič, 2013, strani 40–47. Primerjaj tudi sodbo Vrhovnega sodišča II Ips 85/2023, ECLI:SI:VSRS:2024:II.IPS.85.2023. J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 395, legitimacije pri izbrisni tožbi zemljiškoknjižni lastnik ni bil tudi resnični lastnik, njegov položaj (lastninska pravica v pričakovanju) ne bi bil več pravno varovan.69 V prid stališču, da je pri presoji dobrovernosti nadaljnjega pridobitelja ključna faza razpolagalnega pravnega posla, torej trenutek izstavitve zemljiškoknjižnega dovolila, sposobnega za vknjižbo, pa govori še en argument. Načelo zaupanja v zemljiško knjigo (10. člen SPZ in 8. člen ZZK-1) je namenjeno varstvu pridobitelja v pravnem (poslovnem) prometu z nepremičninami. Pravni promet pa se med odsvojiteljem in pridobiteljem izpelje, ko je zaključena razpolagalna faza oziroma ko pride do premika premoženja. To je tudi trenutek, ko je odpravljeno največje tveganje v pravnem prometu, to je tveganje neizpolnitve.70 Najpomembnejši pravni instrument, ki varuje pred tveganjem neizpolnitve, je pravilo o sočasnosti izpolnitve iz dvostranske pogodbe (prvi odstavek 101. člena OZ). Pri prodaji nepremičnine se pridobitelj pred tem tveganjem običajno zavaruje s pogodbenim določilom, po katerem je kupnino dolžan plačati šele, ko mu odsvojitelj izroči in v njegovo korist pri notarju deponira overjeno zemljiškoknjižno dovolilo.71 Z zaključkom razpolagalnega pravnega posla je torej opravljen pravni promet med odsvojiteljem in pridobiteljem, pridobitelj pa ima od tega trenutka dalje položaj pričakovanega lastnika (33. člen URS), proti kateremu odsvojitelj ne more uveljavljati nobenega upravičenja več.72 Trenutek, ko pridobitelj vloži predlog za vknjižbo, za razmerje med odsvojiteljem in pridobiteljem ni pomemben. Vložitev predloga za vknjižbo je za pridobitelja pomembna le v razmerju do tretjih – z vložitvijo predloga namreč pridobitelj doseže zunanjo razpoznavnost svojega stvarnopravnega položaja (11. člen SPZ) in varstvo v razmerju do nadaljnjega pridobitelja, ki bi se v pravnem prometu zanesel na zemljiškoknjižno stanje (načelo zaupanja v zemljiško knjigo; 10. člen SPZ in 8. člen ZZK-1). Glede na povedano lahko torej sklenemo, da pri pridobitvi lastninske pravice na temelju načela zaupanja v zemljiško knjigo (a non domini pridobitev) zadostuje, da je pridobitelj v dobri veri glede razpolagalne sposobnosti odsvojitelja v trenutku, ko mu odsvojitelj izroči zemljiškoknjižno listino, sposobno za vknjižbo.73 69 Primerjaj Ščernjavič, 2017, strani 18–19. 70 Primerjaj Plavšak in Vrenčur v Plavšak et al., 2019, strani 238–240, ter Plavšak in Vrenčur, 2015b, strani 794–796. 71 Prav tam, glej opombo 72. 72 Primerjaj Juhart v Juhart, Tratnik in Vrenčur, 2018, strani 268–269. 73 Tako tudi Vrhovno sodišče v sodbi II Ips 85/2023, ECLI:SI:VSRS:2024:II.IPS.85.2023.. 396 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . 2.2.4 Možnost uporabe umetne inteligence pri odločanju o izbrisni tožbi, vloženi zoper nadaljnjega pridobitelja pri zaporednem razpolaganju z nepremičnino Na podlagi opravljene analize položaja, ko se izbrisna tožba vlaga zoper nadaljnjega pridobitelja, je mogoče ugotoviti, da je ta položaj v primerjavi s predhodno obravnavanim položajem, ko se izbrisna tožba vlaga zoper neposrednega pridobitelja, še kompleksnejši. Izbrisni upravičenec mora namreč izpodbiti dva ali celo več zaporednih pravnoposlovnih prenosov lastninske pravice na nepremičnini, pri čemer je presoja pri prvem prenosu osredotočena na materialnopravno neveljavnost vknjižbe, druge oziroma vse nadaljnje prenose pa je mogoče izpodbiti le ob ugotovljeni slabovernosti nadaljnjega pridobitelja (tretji odstavek 244. člena ZZK-1). S kompleksnostjo pravnega razmerja seveda naraščata število in teža vprašanj, ki jih mora razrešiti sodnik, preden sprejme končno odločitev v posamezni zadevi. Pri tem položaju mora torej sodnik v izbrisni pravdi poleg dilem, ki se pojavljajo pri položaju neposrednega pridobitelja, razčistiti tudi dileme, ki so povezane z ugotavljanjem slabovernosti nadaljnjega pridobitelja. Kot je bilo prikazano v tem razdelku, se težave pojavijo že pri definiranju pravnega standarda dobrovernosti oziroma slabovernosti. Sodna praksa in teorija namreč na to vprašanje ne dajeta enotnega odgovora. Zapleteno je tudi vprašanje, kdaj mora biti nadaljnji pridobitelj v dobri veri glede razpolagalne sposobnosti zemljiškoknjižnega lastnika, da ga varuje načelo zaupanja v zemljiško knjigo. Poleg navedenih materialnopravnih dilem je v takih primerih običajno treba izvesti obsežen dokazni postopek, ki vključuje izvedbo različnih dokazov in njihovo oceno (npr. ocena verodostojnosti prič na podlagi neposrednega zaznavanja ob zaslišanju). Tako kot pri položaju neposrednega pridobitelja gre tudi pri tem položaju za sojenje v pravem pomenu besede, za sojenje, ki terja definiranje normativnega in dejanskega izhodišča ter njuno izenačitev v obliki končne odločitve. Ta proces pa, kot rečeno, ni mehanski, avtomatičen, temveč gre za zahtevno, ustvarjalno opravilo, ki ga brez nekaterih kvalitet, ki so lastne le človeški inteligenci, ni mogoče izpeljati. Tudi v tem primeru umetna inteligenca človeškega sodnika ne more nadomestiti, koristna pa je lahko kot podporno orodje (npr. pri analizi sodne prakse, pri prepisu sodne obravnave, iskanju relevantnih pravnih virov, povzemanju pravnih besedil). J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 397, legitimacije pri izbrisni tožbi 2.3 Nadaljnji pridobitelj pri večkratnem oziroma vzporednem razpolaganju z nepremičnino 2.3.1 Opredelitev položaja nadaljnjega pridobitelja pri večkratnem oziroma vzporednem razpolaganju z nepremičnino Tretji položaj, ki zahteva posebno obravnavo v okviru pasivne stvarne legitimacije za izbrisno tožbo, je položaj drugega oziroma vsakega nadaljnjega pridobitelja pri večkratnem (vzporednem) razpolaganju z nepremičnino.74 Za večkratno oziroma vzporedno razpolaganje z isto nepremičnino gre takrat, ko zemljiškoknjižni lastnik, ki je tudi resnični lastnik, potem ko je z nepremičnino že razpolagal v korist prvega pridobitelja, z nepremičnino razpolaga ponovno, v korist drugega ali nadaljnjega pridobitelja. Pri tem ločimo dve situaciji: 1) s prvim pridobiteljem je lahko sklenjen le zavezovalni pravni posel (npr. kupoprodajna pogodba), ali pa je 2) v razmerju med odsvojiteljem in prvim pridobiteljem izpeljana tudi nadaljnja faza (razpolagalni posel), ko odsvojitelj prvemu pridobitelju izstavi zemljiškoknjižno listino, sposobno za vknjižbo. Obe situaciji zajema določba četrtega odstavka 243. člena ZZK-1. Ta daje prvemu (še ne vknjiženemu) pridobitelju možnost vložitve izbrisne tožbe proti odsvojitelju in nadaljnjemu pridobitelju, ki se je vknjižil v zemljiško knjigo.75 S svojim zahtevkom bo prvi pridobitelj uspel le, če bo dokazal, da je pravni posel, ki sta ga sklenila odsvojitelj in nadaljnji pridobitelj, ničen, ker je bil sklenjen z nedovoljenim namenom onemogočiti prvemu pridobitelju uresničitev zahtevka za pridobitev 74 Situacija večkratnega razpolaganja je bila predmet številnih teoretičnih razprav – primerjaj na primer Vrenčur, 2010, strani 29−55; Juhart, 2013, strani 7–9; Hudej in Ščernjavič, 2013, strani 49−52; Plavšak in Vrenčur, 2015b, strani 797–800; Plavšak in Vrenčur, 2015a, strani 616–620 in 632–636; Tratnik in Vrenčur, 2008, strani 52–56; Tratnik, Keresteš in Vrenčur, 1999, strani I−IV. 75 Hrvaška ureditev, za primerjavo, izbrisno tožbo omogoča le tistemu, čigar vknjižena pravica je bila z neveljavno vknjižbo prizadeta (primerjaj 150. člen ZZK). Situacije večkratnega razpolaganja z nepremičnino torej na Hrvaškem ne rešujejo z izbrisno tožbo, temveč s posebno tožbo, urejeno v 125. členu Zakona o vlasništvu in drugim stvarnim pravima (ZV; Narodne novine, br. 91/96, 68/98, 137/99, 22/00, 73/00, 129/00, 114/01, 79/06, 141/06, 146/08, 38/09, 153/ 09, 143/12, 152/14, 81/15 in 94/17). Tožbo, s katero zahteva izbris vpisa in vknjižbo na svoje ime, lahko pridobitelj vloži zoper kasnejšega vknjiženega pridobitelja, vendar le v primeru, če je toženi pridobitelj v slabi veri glede dejstva, da je bila nepremičnina tožniku že prodana in izročena v posest. Primerjaj Josipović, 2001, strani 250 in 269–272; Josipović, 1999, strani 70–76; Šago in Radić, 2017, strani 475–500; Žuvela, 2015, strani 25–29. Tudi po avstrijski ureditvi situacije večkratnega razpolaganja z nepremičnino ne rešujejo z izbrisno tožbo, temveč s pomočjo uporabe določb Allgemeines bürgerliches Gesetzbuch (ABGB) iz leta 1811 s spremembami. Izbrisna tožba je namreč tudi po tej ureditvi namenjena le varstvu že vknjiženega imetnika pravice (par. 61 GBG). Primerjaj Kodek (ur.), 2016, par. 61 GBG; Rechberger, 2006, strani 389–392; Gschnitzer, 1985, stran 5; Linimayer in Ronacher, 2020-2021, strani 112–113; Tratnik v Berden et al., 2002, strani 151– 153. 398 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . lastninske pravice na nepremičnini na podlagi pravnega posla, sklenjenega med prvim pridobiteljem in odsvojiteljem. Četrti odstavek 243. člena ZZK-1, ki ničnost kasnejšega pravnega posla pogojuje z ugotovitvijo nedovoljenega namena strank kasnejšega posla, je v letu 2011 vpeljala novela ZZK-1C.76 Pred tem se zemljiškoknjižna ureditev ni dotikala vprašanja veljavnosti kasnejšega pravnega posla, sodna praksa pa je ničnost nadaljnjega pravnega posla običajno utemeljila s kršitvijo moralnih načel, ker je nadaljnji pridobitelj vedel za obstoj prvega pravnega posla, zaradi česar je odsvojitelju ostalo le še upravičenje pravnega razpolaganja s stvarjo.77 To stališče je sodna praksa zavzela zlasti v primerih, ko je bila prvemu pridobitelju prepuščena tudi posest nepremičnine.78 Plavšak in Vrenčur79 poudarjata, da je poslovni nagib prodajalca, ki je prvemu kupcu že izročil posest nepremičnine, ob ponovni prodaji nedovoljen in pomeni zlorabo lastninske pravice. Če drugi kupec ve, da je prodajalec na podlagi prve prodajne pogodbe že izročil posest nepremičnine, to po mnenju avtorjev pomeni, da mu je poznan nedovoljeni nagib prodajalca za sklenitev druge prodajne pogodbe. Nedovoljeni nagib postane kot skupni poslovni namen del podlage druge prodajne pogodbe. Ker je skupni poslovni namen strank kasnejše pogodbe škodovati prvemu kupcu, je po mnenju avtorjev zaradi nedopustne podlage druga prodajna pogodba nična (drugi in četrti odstavek 39. člena OZ). Na podlagi stališča avtorjev, ki pri svoji razlagi izhajata iz dejanskega stanja, ki je bilo podlaga za sprejem stališča zgoraj omenjene sodne prakse, lahko sklepamo, da je v četrtem odstavku 243. člena ZZK-1 ta situacija zajeta tudi sedaj. Res pa je, da zakon varstva80 prvega 76 Uradni list RS, št. 25/11. 77 Primerjaj na primer odločbe Vrhovnega sodišča RS II Ips 66/90 z dne 31. 5. 1990 ter Vrhovnega sodišča Sl II Ips 215/86 in II Ips 216/86 z dne 6. 11. 1986; povzeto po Frantar, 1993, strani 102–107 in 111–112. Stališče, da pomeni ponovna prodaja sporne nepremičnine, ki jo je lastnik prodal in dejansko izročil prvemu kupcu, kršitev moralnih norm in da je zato utemeljen zahtevek prvega kupca za ugotovitev ničnosti takšnega pravnega posla zoper nedobrovernega drugega kupca, je bilo zavzeto tudi v nekaterih kasnejših judikatih – primerjaj na primer odločbo Vrhovnega sodišča II Ips 137/2005, ECLI:SI:VSRS:2007:II.IPS.137.2005. V zvezi s tem glej tudi odločbe II Ips 823/2009, ECLI:SI:VSRS:2013:II.IPS.823.2009, II Ips 567/2009, ECLI:SI:VSRS:2011:II.IPS.567.2009, in II Ips 44/2007, ECLI:SI:VSRS:2010:II.IPS.44.2007. 78 Posesti nepremičnine v primeru večkratnega razpolaganja z nepremičnino tudi hrvaška ureditev pripisuje posebno težo. Primerjaj Josipović, 2001, stran 250. 79 Primerjaj Plavšak in Vrenčur, 2015a, strani 616–620. 80 Po četrtem odstavku 243. člena ZZK-1 je pravno varstvo prvega kupca sedaj zagotovljeno z izbrisno tožbo, vloženo zoper prodajalca in drugega kupca, medtem ko je sodna praksa pred novelo ZZK-1C pravni položaj prvega kupca varovala z zahtevkom proti drugemu kupcu za izročitev zemljiškoknjižne listine, na podlagi katere se je lahko prvi kupec vpisal v zemljiško knjigo. Pri tem poudarjam, da ni šlo J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 399, legitimacije pri izbrisni tožbi kupca ne pogojuje s prenosom posesti prvemu kupcu, zato lahko sklepamo, da izbrisno tožbo dopušča tudi v primerih, ko je na nedovoljen namen strank kasnejšega posla mogoče sklepati na podlagi drugih okoliščin. Ugotovimo lahko, da zakon za uspešnost izbrisne tožbe (oziroma za ugotovitev ničnosti kasnejšega pravnega posla, ki je predpogoj za uspešnost izbrisne tožbe) zahteva več kot le slabo vero nadaljnjega pridobitelja. Izkazano mora biti naklepno ravnanje – nedovoljen namen obeh strank kasnejšega pravnega posla preprečiti izbrisnemu upravičencu pridobitev lastninske pravice.81 Že Juhart je izrazil pomislek v vsebinsko utemeljenost nove ureditve, ki zahteva ugotavljanje nedovoljenega namena strank kasnejšega pravnega posla82 in se tako oddaljuje od temeljnega pravila, da je izbrisna tožba mogoča proti slaboverni osebi. V nadaljevanju želim (z vidika novih spoznanj o pomenu izstavitve zemljiškoknjižnega dovolila in vknjižbe) predstaviti svoj pogled na reševanje primerov večkratnega razpolaganja z isto nepremičnino. Kot bo prikazano, se moj pogled na reševanje teh situacij nekoliko razlikuje od rešitve, ki jo ponuja ZZK-1 v četrtem odstavku 243. člena.83 Razmišljanje podajam na primeru dvojne prodaje, ugotovitve pa se smiselno nanašajo tudi na druge načine razpolaganja z nepremičnino.84 Po četrtem odstavku 243. člena ZZK-1 lahko torej prvi kupec, ki razpolaga z zemljiškoknjižno listino, sposobno za vknjižbo, proti prodajalcu in drugemu kupcu vloži izbrisno tožbo pod predpostavko, da je druga prodajna pogodba nična, ker sta stranki kasnejšega posla ravnali z nedovoljenim namenom onemogočiti prvemu kupcu uresničitev zahtevka za pridobitev lastninske pravice na nepremičnini na podlagi prve prodajne pogodbe. Kot rečeno, določba terja ugotovitev ničnosti druge za klasični izpolnitveni zahtevek kupca v današnjem pomenu, temveč za zahtevek, ki je imel stvarnopravno naravo in je bil namenjen uskladitvi zemljiškoknjižnega stanja. 81 opozarja, da gre za obarvan namen, usmerjen v preprečitev izvedbe prve vknjižbe Juhart (Juhart, 2013, strani 7–9). 82 Primerjaj Juhart, 2013, strani 8–9. 83 Razmišljanje v tem razdelku je nadaljevanje razprave, objavljene v prispevku Hudej in Ščernjavič, 2013, strani 49–52. 84 ZZK-1 v četrtem odstavku 243. člena v povezavi s 1. točko prvega odstavka 243. člena ZZK-1, na katero se izrecno sklicuje, ureja sicer le primer večkratnega prenosa lastninske ali izvedene pravice na nepremičnini. To pa ne predstavlja ovire, da se ta določba ne bi uporabila tudi za primer, ko drugo oziroma nadaljnje razpolaganje z nepremičnino ni usmerjeno v prenos pravice, temveč v njeno obremenitev. Ta situacija je namreč v bistvenem podobna zakonsko urejenemu primeru. V obeh primerih gre za dvojno razpolaganje, ki ima lahko za prvega pridobitelja enako usodne posledice. 400 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . prodajne pogodbe, pri čemer mora biti izkazan nedovoljen namen strank kasnejšega posla. Če dosledno upoštevamo predstavljeno izhodišče,85 da je v razmerju med prodajalcem in prvim kupcem z izstavitvijo zemljiškoknjižne listine, sposobne za vknjižbo, že prišlo do prenosa lastninske pravice in da ta prenos učinkuje tudi v razmerju do drugega kupca, če je ta v slabi veri, uspešnosti izbrisne tožbe prvega kupca po mojem mnenju ne bi bilo treba pogojevati z uveljavljanjem zahtevka za ugotovitev ničnosti druge prodajne pogodbe oziroma z ugotavljanjem nedovoljenega namena strank kasnejše pogodbe, kot je to določeno v zakonu. Menim, da zadošča že ugotovitev slabe vere drugega kupca, saj ta glede na nova pravna izhodišča lastninsko pravico pridobiva od nelastnika (razpolagalno nesposobne osebe). Prodajalec je namreč z izstavitvijo zemljiškoknjižnega dovolila prvemu kupcu že izčrpal svojo razpolagalno moč – ostala mu je le še možnost formalnega (knjižnega) pravnega razpolaganja. Na to sta utemeljeno, še pred izoblikovanjem koncepta o učinkih prenosa lastninske pravice v notranjem in zunanjem razmerju, opozorila že Tratnik in Vrenčur.86 Avtorja poudarjata, da odsvojitelj v takem primeru nima več razpolagalne sposobnosti za kasnejše razpolaganje. Tudi Juhart87 je že pred uveljavitvijo novih spoznanj opozarjal, da je s prvim in edinim učinkovitim prenosom razpolagalna sposobnost odsvojitelja izčrpana, zato ta ne more več veljavno in učinkovito razpolagati. Ob takem izhodišču lahko torej drugi kupec pridobi lastninsko pravico od prodajalca kot nelastnika le na podlagi načela zaupanja v zemljiško knjigo (10. člen SPZ). To načelo pa predpostavlja dobrovernost pridobitelja.88 Če je torej drugi kupec nedobroveren, lastninske pravice že zaradi svoje nedobrovernosti ne more pridobiti. Za uspešnost 85 Glej razdelek 2.2.3. 86 in TratnikVrenčur poudarjata, da je v primeru večkratne odsvojitve iste nepremičnine odsvojitelj z razpolaganjem v korist prvega pridobitelja že izčrpal svojo razpolagalno moč. To pomeni, da odsvojitelj nima več razpolagalne sposobnosti za kasnejše razpolaganje. Ta okoliščina mora imeti po mnenju avtorjev vpliv na kasnejšega slabovernega pridobitelja iste nepremičnine. Avtorja vidita rešitev v ničnosti kasnejšega razpolagalnega posla zaradi nedopustnosti predmeta oziroma zaradi razpolaganja brez razpolagalne sposobnosti (Tratnik in Vrenčur, 2008, strani 52–53). Tudi Juhart opozarja, da je s prvim in edinim učinkovitim prenosom razpolagalna sposobnost izčrpana, zato oseba ne more več veljavno in učinkovito razpolagati (Juhart v Juhart et al. 2004, stran 246). 87 Primerjaj Juhart v Juhart et al., 2004, stran 246. 88 Tudi Tratnik in Vrenčur ugotavljata, da lahko tretji v primeru, ko je prodajalec kupcu že izstavil zemljiškoknjižno dovolilo, pridobi hipoteko na isti nepremičnini le pod pogoji, ki jih določa načelo zaupanja v zemljiško knjigo, to je ob izkazani dobrovernosti hipotekarnega upnika (Tratnik in Vrenčur, 2008, strani 30–31). J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 401, legitimacije pri izbrisni tožbi izbrisne tožbe prvega kupca zato po mojem mnenju zadošča že izkazana slaba vera drugega kupca. V prid stališču, da drugi kupec v primeru, ko je bilo v korist prvega kupca že opravljeno razpolagalno dejanje, pridobiva lastninsko pravico od nelastnika (razpolagalno nesposobne osebe), govori tudi primerjava položaja drugega kupca s položajem nadaljnjega kupca pri zaporedni prodaji nepremičnine.89 Če je kupoprodajna pogodba, sklenjena med prodajalcem nepremičnine (kot zemljiškoknjižnim in resničnim lastnikom) ter prvim kupcem, neveljavna (na primer razveljavljena), je v njunem notranjem razmerju ustvarjen položaj, kot da do spremembe imetnika lastninske pravice sploh ni prišlo. Zaradi kavzalnega odnosa med razpolagalnim in zavezovalnim poslom, ki je uveljavljen v našem pravnem sistemu,90 odprava zavezovalnega posla (razveljavitev pogodbe) namreč nujno vodi do prenehanja učinkov razpolagalnega posla (do razveljavitve zemljiškoknjižnega dovolila). Če prvi kupec nepremičnino odsvoji nadaljnjemu kupcu, še preden pride do zemljiškoknjižne izvedbe posledic neveljavne pogodbe, teorija enotno zagovarja stališče, da nadaljnji kupec pridobiva lastninsko pravico od nelastnika (razpolagalno nesposobne osebe) in da lahko torej pravico pridobi le ob izpolnjenem pogoju dobrovernosti (10. člen SPZ).91 Če je nadaljnji kupec nedobroveren, ga načelo zaupanja v zemljiško knjigo ne varuje, zato lastninske pravice že iz tega razloga ne more pridobiti. Menim, da sta nedobroverni nadaljnji kupec pri zaporedni prodaji in nedobroverni drugi kupec pri dvojni prodaji v bistveno enakem položaju. Stopnja protipravnosti njunega ravnanja je namreč primerljiva (npr. seznanjenost nadaljnjega kupca z razveljavitvijo posla (in s tem zemljiškoknjižnega dovolila) med njegovim prednikom (prvim kupcem) in prodajalcem je enakovredna seznanjenosti drugega kupca pri dvojni prodaji z dejstvom, da je bilo v korist prvega kupca že izstavljeno zemljiškoknjižno dovolilo, sposobno za vknjižbo), zato bi morala biti položaja enakovredno obravnavana. Glede na besedilo četrtega odstavka 243. člena ZZK-1, ki izbris (posredno) pogojuje s posebnim nedovoljenim namenom prodajalca in drugega kupca, pa je drugi kupec pri dvojni prodaji dejansko v boljšem položaju, saj 89 Glej razdelek 2.2. 90 Glej opombo 13. 91 Primerjaj Plavšak in Vrenčur v Plavšak, Juhart in Vrenčur, 2009, strani 702–703; Juhart v Juhart et al., 2004, strani 89–90. 402 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . za njegov izbris ne zadošča že izkazana slaba vera, kot to velja po ustaljenem stališču teorije pri nadaljnjem kupcu v primeru zaporedne prodaje. Nedobroverni nadaljnji kupec pri zaporedni prodaji je tako obravnavan strožje kot nedobroverni drugi kupec pri dvojni prodaji. Podlage za različno obravnavanje zaporedne in dvojne prodaje tudi ni mogoče utemeljiti z razlikovanjem med položajem prodajalca (resničnega lastnika) pri zaporedni prodaji in položajem prvega kupca pri dvojni prodaji. Tudi njuna položaja sta dejansko primerljiva. Neskrbnost, ki jo je v primeru zaporedne prodaje mogoče očitati prodajalcu, ki z vložitvijo izbrisne tožbe ni poskrbel za pravočasno zemljiškoknjižno izvedbo posledic neveljavne pogodbe oziroma za uskladitev zemljiškoknjižnega stanja z dejanskim, je mogoče primerjati z neskrbnostjo prvega kupca pri dvojni prodaji, ki kljub izstavljeni zemljiškoknjižni listini ne poskrbi za vknjižbo svoje pravice in s tem tvega izgubo svoje pravice zaradi morebitnega prodajalčevega ponovnega razpolaganja z nepremičnino. Po mojem mnenju sta situaciji dvojne in zaporedne prodaje primerljivi tako po stopnji neskrbnosti kot po stopnji protipravnosti ravnanj udeležencev teh razmerij, zato ne vidim tehtnega razloga, ki bi narekoval drugačno obravnavo teh situacij. Zakonska zahteva, da mora biti pri strankah kasnejšega posla izkazan nedovoljen namen (četrti odstavek 243. člena ZZK-1), je v primeru, ko je kupcu že izstavljeno zemljiškoknjižno dovolilo, lahko vprašljiva tudi s sistemskega vidika. Izbrisna tožba pomeni namreč izpeljavo načela zaupanja v zemljiško knjigo,92 zato je problematično, da za njeno utemeljenost pri večkratnem razpolaganju z isto nepremičnino ne zadošča slabovernost drugega kupca (10. člen SPZ). Drugi kupec tako lahko kljub slabovernosti ostane vpisan v zemljiško knjigo, če ni dokazan še nedovoljen namen v smislu četrtega odstavka 243. člena ZZK-1. Razlog za opisano neskladje med zakonskimi pogoji za vložitev izbrisne tožbe v primeru večkratnega razpolaganja in načelom zaupanja v zemljiško knjigo je verjetno v zakonodajalčevem izhodišču, da drugi kupec kljub opravljenemu razpolagalnemu poslu v korist prvega kupca lastninsko pravico pridobiva od (resničnega) lastnika nepremičnine. Takšno izhodišče pa je z vidika novih spoznanj teorije in sodne prakse o pomenu izstavljenega in overjenega zemljiškoknjižnega dovolila lahko vprašljivo. Dosedanja razprava se nanaša na situacijo, ko je prodajalec prvemu kupcu že izstavil zemljiškoknjižno dovolilo, sposobno za vknjižbo, in je nato z nepremičnino razpolagal ponovno. Drugače pa je treba obravnavati situacijo večkratnega 92 Primerjaj Juhart v Juhart et al., 2004, strani 87–88. J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 403, legitimacije pri izbrisni tožbi razpolaganja, ko prvemu kupcu zemljiškoknjižno dovolilo še ni izstavljeno in gre torej le za imetnika obligacijske pravice.93 V tej situaciji je za uspešnost izbrisne tožbe treba ugotavljati ničnost druge prodajne pogodbe in ustrezno rešitev lahko predstavlja četrti odstavek 243. člena ZZK (dokazovanje nedovoljenega namen strank kasnejšega posla). V razmerju med prvim kupcem in prodajalcem namreč še ni prišlo do prehoda lastninske pravice, zato pridobiva drugi kupec v tem primeru lastninsko pravico od lastnika nepremičnine. Menim torej, da bi v primeru, ko je prvemu kupcu že izstavljeno zemljiškoknjižno dovolilo, sposobno za vknjižbo, za uspešnost izbrisne tožbe zadoščala že izkazana slabovernost drugega kupca, medtem ko mora prvi kupec, ki razpolaga zgolj s kupoprodajno pogodbo, dokazati nedovoljen namen strank kasnejšega posla in s tem ničnost tega posla. Takšno razlikovanje se zdi utemeljeno tudi iz razloga, če upoštevamo naravo pravice, v katero se poseže z drugim razpolaganjem. Pri kupcu, ki razpolaga z zemljiškoknjižnim dovolilom, je poseg nedvomno večji kot pri kupcu, ki razpolaga zgolj s kupoprodajno pogodbo. Tudi z vidika teže posega bi bilo tako logično, da je pri hujšem posegu pristop strožji do drugega kupca in da torej za njegov izbris zadostuje že slaba vera. Poleg navedenega pa je pri izbrisni tožbi, ki se vlaga v primeru večkratnega oziroma vzporednega razpolaganja z isto nepremičnino, v okviru obravnave pasivne stvarne legitimacije treba opozoriti še na dodatni pogoj, ki ga določa zakon in ki mora biti izpolnjen, da je tožena prava stranka. V četrtem odstavku 243. člena ZZK-1 je namreč določeno, da je treba izbrisno tožbo v primeru večkratnega razpolaganja vložiti proti odsvojitelju in (nadaljnjemu) pridobitelju kot nujnima sospornikoma. Izbrisna tožba se sicer običajno vlaga le proti osebi, ki je vknjižena v zemljiški knjigi (244. člen ZZK-1). Ker pa prvi pridobitelj v primeru večkratnega razpolaganja z isto nepremičnino z izbrisnim zahtevkom poseže v tuje pravno razmerje in torej tudi v pravni položaj odsvojitelja (po izbrisu pravice, vknjižene v korist nadaljnjega pridobitelja, se namreč znova vpiše lastninska pravica v korist odsvojitelja), je zahteva po nujnem sosporništvu na pasivni strani pri izbrisni tožbi v tem primeru utemeljena. Če prvi pridobitelj izbrisne tožbe ne vloži proti nadaljnjemu pridobitelju in odsvojitelju, ni tožena prava stranka in je treba zahtevek zaradi pomanjkanja pasivne stvarne legitimacije zavrniti.94 93 O vplivu posesti na položaj prvega kupca glej Hudej in Ščernjavič, 2012, priloga, strani V–VI. 94 Primerjaj tudi sklep Vrhovnega sodišča II Ips 332/2017, ECLI:SI:VSRS:2019:II.IPS.332.2017. 404 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . 2.3.2 Možnost uporabe umetne inteligence pri odločanju o izbrisni tožbi, vloženi zoper nadaljnjega pridobitelja pri večkratnem oziroma vzporednem razpolaganju z nepremičnino Tudi pri izbrisni tožbi v primeru večkratnega razpolaganja z nepremičnino gre za zadevo, ki je kompleksna tako v dejanskem kot tudi pravnem smislu. Zaradi določbe o nujnem sosporništvu pri tem položaju na pasivni strani nastopata dve osebi (odsvojitelj in nadaljnji pridobitelj), dodatno težavo v primerjavi s predhodno obravnavanim položajem, ki terja le ugotavljanje slabovernosti nadaljnjega pridobitelja, pa predstavlja zakonska zahteva, ki ničnost pravnega posla, ki je predpogoj za uspešnost izbrisne tožbe, veže na naklepno ravnanje (nedovoljen namen) obeh strank kasnejšega pravnega posla, da bi se izbrisnemu upravičencu preprečila pridobitev lastninske pravice na nepremičnini. Nedovoljen namen je običajno težko dokazati, še težje pa prepričljivo utemeljiti. Če dodamo še zgoraj prikazane pomisleke nekaterih teoretikov glede vsebinske utemeljenosti ureditve tega položaja, lahko ugotovimo, da je zahtevnost opravil, ki jih mora pri odločanju o izbrisni tožbi opraviti sodnik, pri tem položaju največja. Zato je razumljivo, da tudi tu umetna inteligenca več kot podporne vloge pri sojenju ne more imeti. 3 Možnost uporabe umetne inteligence pri odločanju o izbrisni tožbi Kot je mogoče razbrati iz zgornje analize položajev pasivne stvarne legitimacije, gre pri odločanju o izbrisni tožbi za sojenje v pravem pomenu besede, za sojenje, ki zahteva sodnikovo angažiranost tako pri razlagi normativnega izhodišča kot pri iskanju pravno relevantnih dejstev iz življenjskega primera in končno tudi pri sklepni fazi sojenja, torej pri oblikovanju odločitve, ki je vrednostna sinteza95 dejanskega in normativnega izhodišča. Pravni pojmi v zakonu in drugih splošnih aktih so namreč pogosto pomensko odprti in potrebujejo razlago. Eden takih je zagotovo pravni standard dobre vere.96 Z metodami razlage je potrebno napolniti tudi morebitne pravne praznine, ki se pojavijo v pravnem besedilu. Pri sojenju sodnik prav tako ne sme spregledati sodne prakse, ki je že bila sprejeta v podobnih primerih, in mora tej praksi, če je ustaljena in če sam nima argumentov za odstop, tudi slediti (22. člen URS). Poleg sodne prakse sodniku pri sojenju pomembno oporo lahko nudi tudi pravna teorija, pri čemer je treba upoštevati, da stališča teoretikov pogosto niso 95 Primerjaj Pavčnik, 1998, strani 27–40. 96 Primerjaj razdelek 2.2.2. J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 405, legitimacije pri izbrisni tožbi enoznačna in so v določenih primerih lahko tudi drugačna od stališča, ki ga zagovarja sodna praksa.97 Nekateri življenjski primeri pa zahtevajo še večjo kreativnost od sodnika,98 saj bi bila rešitev, ki sledi ustaljeni sodni praksi in dognanjem teorije, v okoliščinah konkretnega primera lahko neustrezna ali nepravična. Nenazadnje pa je treba upoštevati še, da je izbrisna tožba kompleksen pravni institut, zato vprašanje pasivne stvarne legitimacije ni edino vprašanje, ki ga mora v konkretnem primeru razrešiti sodnik. Podobne ali celo še večje dileme (pomensko odprti izrazi, pravni standardi, pravne praznine, neusklajenost sodne prakse, neusklajenost sodne prakse in teorije …) se namreč odpirajo tudi pri aktivni stvarni legitimaciji, pri presoji (ne)veljavnosti podlage, na kateri temelji vknjižba, pri presoji morebitne časovne omejenosti izbrisnega zahtevka itd. Odločanje o izbrisni tožbi se tako izkaže za odgovorno opravilo, ki ga brez kvalitet, ki jih premore le človeška inteligenca, po mojem mnenju ni mogoče izpeljati. Pri sojenju namreč ne gre le za poznavanje pravil in njihovo mehanično uporabo v življenjskem primeru, temveč je potrebno zgornjo in spodnjo premiso silogističnega sklepanja (abstraktni in konkretni dejanski stan) šele ustvariti in nato s pomočjo vrednotenja najti njuno povezavo.99 Vrednotenje pa je predvsem iracionalna komponenta človeškega delovanja,100 ki je ne moremo matematično izračunati ali povzeti in je zato za umetno inteligenco nedosegljiva. Enako je mogoče reči tudi za pravni občutek, ki prav tako usmerja proces razmišljanja,101 in za izkušnje, čustva, intuicijo ter druge iracionalne komponente človekovega delovanja. Ravno zaradi teh specifičnosti, ki jih premore le človeška inteligenca, umetna inteligenca vloge človeka pri sojenju ne more nadomestiti.102 Po drugi strani pa se je ob omejitvah umetne inteligence treba zavedati tudi njenih koristnih lastnosti in zmožnosti (večja učinkovitost, hitrost, natančnost). Zato se zdi najbolj smiselna rešitev vpeljava umetne inteligence, ki bo sodniku pri sojenju le v pomoč (podporna funkcija),103 kot pomožno orodje za izboljšanje njegove kakovosti in učinkovitosti. V tem smislu se umetna inteligenca v pravu tudi že uporablja (npr. pri iskanju sodne prakse, pri razvrščanju primerov po določenem kriteriju, pri sestavi 97 Primerjaj razdelek 2.2.2. 98 Glej opombo 58 in 60. 99 Podrobneje Pavčnik, 1998, strani 105–124. 100 Primerjaj Cerar, 2001, stran 125. 101 Primerjaj Brkan, 2023b; Lukman, 2022, stran 19. 102 Tako tudi Brkan, 2023b; Lukman, 2022, 18 –20. 103 Primerjaj Cerar, 2024, strani 87–89; Brkan, 2023b; Pastirk, 2022, strani 40–41. 406 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . povzetkov in prevodov, pri transkripciji sodnih obravnav). Vseeno pa je pomembno, da ostane pri sojenju le v podporni funkciji in da je človek končni razsodnik.104 Več možnosti za vpeljavo umetne inteligence pa je v enostavnejših, bolj tehnično obarvanih, postopkih, ki so že sedaj v veliki meri digitalizirani (npr. izvršilni postopek, zemljiškoknjižni postopek). V tovrstnih postopkih namreč ne gre za sojenje, ki bi terjalo zgoraj omenjene kvalitete inteligence, ki so lastne le človeku. Umetna inteligenca bi v teh postopkih zato lahko še dodatno pripomogla k skrajšanju časa odločanja in k zmanjšanju stroškov. Če se omejimo na izbrisno tožbo, sta taka postopka zemljiškoknjižni postopek, v katerem se odloča o zaznambi izbrisne tožbe (245. člen ZZK-1),105 ter zemljiškoknjižni postopek, v katerem se v skladu z odločitvijo iz pravdnega postopka, s katero je izbrisnemu zahtevku ugodeno, po izbrisu materialnopravno neveljavne vknjižbe v zemljiški knjigi znova vzpostavi prejšnje zemljiškoknjižno stanje (80. in 81. člen ZZK-1 v zvezi z 245. členom ZZK-1).106 V postopku, v katerem se odloča o zaznambi izbrisne tožbe, se preveri le, ali ima oseba, ki vlaga predlog, položaj tožnika v postopku z izbrisno tožbo, ali je vsebina izbrisnega zahtevka ustrezna, in ali je pravica, ki je predmet vpisa te zaznambe, določno identificirana. Zemljiškoknjižno sodišče pa ne presoja navedb, s katerimi tožnik utemeljuje izbrisni zahtevek. Podobne narave so tudi opravila zemljiškoknjižnega sodišča v postopku, ki sledi pravdi, v kateri je izbrisnemu zahtevku ugodeno. Izbrisni upravičenec v tem primeru na podlagi pravnomočne sodbe, ki ima značilnosti listine, na podlagi katere je dovoljena vknjižba, predlaga ustrezno vknjižbo, in sicer v vrstnem redu zaznambe izbrisne tožbe, če je bila vložitev tožbe predhodno zaznamovana. Zemljiškoknjižno sodišče nato odloči o tej vknjižbi glede na stanje v zemljiški knjigi v trenutku, od katerega učinkuje ta 104 Sistemi umetne inteligence, ki naj bi jih uporabljal sodni organ ali naj bi se uporabljali v njegovem imenu za pomoč sodnemu organu pri raziskovanju in razlagi dejstev in prava ter pri uporabi prava za konkreten sklop dejstev, ali ki naj bi se uporabljali na podoben način pri alternativnem reševanju sporov, so uvrščeni med visokotvegane sisteme umetne inteligence (primerjaj 8. točko Priloge III v Uredbi (EU) 2024/1689 Evropskega parlamenta in Sveta z dne 13. junija 2024 o določitvi harmoniziranih pravil o umetni inteligenci in spremembi uredb (ES) št. 300/2008, (EU) št. 167/2013, (EU) št. 168/2013, (EU) 2018/858, (EU) 2018/1139 in (EU) 2019/2144 ter direktiv 2014/90/EU, (EU) 2016/797 in (EU) 2020/1828; Uredba 2024/1689 – Akt o umetni inteligenci). 105 Ta zaznamba se ne opravi po uradni dolžnosti, temveč le na predlog izbrisnega upravičenca (tožnika v izbrisni pravdi). Z zaznambo izbrisne tožbe se javno objavi pravno dejstvo spora, ki poteka na podlagi vložene izbrisne tožbe. To je z vidika učinkovanja načela zaupanja v zemljiško knjigo velikega pomena, saj se izbrisni upravičenec na ta način zavaruje pred tveganjem, da bi po vložitvi izbrisne tožbe dobroverni pridobitelj dosegel vknjižbo pravice v svojo korist. Primerjaj Tratnik, 2016b, strani 549– 550; Plavšak v Plavšak et al., 2019, stran 456. 106 O obeh postopkih podrobneje Plavšak, 2002, strani 392–401. J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 407, legitimacije pri izbrisni tožbi zaznamba. Seveda tudi pri teh enostavnejših postopkih lahko pride do zapletov ali razlogov za izjemno drugačno rešitev zadeve, zato je pomembno, da tudi v teh postopkih končno nadzorno, kontrolno funkcijo opravi človek. 4 Zaključek To poglavje v monografiji odgovarja na vprašanje, kakšne so možnosti vključitve umetne inteligence v odločanje o izbrisni tožbi (243. člen ZZK-1), ki običajno vključuje tri postopke (odločanje o izbrisni tožbi v pravdnem postopku, odločanje o zaznambi izbrisne tožbe v zemljiškoknjižnem postopku ter zemljiškoknjižno realizacijo odločitve iz pravdnega postopka). Na vprašanje odgovarja po opravljeni analizi narave postopka, v katerem se odloča o izbrisni tožbi, pri čemer se omejuje le na presojo pogojev, ki morajo biti izpolnjeni na pasivni (toženi) strani, da je izbrisni zahtevek lahko utemeljen (pasivna stvarna legitimacija). V tem poglavju monografije so na primeru pravnoposlovne pridobitve lastninske pravice na nepremičnini obravnavani naslednji trije položaji: položaj neposrednega pridobitelja, položaj nadaljnjega pridobitelja pri zaporednem razpolaganju z nepremičnino in položaj nadaljnjega pridobitelja pri večkratnem razpolaganju z nepremičnino. Položaj neposrednega pridobitelja (prvi odstavek 244. člena ZZK-1) v praksi praviloma ni problematičen. Za utemeljenost izbrisnega zahtevka prejšnjega zemljiškoknjižnega (in hkrati resničnega) lastnika v tem primeru ni pomembno, ali je neposredni pridobitelj dobroveren ali ne. Bolj problematičen je položaj nadaljnjega pridobitelja v primeru zaporednega razpolaganja z nepremičnino (drugi odstavek 244. člena ZZK-1). Gre za sopogodbenika osebe, katere vknjižba je materialnopravno neveljavna (zemljiškoknjižni naslednik neposrednega pridobitelja). Ker zemljiškoknjižni lastnik pri tem položaju ni tudi resnični lastnik nepremičnine, ima pravnoposlovna pridobitev lastninske pravice učinek le, če se je nadaljnji pridobitelj v dobri veri zanesel na zemljiškoknjižne podatke (načelo zaupanja v zemljiško knjigo). Odsotnost razpolagalne sposobnosti zemljiškoknjižnega lastnika v tem primeru nadomesti dobrovernost nadaljnjega pridobitelja. Tako je tudi razumljivo, da zakon izbrisne tožbe proti dobrovernemu nadaljnjemu pridobitelju ne dovoljuje (tretji odstavek 244. člena ZZK-1). V okviru razprave pri tem položaju so soočena in kritično obravnavana tudi različna stališča teorije in sodne prakse glede razlage pravnega standarda dobre vere, posebna pozornost pa je namenjena tudi vprašanju, kdaj mora biti nadaljnji pridobitelj v dobri 408 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . veri glede razpolagalne sposobnosti zemljiškoknjižnega lastnika, da ga varuje načelo zaupanja v zemljiško knjigo. V nadaljevanju je ob upoštevanju novejših spoznanj pravne teorije in sodne prakse glede pomena izstavitve zemljiškoknjižnega dovolila in vknjižbe predstavljen lasten pogled avtorice na reševanje primerov, ki se nanašajo na položaj nadaljnjega pridobitelja v primeru večkratnega oziroma vzporednega razpolaganja z isto nepremičnino, ki se nekoliko razlikuje od rešitve, ki jo ponuja ZZK-1 v četrtem odstavku 243. člena. Po mnenju avtorice bi v primeru, ko je prvemu pridobitelju pri večkratnem razpolaganju z nepremičnino že izstavljeno zemljiškoknjižno dovolilo, sposobno za vknjižbo, za uspešnost izbrisne tožbe zadoščala ugotovitev slabovernosti nadaljnjega pridobitelja. Pri slednjem položaju je posebej poudarjen še pomen zakonsko določenega pogoja nujnega sosporništva na pasivni strani. Na podlagi opravljene analize položajev pasivne stvarne legitimacije je mogoče ugotoviti, da gre pri odločanju o izbrisni tožbi v pravdnem postopku za sojenje v pravem pomenu besede, za opravilo, ki terja kvalitete, ki jih premore le človeška inteligenca. Umetna inteligenca tako pri sojenju ne more nadomestiti vloge človeškega sodnika, zaradi izboljšanja kakovosti odločitev in učinkovitosti sojenja pa je vsekakor smiselna vpeljava umetne inteligence kot sodniškega pomočnika (podporna funkcija). V zemljiškoknjižnih postopkih, ki so vezani na pravdni postopek, v katerem se odloča o izbrisni tožbi (postopek, v katerem se odloča o zaznambi izbrisne tožbe, ter postopek, v katerem se v skladu z odločitvijo iz pravdnega postopka po izbrisu materialnopravno neveljavne vknjižbe vzpostavi prejšnje zemljiškoknjižno stanje), pa so možnosti za vključitev umetne inteligence zaradi tehnične narave teh postopkov nedvomno večje. Čeprav je bila umetna inteligenca ustvarjena z namenom, da nam olajša življenje, se je treba ob njenih koristnih lastnostih in zmožnostih zavedati tudi njenih omejitev in potencialnih nevarnosti, ki jih lahko prinese. Zgoraj predstavljene zmožnosti človeške inteligence seveda niso edina omejitev, ki preprečuje, da bi umetna inteligenca nadomestila človeškega sodnika. Mnogi avtorji107 opozarjajo še na druge, etične in praktične dileme in na številne nevarnosti, ki zaradi izjemnega napredka in povečevanja 107 Brkan (2023a) na primer opozarja na morebiten vpliv umetne inteligence na neodvisnost sodne veje oblasti ter na vprašanje, kdo bo v primeru uporabe umetne inteligence nosil odgovornost za sprejeto odločitev. Renko (2024, strani 135–150) se ukvarja z dilemami, povezanimi s priznanjem pravne subjektivitete umetne inteligence za namene odškodninske odgovornosti. Cerar (2024, strani 100–106) razpravlja o umetni inteligenci kot potencialni grožnji etičnosti pravne država. Med drugim opozori tudi na vprašanje smiselnosti pritožbe v primeru uporabe umetne inteligence pri sojenju. J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 409, legitimacije pri izbrisni tožbi zmogljivosti umetne inteligence108 niso več le hipotetične. Nadomestitev človeškega sodnika je zato tema, ki bo tudi v prihodnosti zagotovo deležna velike pozornosti. Če se zavedamo možnosti, da bo zaradi nenehnega razvoja v nekem trenutku lahko prišlo do prevlade tehnologije in umetne inteligence nad človekom, je strogo nadzorovana in omejena uporaba umetne inteligence v pravu (in drugih družbenih področjih) edina prava usmeritev.109 Le ob taki usmeritvi lahko negativne lastnosti umetne inteligence pravočasno izničimo ali vsaj bistveno zmanjšamo. Literatura Berden, A. et al. (2002) Zemljiškoknjižno pravo: izbrana poglavja, 2. zvezek (Maribor: Studio Linea). Brkan, M. (2023a) Umetna inteligenca in sodniško odločanje, 1. del, https://www.iusinfo.si/medijsko-sredisce/kolumne/304161(obiskano: 13. 2. 2025). Brkan, M. (2023b) Umetna inteligenca in sodniško odločanje, 2. del, https://www.iusinfo.si/medijsko-sredisce/kolumne/umetna-inteligenca-in-sodnisko-odlocanje-2-del-304681 (obiskano: 13. 2. 2025). Cerar, M. (2001) (I)racionalnost modernega prava (Ljubljana: Bonex). Cerar, M. (2024) Etičnost prava in umetna inteligenca. Pravni letopis 2024: znanstvena revija Inštituta za primerjalno pravo pri Pravni fakulteti v Ljubljani, strani 83–108. Damjan, M. in Bergant Rakočević, V. (2015) Dobra vera pri priposestvovanju služnosti: vidik pridobitelja služeče nepremičnine. Pravnik, 70(5–6), strani 307–322. Frantar, T. (1993) Stvarno pravo (Ljubljana: Gospodarski vestnik). Galič, A. (2013) Praktični primeri glede razmerja med obligacijsko in stvarnopravno naravo zahtevka. Pravni letopis 2013: znanstvena revija Inštituta za primerjalno pravo pri Pravni fakulteti v Ljubljani, strani 9–24. Gschnitzer, F. (1985) Österreichisches Sachenrecht (Wien, New York: Springer-Verlag). Hudej, J. (2012) Časovna (ne)omejenost izbrisne tožbe (na primeru lastninske pravice). Pravnik, 67(7–8), strani 525–539. Hudej, J. (2013) Problem izbire pravne podlage pri odločanju o izbrisni tožbi zaradi sprememb zemljiškoknjižne zakonodaje. Pravnik, 68 (7–8), strani 491–513. Hudej, J. (2014) Izbrisna tožba – analiza aktualne sodne prakse s komentarjem. Podjetje in delo, 40(8), strani 1445–1461. Hudej, J. (2017) Aktivna legitimacija za izbrisno tožbo. Podjetje in delo, 43 (1), strani 133–143. Hudej, J. in Ščernjavič, I. (2010) Sporna materialnopravna vprašanja skupnega premoženja s posebnim poudarkom na novejši sodni praksi. Pravnik, 65(11–12), strani 747–791. Hudej, J. in Ščernjavič, I. (2012) Ponovni premislek o nekaterih temeljnih izhodiščih stvarnega prava pri prenosu lastninske pravice na nepremičninah. Pravna praksa, 31(3), priloga, strani I–VII. Hudej, J. in Ščernjavič, I. (2013) Razprava o pomenu izstavitve zemljiškoknjižnega dovolila in o nekaterih posledicah spremenjene ureditve izbrisne tožbe. Pravni letopis 2013: znanstvena revija Inštituta za primerjalno pravo pri Pravni fakulteti v Ljubljani, strani 39–53. Hudej, J. in Ščernjavič, I. (2015) Skupno premoženje zakoncev – analiza novejše sodne prakse s komentarjem. Odvetnik, 17(4), strani 18–28. 108 Na velike premike pri umetni inteligenci in na to, da poti nazaj ni več, opozarja Leskovec v intervjuju (Kramžar, 2025, strani 4–7). 109 Tako Cerar, 2024, stran 104–106. 410 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . Josipović, T. (1999) Das Grundbuchsrecht in der Republik Kroatien/Zemljišnoknjižno pravo u Republici Hrvatskoj: Kroatisch-Deutsch (Wien: Service Fachverlag). Josipović, T. (2001) Zemljišnoknjižno pravo (Zagreb: Informator). Juhart, M. (2007) Dobrovernost kot pogoj za učinkovanje načela zaupanja v zemljiško knjigo, v Ude, L. (ur.) Izbrane teme civilnega prava II (Ljubljana: Inštitut za primerjalno pravo pri Pravni fakulteti), strani 153–164. Juhart, M. (2013) Nekaj dodatnih premislekov k stvarnopravnim izhodiščem pri prenosu lastninske pravice na nepremičninah. Pravna praksa, 32(2) strani 6–9. Juhart, M. et al. (2004) Stvarnopravni zakonik (SPZ) s komentarjem (Ljubljana: GV Založba). Juhart, M., Tratnik, M. in Vrenčur, R. (2018) Stvarnopravni zakonik (SPZ), neuradno prečiščeno besedilo, s komentarjem (Ljubljana: Uradni list RS, Pravna fakulteta Univerze v Ljubljani in Pravna fakulteta Univerze v Mariboru). Juhart, M., Tratnik, M. in Vrenčur, R. (2023) Stvarno pravo (Ljubljana: Lexpera in GV Založba). Keresteš, T. (2020) Nekatere pasti digitalizacije za Republiko Slovenijo, v Repas, M. (ur.) Pravo in ekonomija: Digitalno gospodarstvo (Maribor: Univerzitetna založba Univerze), strani 1–14, https://press.um.si/index.php/ump/catalog/book/489 (obiskano: 14. 2. 2025). Kodek, G. E. (ur.) (2016) Kommentar zum Grundbuchsrecht (Wien: Manz), https://rdb.manz.at/nachschlagen/Kommentare/GrundbuchsRKodek (obiskano: 4. 10. 2024). Kramžar, B. (2025) Zgodili se bodo veliki premiki. Poti nazaj ni več, v Sobotna priloga Dela, 15. februar, Intervju z J. Leskovcem, strokovnjakom za nove tehnologije, strani 4–7. Linimayer, T. in Ronacher, L. (2020-2021) Die Löschungsklage. JAP, 13 (2), strani 110–117. Lukman, U. (2022) Sodno odločanje in umetna inteligenca (magistrsko delo) (Ljubljana: Pravna fakulteta v Ljubljani), https://repozitorij.uni-lj.si/IzpisGradiva.php?id=136208 (obiskano: 14. 2. 2025). Pastirk, G. (2022) Vplivi razvoja umetne inteligence na človeka in pravo, Primec, A. in Romih, D. (ur) Izzivi digitalne preobrazbe (Maribor: Univerza v Mariboru, Univerzitetna založba), strani 33– 45, https://press.um.si/index.php/ump/catalog/book/729 (obiskano: 13. 2. 2025). Pavčnik, M. (1998) Argumentacija v pravu: od življenjskega primera do pravne odločitve (Ljubljana: Cankarjeva založba). Pavčnik, T. (2012) Izbrisna tožba (analiza prakse višjih sodišč). Pravosodni bilten, 33(1), strani 165– 175. Plavšak, N. (2008) Zakon o finančnem poslovanju, postopkih zaradi insolventnosti in prisilnem prenehanju (ZFPPIPP): razširjena uvodna pojasnila (Ljubljana: GV Založba). Plavšak, N. (2010) Izbrisna tožba. Zbornik – 2. dnevi stvarnega in zemljiškoknjižnega prava, Kranjska Gora, 7. in 8. junij 2010 (Ljubljana: GV Založba), strani 41–49. Plavšak, N. (2017) Komentar Zakona o finančnem poslovanju, postopkih zaradi insolventnosti in prisilnem prenehanju (ZFPPIPP) (Ljubljana: Tax-Fin-Lex in ABC nepremičnine). Plavšak, N. (2022) Stvarno pravo: komentar Zakona o zemljiški knjigi (ZZK-1) (Ljubljana: Tax-Fin- Lex in ABC Nepremičnine). Plavšak, N. in Vrenčur, R. (2015a) Pomen razpolagalnega upravičenja pri razpolaganju z lastninsko pravico na nepremičnini. Pravnik, 70(9–10), strani 595–641. Plavšak, N. in Vrenčur, R. (2015b) Kako pravna pravila, ki operacionalizirajo načelo zaupanja v zemljiško knjigo, varujejo poštenega, dobrovernega pridobitelja. Pravnik, 70(11–12), strani 771–807. Plavšak, N., Juhart, M. in Vrenčur, R. (2009) Obligacijsko pravo: splošni del (Ljubljana: GV Založba). Plavšak, N. et al. (2019) Komentar Stvarnopravnega zakonika, 1. knjiga, Lastninska pravica in etažna lastnina (Ljubljana: Planet GV in ABC nepremičnine). Rechberger, H. W. (2006) Die Löschungsklage als notwendige Ergänzung des grundbücherlichen Rechtsschutzsystems. Zbornik Pravnog fakulteta u Zagrebu, 56(2–3), strani 385–403. Renko, J. (2024) Priznanje pravne subjektivitete umetni inteligenci za namene odškodninske odgovornosti. Pravni letopis 2024: znanstvena revija Inštituta za primerjalno pravo pri Pravni fakulteti v Ljubljani, strani 135–150. J. Hudej: Možnost uporabe umetne inteligence pri sodnem odločanju: primer pasivne stvarne 411, legitimacije pri izbrisni tožbi Šago, D. in Radić, Z. (2017) Brisovna tužba – zaštita knjižnih prava. Zbornik Pravnog fakulteta Sveučilišta u Rijeci, 38 (1), strani 475–500. Ščernjavič, I. (2017) O nekaterih dilemah načela zaupanja v zemljiško knjigo in o učinkih overjenega zemljiškoknjižnega dovolila. Odvetnik, 18(2), strani 16–24. Tratnik, M. (2013) Lastninska pravica na nepremičnini v pričakovanju. Pravna praksa, 32(2), priloga, strani I–VIII. Tratnik, M. (2016a) Vnovič o lastninski pravici v pričakovanju. Pravna praksa, 35(48), strani 20–23. Tratnik, M. (2016b) Zakon o zemljiški knjigi (ZZK-1): s komentarjem in sodno prakso (Ljubljana: IUS Software in GV Založba). Tratnik, M. (2017) Varstvo nevpisanih lastninskih položajev. Pravna praksa, 36(28–29), strani 19–22. Tratnik, M. in Vrenčur, R. (1999) O sistemu abstraktne in kavzalne tradicije v stvarnem pravu. Pravnik, 54(6–8), strani 333–350. Tratnik, M. in Vrenčur, R. (2008) Zemljiškoknjižno pravo v teoriji in praksi (Maribor: Inštitut za nepremičninsko pravo). Tratnik, M., Keresteš, T. in Vrenčur, R. (1999) Večkratna odsvojitev iste nepremičnine. Pravna praksa, 18 (25), strani I–VI. Ude, L. (2007) Dobra vera pri pravnem prometu z nepremičninami v obdobju lastninjenja nepremičnin v družbeni lastnin, v Ude, L. (ur.) Izbrane teme civilnega prava II (Ljubljana: Inštitut za primerjalno pravo pri Pravni fakulteti), strani 141–151. Ude, L. et al. (2005) Pravdni postopek: zakon s komentarjem, 1. knjiga (1. do 150. člen) (Ljubljana: Uradni list RS in GV Založba). Vlahek, A. (2007) Odprta vprašanja načela zaupanja v zemljiško knjigo, v Ude, L. (ur.) Izbrane teme civilnega prava II, (Ljubljana: Inštitut za primerjalno pravo pri Pravni fakulteti), strani 111– 129. Vrenčur, R. (1998) Pridobitev lastninske pravice od razpolagalno nesposobne osebe. Podjetje in delo, 24(6–7), strani 1234–1244. Vrenčur, R. (2008) Izbrisna tožba. Pravosodni bilten, 29 (2), strani 123–140. Vrenčur, R. (2010) Večkratna odsvojitev iste nepremičnine. Pravosodni bilten, 31 (4), strani 29–55. Zobec, J. (2001) Priposestvovanje in zemljiška knjiga. Pravna praksa, 20 (39–40), priloga, strani I–VI. Žnidaršič Skubic, V. (2010) Skupna lastnina. Zbornik – 2. dnevi stvarnega in zemljiškoknjižnega prava, Kranjska Gora, 7. in 8. junij 2010 (Ljubljana: GV Založba), strani 16–25. Žuvela, M. (2015) Brisovna tužba u sudskoj praksi. Odvjetnik, 88 (7–8), strani 25–29. Extended abstract The author explores the question of the extent to which artificial intelligence could be integrated into the decision-making process regarding cancellation actions (Article 243 of the Land Registry Act – ZZK-1), which typically involves three processes (deciding on a cancellation action in a litigation procedure, recording a cancellation action in the land registry procedure, and the land registry implementation of the decision from the litigation procedure). The question is answered after first having analysed the nature of the procedure in which a cancellation action is decided, whereby, due to spatial constraints and the complexity of the concept, the focus is put on one aspect of the action – passive substantive standing. Using the example of acquiring ownership rights through legal transactions, the author examines the conditions on the passive (defendant's) side that must be fulfilled for the cancellation claim to be justified. First, the position of the direct acquirer (Article 244(1) of ZZK-1) is addressed, which in practice is usually not problematic. The author argues that the previous land registry (and simultaneously actual) owner's cancellation claim in such a position does not depend on whether the direct acquirer acted in good faith. More problematic is the following position, the subsequent acquirer in consecutive dispositions of the immovable property (Article 244(2) of ZZK-1). This refers to the contractual partner of the person whose registration is substantively invalid (land registry successor of 412 OD ALGORITMA DO PRAVA P RAVNI , EKONOMSKI IN KULTURNI IZZIVI UMETNE INTELIGENCE . the direct acquirer). Since the land registry owner in this position is not the actual owner of the immovable property, the legal transaction to acquire ownership rights is effective only if the subsequent acquirer in good faith relied on the land registry data (principle of trust in the land register). In this case, the absence of the land registry owner’s disposition capacity is replaced by the good faith of the subsequent acquirer. Thus, it is understandable that the law prohibits cancellation actions against a good-faith subsequent acquirer (Article 244(3) of ZZK-1). Within the discussion on this position, the author also critically examines various theoretical and judicial interpretations of the legal standard of good faith, paying particular attention to the question of when the subsequent acquirer must be in good faith regarding the land registry owner's disposition capacity for the principle of trust in the land register to protect them. The chapter further explores the author's perspective on solving cases of multiple or parallel dispositions of the same immovable property, considering newer insights from legal theory and case law on the significance of issuing land register permission and registration. The author’s view somewhat differs from the solution offered by ZZK-1 in Article 243(4). In cases where the first acquirer in multiple dispositions of the immovable property has already been issued a land register permission capable of registration, the cancellation claim's success should depend on the subsequent acquirer's bad faith. In this position, the importance of the legal requirement for necessary co-litigants on the passive side is emphasized. If both legally required co-litigants are not included on the passive side, the correct party is not sued, and the claim must be dismissed due to a lack of passive substantive standing. The chapter concludes by asserting that the human judge, due to their role in litigation, is irreplaceable in the process of deciding cancellation actions. However, the author sees greater potential for artificial intelligence inclusion in land registry procedures related to this litigation process, specifically in the process of recording a cancellation action and the procedure for restoring the previous land registry status following the cancellation of a substantively invalid registration based on the litigation decision. O DOI D ALGORITMA DO PRAVA : PRAVNI , https://doi.org/ 10.18690/um.pf.11.2025 EKONOMSKI IN KULTURNI IZZIVI ISBN 978-961-299-086-2 UMETNE INTELIGENCE MARTINA REPAS (UR.) Univerza v Mariboru, Pravna fakulteta, Maribor, Slovenija martina.repas@um.si Umetna inteligenca vse izraziteje preoblikuje sodobno družbo in Ključne besede: umetna inteligenca, prodira na skoraj vsa področja človekovega delovanja – od prava, pravo, ekonomije in izobraževanja do medijev in kulture. Znanstvena kulturna dediščina, monografija z naslovom Od algoritma do prava – pravni, ekonomija, konkurenca, ekonomski i pametne pogodbe, n kulturni izzivi umetne inteligence združuje intelektualna lastnina prispevke, ki se osredotočajo na izzive, priložnosti in posledice uporabe umetne inteligence v sodobnem svetu: od vpliva na kulturno dediščino, kot je digitalizacija in interpretacija vonjev, ekonomskih vidikov, do pravnih vprašanj, povezanih z delovnimi razmerji, ustavnopravnimi dilemami, odgovornostjo za škodo, pametnimi pogodbami, konkurenčnim pravom, kazenskim pravom in z njeno uporabo v sodnih postopkih. Poseben poudarek je namenjen intelektualni lastnini – komu pripadajo avtorsko varovana dela, izumi in videzi izdelkov, ki jih ustvari umetna inteligenca ali pa so nastali z njeno pomočjo, kot tudi vprašanja, povezana s kršitvami. Monografija tako raziskuje ključne pravne, ekonomske in kulturne izzive umetne inteligence, ter spodbuja razmislek o potrebi po večji regulaciji in odgovornem razvoju tehnologije. DOI FROM ALGORITHM TO LAW: https://doi.org/ 10.18690/um.pf.11.2025 ISBN LEGAL, ECONOMIC AND 978-961-299-086-2 CULTURAL CHALLENGES OF ARTIFICIAL INTELLIGENCE MARTINA REPAS (ED.) University of Maribor, Faculty of Law, Maribor, Slovenia martina.repas@um.si Keywords: Artificial intelligence is increasingly reshaping modern society and artificial intelligence, permeating nearly all areas of human activity – from law, law, cultural heritage, economics, and education to media and culture. The scientific economic, monograph From Algorithm to Law – Legal, Economic, and competition, smart contracts, Cultural Challenges of Artificial Intelligence brings together intellectual property contributions that focus on the challenges, opportunities, and consequences of AI implementation in today’s world. The monograph addresses AI’s impact on cultural heritage – such as digitalization and interpretation of sensory elements like scents – as well as economic aspects and a wide range of legal issues. These include labour relations, constitutional dilemmas, liability for damages, smart contracts, competition law, criminal law, and the use of AI in judicial proceedings. Special attention is given to intellectual property law, particularly the question of who holds rights to copyright-protected works, inventions, and product designs created by or with the assistance of artificial intelligence, including questions concerning the infringement. The monograph thus explores legal, economic, and cultural challenges posed by artificial intelligence and encourages reflection on the need for more comprehensive regulation and the responsible development of emerging technologies.