135 JERNEJ RENKO magister prava, LL.M., asistent na Pravni fakulteti Univerze v Ljubljani Priznanje pravne subjektivitete umetni inteligenci za namene odškodninske odgovornosti Izvirni znanstveni članek UDK 347.19:004.8:347.51 Povzetek Članek obravnava vprašanje priznanja pravne subjektivitete umetni inteligenci (UI) za na- mene odškodninske odgovornosti. Avtor analizira koncept avtonomnih sistemov UI in nji- hove ključne lastnosti, kot sta avtonomija in sposobnost učenja. Poudarjena so tveganja, ki jih ti sistemi prinašajo, predvsem nepredvidljivost in težave pri določanju subjekta deliktne odgovornosti. Članek predstavi idejo »elektronske osebe« kot možno rešitev za pripisova- nje odgovornosti sistemom UI. Avtor obravnava filozofske pomisleke glede podelitve pravne subjektivitete sistemom UI, vključno z ontološkimi, epistemološkimi in etičnimi vprašanji. Kljub tem pomislekom zagovarja pragmatičen pristop, podoben tistemu pri priznavanju prav- ne osebnosti korporacijam. Kot glavne prednosti priznanja pravne subjektivitete sistemom UI avtor navaja olajšanje dokazovanja vzročnosti pri škodnih primerih in potencialno ekonom- sko učinkovitost. Članek zaključuje z razpravo o izvedbenih možnostih, kot je zagotovitev minimalnega kapitala ali uvedba posebnega zavarovanja odgovornosti za sisteme UI, ter opo- zarja na morebitne omejitve teh rešitev. Ključne besede: umetna inteligenca, pravna subjektiviteta, odškodninska odgovornost, avto- nomni sistemi, elektronska oseba, etična vprašanja, deliktno pravo, minimalni kapital, zava- rovanje odgovornosti Granting legal personhood to artificial intelligence in the context of liability for damages Abstract The article examines the question of granting legal personhood to artificial intelligence (AI) in the context of liability for damages. The author analyzes the concept of autonomous AI 136 II. Umetna inteligenca systems and their key features, such as autonomy and learning capability. The risks posed by these systems are highlighted, particularly unpredictability and difficulties in determining the subject of tort liability. The article introduces the idea of an »electronic person« as a pos- sible solution for attributing responsibility to AI systems. The author addresses philosophical concerns regarding granting legal personhood to AI, including ontological, epistemological, and ethical questions. Despite these concerns, he advocates for a pragmatic approach, similar to that used in recognizing legal personhood for corporations. The main advantages of re- cognizing AI legal personhood are cited as facilitating the proof of causality in damage cases and potential economic efficiency. The article concludes with a discussion on implementation possibilities, such as providing minimum capital or introducing special liability insurance for AI systems, and warns of potential limitations of these solutions. Keywords: artificial intelligence, legal personhood, liability for damages, autonomous sys- tems, electronic person, ethical issues, tort law, minimum capital, liability insurance 1. Uvod Kot vsaka disruptivna tehnologija imajo tudi avtonomni digitalni sistemi1 potencial, da s postopnim vključevanjem v družbo korenito spremenijo naše vsakdanje življenje. S tem, ko bo človeku odvzet nadzor nad tehnologijo, bodo nedvomno preprečene številne nesreče, ki so posledica tipičnih človeških napak. Samo v prometnem sektorju se z uvedbo avtonomnih vozil obeta izrazito zmanjšanje števila prometnih nesreč, da o stroškovni učinkovitosti, ki jo lahko avtonomni sistem prinese z zamenjavo ljudi na določenih točkah, denimo v gospodar- stvu in zdravstvu, sploh ne govorimo. Zmanjšanje števila nesreč zaradi človeških napak pa samodejno še ne pomeni, da avtonomni sistemi ne bodo povzročali škode. Nesreče, ki jih povzročijo avtonomni sistemi, so pogo- sto take, ki bi se jim ljudje zlahka izognili. Avtonomni digitalni sistemi s svojo avtonomijo, sposobnostjo samoučenja in razvejanim omrežjem povezav kljub splošnim obetom izboljšav proti konvencionalni tehnologiji prinašajo visoko stopnjo nepredvidljivosti, predvsem pa še neznano tveganje nastanka škode. Nadomestitev človeškega upravljavca tehnologije s samoučečim se algoritmom bo med dru- gim sprožila nastanek novih vprašanj deliktnega prava, in sicer kdo je tisti, ki bi moral biti odgovoren za škodo, ki jo povzroči avtonomni sistem. Vrzel v pravni ureditvi deliktne od- govornosti, ki je posledica vključevanja avtonomnih sistemov v družbeno stvarnost, se lahko zapolni s prevalitvijo odgovornosti za škodo, ki jo povzroči avtonomni sistem, na njegovega 1 V nadaljevanju bodo izrazi »avtonomni sistem«, »umetna inteligenca«, »umetnointeligenčni sistem« in »robot« uporabljeni izmenjujoče kot sopomenke. JERNEJ RENKO Priznanje pravne subjektivitete umetni inteligenci za namene odškodninske odgovornosti 137 proizvajalca, upravljavca ali uporabnika. Predmet tega besedila pa ne bo obravnava vpraša- nja pripisljivosti odgovornosti človeškemu subjektu – ta si namreč zasluži ločeno razpravo –, temveč pripisljivost deliktne odgovornosti avtonomnemu sistemu samemu. V nadaljevanju bo opredeljen pojem avtonomnega sistema ter osvetljene nekatere filozofske in pravne dileme podelitve pravne subjektivitete avtonomnemu sistemu za namene določitve novega subjekta deliktne odgovornosti. V sklepnem delu bom na podlagi izsledkov analize ocenil smotrnost uvedbe tako imenovane »elektronske osebe«. 2. Avtonomni (umetnointeligenčni) sistem 2.1. Pojem Bistvena značilnost avtonomnega sistema, po kateri se razlikuje od drugih klasičnih digitalnih IT-sistemov, je, kot pove že izraz, njegova avtonomija. Konkretno to pomeni njegovo neodvi- snost od zunanjega nadzora in vpliva (človeškega posredovanja) ter sposobnost zaznavanja in na podlagi teh zaznav naknadnega ravnanja, kar se imenuje strojno učenje (machine learning).2 V nasprotju s klasičnimi informacijskimi sistemi, ki so programirani deterministično v skladu s shemo »ČE-POTEM« (»IF-WHEN«), ki določa natančno zaporedje logičnih pravil, imajo avtonomni sistemi krovni nadzorni algoritem, ki določa osnovna načela učenja in daje sistemu sposobnost prilagajanja.3 Ti avtonomni sistemi, ki se sami učijo, lahko spremenijo svoj nad- zorni algoritem tako, da ponovno napišejo kodo.4 Značilno pri tem je, da programska oprema pri avtonomnem sistemu ni več programirana, temveč šolana oziroma urjena.5 Avtonomni sistem se nato na podlagi zbranih in ovrednotenih empiričnih vrednosti6 sam uči, kako v novih situacijah opraviti določene naloge, torej v neštetih ciklih urjenja, kar vodi do tega, da obnašanja avtonomnega sistema v primeru neznanih zunanjih vplivov ni mogoče ex ante predvideti ali pa ga lahko programer ali uporabnik predvidita le v omejenem obsegu, kar onemogoča nadzor nad njim.7 Ker je v današnjih časih zaradi izjemnega povečanja koli- čine podatkov mogoče zabeležiti vedno več zunanjih vplivov na avtonomni sistem, je otežena tudi ex post pojasnitev spremembe obnašanja avtonomnega sistema. Ta pojav ex ante nepred- vidljivosti in posledične ex post nepreverljivosti obnašanja avtonomnega sistema se v praksi 2 Zech, Künstliche, str. 200; glej tudi Russell, Norvig, str. 39 (»To the extent that an agent relies on the prior knowledge of its designer rather than on its own percepts, we say that the agent lacks autonomy.«). 3 Kirn, Müller-Hengstenberg, str. 225; Ebers, str. 94 in nasl.; Thöne, str. 8. 4 Zech, Künstliche, str. 200. 5 Ebers, str. 94 in nasl. 6 Prav tam. 7 Zech, Künstliche, str. 200. 138 II. Umetna inteligenca imenuje »black box« (»črna skrinjica«), še intenzivneje pa je prisoten pri tako imenovanih umetnih nevronskih mrežah.8 2.2. Temeljna tveganja avtonomnih sistemov z vidika deliktnega prava 2.2.1. Tveganje avtonomije Čeprav naj bi po nekaterih napovedih avtonomni sistemi zaradi strojnega učenja in prilagoditve vedenja delali manj napak kot ljudje, ki so sami odgovorni za nadzor in upra- vljanje svojih konvencionalnih sistemov, bo ta prenos nadzora z ljudi na avtonomne sisteme povzročil povsem novo tveganje, ki je relevantno v okviru deliktnega prava, in sicer da bodo avtonomni sistemi neizogibno sprejemali (tudi) napačne odločitve zaradi avtonomije, ki jim je dodeljena.9 Zaradi nepredvidljivega obnašanja samoučečih se algoritmov prinašajo avtonomni sistemi v zunanji svet tako imenovano tveganje avtonomije, ki izhaja iz sposobnosti avtono- mnih sistemov, da sprejemajo avtonomne odločitve o svojem ravnanju.10 Tveganje avtonomije ustvarja tveganje nastanka škode zaradi okoliščin, ki jih ex  ante ni mogoče predvideti, pri čemer pa bo zelo težko pojasniti, kako je prišlo do določenega vedenja avtonomnega sistema, ki je na koncu privedlo do škode.11 2.2.2. Tveganje mrežne prepletenosti Novo tveganje avtonomnih sistemov z vidika deliktnega prava pa ni le njihova avtonomija, temveč tudi njihovo obsežno povezovanje v omrežja z drugimi digitalnimi sistemi.12 V njihovi razvejani povezavi z drugimi digitalnimi sistemi in viri podatkov se izmenjujejo neštete koli- čine podatkov, ki jih upravljajo in nadzorujejo različni udeleženci.13 Zato je z vidika deliktnega prava zelo težko določiti in razmejiti nosilce deliktne odgovornosti in vzročne zveze.14 Tudi če je v posameznih primerih praktična razmejitev mogoča, so s tem povezani stroški ugotavljanja običajno težko sprejemljivi.15 Opisano lastnost in nevarnost, ki jo avtonomni sistemi prinašajo 8 Delovanje umetne nevronske mreže temelji na načelu delovanja človeških možganov. Z algoritmi je simulirano omrežje med seboj povezanih nevronov, pri čemer uteži nevronskih povezav niso določene od začetka, kar povzroči, da naučeno znanje ni več konkretno shranjeno na enem mestu; primerjaj Ebers, str. 94 in nasl.; Zech, Liability, str. 190 in nasl. 9 Schirmer, str. 467. 10 Teubner, str. 164. 11 Zech, Entscheidungen, str. A43 in nasl. 12 Wagner, Verantwortlichkeit, str. 720. 13 Linardatos, str. 101. 14 Teubner, str. 164; Zech, Zivilrechtliche, str. 170; Zech, Entscheidungen, str. A45 in nasl. 15 Linardatos, str. 101; Teubner, str. 202. JERNEJ RENKO Priznanje pravne subjektivitete umetni inteligenci za namene odškodninske odgovornosti 139 v zvezi s tem, v teoriji imenujejo tveganje mrežne prepletenosti (nem. Vernetzungsrisiko).16 To v svojem bistvu pomeni ovrženje domneve o individualnosti akterjev, ki je konstitutivna za pripisljivost ravnanja in s tem ne nazadnje tudi deliktne odgovornosti.17 3. Koncept elektronske osebe Širše razprave o možnosti podelitve pravne subjektivitete robotom je sprožil Evropski parla- ment v svoji resoluciji leta 2017, v kateri je za reševanje vprašanj civilnopravne odgovornosti na področju robotike pozval Evropsko komisijo, naj kot eno izmed možnih rešitev analizira možnost vzpostavitve »posebnega pravnega statusa za robote na dolgi rok, tako da bi vsaj naj- bolj napredni avtonomni roboti lahko pridobili status elektronskih oseb in bili tako odgovorni za nadomestitev škode, ki bi jo morebiti povzročili, in morebitna uporaba elektronske osebno- sti v primerih, ko bi roboti sprejemali samostojne odločitve ali drugače neodvisno vzajemno delovali s tretjimi osebami […]«.18 Premisa Evropskega parlamenta se torej umika od ustaljenega koncepta odgovornosti, po katerem bi na robota gledali zgolj kot na orodje njegovega človeškega upravljavca, ki bi bil v primeru povzročene škode s strani robota neposredno odgovoren zanjo. Gre za mentalni preskok v pravnem vrednotenju, v skladu s katerim bi se dejanja in opustitve robota pripisali njemu samemu kot pravnemu subjektu, odpravljen pa bi bil tudi koncept lastništva nad ro- botom, kar predpostavlja dejstvo, da bi roboti bili lahko lastniki stvari. Obravnavanje robota kot pravnega subjekta zato sproža nekatere zanimive in inovativne premisleke – bi robotu v primeru protipravnega ravnanja zasegli lastnino in celo odvzeli prostost? Bi bila najhujša sankcija lahko kar uničenje robota?19 4. Filozofski pomisleki Pri razpravi o tem, ali robotom, vsaj tistim najbolj sofisticiranim, podeliti pravno subjektivi- teto, naletimo na številne pomisleke, ki primarno izvirajo iz zadrege, ki jo povzroča enačenje robota s človekom, in večinoma temeljijo na filozofskih dilemah. Na začetku naj poudarim nekatere ontološke20 pomisleke, ki sprožajo diskusijo o tem, katere lastnosti človeka prav- 16 Zech, Zivilrechtliche, str. 175; Teubner, str. 201 in nasl. 17 Teubner, str. 201. 18 Resolucija Evropskega parlamenta z dne 16. februarja 2017 s priporočili Komisiji o pravilih civilnega prava o robotiki, P8_TA(2017)0051, r. št. 59, točka c. 19 Glej na primer Eidenmüller, str. 17. 20 Ontologija je filozofska disciplina, ki se ukvarja s preučevanjem bistva oziroma pomena biti in bivajočega. Glej na primer Mittelstraß 2015, str. 35 in nasl. 140 II. Umetna inteligenca zaprav ločujejo od drugih živih in neživih entitet in zaradi katerih je utemeljeno drugačno obravnavanje v smislu priznanja pravne subjektivitete. V literaturi se pojavljajo številni posku- si opredelitve temeljnih lastnosti, ki naj bi ljudi delale ljudi. Pogosto so omenjeni sposobnost kompleksne intelektualne interakcije z okoljem, prizadevanje za cilje (namenskost), sposob- nost čutenja čustev in posedovanje zavesti ter svobodne volje.21 Poleg dejstva, da vprašanje, ali ljudje zares imamo svobodno voljo, še zdaleč ni rešeno,22 je težava s tovrstnimi seznami, da naštete lastnosti niso binarne narave (so bodisi podane ali sploh niso podane), temveč so vprašanje stopnje njihove intenzitete.23 K temu gre dodati tudi premislek, da imajo nekateri primati, kot so šimpanzi in gorile, kognitivne in čustvene sposobnosti, ki so primerljive ali celo presegajo sposobnosti ljudi s hudimi intelektualnimi motnjami.24 Teoretiki, ki zagovarjajo živalske pravice, namreč poudarjajo, da številne živalske vrste izkazujejo lastnosti, ki jih tradi- cionalno pripisujemo ljudem, čeprav morda ne v enaki meri ali obsegu.25 V tej diskusiji to še v dodatnem obsegu otežuje jasno opredelitev neke lastnosti kot tipično človeške. Poleg ovir za priznanje pravne subjektivitete robotom, utemeljenih na ontoloških vprašanjih, nekateri poudarjajo tudi epistemološke pomisleke.26 Srž problema se s tega vidika skriva v premisi, da le ljudje lahko razumemo pomen pravic in obveznosti, ki so sprejete v določeni družbi, zaradi česar je pravna subjektiviteta vezana na ljudi.27 Človeško mišljenje po Dreyfusu zaobjema aktivno vključevanje v življenje, sodelovanje na področju kulture, »know-how«, pri- lagojen posameznim situacijam, in – ob pomanjkanju boljšega izraza – zdravi razum.28 Searle poudarja, da človeško razmišljanje presega zgolj formalno manipulacijo s simboli. Po njegovem mnenju to vključuje tudi občutljivost za pomen teh simbolov (semantiko), česar roboti ne premorejo.29 Čeprav je robote mogoče programirati za izvajanje pravil, jim manj- ka sposobnost pravega sledenja pravilom, saj to zahteva razumevanje njihovega pomena. Ta 21 Primerjaj Solum, str. 1281 in nasl.; Hubbard, str. 418–428. 22 Glej na primer Kaplan, str. 80, ki povzema nekatere izsledke znanstvenikov, ki kažejo na to, da je ideja, da imamo ljudje svobodno voljo, zgolj iluzija. Pri tem poudarja, da ideja o svobodni volji ljudi ne bi smela pomeniti trdnega dejavnika razlikovanja med ljudmi in stroji (avtonomnimi sistemi). 23 Wagner, Robot, str. 595. 24 Anstötz, str. 165. 25 Singer, str. 79. 26 Epistemologija je filozofska disciplina, ki obravnava vprašanja o nastanku, bistvu in mejah spoznanja. Glej na primer Mittelstraß 1995, str. 576 in nasl. 27 Eidenmüller, str. 17. 28 Dreyfus, str. 53. Dreyfus trdi, da je naš način biti v svetu obogaten s »polnostjo« in »globino«, ki izvirata iz teh edinstveno človeških zmožnosti. Po njegovem mnenju so te zmožnosti ključne za našo umeščenost v svet, kar pomeni temelj vsakega inteligentnega vedenja. 29 Searle, str. 417–457. JERNEJ RENKO Priznanje pravne subjektivitete umetni inteligenci za namene odškodninske odgovornosti 141 omejitev se kaže tudi v njihovi nezmožnosti sodelovanja v hermenevtiki, disciplini interpreta- cije in razumevanja.30 Searle tako nakazuje temeljno razliko med človeškim razmišljanjem in zmožnostmi umetne inteligence, ki se izraža v sposobnosti razumevanja pomena in konteksta, in ne le v sledenju vnaprej določenim vzorcem. Zadnji sklop filozofskih dvomov o utemeljenosti priznanja pravne subjektivitete robotom izhaja iz etičnih31 pomislekov, ki v ospredje postavljajo vprašanje zmožnosti robotov, da rav- najo v skladu z moralnimi pravili. Z vprašanji, ali obstaja umetna morala in ali je lahko ta poustvarjena prek programiranja usmerjevalnih algoritmov umetnointeligenčnega sistema, da bo ta lahko ravnal moralno, se ukvarja razmeroma nova filozofska disciplina, t. i. etika strojev.32 Ali lahko avtonomni robotski sesalnik programiramo tako, da ravna moralno in denimo pikapolonico, na katero naleti med sesanjem, ohrani pri življenju? Naj kako drugače ravna, če naleti na pajka?33 Ta diskusija o zmožnostih moralnega ravnanja je mogoča, čim sistemi lahko ravnajo avtonomno, brez deterministično predprogramiranih ukazov. Vseka- kor pa odgovori na navedena vprašanja postanejo relevantnejši v primeru kompleksnejših robotov, kot so vojaški droni in avtonomna vozila. Ti bodo morali sprejemati težje moralne odločitve, ki bodo neizogibno posegale v odločitve o človeških življenjih. Ali naj avtonomno vozilo, ki brez možnosti zaustavitve vozi proti trem osebam, v procesu zmanjševanja škode raje zasilno zavije v smer pločnika in tvega trčenje v dve osebi? Bi bil odgovor enak, če sta dve osebi na pločniku otroka, tri osebe, od katerih bi avtonomno vozilo odvrnilo trčenje, pa starostniki pri koncu svojega življenja? Te hipotetične moralne razprave niso nove in izvirajo iz širše poznanega miselnega eksperimenta, tramvajske dileme (angl. trolley cart dillemma).34 Rešitve te dileme že z vidika človeškega upravljavca vozila niso enoznačne,35 zato je njihova aplikacija v primeru programiranja usmerjevalnih algoritmov avtonomnih sistemov še toliko bolj zapletena. Slednje izhaja tudi iz poročila Etične komisije za avtomatizirano in povezano vožnjo, ki jo je ustanovilo nemško Zvezno ministrstvo za promet in digitalno infrastruktu- 30 Tako tudi Eidenmüller, str. 17 in nasl. 31 Etika je filozofska disciplina, ki obravnava merila človeškega hotenja in ravnanja glede na dobro in zlo, glej spletni Slovar slovenskega knjižnega jezika, geslo »etika«, (19. 11. 2024). 32 Misselhorn, str. 70. 33 Prav tam, str. 8 in nasl. 34 Foot, str. 19 in nasl. 35 Etične teorije različno obravnavajo dilemo žrtvovanja enega življenja za rešitev več življenj. Utilitarizem kot kon- sekvencialistična etična teorija bi v načelu zagovarjal rešitev več življenj na račun enega, saj to prinaša najboljši skupni rezultat. Nasprotno pa deontološka etika, ki sledi Kantovi tradiciji, v načelu zavrača takšno tehtanje življenj. Po tem pristopu življenje bolnega ali starejšega človeka ni nič manj vredno kot življenje mladega in zdravega posameznika. Glej Misselhorn, str. 191 in nasl. 142 II. Umetna inteligenca ro.36 V njem je komisija odkrito priznala, da glede etičnih dilem pri avtonomnih vozilih ni dosegla soglasja. Poudarila je več nasprotujočih si stališč, pri čemer je po eni strani priznala, da je vnaprej programirano zmanjševanje škode pri avtonomnih sistemih lahko sprejemljivo tudi pri odvračanju poškodb ljudi. Hkrati pa je poudarila, da človeških življenj ni mogoče preprosto primerjati ali medsebojno tehtati. Kljub temu je komisija dopustila možnost, da je v situacijah neposredne nevarnosti morda treba rešiti čim več nedolžnih ljudi.37 Navedena stališča komisije razkrivajo kompleksnost etičnih vprašanj pri razvoju avtonomnih sistemov in poudarjajo potrebo po nadaljnji razpravi ter raziskavah na tem področju, saj enostavnih rešitev za te zapletene etične dileme ni. Vidimo torej, da odločitev o priznanju pravne subjektivitete robotom sproža temeljna filozof- ska vprašanja o naravi človečnosti in pravnega sistema. Eidenmüller v zvezi s tem poudarja, da zakoni izražajo bistvo človeštva in predpogoje za urejene medčloveške odnose, zato meni, da bi priznanje pravne subjektivitete avtonomnim sistemom razčlovečilo ljudi.38 Pravni sis- tem tako ni le skupek pravil, ampak odraz naših najglobljih prepričanj o človeški vrednosti.39 Ključni izziv ostaja, kako ohraniti posebno mesto človeka v pravnem in etičnem okviru ob hkratnem prilagajanju novim tehnološkim izzivom. Za to je potreben premišljen pristop, ki bi uravnotežil tehnološki napredek s temeljnimi človeškimi vrednotami. 5. Od pomislekov k pragmatičnemu pristopu Če strogo upoštevamo navedene filozofske pomisleke, naletimo na ovire v določenih mejnih primerih, ki so še kako prisotni v pravni stvarnosti. Če bi avtonomnemu sistemu odrekli priznanje pravne subjektivitete zaradi umanjkanja določenih lastnosti, ki so konstitutivne za opredelitev človeka kot takega, se postavlja vprašanje, ali bi bilo treba fizični osebi, ki je v trajnem vegetativnem stanju, pri katerem je zavest trajno odsotna, zaradi tega razloga odreči pravno subjektiviteto. Če se odmaknemo od tovrstnih skrajnih primerov, lahko ugotovimo, da vztrajanje pri nave- denih merilih ignorira obstoj instituta pravne osebe, ki je bil ustvarjen zaradi pomembnih ekonomskih interesov.40 S tem pravnim konstruktom je posameznikom omogočeno, da s svo- 36 Bundesministerium für Verkehr und digitale Infrastruktur, Ethik-Kommission Automatisiertes und Vernetztes Fahren, Bericht Juni 2017, (19. 11. 2024). 37 Prav tam, str. 18. 38 Eidenmüller, str. 18. 39 Prav tam, glej tudi Wagner, Roboter, str. 30. 40 Za Von Savignyja je bila pravna oseba »umetno ustvarjeni subjekt, ki je zmožen posedovati premoženje«, glej Von Savigny, str. 239. JERNEJ RENKO Priznanje pravne subjektivitete umetni inteligenci za namene odškodninske odgovornosti 143 jimi majhnimi vložki prispevajo k velikim investicijskim projektom, ne da bi s tem tvegali lastno insolventnost.41 Korporacijsko pravo daje gospodarski družbi enaka pooblastila kot posamezniku, da stori vse, kar je potrebno oziroma primerno za opravljanje njenih poslov in zadev. Pravni red pri priznanju pravne subjektivitete pravnim osebam več kot očitno ni sledil filozofskim pomislekom, temveč precej bolj pragmatičnemu namenu – ločitvi sredstev posameznikov in družbe. Prav koncept pravne osebe kaže, da odločitev o podelitvi pravne subjektivitete avtonomnemu sistemu ne bi smela biti črno-bela, zato zahteva bolj niansiran, pragmatičen in pravno-funkcionalen pristop.42 Korporacije denimo nedvomno uživajo status entitete v gospodarski sferi, vendar ni jasno, ali uživajo tudi vsa ustavna jamstva kot fizične osebe (na primer svoboda govora,43 svoboda veroizpovedi).44 Sklenemo torej lahko, da pravni sistem ima možnost in ne obveznosti priznati pravno subjektiviteto avtonomnim sistemom, pri čemer pa je osrednje vprašanje, ali obstajajo dobri razlogi za stvaritev takšne »e-osebe«. 6. Razlogi za podelitev pravne subjektivitete avtonomnim sistemom Prva in verjetno najpomembnejša prednost podelitve pravne osebnosti avtonomnim siste- mom je potencialno olajšanje težav z dokazovanjem vzroka škode, ki izhaja predvsem iz ude- ležbe različnih akterjev v povezavi z avtonomnim sistemom. Če izhajamo iz predpostavke, da je treba nastanek škode pripisati določenemu človeškemu subjektu, pride pri avtonomnih sistemih v poštev široka paleta možnih odgovornih strank, kot so v primeru avtonomnega vozila lahko proizvajalec vozila, proizvajalec senzorjev, proizvajalec navigacijske programske opreme, upravljavec platforme in ne nazadnje tudi ponudnik internetnih storitev. Težave z dokazovanjem bodo še izrazitejše pri avtonomnih sistemih, ki niso bili trženi kot skupek strojne in programske opreme (t. i. closed systems) ter pri katerih je uporabnik strojno in programsko opremo kupil ločeno od različnih dobaviteljev.45 Enako velja za primere, ko je uporabnik izdelek kupil pri proizvajalcu, vendar je imel možnost dodati novo programsko opremo ali spremeniti že naloženo programsko opremo (t. i. open systems).46 V obeh primerih 41 Bainbridge, Henderson, str. 5 in nasl. 42 Teubner, str. 162 in nasl.; Wagner v Faust/Schäfer, str. 32. Za nasprotno stališče glej Eidenmüller, str. 18, ki pri- merjavo robotov s pravno osebo zavrača z argumentom, da pravne osebe vedno ravnajo prek ljudi. Podobne pomisleke izraža tudi Kaplan, str. 103 in nasl. 43 Glej na primer sodbo ameriškega Vrhovnega sodišča v zadevi Citizens United v. Federal Election Commission, 558 U.S. 310 (2010). 44 Glej na primer sodbo ameriškega Vrhovnega sodišča v zadevi Burwell v. Hobby Lobby Stores, Inc., 573 U.S. 682 (2014). 45 Linardatos, str. 294; Wagner, Robot Liability, str. 47 in nasl. 46 Prav tam. 144 II. Umetna inteligenca je težko ugotoviti, kaj natančno je povzročilo škodo: proizvajalčeva strojna oprema, proizva- jalčeva programska oprema ali dodatna programska oprema, ki jo je uporabnik kasneje sam namestil.47 S podelitvijo pravne subjektivitete avtonomnemu sistemu in s tem, da ga naredimo za naslovnika deliktnopravnih zahtevkov, je oškodovanec razbremenjen obveznosti iskanja odgovorne osebe in lahko tako hitreje ter lažje pride do odškodnine, saj lahko svoj zahte- vek usmeri neposredno proti robotu (po načelu »one-stop-shop«).48 Koliko se bodo navedene dokazne težave pojavljale v praksi in ali dejansko upravičujejo podelitev pravne osebnosti avtonomnim sistemom, je trenutno še nejasno. S tega vidika bi bilo zato smiselno počakati s prehitrimi sklepi, zlasti ker bi se lahko tehnologija beleženja procesov sprejemanja odločitev avtonomnega sistema toliko izpolnila, da bi bilo z večjo gotovostjo ex post mogoče preveriti, kaj je privedlo do škodnega primera, ki je nastal v povezavi s posameznim avtonomnim sis- temom.49 Pri preučevanju dodatnih prednosti podelitve pravne osebnosti avtonomnim sistemom Linar- datos50 poudarja tudi argument ekonomske učinkovitosti. V svoji tezi namreč vleče vzpore- dnice s teorijo Coasea in trdi, da bi uvedba konstrukta e-osebe, podobno kot uvedba kapital- ske družbe (skladno s pristopom »nexus of contracts« iz ekonomske teorije o pravnih osebah), zmanjšala število obligacijskih razmerij in s tem prihranila nepotrebne transakcijske stroške.51 7. Izvedbene možnosti podelitve pravne subjektivitete avtonomnemu sistemu V tem kontekstu je za civilnopravno deliktno odgovornost dovolj, da se avtonomnim sis- temom prizna le nekakšna delna pravna sposobnost, ki vključuje sposobnost avtonomnega sistema biti subjekt deliktne odgovornosti.52 Ne bo šlo torej za vprašanje, ali bodo roboti v svojem pravnem položaju popolnoma izenačeni z ljudmi (na primer da bodo za njih veljale enake temeljne človekove pravice in svoboščine), temveč bo pomembna zgolj njihova spo- sobnost oškodovancu povrniti škodo, ki so jo povzročili. Pri tem pa velja poudariti oviro, da 47 Wagner, Robot Liability, str. 47 in nasl. 48 Wagner, Robot, str. 608; Linardatos, str. 299 in nasl., str. 394 in nasl. 49 Wagner, Robot Liability, str. 61. Glej tudi Poročilo NTF, str. 47, European Commission, Report from the Expert Group on Liability and New Technologies – New Technologies Formation, 2019, (19. 11. 2024), v kate- rem strokovnjaki zagovarjajo obremenitev proizvajalcev avtonomnih sistemov z dolžnostjo, da tehnologijo opremijo s sredstvi za beleženje informacij o njenem delovanju (vgradnja beleženja že v zasnovi, angl. logging by design). 50 Linardatos, str. 384 in nasl. 51 Coase, str. 391. 52 Wagner, Roboter, str. 31. JERNEJ RENKO Priznanje pravne subjektivitete umetni inteligenci za namene odškodninske odgovornosti 145 roboti ne bodo imeli lastnih sredstev, zato ne bodo mogli kriti škode, ki so jo povzročili sami. Obstajata dve možnosti za rešitev te dileme:53 (1) opremiti avtonomni sistem z minimalnim kapitalom (odškodninskim skladom)54 ali (2) uvesti posebno vrsto zavarovanja odgovornosti za škodo, ki jo povzročijo avtonomni sistemi.55 Težava pri rešitvi z zagotovitvijo minimalnega kapitala po vzoru kapitalske družbe je čezmer- na obremenitev udeleženih strank z visokimi vplačili, ki bi se natekala v odškodninski sklad. Stroške vplačil bi udeležene stranke prevalile na uporabnike avtonomnih sistemov, kar bi se kazalo v nesorazmernem povišanju cen avtonomnih sistemov in posledično v zmanjšanju povpraševanja po avtonomnih sistemih.56 Možnost uvedbe zavarovanja odgovornosti se zato zdi primernejša, saj bi se poleg navedenih težav z njim izognili tudi vezavi velikega zneska kapitala v avtonomnem sistemu, ki morda nikoli ne bi bil uporabljen.57 Kdo pa bodo tisti udeleženi subjekti (na primer proizvajalci, programerji, lastniki ali uporabniki),58 ki bodo dejansko zavezani bodisi vplačati »minimal- ni kapital« v odškodninski sklad bodisi plačevati zavarovalne premije, pa je pravnopolitično vprašanje, na katero bi moral odgovoriti zakonodajalec. 7.1. Omejitve predlaganih rešitev Tveganje eksternalizacije škodnih stroškov pa ne bi bilo popolnoma odpravljeno tudi ob odlo- čitvi za eno izmed dveh navedenih internalizacijskih taktik. Rešitev zagotovitve minimalnega kapitala avtonomnemu sistemu bi na podoben način kot kapitalska družba učinkovala kot ščit za neposredno odgovornost subjektov, ki bi prispevali v odškodninski fond.59 Pri povzročitvi škode bi torej neposredno odgovarjal avtonomni sistem sam z zagotovljenimi sredstvi v obliki minimalnega kapitala, omenjeni subjekti pa bi se pred neposredno odgovornostjo skrili pod 53 Resolucija Evropskega parlamenta z dne 16. februarja 2017 s priporočili Komisiji o pravilih civilnega prava o robotiki, P8_TA(2017)0051, r. št. 59. 54 Linardatos, str. 393 in nasl. 55 Wagner, Roboter, str. 31; Linardatos, str. 394. 56 Wagner, Robot, str. 610. 57 Wagner, Roboter, str. 31 in nasl. Wagner poleg tega poudarja prednost rešitve z vplačili zavarovalnih premij, saj bi v tem primeru v igro vstopili akterji iz zavarovalniške industrije, ki imajo precejšnje izkušnje z ocenjevanjem in vre- dnotenjem tveganj za škodo ter z obravnavo odškodninskih zahtevkov, kar bi pripomoglo k ekonomski učinkovitosti z zmanjševanjem transakcijskih stroškov med drugim s sporazumi o delitvi škode med različnimi zavarovalnicami. 58 Resolucija Evropskega parlamenta z dne 16. februarja 2017 s priporočili Komisiji o pravilih civilnega prava o robotiki, P8_TA(2017)0051,r. št. 59, točka c. 59 Na primer proizvajalci, programerji, lastniki ali uporabniki. 146 II. Umetna inteligenca plašč konstrukta e-osebe, pri kateri bi bili udeleženi kot nekakšni družbeniki tega pravnega konstrukta.60 Z vidika preventivne vloge deliktnega prava, da prek grožnje odgovornosti potencialne sub- jekte odgovornosti spodbuja k preventivnemu skrbnemu ravnanju, se postavlja vprašanje, ali bi bile spodbude za varno proizvodnjo in varno uporabo robota učinkovite in usmerjene na pravi subjekt, ki bodisi z vplačilom v minimalni kapital bodisi s plačilom zavarovalne premije robotu zagotovi sredstva za povračilo potencialno nastale škode. Prek meje vložka v minimal- ni kapital (odškodninski fond) robota oziroma plačila dela zavarovalne premije, ki bi odpadla na posamezen udeleženi subjekt, bi spodbude za skrbno ravnanje razvodenele.61 S tem se odpira nevarnost moralnega hazarda za udeležene subjekte, saj bi ti lahko s tem izbrali večje tveganje po nižji ceni.62 Presežek nekrite škode bi torej moral nositi oškodovanec sam, kar bi povzročilo, da cena proizvedenih avtonomnih sistemov ne bi več vsebovala celotnih škodnih stroškov, zato bi padla in povzročila napihnjenost povpraševanja po avtonomnih sistemih prek meje, ki bi bila družbeno učinkovita in bi pravilno izražala raven varnosti avtonomnih sistemov.63 Varstvo pred deliktno odgovornostjo proizvajalcev namreč ne sme biti instrument subvencije za razvoj tehnologije.64 Postavlja pa se vprašanje, ali bi bil avtonomni sistem lahko dovzeten za spodbude k skrbnemu ravnanju, tako da bi pod grožnjo svoje lastne deliktne odgovornosti prilagodil svoje ravnanje. Razlog, da je odgovor na to vprašanje negativen, se skriva v tem, da je avtonomni sistem v nasprotju s človekom, ki je homo economicus, imun za finančne spodbude za skrbno ravnanje.65 Proizvajalci lahko avtonomne sisteme vsekakor proizvedejo oziroma programirajo na način, ki omogoča, da se avtonomni sistem uči iz izkušenj morebitnih škodnih dogodkov, ki jih je pov- zročil, in mu s tem omogočijo, da na podlagi teh izkušenj na takšne situacije prilagodi svoje vedenje, da bi se izognil potencialnim bodočim škodam. Avtonomni sistem zato ne potrebuje deliktne odgovornosti kot spodbude za skrbno ravnanje in izogibanje nesrečam – za robota je finančna destimulacija v obliki obveznosti povrnitve škode popolnoma irelevantna. Zato lahko trdimo, da drži ravno nasprotno: ni avtonomni sistem tisti, ki bi potreboval spodbudo za skrbno ravnanje, temveč tisti proizvajalec oziroma programer, ki opredeljuje varnostne para- metre usmerjevalnih algoritmov, saj ima ta največji (če že ne praktično edini) vpliv na ravnanje 60 Glej Paal, str. 615, ki denimo govori o »RmbH«. »GmbH« je nemška kratica za nemško ustreznico slovenske družbe z omejeno odgovornostjo. Preneseno v slovenski kontekst bi lahko govorili o robotu z omejeno odgovornostjo. 61 Wagner, Roboter, str. 36. 62 Cooter, Ulen, str. 48. 63 Primerjaj na primer Shavell, str. 209 in nasl. 64 Tako Wagner Verantwortlichkeit, str. 719, ki poudarja, da se proizvajalci s proizvodnjo varnega proizvoda in s tem zmanjšanimi škodnimi stroški pravzaprav subvencionirajo sami. 65 Wagner, Roboter, str. 33. JERNEJ RENKO Priznanje pravne subjektivitete umetni inteligenci za namene odškodninske odgovornosti 147 avtonomnega sistema.66 Zaradi tega gre pozdraviti odločitev evropskega zakonodajalca, ki je v novi Direktivi (EU) 2024/2853 Evropskega parlamenta in Sveta z dne 23. oktobra 2024 o odgovornosti za proizvode z napako in razveljavitvi Direktive Sveta 85/374/EGS (Direktiva o odgovornosti za proizvode z napako)67 v ospredje postavil proizvajalca (umetnointeligenč- nih) proizvodov, pri čemer je (za zdaj) v celoti opustil idejo o priznanju pravne subjektivitete avtonomnim sistemom. 8. Sklep Vključevanje digitalnih avtonomnih sistemov v procese, ki so bili do sedaj pod neposredno človeško taktirko, v pravno stvarnost prinaša določeno mero negotovosti. Poleg etičnih in varnostnih vidikov se prav tako postavlja vprašanje pravega naslovnika deliktne odgovornosti v primeru, ko pri uporabi avtonomnega sistema nastane škoda. Prav lastnost avtonomije, ki je posledica zmožnosti strojnega učenja, povzroča, da se ravnanje avtonomnega sistema izmika neposrednemu človeškemu nadzoru. Sposobnost prilagajanja ravnanja na nove situacije in njihova obsežna integracija v omrežja z drugimi digitalnimi (avtonomnimi) sistemi otežujeta tudi preverljivost sosledja računalniških procesov, kar je ključno pri ugotavljanju in dokazova- nju škodnega ravnanja in vzročne zveze med njim in nastalo škodo kot predpostavk deliktne odgovornosti. Prav zaradi zmanjšane možnosti vplivanja na avtonomne sisteme in njihove samostojnosti v primerjavi s konvencionalnimi digitalnimi sistemi, pri katerih je vsako rav- nanje vnaprej deterministično predprogramirano, se poraja razmislek o možnosti nekakšne izenačitve avtonomnih robotov z ljudmi v pravnem smislu. Podelitev pravic in obveznosti, ki načeloma pripadajo zgolj ljudem, umetni inteligenci sprva vzbuja občutek nelagodja. Ta izhaja bodisi iz pomislekov, da tovrstni sistemi preprosto niso ljudje in zato ne morejo razumeti pomena pravic in obveznosti, bodisi iz zadreg, v katerih bi se znašli snovalci usmerjevalnih algoritmov, ko bi morali avtonomni sistem opremiti z etičnimi načeli, v skladu s katerimi bi ti sistemi morali ravnati v določenih spornih situacijah zmanj- ševanja nastale škode. Kljub navedenim pomislekom pa nam obstoj konstrukta pravne osebe priča, da navedene človeške lastnosti niso nujen predpogoj za priznanje pravne subjektivitete in da odločitev o priznanju ni nujno črno-bela, temveč se lahko nahaja na širšem spektru priznanja zgolj nekaterih pravic in obveznosti. Med utemeljenimi razlogi za podelitev pravne subjektivitete avtonomnim sistemom gre naj- prej poudariti olajšanje dokaznih težav, zlasti pri avtonomnih sistemih, pri katerih sta pro- gramska in strojna oprema trženi ločeno (open systems) ter pri katerih proizvajalec strojne 66 Wagner, Robot, str. 611. 67 UL L, 2024/2853, 18. 11. 2024. 148 II. Umetna inteligenca opreme ne odgovarja nujno za napake, ki jih povzroči programska oprema. Konstrukt e-osebe bi omogočil, da bi naslovnik odškodninske odgovornosti in s tem tudi zavezanec za povrni- tev škode postal avtonomni sistem sam. Dokazovanje škode bi bilo tako olajšano, saj bi bilo prihranjeno pogosto dolgotrajno in stroškovno neučinkovito ugotavljanje konkretnega vzroka za povzročitev škode s strani avtonomnega sistema. Sredstva za povrnitev škode bi avtono- mnemu sistemu zagotovili različni deležniki, in sicer v sorazmerju z njihovo stopnjo udeležbe oziroma vpliva v avtonomnem sistemu, bodisi prek vplačila v odškodninski fond po vzoru vplačila minimalnega kapitala v kapitalsko družbo bodisi prek plačila zavarovalne premije za posebno zavarovalno kritje za škodo, ki jo povzroči avtonomni sistem, pri čemer je rešitev s posebnim zavarovalnim kritjem primernejša. Poudariti pa velja, da navedene rešitve za internalizacijo škodnih stroškov avtonomnih sis- temov (odškodninski fond (minimalni kapital) ali zavarovanje) ne bi popolnoma odpravile tveganja eksternalizacije. Oba pristopa bi delovala kot ščit pred neposredno odgovornostjo subjektov, ki bi prispevali v odškodninski fond ali plačali zavarovalno premijo. Postavlja se vprašanje učinkovitosti spodbud za varno proizvodnjo in uporabo robotov, saj bi se te lahko razvodenele prek meje vložka posameznih deležnikov. Nepopolna internalizacija stroškov bi vodila do padca cen avtonomnih sistemov in napihnjenosti povpraševanja nad družbeno učin- kovito mejo. Ključno spoznanje je, da avtonomni sistemi niso dovzetni za finančne spodbude za skrbno ravnanje, zato je pomembno, da so te usmerjene na proizvajalce in programerje, ki dejansko določajo varnostne parametre avtonomnih sistemov in imajo največji vpliv na njihovo delovanje. Ob koncu ugotavljam, da slabosti in negotovost v povezavi s priznanjem pravne subjektivi- tete avtonomnim sistemom, vsaj glede na trenutni razvoj tehnologije, presegajo maloštevilne prednosti tovrstnega pravnega podviga. Literatura ANSTÖTZ, Christoph. Profoundly Intellectually Disabled Humans and the Great Apes: A Comparison. V: Cavalieri, P., in Singer, P. (ur.), The Great Ape Project. New York: St. Martin‘s Griffin, 1993, str. 159–172. BAINBRIDGE, Stephen M., HENDERSON, M. Todd. Limited Liability: A Legal and Economics Analysis. Cheltenham: Edward Elgar Publishing Limited, 2016. COASE, Ronald H. The Nature of the Firm. Economica, 1937, letn. 4, str. 386–405. COOTER, Robert, ULEN, Thomas. Law and Economics, 6th ed. Boston: Pearson, 2011. DREYFUS, Hubert. What Computers Still Can’t Do: A Critique of Artificial Reason. Cambridge/ London: MIT Press, 1992. EBERS, Martin. Produkt- und Produzentenhaftung (4. Kapitel). V: Oppermann, B. H., in Sten- der-Vorwachs, J. (ur.), Autonomes Fahren. München: C. H. Beck, 2017, str. 94–125. JERNEJ RENKO Priznanje pravne subjektivitete umetni inteligenci za namene odškodninske odgovornosti 149 EIDENMÜLLER, Horst. The Rise of Robots and the Law of Humans. V: Eidenmüller, H., in Wagner, G. (ur.), Law by Algorithm. Tübingen: Mohr Siebeck, 2021, str. 7–19. FOOT, Philippa. Moral Dilemmas and Other Topics in Moral Philosophy. Oxford/New York: Oxford University Press, 2002. HUBBARD, Patrick F. »Do Androids Dream?«: Personhood and Intelligent Artifacts. Temple Law Review, 2010, letn. 83, str. 405–474. KAPLAN, Jerry. Artificial Intelligence - What Everyone Needs To Know. New York: Oxford Uni- versity Press, 2016. KIRN, Stefan, MÜLLER-HENGSTENBERG, Claus D. Intelligente (Software-)Agenten: Von der Automatisierung zur Autonomie? - Verselbstständigung technischer Systeme. MMR, 2014, str. 225–232. LINARDATOS, Dimitrios. Autonome und vernetzte Aktanten im Zivilrecht. Tübingen: Mohr Si- ebeck, 2021. MISSELHORN, Catrin. Grundfragen der Maschinenethik. Ditzingen: Reclams Universal-Bibli- othek, 2019. MITTELSTRAß, Jürgen (ur.). Enzyklopädie Philosophie und Wissenschaftstheorie, Band 1. Stutt- gart: J. B. Metzler, 1995. MITTELSTRAß, Jürgen (ur.). Enzyklopädie Philosophie und Wissenschaftstheorie, Band 6, 2. izdaja. Stuttgart: J. B. Metzler, 2015. PAAL, Boris P. Die digitalisierte GmbH. ZGR, 2017, letn. 46, št. 5, str. 590–620. RUSSELL, Stuart, NORVIG, Peter. Artificial Intelligence – A Modern Approach, 3. izdaja. New Jersey: Pearson, 2016. SAVIGNY, Friedrich Carl von. System des heutigen römischen Rechts, Band 2. Berlin/Boston: De Gruyter, 2016. SCHIRMER, Jan-Erik. Robotik und Verkehr – Was bleibt von der Halterhaftung?. RW, 2018, str. 453–476. SEARLE, John R. Minds, brains, and programs. Behavioral and Brain Sciences, 1980, letn. 3, št. 3, str. 417–424. SHAVELL, Steven. Foundations of Economic Analysis of Law, 2004. Cambridge/London: Belknap Press, 2004. SINGER, Peter, DECAMP, Ira W. Ethics Beyond Species and Beyond Instincts: A Reply to Ri- chard Posner. V: Sunstein, C. R., in Craven Nussbaum, M. (ur.), Animal rights: current debates and new directions. New York: Oxford University Press, 2004, str. 78–90. SOLUM, Lawrence B. Legal Personhood for Artificial Intelligences. North Carolina Law Review, 1992, letn. 70, str. 1231–1287. TEUBNER, Gunther. Digitale Rechtssubjekte?. Archiv für die civilistische Praxis, 2018, letn. 218, št. 2-4, str. 155–205. THÖNE, Meik. Autonome Systeme und deliktische Haftung – Verschulden als Instrument adä-quater Haftungsallokation?. Tübingen: Mohr Siebeck, 2020. 150 II. Umetna inteligenca WAGNER, Gerhard. Robot Liability. V: Lohsse, S., Schulze, R., in Staudenmayer, D. (ur.), Li- ability for Artificial Intelligence and the Internet of Things. Baden-Baden: Nomos, 2019, str. 27–62. WAGNER, Gerhard. Roboter als Haftungssubjekte? Konturen eines Haftungsrechts für auto- nome Systeme. V: Faust, F., in Schäfer, H. (ur.), Zivilrechtliche und rechtsökonomische Probleme des Internet und der künstlichen Intelligenz. Tübingen: Mohr Siebeck, 2019, str. 1–39. WAGNER, Gerhard. Robot. INC.: Personhood for Autonomous Systems?. Fordham Law Re- view, 2019, letn. 88, str. 591–612. WAGNER, Gerhard. Verantwortlichkeit im Zeichen digitaler Techniken. VesrR, 2020, str. 717– 741. ZECH, Herbert. Zivilrechtliche Haftung für den Einsatz von Robotern – Zuweisung von Au- tomatisierungs- und Autonomierisiken, V: Gless, S., in Seelmann, K. (ur.), Intelligente Agenten und das Recht. Baden-Baden: Nomos, 2016, str. 163–204. ZECH, Herbert. Künstliche Intelligenz und Haftungsfragen. ZfPW, 2019, str. 198–219. ZECH, Herbert. Liability for Autonomous Systems: Tackling Specific Risks of Modern IT. V: Lohsse, S., Schulze, R., in Staudenmayer, D. (ur.), Liability for Artificial Intelligence and the Internet of Things.Baden-Baden: Nomos, 2019, str. 187–200. ZECH, Herbert. Entscheidungen digitaler autonomer Systeme: Empfehlen sich Regelungen zu Verant- wortung und Haftung?, Gutachten A zum 73. Deutschen Juristentag Hamburg 2020/Bonn 2022, 2020.