67 SAMO MIKLIČ diplomirani pravnik (UN), študent magistrskega študijskega programa pravo 2. stopnje na Pravni fakulteti Univerze v Ljubljani Nepogodbena odškodninska odgovornost in umetna inteligenca Pregledni znanstveni članek UDK 347.5:004.8 1. Uvod Ob pojmu umetna inteligenca dandanes ne pomislimo več samo na znanstveno fantastiko in sisteme, kot je bil superračunalnik HAL 9000 v filmu 2001: Vesoljska odiseja. Največkrat si verjetno zamislimo avtonomna vozila, o katerih pravna literatura tudi upravičeno največ razglablja, saj ta vozila niso več utopična prihodnost, ampak precej resnična sedanjost. Avto- nomna vozila, ki povečujejo varnost in pretok v prometu, so le eden od sistemov umetne inte- ligence, ki povečujejo učinkovitost in samozadostnost mnogih obstoječih aktivnosti. Masovna prirejenost proizvodov, narejenih po meri potrošnika, alarmni sistemi, ki omogočajo starejšim, da še naprej uživajo samostojno življenje, pametna tehnološka pomoč nebogljenim, droni in iskalni roboti, ki opravljajo misije v nevarnih okoliščinah, so le nekateri takšni primeri.1 S pravilno uporabo novih tehnologij in specifično UI lahko svet postane varnejši, bolj pošten, produktivnejši in primernejši za spopadanje z boleznijo, revščino, kriminalom, diskriminaci- jo in drugimi oblikami nepravičnosti.2 Hiter razvoj, strojno učenje in možnost neodvisnega sprejemanja odločitev takšnih sistemov zagotovo prinašajo nova tveganja in povečujejo že obstoječa. Tako se nam logično ob omembi takšnih sistemov hitro zastavi vprašanje, kakšne posledice bi nastale, če bi ti zatajili in povzročili škodo. 1 Ethical Aspects of Cyber-physical Systems, 2016, Scientific Foresight study, European Parliamentary Research Service, str. 7. 2 Liability for Artificial Intelligence and other emerging digital technologies, Report from the Expert Group on Liability and New Technologies - New Technologies Formation, European Commision [v nadaljevanju Poročilo NTF (2019)], 2019, str. 11. 68 II. Civilnopravni vidiki umetne inteligence Prispevek obravnava nepogodbeno odškodninsko odgovornost za škodo, ki jo povzročijo sis- temi umetne inteligence. V drugem poglavju je najprej ponazorjeno, katere značilnosti takšnih sistemov pomenijo izziv učinkoviti regulaciji področja odškodninske odgovornosti. V tretjem poglavju so predstavljeni sedanji režimi odškodninske odgovornosti, ki bi jih lahko uporabili v primeru, ko bi škodo povzročil sistem umetne inteligence, ter tudi njihove pomanjkljivosti in mogoče rešitve za prihodnje prilagoditve, ki se pojavljajo v stroki. Zadnje poglavje obrav- nava nadomestne možnosti odškodninske odgovornosti za primer škode, ki jo povzroči sistem umetne inteligence, pri čemer ne izhajajo nujno iz sedanjih režimov. 2. Značilnosti sistemov umetne inteligence Umetna inteligenca je širok pojem, katerega natančna definicija krepko presega okvire tega prispevka. Za potrebe tega prispevka bodo sistemi umetne inteligence opredeljeni kot sistemi, ki so ustvarjeni umetno, a hkrati vsebujejo značilnosti, ki so lastne človeku. Sposobni so učenja na podlagi izkušenj, razumevanja, logičnega sklepanja in reševanja zapletenih problemov. Kot taki poskušajo posnemati človeško življenje. Takšne inteligentne entitete so sposobne komu- niciranja, zavedanja okolice in ustvarjanja. Sposobne so si zastaviti cilj, izdelati načrt in slediti temu načrtu.3 Integracija sistemov umetne inteligence (UI) v družbo povečuje učinkovitost in samozado- stnost mnogih obstoječih aktivnosti. Poseben izziv za pravno regulacijo, unikaten sistemom UI, pomenijo med drugim njihova kompleksnost, nepreglednost, možnost avtonomnega rav- nanja, neodvisnega od človeka, in navsezadnje ranljivost za napade.4 Nekateri sistemi UI so tako kompleksni in večdimenzionalni, da je močno omejena njihova transparentnost.5 Člove- ški um preprosto ne more zaznavati vzorcev, ki jih za učenje in povezovanje podatkov upora- bljajo takšni sofisticirani sistemi UI.6 Raznovrstnost sistemov UI in široko polje njihove uporabe pomenita izzive na več pravnih področjih. Če bi v pravnem redu Evropske unije škodo povzročilo avtonomno vozilo, bi glede na konkreten primer odškodninsko odgovornost za to škodo urejale različne direktive. Okva- ra strojne opreme na primer spada na področje Direktive 85/374 o odgovornosti za proizvode z napako (Direktiva 85/374),7 ki je bila v slovenski pravni red prenesena z Zakonom o varstvu 3 Jakšić, str. 2; Gioffredi, str. 441. 4 Poročilo NTF (2019), str. 32; Jakšić, str. 2; Swanson, str. 1209. 5 Nekateri strokovnjaki uporabljajo izraz »črna škatla« (angl. black box). Glej na primer Bathaee, str. 901. 6 Bathaee, str. 901. 7 UL L 210, 7. 8. 1985. Samo Miklič Nepogodbena odškodninska odgovornost in umetna inteligenca 69 potrošnikov (ZVPot),8 medtem ko so tveganja v zvezi z delovanjem voznika delno urejena z Direktivo 2009/103 o avtomobilskem zavarovanju (Direktiva 2009/103).9 Dovršeni sistemi UI se učijo iz podatkov, ki jih sami zaznajo in obdelajo, brez posredovanja človeka. Na podlagi teh podatkov se lahko samostojno modificirajo.10 Zato je pri sistemih UI tveganje, da se bo zgodila napaka, veliko. Če so že podatki, ki jih sistem prejme, napačni, potem rezultat zagotovo ne more biti dober. Vendar se morajo sistemi UI tudi v primeru, ko so prvotni podatki pravilni in je njihov program natančen, še vedno tudi pravilno učiti iz teh podatkov.11 Velik izziv je tudi hiter razvoj sistemov UI, Moorov zakon namreč narekuje, da se moč raču- nalnikov vsako leto podvoji.12 Zato bi se morala regulacija, predvsem tehnična, stalno spre- minjati, sistemi UI pa opremiti z algoritmi, ki bi omogočali zaznavanje takšnih sprememb. Zakonodajalec bi moral ob tem upoštevati tudi pravne in etične posledice ter učinke uporabe sistemov UI.13 Mogoče bi morali takšnemu pristopu dati prednost pred vzpostavitvijo enotne in celovite regulacije.14 Bistveno je, da se pravni okviri odškodninske odgovornosti na področju sistemov UI ustrezno prilagodijo, saj bo le tako mogoče čim bolj izkoristiti in zagotoviti prednosti, ki jih sistemi UI prinašajo.15 3. Uporaba sedanje regulacije in mogoče spremembe Zaradi raznolikosti področij, na katerih se uporabljajo sistemi UI, odgovornost za škodo, ki jo povzročijo, ne spada le pod eno pravno področje. Zato se različni sistemi UI v veljavnih pravnih sistemih različno regulirajo. V primeru škode, ki jo povzroči androidni robot,16 bi lahko šlo za odgovornost, podobno odgovornosti za mladoletnika. Ko bi škodo povzročil električni hišni ljubljenček, ki bi imitiral psa, bi šlo morda za odgovornost za škodo, ki jo 8 Uradni list RS, št. 98/04 – uradno prečiščeno besedilo,  in nasl. 114/06 – ZUE, 126/07, 86/09, 78/11, 38/14, 19/15, 55/17 – ZKolT in 31/18. 9 Weingerl, 4; UL L 263, 7. 10. 2009. 10 Gioffredi, str. 441. 11 Jakhel, str. 2; Gioffredi, str. 441. 12 Callier, Callier, str. 53. 13 Navas, str. 164; Civil Law Rules on Robotics European Parliament resolution of 16 February 2017 with recom- mendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)), str. 2. 14 Giuffrida, str. 453. 15 Abbott, str. 44. 16 Androidi so roboti, ki so po videzu in obnašanju podobni ljudem. 70 II. Civilnopravni vidiki umetne inteligence povzroči nevarna stvar.17 Različna regulacija seveda prinaša različen pravni položaj, v kate- rem se oškodovanec znajde. Tako je škoda, ki nastane zaradi sistemov UI, oškodovancem le delno povrnjena ali pa sploh ne prejmejo odškodnine.18 Pri avtomatiziranih vozilih se avtorji strinjajo, da mora biti odškodninska odgovornost oblikovana tako, da bo olajšano ugotavljanje, kdo odgovarja v primeru nesreče.19 Vseeno je to le eno od številnih področij, na katerih lahko škoda nastane. Pri veljavnih pravilih nepogodbene odškodninske odgovornosti se tako postavljata temeljni vprašanji: • kdo naj odgovarja za škodo, ki jo povzroči sistem UI, in • kaj je podlaga za odškodninsko odgovornost v konkretnem primeru. Pravo za zdaj ureja le primere, ko se vzrok za ravnanje sistema UI lahko poveže z določe- nim človeškim agentom20 oziroma ko obstajajo akterji, ki lahko povzročijo neko kršitev.21 V literaturi so ti akterji opredeljeni kot proizvajalec, upravljavec, imetnik ali uporabnik.22 Vsi ti akterji bi lahko odgovarjali po načelu krivdne odgovornosti, nekaterim pa pravni sistemi po svetu predpisujejo tudi objektivno odgovornost.23 Pojavljajo se tudi mnenja, da bi morali za škodo odgovarjati roboti sami, ki bi tako morali pridobiti pravno subjektiviteto in s tem tudi določene pravice ter obveznosti.24 V nadaljevanju bo predstavljeno, kako se ob izzivih umetne inteligence izkažejo sedanji režimi nepogodbene odškodninske odgovornosti. Poglavje je osredotočeno na odgovornost proizva- jalca in uporabnika ter na odgovornost za drugega. Nekateri avtorji nasprotujejo spreminjanju sedanjih režimov, razen ko gre za posodobitve potrebnih standardov skrbnega ravnanja.25 V prispevek so vseeno vključeni tudi drugi predlogi za izboljšavo, ki se pojavljajo v literaturi. Pri- znanje pravne subjektivitete sistemom UI in drugi alternativni predlogi zunaj okvirov veljavne zakonodaje so predstavljeni v zadnjem poglavju tega prispevka. 17 Navas, str. 165. 18 Poročilo NTF (2019), str. 19. 19 Weingerl, str. 2, 3. 20 Jakšič, str. 3. 21 Janal, str. 176; Giuffrida, str. 445. 22 Jakšić, str. 3; Janal, str. 176; Giuffrida, str. 443 23 Janal, str. 176. 24 Navas, str. 166. 25 Swanson, str. 1209. Samo Miklič Nepogodbena odškodninska odgovornost in umetna inteligenca 71 3.1. Odgovornost proizvajalca Glede na značilnosti veljavne ureditve nepogodbene odškodninske odgovornosti se morda zdi logično, da pri odgovornosti za škodo, ki jo povzročijo sistemi UI, najprej pomislimo na proizvajalca proizvoda, ki vsebuje takšen sistem. Pravni red Evropske unije nam z Direktivo 85/374 namreč primerno zagotavlja stabilen pravni režim za takšen tip odškodninske od- govornosti. Direktiva vzpostavlja sistem, ki prenaša tveganje na proizvajalca, zato pa uvaja objektivno odgovornost proizvajalca za škodo, ki jo povzroči izdelek z napako.26 A položaj le ni tako preprost, kot se zdi na prvi pogled. Specifičnost sistemov UI namreč pomeni izziv številnim vidikom odgovornosti proizvajalca, kot jo trenutno poznamo. a) Izzivi V 2. členu Direktive 85/374 je proizvod definiran kot premičnina, tudi če je vstavljen v druge premičnine ali nepremičnine. Takšna definicija morda ne zadosti primerom, pri katerih je zaradi medsebojne interakcije med različnimi sistemi UI ostro ločevanje med njimi oteženo. Po 6. členu Direktive se napaka ocenjuje na podlagi razumnih pričakovanj potrošnika ob upo- števanju vseh relevantnih okoliščin. Zaradi medsebojne povezanosti sistemov bi bilo morda napako težko identificirati. Pri pametnih sistemih UI se postavlja tudi vprašanje, ali lahko nepredvidljive odklone, ki nastanejo kot posledica učenja, sploh opredelimo kot napako pro- izvoda.27 Napaka na proizvodu lahko nastane v različnih fazah proizvodnje. Zaradi vse pametnejših sistemov UI se napake večkrat pojavljajo pri konstrukciji proizvoda. Na drugi strani je za njihovo uporabo potrebno vse boljše predznanje, posledica česar je dolžnost proizvajalca, da uporabnika proizvoda ustrezno informira, saj tudi pomanjkljive informacije lahko povzročijo odgovornost proizvajalca.28 Po 6. členu Direktive 85/374 je za določitev odgovornosti bistven trenutek, ko je proizvod dan v promet. Sofisticirani sistemi UI29 so sprogramirani tako, da se po tem, ko pridejo na trg in se odzivajo na nove podatke iz okolja, samostojno modificirajo. Sistem UI namreč vklju- či obstoječe podatke v obstoječ analitični vzorec in revidira obstoječe kode ali razvije nove. Takšno delovanje ustvari potencial za nenamerno in nepredvidljivo povzročitev škode, pri čemer ob nakupu to še ni bila funkcija sistema UI, ne glede na to, kakšne kvalitete je takrat 26 Weingerl, str. 4. 27 Poročilo NTF (2019), str. 28. 28 Navas, str. 168. 29 Swanson poudari »Reinforcement Learning AI«, to so programi, ki se po vklopu učijo sami in za delovanje katerih ni potrebno nadaljnje vnašanje podatkov. 72 II. Civilnopravni vidiki umetne inteligence imel.30 Ker se sistemi UI lahko ves čas učijo, je torej vprašljiv tudi trenutek, v katerem mora imeti proizvod napako, saj bi lahko trdili, da sistem v času, ko je bil postavljen na trg, še ni bil zaključen proizvod.31 Pomembno bo tudi, kdo v verigi izdelave nekega sistema UI bo štet za proizvajalca. Bo to dosledno proizvajalec sistema UI ali kdo drug, na primer programer?32 Vsekakor bo zaradi stalnega pridobivanja podatkov s strani sistema UI tradicionalna vloga proizvajalca spreme- njena.33 b) Mogoče dopolnitve sistema odgovornosti proizvajalca za napake Problemi sedanjega sistema odškodninske odgovornosti proizvajalca za napako so torej števil- ni. V nadaljevanju so predstavljene nekatere rešitve, s katerimi bi se ta konvencionalni sistem lahko modificiral in se morda uspešno prilagodil izzivom, ki jih sistemi UI pomenijo odško- dninski odgovornosti. Prve se nanašajo na spremembe znotraj obstoječe objektivne odgovor- nosti proizvajalca, druge pa na uvedbo dodatne krivdne odgovornosti proizvajalca. Kot omenjeno, trenutek, v katerem se presoja obstoj napake pri odgovornosti proizvajalca, ni vedno ustrezen. Proizvajalec bi bil lahko odgovoren tudi za napako, ki se pojavi po tem, ko gre proizvod že v promet, vsaj dokler ima še vedno nadzor nad posodabljanjem, nadgraditvijo ali tehnologijo sistema UI.34 Kadar bi bila otežena identifikacija proizvajalca, bi se lahko vzpo- stavil sistem,35 v katerem bi tožnik lahko tožil več proizvajalcev, tudi če ob tožbi še ne ve, kdo v proizvodni verigi je dejansko povzročil napako proizvoda.36 Dodatna možnost bi bila uvedba dodatne krivdne odgovornosti proizvajalca, ki bi delovala takrat, ko zaradi specifičnih značilnosti sedanjega sistema objektivne odgovornosti za napake žrtve škodnega ravnanja ne bi prejele odškodnine. 37 Druga možnost bi bila popolna nado- mestitev objektivne odgovornosti s krivdno, kar bi razbremenilo proizvajalce sistemov UI, ki morda niso mogli predvideti ravnanja sistema UI zaradi njegove zmožnosti spreminjanja lastnih algoritmov.38 Tip odgovornosti proizvajalca bi bil lahko na primer različen glede na vr- sto napake. Proizvajalec bi bil lahko objektivno odgovoren za napake pri izdelavi, medtem ko 30 Swanson, str. 1203. 31 Poročilo NTF (2019), str. 28. 32 Navas, str. 170. 33 Poročilo NTF (2019), str. 28. 34 Poročilo NTF (2019), str. 42. 35 Navas govori o t. i. Market Share Liability. 36 Navas, str. 169. 37 Poročilo NTF (2019), str. 53. 38 Abbott, str. 35. Samo Miklič Nepogodbena odškodninska odgovornost in umetna inteligenca 73 bi v primeru napake pri konstrukciji proizvoda ali opustitvi ustrezne informacijske skrbnosti zanj veljala krivdna odgovornost.39 V prihodnosti bodo nekateri sistemi UI verjetno presegali zmožnosti človeka. Ko bodo sistemi UI dokazano začeli dosegati višjo stopnjo varnosti, kot jo lahko zagotovi ravnanje človeka, bi lahko krivdno odgovornost (in s tem omilitev odgovorno- sti proizvajalca) predpisali za vse sisteme UI, ki bi naloge opravljali varneje, kot jih je zmožen opravljati človek.40 Zunaj sistema objektivne odgovornosti za napake proizvoda bi lahko proizvajalec prav tako odgovarjal, če ne bi bil dovolj skrben (oziroma bi bil malomaren) pri oglaševanju ali spre- mljanju (angl. monitoring) proizvoda.41 Pri sofisticiranih sistemih UI, ki se sami učijo in spre- minjajo svoje algoritme ter pri katerih je dejansko nemogoče dokazati, da je šlo za napako v proizvodu, bi lahko krivdo prevalili na proizvajalca že zato, ker s postavitvijo proizvoda na trg ni ravnal dovolj skrbno.42 Skrajnejši predlog spremembe je vzpostavitev objektivne odgovornosti proizvajalca ves čas, ko bi se sistem UI uporabljal. V takem primeru bi se proizvajalci ustrezno zavarovali in stroški zavarovanja bi bili vidni pri ceni proizvoda.43 3.2. Odgovornost uporabnika Odgovornost za škodo, ki jo povzroči sistem UI, bi lahko prevzel tudi uporabnik. Za potrebe tega članka se za uporabnika štejeta tudi imetnik in upravljavec sistema UI, saj se pojmi v praksi prepletajo. Zgodovinsko gledano v Evropi na področju odškodninske odgovornosti prevladujejo režimi krivdne odgovornosti, medtem ko se objektivna odgovornost pojavi red- keje in kot izjema.44 a) Krivdna odgovornost uporabnika Krivdna odgovornost uporabnika temelji na krivdi posameznika v obliki naklepa ali malo- marnosti. Malomarnost pomeni opustitev skrbnosti. Kadar je škoda s strani sistema UI pov- zročena naklepno, je vprašanje razmeroma preprosto. Kadar bi uporabnik namerno zlorabil sofisticiran sistem UI s tem, ko bi denimo namenoma podal napačne podatke in bi sistem tem podatkom sledil, zaradi česar bi sistem UI zato povzročil škodo, bi uporabnik nedvomno 39 Navas, str. 169. 40 Abbott, str. 41, 44. 41 Poročilo NTF (2019), str. 53. 42 Prav tam, str. 24. 43 Poročilo NTF (2019), str. 41. 44 Janal, str. 177. 74 II. Civilnopravni vidiki umetne inteligence krivdno odgovarjal na podlagi naklepa.45 Drugačna situacija pa bi bila, ko sistem UI ne bi de- loval v skladu z namenom uporabnika. Uporabnik bi v takem primeru lahko odgovarjal zaradi malomarnosti, če ne bi zadostil določenemu standardu skrbnosti.46 Prednost krivdne odgovornosti uporabnika sistema UI, v kateri bi verjetno prevladovala od- govornost na podlagi malomarnosti, bi bila, da bi se interpretacija potrebnih standardov skrb- nosti lahko razvijala skupaj z razvojem sistemov UI.47 Ti standardi bi se lahko navezovali predvsem na ustrezno upravljanje in nadziranje sistema. Ker pa so sistemi UI posebni ravno zaradi svoje avtonomije, bi bila obveznost skrbnega nadzora smiselna samo, kadar bi upo- rabnik zaznal, da sistem ne more delovati avtonomno.48 Po drugi strani bi ravno raznolikost sistemov UI močno otežila delo sodnikov, ki bi morali vsakič znova vzpostavljati specifično dolžnost ravnanja. To bi vodilo v negotovost in pomanjkanje pravne varnosti.49 Poseben izziv pomeni tudi dokazovanje krivde. Tehnologija sistemov UI je razmeroma nova, splošen model funkcioniranja teh tehnologij še ne obstaja, obenem pa se sofisticiran sistem UI lahko uči novih stvari brez neposrednega nadzora človeka.50 Bolj kompleksen ko je sis- tem, težje je predložiti dokaze za krivdo v dolgi verigi programskih kod in algoritmov, ki so povzročili ravnanje sistema.51 Oteženo bi bilo tudi dokazovanje vzročne zveze, saj velikokrat nastanka škode ni mogoče predvideti in zato malomarnost ni podana. 52 Da bi sistem krivdne odgovornosti uporabnika deloval, so torej potrebne spremembe sedanje- ga pravnega reda. Predvsem so potrebni novi standardi skrbnosti, ki bi jih morali upoštevati uporabniki sistemov UI. Upoštevati bi bilo treba pravilno izbiro (glede na naloge in vešči- ne sistema UI), nadzorovanje in vzdrževanje sistema.53 Vsekakor bi bilo težavno vzpostaviti standard skrbnosti pri nadziranju oziroma spremljanju sistema UI, saj človeške kognitivne sposobnosti niso enake sposobnostim UI. Strojno učenje namreč temelji na prepoznavanju vzorcev, ki jih človeški um ne zazna. Večina uporabnikov nima zadostnega znanja, da bi uspe- šno nadzorovali delovanje sistema UI. Koherenten sistem zahtevanih standardov skrbnosti, 45 Prav tam, str. 193. 46 Abbott, str. 12. 47 Janal, str. 193. 48 Prav tam, str. 193. 49 Prav tam, str. 199. 50 Poročilo NTF (2019), str. 23. 51 Prav tam, str. 24. 52 Jakšić, str. 3. 53 Poročilo NTF (2019), str. 44. Samo Miklič Nepogodbena odškodninska odgovornost in umetna inteligenca 75 ki bi jim moral uporabnik sistema UI zadostiti, bi se lahko vzpostavil šele s podrobno analizo veliko škodnih dogodkov.54 Uporabnik bi lahko odgovarjal za malomarnost tudi, če bi sistem UI, ki se od njega uči, »nahranil« z napačnimi vzori. Uporabniki bi morali v takšnem primeru upoštevati obveznost skrbnega ravnanja v zvezi s predložitvijo podatkov, ki bi le izražala uporabnikovo lastno ma- lomarno ravnanje, sistemom UI.55 Dodaten vidik krivdne odgovornosti uporabnika sistema UI je odgovornost za »neuporabo« sistema UI. Ko bi se sistemi UI razvili do take stopnje, da bi bilo njihovo ravnanje varnejše od ravnanja človeka, bi bil uporabnik odgovoren tudi, če bi sistem lahko oziroma moral uporabiti, pa ga ni. Namesto da bi ugotavljali, kaj bi v določeni situaciji storila razumna oseba, bi lahko odgovornost uporabnika v takem primeru temeljila na vprašanju, ali bi se sistemu UI lahko zgodila ista nesreča. Če je odgovor negativen, potem bi bil uporabnik odškodninsko odgo- voren na podlagi malomarnosti ravno zato, ker pri opravljanju svoje dejavnosti ni uporabil sistema UI.56 b) Objektivna odgovornost uporabnika Objektivna odškodninska odgovornost je odgovornost, ki ne temelji na krivdi uporabnika, temveč na vzročni zvezi med sistemom UI in škodo.57 Objektivna odgovornost uporabnika je za oškodovanca ugodnejša, saj mora dokazati le, da se je tveganje, ki ga sistem predstavlja, uresničilo.58 Objektivna odgovornost uporabnika bi lahko bila prava rešitev v primerih, ko sistem UI tipič- no lahko povzroči škodo in se uporablja v okoljih, ki niso zasebna. Odgovorna bi bila oseba, ki prevzame tveganje, povezano z upravljanjem sistema UI, in ki ima od uporabe korist oziroma dobiček. Če bi korist oziroma dobiček imelo več oseb, na primer t. i. back-end upravljavec59 in uporabnik, naj bo za škodo odgovoren tisti, ki ima več nadzora nad tveganjem.60 Ko pa sistemi UI niso izpostavljeni javnemu življenju (ker so na primer vgrajeni v stroje v tovarnah), objek- tivna odgovornost uporabnika ne bi bila primerna. Sploh če sistem pomeni grožnjo »samo« manjšemu krogu ljudi, ki so zavarovani drugače, kot na primer delavci z instituti delovnega 54 Prav tam, str. 23. 55 Janal, str. 193; Gioffredi, str. 442. 56 Abbott, str. 36, 37. 57 Prav tam, str. 13. 58 Poročilo NTF (2019), str. 21. 59 Janal, str. 176. Več o odgovornosti »back-end« upravljavca v zadnjem poglavju. 60 Poročilo NTF (2019), str. 39. 76 II. Civilnopravni vidiki umetne inteligence prava.61 Tudi Evropska komisija meni, da bi se morala uporaba sistemov UI šteti za nevarno dejavnost, kadar: • se uporablja v sektorju, v katerem je glede na značilnosti aktivnosti povečano tveganje (na primer v zdravstvu, transportu ali na področju energije), in • je uporabljen tako, da obstaja povečano tveganje (kadar bi bil sistem UI recimo uporabljen le pri postavljanju urnika v zdravstvu, se ne bi štel za dejavnost s povečanim tveganjem). V nekaterih posebej določenih primerih bi morala biti po mnenju Komisije uporaba sistemov UI vedno opredeljena kot dejavnost s povečanim tveganjem in posledično objektivno odgo- vornostjo uporabnika.62 Sistemi objektivne odgovornosti posameznika v evropskih pravnih redih temeljijo na ime- tništvu nevarne stvari in koristi, ki jo ima stvar za posameznika. Nasprotniki objektivne od- govornosti uporabnika tako poudarjajo inherentno »nenevarnost« določenih sistemov UI.63 Problem je tudi dejstvo, da nekateri pravni redi režima objektivne odgovornosti ne poznajo. Tako bi utegnilo priti do težavnega razlikovanja med sistemi UI, pri katerih bi se sprožila objektivna odgovornost, in tistimi, pri katerih se ne bi. Ena takšnih lastnosti, ki bi lahko spro- žila objektivno odgovornost, je stopnja avtonomnosti sistema UI.64 Sistemi UI so včasih samo del glavne stvari. Ali bi se v takem primeru objektivna odgovornost uporabnika še vedno nanašala na celotno stvar? Rešitev bi lahko bila v tem, da bi uporabnik prevzel samo tisto tveganje, ki ga pomeni sistem UI kot del celotne stvari. V takšni situaciji bi se lahko vzpostavila izpodbojna domneva, da je škoda, ki jo je povzročila celotna stvar, nastala zaradi nepravilnega delovanja sistema UI.65 Tako bi moral uporabnik dokazati nasprotno. 3.3. Odgovornost za drugega Sistemi UI z razvojem postajajo vse kompleksnejši in v določenih lastnostih podobni lju- dem. Odgovornost za drugega se najpogosteje pojavlja v razmerjih delodajalec – delavec ter skrbnik – mladoletnik. Že na prvi pogled postaja takšnim razmerjem vse bolj podobno tudi razmerje uporabnik – sistem UI. Vzpostavitev takšnega režima odškodninske odgovornosti 61 Prav tam, str. 40. 62 BELA KNJIGA o umetni inteligenci – evropski pristop k odličnosti in zaupanju, COM(2020) 65 final, Evro- pska komisija, 19. 2. 2020. 63 Janal, str. 197. 64 Janal, str. 199. 65 Prav tam, str. 200. Samo Miklič Nepogodbena odškodninska odgovornost in umetna inteligenca 77 bi oškodovancem olajšala povrnitev škode, saj jim ne bi bilo treba iskati natančnega vzroka za škodo v sistemu UI.66 Koncept odgovornosti za drugega je, da naj tisti, ki naloži določene naloge drugemu, da raz- širi domet svoje dejavnosti, prevzame ustrezno tveganje. Pravni sistemi to uvajajo z dejansko odgovornostjo za drugega ali s strogimi obveznostmi skrbnega ravnanja, domnevo malomar- nosti in podobnimi pravnimi instituti. Podoben sistem bi bilo mogoče prenesti na sisteme UI. Odgovornost za drugega posameznika namreč obvezuje, da »drugega« natančno spremlja in prevzame nase določena tveganja. Uporabnik bi tako moral skrbeti tudi, kdo vse lahko upora- blja njegov sistem UI, in bi s tem lahko onemogočil učenje nepravilnih praks.67 Mogoča sprememba sedanjega režima glede na značilnosti sistemov UI bi bila naslednja: v primeru škode, povzročene s strani sistema UI, ki je deloval funkcionalno enako kot človeški agent, naj bo uporabnik oziroma upravljavec sistema UI odgovoren enako, kot bi bil delodaja- lec za svojega delavca. Delovanje sistema UI v danih okoliščinah bi se presojalo po človeškem standardu ravnanja. Ko pa bi sistem UI presegel raven človeškega delovanja, naj bodo merila ravnanja podobni sistemi UI. To pomeni, da bi se ravnanje v danih okoliščinah presojalo po višjem standardu, standardu sistemov UI, in da bi upravljavec moral zadostiti skrbnosti, ki se od njega pričakuje pri izbiri pravilnega sistema.68 Sisteme UI bi lahko primerjali tudi z mladoletniki. Uporabnik bi za ravnanje sistema UI odgovarjal podobno kot skrbniki odgovarjajo za mladoletnike. Vseeno pa obstaja med mlado- letniki in sistemi UI zelo jasna razlika. Mladoletniki se postopoma razvijajo v odraslo osebo in s polnoletnostjo postanejo samostojni. Pri sistemih UI pa ni neke specifične točke, v kateri bi lahko tak sistem obravnavali kot »razvitega do konca«. Tako v pravnih redih, v katerih na- mesto splošne objektivne odgovornosti skrbnika za mladoletnika določajo omejitve odgovor- nosti staršev s postopnim razvojem otrok, take zakonodaje ne bi mogli uporabiti pri razmerju skrbnik – sistem UI.69 Odgovornost za drugega bi lahko delovala kot dopolnilo objektivni in krivdni.70 Nasprotniki takšnega pogleda na sisteme UI poudarjajo, da bodo prve generacije popolnoma avtonomnih sistemov UI delovale povsem avtonomno in ne bodo le orodja ljudi; delovali bodo neodvisno od njih. Zato se je treba oddaljiti od ideje vzpostavitve odnosa agent – principal.71 66 Prav tam, str. 195. 67 Prav tam, str. 195. 68 Poročilo NTF (2019), str. 45. 69 Janal, str. 196. 70 Poročilo NTF (2019), str. 46. 71 Swanson, str. 1210. 78 II. Civilnopravni vidiki umetne inteligence 4. Alternative za prihodnost 4.1. Podelitev pravne subjektivitete sistemom umetne inteligence Mnogo polemik v stroki sproža vprašanje podelitve pravne subjektivitete sistemom UI.72 Dej- stvo je, da se sistemi UI po veljavnih pravnih ureditvah še ne morejo šteti za odgovorne za svoja ravnanja.73 Ideja za podelitev pravne subjektivitete temelji na ločitvi lastniške in upravljavske strukture pri pravnih osebah ter na omejevanju odgovornosti lastnikov deležev. Ker imajo pravne osebe svoje premoženje, bi podelitev pravne subjektivitete sistemom UI zahtevala, da so ti sistemi sposobni pridobivati dobiček.74 Trenutno pa se še ne zdi ekonomsko učinkovito, da bi sisteme UI obdarili z lastnim premoženjem, še posebej, ker bi premoženje moralo zadostiti potenci- alnim izgubam, kot je tudi odškodnina. Enak učinek bi se verjetno dalo doseči z obveznim zavarovanjem.75 Če bi sistemom UI dodelili pravno subjektiviteto, jim teoretično ne bi bilo treba podeliti vseh pravic, ki jih imajo fizične ali pravne osebe. Možnost, kolikor se zdi moralno sporna, bi bila, da se na pravno subjektiviteto sistemov UI vežejo le obveznosti.76 Nekateri strokovnjaki menijo, da bi sistemi UI morali imeti sposobnost pravic in obveznosti že le zato, da bi jim lahko škodo pripisali, medtem ko bi bil odškodninsko odgovoren še vedno človek.77 4.2. Pristop drseče tehtnice Za sisteme UI, ki so zaradi omejene transparentnosti delovanja obravnavani kot t. i. »črne ška- tle«, je avtor Yavar Bathaee predstavil poseben pristop k odškodninski odgovornosti – pristop drseče tehtnice.78 Odškodninska odgovornost bi se tako razlikovala od sistema do sistema, in sicer s prilagajanjem testov krivde in vzročne zveze glede na to, kolikšna stopnja avtonomnosti se dopušča sistemu UI (koliko je nadzorovan) in kako transparenten je. Potrebna bi bila torej vzpostavitev enotnega sistema značilnosti specifičnih sistemov UI na podlagi stopnje avtono- mnosti in transparentnosti. 72 Giuffrida, str. 444. 73 Jakšić, str. 3. 74 Poročilo NTF (2019), str. 38.; Janal, str. 176; Giuffrida, str. 444. 75 Janal, str. 176. 76 Poročilo NTF (2019), str. 38. 77 Navas, str. 166. 78 Bathaee ta pristop imenuje the sliding scale approach. Samo Miklič Nepogodbena odškodninska odgovornost in umetna inteligenca 79 Ko bi škodo povzročili najbolj nadzorovani sistemi, ki so obenem transparentni, bi se krivda in vzročna zveza lahko presojali po tradicionalnih testih. Manj nadzorovani in povsem ne- transparentni sistemi pa bi sprožili široko polje različnih podlag odškodninske odgovornosti. Uporabnik ali proizvajalec bi tako ob uporabi drugega primera odgovarjal za vsa tveganja, ki izhajajo iz pomanjkanja transparentnosti sistema UI. Med tema dvema skrajnima možnostma bi bili mogoči še situacija, v kateri je sistem UI manj nadzorovan, ampak transparenten – avtor za tak primer predlaga standard malomarnega principala, in situacija, v kateri je sistem UI manj transparenten, ampak bolje nadzorovan. V zadnjem primeru bi uporabnik ali proizvaja- lec odgovarjal le za škodo, ki jo je bilo mogoče predvideti.79 4.3. Uvedba »črne skrinjice« Naslednja možnost izboljšave sistema odškodninske odgovornosti za škodo, ki jo povzroči sistem UI, je obveznost proizvajalca, da z vstavitvijo »črne skrinjice« v sistem UI vodi neke vrste zapisnik glede delovanja podobno kot na letalih in ladjah. Tako bi oškodovanec lažje dokazal, da je šlo za napako na proizvodu. Takšna ureditev bi morala upoštevati zakonodajo glede varstva osebnih podatkov. Če bi bil dostop do podatkov, ki jih vodi »črna skrinjica«, one- mogočen, bi se vzpostavila izpodbojna domneva, da se je dokazovani pogoj izpolnil. Če bi v takem primeru moral škodo plačati uporabnik, bi imel regresni zahtevek proti proizvajalcu. 80 4.4. Odgovornost upravljavca iz ozadja Bolj ko napreduje tehnologija, več različnih entitet bo odgovornih za proizvodnjo na eni strani in avtonomno delovanje na drugi. Kdo je proizvajalec (dela) proizvoda, ki ima napako, zaradi katere je nastala škoda, bo tako oškodovancu zelo težko ugotoviti oziroma dokazati. Problematičen je tudi časovni vidik, saj bo nemogoče dokazati, da je napaka obstajala že v trenutku, ko je bil proizvod dan v promet, sploh glede na to, da lahko sofisticirani sistemi UI ves čas sami spreminjajo svoje algoritme.81 Ena od rešitev bi tako bila, da se vzpostavi odgovornost t. i. upravljavca iz ozadja (angl. backend operator). To je tisti, ki je odgovoren za delovanje avtonomnega sistema s tem, da ga optimizira, se zaveže, da bo posredoval prave podatke, in uporabnikom posreduje potrebne nadgradnje sistema. V praksi je to lahko ista oseba kot uporabnik ali proizvajalec, lahko pa so 79 Bathaee, str. 933–937. 80 Poročilo NTF (2019), str. 47; Weingerl, str. 5. 81 Janal, str. 202. 80 II. Civilnopravni vidiki umetne inteligence to tri različne osebe.82 Z vzpostavitvijo odgovornosti upravljavca iz ozadja bi olajšali oškodo- vančev pravni položaj. 4.5. Povrnitvene sheme Zadnja predstavljena možnost se (vsaj z vidika oškodovanca) zdi najbolj pravična. Za primere, ko ne bi bilo mogoče dokazati, kdo je povzročitelj škode, bi bilo mogoče ustanoviti sklad, ki bi bil namenjen kompenzaciji takšnih žrtev. Tak primer je škoda, ki jo povzroči neidentificirana ali nezavarovana tehnologija, ali pa povzročitelja škode ni mogoče identificirati.83 Druga možnost je povrnitvena shema, ki bi bila namenjena vsem žrtvam nesreč sistemov UI in ki bi jo financirali uporabniki in proizvajalci sistemov UI z davki ali prispevki.84 Povrnitve- ne sheme drugače kot večina preostalih opisanih rešitev odgovornost umikajo od posamičnih sistemov UI, ki so škodo povzročili, predvsem zato, da bi se izognili zaviranju napredka, ki bi ga utegnile povzročiti prepogoste odškodninske tožbe. Pri povrnitvenih shemah bi se tveganje ustrezno porazdelilo med imetnike, uporabnike ali proizvajalce sistemov UI.85 5. Sklep Za učinkovito spopadanje s škodo, ki jo povzroči sistem umetne inteligence, ki vse bolj postaja resničnost in del našega vsakdana, sedanji režimi nepogodbene odškodninske odgovornosti torej potrebujejo nekatere spremembe. Glede na število belih knjig in priporočil evropskih institucij bi lahko ugotovili, da se Evropska unija delno zaveda izziva, ki ga pravu prinaša umetna inteligenca. Zanimivo bo opazovati, kako se bodo spremembe, kakršnekoli že bodo, kazale na dejanski ravni in ali bo pravu uspelo pravočasno slediti razvoju novih tehnologij, kakršna je tudi umetna inteligenca. Vsekakor se zdi, da je umetna inteligenca tu že nekaj časa in da je pri nadaljnjem reguliranju na vseh pravnih področjih z njo treba računati. 82 Prav tam, str. 203. 83 Poročilo NTF (2019), str. 62. 84 Janal, str. 205. 85 Giuffrida, str. 448. Samo Miklič Nepogodbena odškodninska odgovornost in umetna inteligenca 81 Literatura ABBOT, Ryan, The Reasonable Computer: Disrupting the Paradigm of Tort Liability. George Washington Law Review, 2018, letn. 86, št. 1, 1–45. BATHAEE, Yavar, The Artificial Intelligence Black Box and the Failure of Intent and Causation, Harvard Journal of Law and Technology, 2018, letn. 31, 889–938. CALLIER, Michael, CALLIER, Harly, Blame It on the Machine: A Socio-Legal Analysis of Liability in an AI World. Washington Journal of Law, Technology and Arts, 2018, letn. 14, št. 1, str. 49–76. GIUFFRIDA, Iria, Liability for AI Decision-Making: Some Legal and Ethical Considerations. Fordham Law Review, 2019, letn. 88, št. 2, str. 439–456. JAKŠIĆ, Jure, Ali je pravo pripravljeno na izzive umetne inteligence? Pravna praksa, št. 43, 2017, str. 17–19. JANAL, Ruth, Extra-Contractual Liability for Wrong Committed by Autonomous Systems. V Ebers, Navas (ur), Algortihms and Law, Cambridge 2020, str. 174–206. KIM, Peter Y, Where We‘re Going, We Don‘t Need Drivers: Autonomous Vehicles and AI-Cha- perone Liability. Catholic University Law Review, 2020, letn. 69, št. 2, , str. 341–370. NAVAS, Susan, Robot Machines and Civil Liability. V Ebers, Navas (ur), Algortihms and Law, Cambridge 2020, str. 157–173. SWANSON, Greg, Non-Autonomous Artificial Intelligence Programs and Products Liability: How New AI Products Challenge Existing Liability Models and Pose New Financial Burdens, Seattle University Law Review, 2019, letn. 42, str. 1201–1222. VLADECK, David C., Machines Without Principals: Liability Rules and Artificial Intelligence. George Washington Law Review, 2014, letn. 89, št. 117, str. 117–150. WEINGERL, Petra, Avtonomna vozila in odškodninska odgovornost. Podjetje in delo, št. 6-7, 2019, str. 889.