71 Sodobni vojaški izzivi, november 2018 – 20/št. 4 Contemporary Military Challenges, November 2018 – 20/No. 4 (VOJAŠKI) ROBOTSKI SISTEMI: MERILA ZA RAZVRŠČANJE V SKUPINE IN DRUŽBENO-ETIČNE DILEME Anja Kolak Franc Mali (MILITARY) ROBOT SYSTEMS: CRITERIA FOR CLASSIFICATION AND SOCIAL AND ETHICAL DILEMAS Tehnologije prihodnosti, ki nastajajo na presečišču štirih znanstvenotehnoloških domen (nano-, info-, bio- in kogno), prežemajo vse družbene sloje – oborožene sile pri tem niso izjema. Pregled pomembnejših obrambnih konceptov, ki v luči novih strategij vojskovanja predvidevajo uporabo novih vojaških tehnologij, pokaže, da v sodobnih oborožitvenih sistemih robotika vseskozi igra pomembno vlogo. Namen prispevka je identificirati in opredeliti vojaške robotske sisteme, prikazati razvrščanje teh sistemov glede na področje uporabe in stopnjo avtonomije ter odgovoriti na nekatera družbeno-etična vprašanja, ki jih prinašajo (pol)avtonomni robotski sistemi. Ugotavljamo, da splošno sprejeta definicija, ki bi pojasnjevala, kaj robotski sistem je, ne obstaja, opredelitve vojaškega robota pa so pogosto nejasne. Na podlagi teh izsledkov in po pregledu več definicij predlagamo izhodišča za oblikovanje nove definicije (vojaškega) robotskega sistema. Za konec izpostavljamo še nekatere dileme, ki predstavljajo del širšega razmisleka o oceni tveganj, ki jih prinašata razvoj in uporaba avtonomnih robotskih sistemov, sprašujemo se, ali slediti svariteljskim ali proakcijskim načelom. Tehnologije prihodnosti, robotski sistemi, sistemi brez posadke, avtonomija, družbeno-etične dileme. Future technologies, which are emerging at the intersections of four scientific and technological domains (Nano-Bio-Info-Cogno), are now permeating all spheres of society – the armed forces are no exception. Regarding an overview of key defence concepts, which in the light of the modern strategies foresee the use of new military technologies shows that robotics has, throughout, played an important role in the context of contemporary weapons systems. The purpose of this article is to identify and define military robot systems, to present a comprehensive taxonomy of a broad range of robots and autonomy levels, and to discuss the social and ethical issues that Povzetek Ključne besede Abstract DOI:10.33179/BSV.99.SVI.11.CMC.20.4.3 72 Sodobni vojaški izzivi/Contemporary Military Challenges Key words Uvod arise from the use of (semi) autonomous robot systems. According to the literature review, there is no generally accepted definition of a robot, and definitions of a military robot are often unclear. Based on these findings and after reviewing the definitions by several authors, we propose a few bases to develop a new definition of a (military) robot system. Finally, we highlight some dilemmas as part of a broader discussion of a risk assessment brought about by the development and use of autonomous robot systems. We debate whether to follow the precautionary or the proactionary principle. Future technologies, robot systems, unmanned systems, ethical dilemmas. Študije s področij tehnologij prihodnosti, ki nastajajo na križanjih štirih znanstveno- tehnoloških domen (nano-, info-, bio- in kogno) med tehnološke inovacije današnjega časa uvrščajo aditivno proizvodnjo, robotske sisteme, senzorje in senzorske aplikacije, sisteme brez posadke, aplikacije za nevro-kognitivne izboljšave in umetno inteligenco (Sandler, 2014; Bainbridge in Roco, 2016). Trendi kažejo, da robotski sistemi v oboroženih silah delujejo v celovitih, pogosto nevarnih in sovražnih okoljih, navadno zaradi vizualnega nadziranja, sledenja in identifikacije vojaških ciljev. Naloge izvajajo daljinsko vodeno ali (pol)avtonomno na kopnem, na vodi in v njej, v zraku ter vesolju. Robotika se tesno povezuje s področjem avtomatizacije in umetne inteligence, ki robotskim sistemom omogočata t. i. kognitivno oziroma fizično avtonomijo kot sposobnost nenadzorovanega delovanja in odzivanja na zunanje okolje (Singer, 2009). Teleoperacija oziroma tehnika upravljanja sistema z oddaljenih lokacij zagotavlja delovno-operativno razdaljo med človekom in sistemom ter daje možnost za manipulacijo objektov z velikih razdalj. Ta tehnika je v veliko pomoč pri izvajanju nalog tako v težko dostopnih in neznanih okoljih (vesolje in globine oceanov) kot v nepredvidljivih in nevarnih razmerah (naravne nesreče ter prostori z jedrskimi in biološkimi snovmi) (Tzerachoglou in drugi, 2016, str. 23–24). Glede na različno uporabo robotskih sistemov in njihove lastnosti se običajno sledi različnim pojmovnim opredelitvam in definicijam teh sistemov. V skladu s temi izhodiščnimi opredelitvami prihaja do njihovega razvrščanja v posamezne skupine. Namen prispevka je identificirati in opredeliti vojaške robotske sisteme; prikazati razvrščanje teh sistemov glede na področje uporabe in stopnjo avtonomije ter odgovoriti na nekatera družbeno-etična vprašanja, ki se zastavljajo ob uporabi (pol)avtonomnih robotskih sistemov. Članek je razdeljen na pet poglavij. V prvem poglavju nas zanimajo pomembnejši obrambni koncepti, ki v luči novih strategij vojskovanja predvidevajo uporabo novih tehnologij in sodobnih oborožitvenih sistemov. Kot bo razvidno iz našega prikaza, ima v sodobnih oborožitvenih sistemih robotika eno pomembnejših vlog. Drugo poglavje namenjamo pregledu temeljnih definicij in pojasnitvam terminoloških izrazov s področja vojaških robotskih sistemov ter njihovo razvrščanje v skupine. V tretjem delu prispevka se posvetimo avtonomiji vojaških robotskih sistemov, ki odpira vrsto družbenih in etičnih dilem na področju interakcije med človekom in robotom. Kdo prevzema odgovornost Anja Kolak, Franc Mali 73 Sodobni vojaški izzivi/Contemporary Military Challenges za dejanja avtonomnih robotskih sistemov, se sprašujemo in razmišljanja o tem strnemo v četrtem poglavju. V sklepnem delu izpostavljamo še nekatera vprašanja in dileme, ki so lahko usmeritev za nadaljnje proučevanje implikacij vojaških robotskih sistemov na družbo in oborožene sile. 1 VOJAŠKO-TEHNOLOŠKI RAZVOJ Tehnološke novosti in razvoj oborožitvenih sistemov sta dejavnika, ki temeljito spreminjata način vojskovanja. Nove vojaške tehnike, uporaba sodobnih oborožitvenih, komunikacijskih in obveščevalnih sistemov ter preoblikovanje sistema vodenja in poveljevanja so spremembe, ki jih vojaški strokovnjaki pogosto povezujejo s konceptom revolucije v vojaških zadevah. Ne glede na številne konceptualne opredelitve, vojaške revolucije temeljijo na dveh predpostavkah: države in vojaške organizacije si z integracijo naprednih tehnologij v vojaške doktrine in operativne procese zagotavljajo učinkovito delovanje in prevlado nad tistimi, ki temu ne sledijo. Z zagotavljanjem kakovostnih ravni vojaških zmogljivosti se na dolgi rok zmanjšujejo varnostna tveganja, z novimi in boljšimi vojaškimi tehnikami pa se spreminja narava vojskovanja (Raska, 2009, str. 2). Zaradi širine nabora analiziranih sodobnih tehnologij in med drugimi uporabljene tudi zgodovinske metode proučevanja revolucij v vojaških zadevah1 v nadaljevanju izpostavljamo naslednje raziskave in poročila. V okviru zavezniškega poveljstva za preoblikovanje so opravili več raziskav, v okviru katerih so proučevali trend razvoja sodobnih tehnologij. Raziskave so temeljile na obsežnem in sistematičnem pregledu globalnega tehnološkega prostora, v katerem se razvijajo nove tehnologije, ki se v prihodnosti lahko kažejo tako v obliki (tehnoloških) groženj kot v obliki novih vojaških zmožnosti. Ena ključnih ugotovitev raziskav je, da tehnološki napredek nenehno narašča in oblikuje nove družbene tokove, pri čemer sta najpomembnejša dejavnika hitrost in zmogljivost računalniških in informacijskih sistemov. Za oborožene sile so pomembne še izboljšave sistemov za elektronsko podporo, slikovnih sistemov in sistemov za določanje položaja, laserskih sistemov in razvoj robotskih sistemov oziroma sistemov brez posadke. Varnost zavezništva Nato bo tudi v prihodnosti odvisna od (ne)vojaških groženj, med njimi tudi takih, ki temeljijo prav na sodobnih tehnologijah, še opozarjajo avtorji (HQ Supreme Allied Commander Transformation, 2011, 2015). Avtorji poročila Enabling the future, European military capabilities 2013 – 2025: challenges and avenues (EU ISS, 2013) napovedujejo, da lahko do leta 2025 velike spremembe v vojaških zadevah pričakujemo na področju proti-intervencijskih sistemov, daljinsko vodenih oborožitvenih sistemov in robotov, pri orožjih z usmerjeno energijo ter na področju kibernetskega vojskovanja. V okviru prihajajočih (r)evolucijskih sprememb avtorji formulirajo model verjetnih scenarijev do l. 2025. 1 Analitiki na podlagi proučevanja razvoja vojaških tehnologij lažje predvidijo prihodnji razvoj. (VOJAŠKI) ROBOTSKI SISTEMI: MERILA ZA RAZVRŠČANJE V SKUPINE IN DRUŽBENO-ETIČNE DILEME 74 Sodobni vojaški izzivi/Contemporary Military Challenges Model prikazuje trend globalizacije, trend sprememb v mednarodni skupnosti in trend tehnoloških novosti. V soodvisnosti do teh trendov je izpostavljenih več možnih scenarijev z različnimi stopnjami tveganja in ogrožanja. Pomembni indikatorji za trenutne in prihodnje vojaške zmogljivosti, ki naj bi ščitile skupne strateške interese EU, so sodobne in učinkovite oborožene sile, razvoj novih tehnologij, širitev spektra zmogljivosti, transformacija oboroženih sil in vzdržnost procesa zagotavljanja kakovosti (EU ISS, 2013). Omeniti je treba tudi poročilo Ameriške napredne obrambne raziskovalne agencije (DARPA), Breakthrough Technologies For National Security, v katerem so našteti dosedanji dosežki in inovacije agencije s področja razvoja vojaških tehnologij (npr.: natančno vodeno strelivo, tehnologija stealth, samovozna vozila in satelitski sistemi za izvidovanje, obveščevalno dejavnost in opazovanje ter zmogljivi računalniški sistemi in druge (robotske) naprave s funkcijami umetne inteligence). Načrti agencije za prihodnost so usmerjeni v zagotavljanje nadzora na področju elektromagnetnega spektra in v vesolju, v izboljšanje natančnosti pozicioniranja in navigacije v času, v izboljšanje zmogljivosti sistemov brez posadke, v boljšo obrambo proti terorizmu in kibernetskim napadom, k upravljanju velikih podatkovnih baz in v graditev zaupanja v informacijske sisteme, na katerih danes temeljijo vojaške operacije (DARPA, 2015). Tehnološke inovacije in uporaba sodobnih vojaških tehnologij se povezujejo z novimi obrambno-varnostnimi in strateškimi diskurzi in novimi koncepti preoblikovanja obrambnih politik. Dosedanje analize prihodnjih trendov kažejo velike spremembe na področju robotskih sistemov in sistemov brez posadke, na področju razvoja umetne inteligence, naprednih materialov in razvoja vesoljskih zmogljivosti. Na področju razvijanja novih vojaških zmogljivosti, ki so nujne za zaščito strateških interesov držav, ZDA ostajajo sui generis svetovne vojaške velesile. Od 36 proučevanih držav imajo ZDA kar 50 odstotkov vseh sodobnih oborožitvenih sistemov (Kolak, 2016) in tako postavljajo smernice za nadaljnji razvoj vojaških zmogljivosti. 2 (VOJAŠKI) ROBOTSKI SISTEMI Češki književnik Karel Čapek je leta 1921 v noveli Rossumovi univerzalni roboti (angl. Rossum’s Universal Robots) prvi uporabil besedo robot2, in takrat si je malokdo mislil, da se bodo ti stroji iz znanstvenofantastičnih knjig selili v realni svet. Oborožene sile so danes nedvomno ene prvih uporabnikov robotskih sistemov in pogosto pobudnik za razvijanje njihovih novejših različic. Vojaški robot oziroma tudi vojaški robotski sistem se po lastnostih, sestavi, funkcijah/zmožnostih in operativni uporabnosti uvršča v t. i. kategorijo sodobnih oborožitvenih sistemov3 2 Robota v češčini pomeni prisilno delo oziroma tlaka (angl. non-voluntary, forced labour). 3 Žabkar in Svete (2011, str. 7) oborožitveni sistem definirata kot »kompleksen integrirani sistem, sestavljen iz bojnega podsistema in množice podsistemov, ki omogočajo uspešno delovanje bojnega sistema v najrazličnejših razmerah«. Novejša usmeritev na področju oborožitvenih sistemov so bojni roboti, ki se jih lahko uporablja v prvi bojni črti in so v neposrednem stiku s sovražnikom (prav tam, str. 133). Anja Kolak, Franc Mali 75 Sodobni vojaški izzivi/Contemporary Military Challenges oziroma v nove generacije oborožitvenih sistemov4 (Freedman, 1999; O’Hanlon, 2000; Kugler, 2006; Žabkar, 2005, str. 139). Splošno sprejeta definicija, ki bi jasno opredeljevala termin robot, ne obstaja, tako v znanstveni in strokovni literaturi zasledimo več različnih definicij. V nadaljevanju naše razprave izhajamo iz najbolj pogosto navedenih definicij. S tehničnega vidika je robot sistem, ki je sestavljen iz treh glavnih delov: mehanskega dela, informacijskega dela in senzorjev (Glamnik in Veber 2012, str. 39–40). Nacionalni inštitut za standarde in tehnologijo (NIST, 2012) opredeljuje robota kot napravo, ki deluje s pomočjo pogonskega sistema in ima sposobnost kontrole, zaznavanja ter delovanja v fizičnem okolju, v katerem opravlja določene naloge. Sistem in proces operativnega delovanja podpira oziroma je podprt s t. i. vmesnikom človek-robot. Po Galliottu (2015, str. 4–5) je robot naprava z minimalno stopnjo (tehnične) avtonomije, znotraj katere lahko naprava deluje samostojno in nenadzorovano – ta lastnost omogoča sprejemanje in obdelavo podatkov iz okolja ter neposredno interakcijo z okoljem in človekom. Tudi za Singerja kot strokovnjaka za sodobno vojskovanje (2009, str. 67) je robot naprava, ki je zgrajena po vzorcu zaznava-mišljenje-dejanje (angl. sense-think-act paradigm), s sestavnimi komponentami: (1) senzorji, s katerimi opazuje okolje in v njem zaznava spremembe; (2) procesorji ali umetna inteligenca, s pomočjo katere se odloča, kako se odzivati in (3) efektorji, s pomočjo katerih lahko po sprejetih odločitvah deluje na okolje, in sicer tako, da z delovanjem povzroči spremembo v tem okolju. Delovanje vseh treh komponent skupaj daje robotu podobo funkcionalnega umetnega organizma. Napravo, ki daljinsko vodeno ali na podlagi vnaprej programiranih vzorcev opravlja zahtevne in kompleksne naloge, z različnimi stopnjami avtonomije in pod človekovim nadzorom, imenujemo robot. Če se pri izvajanju nalog uporablja tudi oborožena sila, potem take naprave imenujemo robotska orožja ali (oborožitveni) sistemi brez posadke Melzer (2013, str. 6). Na podlagi pregleda definicij različnih avtorjev lahko za namen tega prispevka zapišemo, da je robot oziroma robotski sistem naprava, ki je lahko daljinsko vodena (z minimalno stopnjo avtonomije) ali pa deluje brez človekovega posredovanja (pol)avtonomno (na podlagi vnaprej programiranih algoritmov). Ima sposobnost zaznavanja okolja in sprejemanja informacij ter uporabljati znanje za smiseln in namenski način operativnega delovanja. Zahtevnost nalog in kompleksnost okolja, v katerem lahko opravlja naloge, sta odvisni od stopnje avtonomije. Takšna definicija opredeljuje širok nabor sodobnih oborožitvenih sistemov, ki se uvrščajo v skupino vojaških robotskih sistemov. Izraz robot se tako v vojaškem žargonu lahko uporablja za določeno vrsto vozil, kot so na primer avtonomna (samovozna) kopenska vozila, hkrati pa je lahko tudi figurativni izraz za avtonomno orožje. V znanstveni in 4 Nove generacije oborožitvenih sistemov omogočajo državam izvajanje vojaških operacij, ob tem pa ne izpostavljajo resno nevarnostim pripadnike lastnih oboroženih sil. Žabkar tak pristop in način vojskovanja imenuje nestične vojne (Žabkar, 2005, str. 139). (VOJAŠKI) ROBOTSKI SISTEMI: MERILA ZA RAZVRŠČANJE V SKUPINE IN DRUŽBENO-ETIČNE DILEME 76 Sodobni vojaški izzivi/Contemporary Military Challenges strokovni literaturi pogosto za vojaške robotske sisteme zasledimo tudi izraz (vojaški) sistemi brez posadke (Krishnan, 2009; Melzer, 2013; Galliott, 2015), pri čemer je treba vedeti, da niso vsi robotski sistemi tudi sistemi brez posadke. Ameriško obrambno ministrstvo za vojaški robotski sistem uporablja izraz sistem brez posadke, definicija pa izhaja iz opredelitve vozila brez posadke, za katerega velja: (1) je vozilo z lastnim pogonom, ki na krovu nima operaterja (človeka), je daljinsko voden oziroma lahko deluje avtonomno ter je namenjen večkratni uporabi in ima nameščeno (ne)ubojno strelivo oziroma orožje; (2) v kategorijo vozil brez posadke se ne uvrščajo vozila s/z (pol)balistično zaščito, manevrirne rakete, artilerijski projektili, torpeda, mine, sateliti in senzorji (brez lastnega pogona); (3) vozila brez posadke so osnovna komponenta sistemov brez posadke (US DoD 2007, str. 1) 5. 2.1 Razvrščanje (vojaških) robotskih sistemov Robotske sisteme razvrščamo na več načinov – najbolj osnovno glede na njihove značilnosti: v antropomorfno skupino uvrščamo robote, ki so podobni človeku; v neatropomorfno skupino uvrščamo robote, ki imajo obliko strojev, v lokomocijski skupini pa so roboti, ki imajo elemente hoje (Glamnik in Veber, 2012, str. 39–40). Druga razvrščanja temeljijo bolj na specifičnih lastnostih, kot so: velikost, vzdržljivost, stopnja mobilnosti, namen uporabe, uporabniške lastnosti in glede na povezljivost z drugimi sistemi/platformami, vrsta pogona, omejitev na najvišjo nadmorsko višino, stopnja avtonomije ter številni drugi funkcionalni in operativni parametri (Farinelli in drugi, 2004; Tzerachoglou in drugi, 2016). Poznamo tudi razvrščanje po generacijah, pri čemer gre za razvrščanje na podlagi lastnosti in zmogljivosti različnih generacij robotskih sistemov in razvrščanje po robotski revoluciji, ki poteka v štirih valovih (avtomatizacija in robotizacija proizvodnje; opremljenost s senzorji, ki omogočajo zaznavanje človeka in okolja; višja stopnja avtonomije, ki omogoča popolno interakcijo s človekom in okoljem; roboti z umetno inteligenco, ki se učijo sami prek zaznav) (Pintarič in drugi, 2011, str. 160; Boesl, 2016). Splošno najbolj uveljavljena in sprejeta razvrstitev vojaških robotskih sistemov oziroma sistemov brez posadke je glede na operativno delovanje na kopnem, v zraku, na vodni gladini in pod njo ter v vesolju: – brezpilotni zračni sistemi (ang. unmanned aircraft systems – UAS), – kopenska vozila brez posadke (ang. unmanned ground vehicles – UGV), – vodna plovila brez posadke (ang. unmanned maritime vehicles – UMS), a) površinska plovila brez posadke (angl. unmanned surface vehicles – USV) b) podvodna plovila brez posadke (angl. unmanned undersea vehicles – UUV) 5 Razširjeno opredelitev sistema brez posadke zasledimo pri Galliottu (2016, str. 5), za katere pravi, da so skupina motornih elektromehanskih sistemov, katerim je skupno, da na krovu nimajo operaterja. Narejeni so tako, da so namenjeni večkratni uporabi in za vojaške namene uporabljajo silo (z ubojnim ali neubojnim sredstvom oziroma opravljajo druge vojaške aktivnosti za podporo oboroženim silam). Anja Kolak, Franc Mali 77 Sodobni vojaški izzivi/Contemporary Military Challenges (US DoD, 2014, str. 3–8, Arkin, 1998, 3). K tej klasifikaciji dodamo lahko še dve kategoriji: – vesoljska plovila brez posadke (angl. unmanned space vehicle) – kategorija se lahko upošteva kot podkategorija preostalim trem (Galliott, 2015, str. 5), – hibridna vozila brez posadke (amfibija) (Tzerachoglou in drugi, 2016, str. 27). Robotske sisteme lahko v različne skupine razvrščamo na podlagi še ene pomembne lastnosti, in sicer po stopnji avtonomije. Ta razvrstitev zahteva poglobljeno razlago, zato ji namenjamo poglavje v nadaljevanju. 3 AVTONOMIJA (VOJAŠKIH) ROBOTSKIH SISTEMOV Današnje vojaške potrebe gredo v smeri razvoja sodobnih oborožitvenih sistemov, ki delujejo v realnem času, stabilno, zanesljivo in učinkovito ter imajo (tudi) sposobnost delovanja brez človekove intervencije oziroma (stalnega) nadzora. Pomembni lastnosti takšnih (pol)avtonomnih sistemov sta sposobnost nadzora in določena stopnja avtonomije – to pomeni, da je sistem sposoben izvajati naloge na želen in pričakovan način in da je avtonomija sistema lastnost, ki omogoča samostojno delovanje z malo ali nič človekovega posredovanja. Za doseganje teh meril morajo atributi teh sistemov omogočati delovanje v dinamičnih okoljih, imeti sposobnost učenja različnih spretnosti v (povratni) interakciji z okoljem, na podlagi zaznanih dogodkov sprejemati smiselne določitve, imeti sposobnost komuniciranja z ljudmi (razumevanje in pojasnjevanje sprejetih odločitev) ter zagotavljati prenos znanja na druge sisteme (Tzerachoglou in drugi, 2016, str. 28). Avtonomija robotskih sistemov s tehničnega vidika pomeni umikanje človeškega faktorja/operaterja iz krmilnega kroga oziroma nadzorne enote (angl. control loop) – posledično s tem prihaja do zmanjšanja nadzora nad sistemom, hkrati pa do povečanja stopnje avtonomije sistema. Pri avtonomiji robotskih sistemov izhajamo iz dveh predpostavk: (1) sistem ima sposobnost delovanja v skladu s cilji, predpisi in znanji, brez posredovanja človeka (Truszkowski in drugi, 2009) in (2) sistem ima sposobnost integriranega delovanja, ki vključuje zaznavanje, dojemanje, analiziranje, komuniciranje, planiranje, logično odločanje in izpeljava načrtov za doseganje začrtanih ciljev, ki jih prek vmesnika človek-robot določi človek, lahko tudi prek drugega sistema, s katerim sistem brez posadke komunicira (NIST, 2012). Po Williamsonu (2015, str. 33) ima avtonomen sistem sposobnost razumevanja namer na višji ravni. S tako stopnjo razumevanja in zaznavanja okolja lahko sistem samodejno sprejema odločitve in ukrepe za delovanje oziroma doseganje cilja. Med več alternativami ima sposobnost odločanja in ukrepanja, ne da se pri tem zanaša na človekov nadzor in kontrolo, čeprav je oboje lahko še vedno prisotno. Za razvrščanje robotskih sistemov glede na njihovo stopnjo avtonomije, ki je lahko kategorizirana in merjena (Williams, 2015, str. 39), si pomagamo z različnimi (VOJAŠKI) ROBOTSKI SISTEMI: MERILA ZA RAZVRŠČANJE V SKUPINE IN DRUŽBENO-ETIČNE DILEME 78 Sodobni vojaški izzivi/Contemporary Military Challenges lestvicami. Za našo analizo smo izbrali štiristopenjsko, ki je med strokovnjaki široko sprejeta in pogosto uporabljena. Stopnja avtonomije sistema določa obseg in kompleksnost nalog, ki jih sistem lahko opravi, s tem posredno določa tudi pogostost interakcije med človekom – operaterjem in sistemom. Kot smo že omenili, se stopnja avtonomije povečuje z umikanjem človeškega dejavnika iz krmilnega kroga oziroma nadzorne enote – s tem se zmanjšujeta nadzor nad sistemom in interakcija med človekom in sistemom. Kot nas uči multidisciplinarno vedenje o delovanju računalnikov, robotov, umetni inteligenci in modelih komunikacije je predpogoj uspešne interakcije med človekom in robotom ustrezna komunikacija. Ker za daljinsko vodene in polavtonomne sisteme velja, da se daljavi dometa (razdalja med sistemom in tarčo) pridruži še daljava daljinskega upravljanja (razdalja med upravljavcem in sistemom), je komunikacija med upravljavcem in sistemom nujna. Komunikacija med človekom in robotom se lahko izvaja v različnih oblikah, ki so odvisne od tega, ali sta človek in robot v neposredni bližini ali nista. Glede na ta dva pogoja, komunikacijo in interakcijo delimo v dve splošni kategoriji: (1) oddaljena interakcija – človek in robot sta prostorsko ločena, lahko tudi časovno, in (2) neposredna interakcija – človek in robot sta v istem prostoru (Goodrich in Schultz, 2007, str. 203). Pri proučevanju interakcije med človekom in robotom glede na stopnjo avtonomnosti so pomembni naslednji elementi: stopnja avtonomije 6 Drugo in tretjo stopnjo avtonomije robotskih sistemov lahko združujemo, kajti obe vključujeta polavtonomne sisteme, razlika med njima je le v primarni vlogi operaterja (Galliott, 2015, str. 6–7; Tzerachoglou in drugi, 2016, str. 27–32). Stopnja avtonomije I Imajo jo sistemi, ki so neavtonomni in so daljinsko vodeni. Operater nadzoruje delovanje sistema, ga vodi in upravlja daljinsko. Stopnja avtonomije II (nizka stopnja avtonomije) Imajo jo sistemi, ki so nadzorovani (angl. supervisory autonomy). Operater jasno določi gibanje, smer, pozicijo in naloge, sistem naloge izvede po ukazu. Operater sistemu zagotavlja informacije in ga nadzoruje. Stopnja avtonomije III (srednja stopnja avtonomije)6 Imajo jo sistemi, ki so avtonomni pri izvedbi naloge (angl. task autonomy). Operater specificira glavno nalogo, sistem pa sam izpelje postopke, ki so potrebni za uspešno opravljeno nalogo – brez nadzorovanja operaterja. Operater ima sredstva za nadzor sistema, vendar ta ni nujen za uspešno izvedeno nalogo. Stopnja avtonomije IV Imajo jo sistemi, ki so avtonomni (angl. full autonomy). Avtonomen sistem nalogo opravi brez operaterjevega posredovanja/vložka (angl. input). Razdalja med operaterjem in sistemom je tolikšna, da je direkten vpliv zanemarljiv. Ti sistemi imajo lahko zmogljivost posnemanja človeka oziroma ga lahko tudi nadomeščajo. Sistemi imajo sposobnost logičnega odločanja, izvajajo lahko kompleksne naloge in operaterju poročajo v jezikovnem izrazu. Tabela 1: Štiristopenjska lestvica avtonomije robotskih sistemov Anja Kolak, Franc Mali 79 Sodobni vojaški izzivi/Contemporary Military Challenges sistema, način izmenjave informacij, sestava ekipe/enote, končni cilj operacije in lastnosti okolja, v katerem sistem deluje. Slika 1 prikazuje 11-stopensko lestvico avtonomije robotskih sistemov, za katero velja, da je na stopnji 0 sistem daljinsko voden, na stopnji 10 pa je sistem avtonomen in deluje samodejno. Pri daljinsko vodenih sistemih je interakcija med človekom in robotom 100-odstotna, naloge so nezahtevne in lahko izvedljive, okolje, v katerem sistem deluje, pa je enostavno – predvidljivo. Pri avtonomnih sistemih interakcije med človekom in robotom (skoraj) ni, naloge so kompleksne in sistem lahko deluje v ekstremnih, kompleksnih okoljih. Pri razvrščanju robotskih sistemov v različne skupine glede na stopnjo avtonomije in v razmerju do interakcije med človekom in robotom se ne moremo izogniti nekaterim občutljivim etičnim vprašanjem. Eno pomembnejših vprašanj, ki se pojavlja, je, kdo bo sploh prevzel odgovornost za dejanja avtonomnih sistemov. Je za to še odgovoren človek? Lahko pričakujemo več racionalnih odločitev in manj napak in ali gre res (le) za krepitev vojaka? 4 ETIČNE DILEME UPORABE ROBOTSKIH SITEMOV Že iz našega predhodnega prikaza (glej tabelo 1) bi lahko sklepali, da smo še vedno kar nekaj korakov oddaljeni od popolne avtonomije robotov. Zato nam tudi misel velikega misleca Stephena Hawkinsa, ki jo je ob neki priložnosti izrekel za BBC, namreč da naj bi razvoj popolne umetne inteligence že nakazal konec človeške vrste, Slika 1: Stopnje avtonomije robotskih sistemov in človek-robot interakcija Vir: prirejeno po Huang, Pavek, Albus in Messina 2005, 6. (VOJAŠKI) ROBOTSKI SISTEMI: MERILA ZA RAZVRŠČANJE V SKUPINE IN DRUŽBENO-ETIČNE DILEME 80 Sodobni vojaški izzivi/Contemporary Military Challenges še vedno zveni nekoliko tuje. Danes se še ne srečujemo z razvojem superinteligentnih bitij, ki bi prekosila človeka na področju katerekoli njegove aktivnosti. Res pa je, da se vedno več aktivnosti, ki jih je nekoč lahko opravljal samo človek, prenaša na njegove tehnične podaljške. Ti izzivi se pojavljajo tudi in še zlasti na področju razvoja in uporabe robotskih sistemov v vojaške namene, saj se (se bo) narava vojskovanja ravno zaradi njih vedno bolj spreminja(la). Če je še nedolgo nazaj vojak nadzor nad potekom boja v fizičnem prostoru izvajal s pomočjo krmilne ročke v roki, kar pomeni, da je neposredno nadzoroval potek dogajanja na bojnem polju, se v današnjih načinih bojevanja v kiberprostoru izvajanje vojaških operacij in nadzor nad bojiščem prepušča računalniškim programom, vojak pa se pojavlja samo še v funkciji vojaškega stratega. Zato je še kako nujno razmišljati o – če uporabimo terminologijo Von Neumanna izpred nekaj desetletij – prihodnjem razvoju avtomatiziranega samoreprodukta (angl. self- reproducing automat) (Von Neumann, 1966, str. 64), ki so zmožni delovati neodvisno od ljudi. Razvoj novih vojaških tehnologij bo potekal še naprej, kljub morebitnim tveganjem. Pri tem razvoju bo pomembno vlogo igrala tudi hitrost, ki je povezana s sodobnim načinom vojskovanja. V okviru scenarijev, ki predpostavljajo, da bo hitrost morebitnega napada in odgovora na to presegla človekovo zmožnost, da reagira, se predvidevajo protiukrepi avtonomnih sistemov (Caton, 2013). To pomeni, da naj bi ti sistemi, ki bi delovali neodvisno od človeka, zmogli identificirati napad in tudi oceniti, kdo in na kakšen način naj odgovori na napad. Opisani scenariji odpirajo celo vrsto varnostnih in širših družbenoetičnih dilem. Te dileme predstavljajo del širšega razmisleka o tveganjih, ki so povezane z razvojem novih naprednih tehnologij. Ob avtonomnem in od človeka neodvisnem odzivu robotskih sistemov se namreč logično zastavi vprašanje, ali ne obstaja tveganje, da se s tem sproži verižna reakcija nekontroliranih vojnih eskalacij. Zaradi možnosti prihodnjega razvoja katerekoli nove napredne tehnologije je pomembno, da vzpostavimo že v njenih zgodnjih fazah razvoja temelje etičnim presojam, ker le tako lahko pridemo do objektivnih ocen o njihovih prednostih in morebitnih tveganjih. Tudi pri oceni tveganj, ki jih prinašajo avtonomni robotski sistemi, pa naj gre za njihovo rabo v miroljubne ali vojaške namene, je treba izhajati iz teh svariteljskih načel (angl. precautionary principles), hkrati pa je treba znotraj splošnih načel upoštevati tudi posebnosti uporabe avtonomnih robotskih sistemov v vojni. V Evropi smo neprimerno bolj naklonjeni t. i. svariteljskim načelom (angl. precautionary principle). Svariteljska načela se ukvarjajo predvsem s preprečevanjem negativnih posledic razvoja novih tehnologij (Mali, 2016 in 2009). Upoštevajo naslednjo logiko, ki se je v Evropi najprej uveljavila pri razvoju gensko spremenjenih organizmov: če znanstveni podatki v zvezi s širjenjem v okolje ne omogočajo nedvoumne ocene tveganj za okolje, je treba te aktivnosti takoj ustaviti (Mali, 2004). V ZDA v skladu s filozofijo proakcionizma (angl. proactionarism) prednost dajejo tistim možnostim razvoja novih tehnologij, ki se kažejo kot najbolj obetavne. Steve Fuller in Vera Lipinski sta ontološko razliko med svariteljskim Anja Kolak, Franc Mali 81 Sodobni vojaški izzivi/Contemporary Military Challenges načelom in proakcijskim načelom jedrnato opisala: »Zagovorniki svariteljskega načela pravijo, da smo zavezani neki višji entiteti, t. i. naravi kot taki, in z njo povezanemu metafizičnemu smislu našega življenja (da ne omenjamo zgolj golega preživetja). V nasprotju s tem zagovorniki proakcijskega načela pravijo, da mi nismo samo del te narave; s svojim obstojem ji šele dajemo smisel; če ne bi služila našim namenom, narava ne bi imela nikakršnega smisla« (Fuller in Lipinski, 2014, str. 99). Glede vprašanja, ali slediti svariteljskim ali proakcijskim načelom glede nadaljnjega razvoja avtonomnih robotskih sistemov, je najbrž treba še toliko bolj nedvoumno podpreti prvo opcijo. Dejstvo, da človeška vrsta nameni toliko znanja in energije v izdelavo tehnologije, ki naj bi bila uperjena (vsaj na dolgi rok) zoper njo samo, odpira celo vrsto splošnih etičnih dilem. Zaradi vseh specifičnosti, ki izhajajo iz morebitnih prihodnjih uporab te tehnologije za vojaške namene, so zadeve na področju etičnih vprašanj še toliko bolj kompleksne, kot kaže primer njene rabe za nevojaške namene. Jeremy Straub predlaga, tudi s sklicevanjem na Asimove tri zakone robotike7, da bi v zvezi z vojaško uporabo avtonomnih robotskih sistemov (npr.: uporaba brezpilotnih letalnikov, vojskovanje v kiberprostoru itn.) morali upoštevati naslednja minimalna etična načela vojskovanja (Straub, 2016, str. 45–46): 1. Pri uporabi avtonomnih robotskih sistemov bi morali zahtevati višjo stopnjo natančnosti, ko gre za predpostavljene cilje napada. Višja stopnja natančnosti bi kompenzirala tveganja, ki so povezana z nepredvidljivimi tehničnimi težavami. Pri tem bi se stopnja zahtevane natančnosti lahko prilagajala vsakokratnim okoliščinam, podobno kot takrat, ko ocenjujemo smiselnost neke vojaške operacije, v kateri sodeluje samo živa vojaška sila, glede na predvideno število žrtev. 2. Strategije, ki so zamišljene za bojevanje avtonomnih robotskih sistemov, bi morale upoštevati stranske učinke vojaških operacij, ki ne zadevajo neposredno vojaške sile. Takšni primeri so napadi na civilno infrastrukturo. Na primer, uničenje električnega omrežja lahko vodi v uničenje celotne oskrbe ranjencev v bolnišnicah in hrambe živil. Ti negativni posredni učinki bi se morali nujno upoštevati v okviru vojskovanja z avtonomnimi robotskimi sistemi. 3. Uporaba robotov za vojaške namene bi morala zagotoviti tako vojakom kot civilnemu prebivalstvu čim večjo možnost preživetja, kar naj bi veljalo tudi za vse mejne situacije. To zadnje načelo je zlasti pomembno pri uporabi sistemov brez posadke in drugih vojaških tehničnih naprav, ki jih človek ne upravlja z neposredno fizično prisotnostjo. Isto velja za vojskovanje v kiberprostoru. Kot opozarja E. Tyugu, se prav pri vojskovanju v kiberprostoru, v katerem se uporablja programska tehnologija, pojavlja največ tveganj. Zaradi programskih napak namreč lahko prihaja do nepričakovanih rezultatov, nezadostne presoje, kakšno odločitev sploh sprejeti glede na dano situacijo, nepravilnih interpretacij navodil bojnim agentom, kratkemu stiku 7 Asimov je postavil naslednje tri (moralne) zakone robotike: (1) robot naj ne bi škodoval človeški vrsti oziroma s svojim nedelovanjem dovoljeval, da do tega pride; (2) robot se mora pokoriti pravilom (ukazom), ki jih postavlja človek, razen če so ta v nasprotju s prvim moralnim zakonom robotike; (3) robot mora ščititi svoj lastni obstoj, razen če je v nasprotju s prvim in drugim moralnim zakonom robotike (Asimov, 1984). (VOJAŠKI) ROBOTSKI SISTEMI: MERILA ZA RAZVRŠČANJE V SKUPINE IN DRUŽBENO-ETIČNE DILEME 82 Sodobni vojaški izzivi/Contemporary Military Challenges med temi, ki ukazujejo, in temi, ki izvajajo vojaške operacije, celo do formiranja nezaželenih koalicij (Tyugu, 2012). V okviru naše razprave smo se dotaknili samo nekaterih najbolj splošnih etičnih dilem, ki so povezane z rabo robotskih sistemov za vojaške namene in z vedno bolj prisotnimi trendi njihove avtonomizacije v odnosu do človeka. V zvezi z razvojem robotike in umetne inteligence se porajajo številne druge družbene in etične dileme, ki se jih v prispevku ne lotevamo. Bodo pa prav te nove dileme in vprašanja vodili k najrazličnejšim nazorskim, političnim in strokovnim razmislekom. Tako kot v primeru izhodiščnih definicij robotskih sistemov, njihovem razvrščanju glede na različna namenska in funkcionalna merila, o čemer smo v našem članku obširno razpravljali, bomo tudi v zvezi z etiko novih kibernetskih načinov vojskovanja težko prišli do konsenza. Upajmo le, da ta tehnologija, naj bo uporabljena za en ali drug namen (obrambo, varnost itn.), ne bo vodila v smeri distopičnih družbenih scenarijev. Glede na vsestransko uporabnost robotskih sistemov in njihove funkcionalne lastnosti sledimo različnim pojmovnim opredelitvam in definicijam teh sistemov. Na podlagi pregleda definicij različnih avtorjev, ki smo jih predstavili v našem prispevku, lahko na splošno zapišemo, da je (vojaški) robot oziroma (vojaški) robotski sistem naprava, ki je lahko daljinsko vodena (z minimalno stopnjo avtonomije) oziroma deluje brez človekovega posredovanja – (pol)avtonomno, na podlagi vnaprej programiranih algoritmov. Ima sposobnost zaznavanja okolja in sprejemanja informacij ter uporabljati znanje za smiseln in namenski način operativnega delovanja. Za vojaške namene lahko delujejo s silo, z ubojnim ali neubojnim sredstvom ali izvajajo druge aktivnosti za podporo oboroženim silam. Zahtevnost nalog in kompleksnost okolja, v katerem sistem lahko opravlja naloge, pa sta odvisni od stopnje avtonomije. Z umikanjem človeka – operaterja iz krmilnega kroga oziroma nadzorne enote prihaja do zmanjševanja nadzora nad sistemom in frekventnosti interakcije s človekom, posledično pa se povečuje stopnja avtonomije robotskega sistema. Po osnovnih karakteristikah in zmogljivostih robotske sisteme razvrščamo v skupine glede na obliko, velikost in naloge, ki jih sistem lahko opravi. Glede na operativne lastnostih jih razvrščamo lahko še po stopnjah avtonomije, glede področja uporabe pa na kopenska in hibridna vozila, brezpilotne zračne sisteme, vodna, površinska, podvodna in vesoljska plovila. V prispevku izpostavljamo nekatere dileme, ki predstavljajo del širšega razmisleka o tveganjih in so povezane z razvojem novih naprednih tehnologij. V primeru avtonomnega in od človeka neodvisnega delovanja robotskih sistemov se zastavlja vprašanje, ali ne obstaja tveganje, da se s tem sproži verižna reakcija nekontroliranih vojnih eskalacij, ali gre res pričakovati več racionalnih odločitev in manj napak. Pri oceni tveganj, ki jih prinašajo avtonomni robotski sistemi, pa naj gre za njihovo rabo v miroljubne ali vojaške namene, je treba izhajati iz svariteljskih načel, hkrati pa delovati v skladu s previdnostnimi in proakcijskimi načeli. Previdnostno bomo delovali z zagotavljanjem višje stopnje natančnosti sistemov, ki lahko kompenzira Sklep Literatura Anja Kolak, Franc Mali 83 Sodobni vojaški izzivi/Contemporary Military Challenges tveganje, z oblikovanjem strategij, ki upoštevajo negativne stranske učinke operacij robotskih sistemov in da bo uporaba vojaških robotskih sistemov zagotovila čim večjo možnost preživetja, tako vojakov kot civilnega prebivalstva. Zmožnost avtonomnega delovanja robotskih sistemov pomeni tudi samodejno odločanje o tem, kdaj človeku vzeti življenje. Ob tem se sprašujemo, ali uporaba vojaških robotskih sistemov vodi v depersonalizacijo in dehumanizacijo vojskovanja in ali je umik človeka – operaterja, ki ima sposobnost logičnega razmišljanja, res pravilna odločitev? 1. Arkin, R. C. 1998. Behavior-based robotics: MIT press. 2. Asimov, I. 1984. The Bicentennial Man. V: Philosophy and Science Fiction. Ur. Philips, M., str. 183-216. Buffalo: Prometheus Books. 3. Bainbridge, W. S. in Roco M. C. (ur.) 2016. Handbook of Science and Technology Convergence. AG Switzerland: Springer International Publishing. 4. Boesl, B. D. in B. Liepert. 2016. 4 Robotic Revolutions – Proposing a holistic phase model describing future disruptions in the evolution of robotics and automation and the rise of a new Generation ‘R’ of Robotic Natives. International Conference on Intelligent Robots and Systems, October 9–14, 2016. 5. Caton, J. 2013. Exploring the prudent limits of automated cyber attack. 5th International Conference on Cyber Conflict. Eds. K. Podins, J. Stinissen, M. Maybaum Tallinn: NATO CCD COE Publications, str. 1–16. 6. Defense Advanced Research Projects Agency – DARPA. (2015). Breakthrough Technologies For National Security. http://www.darpa.mil/attachments/DARPA 2015.pdf (29. marec 2017). 7. EU Institute for Security Studies. 2013. Enabling the future. European military capabilities 2013–2025: challenges and avenues, ur. Antonio Missiroli. Paris: Corlet Imprimeur. 8. Farinelli, A., L. Iocchi in D. Nardi. 2004. Multi-Robot Systems: A classification focused on coordination. IEEE Transactions on System Man and Cybernetics, part B: 2015–2028. 9. Freedman, L. 1998. The Revolution in Strategic Affairs. The Adelphi Papers 38 (318): 73–78. 10. Fuller, S. in V. Lipinska. 2014. A Proactionary Imperative. Hampshire and New York: Palgrave Macillan. 11. Galliott, J. 2015. Military Robots: Mapping the Moral Landscape. Surrey, U.K.: Ashgate. 12. Glamnik, A. in M. Veber. 2012. Robotika. Ljubljana: Konzorcij šolskih centrov Slovenije v okviru projekta MUNUS 2. 13. Goodrich, M. A. in A. C. Schultz. 2007. Human–Robot Interaction: A Survey. Foundations and Trends in Human–Computer Interaction, 1 (3): 203–275. 14. Huang, H.-M., K. Pavek, J. Albus in E. Messina. 2005. Autonomy Levels for Unmanned Systems (ALFUS) Framework: An Update. SPIE Defense and Security Symposium, Orlando, Florida. http://ws680.nist.gov/publication/get_pdf.cfm?pub_id=822672 (18. november 2017). 15. HQ Supreme Allied Commander Transformation, Defence Planning Policy and Analysis Branch. 2015. Technology Trend Survey: Future Emerging Technology Trends. http://www.act. nato.int/images/stories/events/2012/fc_ipr/technology_trend_survey_v3.pdf (6. avgust 2018). 16. Kolak, A. 2016. Trend uporabe sodobnih oborožitvenih sistemov v oboroženih silah: primerjalna in kvantitativna analiza. Magistrsko delo. Ljubljana: FDV. 17. Krishnan, A. 2009. Killer robots: legality and ethicality of autonomous weapons Farnham: Ashgate Publishing Limited. 18. Kugler, R. L. 2006. Policy Analysis in National Security Affairs: New Methods for New Era. Washington, D.C.: National defence University Press. Literatura (VOJAŠKI) ROBOTSKI SISTEMI: MERILA ZA RAZVRŠČANJE V SKUPINE IN DRUŽBENO-ETIČNE DILEME 84 Sodobni vojaški izzivi/Contemporary Military Challenges 19. Mali, F. 2016. The cognitive and practical relevance of technological visions. V: Hurlbut, J. B. in Tirosh-Samuelson, Hava (ur.). Perfecting human futures: transhuman visions and technological imaginations, (Technikzukünfte, Wissenschaft und Gesellschaft). Wiesbaden: Springer VS., str. 179–194. 20. Mali, F. 2009. Bringing converging technologies closer to civil society : the role of the precautionary principle. Innovation: the European journal of social science research, 22 (1): 53–75. 21. Mali, F. 2004. Recent dilemmas in the social and legal regulation of biotechnology in the European Union. Vest: Tidskrift förvetenskaps- och teknikstudier, 17 (3-4): 39–60. 22. Melzer, N. 2013. Human Rights Implications of the Usage of Drones and Unmanned Robots in Warfare. Brussels: European Parliament, Directorate-General for External Policies. 23. National Institute of Standards and Technology – NIST. 2012. Autonomy Levels for Unmanned Systems (ALFUS) Framework: Volume 1—Terminology, Version 2.0. NIST Special Publication 1011-I-2.0. 24. North Atlantic Treaty Organization – NATO). 2010. Strategic Concept 2010. http://www.nato. int/cps/en/natohq/topics_82705.htm (21. marec 2016). 25. O’Hanlon, M. E. 2009. The Science of War: Defense Budgeting, Military Technology, Logistics, and Combat. Princeton and Oxford: Princeton University Press. 26. Pintarič, T., M. Hočevar, J. Čurk in A. Gorenc. 2011. Avtomatizacija in robotika. Ljubljana: Zavod IRC. https://bit.ly/2pTMW2v (31. maj 2017). 27. Raska, M. 2009. The Revolution in Military Affairs and Security of Small States: Israel’s RMA Trajectory and Force Modernization Programs (1995 – 2008). International Studies Association. 2009 Annual Meeting, str. 1–32. 28. Sandler, R. L. 2014. Ethics and Emerging Eechnologies. E-book: Palgrave Macmillan. 29. Singer, P. W. 2009. Wired for War: The Robotics Revolution and Conflict in the 21st Century. New York: Penguin Group. 30. Straub, J. 2016. Consideration of the use of autonomous, non-recallable unmanned vehicles and programs as a deterrent or threat by state actors and Others. Technology in Society 44: 39–47. 31. Truszkowski, W., Hallock, H., Rouff, C., Karlin, J., Hinchey, M., Rash, J. L., in Sterritt, R. 2009. Autonomous and Autonomic Systems: With Applications to NASA Intelligent Spacecraft Operations and Exploration Systems. Berlin: Springer. 32. Tzerachoglou, A., I. Ypatidis in G. P. Kladis. 2016. Intelligent Robotic Systems for Military Use, from Past to Present and Beyond: A Comprehensive Review and Taxonomy. Journal of Applied Mathematics & Bioinformatics 6 (3): 23–44. 33. Tyugu, E. 2012. Command and control of cyber weapons. V C. Czosseck, R. Ottis, K. Ziolkowski ur. Cyber Conflict (CYCON), 2012 4th International Conference on Cyber Conflict, Talinin: IEEE, 2012, str. 333–343. https://bit.ly/2A9D8Hz (20. marec 2018). 34. United States of America, Department of Defence – DoD (2007). Unmanned Systems Integrated Roadmap 2007–2032. https://bit.ly/2yCt3Be (3. maj 2017). 35. Von Neumann, John (1966). Theory of Self-reproducing Automata. Urbana and London: University of Illinois Press. 36. Williams, A. 2015. Defining Autonomy in Systems: Challenges and Solutions. V Williams, P. A. in P. D. Scharre ur. Autonomous Systems: Issues for Defence Policymakers, 27–62. Norfolk, Virginia: NATO Allied Command Transformation. 37. Žabkar, A. in U. Svete. 2011. Sodobni oborožitveni sistemi. Del 1, (Življenjski cikli, načini nabave in faze razvoja), (Knjižna zbirka Maklen). Ljubljana: FDV. 38. Žabkar, A. 2005. Izzivi tretjega tisočletja in oborožene sile. V Sodobno vojaštvo in družba, ur. Anton Bebler, 129–145. Ljubljana: FDV. Anja Kolak, Franc Mali