Anthony Downey NEOKOLONIALNE VIZIJE Algoritemsko nasilje in brezpilotni letalski sistemi SLO PostScriptUM Kataložni zapis o publikaciji (CIP) pripravili v Narodni in univerzitetni knjižnici v Ljubljani COBISS.SI-ID 165268739 ISBN 978-961-7173-34-5 (PDF) Anthony Downey NEOKOLONIALNE VIZIJE Algoritemsko nasilje in brezpilotni letalski sistemi »Vse napovedi škodijo prihodnosti […] Izboljšave, težnje, krivulje lahko iz sedanjosti projiciramo v prihodnost in te projekcije se da zmanipulirati.« – Vilém Flusser 1 Kmalu po invaziji Iraka leta 2003 se je izkazalo, da improvizirana eksplozivna sredstva (IES) predstavljajo pomembno tveganje, saj bi lahko povzročila hude izgube kopenskih enot ameriške vojske in zavezniških sil. Ker so IES sprožena na daljavo in zasnovana za ustvarjanje motenj, onesposabljanje, pohabljanje in ubijanje, so bile možnosti uspešnega napovedovanja in preprečevanja njihove uporabe v najboljšem primeru nizke. Vpričo tega so nekateri člani ameriške vojske menili, da bi morebiten poraz v Iraku morali pripisati taktični učinkovitosti teh sredstev.2 Ta možnost poraza je privedla do izrazitega porasta v financiranju brezpilotnih letalskih sistemov (BLS) ter avtonomnih oborožitvenih sistemov, kot tudi drugih tehnologij za spopadanje z IES. V obdobju desetih let od leta 2003 dalje naj bi ameriška agencija za napredne raziskovalne projekte DARPA takšnim raziskavam, ki so bile sicer različno uspešne, namenila približno 75 1 Flusser, V. (2011). Into the Universe of Technical Images. University of Minnesota Press, str. 159. 2 Časovnica uporabe IES in tehnološkega odziva nanje je tu povzeta po Arthurju Hollandu Michelu in njegovem predirnem opisu, kako so se letalski modeli hipernadzora razvijali v povezavi z vojnama v Afganistanu leta 2011 in Iraku leta 2003. Holland Michel zapiše: »Sedem mesecev po začetku vojne je general John Abizaid, vodja osrednjega poveljstva ZDA, obrambnemu sekretarju Donaldu Rumsfeldu in načelniku združenega štaba oboroženih sil poslal tajni dopis, v katerem je svaril pred potencialno katastrofalnimi posledicami razširjene uporabe IES. Če bi ZDA in njeni koalicijski partnerji izgubili vojno v Iraku, bi po njegovih napovedih razlog bila IES.« Glej: Holland Michel, A. (2019). Eyes in the Sky: The Secret Rise of the Gorgon Stare and How It Will Watch Over Us All. Houghton Mifflin Harcourt, str. 3–4. 5 milijard dolarjev.3 Iz ene trajnejših pobud, ki jih je DARPA financirala, je nastal avtonomni sistem za nadzor kopnega v realnem času ARGUS, ki je leta 2006 postal prva letalska naprava z možnostjo uporabe učinkovitih sistemov za neprekinjen nadzor na širšem območju. Prihod tovrstne tehnologije je bil ključnega pomena za preprečevanje napadov z IES. Videoposnetke dogajanja, ki jih je ARGUS neposredno posredoval v realnem času, so nadzorne ekipe lahko prevrtele nazaj, preučile mesto bombnega napada in nato osumljenim napadalcem – na podlagi vidnih dokazov eksplozije – sledile nazaj do njihovih izhodišč. Poleg tega so po eksploziji posnetke lahko hitro prevrtele naprej in locirale morebitne upornike ter, vsaj v teoriji, predvidele prihajajoče napade. Naprave, kot so ARGUS in drugi letalski sistemi, so v svojih panoptičnih ambicijah uspele na temeljih, če ne celo gonilni sili, razvoja umetne inteligence (UI), strojnega učenja in strojnega vida. Ta tehnološka zavezništva so še dodatno sinhronizirala utemeljitve za preventivne vojaške napade – torej prioriteto, da v vojni napadeš prvi – in, kot bomo videli, vgrajeno logiko napovedovanja, na kateri temelji UI. Te predpostavke nas že v samem začetku opominjajo, da je operacijsko izračunavanje UI usmerjeno v en sam nadrejeni cilj: napovedovanje. Povezovanje preventivnega delovanja kot vojaškega cilja in napovedovanja kot končne uporabe inteligentnih naprav je še toliko bolj izrazito, če upoštevamo, v kolikšni meri strojno učenje in napreden strojni vid pravzaprav pogojujeta učinkovitost sistemov za neprekinjen nadzor na širšem območju in naprav za samodejno ciljenje. Pri strojnem učenju, ki izhaja iz statistične prevalence preteklih lastnosti, vzorcev in pojavitev, gre za avtonomno posploševanje na podlagi vhodnih podatkov – denimo v obliki FMV (ful -motion video) posnetkov konfliktih območij – z namenom napovedovanja prihodnosti in nato odpravljanja neposrednih groženj. V tem vojnem prizorišču napovedovanje ne le poraja preventivno delovanje, temveč tudi spodbuja računalniške primerke paranoične projekcije v njihovih prizadevanjih za eksteritorialno vladavino in teritorialno nadvlado. Logika preventivnega delovanja in preroški vzgibi UI vzbudijo še večjo zaskrbljenost, ko preučimo, kako se prihodnost protiterorizma 6 3 Holland Michel, 2019, str. 13. in vojaške politike ZDA na t. i. Bližnjem vzhodu sistematično vpisuje v modele algoritemskega nasilja in se hkrati skoznje uresničuje.4 Da bi v celoti razumeli, kako se vojaško utemeljevanje preventivnega delovanja vkodira v operativno logiko algoritmov (ter kako UI nato podpira te vojaške zahteve), si moramo najprej ogledati razvoj kolonialnih tehnologij gledanja. Čeprav je šlo pri kolonizaciji v prvi vrsti za izkoriščanje bogastva in dela skozi okupacijo, so napredne oblike strojnega učenja in strojnega vida privedle do neokolonialnih naprav, ki sicer zasledujejo enake namene, vendar delujejo na podlagi z UI nadgrajenih prototipov ekstrakcije podatkov, ki si prizadevajo ustvariti tanato-politične paradigme oblasti in prisile. V vzpostavitvi Iraka, če vzamemo le eno državo, kot testnega območja za napredne tehnologije zajemanja slikovnega gradiva je zabeleženo, kako se kolonialne paradigme vladavine razvijejo v imperialistične metode oddaljenega disciplinarnega nadzora. Zgodovinski vzpon »imaginativnega poveljevanja«, katerega smo nekdaj povezovali s kolonializmom, kot velja tudi za politične in ekonomske zahteve, ki so splošneje opredeljevale kolonizacijo, je mutiral v paradigmo neokolonialnega »algoritemskega poveljevanja«.5 V tem kontekstu lahko potegnemo ravno premico od sodobnega uporabljanja, izboljševanja in nadgrajevanja zahodnih naprav vida – katere poganjajo strojno učenje in napredni prototipi strojnega vida, podprtega z UI – do zgodovinskih ambicij podrejanja in nadziranja populacij. Vendar pa pri neokolonialnih projekcijah, ki jih izpelje in potrdi UI, ne gre zgolj za nadziranje in zamejevanje sedanjosti, saj so nepovratno implicirane v vojaški in politični volji okupiranja prihodnosti. Umetna inteligenca in brezpilotni letalski sistemi V začetku leta 2007 je bilo objavljeno, da bi senzorje visoke ločljivosti, kot jih uporablja ARGUS, lahko namestili na brezpilotne letalnike in tako z uporabo 4 Za bolj podrobno razlago algoritemskega nasilja kot »komputacijske sile« glej: Bellanova, R. et al. (2021). Toward a Critique of Algorithmic Violence. International Political Sociology, 15(1), str. 123. 5 Zvezo »imaginativno poveljevanje« prevzemam po razpravi Elleke Boehmer o Edwardu Saidu in drugih v Colonial and Postcolonial Literature (2005, Oxford University Press, str. 5). 7 naprednih postopkov procesiranja računalniškega zajema slikovnega gradiva zanesljivo razločili ljudi in objekte na kopnem. Vsled tega poročila (ki so ga opevali kot »vsevidni pregled nad uporniškimi mrežami«) je DARPA leta 2008 podpisala sporazum, ki je dovolil uporabo ARGUSOVIH kamer v t. i. programu Gorgon Stare, ta pa je odskočna deska za brezprimerno širjenje nadzora iz zraka in oddaljenega ciljenja po vsem Bližnjem vzhodu – zlasti Iraku in Afganistanu – ter drugih regijah.6 Izboljšave sistemov neprekinjenega nadzora na širšem območju, uvedene od leta 2003 dalje, so v praksi sprožile novo dobo delno in, v nekaterih primerih, popolnoma avtonomnih nadzornih sistemov,7 vendar pa so prinesle tudi težavo razsežnosti: kdo naj bi pregledoval tako obsežno količino zajetih podatkov? Glede na gromozanski obseg podatkov, pridobljenih z nadzorom iz zraka (»pri projektu Gorgon Stare v eni sami deseturni misiji nastane za 65 bilijonov slikovnih pik podatkov«), je bilo z vojaškega vidika očitno, da je z UI podprto sprejemanje odločitev v konfliktnih območjih neizogibno.8 Upravljanje tveganja in napovedovanje groženj – na podlagi obsežne analize pridobljenih podatkov – so nadgradili z uvedbo strojnega učenja in strojnega vida, kar je bilo po svoje jasno že leta 2003, ko je George W. Bush pred invazijo na Irak naznanil, da »[č] e počakamo, da se grožnje v celoti materializirajo, bomo čakali predolgo«.9 Ta izjava implicira, naj je Bush to storil namenoma ali ne, neizrečeno predpostavko, da se bo protiterorizem moral zanesti na oporo avtonomnih oborožitvenih 6 Holland Michel, 2019, str. 52, 46. 7 Čeprav je raba popolnoma avtonomnih nadzornih sistemov razširjena, ostaja še veliko nedorečenega glede tega, kaj pomeni popolnoma avtonomno smrtonosno orožje. Varnostni svet OZN v poročilu, objavljenem 8. marca 2021, ugotavlja, da je turški brezpilotni letalnik Kargu-2 morda avtonomno izbral cilj, vanj nameril in morebiti ubil pripadnike milice v libijski državljanski vojni. Če se bo izkazalo, da je to res, bo to prvi potrjen primer oborožitvenih sistemov z UI, ki so avtonomno poiskali, napadli in ubili človeka. Glej: OZN. (2021). Letter dated 8 March 2021 from the Panel of Experts on Libya Established pursuant to Resolution 1973 (2011) addressed to the President of the Security Council. Pridobljeno 31. avgusta 2023 z https://digitallibrary.un.org/record/3905159?ln=en. Za bolj celovito razpravo o delno in popolnoma avtonomnih smrtonosnih orožjih glej: Scharre, P. (2019). Army of None: Autonomous Weapons and the Future of War. W. W. Norton and Company. 8 Holland Michel, 2019, str. 123. 9 Office of the Press Secretary. (2022, 1. junij). President Bush Delivers Graduation Speech at West Point. The White House. Pridobljeno 12. decembra 2021 z https://georgewbush- 8 whitehouse.archives.gov/news/releases/2002/06/20020601-3.html sistemov, ki zmorejo ohranjati in podpirati vojaško strategijo napovedovalne in preventivne samoobrambe. V procesu ekstrakcije podatkov iz socialnih, kulturnih, političnih ter na skupnosti temelječih dejavnosti in interakcij se je, vsaj od leta 2003 dalje, napovedovanje potencialnih uporov osredotočalo na odpravljanje groženj v sedanjosti in, kar je ključno, predvidevanje bodočih napadov in groženj, ki se še niso materializirali. Leta 2013, deset let po invaziji Iraka, je podjetje, ki ga je DARPA najela za razvoj ARGUSA, objavilo, da njihova barvna kamera z 1,8 gigapiksli in zaznavanjem gibanja vozil na celotnem vidnem polju lahko generira »zmožnost forenzične podpore v realnem času« kot tudi »sličice in metapodatke za približno 40.000 ciljev«.10 Še pomembneje, to »brezprimerno poznavanje situacije« naj bi bilo rezultat »vgrajenih algoritmov za obdelavo slikovnega gradiva«.11 Implementacija sistemov za neprekinjen nadzor na širšem območju in BLS je priskrbela vsevidno, z algoritmi nadgrajeno predlogo za podrobno nadzorovanje danega območja, poleg tega pa tudi, kar je ključno, tehnološko izboljšano različico panoptičnih tehnologij, vezanih na kolonializem.12 »Vsevidni pogled« je zagotavljal, da so tovrstni sistemi lahko zajeli ne le dejavnosti uporniških mrež, temveč tudi matrice skupnostnih dejavnosti, družbenih interakcij ter vsakodnevnih razmerij v skupnostih. Za ugotavljanje neobičajnega ali nenormativnega vedênja je bilo treba izluščiti podatke iz vse širšega področja dejavnosti, opredeljenih kot »normalnih« ali, za namene primerjave z uporniško dejavnostjo, nenevarnih. Ta osredotočenost na nominalno normativne in nenormativne vedênjske sisteme celotnih skupnosti je še toliko bolj očitna, če upoštevamo terminologijo, s katero je opisano, kako ti postopki omogočajo 10 Glej: BAE Systems. (2012). Autonomous Real-Time Ground Ubiquitous Surveillance Imaging System – Argus-Is. Pridobljeno 31. avgusta 2023 z https://www.baesystems.com/ en/product/autonomous-realtime-ground-ubiquitous-surveillance-imaging-system-argusis 11 Ibid. 12 O tem, kako se je panoptični kolonialni pogled razvil v neokolonialno področje algoritemskega »zaznavanja«, sem že pisal v: Downey, A. (2020). There’s Always Someone Looking at You: Performative Research and the Techno-Aesthetics of Drone Surveillance. Heba Y Amin: The General’s Stork (A. Downey, ur.). Sternberg Press. Poleg tega sem svoje raziskave o algoritemskem nasilju deloma že predstavil v: Downey, A. (2022). The Algorithmic Apparatus of Neocolonialism: Counter-Operational Practices and the Future of Aerial Surveillance. Shona Illingworth: Topologies of Air (A. Downey, ur.). Sternberg Press. 9 formalizacijo »matrike povezav« v »analizo socialne mreže« ter, kot je zapisano v Commander’s Handbook for Attack the Network, identifikacijo posameznikov, ki so potencialne tarče in bi jih lahko zajeli, ubili ali kako drugače odstranili.13 Neokolonialne projekcije Skozi celotno obdobje kolonizacije sta domnevna natančnost in tehnološka zmožnost, ki sta del tehnološko-znanstvenega dejstva analiziranja in izračunavanja vsakodnevnega obstoja in raznih objektov, generirali avtoriteto, vezano na simbolično in alegorično fiksiranje imperialistične realnosti. Dogodek vzpostavljanja realnosti skozi tehnologije merjenja je obveljal tudi kot dokaz, da je zahod nadrejen nezahodnim subjektom: »Geografi so verjeli, da znajo izmeriti vrednost ljudi in kultur, ki so jih napadali. To je bilo v osnovi povezano z vse močnejšim občutkom zahoda, da srž zahodne superiornosti leži v natančnosti in merjenju, katerih neevropske kulture niso bile zmožne.«14 Tehnopolitika merjenja, ki je vpeta v pozitivistično logiko znanstvenega potrjevanja in matematičnih dokazov, predhodi operativni logiki algoritemsko opredeljenih metod kvantifikacije, katerih jedro vselej izhaja iz statistične analize vzorcev v že obstoječih podatkih. Anne Godlewska na podlagi del Edwarda Saida in drugih izpostavi, da je bila kolonialna ekstrakcija podatkov v 18. in 19. stoletju sicer ključna za kartografske postopke, a se je hkrati v vseh možnih pogledih uporabljala kot primarna metoda za zagotavljanje numeričnega fiksiranja realnosti: »Poudarek na številkah in instrumentalnosti védenja je močno povezan s kartografijo, saj kartiranje vsem lokacijam in objektom dodeli mesto. To mesto se da izraziti numerično.«15 Če je nek kraj ali objekt mogoče izraziti numerično, to implicira umeščenost – v določen čas in prostor –, ki jo je mogoče enostavno zamejiti in ekstrapolirati 13 Commander’s Handbook for Attack the Network, citirano v: Hol and Michel, 2019, str. 23–24. 14 Godlewska, A. (1994). Napoleon’s Geographers: Imperialists and Soldiers of Modernity. Geography and Empire: Critical Studies in the History of Geography (A. Godlewska in N. Smith, ur.). Blackwell, str. 40. 15 Godlewska, A. (1995). Map, Text and Image. The Mentality of Enlightened Conquerors: A New Look at the Description de l’Egypte. Transactions of the Institute of British 10 Geographers, 20(1), str. 6. Poudarek dodan. za namene »upravljanja«, reguliranja, vodenja in okupiranja, v prenesenem in drugih pomenih, tako sedanjosti kot prihodnosti tega kraja ali objekta. V navezavi na Napoleonov pohod na Egipt (1798–1801) in njegovo ambicijo kartiranja celotnih regij velja izpostaviti tudi opažanje, da je bil »kartografski aparat […] za Napoleona in generale sredstvo vizualiziranja in upravljanja prihodnosti«.16 Bistveno je, da je upravljanje prihodnosti skozi imperialistične prijeme za namen imelo »razdeliti, razvrstiti, shematizirati, urediti po razpredelnicah, indeksirati in zapisati vse, kar si videl (in česar nisi videl)«, kot je v Orientalizmu zapisal Edward Said.17 To, česar ni mogoče videti (v smislu, ki ga nakaže Said), se navezuje na to, da je implicitno cezuro okulocentričnega vida – omejenost človeškega vida – mogoče dopolniti z uporabo kartografije in njenega projiciranja na neko pokrajino. Prav ta metoda vpraševalne projekcije je osnova ambiciji, da bi shematizirali in naredili vidno to, česar ni mogoče videti. V našem neokolonialnem času je kartografska ambicija, da bi kot vidno predstavili tisto, kar je – okularocentričnemu, antropoidnemu očesu – večinoma nevidno in nevideno, vkodirana v cilje algoritemskih procesov, ki se osredotočajo na zamejevanje sedanjosti in napovedovanje prihodnosti. V vsej kolonialni tehnologiji vida in današnji neokolonialni tesnobnosti glede izračunavanja neposrednih groženj, ki se še niso materializirale, je prav to tisto, kar se »izmika pogledu«, kar še naprej poganja logiko napovedovanja in preprečevanja, ki je del vojaških preventivnih napadov. Zgodovinski vpliv kartografskih, katastrskih in letalskih metod fotografiranja na Bližnjem vzhodu je že dobro raziskan, zato bi tu rad izpostavil, da neprestani in vseobsegajoči algoritemski pogled ne le nadgradi kolonialne predhodnike, temveč tudi bistveno podaljša domet vsevidnega pogleda v prihodnost. S postavko, da se je tehnološko manj napredno oko razvilo v nerazložljiv 16 Engberg-Pedersen, A. (2015). Empire of Chance: The Napoleonic Wars and the Disorder of Things. Harvard University Press, str. 157. Poudarek dodan. Glej tudi: Engberg-Pedersen, A. (2023). Martial Aesthetics: How War Became an Art Form. Stanford University Press. V prihodnost usmerjene ambicije, ki so del obširnega kartiranja Francije in Evrope, izpostavlja tudi Antoine Bosquet, ko opisuje t. i. Carte de l’Empereur, reliefni zemljevid Evrope v merilu 1 : 100.000, izdelan po naročilu Napoleona. Glej: Bousquet, A. (2018). The Eye of War: Military Perception from the Telescope to the Drone. University of Minnesota Press, str. 122–126. 17 Said, E. W. (1996). Orientalizem. Studia humanitatis, str. 113. Poudarek dodan. 11 algoritemski pogled, kolonialne tehnologije vida neposredno navezujem na razvoj sistemov neprekinjenega nadzora na širšem območju, s čimer želim izpostaviti še en pomemben vidik: prenos deliberativnih, okularocentričnih načel gledanja in mišljenja na rekurzivno področje algoritmov razkriva preračunano prikazovanje subjektov glede na njihovo pogrešljivost ali zamenljivost, pri čemer je slednja ključna lastnost kolonialnega diskurza in prakse. Ta proces prenosa postopkov sprejemanja odločitev o življenju in smrti razgrne vzročno, če ne že usodno, povezavo med kolonialnimi tehnologijami reprezentacije in nepregledno razsežnostjo molčečih neokolonialnih naprav, ki med drugim vključujejo pobude, kot je projekt Maven. Projekt Maven in načelo preventivnega delovanja V deklasificiranem dokumentu namestnika obrambnega sekretarja ZDA z dne 26. aprila 2017 je navedeno, da če želi ministrstvo za obrambo »ohraniti prednost pred vse zmožnejšimi nasprotniki in tekmeci, mora v vse svoje operacije učinkoviteje integrirati umetno inteligenco in strojno učenje«.18 Proti koncu leta 2017 je projekt Maven prejelo deset obveščevalnih enot, ki so opravljale misije v Siriji, Iraku in drugih neimenovanih afriških državah.19 Vzpostavitev projekta Maven, ki je poznan tudi kot Večfunkcijska ekipa za algoritemsko vojskovanje, je pravzaprav naznanila »sistem avtomatizirane analize, ki lahko prepozna cilje in odkrije sumljive dejavnosti«.20 Glede na kočljivost avtonomne, strojne prepoznave subjektov (ki so pogosto videni kot potencialne grožnje in so zato lahko prenagljeno odpravljeni) ni nič čudnega, da vojno letalstvo ZDA ne želi razkriti točnih podatkov, kako poteka učenje algoritmov strojnega učenja – vgrajenih v napredne modele strojnega vida – za uporabo v napravah za ciljenje in drugih standardih napovedovanja groženj. A čeprav odraža kolonialno potrebo po »beleženju vsega, kar je vidno (in 18 Deputy Secretary of Defense. (2017, 26. april). Establishment of an Algorithmic Warfare Cross-Functional Team (Project Maven) [memorandum]. Pridobljeno 22. maja 2021 z https:// dodcio.defense.gov/Portals/0/Documents/Project%20Maven%20DSD%20Memo%20 20170425.pdf 19 Ibid. 12 20 Holland Michel, 2019, str. 135. Poudarek dodan. nevidno)«, je postopek » prepoznavanja ciljev in odkrivanja sumljivih dejavnosti« neizbežno kontingenten ekstrakciji podatkov (ki predstavljajo vnosne podatke) in z algoritmi nadgrajenega napovedovanja prihodnjih dogodkov v imenu ne le zmanjševanja tveganja, temveč tudi, kar je bolj sporno, odpravljanja tveganja še preden se ta materializira. Eno leto po objavi poročila obrambnega ministrstva z dne 26. aprila 2017 se je izkazalo, da program, ki nadzira projekt Maven, za namene avtonomnega prepoznavanja in identificiranja ciljev uporablja »na UI temelječ« algoritem.21 Po navedbah obrambnega ministrstva ZDA je prva naloga projekta Maven vključevala »razvoj in integracijo algoritmov strojnega vida, s katerimi bi si vojaški in civilni analitiki, obremenjeni z ogromno količino podatkov, ki jih ministrstvo dnevno pridobiva v obliki FMV posnetkov, lahko pomagali v okviru protiuporniških in protiterorističnih operacij«.22 Sodeč po leta 2019 objavljenem poročilu naj bi stalne izboljšave projekta – v katerem so do takrat že sodelovali Googlovi inženirji – vključevale tudi obdelavo podatkov FMV posnetkov s programsko opremo, ki se je »učila na več tisoč urah videoposnetkov, zajetih z nizkoletečim letalnikom, ki prikazujejo 38 strateško pomembnih objektov pod različnimi koti in v različnih svetlobnih pogojih«.23 Čeprav natančna sestava teh 38 objektov ostaja neznana, avtor poročila opiše, da so bili – z ozirom na njihovo uporabo v konfliktnih območjih – na posnetkih prikazani objekti »označeni [glede na] to, kar vemo, da ti objekti so, denimo premikajoče se vozilo, orožje ali oseba«.24 Nadalje so se algoritmi, 21 Holland Michel, 2019, str. 135–136. Nedavna direktiva obrambnega ministrstva ZDA, ki popiše razloge za »uporabo smrtonostne ali nesmrtonostne, kinetične ali nekinetične sile pri avtonomnih ali delno avtonomnih oborožitvenih sistemih«, revidira uporabo UI v letalskih oborožitvenih sistemih ter ob odobritvi posebnega vojaškega panela dovoljuje avtonomno uporabo smrtonosne sile. Glej: Office of the Under Secretary of Defense for Policy. (2023). DoD Directive 3000.09: Autonomy In Weapon Systems. Pridobljeno 14. aprila 2023 z https:// www.esd.whs.mil/portals/54/documents/dd/issuances/dodd/300009p.pdf 22 Pellerin, C. (2017, 27. oktober). Project Maven Industry Day Pursues Artificial Intelligence for DoD Challenges. US Department of Defense. Pridobljeno 17. julija 2021 z https://www.defense.gov/News/News-Stories/Article/Article/1356172/ project-maven-industry-day-pursues-artificial-intelligence-for-dod-challenges/ 23 Glej: Roth, M. (2019, 9. januar). Military Applications of Machine Vision – Current Innovations. Emerj. Pridobljeno 12. februarja 2020 z https://emerj.com/ai-sector-overviews/ military-applications-of-machine-vision-current-innovations/ 24 Ibid. 13 uporabljeni v teh računskih napovedih še-ne-videnih objektov (tj. potencialnih groženj), učili na podatkovnih množicah digitalnega slikovnega gradiva, ki je bilo predtem pridobljeno iz domnevnih primerov uporniške dejavnosti – na primer namestitve IES – ter širše iz vsakodnevnih socialnih mrež ljudi in skupnosti. Sestavljanje učnih množic poteka tako, da podatke (FMV posnetke) predhodno označijo človeški operaterji v okviru delno nadzorovanih ali nenadzorovanih struktur strojnega učenja.25 To označevanje podatkov pa skozi združevanje obveščevalnih podatkov na osnovi predpostavljenih pojmovanj grožnje ustvarja kategorično pristranskost: določeni razredi slikovnega gradiva vsebujejo pomembno več ali manj primerkov kot drugi, s čimer se pristranskost pri označevanju ali vnosu podatkov algoritemsko nato ojača pri podajanju napovedi.26 Ta proces je privedel do »podatkovno vodenega morilskega stroja«, ki deluje na podlagi ekstrahiranega gradiva, ki postane merljivo – in tako izvršljivo – skozi sistem kategorij, kot jih definira človek, v primeru vojne pa jih pogosto vnaprej določa obet grožnje.27 Čeprav so običajno predstavljeni kot objektiven »pogled od nikoder«, kot domnevna razsežnost nepristranskega proizvajanja védenja, ki je empirično objektivno, inteligentni sistemi nadzora iz zraka ter avtonomnih orožij proizvedejo epistemološke strukture, s katerimi utemeljujejo izvajanje dejanskega nasilja. Skratka, algoritemsko vedeževanje o morebitnih grožnjah lahko prikliče izmerljivo grožnjo. Louise Amoore v svoji pronicljivi analizi operiranja algoritmov v odnosu do »s podatki nasičenega okolja podob, zajetih z letalniki«, pravi, da »pri etičnem problemu, ki opredeljuje algoritme, v prvi vrsti ne gre za zmožnost gledanja, 25 Nadzorovano učenje pomeni, da se sistem strojnega učenja uči na podlagi označenih podatkov. Proces nenadzorovanega učenja pa poteka brez vnaprej določenih izhodnih oznak ali ciljnih izhodnih podatkov, s čimer naj bi se algoritem brez eksplicitnega usmerjanja »priučil« vzorcev, struktur in razmerij. 26 Za pregled, kako operira »algoritemsko ojačevanje«, glej: DiResta, R. (2018, 1. oktober). Computational Propaganda: Public Relations in a High-Tech Age. The Yale Review. Pridobljeno 22. januarja 2019 z https://yalereview.org/article/computational-propaganda 27 Weber, J. (2016). Keep Adding: Kill Lists, Drone Warfare and the Politics of Databases. 14 Environment and Planning D. Society and Space, 34(1), str. 108. zbiranja ali nadzorovanja obširne podatkovne krajine, temveč za zmožnost zaznavanja in destiliranja nečesa z namenom ukrepanja«.28 Napovedovanje domnevno merljivih groženj na podlagi vzorcev prejšnjih uporov daje zagon izvršljivim direktivam glede načinov za odpravljanje tveganja. Amoore nadaljuje: »Algoritem je orodje, ki deluje kot zaslonka in zaradi usmerjenosti v ukrepanje zavrže velik del gradiva, kateremu je izpostavljen. Na mestu zaslonke se obsežna raznolikost videopodatkov zoži, kar proizvede en sam izhodni podatek o objektu. V tem podatkovnem gradivu se nahaja zmožnost algoritma, da prepozna (ali ne uspe prepoznati) nekaj ali nekoga kot predmet zanimanja.«29 Napovedovanje, ki poteka skozi to algoritemsko »zaslonko«, neizbežno vodi v ukrepanje, bodisi preventivno bodisi drugačno. Dihotomija med uporniškim in neuporniškim se utemelji z dejstvom sistematiziranega vnašanja podatkov (FMV posnetkov) in sistemskih (algoritemskih) napovedi prihodnjega vedênja na podlagi statistične analize preteklega dogajanja. A napovedovanje ni nič več kot to: slutnja morebitnega dogodka, ki je le eden od nešteto možnih izidov. V tem pogledu napovedovanje vsebuje stopnjo nasilja, sorazmerno iminentnemu potencialu, ki ga izniči ali si ga prilasti. Ko privzamejo obliko projekcij v prihodnost, ki na podlagi tega, kar se je že zgodilo, skušajo opisati, kaj bi se lahko zgodilo, algoritemske ekstrapolacije – če parafraziramo epigraf tega prispevka – dejansko lahko preprečijo prihodnost, kar tudi počnejo. V primeru projekta Maven so se inteligentni sistemi učili na videoposnetkih, ki so bili pridobljeni z letalniki v konfliktnih območjih in nato naloženi na nevronsko mrežo v obliki učnih podatkov (vhodni podatki) z namenom ustvarjanja učinkovitih vzorcev prepoznavanja objektov in napovedovanja (izhodni podatki).30 Ta proces se je odvil na tleh, ko so bili posnetki že narejeni, kar je omogočilo učenje nevralne mreže – Googlovega programskega vmesnika TensorFlow – in posledično njeno uporabo v sistemih neprekinjenega 28 Amoore, L. (2020). Cloud Ethics: Algorithms and the Attributes of Ourselves and Others. Duke University Press, str. 16. Glej tudi: Amoore, L. (2009). Algorithmic War: Everyday Geographies of the War on Terror. Antipode: A Radical Journal of Geography, 41(1), str. 49–69. 29 Amoore, 2020, str. 17. 30 Za podrobnejšo razpravo o tem, kako je Google upravljal podatke Pentagona, glej: Metz, C. (2021). Genius Makers: The Mavericks Who Brought AI to Google, Facebook and the World. Penguin Books, str. 246–250. 15 nadzora na širšem območju ter v drugih brezpilotnih letalskih sistemih.31 Projekt torej obsega, enako kot velja za ARGUS že vsaj od leta 2013, vgrajene algoritme za obdelavo slikovnega gradiva, ki so namenjeni napovedovanju prevalence prihodnjih objektov zanimanja glede na pretekle primere in relativno pogostost takšnih objektov. Od tu dalje se, skladno z vojaško logiko preventivnih napadov, način delovanja preventivnega ukrepanja ukvarja z odpravljanjem groženj, ki »se še ne odvijajo«.32 Čeprav tu vstopamo na področje spekulativnega, kjer se dogodki še ne odvijajo, virtualna manifestacija zaznane grožnje – skozi algoritemsko napovedovanje grožnje – lahko upraviči prenagljeno odobritev preventivnega napada z letalniki. Algoritmi s svojo zamotanostjo lahko aktualizirajo grožnjo. Epistemološko sankcionirano področje algoritemskega napovedovanja – režim epistemskega nasilja – v teh okoljih porodi dejansko nasilje. Ne glede na domnevno veljavnost sistemov UI, ki se uporabljajo pri tehnologijah neprekinjenega nadzora na širšem območju, moramo tu premisliti, v kolikšni meri so »algoritmi politični v smislu, da pomagajo svet predstaviti na določene načine in ne na druge. Ko o algoritemski politiki govorimo v tem pogledu, se torej nanašamo na idejo, da realnosti nikoli niso dane, temveč ustvarjene in aktualizirane v algoritemskih sistemih in skozi njih.«33 Če sledimo uvidom Taine Bucher, pa tudi Amoore in drugih, moramo sprejeti, v kakšnem obsegu algoritmi, denimo ti, ki se uporabljajo pri strojnem učenju in strojnem vidu, eksplicitno iščejo in priklicujejo prihodnje vzorce vedênja, s katerimi upravičujejo preventivne raketne napade. Z identifikacijo nekega objekta algoritemska naprava namreč naredi vidno to, kar v splošnem ostaja nevidno okulocentričnim standardom človeškega vida. V vsem tem operativnem izračunu si domnevno preroški algoritem prizadeva zagotoviti, da aporetično – 31 TensorFlow je popularno odprtokodno ogrodje za strojno učenje, ki vsebuje orodja in knjižnice za izdelavo in učenje različnih tipov nevronskih mrež, med drugim tudi konvolucijskih nevronskih mrež. Te so še zlasti primerne za analizo slikovnega gradiva in videoposnetkov. 32 Massumi, B. (2015). Ontopower: War, Powers, and the State of Perception. Duke University Press, str. 235. Poudarek dodan. 33 Bucher, T. (2018). If…Then: Algorithmic Power and Politics. Oxford University Press, str. 3. 16 Poudarek dodan. to, kar je nerešljivo, nedoločeno in neidentificirano – postane ne le spoznavno, temveč tudi, in to je ključno, zaznavno in uničljivo v prihodnosti. Izračunavanje prihodnosti Tako imenovana »vojna proti terorizmu«, ki je zasejala strah pred brezkončnim in neprestanim nasiljem, je dodatno okrepila dualizem nasprotujočih si sil, ki je v svoji očitno vseobsegajoči nujnosti in impliciranih nevarnostih nad celotno regijo priklical senco atavistične in neposredne grožnje. Odgovor tovrstnim grožnjam pa je bilo merjenje razvoja inteligentnih in avtonomnih sistemov nadzora iz zraka ter ciljenja, ki je potekalo skozi bojazni pred temi domnevno neskončnimi fantazmami nasilja. Neposredna povezava med avtonomnimi inteligentnimi sistemi prepoznavanja – izračunavanj a – ter odpravljanjem groženj – nasiljem – je bila torej jasno razvidna že od samega začetka projekta Maven. Ta je namreč spodbujal polje zaznavanja in ukrepanja, ki odziv, naj bo preventiven ali drugačen, sproži na osnovi domnevno neprestane in nespravljive prisotnosti terorja in grožnje, njegova temeljna logika pa ni bila preizkuševalna, temveč deterministična; ne raziskovalna, temveč pragmatična. Takšna logika skozi napovedovalno analizo utrjuje hevristični režim, v katerem algoritemska »percepcija« grožnje že upravičuje preventivno ukrepanje in naposled uničenje. Tiskovni predstavnik obrambnega ministrstva ZDA je leta 2021 glede funkcije projekta Maven dejal, da uporabljena tehnologija dejansko »poveča zmogljivost ekipe človek-stroj, saj s pomočjo UI/SU [strojnega učenja] in tehnologije nadgrajene resničnosti spoji inteligenco in operativnost. Projekt Maven si prizadeva, da bi čas, potreben za sprejemanje odločitev, skrajšali na le delček časa, ki bi ga potrebovali brez UI/SU.«34 Ko je predtem tiskovni predstavnik 34 Glej: Brewster, T. (2021, 8. september). Project Maven: Startups Backed By Google, Peter Thiel, Eric Schmidt And James Murdoch Are Building AI And Facial Recognition Surveillance Tools for The Pentagon. Forbes. Pridobljeno 9. septembra 2021 z https://www.forbes.com/ sites/thomasbrewster/2021/09/08/project-maven-startups-backed-by-google-peter- thiel-eric-schmidt-and-james-murdoch-build-ai-and-facial-recognition-surveillance-for- the-defense-department/ 17 Googla zagovarjal sodelovanje z ameriško vojsko, je izpostavil, da gre »pri tem specifičnem projektu za pilotni projekt z obrambnim ministrstvom za dobavo odprtokodnih programskih vmesnikov TensorFlow, ki lahko koristijo pri prepoznavi objektov v nezaupnih podatkih«, nato pa dodal, da »[t]ehnologija označi slikovno gradivo, ki ga nato pregleda človek, in je namenjena izključno neškodljivi uporabi«.35 V luči tega, kako algoritemske »zaslonke« s svojo logiko, ki ji očitno ni mogoče ubežati, odrejajo ukrepanje in imajo še-preveč-resnične posledice za ljudi, skupnosti in okolja, je ta komentar v najboljšem primeru neiskren. Leta 2018, po odhodu več zaposlenih in vsesplošnem obsojanju, je Google naznanil, da ne bo obnovil pogodbe za projekt Maven, ko bo ta prenehala veljati marca 2019. Val ogorčenja glede Googlove vpletenosti v projekt Maven in njegovega kasnejšega umika je verjetno zasenčil zaskrbljujoče dejstvo, da to vendarle ni bil konec teh prizadevanj, prežetih z napovedovalno analitiko. Sodeč po poročilih je leta 2019 projekt prevzelo zasebno podjetje Palantir ter ga preimenovalo v TRON, kar se navezuje na istoimenski znanstvenofantastični film iz leta 1982.36 Čeprav je futuristična terminologija, ki jo podjetje uporablja v svoji izbiri nomenklature – ime Palantir je navezava na Palantír, nekakšno kristalno kroglo v Tolkienovi epski pripovedi Gospodar prstanov (1937), TRON pa na istoimenski film, znan po predvidenju tehnološke prihodnosti –, nekoliko naključna, pa ambicija, da bi proizvedli učinkovitejše prakse napovedovalne analize, ostaja ključni del nezanemarljivih naložb podjetja v inteligentne naprave za kinetično in nekinetično vojskovanje. Spletna stran Palantirja sicer vsebuje nekaj podatkov o sodelovanju z ameriško vojsko, vendar v času pisanja tega prispevka na njej nisem našel neposredne omembe projekta Maven/TRON, čeprav je njegov obstoj razviden 35 Conger, K. in Cameron, D. (2018, 6. marec). Google Is Helping the Pentagon Build AI for Drones. Gizmodo. Pridobljeno 4. aprila 2018 z https://gizmodo.com/ google-is-helping-the-pentagon-build-ai-for-drones-1823464533 36 Peterson, B. (2019, 10. december). Palantir grabbed Project Maven defense contract after Google left the program: sources. Business Insider. Pridobljeno septembra 2020 z https://www.businessinsider.com/ 18 palantir-took-over-from-google-on-project-maven-2019-12?r=US&IR=T iz zastavljenih ciljev, ki so vzporedni vojaškim posledicam uporabe avtonomnih tehnologij: »Palantir ponuja rešitve, ki omogočajo izrabo zmogljivosti […] strojnih rešitev, zmanjšujejo kompleksnost sistemov in zagotavljajo izboljšane vmesnike med človekom in stroji […] Palantirjeve rešitve lahko zmanjšajo kognitivno obremenjenost ter varujejo in povežejo bojevnika.«37 Drugod, in bolj v skladu z že opisano vojaško uporabo BLS ter sistemov neprekinjenega nadzora na širšem območju, izvemo, da »[n]ova prizadevanja za modernizacijo letalstva podaljšujejo doseg vojaškega obveščevanja, delovne sile in opreme, s čimer povečajo domet dinamičnega odvračanja groženj. Pri Palantirju z UI/ SU podprte rešitve vgrajujemo v letalske platforme in tako uporabnikom omogočimo, da vidijo dlje, hitreje pridobijo vpogled ter se odzovejo z ustrezno hitrostjo.«38 Pri čemer lahko le domnevamo, da se »ustrezna hitrost« nanaša na preventivno vojaško logiko avtonomnega predvidevanja in odpravljanja groženj, še preden se te pojavijo. Palantirjev cilj, da bi izdelali projektivne inteligentne rešitve, ki bi vojaškim snovalcem omogočale »videti dlje«, bodisi avtonomno ali kako drugače, je dodaten dokaz, da se podjetje zanaša na zmožnost inferiranja, ali pa induciranja, kakršno ima umetna inteligenca.39 Aprila leta 2023 je podjetje na YouTubu objavilo predstavitveni video »Inteligentne platforme za obrambo«.40 V času po ChatGPT-ju, tehnologiji, ki sloni na velikih jezikovnih modelih in je zato inherentno utemeljena na napovedovalnem delovanju algoritmov, predstavitev oriše, kako omenjena platforma »sprosti moč velikih jezikovnih modelov in najnaprednejše UI za obrambne in vojaške organizacije«.41 Če pustimo ob strani, kako pogosto veliki jezikovni modeli v tovrstnih tehnologijah t. i. halucinirajo (oziroma, točneje, so njihove projekcije napačne), pa je dejstvo, 37 Pridobljeno 2. aprila 2023 z https://www.palantir.com/offerings/defense/army/. Poudarek dodan. 38 Pridobljeno 2. aprila 2023 z https://www.palantir.com/offerings/defense/ army#airborne. Poudarek dodan. 39 Tu se opiram na splošno razširjeno konceptualizacijo induktivnih algoritmov, ki so, kot je dobro znano, izjemno zapleteni in pogojeni z raznolikimi operativnimi prvinami. Za lahko razumljiv opis algoritemske indukcije glej: Domingos, P. (2015). The Master Algorithm: How the Quest for the Ultimate Learning Machine will Remake our World. Penguin Books, str. 57–91. 40 Pridobljeno 26. aprila 2023 z https://www.youtube.com/watch?v=XEM5qz__HOU 41 Ibid. 19 da takšni algoritmi proizvajajo napovedi na osnovi statističnih in verjetnostnih racionalizacij vhodnih podatkov, še vedno bistvenega pomena za njihovo prihodnjo uporabo v kinetičnem in nekinetičnem vojskovanju.42 Realnost, da se bodo algoritemske napovedi neizogibno končale s smrtjo in poškodbami, deloma spominja na komentar Martina Libickega, da je »vidnost enaka smrti«.43 Vendar te uvide lahko razširimo in tako osvetlimo, da je tudi algoritemsko vkodiranje politično definiranih vojaških ciljev – ob vsej njihovi preventivni pristranskosti, odkriti neizprosnosti in nebrzdanem oportunizmu – enako smrti, a s pomembnim dodatkom: algoritemske racionalizacije verjetnosti rutinsko naznanjajo negotov svet, kjer smrt še-mora-priti, a je hkrati tudi vselej-prisotna. Če strojna percepcija groženj ne presega niti komputacije – torej prisil algoritemskega izračunavanja – niti, kar je še pomembneje, dometa BLS, potem napovedovalna funkcija inteligentnih oboroževalnih sistemov zarisuje prihodnje kraljestvo smrti.44 A tu navsezadnje ne gre za preložitev smrti kot take, temveč za prepuščanje odločitev o življenju in smrti mehaničnemu izračunavanju verjetnosti, ki je navsezadnje zavezano vojaškim napravam preventivnega delovanja, političnim smotrom in neokolonialni logiki nadomestljivosti. 42 Za podrobnejšo razpravo o učinkih halucinacije UI pri tehnologijah BLS glej: Downey, A. (v nastajanju, 2024). The Future of Death: Algorithmic Design, Predictive Analysis, and Drone Warfare. War and Aesthetics: Art, Technology, and the Futures of Warfare (J. Bjering, A. Engberg-Pedersen, S. Gade in C. Strandmose Toft, ur.). MIT Press. 43 Glej citat Martina C. Libickega v: Bousquet, 2018, str. 3. 44 Avtor tu uporabi besedo adumbrate (orisati, naznaniti, zasenčiti), pri čemer se navezuje na latinski koren te besede, torej »umbra« oziroma senca, saj ta opiše vrsto dejavnosti, ki med 20 drugim podajo obris ali obliko objekta tako, da ga naznanijo ali nanj mečejo senco. (Op. prev.) To besedilo temelji na nedavno objavljenih raziskavah in seriji konferenčnih prispevkov, ki vključujejo The Future of Death: Algorithmic Anxieties and Programmable Destruction (The War Seminars #3 – War and Aesthetics, Univerza na Južnem Danskem, 24. september 2021), Algorithmic Command: Digital Archives, Data Sets, and Neocolonial Futures (Resistant Archives, Univerza v Münstru, 22. oktober 2022) ter Neokolonialne vizije: algoritemske tesnobe in epistemsko nasilje (Druge razsežnosti, Aksioma (Ljubljana), 3. marec 2023). Zahvaljujem se Andersu Engbergu Pedersenu, Ursuli Frohne in Janezu Fakinu Janši za povabilo na omenjene konference in njihove predloge glede različnih besedil. Raziskava bo v celoti objavljena pod naslovom Decolonising Vision: Algorithmic Anxieties and the Future of Warfare (v nastajanju, MIT Press, 2024). 21 Anthony Downey NEOKOLONIALNE VIZIJE: ALGORITEMSKO NASILJE IN BREZPILOTNI LETALSKI SISTEMI PostScriptUM #47 Urednik zbirke: Janez Fakin Janša Elektronska izdaja Založnik: Aksioma – Zavod za sodobne umetnosti, Ljubljana www.aksioma.org | aksioma@aksioma.org Za založnika: Marcela Okretič Prevod in lektoriranje: Miha Šuštar Oblikovanje: Luka Umek Prelom: Sonja Grdina Naslovna fotografija: z dovoljenjem ATPD 2023 (c) Aksioma | Avtorske pravice besedila in slik so last avtorja | Ljubljana 2023 Angleški izvirnik: Neocolonial Visions: Algorithmic Violence and Unmanned Aerial Systems Ob podpori Ministrstva za kulturo Republike Slovenije in Mestne občine Ljubljana Izdaja v okviru programa Taktike & praksa #14: Merilo aksioma.org/scale/sl ISBN 978-961-7173-34-5 0€ PostScriptUM #47, Ljubljana 2023