Hva er Pentagons oppdaterte policy for morderroboter?

Pentagon har utstedt en oppdatering til direktiv 3000.09, som dekker det de betegner Autonomi i våpensystemer og andre ringer 'morderoboter.' Nåværende droner som Luftforsvaret og CIA MQ-9 Reapers betjenes av fjernkontroll: et menneske sitter foran en videoskjerm identifiserer mål på bakken tusenvis av kilometer unna, plasserer dem i trådkorset og slipper en Hellfire missil eller annet våpen. Autonome våpen er forskjellige: de velger sine egne mål uten menneskelig innblanding. Det trengs klare regler for når og hvordan de kan brukes, og det nye direktivet bringer dem et skritt nærmere.

For ti år siden da den første versjonen av 3000.09 ble utgitt, så autonome våpen ut som science fiction. Nå er de veldig ekte. FN hevdet det Tyrkisk-leverte droner angrep mål autonomt i Libya i 2020 og Russland utplasserer nå sløvende ammunisjon i Ukraina med autonom evne.

Mange aktivister, som Kampanje for å stoppe morderobotter, ønsker et direkte forbud mot autonome våpen, og insisterer på at ethvert eksternt våpen forblir under meningsfull menneskelig kontroll til alle tider. FN har diskutert hvordan kontrollere slike armer i mange år.

Imidlertid, som det nye direktivet gjør klart, holder Pentagon seg til en annen linje.

"DoD har konsekvent motarbeidet en policystandard om 'meningsfull menneskelig kontroll' når det gjelder både autonome systemer og AI-systemer," Gregory Allen, direktør for Project on AI Governance ved Senter for strategiske og internasjonale studier, fortalte meg. "Det foretrukne DoD-begrepet er "passende nivåer av menneskelig dømmekraft", som gjenspeiler det faktum at i noen tilfeller – autonome overvåkingsfly og noen typer autonome cybervåpen, for eksempel – kan det passende nivået av menneskelig kontroll være lite eller ingen ."

Akkurat hvilke autonome våpen ville være tillatt under hvilke omstendigheter? Allen mener den forrige versjonen av direktivet var så uklar at den frarådet enhver utvikling på dette området.

"Forvirring var så utbredt - inkludert blant noen seniorledere fra DoD - at tjenestemenn avsto fra å utvikle noen systemer som ikke bare var tillatt av politikken, men også uttrykkelig unntatt fra kravet om seniorvurdering," sier Allen.

Ikke et eneste våpen har blitt sendt inn til vurderingsprosessen for autonome våpen lagt ut i den originale 3000.09 i løpet av de ti årene siden den ble publisert.

Allen skrev en essay om dette for CSIS i fjor, som beskrev fire områder som trengte arbeid – formelt definere autonome våpensystemer, si hva «AI-aktivert» betyr for policyen, hvordan gjennomgangsprosessen vil håndtere omskolering av maskinlæringsmodeller, og klargjøre hvilke typer våpen som må gå gjennom den vanskelige gjennomgangsprosessen.

"DoD har implementert dem alle," sier Allen.

I prinsippet bør dette sikre det DoD-betegnelsen «sterk og vedvarende forpliktelse til å være en gjennomsiktig global leder i å etablere ansvarlig politikk angående militær bruk av autonome systemer».

Imidlertid er det noen tillegg som kan sees på som smutthull, for eksempel et unntak fra seniorvurdering for autonome våpen som forsvarer droner som ikke retter seg mot mennesker ('antimaterielle våpen'), og som vil få lov til å målrette missiler, andre droner og potensielt andre systemer.

"Ordet 'forsvare' gjør massevis av arbeid," Zak Kallenborn, fortalte en stipendiat ved Schar School of Policy and Government ved George Mason University til meg. "Hvis en drone opererer i fiendens territorium, kan nesten alle våpen tolkes som å "forsvare" plattformen."

Kallenborn bemerker også at selv om effektivt autonome våpen som landminer har vært i bruk i over et århundre, endrer landskapet seg raskt på grunn av fremskrittene innen AI og spesiell maskinlæring. Disse har gitt opphav til systemer som er svært dyktige, men teknisk sprø – når de mislykkes, mislykkes de spektakulært på måter som ingen mennesker ville, for eksempel å forveksle en skilpadde for en rifle.

"Autonomi gjennom AI fortjener definitivt mer bekymring, gitt skjørheten og mangelen på forklaring av de dominerende tilnærmingene for tiden," sier Kallenborn.

Oppdateringen er ikke stor. Men det viser Pentagons fortsatte forpliktelse til å utvikle effektive autonome våpen og en tro de kan overholde internasjonal humanitærrett – skille sivile fra militært personell, forsøke å unngå å skade sivile, og kun bruke forholdsmessig og nødvendig makt.

Kampanjer tror at AI ikke vil ha den nødvendige forståelsen for å foreta moralske vurderinger i krigstid og risikerer å skape en verden der krig er automatisert og mennesker ikke lenger har kontroll. Andre tror det amerikanske militæret vil være det utkonkurrert av motstandere med autonome våpen med mindre AI er innlemmet på et taktisk nivå, og det er for mye menneskelig involvering bremser militærroboter.

Argumentasjonen vil sannsynligvis fortsette selv når autonome våpen begynner å dukke opp, og resultatene vil bli fulgt nøye. Uansett ser det ut til at morderrobotene kommer.