AI-etikk som sliter med det brennende en-to-slaget til både AI-baserte autonome våpensystemer og utnyttelsen av AI-drevne autonome systemer som er djevelsk våpen

De fantastiske dansende firbeinte robotene.

Jeg er sikker på at du har sett de virale videoene av de firbeinte robotsystemene som danser og danser på tilsynelatende herlige og hundelignende elskede måter. Vi ser ut til å glede oss over å se disse AI-drevne robotene når de klatrer over hindringer og ser ut til å få et delikat fotfeste når de sitter på toppen av bokser eller etter å ha blitt plassert på beruset topper av skap. Deres menneskelige handlere vil til tider pirke eller dytte de boltrende firbeinte robotene, noe som virker irriterende urettferdig og lett kan vekke irritasjonen din over den frekke behandlingen av disse hjernehumanoidene.

Jeg lurer på om du har sett de ikke-så-virale videoene av et helt annet kaliber.

Gjør deg klar.

Det er mye publiserte videoer som viser samme type firbeinte roboter som har blitt utstyrt med utpregede våpen av en eller annen art.

For eksempel er et maskingevær eller lignende skytevåpen montert på toppen av en ellers kjent robot som danser og skrider. Det er en elektronisk kobling mellom den firbeinte roboten og avfyringsmekanismen til våpenet. Den nå bevæpnede datamaskin-gående innretningen blir vist skridende over til der et mål er plassert, og maskingeværet skytes hardt mot målet. Etter å ha spikret det påfølgende delvis ødelagte målet, danser og prosserer den firbeinte roboten rundt hindringer i nærheten og stiller seg i kø for å gjenta den samme handlingen om og om igjen ved andre ferske mål.

Ikke helt det du kanskje hadde forventet å se. Dette fjerner absolutt lettheten og den relative gleden av å åpenhjertig se de kosete firbeinte robotene gjøre sitt. Velkommen til den harde virkeligheten tilsynelatende uskadelig autonome systemer som konverteres eller transformeres til å bli skarpt bevæpnet. Med ganske mye innsats kan du over natten få et ansett "ikke-våpen" autonomt system ettermontert for å inneholde full-on våpen.

Det er nesten lett i noen tilfeller.

Jeg skal diskutere dette heftig kontroversielle emnet og dekke de ganske heftige AI Ethics-bekymringene som oppstår. Vi vil ta en reise inn i autonome systemer, AI, autonome kjøretøy, våpenisering og en rekke relaterte etiske AI-kampspørsmål. For min pågående og omfattende dekning av AI-etikk og etisk AI, se lenken her og lenken her, bare for å nevne noen få.

La oss starte med noen grunnleggende nøkkelsteiner.

For diskusjonens skyld, aksepter at det er to hovedmåter å kategorisere autonome systemer som har vært bevæpnet med våpen:

1) Autonome våpensystemer (av design)

2) Autonome systemer som er bevæpnet (etterpå)

Det er en viktig forskjell mellom de to kategoriene.

I første omgang vil vi definere en autonomt våpensystem å være fra starten av en datastyrt skapelse som er målrettet ment å være et våpen. Utviklerne hadde i tankene at de ønsket å lage et våpen. Deres eksplisitte søken er å produsere et våpen. De visste at de kunne kombinere våpen med det siste innen autonome systemteknologier. Dette er et våpen som rir på bølgen av høyteknologi som oppnår autonom bevegelse og autonome handlinger (jeg skal utdype mer om kort tid).

Derimot vil vi i andre omgang vurdere spørsmålet om autonome systemer som ikke har noen spesiell helling mot våpen i det hele tatt. Dette er autonome systemer som utvikles for andre formål. Se for deg et autonomt kjøretøy, for eksempel en selvkjørende bil, som vil bli brukt til å gi mobilitet for alle og hjelpe til med å redusere de tusenvis av årlige dødsulykker som oppstår på grunn av menneskelig kjøring og menneskestyrte biler (se min dybdedekning på lenken her). Ikke et våpen ser ut til å være i betraktning for de positive samfunnsforsterkende innsatsene for å få mennesker ut bak rattet og sette AI i førersetet i stedet.

Men disse ufarlige autonome systemene kan bevæpnes hvis mennesker ønsker å gjøre det.

Jeg refererer til denne andre kategorien da som autonome systemer som er bevæpnet. Det autonome systemet ble opprinnelig og andektig laget for et antagelig ikke-våpenformål. Til tross for det, blir det drømmende altruistiske håpet opphevet av noen et sted som får den lure ideen om at dette påfunnet kan bli våpen. Plutselig har det autonome systemet som virket kosete blitt et dødelig våpen ved å merke en eller annen form for våpenfunksjoner (som de firbeinte hundelignende robotene nevnt tidligere som har et maskingevær eller lignende skytevåpen lagt til funksjonene deres) .

Dessverre ender de to kategoriene litt på samme sted, nemlig å gi kapasitet til å utnytte autonome systemer for våpen på en potensielt dødelig basis.

Prosessen for å komme til det endepunktet vil sannsynligvis være annerledes.

For de direkte våpenstyrte autonome systemene som ble festet som våpen, er våpenaspektene typisk foran og i midten. Du kan si at fasettene til det autonome systemet er viklet rundt hjørnesteinen i det våpen som vurderes. Tenkeprosessen til utviklerne er litt på linje med hvordan et våpen kan utnytte fremkomsten av autonome systemer.

Det andre perspektivet er vanligvis ikke i det hele tatt av den tankegangen. Utviklerne ønsker å utlede et state-of-the-art autonomt system, kanskje for å forbedre menneskeheten. Disse utviklerne legger sitt oppriktige hjerte og sjel i å lage det autonome systemet. Dette er kjernen i oppfinnelsen deres. De kan kanskje ikke forestille seg at noen ville tilrane seg eller undergrave deres mirakuløst fordelaktige utstyr. De er lykkelig forelsket i de samfunnsmessige fordelene knyttet til at det autonome systemet blir formet og produsert.

På et tidspunkt, la oss si at tredjeparter innser at det autonome systemet kan endres til å bli bevæpnet. Kanskje de lurer utviklerne til å la dem ha det autonome systemet for det som hevdes å være høye formål. Bak lukkede dører velger disse ugjerningsmennene å snikelig legge til en våpenkapasitet til det autonome systemet. Voila, uskyld ble til direkte våpen.

Ting trenger ikke foregå på den måten.

Kanskje ble utviklerne fortalt at de utviklet et uskyldig autonomt system, men de som finansierte eller styrte innsatsen hadde andre formål i tankene. Kanskje den autonome systeminnsatsen faktisk startet uskyldig, men da regninger måtte betales, sluttet ledelsen en avtale med en finansieringskilde som vil ha de autonome systemene av ufyselige grunner. En annen mulighet er at utviklerne visste at en senere bruk kunne være til våpen, men at de regnet med at de ville krysse den opprivende broen når eller hvis den noen gang dukket opp. Etc.

Det er mange og mange forskjellige veier for hvordan alt dette utspiller seg.

Du kan finne av interesse som jeg har beskrevet i tidligere spalter at det er en økende bevissthet om AI-etikk angående dobbel bruke elementer av moderne kunstig intelligens, se lenken her. La meg kort bringe deg opp i fart.

Et AI-system som er tenkt for det gode, kan noen ganger være på grensen til det dårlige, kanskje via noen ganske enkle endringer, og blir tilsvarende sett på som å være av dobbel bruk. I nyhetene var nylig et AI-system som ble bygget for å oppdage kjemikalier som kan være mordere, som utviklerne ønsket å sørge for at vi kunne unngå eller være på vakt mot slike dårlige kjemikalier. Det viser seg at AI-en kan enkelt justeres for hengivent å avdekke de morderiske kjemikaliene og dermed potensielt la skurkene vite hva slags kjemikalier som potensielt kan koke opp for deres uhyggelige onde planer.

Autonome systemer kan beviselig passe inn i den doble-bruk-omhyllingen.

Til en viss grad er det derfor AI-etikk og etisk AI er et så viktig tema. Forskriftene til AI-etikk får oss til å være årvåkne. AI-teknologer kan til tider bli opptatt av teknologi, spesielt optimalisering av høyteknologi. De vurderer ikke nødvendigvis de større samfunnsmessige konsekvensene. Å ha en AI-etikk-tankegang og gjøre det integrert i AI-utvikling og feltarbeid er avgjørende for å produsere passende AI, inkludert (kanskje overraskende eller ironisk nok) vurderingen av hvordan AI-etikk blir tatt i bruk av firmaer.

I tillegg til å bruke AI-etiske forskrifter generelt, er det et tilsvarende spørsmål om vi bør ha lover som regulerer ulike bruk av AI. Nye lover blir slått rundt på føderalt, statlig og lokalt nivå som angår rekkevidden og arten av hvordan AI bør utformes. Arbeidet med å utarbeide og vedta slike lover er gradvis. AI-etikk fungerer i det minste som et betraktet stopp, og vil nesten helt sikkert til en viss grad bli direkte innlemmet i de nye lovene.

Vær oppmerksom på at noen hevder hardt at vi ikke trenger nye lover som dekker AI, og at våre eksisterende lover er tilstrekkelige. Faktisk varsler de at hvis vi vedtar noen av disse AI-lovene, vil vi undergrave gullgåsen ved å slå ned på fremskritt innen AI som gir enorme samfunnsmessige fordeler.

Autonomi og våpen som to forskrifter

Det er en slagord som noen bruker for å varsle om våpenstyrte autonome systemer av alle slag, som blir laget kollektivt som slakteboter.

Dette bringer opp et ekstra aspekt som vi bør tenke over.

Må et autonomt våpensystem og/eller et autonomt system som har blitt bevæpnet ha en dødelig eller drepende robotovervekt?

Noen vil hevde at vi kan ha bestemt ikke dødelig våpenstyrte autonome systemer også. Derfor, i det synspunktet, ville det virke dypt upassende å bruke formuleringer som slaughterbots eller morderroboter. En ikke-dødelig variant vil antagelig kunne undertrykke eller vedta skade som ikke er av dødelig resultat. Disse systemene dreper ikke, de har en mindre skadegenererende kapasitet. Ikke overdriv evnene, si de som insisterer på at vi ikke trenger å være opptatt av en direkte drapsmaskintrope.

Dermed kan vi ha dette:

• Dødelige autonome våpensystemer
• Dødelige autonome systemer som har blitt bevæpnet
• Ikke-dødelige autonome våpensystemer
• Ikke-dødelige autonome systemer som har blitt bevæpnet

Selvfølgelig er motargumentet at ethvert autonomt system som har blitt bevæpnet ser ut til å ha potensialet til å gli inn i dødelighetsområdet, selv om det visstnok bare er tenkt brukt på en ikke-dødelig basis. De trinnvise to-trinnene med å gå fra ikke-dødelig til dødelig vil bli raskt gjennomført når du allerede har fått i hånden et våpen midt i et autonomt system. Du ville bli hardt presset for å gi en jernbelagt garanti for at de ikke-dødelige ikke vil ha sashayed inn på den dødelige arenaen (selv om noen prøver å gjøre det, i et matematisk utseende).

Før vi kommer mye lenger inn i dette overordnede temaet om autonome systemer og våpenisering, kan det være nyttig å påpeke noe annet som selv om det kanskje er åpenbart ikke nødvendigvis er synlig øverst i hodet.

Her er det:

• Det er et AI-aspekt som er en del av det autonome systemet
• Det er et våpenaspekt som er våpensiden av denne ligningen
• AI kan også være sammenkoblet med våpenet

La oss pakke ut det.

Vi skal anta at dagens autonome systemer krever AI som det underliggende datastyrte middelet for å få frem de autonome fasettene. Jeg nevner dette fordi du kan prøve å argumentere for at vi kan bruke ikke-AI-relaterte teknologier og teknikker for å gjøre de autonome systemene, som selv om det er sant, vil virke mindre og mindre sannsynlig. I utgangspunktet har AI en tendens til å tillate større grad av autonomi, og de fleste utnytter AI høyteknologi tilsvarende.

Ok, så vi har en AI-basert evne som på en eller annen måte er infundert i det autonome systemet og fungerer for å veilede og kontrollere det autonome systemet.

Hold det ved fingertuppene som en tommelfingerregel.

Det virker lett åpenbart at vi også trenger å ha en form for våpen, ellers hvorfor diskuterer vi her temaet autonome systemer og våpen. Så, ja, det er åpenbart et våpen av en eller annen art.

Jeg skal ikke fordype meg i hvilken type våpen som kan brukes. Du kan ganske enkelt erstatte det våpenet du tenker på. Det kan være nøyaktige våpen. Det kan være masseorienterte destruktive våpen. Det kan være noe med kuler eller prosjektiler. Det kan være noe som har kjemikalier eller flyktige atomkomponenter. Listen er uendelig.

Den ekstra vurderingen er hvorvidt AI er sammenkoblet med våpen eller ikke. AI tar kanskje bare med seg våpnene en tur. Når det gjelder den firbeinte roboten som skjøt en pistol, kan det hende at pistolen blir avfyrt av et menneske som har en fjernkontroll koblet til utløsningen av våpenet. Den hundelignende roboten navigerer i en scene og så er det opp til et avsidesliggende menneske å trykke på avtrekkeren.

På den annen side kan AI-en så å si være triggertrekkeren. AI kan ha blitt utviklet for ikke bare å navigere og manøvrere, men også aktivere våpenet. I den forstand gjør AI alt fra A til Å. Det er ingen avhengighet av et eksternt menneske for å utføre våpensiden av ting. AI er programmert til å gjøre det i stedet.

For å avklare i denne spesielle brukssaken av autonome systemer som er bevæpnet, har vi disse typene muligheter:

• Autonomt system: AI driver det autonome systemet helt på egen hånd
• Autonomt system: AI kjører det autonome systemet, men et menneske-i-løkken kan også gripe inn
• Våpen: Eksternt menneske styrer våpnene (AI gjør det ikke)
• Våpen: AI styrer våpenet, men et menneske-i-løkka kan også gripe inn
• Våpen: AI driver våpenet helt på egen hånd

Jeg har tidligere dekket variantene av å ha et menneske-i-løkken angående autonome systemer og autonome kjøretøy, se lenken her.

Når du ser på de morsomme videoene av de dansende og sprellende firbeinte robotene, er de vanligvis ment å være roboter som utelukkende blir navigerbart drevet av AI (vel, det er skikken eller ansett som riktig etikette blant de som er dyptgående inn i disse sakene). Det er det du også med rette kan anta. Det vet du selvfølgelig ikke sikkert. Det kan være at en ekstern menneskelig operatør veileder robotene. Det er også en mulighet for at AI gjør en del av veiledningen, og en ekstern menneskelig operatør gjør det også, kanskje hjelpe AI hvis roboten kommer i en tøff posisjon og ikke kan beregne et levedyktig middel for å vrikke seg fri.

Hovedpoenget her er at det er mange varianter av hvordan AI og autonome systemer og våpen kan blandes sammen. Noen har AI som kjører det autonome systemet, men som ikke kjører våpenet. Et menneske fjernstyrer kanskje våpenet. En annen innfallsvinkel er at våpenet kanskje er aktivert på forhånd, og det autonome systemet leverer det aktiverte våpenet, dermed deltok ikke AI direkte i utløsningen av våpenet i seg selv og fungerte i stedet som et leveringskjøretøy. Og det kan være at AI er en velkjent jack-of-all-trade og gjør hele spekteret av autonome systemaspekter til våpenbruken også.

Velg.

I mellomtiden, vær så snill å vite at mennesket-i-løkken er en stor faktor når det kommer til debatter om dette emnet.

En skillelinje for noen er at hvis AI-en målretter og skyter (eller hva våpenet innebærer), så har hele settet og caboodlen krysset over til no-no-land. Dette skiller seg tilsynelatende fra de konvensjonelle brann-og-glem-våpnene som har et forhåndsmålrettet menneskebestemt utvalg, for eksempel en patruljerende drone som har et missil klart for å skyte mot et mål som var allerede valgt av et menneske.

Noen lurer på hvorfor autonome systemer som er bevæpnet ikke alltid vil inkludere et menneske-i-løkken gjennom hele prosessen med at det autonome systemet er i en aktiv status. Det ser ut til at vi kan ha det bedre hvis et strengt krav var at alle slike våpenstyrte autonome systemer måtte ha et menneske-i-løkken, enten det gjorde det for driften av det autonome systemet eller for å betjene våpenet (eller for begge deler) . Å holde en antatt sikker og stødig menneskelig hånd i denne AI-miksen kan virke totalt smart.

Gjør deg klar for en lang liste over grunner til at dette ikke nødvendigvis er gjennomførbart.

Vurder disse vanskelighetene:

• Human-in-the-loop er kanskje ikke rask nok til å svare i tide
• Human-in-the-loop har kanskje ikke nok informasjon til å svare pliktoppfyllende
• Human-in-the-loop er kanskje ikke tilgjengelig på det nødvendige tidspunktet
• Human-in-the-loop kan være usikker og vil ikke handle når det er nødvendig
• Human-in-the-loop kan ta "feil" avgjørelse (relativt)
• Human-in-the-loop er kanskje ikke tilgjengelig fra systemet på det nødvendige tidspunktet
• Human-in-the-loop kan bli forvirret og overveldet
• Etc.

Du er utvilsomt fristet til å se på listen over menneskelige skrøpeligheter og begrensninger, og så komme til den høytidelige konklusjonen at det er tilsynelatende fornuftig å fjerne mennesket-i-løkka og alltid i stedet bruke AI. Dette kan enten utelukke mennesket-i-løkken eller kanskje ha AI-en i stand til å overstyre et inngrodd menneske-i-løkken-design. Se min analyse av hvordan uenighet mellom AI og et menneske-i-løkken kan føre til prekære situasjoner, dekket på lenken her.

Ofte blir en nedlatende liste over slike sanntids-menneskefokuserte ulemper etterlatt på egen hånd og etterlater et langvarig inntrykk av at AI på en eller annen måte må være et mye klokere valg enn å ha et menneske-i-løkken. . Ikke gå i den forræderske fellen. Det er nøkterne avveininger involvert.

Vurder disse konsekvensene av AI:

• AI kan støte på en feil som får den til å komme på avveie
• AI kan bli overveldet og låses uten respons
• AI kan inneholde utviklerfeil som forårsaker uregelmessig oppførsel
• AI kan være ødelagt med implantert evildoer-virus
• AI kan bli overtatt av cyberhackere i sanntid
• AI kan betraktes som uforutsigbar på grunn av kompleksiteten
• AI kan regnemessig ta "feil" avgjørelse (relativt)
• Etc.

Jeg stoler på at du kan se at det er avveininger mellom å bruke et menneske-i-løkken og å kun være avhengig av AI. I tilfelle du blir fristet til å foreslå at den ferdige løsningen er å bruke begge, vil jeg bare understreke at du kan få det beste fra begge verdener, men du kan også få det verste fra begge verdener. Ikke anta at det alltid og helt sikkert vil være det beste fra begge verdener.

Du kan ha blitt litt overrasket over en av de ovennevnte ulempene ved AI, spesielt at AI kan være uforutsigbare. Vi er vant til å tro at AI skal være strengt logisk og matematisk presis. Som sådan kan du også forvente at AI vil være fullt forutsigbar. Vi skal vite nøyaktig hva AI vil gjøre. Periode, slutten av historien.

Beklager å sprenge den ballongen, men denne myten om forutsigbarhet er en feilbetegnelse. Størrelsen og kompleksiteten til dagens AI er ofte et morass som trosser å være perfekt forutsigbar. Dette blir sett i dagens etiske AI-opprør om noen bruksområder for maskinlæring (ML) og dyp læring (DL). Jeg skal forklare litt mer et øyeblikk.

Det kan også være lurt å ta en titt på min siste analyse av de kommende trendene mot å prøve å sikre verifiserbare og matematisk beviselig korrekte AI-systemer via det siste innen AI-sikkerhet, på lenken her.

Vurderer på veiens regler

Jeg hadde nevnt begrepet mål og målretting, som er en ganske tungt lastet terminologi som fortjener stor oppmerksomhet.

Vi kan tenke på dette:

• Mål som er mennesker
• Mål som ikke er mennesker, men som er levende skapninger
• Mål som tolkes som eiendom

Anta at vi har et autonomt system som har blitt bevæpnet. AI brukes til å lede det autonome systemet og brukes til våpen. AI gjør alt fra A til Å. Det er ingen mulighet for et menneske-i-løkken. Når det gjelder målretting, vil AI velge målene. Det er ikke en pre-targeting som er etablert av mennesker. I stedet har AI blitt programmert til generelt å fastslå om det er mennesker som skal målrettes (kanskje skanning etter fiendtlige handlinger, visse typer uniformer, og så videre).

Med meg på dette så langt?

Dette scenariet er stort sett det som forårsaker mest ramaskrik om våpenstyrte autonome systemer.

Den uttalte bekymringen er at AI gjør (minst) tre ting som den ikke burde ha lov til å gjøre:

• Målretter mot mennesker som mål
• Målretting uten bruk av et menneske-i-løkken
• Virker potensielt uforutsigbartly

Legg merke til at det er en skarp omtale av bekymringer om at AI er uforutsigbar. Det kan være at selv om AI-en ble programmert til å målrette mot visse typer mennesker, er AI-programmeringen ikke hva vi trodde den var, og AI-en ender opp med å målrette mot "vennlige venner" i tillegg til de som AI-en skulle tolke som "fiendtlige" ” (eller, kanskje i stedet for). På toppen av dette, selv om vi velger å inkludere en menneske-i-løkken-bestemmelse, kan uforutsigbarheten til AI bety at når AI-en skal konferere med mennesket-i-løkken, vil den ikke gjøre det så og handler uten menneskelig innblanding.

Du kan finne av interesse at Den internasjonale Røde Kors-komiteen (ICRC) har gitt en trepunkts overordnet posisjon om autonome våpensystemer som utdyper disse typer bekymringer (i henhold til ICRC-nettstedet):

1. "Uforutsigbare autonome våpensystemer bør uttrykkelig styres ut, spesielt på grunn av deres vilkårlige effekter. Dette ville best oppnås med et forbud mot autonome våpensystemer som er utformet eller brukt på en slik måte at deres virkninger ikke kan forstås, forutses og forklares tilstrekkelig.»

2. «I lys av etiske hensyn for å ivareta menneskeheten, og for å opprettholde internasjonal humanitærrettslige regler for beskyttelse av sivile og stridende hors de combat, bruk av autonome våpensystemer for å målrette mennesker bør utelukkes. Dette vil best oppnås gjennom et forbud mot autonome våpensystemer som er designet eller brukt til å utøve makt mot personer.»

3. «For å beskytte sivile og sivile gjenstander, opprettholde reglene i internasjonal humanitær rett og ivareta menneskeheten, bør utformingen og bruken av autonome våpensystemer som ikke ville være forbudt reguleres, inkludert gjennom en kombinasjon av: begrensninger på typene mål, slik som å begrense dem til objekter som er militære mål av natur; begrensninger for brukens varighet, geografiske omfang og omfang, inkludert for å muliggjøre menneskelig dømmekraft og kontroll i forhold til et spesifikt angrep; grenser for brukssituasjoner, for eksempel å begrense dem til situasjoner der sivile eller sivile gjenstander ikke er tilstede; rkrav til menneske-maskin interaksjon, spesielt for å sikre effektiv menneskelig tilsyn, og rettidig intervensjon og deaktivering.»

På et relatert syn hadde FN (FN) via konvensjonen om visse konvensjonelle våpen (CCW) i Genève etablert elleve ikke-bindende veiledende prinsipper om dødelige autonome våpen, i henhold til den offisielle rapporten som er lagt ut på nettet (som omfatter referanser til relevante internasjonale humanitære midler Lov eller IHL forbehold):

(a) Internasjonal humanitær lov fortsetter å gjelde fullt ut for alle våpensystemer, inkludert potensiell utvikling og bruk av dødelige autonome våpensystemer;

(b) Menneskelig ansvar for beslutninger om bruk av våpensystemer må beholdes siden ansvar ikke kan overføres til maskiner. Dette bør vurderes over hele livssyklusen til våpensystemet;

(c) Menneske-maskin-interaksjon, som kan ha ulike former og implementeres i ulike stadier av livssyklusen til et våpen, bør sikre at den potensielle bruken av våpensystemer basert på nye teknologier innen dødelige autonome våpensystemer er i overholdelse av gjeldende internasjonal lov, spesielt IHL. Ved å bestemme kvaliteten og omfanget av menneske-maskin-interaksjon, bør en rekke faktorer vurderes, inkludert den operasjonelle konteksten, og egenskapene og egenskapene til våpensystemet som helhet;

(d) Ansvar for å utvikle, distribuere og bruke ethvert fremvoksende våpensystem innenfor rammen av CCW må sikres i samsvar med gjeldende internasjonal lov, inkludert gjennom driften av slike systemer innenfor en ansvarlig kjede av menneskelig kommando og kontroll;

(e) I samsvar med statenes forpliktelser i henhold til folkeretten, i studiet, utviklingen, anskaffelsen eller adopteringen av et nytt våpen, middel eller metode for krigføring, må det tas stilling til om dets ansettelse under noen eller alle omstendigheter vil være forbudt av internasjonal lov;

(f) Ved utvikling eller anskaffelse av nye våpensystemer basert på nye teknologier innen dødelige autonome våpensystemer, fysisk sikkerhet, hensiktsmessige ikke-fysiske sikkerhetstiltak (inkludert cybersikkerhet mot hacking eller dataforfalskning), risikoen for anskaffelse av terroristgrupper og risikoen for spredning bør vurderes;

(g) Risikovurderinger og avbøtende tiltak bør være en del av design, utvikling, testing og distribusjonssyklus av nye teknologier i alle våpensystemer;

(h) Det bør tas hensyn til bruken av nye teknologier innen dødelige autonome våpensystemer for å opprettholde overholdelse av IHL og andre gjeldende internasjonale juridiske forpliktelser;

(i) Ved utforming av potensielle politiske tiltak, bør fremvoksende teknologier innen området dødelige autonome våpensystemer ikke antropomorfiseres;

(j) Diskusjoner og eventuelle politiske tiltak tatt innenfor rammen av CCW bør ikke hindre fremgang i eller tilgang til fredelig bruk av intelligente autonome teknologier;

(k) CCW tilbyr et passende rammeverk for å håndtere spørsmålet om nye teknologier på området dødelige autonome våpensystemer innenfor rammen av målene og formålene med konvensjonen, som søker å finne en balanse mellom militær nødvendighet og humanitære hensyn.

Problemet vi befinner oss i

Disse ulike krigslovene, lovene for væpnet konflikt eller IHL (International Humanitarian Laws) fungerer som en viktig og alltid lovende guide til å vurdere hva vi kan prøve å gjøre med fremkomsten av autonome systemer som er våpen, enten det er ved keystone-design eller ved etterfølgende metoder.

Vi kan oppriktig ønske at et forbud mot dødelige våpenstyrte autonome systemer vil bli strengt og lydig overholdt. Problemet er at mye slingringsmonn er nødt til å bli lurt å finne innenfor noen av de mest oppriktige forbudene. Som de sier, regler er ment å bli brutt. Du kan satse på at der ting er løst, vil riffraff frese ut hull og prøve å blunke-blinke seg rundt reglene.

Her er noen potensielle smutthull som er verdt å vurdere:

• Påstander om ikke-dødelig. Gjøre ikke dødelig autonome våpensystemer (tilsynelatende ok siden det er utenfor forbudsgrensen), som du så på en krone kan skifte til å bli dødelige (du vil bare være utenfor forbudet i siste liten).
• Kun påstander om autonomt system. Oppretthold forbudet ved ikke å lage dødelige-fokuserte autonome systemer, i mellomtiden, gjør like mye fremskritt med å utvikle hverdagslige autonome systemer som ikke (ennå) er våpengjort, men som du for en krone kan ombygge til å bli våpen.
• Påstander om ikke integrert som ett. Lag autonome systemer som ikke er våpen i det hele tatt, og når tiden kommer, piggyback-våpen slik at du kan forsøke å argumentere heftig for at de er to separate elementer og derfor hevde at de ikke faller innenfor rubrikken til en alt-i-ett autonomt våpensystem eller dets fetter.
• Påstår at det ikke er autonomt. Lag et våpensystem som ikke ser ut til å ha autonome kapasiteter. Gi rom i dette antagelig ikke-autonome systemet for å slippe inn AI-basert autonomi. Ved behov, koble til autonomien og du er klar til å rulle (inntil da brøt du tilsynelatende ikke forbudet).
• Annen

Det er mange andre uttrykte vanskeligheter med å prøve å direkte forby dødelige autonome våpensystemer. Jeg skal dekke noen flere av dem.

Noen forståsegpåere hevder at et forbud ikke er spesielt nyttig, og i stedet bør det være reguleringsbestemmelser. Tanken er at disse innretningene skal være tillatt, men strengt overvåket. En rekke lovlige bruksområder er lagt ut, sammen med lovlige måter å målrette på, lovlige typer evner, lovlig proporsjonalitet og lignende.

Etter deres syn er et rett ut forbud som å stikke hodet i sanden og late som om elefanten i rommet ikke eksisterer. Denne påstanden får imidlertid blodet til å koke hos de som motsetter seg argumentet om at ved å innføre et forbud kan du dramatisk redusere fristelsen ellers til å forfølge denne typen systemer. Visst, noen vil fremheve forbudet, men forhåpentligvis vil de fleste ikke. Du kan da fokusere oppmerksomheten på flaunterne og ikke trenger å splitte oppmerksomheten til alle.

Rundt og rundt går disse debattene.

En annen ofte bemerket bekymring er at selv om de gode følger forbudet, vil de dårlige ikke gjøre det. Dette setter de gode i en elendig holdning. De dårlige vil ha denne typen våpenstyrte autonome systemer, og de gode vil ikke. Når ting blir avslørt at de dårlige har dem, vil det være for sent for de gode å ta igjen. Kort sagt, den eneste kloke tingen å gjøre er å forberede seg på å bekjempe ild med ild.

Det er også den klassiske avskrekkingsstriden. Hvis de gode velger å lage våpenstyrte autonome systemer, kan dette brukes til å avskrekke de dårlige fra å prøve å komme i konflikt. Enten vil de gode være bedre bevæpnet og dermed fraråde de dårlige, eller så vil de gode være klare når de dårlige kanskje avslører at de i det skjulte har utviklet disse systemene hele tiden.

En motsats til disse tellerne er at ved å lage våpenstyrte autonome systemer, fører du et våpenkappløp. Den andre siden vil søke å ha det samme. Selv om de teknologisk ikke er i stand til å lage slike systemer på nytt, vil de nå kunne stjele planene til de «gode», reversere de høyteknologiske guts, eller etterligne det de ser ut til å se på som en utprøvd. måte å få jobben gjort.

Aha, noen replikker, alt dette kan føre til en reduksjon i konflikter med et utseende av gjensidig. Hvis side A vet at side B har de dødelige våpnene til autonome systemer, og side B vet at side A har dem, kan de sitte tett og ikke komme i hop. Dette har den distinkte auraen av mutually assured destruction (MAD) vibber.

Og så videre.

AI i autonomien

La oss sørge for at vi er på samme side om naturen til dagens AI.

Det er ingen AI i dag som er sansende. Vi har ikke dette. Vi vet ikke om sentient AI vil være mulig. Ingen kan med rette forutsi om vi vil oppnå sansende AI, og heller ikke om sansende AI på en eller annen måte mirakuløst spontant vil oppstå i en form for beregningsmessig kognitiv supernova (vanligvis referert til som singulariteten, se min dekning på lenken her).

Den typen AI som jeg fokuserer på består av den ikke-sansende AI som vi har i dag. Hvis vi ville spekulere vilt om selvbevisst AI, denne diskusjonen kan gå i en radikalt annen retning. En sansende AI ville visstnok være av menneskelig kvalitet. Du må vurdere at den sansende AI er den kognitive ekvivalenten til et menneske. Mer så, siden noen spekulerer i at vi kan ha superintelligent AI, er det tenkelig at slik AI kan ende opp med å bli smartere enn mennesker (for min utforskning av superintelligent AI som en mulighet, se dekningen her).

La oss holde ting mer jordnære og vurdere dagens beregningsbaserte ikke-følende AI.

Innse at dagens AI ikke er i stand til å "tenke" på noen måte på linje med menneskelig tenkning. Når du samhandler med Alexa eller Siri, kan samtalekapasiteten virke som menneskelig kapasitet, men realiteten er at den er beregningsmessig og mangler menneskelig erkjennelse. Den siste æraen av AI har gjort omfattende bruk av Machine Learning (ML) og Deep Learning (DL), som utnytter beregningsmønstermatching. Dette har ført til AI-systemer som ser ut som menneskelignende tilbøyeligheter. I mellomtiden er det ingen kunstig intelligens i dag som har et skinn av sunn fornuft, og heller ikke noe av den kognitive undringen til robust menneskelig tenkning.

Vær veldig forsiktig med å antropomorfisere dagens AI.

ML/DL er en form for beregningsmønstermatching. Den vanlige tilnærmingen er at du samler data om en beslutningsoppgave. Du mater dataene inn i ML/DL-datamodellene. Disse modellene søker å finne matematiske mønstre. Etter å ha funnet slike mønstre, hvis det er funnet, vil AI-systemet bruke disse mønstrene når de møter nye data. Ved presentasjon av nye data brukes mønstrene basert på de "gamle" eller historiske dataene for å gi en gjeldende beslutning.

Jeg tror du kan gjette hvor dette er på vei. Hvis mennesker som har tatt de mønstrede avgjørelsene har inkorporert uheldige skjevheter, er sjansen stor for at dataene reflekterer dette på subtile, men betydelige måter. Maskinlæring eller Deep Learning beregningsmønstermatching vil ganske enkelt prøve å matematisk etterligne dataene tilsvarende. Det er ingen antydning av sunn fornuft eller andre sansende aspekter ved AI-laget modellering i seg selv.

Dessuten er det kanskje ikke sikkert at AI-utviklerne skjønner hva som skjer. Den mystiske matematikken i ML/DL kan gjøre det vanskelig å fjerne de nå skjulte skjevhetene. Du vil med rette håpe og forvente at AI-utviklerne vil teste for potensielt begravde skjevheter, selv om dette er vanskeligere enn det kan virke. Det er en solid sjanse for at selv med relativt omfattende testing vil det fortsatt være skjevheter innebygd i mønstertilpasningsmodellene til ML/DL.

Du kan litt bruke det berømte eller beryktede ordtaket om søppel-inn søppel-ut. Saken er at dette er mer beslektet med skjevheter-in som snikende blir tilført som skjevheter nedsenket i AI. Algoritmen beslutningstaking (ADM) til AI blir aksiomatisk full av ulikheter.

Ikke bra.

Med den ekstra grunnleggende bakgrunnen vender vi oss igjen til emnet for autonome systemer og våpen. Vi så tidligere at AI går inn i den autonome systemkomponenten og også kan gå inn i våpenkomponenten. AI i dag er ikke sansende. Dette er verdt å gjenta, og jeg vil fremheve dette for ekstra innsikt i disse sakene.

La oss utforske noen scenarier for å se hvordan dette er en avgjørende vurdering. Jeg vil et øyeblikk bytte ut av en krigstidsorientering om dette emnet og vise frem hvordan det gjennomsyrer mange andre sosiale miljøer. Støtt deg deretter.

Et AI-basert autonomt system, for eksempel et autonomt kjøretøy, som vi skal si ikke har noe som helst med våpen å gjøre, er på vei gjennom en normal lokalitet. Et menneske kommer for å gjøre bruk av det autonome kjøretøyet. Personen er bevæpnet med et varselvåpen. Anta for diskusjonens skyld i dette spesielle scenariet at personen har noe uheldig i tankene. Personen setter seg inn i det autonome kjøretøyet (bærende våpen, skjult eller ikke skjult, uansett).

Det autonome kjøretøyet fortsetter til den destinasjonen syklisten har bedt om. I dette tilfellet frakter AI-en ganske enkelt denne passasjeren programmatisk fra ett hentested til et bestemt reisemål, akkurat som det har gjort for muligens dusinvis eller hundrevis av turer, hver dag.

Hvis dette hadde vært en menneskelig sjåfør og et menneskedrevet kjøretøy, er det antagelig en sjanse for at den menneskelige sjåføren ville innse at passasjeren er bevæpnet og ser ut til å ha uheldige hensikter. Den menneskelige sjåføren kan nekte å kjøre kjøretøyet. Eller den menneskelige sjåføren kan kjøre til politistasjonen. Eller kanskje den menneskelige sjåføren kan prøve å underkue den væpnede passasjeren (det finnes rapporterte tilfeller) eller fraråde passasjeren fra å bruke våpenet sitt. Det er ganske komplisert, og en rekke variasjoner kan eksistere. Du ville bli hardt presset til å hevde at det bare er ett riktig svar på å løse en slik knipe. Dessverre er situasjonen irriterende og åpenbart farlig.

AI i dette tilfellet vil neppe være programmert for noen av den slags muligheter. Kort sagt, kan den væpnede passasjeren være i stand til å bruke våpenet sitt ved å gjøre det fra det autonome kjøretøyet i løpet av kjøreturen. AI-kjøresystemet vil fortsette å reise sammen, og det autonome kjøretøyet vil holde kursen til passasjerens oppgitte betegnelse (forutsatt at destinasjonen ellers ikke ble ansett som utenfor området).

De fleste moderne AI-kjøresystemer vil kun være beregningsmessig fokusert på kjørebanen og ikke på syklistens innsats.

Ting kan bli verre enn dette.

Tenk deg at noen ønsker å få fraktet en haug med dagligvarer over til et sted som tar ekstra mat til de trengende. Personen ber om et autonomt kjøretøy og plasserer veskene med dagligvarer i baksetet på kjøretøyet. De kommer ikke til å være med på turen og bruker bare det autonome kjøretøyet til å levere matposene til dem.

Virker helt greit.

Se for deg at en elendig person i stedet velger å plassere en form for våpen i det autonome kjøretøyet i stedet for den mer fredelige forestillingen om matposer. Jeg tror du kan gjette hva som kan skje. Dette er en bekymring som jeg har formanet gjentatte ganger i mine spalter og advart om at vi må takle før heller enn senere.

Et tilbudt svar på denne typen scenarier er at kanskje alle autonome kjøretøyer kan programmeres til å bruke kameraene og andre sensorer for å prøve å oppdage om en potensiell passasjer er bevæpnet og har grufulle intensjoner. Kanskje AI ville være programmert til å gjøre dette. Eller AI varsler elektronisk og lydløst en ekstern menneskelig operatør som deretter vil via kameraene visuelt og på annen måte undersøke og muligens samhandle med passasjeren. Det hele er en del av en kompleks og potensielt uhåndterlig boks med ormer, slik at det reiser intense personvernspørsmål og en mengde andre potensielle etiske AI-problemer. Se min dekning på lenken her.

Et annet litt beslektet alternativ er at AI inneholder en slags innebygd etikkprogrammering som prøver å gjøre AI i stand til å foreta etiske eller moralske vurderinger som normalt er forbeholdt menneskelige beslutningstakere. Jeg har undersøkt disse bryggetypene AI-innebygde beregningsetiske prognostikatorer, se lenken her og lenken her.

Gå tilbake til et slagmarksscenario, se for deg at et dødelig autonomt våpensystem krysser over en kampsone. AI driver det autonome systemet. AI opererer våpnene ombord. Vi hadde tidligere tenkt på muligheten for at AI kan være programmert til å skanne etter tilsynelatende fiendtlige bevegelser eller andre indikatorer på menneskelige mål som anses som gyldige kombattanter.

Bør den samme AI-en ha en slags etisk-orientert komponent som forsøker å regne ut hva et menneske-i-løkken kan gjøre, og handle på en måte i stedet for å ha et menneske-i-løkken?

Noen sier ja, la oss forfølge dette. Noen trekker seg tilbake i redsel og sier at det enten er umulig eller på annen måte krenker menneskehetens hellighet.

Nok en boks med ormer.

konklusjonen

For de av dere som er interessert i dette emnet, er det mye mer å diskutere.

Jeg skal gi deg en rask smakebit på en irriterende gåte.

Vi forventer normalt at et menneske til slutt vil bli holdt ansvarlig for det som skjer under krigstid. Hvis AI kontrollerer et autonomt våpensystem eller kontrollerer et autonomt system som muligens har blitt våpen, og dette systemet gjør noe på slagmarken som antas å være samvittighetsløs, hvem eller hva skal da klandres for dette?

Du kan kanskje argumentere for at AI bør holdes ansvarlig. Men i så fall, hva betyr det egentlig? Vi anser ennå ikke dagens AI for å være legemliggjørelsen av juridisk personskap, se min forklaring på lenken her. Ingen feste halen på eselet når det gjelder AI. Kanskje hvis AI en dag blir sansende, kan du prøve å gjøre det. Inntil da er dette litt av en rekkevidde (pluss hva slags straffer eller konsekvenser ville AI bli utsatt for, se min analyse på lenken her og lenken her, for eksempel).

Hvis AI ikke er den ansvarlige mistenkte, kan vi naturligvis si at uansett hva menneske eller mennesker utviklet AI-en bør holdes ansvarlig. Kan du gjøre dette hvis AI bare kjørte et autonomt system og noen mennesker kom med som koblet det med våpenisering? Går du etter AI-utviklerne? Eller de som implementerte AI? Eller bare den våpenskapende skuespilleren?

Jeg stoler på at du forstår at jeg bare har rørt toppen av isfjellet i min hjertelige diskusjon.

For nå, la oss gå videre og avslutte denne diskursen. Du husker kanskje at John Lyly i Euphues: The Anatomy Of Wit i 1578 minneverdig uttalt at alt er rettferdig i kjærlighet og krig.

Ville han ha hatt i tankene fremveksten av autonome våpensystemer og likeledes fremveksten av autonome systemer som er våpen?

Vi må absolutt sette dette øverst i hodet vårt, med en gang.