Armi autonome che prendono la decisione di uccidere un presunto nemico da sole sono ancora lontane. Ma i problemi etici sollevati dall’uso dell’AI nella guerra sono già fra noi.
Da decenni un radar può segnalare al pilota possibili bersagli fuori dal suo campo visivo. Cosa cambia quindi quando a segnalare informazioni a chi deve premere il grilletto è un sistema AI?
Oggi è possibile che nel mirino di un cecchino un sistema AI segnali un possibile bersaglio che lui non può ancora distinguere. Un sistema AI può ottimizzare la distribuzione dei bersagli sulle diverse posizioni di artiglieria in base a informazioni raccolte da più fonti. Un sistema AI può aggiustare la mira di una mitragliatrice comandata da remoto in modo che aggiusti il tiro in base al ritardo nelle comunicazioni a distanza (come probabilmente successo in Iran con l’uccisione di uno scienziato del programma nucleare nel 2020).
Ma un sistema AI sembra avere più competenza e comprensione di un radar, e inevitabilmente gli esseri umani cominciano a cedere potere decisionale di fronte alle informazioni fornite dall’AI.
Cosa cambia in questi scenari? Per la dottrina etica del Pentagono sulle armi e AI la responsabilità è il primo principio. E questa risiede ancora nell’essere umano che preme il grilletto, o meglio in questi scenari, schiaccia un tasto o tocca uno schermo.
Ma fino a che punto si può attribuire la responsabilità ad una persona che non ha il controllo di come sono state elaborate le informazioni? Il bottone vuol dire “uccidi” oppure solo “credo alle informazioni”?
Cambia se il possibile bersaglio è etichettato come “nemico” o “pericolo” o solo “soggetto di interesse”? Non sappiamo neanche se sia legale che una macchina possa attribuire ad una persona un intento.
Cosa succede se devo decidere senza poter riflettere sull’affidabilità delle informazioni perchè l’AI è più sensibile e mi identifica dei possibili rischi anche all’ultimo istante?
L’AI è vista principalmente come fonte di efficientamento. Non diventa contraddittorio, come dice Courtney Bowman, direttore globale dell’ingegneria della privacy e delle libertà civili presso Palantir creata da Peter Thiel, un’azienda con sede negli Stati Uniti che costruisce software di gestione dei dati per militari, governi e grandi aziende, che occorra introdurre “inefficienze ingegnerizzate” in “punti nel processo decisionale in cui in realtà vuoi rallentare le cose”.
Come fare capire che si tratta solo di un suggerimento? Bisogna proteggere il giudizio umano dall’influenza di una macchina intelligente anche a livello di dettagli di progettazione grafica. “Se le persone di interesse vengono identificate su uno schermo come puntini rossi, ciò avrà un’implicazione subconscia diversa rispetto a quando le persone di interesse vengono identificate su uno schermo come faccine felici”, afferma Rebecca Crootof, professore di diritto all’Università di Richmond esperta del tema.
Ma si può mettere una “engineered inefficiency” per rendere responsabile l’uso dell’arma quando si usa in prima linea? O bisogna sacrificare la responsabilità per la sicurezza del soldato?
Uno dei principi base della sicurezza dei piloti automatici negli aerei è che il loro funzionamento e il loro comportamento devono essere comprensibili ai piloti, o altrimenti si rischiano di incidenti. Si può applicare lo stesso principio ad un sistema complesso basato sull’AI?
E cosa succede se il soldato non crede all’informazione sul possibile bersaglio e la conseguenza è la morte di commilitoni? Chi ne paga le conseguenze? Per Carol J. Smith, una ricercatrice senior presso il Software Engineering Institute della Carnegie Mellon University che ha contribuito a creare linee guida per l’intelligenza artificiale responsabile per l’Unità per l’innovazione della difesa del Dipartimento della Difesa è ovvio che è il soldato a risponderne. Ma è giusto che diventi il capro espiatorio di una catena di informazioni incerte? Ma si può lasciare alla persona “meno pagata” questa responsabilità? Come si fa a distribuirla lungo la catena di comando? Come si fa a rendere responsabili contractor militari che utilizzano spesso pezzi di codice open-source non scritto da loro e che attualmente per legge negli Stati Uniti sono protetti nella loro responsabilità? Per non parlare del fatto che a livelli governativi entra in gioco anche la riservatezza dei documenti top-secret. Ad es., nel 2018, il Pentagono ha decretato che il Project Maven sull’AI sia esente dalle richieste del Freedom of Information act.
Nella “kill chain” che porta dalla raccolta e selezione delle informazioni fino alla decisione di uccidere l’AI non è più solo una sorgente informativa come il radar, ma diventa quasi parte del team che prende la decisione.
Ma forse di fronte alla complessità la metafora della “catena” nella kill chain va sostituita con quella della “rete”, di fronte alla quale finiamo in un labirinto di responsabilità.
La guerra è una continua questione di riduzione dei rischi e di trade off continui. e l’AI sta trasformando questo ragionamento in calcolo, in una decisione quantitativa da ottimizzare. La prospettiva è che le uccisioni vengano allocate da un algoritmo come quello che alloca gli autisti Uber ad una corsa, un rider ad un pasto da consegnare. Ma forse una decisione etica è inevitabilmente frutto di un ragionamento qualitativo.
Per secoli i militari hanno dibattuto su cosa sia la responsabilità nel caso di errori sul campo di battaglia. Ora l’AI rimette tutto in discussione.
L’articolo completo su MIT Technology Review:
