I droni, i rischi per la democrazia e i nemici di domani: intervista a Lisa Ling

La conferenza che si terrà a Berlino dal 29 novembre al 1 dicembre è l’ultima di quest’anno, per il Disruption Network Lab, e una delle più importanti, dal punto di vista dell’impatto che i temi trattati hanno sul nostro futuro collettivo. Il titolo è “Investigating the Kill Cloud” e si tratta di un’Indagine sull’impatto dell’IA e delle tecnologie data-driven sulle guerre di oggi e di domani. Il concetto di Kill Cloud è stato sviluppato da due whistleblower ed esperti dell’uso militare dei droni Cian Westmoreland e Lisa Ling. Proprio con Ling abbiamo parlato di guerra globale, tecnologie militari e della possibilità o meno di “rimettere il genio nella bottiglia”.

Questa conferenza è direttamente collegata all’attività del Disruption Network Institute, un nuovo centro di indagine e ricerca empirica sull’impatto dell’intelligenza artificiale sulle nuove tecnologie di guerra, sulle armi automatizzate e sulla guerra in rete, istituito dal Disruption Network Lab nel settembre 2023. Il progetto di ricerca indipendente “Investigating the Kill Cloud” ha analizzato i legami tra l’intelligenza artificiale, la sorveglianza, l’impiego di droni e gli ulteriori sviluppi dei sistemi bellici automatizzati, con l’obiettivo di produrre conoscenze urgentemente necessarie per valutare criticamente e regolare l’ulteriore fusione dell’intelligenza artificiale nella guerra. 

Per partecipare alla conferenza, vi invitiamo a visitare il sito 

Il tuo grado nell’esercito americano era quello di sergente tecnico. Che cosa comportava la tua posizione e come si è conclusa la tua carriera militare?

La mia posizione consisteva, all’inizio, nel riparare computer. Io ero entrata nell’esercito per fare qualcosa di utile. All’inizio mi sono arruolata come infermiera. E poi mi è capitato di dare una mano quando qualcuno aveva bisogno di stampare dei file e questo ha praticamente cambiato la traiettoria della mia carriera, perché a quel tempo nell’esercito non c’erano molte persone che se ne intendevano di computer. Quindi ero utile.

Mi sono ritrovata ad aiutare le persone a riparare i loro computer, a gestire i software di scrittura, senza rendermi conto che le stesse tecnologie sarebbero state usate un giorno per uccidere persone dall’altra parte del mondo. Negli anni ’90, nessuno si aspettava che le cose andassero così. Almeno, nessuno che io conoscessi. Così, alla fine, mi sono trasferita nell’Aeronautica Militare e ho abbandonato la carriera di infermiera per unirmi a un’unità di comunicazioni di combattimento dove aggiustavamo i satelliti, lavoravamo sugli interruttori telefonici, lavoravamo sui computer e su diverse apparecchiature di telecomunicazione. Alla fine, la nostra unità è stata trasferita nel programma dei droni.

E, naturalmente, prima di entrare in quel programma. ne sapevamo ben poco, perché era un programma segreto. E, una volta entrati, era molto difficile uscirne.

Quando hai iniziato a lavorare nel programma dei droni?

Ho iniziato l’addestramento intorno al 2002/2003, di ritorno da una missione all’estero.

Anni dopo, sei andata in Afghanistan e hai potuto verificare le conseguenze delle operazioni alle quali avevi collaborato. Quali erano queste conseguenze?

Allora, c’era una famiglia lì. Erano stati colpiti da un drone. Stavano andando a Kabul e si erano fermati a pregare. E questa storia è raccontata anche nel film National Bird [documentario del 2016 di Sonia Kennebeck, che contiene interviste, fra gli altri, a Lisa Ling, sul tema della guerra con i droni. N.d.R.].

Quando sono andata in Afghanistan per la prima volta, tutti sapevano che ero nell’esercito, si capiva dal modo in cui guardavo gli elicotteri. [Gli afgani] sono persone molto forti e resistenti s mi hanno accolto. È stata una posizione molto interessante e non li ringrazierò mai abbastanza per avermi accolto nelle loro comunità e per avermi mostrato come vivevano e cosa succedeva. E quando andavo a trovarli, non si trattava solo dell’e o dei droni. Siamo andati lì per piantare alberi e per aiutare le famiglie, portare l’acqua a chi non ce l’aveva. Però, naturalmente, l’argomento [dei droni] è stato affrontato. A volte si ascoltava la radio, tutto era nella loro lingua e poi si sentiva la parola “drone”. Accadeva spesso.

L’Afghanistan era uno dei luoghi con più presenza di droni al mondo. È stato molto difficile per loro capire come fosse possibile che questo sistema, che volava sopra di loro e che all’inizio li proteggeva, sorvegliava le truppe e non trasportava armi, a un certo punto è stato armato e ha cominciato a colpire il popolo afghano.

Quindi, cosa è successo alla famiglia di cui ha parlato prima, la famiglia che stava andando a Kabul e si era fermata a pregare?

Sono stati bombardati da un drone. Nel film National Bird, la regista Sonia Kennebec e il videografo Torsten Lapp hanno girato delle interviste, con Asma [Nazihi Eschen, N.d.R], che ha intervistato i sopravvissuti di quell’attacco, hanno spiegato cosa è successo.

Dopo aver lasciato l’esercito, hai deciso di indagare sulle conseguenze di quell’uso specifico della tecnologia.

Era disumanizzante l’idea di una guerra a distanza, che passava attraverso le telecomunicazioni. Era un’idea che non aveva alcun senso per me, che si potesse prendere un singolo missile e mandarlo colpire una singola persona. Perché è impossibile scappare, mentre il diritto internazionale prevede che ci sia sempre la possibilità di ritirarsi. Ma come si fa a scappare da un drone? Nell’attacco del film National Bird, [le vittime] hanno cercato di far sapere alle persone che controllavano i mezzi sopra di loro che c’erano dei bambini, ma sono stati bombardati lo stesso.

Nella tua ricerca si menziona il fatto che questi sistemi interconnessi, presumibilmente progettati per proteggere le norme democratiche, potrebbero avere conseguenze di lungo raggio, anche non intenzionali, che finiscono per distruggere quelle stesse norme. Arriva un punto, secondo te, in cui queste conseguenze diventano invece intenzionali? E quale potrebbe essere un esempio di una tecnologia nata per proteggere la democrazia, che poi è stata impiegata per il fine opposto?

Quando si inseriscono armi in qualsiasi sistema, la missione cambia. Quindi, se si inseriscono armi in un sistema progettato per la sorveglianza, la missione diventa quella di uccidere. E non c’è modo di evitarlo. C’erano questi sistemi [di droni] che, secondo gli afgani con cui ho parlato, fornivano sorveglianza, proteggendoli dagli attacchi terroristici. Poi sono stati armati e hanno ucciso i loro connazionali. E quale può essere l’effetto di tutto questo, se non quello di alienare un intero popolo?

Voglio dire, se sei un bambino e stai piantando fiori in giardino con tua nonna o stai facendo qualcosa che normalmente faresti nella tua comunità, nella tua cultura, stai partecipando a una riunione di famiglia dopo un funerale o dopo un matrimonio, e all’improvviso questa attività è percepita come qualcosa di nefasto, e ti attaccano con un drone, come reagisci? Se sopravvivi, sei arrabbiato, ovviamente. E questo ti porta ad aderire alle norme democratiche? Non particolarmente.

Erano le stesse persone a guidare i droni, quando servivano solo per la sorveglianza e quando, invece, sono stati muniti di armi?

Quando sono arrivata io, i droni erano già armati. Ed era un programma altamente segreto. 

Sei stata testimone dell’evoluzione di queste tecnologie per molto tempo, fin dagli anni ’90. Qual ritieni sia stato il progresso tecnologico più pericoloso a cui hai assistito?

Parlando proprio di progresso, prendiamo l’esempio dell’intelligenza artificiale. Molti indicherebbero proprio l’IA. Ma l’evoluzione di questa tecnologia, all’inizio, è stata così sottile. E alcune di queste tecnologie sono le stesse che erano disponibili all’inizio e hanno molteplici usi.

Quindi, la tecnologia usata per la sorveglianza è la stessa che potrebbe essere usata per il tuo telefono, per i giocattoli elettronici per bambini, per l’aspirapolvere automatico che ti pulisce il pavimento. Quindi, è davvero difficile dire che c’è una tecnologia particolarmente pericolosa. Se ci pensi, un martello è un martello. Però, se il tuo scopo è vendere un sacco di martelli, allora comincerai a vedere chiodi dappertutto. In questo momento l’intelligenza artificiale è pubblicizzata come la cosa più importante, ma è questione di buon senso. Ti faccio un esempio: in questo momento a San Francisco circolano automobili automatizzate. E sono tutte collegate a sistemi di guida a distanza. Cosa succede in caso di terremoto quando tutte queste auto si fermano e non è più possibile spostarle? E le autopompe e le ambulanze devono spostarsi rapidamente per raggiungere e salvare le persone che hanno bisogno di aiuto? Cosa accadrà in quel caso? Si è ragionato seriamente a questo tipo di progresso tecnologico?

E, naturalmente, buona parte della ricerca è privata perché la maggior parte della tecnologia è di proprietà di singole aziende. Quindi, questo porta a un altro aspetto che ho letto nella presentazione della tua ricerca, ovvero la poca chiarezza dei confini fra strutture di comunicazione militari, statali e aziendali. Così, lo Stato utilizza la tecnologia che appartiene a una specifica società per uso pubblico o militare e non c’è una chiara distinzione tra questi campi di applicazione. Come pensi che questo influisca sull’equilibrio di potere tra gli Stati e le aziende private?

Credo che si possa dire che alcune di queste imprese hanno un potere equivalente a quello di uno Stato nazionale. Prendiamo l’esempio di Facebook: è stato fatto un esperimento su come la piattaforma poteva cambiare lo stato mentale di una certa percentuale della popolazione. Non ricordo i numeri esatti. Hanno mostrato ad alcune persone una serie di contenuti deprimenti e ad altre contenuti allegri e gioiosi. E hanno dimostrato di poter cambiare l’umore degli utenti che utilizzano questa tecnologia. Poi c’è stata tutta la storia di Cambridge Analytica [lo scandalo dell’azienda di comunicazione che ha raccolto, senza consenso, i dati di milioni di utenti di Facebook e li ha utilizzati per creare campagne di influenza politica che si considera abbiano avuto un peso rilevante nella prima elezione di Donald Trump e nel referendum sulla Brexit. N.d.R.].

Non è il mio campo, quindi non posso parlare con cognizione di causa, ma sono sicura che cambi la dinamica del potere. Cambia il concetto di “campo di battaglia”. Ora il campo di battaglia è globale. Ovunque si sia connessi o ovunque esista questa tecnologia può essere un campo di battaglia, no?

A proposito di campo di battaglia, un altro elemento preoccupante che ho letto fra le tue dichiarazioni è quello che riguarda la possibile distribuzione di disinformazione e la cancellazione delle vittime civili nelle guerre altamente connesse. Il mio primo pensiero è stato che, finora, siamo ancora molto consapevoli delle vittime civili, che i governi o i media tradizionali decidano o meno di riconoscerle. La situazione è destinata a cambiare? E in che modo le vittime civili vengono cancellate?

Sapere con certezza quali e quante sono le vittime civili è molto difficile. Ma, ironia della sorte, la tecnologia che viene usata oggi per cercare di capire a distanza chi siano è la stessa tecnologia usata per farne delle vittime. Un altro esempio di tecnologia multi-uso. Non so come andrà a finire. È un punto interrogativo.

Mi pare chiaro che non è possibile “rimettere il genio nella bottiglia”, soprattutto considerando che questo genio è fuori dalla bottiglia da decenni. Possiamo sperare in una regolamentazione di queste tecnologie? Da una prospettiva americana, come potrebbe strutturarsi una buona governance in questo senso?

Ci sono diversi documenti che stanno uscendo in proposito. Recentemente è uscito un articolo, credo di Heidy Khlaaf, Sarah Myers West e Meredith Whittaker che sostengono che questi modelli di intelligenza artificiale contengono i nostri dati, specialmente i dati del mondo occidentale. E sostengono che, se questi modelli vengono usati in ambito bellico, i nostri dati possono essere sostanzialmente inglobati e usati per definire obiettivi militari.

Al momento non ci sono approcci efficaci in questo senso, almeno io non ne ho visti. Posso solo dire che sarebbe come cercare di regolamentare Internet. È possibile regolamentare internet? Prima hanno cercato di vietare le armi completamente autonome, e ci sono voluti anni. Così come ci sono voluti anni per trovare un accordo sugli arsenali nucleari. Ma i modelli di apprendimento collegano i dati personali commerciali alle armi automatizzate. Ed è questo che si sosteneva in quell’articolo.

Le autrici hanno esaminato la questione attraverso la lente dei rischi per la sicurezza nazionale posti dai sistemi di intelligenza artificiale nel contesto militare. Se i dati personali sono già incorporati in questi modelli commerciali, è ovvio che la governance dovrà riguardare il luogo in cui questi modelli commerciali vengono inviati, chi è autorizzato a usarli e tutto il resto. E ancora, questo mette le aziende che hanno questi modelli di formazione commerciale in una posizione di grande potere, ma al momento sembra che non esistano approcci efficaci per prevenire questo tipo di esposizione dei dati. E queste sono le tecnologie che vengono utilizzate oggi in Israele. Alcune tecnologie, diverse, sono utilizzate in Ucraina.

Intendi le tecnologie di intelligenza artificiale? In Ucraina? 

No, i droni. O meglio, non posso sapere se utilizzino anche IA, non ne dubito, ma non lo so per certo, quindi non posso dirlo. Sicuramente ci sono i sistemi ISTAR (intelligence, sorveglianza, acquisizione di obiettivi e ricognizione). Comunque basta guardare le cose in modo logico: da quando la guerra con i droni è diventata una realtà, le guerre sono aumentate o diminuite?

Senza dubbio, il fatto che ogni singolo veicolo aereo armato e in grado di colpire un obiettivo sia privo di pilota è un notevole “vantaggio” per chi attacca

Si tratta di una guerra che riduce al minimo il rischio.

È l’evoluzione estrema delle armi a lunga distanza: fare danno senza mettere in pericolo le proprie truppe. Certo, ci si deve difendere dallo stesso tipo di attacchi, ma se l’avversario non dispone delle stesse tecnologie, non ci sono problemi…

E invece i problemi ci sono! Perché, anche in questo caso, pensiamo al bambino che faceva giardinaggio con la nonna. In questo modo, ci si crea sempre più nemici, giusto?

Giusto.

Ci sarà più guerra o meno guerra?

Sicuramente di più, e probabilmente più terrorismo.

Io credo che i droni siano terrorismo. Quindi, per me, [è terrorismo] tanto se a farlo è un’organizzazione etichettata da uno Stato come “terrorista”, quanto se è lo Stato stesso. Voglio dire, se in questo momento avessi un drone che vola sopra di me e non sapessi quando o dove può essere sparato un missile, ma avessi già visto sparare missili su parchi, campi da calcio durante le partite, sulle feste di matrimonio e in ogni altro luogo, vivrei in uno stato di terrore per definizione. Questo sarebbe terrorismo. Lo è. E questo rende tutti gli Stati che utilizzano questa tecnologia Stati terroristi?

È un’ottima domanda. Ed è probabilmente la stessa domanda che si pone ogni bambino che si sveglia tra le macerie essendo l’unico sopravvissuto della sua famiglia. E se la porrà tra 10 anni, quando sarà un adolescente e probabilmente un rifugiato.

Ma parliamo anche delle radio e dei cercapersone che sono esplosi di recente [in Libano e in Siria, uccidendo diversi leader di Hezbollah N.d.R]. In questa situazione, il mondo sta imparando che i dispositivi connessi possono essere utilizzati come armi.

Ogni dispositivo connesso può essere usato come arma? 

Perché no? Se una radio e un cercapersone possono essere usati come armi, perché non può esserlo il peluche elettronico di tuo figlio? Perché non può esserlo il frigorifero? E senza alcuna protezione, senza alcuna legge. E io penso che una legge dovrebbe esserci. Voglio dire, sono armi convenzionali queste? Sono come le armi chimiche? In che categoria rientrano legalmente? Non credo che sia stato ancora definito chiaramente.

Quindi, secondo te, allo stesso modo in cui la guerra chimica, la guerra biologica o quella nucleare, a un certo, punto sono diventate rilevanti e sono stati creati trattati e accordi internazionali per regolamentarne o vietarne l’uso, si potrebbe considerare di regolamentare gli usi bellici dei dispositivi connessi?

Penso che si dovrebbe regolamentare l’ambito dell’armamento dei dispositivi connessi, perché un drone non è altro che un dispositivo connesso armato. È una periferica. E penso che dobbiamo iniziare a pensarci in questi termini.

Sono in corso attività di lobbying in questo senso?

Esiste la campagna “Stop Killer Robots”. L’”AI Now Institute” ha scritto alcune cose. Ma al momento la maggior parte delle attività di lobbying riguarda le modalità di utilizzo e vendita dei sistemi di intelligenza artificiale.

C’è questo fascino per l’intelligenza artificiale e per le nuove evoluzioni che dovrebbero aiutare gli esseri umani ad aumentare le loro capacità. Si parla anche molto di inserire un essere umano nel processo decisionale, come se questo risolvesse tutto. Ma come si fa, se queste macchine operano molto più velocemente di quanto un essere umano possa pensare? E ci sono montagne di dati che vengono analizzati dall’intelligenza artificiale per selezionare chi viene ucciso o chi viene preso di mira. Come è mai pensabile che un essere umano possa essere coinvolto in modo efficace?

La risposta è che un umano può essere inserito nel circuito, se il potere che controlla il circuito accetta di rallentare l’intero processo, il che è l’esatto contrario del motivo per cui si usa l’intelligenza artificiale, perché un umano non può pensare e decidere così velocemente.

Esattamente. E invece chi è al potere vuole accelerare i processi, questo è uno degli obiettivi. Quindi, detto questo, dove può collocarsi efficacemente un umano in questo contesto?

Vicino alla spina?

[Ride] Basta pensare al modo in cui vediamo evolversi l’informatica. Penso a quando vedo qualsiasi contratto di “termini & condizioni” attraversare il mio schermo. Mi fermo? Lo leggo? Controllo e vedo cosa c’è scritto in ogni singolo documento? O clicco semplicemente su OK? E quando il sistema di controllo ortografico verifica il mio documento, guardo ogni singola parola o clicco semplicemente su OK? Quante volte ho voluto premere il tasto “indietro” per annullare qualcosa che avevo fatto con un computer?

E non voglio banalizzare questioni di vita e di morte, ma la tecnologia è apparentemente la stessa. Quindi, con questa tendenza a premere il tasto OK, la mia domanda è: dove metteremo, effettivamente, un umano in questo processo decisionale? E quale formazione riceverà? E ci sarà una sola autorità o ce ne saranno diverse? E valuteremo chi non deve saltare in aria? Ad esempio, in Afghanistan, l’ultimo attacco è stato effettuato ai danni di un’organizzazione con sede negli Stati Uniti.

In tutta la pletora di dati esaminati, c’era un elemento che dicesse di non sparare ai lavoratori di questa particolare organizzazione di beneficenza? Non sto dicendo che l’IA sia stata usata in quel caso, perché non lo so, ma non ne sarei sorpresa. E se è stata usata, fra i dati con cui era programmata ce n’erano alcuni che dicevano: no, non facciamo saltare in aria le persone che lavorano per organizzazioni benefiche con sede negli Stati Uniti? Sono questioni difficili da dirimere.

Quello che ho cercato di fare con la mia ricerca è stato scomporre la questione in modo che chiunque potesse iniziare a capire, per esempio, che se si usa una carta di credito, quell’uso potrebbe apparentemente essere inserito nel mucchio di dati che vengono usati per il targeting. E questo nel mondo occidentale. Ovunque. Perché in fin dei conti non saranno solo i nostri alleati a disporre di questa tecnologia, no?

E non sto dicendo che tutti, nel mondo, dovrebbero avere paura di usare le carte di credito, ma da questi dati si può ricavare molto. Molte persone dicono: “Non ho nulla da nascondere, quindi perché preoccuparsi”? Però non è necessario avere qualcosa da nascondere per trovarsi accidentalmente accanto a una persona ricercata e non saperlo.

È vero. Inoltre, il dato che oggi è perfettamente innocente domani potrebbe considerato sospetto e non lo sapremmo.

Penso anche ai bambini: per cosa vengono preparati, oggi? Per quali tipi di lavoro? Un tempo il nostro sistema educativo si basava su persone che lavoravano nelle fabbriche. Oggi, invece, è impostato per formare le persone alla programmazione, a lavorare su questa tecnologia. Quindi il dilemma è: se uso questa tecnologia, domani potrei diventare un bersaglio. Se non la uso, potrei rimanere disoccupato per il resto della mia vita. Ci sono tantissime contraddizioni e io non sono neanche la persona più preparata per parlarne. Io ho una laurea in storia, non un PHD. Però ho un punto di vista diverso da quello di molte altre persone, perché ho assistito da vicino all’evoluzione di questa tecnologia.