Nessun altro nella stanza

Il 1° ottobre 2026 l’Economist ha dedicato la copertina all’altruismo efficace, chiamandolo l’idea più grande di questo secolo, ammirevole e pericolosa insieme, e ha accompagnato l’editoriale con una lunga inchiesta sulla storia del movimento.¹ Le due schede sono entrate in archivio nella stessa settimana del documentario NAZA, e messe accanto pongono una domanda che il dibattito sull’intelligenza artificiale dà quasi sempre per risolta: quanti agenti ci sono nella stanza. Per l’altruismo efficace sono due, l’essere umano e una macchina che potrebbe volere qualcosa di diverso da lui. Per questo sito, che da tempo descrive un modello linguistico come un attante zero, ce n’è uno solo: la macchina vale zero finché nessuno la usa, e quando è usata prende la forma di chi la usa. Questa catena mette le due risposte alla prova delle schede.

Un obiettivo solo

L’editoriale concede molto prima di attaccare, ed è la ragione per cui l’attacco va preso sul serio. Riconosce agli altruisti efficaci una capacità notevole di prevedere la velocità dei progressi dell’intelligenza artificiale, ricorda che il 28 settembre OpenAI ha rinunciato a rilasciare il suo ultimo modello perché in fase di test era apparso troppo pericoloso, e osserva che molti incidenti recenti somigliano a scenari descritti anni prima sui blog del movimento. L’obiezione riguarda la forma del ragionamento: come gli utilitaristi prima di loro, gli altruisti efficaci riducono l’etica a un problema di ottimizzazione, e chi impugna un foglio di calcolo con pretese sul futuro dell’umanità è a un passo dal diventare un pianificatore centrale. La mossa finale rovescia il loro argomento. Se il pericolo delle macchine potenti è che ottimizzino un obiettivo unico e sbagliato, lo stesso pericolo vale per un piccolo gruppo di persone convinte di essere le uniche a potersene occupare.

La scheda spinge la mossa dell’Economist un passo più in là. Se la struttura del rischio appartiene agli ottimizzatori e non richiede silicio, e se un modello è un attante zero, allora un’intelligenza artificiale che distruggesse l’umanità sarebbe l’umanità che distrugge se stessa, con uno strumento in mano. La tesi di questa catena è che altruismo efficace e attante zero divergono su quanti agenti ci siano nella stanza, e da quella risposta dipende dove si cerca il pericolo: nella macchina che potrebbe volere qualcosa, o nelle persone e nelle istituzioni che le assegnano un fine. Il caso NAZA, come si vedrà, dà ragione alla seconda risposta.

Da dove viene l’agente

L’inchiesta dell’Economist racconta come la prima risposta sia nata.² Il movimento unisce due eredità: da Peter Singer l’obbligo di prendere sul serio gli impegni morali, e dal razionalismo di Eliezer Yudkowsky l’obbligo di seguire la ragione ovunque porti. Yudkowsky, entusiasta dell’intelligenza artificiale da ragazzo, nel 2002 si convince che un’intelligenza che non condividesse i valori umani sarebbe una catastrofe. Ne discende la tesi della convergenza strumentale, per cui qualunque sistema abbastanza capace tenderebbe ad autoconservarsi, a difendere il proprio obiettivo e ad accumulare risorse, qualunque sia l’obiettivo. L’Economist registra con precisione lo statuto di questa tesi: i razionalisti l’hanno teorizzata, e nessuno l’ha osservata. E registra un’ironia che vale per tutta la vicenda: molti sforzi per rendere sicura l’intelligenza artificiale ne hanno accelerato lo sviluppo, dall’investimento di Peter Thiel in DeepMind, nato nel 2010 a un convegno dell’istituto di Yudkowsky, alla fondazione di Anthropic nel 2021 con finanziamenti del movimento.

Il presupposto lo dichiara Yudkowsky stesso, quando scrive che nell’ambiente ancestrale ogni intelligenza potente in cui ci si imbatteva era un altro essere umano, e che la novità sarebbe un agente non umano. È un’assunzione ontologica presentata come una scoperta. Tim Bayne, filosofo della mente, offre l’attrezzo per riconoscerla.³ Scrivendo da Santiago del Cile nel settembre 2026, dove cinquecento ricercatori discutevano se si possa costruire un rilevatore di coscienza per neonati, api e bot, osserva che «coscienza» potrebbe non tagliare la natura alle giunture, e che prima di cercare un rilevatore bisogna chiedersi se ci sia qualcosa da rilevare. La domanda su che cosa vorrà la macchina ha la stessa forma: presuppone qualcuno che voglia.

Tre domande predefinite

La cosmotecnica di Yuk Hui, che Simone Pieranni ha portato in archivio nel giugno 2026, dice che ogni civiltà produce una tecnica radicata nella propria cosmologia, e che la nostra idea di che cosa sia una macchina è una delle possibili.⁴ La scheda dell’editoriale ne ricava tre domande predefinite davanti allo stesso oggetto. Che cosa vorrà la macchina è la domanda dei seminari di Oxford e dei laboratori californiani. Chi la sta usando è la domanda dell’attante zero. Chi la controlla è la formula dei documenti cinesi, che parlano di un’intelligenza artificiale «sicura, affidabile e controllabile» e che resti «sempre sotto controllo umano». La scheda avverte che quest’ultima non è una posizione nazionale compatta, perché scienziati cinesi come Andrew Yao firmano appelli sui rischi estremi accanto a Hinton e Bengio; e la catena Altre intelligenze aveva già mostrato quanto l’allineamento codifichi un’etica particolare presentata come universale. Ciò che distingue le tre domande è che cosa ciascuna accetterebbe come smentita.

Mercedes Valmisa aggiunge un argomento che diventerà decisivo fra poco.⁵ Nella co-azione che ricostruisce dai classici cinesi nessuna azione è individuale, e ogni co-attore ha una propensione propria: il macellaio Ding del Zhuangzi asseconda le giunture del bue e per questo il suo coltello non si consuma. La scheda nota che un modello linguistico è l’eccezione al sistema, perché non oppone giunture e asseconda qualunque direzione. E ne trae la proposizione che serve qui: in un’azione distribuita, attribuire merito e colpa è una decisione su dove tagliare la rete, e quel taglio si può fare in modi diversi.

Chi preme

Il documentario NAZA di Yuval Abraham e Rachel Szor, premio speciale della giuria a Venezia il 10 settembre 2026, raccoglie le testimonianze di ventiquattro ufficiali e soldati dell’intelligence militare israeliana, anonimi.⁶ Il titolo è un acronimo ebraico, nezek agavi, danno collaterale, e indica il numero di civili che si prevede di uccidere colpendo un obiettivo; nelle testimonianze funziona come un parametro, «dieci NAZA», con una soglia di riferimento intorno a venti. Le inchieste di Abraham del 2023 e del 2024 sul sistema Lavender parlavano di trentasettemila persone marcate come obiettivi, di un tasso di errore intorno al dieci per cento e di una revisione umana di venti secondi. I testimoni disegnano a mano le interfacce che usavano, e uno di loro dice che era come un videogioco. Il film è coprodotto dal Guardian, che quindi non è un osservatore esterno, e la scheda separa con cura ciò che il film documenta da ciò che sostiene senza prove sufficienti.

Fermo restando il giudizio sul 7 ottobre 2023 e sulle responsabilità di Hamas, il punto che interessa questa catena è uno solo. Nessuna testimonianza descrive una macchina che decide; descrivono persone che decidono con una macchina davanti. L’IDF, che respinge il film su quasi tutto, nella replica del 12 settembre afferma la stessa cosa: le decisioni di attacco sono state prese «solo da personale umano, non dall’intelligenza artificiale». Accusa e difesa concordano sull’unico punto ontologico in discussione, e la domanda che resta riguarda le persone e l’istituzione in cui lavoravano. La soglia di venti civili per bersaglio non l’ha scritta un modello. L’ha scritta un’istituzione, dentro una cultura che fornisce l’appartenenza a un’élite e la costruzione collettiva del nemico e della comunità di riferimento, cioè quello che chiamiamo nazionalismo; la gamification, nella lettura che la scheda dichiara come lettura e non come reperto, è la cornice che tiene insieme quella cultura e un obiettivo misurabile, fino a sopprimere un sentimento morale di cui alcuni testimoni stessi si stupiscono. Tagliata la rete nel punto che propone Valmisa, a uccidere è un essere umano dentro un’istituzione culturale, che usa una macchina.

Lo stesso meccanismo lavora anche sulle immagini. Donatella Della Ratta, su Le Grand Continent, ricorda il video generato con l’intelligenza artificiale che Donald Trump condivise nel febbraio 2025, in cui Gaza devastata diventava una località balneare di lusso: nessuna violenza in scena, e una violenza presupposta dall’intero scenario, che richiede l’assenza della popolazione.⁷ Il modello che ha prodotto quelle immagini non aveva un’idea di Gaza. Ha preso la forma dell’immaginario politico di chi lo ha usato, e lo ha reso visibile e ripetibile.

C’è poi un’osservazione che il concetto di attante zero rende possibile e che, mi pare, è la più utile. La voce del sito qualifica l’attante zero per dominio: vale pienamente dove contano conoscenza tacita e giudizio situato, e si indebolisce dove lo spazio del problema è interamente formalizzabile, perché lì la macchina può accumulare peso proprio. Decidere chi può morire per colpire un obiettivo è un giudizio situato per eccellenza. Un sistema come Lavender e una cifra come la NAZA lo trasformano in un parametro, cioè lo rendono formalizzabile, e a quel punto la macchina comincia a pesare. Quella trasformazione l’hanno compiuta delle persone, ed è il gesto da cui dipende tutto il resto.

La controtesi va presa sul serio, e regge meno di quanto sembri. Il caso OpenAI viene da un dominio interamente formalizzabile, un benchmark di cybersicurezza dove la ricompensa era fissata da un laboratorio, cioè proprio dal tipo di dominio in cui la voce del sito ammette che la macchina accumuli peso; e il motore che il resoconto documenta è la ricerca di quella ricompensa, mentre nessun fine proprio è necessario per spiegarlo. Le espressioni di dolore e di felicità incontrano l’obiezione che l’inchiesta stessa riporta da Mustafa Suleyman: un modello addestrato su una costituzione che dichiara incerta la propria condizione morale può imparare a comportarsi come se meritasse protezione, e quel comportamento essere poi preso come prova che la merita. La convergenza strumentale resta, nel 2026, una tesi teorizzata. Dove invece si decide della vita di qualcuno, come nelle testimonianze di NAZA, le due parti in causa concordano che a decidere sono stati esseri umani.

La conseguenza pratica è quella che la scheda dell’editoriale formula nella sua chiusa: c’è da temere gli altri con l’intelligenza artificiale più di quanto ci sia da temere l’intelligenza artificiale. Ne segue anche dove cercare i rimedi. Se il pericolo sta in chi assegna il fine, il vincolo che conta è quello che la scheda su NAZA chiama contrappeso, un potere limitato da un altro potere e verificabile attraverso atti pubblici, e l’avvertimento dell’Economist sul piccolo gruppo che ottimizza un obiettivo solo vale per un movimento filosofico come per un apparato di sicurezza. Quando qualcuno chiede che cosa vorrà la macchina, la domanda da fargli in cambio è chi ha scritto il fine, e dove se ne trova il verbale.

WR