Quattordicesimo numero di Backdoor, la newsletter su tecnologia e potere curata da Laura Carrer, Irene Doda e Andrea Daniele Signorelli. Il punto di partenza sono i due saggi con cui Dario Amodei ha chiesto di rallentare lo sviluppo dei modelli di frontiera, subito ripresi da Sam Altman ed Elon Musk, e il pezzo fa tre cose in sequenza. La prima è un audit di credibilità. Amodei, Altman e Musk non sono scienziati che esprimono un’opinione disinteressata, ma imprenditori a capo di aziende che portano avanti i propri interessi — e hanno cambiato posizione di continuo. Musk fu il primo firmatario della lettera aperta del 2023 per fermare per sei mesi lo sviluppo dei sistemi più potenti, poi passò all’accelerazionismo dichiarato, ora è tornato sui suoi passi. Altman firmò la stessa lettera, poi si dedicò alla «singolarità gentile» e all’«era dell’intelligenza abbondante», e ora è di nuovo preoccupato. Sull’argomento di Amodei secondo cui l’AI potrebbe decidere di sterminarci perché mangiamo animali e ne abbiamo estinti alcuni, Signorelli non si trattiene. Ma il rilievo di metodo vale più del sarcasmo: quando qualcuno dichiara una probabilità superiore al 10% entro cinque o dieci anni, andrebbe chiesto su quali evidenze, assunzioni e calcoli poggia quel numero — altrimenti è linguaggio pseudorazionale, non stima. La seconda è ricordare che gli scienziati veri sono divisi, e che anche i più autorevoli sbagliano. Hinton e Bengio sono allarmati, e Hinton è il padrino del deep learning, l’uomo di AlexNet. È però lo stesso che nel 2016 previde che entro dieci anni sarebbe stato inutile formare nuovi radiologi: dieci anni dopo i radiologi sono aumentati di numero e di stipendio. Yann LeCun, che ha inventato le reti neurali convoluzionali, considera i rischi esistenziali «una stronzata pazzesca»; Andrew Ng, fondatore di Google Brain, li chiama fantascienza. La terza, e il motivo per cui la scheda entra in archivio, sono i numeri. Il sondaggio di AI Impacts su 1.580 ricercatori produce titoli allarmanti, ma le sue risposte sono probabilità soggettive ottenute con formulazioni diverse, quasi sempre prive di un arco temporale definito, e riferite a una categoria che mescola l’estinzione con la «grave e permanente perdita di potere» dell’umanità, che non sono la stessa cosa; gli stessi responsabili riconoscono in nota che questo tipo di previsione esperta può essere incoerente e poco affidabile. Il Center for Responsible Innovation dello University College London accusa studi del genere di «nascondere l’incertezza e la diversità che caratterizzano normalmente la ricerca scientifica», e ne ha condotto uno proprio: oltre quattromila ricercatori, il più grande studio internazionale del genere, una sola domanda aperta — che cosa ti preoccupa di più dell’AI? Il rischio esistenziale è indicato dal 3,4%. In cima sta l’uso malevolo; seguono l’uso improprio o sbagliato con il 9,9%, la disinformazione con l’8,8%, poi l’impatto sul lavoro. Per arrivare al rischio esistenziale bisogna superare altre undici voci, fra cui la scarsa comprensione da parte del pubblico, l’hype, i bias algoritmici e la privacy. Il 96,6% dei ricercatori non considera il rischio esistenziale la minaccia principale. La conclusione è il «marketing della catastrofe», con tre funzioni distinte. Convincere il pubblico che la tecnologia è intrinsecamente pericolosa significa prima di tutto passare l’idea che sia incredibilmente potente, e quindi che gli investitori non possano permettersi di restarne fuori — mentre OpenAI e Anthropic pianificano la quotazione. Secondo, accreditare i fondatori come imprenditori responsabili, capaci di autoregolarsi o comunque da ascoltare proprio quando si scrivono le regole che dovrebbero limitarne il potere. Terzo, mettere le mani avanti: annunciare pubblicamente l’intenzione di rallentare è un buon modo per giustificarsi se la superintelligenza non si materializzasse mai. A questo Signorelli aggiunge l’argomento della distrazione — il rischio esistenziale in cima all’agenda toglie spazio a ciò che è già in corso: l’impatto sul lavoro, la corsa speculativa, la sorveglianza, le discriminazioni algoritmiche, e la crisi climatica, che è una catastrofe che sta accadendo. Per l’archivio questa scheda fa una cosa sola ma decisiva: dà una base empirica a una tesi che il sito aveva finora registrato solo nella sua forma argomentativa. Klonick la ricostruisce come meccanismo giuridico e narrativo a partire da un incidente, Seymour la enuncia in forma polemica; qui c’è la misura di quanto l’allarme sia rappresentativo della comunità che dovrebbe esprimerlo, e non lo è. Merita di essere isolata anche una convergenza inattesa: la previsione fallita di Hinton sui radiologi è lo stesso esempio, con quasi le stesse parole, che Jensen Huang usa nell’intervista a Ezra Klein — e i due non condividono nient’altro. Un argomento su cui si trovano d’accordo l’amministratore delegato di Nvidia e un critico italiano della Big Tech vale la pena di essere trattato come un fatto, non come una posizione. Resta un limite, ed è lo stesso che l’archivio ha già annotato alla voce criti-hype: il «marketing della catastrofe», nella forma in cui è enunciato, non è falsificabile — qualunque cosa i laboratori facciano vi è compatibile. Nei commenti al pezzo, Elena Canovi segnala un saggio di Luciano Floridi, Jessica Morley e Claudio Novelli che sostiene come molte di queste affermazioni siano not even wrong, cioè nemmeno passibili di smentita. È la versione rigorosa della stessa obiezione, e il candidato naturale per la prossima scheda su questo fronte.

WR