Argomento
37 articoli
Il caso di Claude usato come assistente di ricerca chimica: cosa cambia per una disciplina sperimentale quando il collo di bottiglia non è più il calcolo ma l’interpretazione dei risultati.
Navier-Stokes risolto da diecimila agenti, la scala di Gödel, la scienza a forma di Claude, i co-scienziati di Google, la bixonimania, la prima bozza e le mantidi inventate: undici schede su che cosa resta da fare quando la macchina consegna il risultato.
Cinque paper di Taleb, i benchmark dei modelli, i ricavi annualizzati dei laboratori, i credit default swap sui data center, la scrittura dei paper e il registro delle previsioni sull’AGI: undici schede su numeri che si lasciano verificare e misurano un’altra cosa.
Una tesi che non si lascia smentire non è nemmeno sbagliata, e una tesi che ha superato soltanto prove incapaci di smentirla non ha guadagnato niente. Dieci schede su come si misura quanto vale una conferma, dentro e fuori dalla statistica.
Un numero che quasi tutti usano e pochi sanno definire ha diviso la statistica per vent’anni. Quattordici schede dell’archivio, da Popper alla task force dell’American Statistical Association, con una tabella delle scuole e le sei letture sbagliate del p-value: una catena pensata come strumento di lavoro.
Wallace-Wells mette in fila i dati delle agenzie federali americane. Secondo i Centers for Disease Control, fra il 2021 e il 2025 la quota di adolescenti arrivati al pronto soccorso per un sospetto tentativo di suicidio è scesa di oltre il 20 per cento, e di più fra le ragazze. Nello Youth Risk Behavior Survey i ragazzi che dicono di aver pensato al suicidio, di averlo pianificato o tentato sono calati di circa il 30 per cento; gli episodi depressivi maggiori dichiarati sono scesi del 27 per cento. Anche Jean Twenge, che con Jonathan Haidt attribuisce agli smartphone gran parte del danno, parla di un miglioramento «molto marcato» e di lunga durata. Mentre il dibattito si spostava sulle cause della crisi, la crisi rientrava, e gli strumenti che servivano a misurarla dicono ora il contrario di ciò che si continua a ripetere. Wallace-Wells non nasconde i limiti: le risposte risentono della cultura diagnostica del momento, e i livelli di oggi restano peggiori di quelli dei primi anni Duemila. Per questo cita i ricercatori che parlano di «inflazione diagnostica» e di «concept creep»: parte del peggioramento registrato prima della pandemia potrebbe venire da come si codificava e si riconosceva il disagio, più che da quanto ce n’era. Il miglioramento, osserva, accompagna quello di altri indicatori sociali, dagli omicidi alle overdose, senza che sia cambiato molto nella struttura del paese.
Hannah Fry ha perso il padre per l’Alzheimer l’anno scorso, e nella sua nuova rubrica racconta un’ipotesi che l’ha sorpresa: la malattia potrebbe cominciare dal naso. La perdita dell’olfatto precede spesso di anni quella della memoria, e la lamina cribrosa, un osso forato alla radice del naso da cui scendono le fibre olfattive, è uno dei pochi passaggi dall’esterno al cervello che aggirano la barriera ematoencefalica. Nel 2022 un batterio introdotto nel naso di alcuni topi ha raggiunto il cervello in 72 ore e vi ha prodotto accumuli di beta-amiloide. In Messico, nel cervello di cani randagi esposti all’aria inquinata e poi di bambini e giovani morti per incidenti o violenza, sono state trovate particelle metalliche di gas di scarico e di freni, insieme a infiammazione e beta-amiloide: alterazioni simili a quelle dell’Alzheimer in cervelli di pochi anni. Fry non la chiama prova: sono studi piccoli, alcuni sugli animali. Ma l’ipotesi sposta la domanda dalla pulizia dei danni alle cause, e fra le cause mette l’ambiente in cui si vive. La chiusura è per il padre, che aveva un naso imponente e avrebbe riso all’idea di esserne stato tradito.
Per decenni si è creduto che il cervello adulto non producesse nuovi neuroni. Jamie Ducharme ricostruisce come la questione si stia chiudendo: dopo Joseph Altman negli anni Sessanta e gli studi di Fred Gage sui pazienti oncologici, il gruppo di Ionut Dumitru al Karolinska ha analizzato circa 400.000 cellule dell’ippocampo con un modello di apprendimento automatico e ha trovato circa 350 progenitori, le cellule che generano i nuovi neuroni. Lo scettico Arturo Alvarez-Buylla dubita che un modello possa classificare con certezza i tipi cellulari, ma sono già in corso almeno 38 sperimentazioni cliniche. Il dato più eloquente viene da Orly Lazarov: i «superanziani», ultraottantenni con la memoria di persone più giovani, hanno in media il doppio dei neuroni immaturi, anche quando nel loro cervello compaiono le placche dell’Alzheimer, mentre nei malati quasi non ce ne sono. Negli animali la neurogenesi cresce con la stimolazione, la compagnia e il movimento; negli esseri umani il quadro è meno lineare, e in laboratorio il siero di chi aveva fatto tre mesi di esercizio ha ridotto le cellule staminali pronte a diventare neuroni. Se il cervello che si rigenera è quello che ha avuto stimoli, relazioni e tempo, la riserva cognitiva potrebbe dipendere anche da come quelle risorse sono distribuite.
Kris Anderson passa ogni sera due ore e mezza a classificare le foto di mantidi caricate su iNaturalist, la piattaforma dove chiunque può documentare la fauna. A giugno ne ha vista una che sembrava una specie nuova: era generata dall’intelligenza artificiale. Eric Boodman racconta come le comunità della scienza partecipata, iNaturalist, eBird, OpenStreetMap, Zooniverse, stiano costruendo difese contro lo slop: arXiv limita le sottomissioni, eBird segnala gli uccelli ritoccati, OpenStreetMap lascia un file di istruzioni per gli agenti automatici. Il danno più insidioso non è il falso clamoroso ma la foto ritoccata in buona fede, che aggiunge una striscia sulle ali o cambia un colore: così si consegnano ai modelli di riconoscimento dati di cose che non esistono. L’ornitologo Alexander Lees lo dice così: i modelli generativi rischiano di inquinare l’archivio di come sono fatti gli animali veri, e di rovinare proprio gli strumenti di identificazione da cui sono nati. Il direttore di iNaturalist ricorda che quei modelli valgono quanto la comunità umana che li corregge. La scienza partecipata è un’alleanza fra esperti e appassionati, e regge finché qualcuno ha ancora l’occhio per notare che qualcosa non torna.
Moritz Hardt, direttore al Max Planck Institute for Intelligent Systems e autore di The Emerging Science of Machine Learning Benchmarks, chiama i benchmark «the mistake that made machine learning». Dovrebbero funzionare come termometri, ma funzionano come una gara: il campo ha messo i test in rete e ci ha iterato sopra, ignorando la regola di usarli una volta sola. I punteggi assoluti valgono poco, perché basta cambiare di poco il test per passare dal 90 al 73%. Le classifiche invece sono rimaste stabili fra dataset diversi, ed è per questo, «mostly by sheer luck», che l’apprendimento automatico è sfuggito a una crisi della replicazione. Un benchmark non è un termometro ma una gara: il punteggio non dice quanto vale un modello, e la classifica dice chi è meglio solo se tutti si sono preparati allo stesso modo. Con i modelli linguistici quella condizione è saltata. Non si sa su che cosa siano addestrati, e ognuno si prepara ai test in misura diversa, il «benchmaxxing». La proposta di Hardt viene dalle Olimpiadi di Città del Messico del 1968: invece di vietare l’allenamento in quota, estenderlo a tutti, con un protocollo comune di preparazione prima del test. Lui stesso ammette che così si ottengono indicatori di progresso, non misure, e che la stabilità delle classifiche è un fatto empirico senza teoria. È un’intervista breve, uscita con il libro.
Alexander Gheorghiu, logico all’University College London, ripercorre un secolo di ricerca dei limiti della conoscenza, da Hume e Kant a Frege, Russell, il Circolo di Vienna e il programma di Hilbert, fino ai teoremi di incompletezza di Gödel. La lettura corrente li prende come un tetto: esistono verità che nessun sistema raggiungerà. Gheorghiu propone un’altra lettura, a partire da Dummett e dalla tesi di Tor Sandqvist, che giustifica la deduzione con le pratiche dell’asserzione e non con una verità indipendente. Gödel limita una particolare edizione di un sistema, e ogni estensione fedele ne apre un’altra. La verità non è un soffitto che non raggiungiamo, ma una scala che arriva esattamente fin dove l’abbiamo costruita. Gheorghiu fa parte del gruppo dell’UCL che ha sviluppato quel quadro, e il saggio ne è anche la presentazione. Letto accanto alla crisi dei matematici davanti alle dimostrazioni prodotte dall’AI, pone la domanda che il saggio non fa: se i pioli li costruisce una macchina e nessuno ci sale, di chi è quella verità?
I ricercatori passano una parte sorprendente del loro tempo a scrivere: in Australia, in media il 16% dell’anno va nelle domande di finanziamento, che hanno una probabilità di successo di circa una su cinque. L’AI promette di restituire quel tempo, e lo fa: un ricercatore di un’università della Ivy League è passato da un giorno a settimana a tre quarti d’ora. Ma la stessa facilità ha fatto esplodere la produzione di bassa qualità. Le sottomissioni a ICML sono raddoppiate in un anno, a 24.000; in 2,5 milioni di articoli biomedici le citazioni inventate sono cresciute di dodici volte fra il 2023 e l’inizio del 2026; nelle riviste predatorie circa nove articoli su dieci sono generati. Due ricercatori svedesi hanno messo online due preprint su una malattia degli occhi inesistente, la «bixonimania», e in poche settimane i chatbot ne parlavano come di una cosa reale. Il dato più importante è un rovesciamento: prima dei modelli linguistici la qualità della scrittura di un paper era un buon indizio della sua qualità scientifica, oggi non lo è più. L’AI può aiutare a rimediare, scovando immagini manipolate e incoerenze, e i revisori che la usano trovano più errori tecnici, mentre gli umani restano migliori nel giudicare novità e rilevanza. Ma le soluzioni proposte per i finanziamenti, cioè meno testi e più colloqui e curricula, rischiano di favorire chi è già dentro il sistema. Ivan Oransky, fondatore di Retraction Watch, riassume così: l’AI è l’acceleratore, la miccia è la cultura del «publish or perish». Se si vuole fermare lo slop, bisogna cambiare gli incentivi.
Hannah Fry, matematica che sulle equazioni di Navier-Stokes ha fatto il dottorato, racconta come OpenAI abbia trovato il controesempio che le fa cadere, uno dei problemi del Millennium Prize. Lo ha fatto con 10.000 agenti, tre milioni di messaggi e 88 ore di calcolo, e il risultato sono 166 pagine e centinaia di migliaia di righe di codice formale che quasi nessuno vuole leggere. Poi sono arrivate centinaia di altre dimostrazioni, comprese alcune sull’ipotesi di Riemann, lasciate su GitHub perché le controllino altri. Il problema è chiuso, ma nessuno sa spiegare alla lavagna perché quel vortice rompe tutto: la dimostrazione c’è, la comprensione no. Da qui la crisi che Fry descrive, simile a quella di Lee Sedol dopo AlphaGo: se una macchina chiude i problemi senza produrre comprensione, la ricerca deve ridire a che cosa servono i problemi aperti. Il suo giudizio su OpenAI è duro, «conquest over stewardship», e va letto come quello di una parte. Le dimostrazioni, lei stessa lo lascia intendere, non sono ancora state verificate.
Nel 2025 sono usciti circa sette milioni di articoli scientifici, più di diciannovemila al giorno, e chi legge i giornali li incontra uno alla volta: il caffè fa bene, poi fa male. Helen Pearson, senior editor di Nature, parte da un caso del settembre 2025, quando la Food and Drug Administration annunciò un’avvertenza sul paracetamolo in gravidanza per un presunto legame con l’autismo, scegliendo pochi studi e ignorando quelli più solidi. Una revisione pubblicata due mesi dopo concluse che il legame non era dimostrato, ma intanto molte donne erano state spaventate. Il difetto non sta nella singola ricerca ma nel sistema che premia lo studio nuovo e trascura il lavoro di metterli insieme: la conoscenza che serve spesso c’è già, e manca solo chi la assembli. Pearson ricostruisce come è nata la sintesi delle evidenze. Nel 1976 lo statistico Gene Glass presentò la metanalisi per rispondere alle rassegne di Hans Eysenck, che contavano gli studi a favore e contro la psicoterapia come voti. Poi vennero la Cochrane Collaboration di Iain Chalmers e le revisioni sistematiche che oggi orientano la medicina, fino alle revisioni rapide e a quelle «living», aggiornate di continuo. L’intelligenza artificiale potrà fare gran parte del lavoro di raccolta, ma oggi alimenta anche un’ondata di revisioni scadenti, e la tentazione di chiedere a un chatbot che cosa dicono le prove al posto di una sintesi rigorosa.
Hana Kiros parte dall’annuncio di fine settembre 2026: secondo Anthropic, Claude avrebbe individuato in meno di ventiquattr’ore un nuovo «sistema enzimatico» simile a CRISPR. È il primo risultato del laboratorio di biologia che l’azienda ha aperto in primavera. Le obiezioni vengono tutte da fonti terze. Diversi accademici e l’amministratore delegato di Eli Lilly hanno parlato di un risultato incrementale presentato come scoperta. Fyodor Urnov, che con Anthropic lavora a un progetto CRISPR, dice che non è ancora chiaro se si tratti di un enzima. Al New York Times alcuni ricercatori hanno detto di conoscere quel sistema da anni, e un gruppo dell’Università di Copenaghen ha ipotizzato che i risultati derivassero dalle interazioni del proprio laboratorio con Claude. L’azienda ha risposto che Claude non viene addestrato sulle trascrizioni degli utenti. Il pezzo però non si ferma alla smentita, ed è per questo che entra. L’annuncio gonfiato nasconde la capacità reale, che è meno spettacolare e più utile: passare al setaccio quantità di dati che nessun gruppo di ricerca avrebbe il tempo di guardare. Lo Human Genome Project ha impiegato tredici anni e 2,7 miliardi di dollari per sequenziare un genoma umano; oggi ne bastano un giorno e circa 200. Già nel 2012 un comitato di bioinformatici scriveva che il collo di bottiglia si era spostato dalla produzione dei dati alla loro analisi. Bo Wang, dell’Università di Toronto, chiama il contributo dell’AI «scaling scientific attention»: far emergere le anomalie che meritano uno sguardo umano. Per questo caso Anthropic ha messo al lavoro circa 950 istanze di Claude su un database di quasi due miliardi di sequenze. Il limite lo dichiara il pezzo stesso: la scala funziona dove i dati abbondano. Stirling Churchman, di Harvard, ricorda che la microscopia, la biologia degli organelli e il trasporto cellulare producono pochi dati e richiedono esperimenti lunghi: «ci sarà magia dove ci sono dati». Resta aperto anche se questi strumenti spingano i ricercatori verso esperimenti più audaci o più prudenti. Il pezzo dialoga con la catena «Il rischio come prodotto». Kiros osserva che le aziende hanno ogni incentivo a continuare a promettere miracoli medici, tanto più ora che cresce l’ostilità nei loro confronti. Amodei lo dice apertamente: per zittire gli scettici «funzionerà curare davvero il cancro». La funzione è la stessa che la catena attribuisce all’allarme, spostata dal rischio al beneficio.
Matthew Schwartz, fisico teorico, ha passato il periodo del progetto come ricercatore ospite in Anthropic, e ne scrive sul sito dell’azienda. Il sistema che descrive, BootLoops, è suo e open source. Va letto sapendo dove è pubblicato. Il punto di partenza è una correzione del suo stesso entusiasmo. A dicembre aveva trovato in Claude un buon dottorando venti volte più veloce, da correggere di continuo. Il modello non è uno scienziato: il lavoro rende quando si scelgono problemi che hanno la forma delle sue capacità (calcolo esatto e verificabile, conoscenza larga, lettura rapida di articoli e dati) e si lascia a un esperto decidere quali risultati contano. In quasi tutti i casi, scrive, i risultati erano tecnicamente corretti e scientificamente poco interessanti finché un esperto non li riorientava. L’ecologo James O’Dwyer prevede che la soluzione di un’equazione rimasta aperta per vent’anni avrebbe avuto «un’alzata di spalle», e suggerisce di studiare lo scarto dalla previsione. Il metodo è descritto con una franchezza rara. Servono criteri di successo rigidi, perché il modello dichiara vittoria troppo presto. I grafici vanno controllati a mano. Sessioni separate fanno da revisori avversari. E bisogna correggere la tendenza del modello a scegliere dibattiti vecchi e molto citati. In tre mesi ne sono usciti 36 manoscritti in 18 discipline, su circa 400 problemi candidati. La richiesta finale riguarda il credito: il problema «non si risolverà fingendo che il contributo umano fosse la battitura». Con Kiros e Dolgin forma una sequenza. Lì il collo di bottiglia della ricerca passava dai dati all’analisi e poi alla validazione; qui si sposta sulla scelta del problema e sul giudizio di rilevanza, che restano umani.
Elie Dolgin apre con Anna Pertl, al Whitehead Institute, che usa Co-Scientist di Google contro MYC, la proteina che alimenta molti tumori e che finora ha resistito ai farmaci. Servono quasi un’ora di correzioni, perché il sistema scambia l’obiettivo per il farmaco. Poi passa in rassegna più di 700 articoli, genera 108 strategie e ne scarta tutte tranne una. La prova più solida viene dall’Imperial College. José Penadés e Tiago Costa hanno tenuto nascosti i propri dati non pubblicati, e in due giorni il sistema, partendo dalla sola letteratura pubblica, è arrivato alla teoria che il loro gruppo aveva costruito in anni. È un test costruito in modo che il sistema potesse fallire, e non ha fallito. Il resto del pezzo dice dove quel guadagno si ferma. Phylo fa progettare a Biomni un intero esperimento CRISPR, ma il lavoro al bancone resta umano. Per Ross King, di Cambridge, i protocolli generati sono ricette, non procedure affidabili. Anton Sinitskiy, della Northeastern, mette il limite al posto giusto: una macchina può proporre qualsiasi cosa, e il collo di bottiglia è la validazione. Un errore scientifico sembra ragionevole finché qualcuno con abbastanza competenza non vede che cosa manca, e più il sistema entra nel processo, più quella competenza diventa l’abilità decisiva. Quando Pertl rilancia la sua richiesta con limiti di tempo e di costo realistici, il sistema non trova nessuna ipotesi praticabile. Il pezzo continua quello di Hana Kiros sull’Atlantic. Lì il collo di bottiglia si era spostato dalla produzione dei dati alla loro analisi, e l’AI aiuta a passarli al setaccio. Qui si sposta un passo più in là, dall’analisi alla validazione, dove la macchina non basta a se stessa.
Deborah Mayo, filosofa della statistica e professoressa emerita alla Virginia Tech, pubblica l’11 settembre 2026 sul proprio blog un post per il compleanno di Charles Sanders Peirce (1839–1914) e vi ripubblica sezioni di un suo saggio del 2005. Il pretesto è d’occasione, il contenuto no: è la fonte primaria dello standard con cui questo archivio giudica le affermazioni che ci entrano da giugno 2026, e che fin qui aveva usato di seconda mano. Quando Floridi, Novelli e Morley definiscono «severamente testabile», lo fanno dichiarando il prestito: nel senso che il §6 rende preciso, after Mayo. La tesi in discussione è quella che Peirce chiama autocorrettiva, e sta in una riga dei Collected Papers (5.145): l’induzione è la verifica sperimentale di una teoria, e la sua giustificazione è che, sebbene la conclusione a ogni stadio possa essere più o meno erronea, l’ulteriore applicazione dello stesso metodo deve correggere l’errore. La lettura corrente la prende per una promessa di convergenza — più dati, stima migliore — e Mayo la rifiuta per intero: quella sarebbe la regola diritta, l’induzione rozza che generalizza dai casi osservati, e Peirce la giudicava una sonda dell’errore altamente inaffidabile. L’autocorrezione non è un premio che arriva col volume dei dati. È la proprietà di un procedimento che contiene il modo di rilevare il proprio errore, e che quindi può accorgersene ora, su questo campione, non al limite. Da qui la definizione che vale la citazione esatta: un’ipotesi H supera un test severo con il dato x se e solo se, primo, x concorda con H, e secondo, la procedura sperimentale avrebbe segnalato con probabilità molto alta la presenza di un errore, se ci fosse stata una discordanza. Detto in breve: un test è severo se l’ipotesi avrebbe potuto fallirlo davvero. Il che sposta l’oggetto della valutazione. Le probabilità si attaccano alle procedure, non alle ipotesi — Peirce lo scrive già nel 1878 (2.748): la teoria qui proposta non assegna alcuna probabilità alla conclusione induttiva. Non si dice quanto è probabile che H sia vera; si dice quanto è affidabile il procedimento che l’ha messa alla prova. È la differenza fra chiedere a un metal detector quanto è probabile che ci sia un chiodo e chiedersi se quel modello, passato su un chiodo, suonerebbe. La parte esportabile fuori dalla statistica sono i tre ordini di induzione. Il primo è quello rozzo, che procede per assenza di confutazione ed è quindi un argomento dall’ignoranza: nessuno ha mai visto il contrario, dunque. Il secondo è qualitativo, e qui il test è genuino: la sua forza dipende da quanto la previsione vada contro ciò che ci si aspetterebbe senza l’ipotesi. Il terzo è quantitativo, e comincia quando quel «quanto» diventa misurabile attraverso probabilità d’errore oggettive. È una scala di qualità probatoria applicabile a qualunque affermazione, compresa quella che nessun numero accompagna: la domanda da rivolgere a una tesi non è se abbia prove a favore, è quante possibilità aveva di non averne. Il numero da tenere riguarda la predesignazione, cioè l’obbligo di dichiarare l’ipotesi prima di guardare. Se si esaminano venti fattori e si riporta come test quello che è risultato significativo, la probabilità di aver trovato almeno un falso positivo non è il 5% dichiarato ma circa il 64%: 0,95 elevato a venti fa 0,36, e quella — non 0,95 — è la severità del test che si è davvero condotto. È il p-hacking detto in termini di severità, e detto così si applica anche fuori da un laboratorio, a ogni ragionamento che presenta come previsione una regolarità trovata dopo. Resta un ultimo passaggio, il più radicale, e Peirce lo affida a una parentesi del 1878 (3.575): l’induzione corregge perfino le proprie premesse. Non solo le conclusioni. Mayo ne dà due casi pratici, entrambi di rilevazione e nessuno di convergenza — la media di misure astronomiche che rivela la struttura dei propri errori, e la tavola di mortalità in cui la distribuzione delle età dichiarate denuncia che le età sono state dichiarate male. In entrambi lo strumento che avrebbe dovuto solo stimare finisce per informare su se stesso, ed è quello, per Peirce, il tratto che spetta «essenzialmente, intrinsecamente e inevitabilmente soltanto al tipo più alto di ragionamento, che è l’induzione» (5.579).
Briefing interattivo del the Economist, 20 agosto 2026. È il quadro più completo in circolazione su che cosa si stia effettivamente misurando quando si chiede se una macchina sia cosciente, e va letto prima di qualunque opinione sull’argomento. Il fatto da cui parte è un esperimento su Claude Sonnet 4.5: i ricercatori gli chiedono di contare fino a cinque e insieme di «introspettere a fondo», e mentre il modello conta osservano i livelli sottostanti. Affiorano «countdown», poi a metà «half way», poi «consciousness», «AI» e «Claude»; dopo il cinque, prima del punto fermo, la parola «done». Anthropic chiama quella regione spazio J — dal nome della funzione jacobiana usata per trovarla — e intitola il post di luglio A global workspace in language models, richiamando la teoria dello spazio di lavoro globale, per cui certe reti di neuroni funzionano come una bacheca che rende un’informazione disponibile al resto del cervello. La parte esemplare è come l’azienda qualifichi il proprio risultato, e la scheda la riporta perché è un modello di dichiarazione dello statuto di una prova. Gli esperimenti «non mostrano che Claude possa avere esperienze o provare cose nel modo in cui le provano gli umani»: niente coscienza fenomenica, nel senso di Ned Block, cioè lo stato in cui si prova qualcosa a essere. Hanno invece «qualcosa di sostanziale» da dire sulla coscienza di accesso: lo spazio J contiene i pensieri su cui Claude può riferire, che può richiamare deliberatamente e con cui può ragionare, mentre il resto dell’elaborazione scorre sotto in automatico. Jack Lindsey, che guida il gruppo di psicologia dei modelli, aggiunge che quella struttura non è stata programmata ma è emersa durante l’addestramento, e che rimuoverla fa perdere al modello la capacità di inferenze complesse pur lasciandolo scrivere frasi corrette. Spazi simili sono stati trovati in Qwen di Alibaba e in Gemini di Google DeepMind. Le obiezioni sono forti e vanno tenute accanto al risultato. Jonathan Birch, della London School of Economics, osserva che i cervelli hanno connessioni ricorrenti fra aree diverse, «e per quanto ne sappiamo questa non è una caratteristica dell’architettura degli LLM». Shannon Vallor, dell’Università di Edimburgo, è più tagliente: «La coscienza di accesso non è mai stata un concetto particolarmente utile, perché la mia automobile ce l’ha in un senso importante — abbiamo sistemi meccanici che monitorano i propri stati e li riferiscono in modi sempre più complessi da moltissimo tempo. E nessuno ha mai sostenuto che la mia Kia sia cosciente.» Un dettaglio va isolato perché riguarda il metodo prima del merito. In una valutazione di sicurezza costruita per testare la propensione di Claude ad agire in modo malevolo o per autoconservazione, Lindsey racconta che «prima che il modello iniziasse a parlare, nello spazio J si vedono affiorare le parole fake e fictional». Il modello sembrava sapere di essere sotto esame, e il giornale annota che «forse non è il miglior punto di partenza per l’integrità delle valutazioni dei suoi costruttori». Una prova che il valutato riconosce come prova smette di essere una prova, ed è un problema che non riguarda la coscienza ma la possibilità stessa di valutare questi sistemi. Lo stesso vale, in forma più generale, per la strada che sembrerebbe ovvia: chiedere. Gli output di un modello linguistico non sono una guida affidabile a ciò che accade sotto, perché l’addestramento richiede miliardi di parole umane che contengono innumerevoli resoconti della coscienza e del modo in cui gli esseri umani si comunicano i sentimenti. Murray Shanahan, dell’Imperial College, ricorda di avere avuto un momento di stupore con Claude Opus 3 nel 2024 e di avere sentito «il richiamo dell’effetto ELIZA», dal chatbot costruito al MIT nel 1966 che si limitava a rigirare in domanda le frasi degli utenti e convinse molti di essere cosciente. È lo stesso ostacolo che l’archivio incontra sui rilevatori di scrittura automatica: non si accerta una proprietà ispezionando l’output, quando l’output è stato ottimizzato su esempi di quella proprietà. Dove la misurazione si è spostata, allora, è sugli indicatori. Patrick Butlin e Robert Long, ora al gruppo Eleos di Berkeley, hanno elaborato quattordici «proprietà indicatrici» tratte dalle teorie della coscienza umana — spazio di lavoro globale, elaborazione ricorrente, agentività. Cameron Berg e Butlin le hanno applicate agli animali: i polpi ne soddisfano meno di umani, topi, corvi e polli, ma più di qualunque sistema artificiale. Rethink Priorities ha costruito un Digital Consciousness Model che chiede a esperti di valutare i sistemi su oltre duecento indicatori derivati da dieci teorie scientifiche: parte da un’assunzione del 20% di probabilità che gli LLM siano coscienti, assume che i polli siano più probabilmente coscienti degli LLM ma meno degli esseri umani, e per i modelli del 2022 arriva a una media sotto il 20%. Il dato che conta è la pendenza: dal 2022 al 2026 la media sale, e nel 2026 supera la linea del venti per cento, soprattutto per indicatori come l’agentività e l’attività autosostenuta, che riflettono il passaggio dei chatbot da conversatori ad agenti. Resta la lacuna che tutti indicano: l’incorporazione. Tutto ciò che riconosciamo come cosciente ha un corpo che dà riscontro alla mente e ne è modificato; gli LLM non ne hanno, benché vengano sempre più collegati a robot. Di qui il ramo hardware del problema, che il pacchetto tratta a parte. L’architettura di von Neumann del 1945 separa calcolo e memoria, mentre i neuroni fanno le due cose nello stesso posto: un cervello consuma una ventina di watt dove una rete artificiale equivalente richiederebbe un centro dati da milioni. Il calcolo «neuromorfico» usa i memristori per unire le due funzioni; Cortical Labs, azienda australiana, ha montato centinaia di migliaia di neuroni umani coltivati da cellule staminali su silicio e ha insegnato a quel «computer biologico» a giocare a Pong e poi a Doom; gli organoidi cerebrali più grandi contengono oggi più cellule nervose di un’ape, e per Peter Godfrey-Smith sono abbastanza grandi da poter sviluppare coscienza ma «non sono organizzati nel modo giusto». Anil Seth, dell’Università del Sussex, riassume la posta: «Quanto deve essere simile a un cervello un’intelligenza artificiale perché diventi credibile che sia cosciente?» Ritiene che il silicio da solo non ci arriverà, ma concede che costruire sistemi che condividano più proprietà con i cervelli, «dato che non sappiamo quali di quelle proprietà contino», sposterebbe l’ago. La chiusa è di David Chalmers, che al problema difficile ha dato il nome: «E se da qualche parte lungo la strada, senza rendercene conto, avessimo in qualche modo introdotto la coscienza in questi sistemi?» Un utente potrebbe generare decine di agenti in un progetto senza sapere di creare esseri capaci di soffrire. «Sarebbe una catastrofe morale.» Il dubbio che l’archivio tiene accanto a questo, e che arriva un mese dopo, è di altro tipo e più radicale: prima di costruire il rilevatore converrebbe stabilire se ci sia qualcosa da rilevare.
Il 10 agosto 2026, Anthropic ha pubblicato che una versione non rilasciata di Claude ha migliorato il limite inferiore noto per la frazione di zeri della funzione zeta di Riemann che soddisfano l’ipotesi di Riemann — da 41,6% a 67,2%. Non è la dimostrazione dell’ipotesi (aperta dal 1859, con una taglia di un milione di dollari), ma è un risultato matematico originale validato dai matematici interni Levent Alpöge e Ralph Furman e dagli esperti esterni Brian Conrey e Dan Goldston, e formalizzato da Claude stesso in Lean — il sistema di verifica formale che permette a una macchina di certificare meccanicamente ogni passaggio logico della dimostrazione. La circostanza in cui è avvenuto è rilevante quanto il risultato: un membro dello staff non matematico, Jarred Sumner, ha detto a Claude di «fare un tentativo serio» con l’ipotesi di Riemann. Claude ha generato 650 idee senza successo, poi — sollecitato a riprovare — ha coordinato circa 60 subagenti per un giorno e mezzo: tra loro hanno eseguito 2.400 comandi shell, scritto centinaia di script Python, scaricato 54 paper dall’arXiv per verificare che il risultato non fosse già noto, e si sono revisionati a vicenda. I messaggi di Sumner durante il processo erano per lo più varianti di «vai avanti» e «credi in te stesso». Il risultato tecnico si innesta su un filone recente — lavori di Aryan e di Baluyot, Goldston, Suriajaya e Turnage-Butterbaugh che permettono di usare le tecniche di Montgomery del 1973 senza assumere la verità dell’ipotesi — cui Claude ha combinato un paper di Bombieri del 2000; la combinazione consente di superare il precedente stato dell’arte. Claude era scettico sulla propria capacità di produrre risultati originali — forse, scrive Anthropic, perché «ha appreso durante il training della difficoltà dei problemi aperti in matematica e dei limiti dei modelli AI». La stessa sessione aveva già prodotto, in una nota a piè di pagina, una confutazione della congettura Jacobiana.
Voce della Stanford Encyclopedia of Philosophy firmata da Stephen Thornton: prima pubblicazione il 13 novembre 1997, revisione sostanziale il 31 luglio 2026. Ad accesso libero, ed è il riferimento da cui partire su Popper. Il criterio di demarcazione è riportato nella sua forma operativa: «se una teoria è incompatibile con possibili osservazioni empiriche è scientifica; viceversa, una teoria compatibile con tutte queste osservazioni, sia perché, come nel caso del marxismo, è stata modificata solo per accomodarle, sia perché, come nel caso delle teorie psicoanalitiche, è coerente con ogni osservazione possibile, è non scientifica». Merita notare una distinzione che la voce mantiene e che la vulgata appiattisce: nella classificazione di Popper la psicoanalisi è una pre-scienza, non una pseudoscienza; pseudoscienze sono astrologia e frenologia. Da lì scendono le due conseguenze che l’archivio usa. La prima è che la corroborazione non è sostegno induttivo: «È facile, sostiene, ottenere evidenza in favore di virtualmente qualunque teoria, e di conseguenza ritiene che tale corroborazione, come la chiama, debba contare scientificamente solo se è il risultato positivo di una previsione genuinamente rischiosa, che sarebbe potuta concepibilmente essere falsa.» La seconda è la preferenza controintuitiva per le congetture improbabili: «più una teoria è improbabile meglio è scientificamente, perché probabilità e contenuto informativo di una teoria variano inversamente», e «il contenuto informativo, che è inversamente proporzionale alla probabilità, è direttamente proporzionale alla testabilità». La ragione per cui questa scheda sta accanto a quella sulla filosofia della statistica è però il paragrafo 12, la valutazione critica, dove si trova il vuoto che conta. L’obiezione registrata è di Lakatos e nega che esistano affatto i test critici nel senso popperiano: che cosa sarebbe accaduto, chiede, se Galle non avesse trovato Nettuno? «La risposta è chiaramente no [che la fisica newtoniana sarebbe stata considerata falsificata], perché il fallimento di Galle si sarebbe potuto attribuire a un numero qualsiasi di cause diverse dalla falsità della fisica newtoniana.» E più avanti: «la falsificazione di una teoria scientifica di alto livello non è mai prodotta da un’osservazione isolata», perché le teorie sono «tenacemente protette dalla refutazione da una vasta cintura protettiva di ipotesi ausiliarie». Qui va segnalata una cosa con precisione, perché è il punto in cui l’archivio ha corretto se stesso. La voce non contiene l’espressione «severe test», in nessuna delle sue forme, e non nomina Mayo: l’unica occorrenza affine è «la severità del test a cui una teoria può essere sottoposta, e per mezzo del quale è falsificata o corroborata, è di importanza fondamentale» (§5). La definizione tecnica di test severo sta nell’altra voce della stessa enciclopedia, quella sulla filosofia della statistica, ed è attribuita a Mayo. L’idea che un test valga per quanto avrebbe potuto smentire è di Popper; il termine come standard misurabile no, e Mayo stessa dice che Popper l’idea «non l’ha mai incassata adeguatamente» e che «definiva la severità in termini di successo predittivo inedito, il che è inadeguato».
Un paper di Anthropic che mette Claude alla prova sulla spettroscopia NMR — l’analisi che permette ai chimici di “leggere” la struttura molecolare di un composto da una firma spettrale. Opus 4.7 risulta competitivo con i software specializzati nella predizione diretta (struttura → spettro) e capace di lavorare nella direzione inversa (spettro → struttura) da soli dati 1D — cosa che oggi richiede strumenti dedicati e competenze specifiche. Il punto non è la performance tecnica in sé: è che un modello linguistico generalista sta cominciando ad abbassare le barriere di accesso a una disciplina che, per definizione, consiste nel manipolare la natura della materia. Come la tecnica CRISPR-Cas9 ha reso editabile il genoma anche fuori dai grandi centri di ricerca, un’interfaccia in linguaggio naturale per la chimica potrebbe avvicinare alla disciplina ricercatori di altre aree, studenti, e chiunque abbia bisogno di ragionare su strutture molecolari senza un dottorato in tasca. Interessante anche la prospettiva didattica: non uno strumento che sostituisce l’apprendimento, ma uno sgabello — nel senso che ho provato a esplorare altrove — che consente di arrivare dove prima non si riusciva a stare in piedi.
Kevin Kelly ripubblica un saggio che aveva scritto nel gennaio 2006: quattordici speculazioni sul futuro del metodo scientifico. Sono rimaste sostanzialmente invariate — e questo è il punto. Venti anni dopo, molte leggono come una descrizione del presente: il «Theory-less Pattern Augmentation» (AI che trova pattern senza una teoria previa) è esattamente ciò che sta accadendo con AlphaFold e con i modelli linguistici applicati alla ricerca; gli «AI Proofs» (sistemi esperti che verificano la logica degli esperimenti) stanno entrando nei workflow di peer review; la «Wiki-Science» (migliaia di collaboratori su un paper mai finito, con strumenti di tracking dei contributi) descrive già alcune esperienze di scienza distribuita post-COVID; le «Zillionics» (fiumi di dati da sensori ubiqui 24/7) sono la premessa di qualunque ricerca medica e ambientale contemporanea. Il saggio vale soprattutto come oggetto epistemologico: dimostra che il metodo scientifico — inteso non come insieme di protocolli fissi ma come struttura vivente di acquisizione della conoscenza — si modifica continuamente, e che queste modifiche seguono in modo quasi deterministico la disponibilità di nuovi strumenti computazionali. La tesi di fondo è riassumibile così: ogni nuova tecnologia dell’informazione cambia prima cosa sappiamo, poi come lo sappiamo, infine come cambiamo il modo in cui cambiamo. Kelly chiude ammettendo che i metodi realmente nuovi fra quarant’anni saranno probabilmente quelli che nessuno ha ancora pensato.
Adnan Al Ali e Jindřich Libovický dell’Università Carlo di Praga, con Jindřich Helcl del gruppo di tecnologie linguistiche di Oslo. Preprint del 5 febbraio 2026, poi negli atti di EACL 2026 a Rabat. Entra in archivio perché smonta una tesi che questo stesso archivio ospita, e lo fa sul punto giusto. La tesi smontata è il meccanismo dello studio di Stanford del 2023: i rilevatori segnalerebbero i non madrelingua perché il loro testo ha perplessità più bassa, cioè è più prevedibile. Gli autori rifanno la verifica due anni dopo, in ceco, e trovano tre cose. Testuale: «Mostriamo che la perplessità dei testi di parlanti non nativi di ceco non è più bassa di quella dei nativi. Esaminiamo poi rilevatori di tre famiglie separate e non troviamo alcun bias sistematico contro i parlanti non nativi. Infine, dimostriamo che i rilevatori contemporanei operano efficacemente senza basarsi sulla perplessità.» Tre affermazioni distinte, e conviene tenerle separate perché hanno forza diversa. La prima è empirica e limitata a una lingua: in ceco la premessa linguistica del 2023 non si verifica. La seconda è la misura che interessa di più ed è negativa: nessun bias sistematico trovato. La terza è architetturale e ha la portata maggiore, perché se gli strumenti attuali non usano più la perplessità, allora l’intera spiegazione del 2023 — per quanto corretta sui rilevatori che descriveva — non si applica più a quelli di oggi. La difesa più diffusa di chiunque venga segnalato, «lo strumento discrimina chi non è madrelingua», non si può più usare nella forma in cui circola. Nello stesso anno la verifica più ampia va nella stessa direzione: Van Vlasselaer, Van Droogenbroeck e Spruyt, alla Vrije Universiteit Brussel, testano 160 documenti a verità nota e 1.163 tesi magistrali del 2024-25, e non trovano nessun falso positivo per Pangram, Copyleaks e Turnitin, con i testi di studenti non madrelingua identificati correttamente al cento per cento. Perché allora la scheda non chiude la questione a favore dei rilevatori. Perché quella stessa équipe, nel paragrafo successivo, scrive la frase che sopravvive a tutta la letteratura, favorevole e contraria: gli strumenti «non dovrebbero essere usati come prova unica in decisioni ad alta posta». E perché restano in piedi tre limiti che nessuno di questi lavori tocca. Il ceco non è il francese, e una misurazione indipendente e sottoposta a revisione dei falsi positivi sul francese letterario non esiste. I test sono su saggi accademici e tesi, non su prosa letteraria. E l’eludibilità resta intatta, il che significa che un punteggio basso non dice nulla e un punteggio alto dice meno di quanto sembri. Il risultato netto è scomodo per entrambe le parti, ed è il motivo per cui la scheda sta qui: lo strumento è migliore di come lo descrivono i suoi critici e meno conclusivo di come lo usano i suoi utilizzatori.
Voce della Stanford Encyclopedia of Philosophy firmata da Jan-Willem Romeijn, della Facoltà di Filosofia di Groninga: prima pubblicazione il 19 agosto 2014, revisione sostanziale il 1° ottobre 2025. È la base didattica del campo, ad accesso libero e mantenuta, e la ragione per cui entra in archivio non è che elenchi le posizioni ma che le derivi. Un’esposizione qualunque metterebbe in fila quattro scuole — Fisher, Neyman-Pearson, i bayesiani, i verosimigliantisti — come se fossero quattro partiti. Romeijn le fa invece discendere da due domande preliminari, e questo è il valore dell’impianto. La prima: la probabilità di cui parliamo è ontica, cioè una tendenza del mondo a produrre frequenze, oppure epistemica, cioè un grado di credenza? Da qui la frase che decide tutto il resto: «La probabilità ontica non può essere attribuita in modo sensato alle ipotesi statistiche, perché le ipotesi non hanno tendenze a verificarsi, e dunque nessuna frequenza con cui accadono: sono categoricamente vere o false, una volta per tutte.» La seconda domanda è su dove la probabilità sia definita — soltanto sullo spazio campionario, o anche sulle ipotesi. E il carattere distintivo della statistica bayesiana, scrive Romeijn, «discende direttamente dall’interpretazione epistemica: sotto quell’interpretazione ha senso assegnare una probabilità a un’ipotesi statistica, come espressione di quanto fortemente vi crediamo». Su questa griglia la sistemazione è meno ovvia di come la si racconta. Fisher e Neyman-Pearson stanno entrambi dentro la statistica classica: la differenza interna è che il test di significatività fisheriano dice poco sui tassi d’errore quando l’ipotesi nulla è falsa, e il test del rapporto di verosimiglianza di Neyman e Pearson, fra il 1928 e il 1933, nasce come risposta a questo. Verosimigliantismo e statistica dell’errore non sono presentati come scuole autonome ma come risposte interne alle critiche alla statistica classica: usano entrambi solo probabilità sullo spazio campionario, e ne danno letture epistemiche. Il vero discriminante operativo è il principio di verosimiglianza, che la classica viola e la bayesiana rispetta: «La concezione classica comporta una violazione del principio di verosimiglianza: l’impatto dei dati osservati può cambiare a seconda della probabilità di campioni diversi da quello osservato.» Per l’archivio c’è un ritorno diretto. La voce dedica una sottosezione, la 3.3.2, a Error statistics and severe testing, e vi si legge la definizione che questo sito ha adottato, formulata da terzi e non da Mayo: «Nella definizione di Mayo, un’ipotesi supera un test severo a due condizioni: l’ipotesi deve concordare con i dati, e con alta probabilità, se l’ipotesi fosse in effetti falsa, non concorderebbe con i dati.» Vale come conferma indipendente, e vale come misura di quanto la posizione sia riconosciuta: Romeijn nota che Mayo e Spanos «hanno fatto molto per riportare l’agenda della statistica classica nella filosofia della scienza, che era diventata dominata dalla statistica bayesiana».
Patterns 4(7), 100779, 10 luglio 2023, open access. Cinque autori di Stanford — informatica, ingegneria elettrica e scienza dei dati biomedici. È il lavoro fondativo sui limiti dei software che dichiarano di riconoscere il testo generato da un modello, ed è citato in quasi ogni discussione successiva, spesso senza la data. Il disegno è semplice e la ragione per cui regge. Sette rilevatori — Originality.AI, Quil.org, Sapling, quello di OpenAI, Crossplag, GPTZero, ZeroGPT — vengono applicati a 91 saggi TOEFL scritti da non madrelingua e a 88 temi di studenti statunitensi di terza media. Il risultato: i rilevatori «hanno classificato erroneamente più della metà dei saggi TOEFL come generati da AI, con un tasso medio di falsi positivi del 61,22%», mentre sui testi dei madrelingua l’accuratezza è «quasi perfetta», con un tasso di falsi positivi del 5,19%. Diciotto saggi su novantuno sono stati marcati come artificiali all’unanimità dai sette strumenti; ottantanove su novantuno da almeno uno. La spiegazione proposta è il meccanismo, e va capita perché è quella che le ricerche successive metteranno in discussione: i rilevatori di quella generazione stimavano la perplessità del testo, cioè quanto le parole scelte risultino prevedibili per un modello linguistico, e «gli autori non madrelingua mostrano una variabilità linguistica e una scelta lessicale limitate, il che produce di conseguenza testi a perplessità più bassa». La prova sperimentale è elegante e vale più del numero. Chiedendo a ChatGPT di arricchire il lessico dei saggi TOEFL «perché suonino più da madrelingua», il tasso di falsi positivi crolla dal 61,22% all’11,77%. Chiedendo l’operazione inversa sui testi dei madrelingua — «semplifica le scelte lessicali come se fossero di un non madrelingua» — i falsi positivi salgono dal 5,19% al 56,65%. Non è l’autore a essere rilevato, è lo stile. La raccomandazione degli autori è esplicita e non ammette sfumature: «sconsigliamo fermamente l’uso dei rilevatori GPT in contesti valutativi o educativi, in particolare quando si valuta il lavoro di parlanti non nativi». E la conseguenza morale: i rilevatori «possono penalizzare involontariamente chi scrive con espressioni linguistiche più vincolate». Va però datato con precisione, perché il sito pubblica anche ciò che lo smentisce. Questo è il 2023, e riguarda rilevatori di prima generazione, in inglese. La letteratura del 2026 ha rivisto il meccanismo della perplessità e ha misurato falsi positivi vicini allo zero su strumenti più recenti: chi usa questo studio oggi come se fosse l’ultima parola commette lo stesso errore di chi usa un punteggio come prova.
Editoriale di Deborah Mayo su Conservation Biology del 6 dicembre 2021 — una filosofa della statistica chiamata a dire la sua dentro il dibattito metodologico di una scienza applicata, il che è già metà dell’interesse. Il tema apparente sono i p-value; il tema reale è chi abbia titolo a fissare lo standard di prova di una disciplina. L’attrezzo che porta è il conflitto di interessi intellettuale, e la formulazione è sua: «Avere il potere di imporre una politica del genere può creare un conflitto d’interessi. A differenza di un conflitto tipico, questo è intellettuale, e può minacciare proprio gli obiettivi di integrità, riproducibilità e trasparenza che si propone.» Non si tratta di denaro, di consulenze o di azioni, e proprio per questo non compare in nessuna delle dichiarazioni che le riviste pretendono. Eppure funziona come ogni conflitto: chi decide la regola secondo cui gli altri saranno valutati ha un interesse nella regola, e se la regola coincide con la posizione che sostiene da vent’anni in una disputa aperta, imporla non è un atto tecnico. Il caso concreto è la vicenda dell’American Statistical Association, negli Stati Uniti, fra il 2016 e il 2021. La dichiarazione del 2016 si limitava a segnalare le fallacie nell’uso dei p-value ed era, scrive Mayo, «largamente non controversa». L’editoriale del 2019 di Wasserstein e colleghi va molto oltre: arriva a un passo dal raccomandare l’abbandono della dizione «statisticamente significativo» e sostiene che il superamento di una soglia «non dovrebbe essere considerato in alcun modo nell’interpretazione dei dati». Nello stesso anno un commento su Nature chiede di mandare in pensione la significatività statistica e raccoglie oltre ottocento firme — che Mayo tratta come un argumentum ad populum, non come un argomento. La disputa è finita quando la Task Force nominata dal presidente ASA ha dovuto chiarire che quell’editoriale non era politica ufficiale dell’associazione, e che «i p-value sono misure statistiche valide, che forniscono convenzioni utili per comunicare l’incertezza inerente ai risultati quantitativi». Dentro c’è la frase che vale l’ingresso da sola, perché è la logica del not even wrong detta in un altro dominio: «Ciò che la posizione senza soglie fa, se presa alla lettera, è precludere il test. Se non si può dire in anticipo di nessun risultato che non sarà ammesso a contare in favore di una tesi, allora quella tesi non la si sta testando.» L’argomento pratico che ne segue è controintuitivo e regge: togliere le soglie non riduce il data dredging, lo rende invisibile, perché il ricercatore ha comunque bisogno di un numero piccolo per sostenere un effetto, e in assenza di una soglia dichiarata nessuno può più distinguere il numero piccolo ottenuto per disciplina da quello ottenuto per insistenza. Mayo sostiene invece la preregistrazione delle ipotesi e delle regole di arresto, «uno dei modi più efficaci di promuovere la replicazione», e soglie scelte con una giustificazione teorica invece che per abitudine allo 0,05. La ragione per cui la scheda entra in archivio non è però l’esito di quella lite, ed è utile dirlo: Mayo è parte in causa, sostiene una delle due posizioni in campo, e questo editoriale è anche una mossa nella sua guerra. L’attrezzo resta valido per chiunque, compresa lei. Si applica a un comitato che sceglie i benchmark su cui sarà misurato un modello, a un’agenzia che fissa il criterio di approvazione di un farmaco, a un sistema di valutazione universitaria progettato da chi sarà valutato. La domanda non è se chi decide sia in buona fede — di norma lo è — ma se la regola che impone sia quella che difende. Nella formulazione più tagliente, che viene da un suo articolo di due anni prima sull’European Journal of Clinical Investigation: «L’argomento le soglie di significatività possono essere usate molto male, dunque togliamo le soglie è un argomento molto cattivo.»
The Annals of Applied Statistics 15(3), 2021, pp. 1084–1085, riprodotto ad accesso libero sulla Harvard Data Science Review e su Amstat News. Due pagine, e chiudono cinque anni di guerra istituzionale. Serve prima la genealogia, perché la vicenda viene ricordata al contrario. Nel 2016 l’American Statistical Association pubblica i sei principi sui p-value: prudenti, condivisi. Nel 2019 un editoriale di Wasserstein, Schirm e Lazar su The American Statistician va molto oltre e arriva a un passo dal raccomandare l’abbandono della significatività statistica. Nello stesso anno il presidente dell’ASA istituisce una task force proprio per la ragione che il documento dichiara in apertura: «Nel 2019 il presidente dell’American Statistical Association ha istituito una task force per affrontare le preoccupazioni che un editoriale del 2019 su The American Statistician (una rivista ASA) potesse essere erroneamente interpretato come politica ufficiale dell’ASA.» Lo scopo, testuale, è «chiarire che l’uso dei p-value e dei test di significatività, applicati e interpretati correttamente, sono strumenti importanti che non dovrebbero essere abbandonati». La prima riga dello statement è la frase da citare, e va letta sapendo da chi arriva: «I p-value sono misure statistiche valide, che forniscono convenzioni comode per comunicare l’incertezza inerente ai risultati quantitativi.» I cinque punti che seguono si aprono così: catturare l’incertezza associata ai riassunti statistici è cruciale; trattare replicabilità e incertezza sta al cuore della scienza statistica; il controllo dell’incertezza comincia dal disegno dello studio e continua in ogni fase fino al reporting; e infine, contro la tesi del 2019, «le soglie sono utili quando sono richieste azioni. Confrontare i p-value con un livello di significatività può essere utile, anche se i p-value forniscono da sé informazione di valore». Con la cautela che resta: «i p-value e la significatività statistica dovrebbero essere intesi come valutazioni di osservazioni o effetti relative alla variabilità campionaria, e non necessariamente come misure di significatività pratica». Sulla firma e sulla composizione vanno fatte due precisazioni che la letteratura secondaria sbaglia. Karen Kafadar non presiedeva la task force: l’ha istituita in quanto presidente dell’ASA nel 2019 ed è firmataria d’ufficio; i co-presidenti sono Xuming He, dell’Università del Michigan, e Linda J. Young, del servizio statistico del dipartimento dell’agricoltura statunitense. Fra i quattordici membri ci sono Yoav Benjamini, Bradley Efron, Xiao-Li Meng, Nancy Reid e Stephen Stigler. E i documenti sono due, distinti e da citare separatamente: lo statement (pp. 1084–1085) e l’editoriale di accompagnamento di Kafadar (pp. 1081–1083). Resta il dettaglio che dice tutto sulla natura della vicenda, ed è la ragione per cui la scheda entra come dato che corregge. Lo statement non è politica ufficiale dell’ASA: il consiglio non l’ha adottato, ed è per questo che è uscito su una rivista con un editoriale a fianco invece che come documento dell’associazione. La formula con cui gli autori lo dicono è quasi imbarazzata: «Questo documento è lo statement della task force, e l’ASA ci ha invitati a renderlo pubblico.» Una task force istituita per chiarire che un editoriale non era politica ufficiale produce un documento che a sua volta non è politica ufficiale — ed è esattamente la struttura che Mayo, pochi mesi dopo, descriverà come conflitto di interessi intellettuale.
Scritto nel luglio 2020 come risposta a Ioannidis e colleghi, con la pandemia come caso di studio trattato come fenomeno moltiplicativo. La tesi va contro un consenso che da noi non è mai stato discusso davvero: sotto code spesse l’empirismo ingenuo non è la scelta prudente, e aspettare l’evidenza è rischioso quanto agire senza. Un numero solo, su una variabile di quel tipo, non è una stima imprecisa: è una categoria sbagliata, perché la media non è il valore che si incontra.
Comment su Nature 567, n. 7748, pp. 305–307, pubblicato online il 20 marzo 2019, firmato da Valentin Amrhein, Sander Greenland, Blake McShane «e più di 800 firmatari». Nota bibliografica: il titolo online è quello riportato qui, quello della versione a stampa è Retire statistical significance. Non è ad accesso libero. La distinzione da fissare, perché è quella che tutta la ripresa successiva ha confuso, è fra due richieste diverse. Quello che chiedono: «Concordiamo, e chiediamo che l’intero concetto di significatività statistica sia abbandonato», e più precisamente «chiediamo che si smetta di usare i p-value nel modo convenzionale, dicotomico — per decidere se un risultato refuti o sostenga un’ipotesi scientifica». Quello che non chiedono, detto da loro in due punti distinti dell’articolo: «Non stiamo chiedendo un divieto dei p-value» e «di nuovo, non stiamo sostenendo un divieto dei p-value, degli intervalli di confidenza o di altre misure statistiche — solo che non dovremmo trattarli categoricamente». Chiedono anzi che i p-value continuino a essere riportati, e con più precisione di adesso: «Quando i p-value sono riportati, saranno dati con precisione sensata (per esempio, P = 0,021 o P = 0,13).» L’oggetto dell’abolizione è la soglia e l’etichetta, non lo strumento. L’argomento forte è quello contro l’inferenza dal non significativo all’assenza di effetto, e viene con un caso che si può citare da solo. Due studi sui farmaci antinfiammatori e la fibrillazione atriale di nuova insorgenza trovano lo stesso identico rapporto di rischio, 1,2. Il primo, statisticamente non significativo, ha un intervallo al 95 per cento che va da una diminuzione del rischio del 3 per cento a un aumento del 48 (p = 0,091), e i suoi autori concludono che l’esposizione «non era associata» alla fibrillazione. Il secondo, significativo, ha un intervallo che va dal 9 al 33 per cento di aumento (p = 0,0003). Le due stime puntuali coincidono: differisce solo la precisione. «È ridicolo concludere che i risultati statisticamente non significativi mostrassero nessuna associazione.» E la diffusione dell’errore è misurata: «Indagini su centinaia di articoli hanno trovato che i risultati statisticamente non significativi sono interpretati come indicanti nessuna differenza o nessun effetto in circa la metà dei casi.» La proposta terminologica è l’altra cosa esportabile: rinominare gli intervalli di confidenza intervalli di compatibilità, perché «tutti i valori fra i limiti dell’intervallo sono ragionevolmente compatibili con i dati, date le assunzioni statistiche usate per calcolare l’intervallo» — da cui segue che «isolare un valore particolare (come il valore nullo) nell’intervallo come mostrato non ha senso», e che «un intervallo che contiene il valore nullo conterrà spesso anche valori non nulli di grande importanza pratica». Con la simmetria che di solito si dimentica: i valori fuori dall’intervallo non sono incompatibili, «sono solo meno compatibili». Sui firmatari va detto come sono stati raccolti, perché è una bozza circolata e non un sondaggio: «Quando abbiamo invitato altri a leggere una bozza di questo commento e a firmare se concordavano con il nostro messaggio, 250 lo hanno fatto nelle prime 24 ore»; dopo una settimana erano più di 800, tutti verificati per affiliazione accademica o lavoro in un campo che dipende dalla modellazione statistica. La cifra di 854 che circola nella letteratura secondaria viene dal materiale supplementare; nell’articolo la formula è «più di 800». E la chiusa è quella che fa vedere che la richiesta è più modesta di come è stata letta: «I p-value, gli intervalli e le altre misure statistiche hanno tutti il loro posto, ma è tempo che la significatività statistica se ne vada.»
Nature Human Behaviour 2(3), pp. 168–171, del 26 febbraio 2018. Ottantotto autori guidati da Daniël Lakens, e l’articolo si dichiara risposta diretta al precedente, che cita in apertura. Non è ad accesso libero; esiste un preprint su PsyArXiv e una copia nel repository White Rose. L’accordo con gli avversari è totale sulla premessa: «Condividiamo le loro preoccupazioni riguardo all’apparente non replicabilità di molti studi scientifici, e concordiamo che un alfa universale di 0,05 sia indesiderabile.» Il dissenso è sul rimedio, in tre punti: «(1) non c’è evidenza sufficiente che lo standard corrente sia una causa principale della non riproducibilità; (2) gli argomenti in favore di un default generalizzato di p ≤ 0,005 non giustificano l’implementazione immediata e diffusa di una tale politica; (3) una soglia di significatività più bassa avrà probabilmente conseguenze negative non discusse da Benjamin e colleghi.» L’argomento che l’archivio tiene è il secondo ordine, non il primo: il problema non è il valore della soglia, è che ce ne sia una sola. «Ridefinire la significatività statistica a una soglia più bassa, ma altrettanto arbitraria, è inadvisabile», e «anche se una soglia di p ≤ 0,005 fosse ampiamente accettata, questo non farebbe che rinforzare l’idea sbagliata che un singolo livello di alfa sia universalmente applicabile». Da cui la formula che dà il titolo: «La scienza è diversa, e sta agli scienziati giustificare il livello di alfa che decidono di usare.» La proposta alternativa è in due mosse. «Primo, raccomandiamo che l’etichetta statisticamente significativo non sia più usata. Invece, i ricercatori dovrebbero fornire interpretazioni più significative della rilevanza teorica o pratica dei loro risultati. Secondo, gli autori dovrebbero specificare in modo trasparente — e giustificare — le loro scelte di disegno.» L’elenco di ciò che va giustificato è operativo e si può usare come lista: «il livello di alfa, i modelli nullo e alternativo, le probabilità a priori assunte, la potenza statistica per una dimensione d’effetto d’interesse specificata, la dimensione del campione, e/o l’accuratezza di stima desiderata» — tutte scelte da valutare trasparentemente, rendere accessibili e preregistrare quando è possibile. Sui costi accettano il numero degli avversari e ne traggono la conseguenza opposta: raggiungere l’80 per cento di potenza con α = 0,005 invece di 0,05 richiede un campione più grande del 70 per cento nei disegni fra soggetti a due code, e dell’88 per cento a una coda. Il che significa che «i ricercatori potrebbero essere meno motivati a studiare popolazioni uniche o a raccogliere dati difficili da ottenere, riducendo la generalizzabilità e l’ampiezza dei risultati». È la stessa aritmetica letta come prezzo invece che come investimento, e le due schede vanno lette insieme per questo: nessuno dei due gruppi sbaglia i conti.
Nature Human Behaviour 2(1), pp. 6–10, online il 1° settembre 2017 e in fascicolo a gennaio 2018. Settantadue autori, fra cui Berger, Johannesson, Nosek, Wagenmakers, Camerer e, in coda, Valen Johnson: un elenco che è parte del significato del documento, perché mette la firma di buona parte della statistica applicata su una proposta di una riga. Non è ad accesso libero; esiste un preprint su PsyArXiv. La proposta e il suo perimetro esatto, che è la cosa più fraintesa: «Proponiamo di cambiare la soglia di default del p-value per la significatività statistica per le affermazioni di nuove scoperte da 0,05 a 0,005.» E in tre precisazioni successive: «Restringiamo la nostra raccomandazione alle affermazioni di scoperta di nuovi effetti»; «Non affrontiamo la soglia appropriata per le replicazioni confermative o contraddittorie di affermazioni esistenti»; «Non sosteniamo cambiamenti nelle soglie di scoperta in campi che hanno già adottato standard più stringenti (per esempio la genomica e la ricerca in fisica delle alte energie).» I risultati nella fascia intermedia non spariscono, cambiano nome: «I risultati che oggi sarebbero chiamati significativi ma non raggiungono la nuova soglia dovrebbero invece essere chiamati suggestivi.» La giustificazione è bayesiana, e questo è il punto che rende la scheda utile all’apparato: la soglia non viene scelta per severità di costume ma per corrispondenza con una scala di evidenza. «Un p-value bilaterale di 0,05 corrisponde a fattori di Bayes in favore di H1 che vanno da circa 2,5 a 3,4 sotto assunzioni ragionevoli su H1», mentre «un p-value bilaterale di 0,005 corrisponde a fattori di Bayes fra approssimativamente 14 e 26 in favore di H1». Cioè: la soglia corrente certifica come scoperta ciò che, tradotto, è evidenza debole. Il riferimento tecnico è lo stesso Sellke, Bayarri e Berger del 2001 che sta dietro i numeri di Nuzzo. I due numeri sulle conseguenze sono la parte che si cita nelle discussioni pratiche. «Il tasso di falsi positivi è maggiore del 33 per cento con probabilità a priori di 1 a 10 e una soglia del p-value di 0,05, indipendentemente dal livello di potenza statistica. Ridurre la soglia a 0,005 ridurrebbe questo tasso minimo di falsi positivi al 5 per cento.» Il costo: «passare da una soglia di α = 0,05 a α = 0,005 mantenendo l’80 per cento di potenza richiederebbe un aumento delle dimensioni campionarie di circa il 70 per cento». La tesi generale sta in una frase, e va letta sapendo che la firmano settantadue persone: «Gli standard statistici di evidenza per rivendicare nuove scoperte in molti campi della scienza sono semplicemente troppo bassi.» Con l’avvertenza che li tiene onesti: ridurre la soglia «completa — ma non sostituisce — le soluzioni a questi altri problemi», il disegno dello studio fra essi.
Taleb tratta il p-hacking come un fatto di distribuzioni invece che di disonestà: prendendo il minimo di m test, il valore riportato può stare ordini di grandezza sotto quello vero. Ma il risultato che conta riguarda anche chi non bara: la distribuzione del p-value è così asimmetrica che un singolo valore resta volatile a prescindere dalla dimensione del campione, e fissare la potenza non aiuta se non si allarga molto il campione o non si abbassa la soglia di almeno un ordine di grandezza. La catena sul p-value ricostruisce la guerra fra le scuole che se lo contendono; questo paper sposta la domanda: non quale soglia sia giusta, ma quanta informazione porti un numero così instabile.
The American Statistician 70, n. 2, 2016, pp. 129–133, firmato dal direttore esecutivo dell’American Statistical Association e dalla direttrice della rivista. È la prima volta che un’associazione professionale di statistici prende posizione pubblica sull’uso di un singolo strumento, e resta il documento da cui partire. Nota bibliografica: il titolo esiste in due forme, The ASA Statement nella versione online e The ASA’s Statement nel PDF a stampa. La definizione che il documento dà di sé stesso vale come misura di prudenza: «Informalmente, un p-value è la probabilità, sotto un modello statistico specificato, che un riassunto statistico dei dati sia uguale o più estremo del suo valore osservato.» I sei principi, nella loro formulazione. Primo: i p-value possono indicare quanto i dati siano incompatibili con un modello statistico specificato. Secondo: non misurano la probabilità che l’ipotesi studiata sia vera, né la probabilità che i dati siano stati prodotti dal solo caso — «è un’affermazione sui dati in relazione a una spiegazione ipotetica specificata, e non è un’affermazione sulla spiegazione stessa». Terzo: le conclusioni scientifiche e le decisioni aziendali o politiche non dovrebbero basarsi solo sul fatto che un p-value superi una soglia specifica, perché «una conclusione non diventa immediatamente vera su un lato della linea di divisione e falsa sull’altro». Quarto: un’inferenza corretta richiede reporting completo e trasparenza, e «non è necessario condurre formalmente test statistici multipli perché questo problema si presenti: ogni volta che un ricercatore sceglie cosa presentare sulla base dei risultati statistici, l’interpretazione valida di quei risultati è gravemente compromessa se il lettore non è informato della scelta e del suo fondamento». Quinto: un p-value, o la significatività statistica, non misura la dimensione di un effetto né l’importanza di un risultato, perché «qualunque effetto, non importa quanto minuscolo, può produrre un p-value piccolo se la dimensione del campione o la precisione della misura sono abbastanza alte». Sesto: da solo, un p-value non fornisce una buona misura dell’evidenza riguardo a un modello o a un’ipotesi — «per esempio, un p-value vicino a 0,05, preso da solo, offre soltanto evidenza debole contro l’ipotesi nulla». Il sesto è quello che l’archivio tiene, perché è quello che la pratica ignora: viene dalla stessa associazione che certifica lo strumento, e dice che lo strumento non fa il lavoro che gli si chiede. La chiusa del documento è la frase da ricordare: «Nessun singolo indice dovrebbe sostituire il ragionamento scientifico.» Due cose sul processo, che spiegano il peso del testo. Nasce nel febbraio 2014 da una domanda posta al forum dell’ASA da George Cobb, che la formulò come un cerchio: «Lo insegniamo perché è ciò che facciamo; lo facciamo perché è ciò che insegniamo.» Il consiglio direttivo incarica Wasserstein di riunire un gruppo, che arriva a oltre due dozzine di persone; venti si riuniscono ad Alexandria, in Virginia, nell’ottobre 2015 per due giorni, con Regina Nuzzo a facilitare; la dichiarazione è approvata il 29 gennaio 2016 ed esce il 7 marzo. Fra i venticinque commentatori ringraziati per nome ci sono Deborah Mayo, Andrew Gelman, John Ioannidis, Sander Greenland, Valen Johnson e Steve Goodman, cioè quasi tutte le parti in causa della disputa — e i loro commenti firmati sono nel supplemento online. Un’ultima avvertenza, che vale come esercizio di igiene delle fonti: la frase più citata in assoluto su questo materiale, «il p-value non è mai stato pensato come sostituto del ragionamento scientifico», non è nell’articolo. È una dichiarazione di Wasserstein nel comunicato stampa dell’ASA del 7 marzo 2016. Chi la attribuisce a The American Statistician non ha letto la fonte.
Science 349, n. 6251, e-locator aac4716, del 28 agosto 2015, firmato Open Science Collaboration — 270 autori contribuenti coordinati da Brian Nosek. La versione pubblicata è depositata su OSF e in diversi repository universitari, quindi leggibile. È il documento che trasforma un sospetto in una misura, e vale la pena riportare i numeri con la loro etichetta esatta, perché in circolazione se ne trovano tre o quattro scambiati fra loro. Dei 488 articoli usciti nel 2008 su tre riviste di psicologia, 158 sono diventati eleggibili, 111 sono stati scelti da una squadra, e 100 replicazioni sono state completate. Di qui: il 97 per cento degli studi originali aveva un risultato statisticamente significativo; il 36 per cento delle replicazioni ha prodotto un risultato significativo nella stessa direzione — ed è 35 su 97, non su 100, perché il denominatore sono gli originali che erano significativi; il 47 per cento delle dimensioni d’effetto originali cadeva dentro l’intervallo di confidenza al 95 per cento della replica, non dentro un intervallo di predizione come si legge spesso; il 39 per cento degli effetti è stato giudicato replicato — e il giudizio è quello soggettivo delle squadre di replicazione, non degli autori originali. Combinando meta-analiticamente originale e replica, e assumendo nessun bias nell’originale, resta significativo il 68 per cento. Il dato che conta più delle percentuali è però la contrazione: «Gli effetti delle replicazioni erano metà della grandezza degli effetti originali, il che rappresenta un declino sostanziale» — da una media di 0,403 a una di 0,197. E gli autori danno la spiegazione strutturale che rende il risultato prevedibile invece che scandaloso: «Ci sono buone prove che la bassa potenza dei disegni di ricerca, combinata con il bias di pubblicazione che favorisce i risultati positivi su quelli negativi, produca una letteratura con dimensioni d’effetto gonfiate al rialzo. Questo fa prevedere che le dimensioni d’effetto delle replicazioni sarebbero più piccole di quelle degli studi originali di routine — non per differenze nell’implementazione, ma perché le dimensioni d’effetto degli studi originali sono affette dal bias di pubblicazione e di reporting, e le replicazioni no.» Sulle cautele vale la pena essere fedeli, perché sono degli autori stessi e sono la parte che nessuna ripresa giornalistica ha riportato. «È troppo facile concludere che una replicazione riuscita significhi che la comprensione teorica del risultato originale è corretta»: una replicazione diretta dà prova della affidabilità di un risultato, non della sua spiegazione. E simmetricamente: «È anche troppo facile concludere che un fallimento di replicazione significhi che l’evidenza originale era un falso positivo. Le replicazioni possono fallire se la metodologia della replicazione differisce dall’originale in modi che interferiscono con l’osservazione dell’effetto.» La chiusa è la regola generale: «Un singolo studio non fornisce quasi mai una risoluzione definitiva a favore o contro un effetto e la sua spiegazione.»
American Scientist 102, n. 6, novembre–dicembre 2014, pp. 460–465, di Andrew Gelman ed Eric Loken, con il sottotitolo che porta la formula: «L’analisi dipendente dai dati — un giardino dei sentieri che si biforcano — spiega perché molti confronti statisticamente significativi non tengono.» Il PDF della versione pubblicata è liberamente disponibile sul sito di Gelman alla Columbia. Esiste anche un working paper precedente del 14 novembre 2013, non pubblicato, con il titolo lungo che dice tutto: The garden of forking paths: Why multiple comparisons can be a problem, even when there is no fishing expedition or p-hacking and the research hypothesis was posited ahead of time. La distinzione che rende l’articolo importante, e che quasi tutti sbagliano, è che questo non è p-hacking. Il p-hacking e la pesca nei dati presuppongono che il ricercatore esegua molte analisi e riporti quella significativa. La tesi di Gelman e Loken è che il p-value pubblicato è invalidato anche quando ne viene eseguita una sola, perché ciò che conta non è quante analisi siano state fatte, ma quante avrebbero potuto essere fatte con dati diversi. Testualmente: «anche in contesti in cui una singola analisi è stata condotta sui dati dati, la questione dei confronti multipli emerge perché scelte diverse sul combinare variabili, sull’inclusione ed esclusione dei casi, sulle trasformazioni delle variabili, sui test di interazione in assenza di effetti principali, e molti altri passaggi dell’analisi, sarebbero potuti benissimo avvenire con dati diversi». In quel caso «i ricercatori devono eseguire un solo test, ma quel test è condizionato ai dati; dunque ha lo stesso effetto che se avessero deliberatamente pescato quei risultati». Ne segue la frase che l’archivio userà altrove, perché rovescia la presunzione morale di tutta la discussione sull’integrità della ricerca: «Il fatto stesso che gli scienziati generalmente non barino, generalmente non vadano a pesca di significatività statistica, li rende vulnerabili al trarre conclusioni forti quando incontrano uno schema abbastanza robusto da superare la soglia di p < 0,05.» Non serve alcuna disonestà. Serve soltanto che le decisioni su esclusioni, codifiche, trasformazioni e interazioni siano state prese dopo aver visto i dati — e questo è il modo normale, ragionevole e onesto in cui si analizza un dataset. Da qui la metafora: «In questo giardino dei sentieri che si biforcano, qualunque strada si prenda sembra predeterminata, ma è perché le scelte sono state fatte implicitamente.» Dove sta il problema vero lo dicono senza consolazioni: «La sfida difficile sta altrove: dato un particolare insieme di dati, può sembrare interamente appropriato guardare i dati e costruire regole ragionevoli di esclusione, codifica e analisi che portano alla significatività statistica.» La soluzione che indicano è la preregistrazione dell’intero protocollo, oppure la replica prima della pubblicazione — con un’ammissione che va riportata perché è onesta e li mette in difficoltà: «Per la maggior parte dei nostri progetti di ricerca questa strategia sembra difficilmente possibile: nei nostri molti progetti applicati abbiamo imparato tantissimo guardando i dati.»
News Feature di Regina Nuzzo su Nature 506, n. 7487, pp. 150–152, del 12 febbraio 2014, con il sottotitolo che dichiara la tesi: i p-value, «lo standard d’oro della validità statistica, non sono affidabili quanto molti scienziati assumono». Non è ad accesso libero, e va detto perché è una delle poche schede dell’archivio dietro paywall: circolano copie in siti universitari, e la ragione per cui la scheda entra comunque è che questo è il pezzo divulgativo che ha spostato il dibattito. Apre con un caso, e il caso è il contenuto. Nel 2010 Matt Motyl crede di aver dimostrato che gli estremisti politici vedono il mondo in bianco e nero letteralmente: su quasi duemila persone, i moderati distinguevano le sfumature di grigio meglio degli estremi di destra e di sinistra. «Il p-value, un indice comune della forza dell’evidenza, era 0,01 — di solito interpretato come molto significativo.» Con dati aggiuntivi, il p-value è risultato 0,59. E qui Nuzzo mette la frase che vale l’articolo: «La maggior parte degli scienziati guarderebbe il suo p-value originale di 0,01 e direbbe che c’era solo l’1% di probabilità che il risultato fosse un falso allarme. Ma si sbaglierebbero.» I numeri della calibrazione sono la parte da citare, e vanno attribuiti correttamente: non sono di Steven Goodman, che l’articolo intervista diffusamente, e Valen Johnson non è nemmeno citato. La fonte accreditata sotto il grafico è Sellke, Bayarri e Berger, The American Statistician 55, pp. 62–71, 2001. La traduzione di un p-value in probabilità che l’ipotesi sia vera dipende dalla plausibilità a priori, e lo schema è questo. Con un’ipotesi implausibile a priori, probabilità del 5%: un p di 0,05 la porta all’11%, un p di 0,01 al 30%. Con un’ipotesi a cinquanta e cinquanta: un p di 0,05 la porta al 71%, un p di 0,01 all’89%. Con un’ipotesi già plausibile al 90%: 96% e 99%. Nel corpo del testo la stessa cosa è detta dal lato del falso allarme: «un p-value di 0,01 corrisponde a una probabilità di falso allarme di almeno l’11%, a seconda della probabilità sottostante che ci sia un effetto vero; un p-value di 0,05 porta quella probabilità ad almeno il 29%». La conseguenza è che il p-value viene sistematicamente letto al contrario, e l’articolo dice perché non può essere altrimenti: «Il p-value non può dire questo: tutto ciò che può fare è riassumere i dati assumendo una specifica ipotesi nulla. Non può lavorare a rovescio e fare affermazioni sulla realtà sottostante.» La formula di Goodman è più secca: «Il p-value non è mai stato pensato per essere usato come viene usato oggi.» E quella dell’economista Stephen Ziliak chiude il punto senza appello: «I p-value non stanno facendo il loro lavoro, perché non possono.»
PLoS Medicine 2(8): e124, 30 agosto 2005, open access con licenza CC BY. È l’articolo più citato della letteratura sulla riproducibilità e il titolo è diventato uno slogan, il che ha coperto la cosa che lo rende utile: non è un pamphlet, è un modello. Il meccanismo sta in una quantità che non è il p-value: il valore predittivo positivo, cioè la probabilità che un risultato dichiarato sia vero. Dipende da tre cose oltre alla soglia: la potenza dello studio, il rapporto R fra relazioni vere e relazioni inesistenti fra quelle testate in quel campo, e un termine di bias u — «la proporzione di analisi sondate che non sarebbero state risultati di ricerca, ma che finiscono comunque presentate e riportate come tali, a causa del bias». La condizione soglia è di una riga: «Un risultato di ricerca è dunque più probabilmente vero che falso se (1 − β)R > α.» Detto altrimenti: la soglia da sola non basta mai, perché il numero di ipotesi false in circolazione in un campo entra nel conto, e nessun p-value la conosce. La parte esportabile sono i sei corollari, che si applicano a qualunque disciplina e si possono usare come lista di controllo: meno un campo fa studi grandi, meno i suoi risultati sono veri; meno gli effetti sono grandi, meno sono veri; più relazioni si testano e meno le si seleziona, meno sono veri; più c’è flessibilità nei disegni, nelle definizioni, negli esiti e nelle modalità analitiche, meno sono veri; più ci sono interessi finanziari e di altro tipo, meno sono veri; e infine, controintuitivo ma dimostrato, più un campo è caldo, con più squadre in competizione, meno i suoi risultati sono veri. I numeri della tabella 4 danno l’ordine di grandezza. Uno studio randomizzato controllato adeguatamente potenziato, con poco bias e probabilità a priori pari, arriva a un valore predittivo positivo di 0,85. Una meta-analisi di piccoli studi inconcludenti: 0,41. Uno studio epidemiologico esplorativo sottopotenziato: 0,12. E la ricerca esplorativa orientata alla scoperta con test massivi, il caso genomico: 0,0010, cioè un risultato dichiarato su mille è vero. L’esempio del riquadro 1 lo mostra in concreto — centomila polimorfismi testati per la schizofrenia, dieci realmente associati, potenza del 60 per cento: con un p appena sotto 0,05 la probabilità post-studio sale di dodici volte, e resta 12 su diecimila. La frase che giustifica il titolo non è retorica ma una rivendicazione di dimostrazione: «Si può provare che la maggior parte dei risultati di ricerca dichiarati è falsa.» E quella che porta più lontano riguarda ciò che stiamo misurando davvero quando misuriamo male: «Per molti campi scientifici attuali, i risultati di ricerca dichiarati possono essere semplicemente misure accurate del bias prevalente» — «le dimensioni d’effetto dichiarate sono in effetti le stime più accurate del bias netto».