Argomento
18 articoli
Il caso di Claude usato come assistente di ricerca chimica: cosa cambia per una disciplina sperimentale quando il collo di bottiglia non è più il calcolo ma l’interpretazione dei risultati.
Una tesi che non si lascia smentire non è nemmeno sbagliata, e una tesi che ha superato soltanto prove incapaci di smentirla non ha guadagnato niente. Dieci schede su come si misura quanto vale una conferma, dentro e fuori dalla statistica.
Un numero che quasi tutti usano e pochi sanno definire ha diviso la statistica per vent’anni. Tredici schede dell’archivio, da Popper alla task force dell’American Statistical Association, con una tabella delle scuole e le sei letture sbagliate del p-value: una catena pensata come strumento di lavoro.
Deborah Mayo, filosofa della statistica e professoressa emerita alla Virginia Tech, pubblica l’11 settembre 2026 sul proprio blog un post per il compleanno di Charles Sanders Peirce (1839–1914) e vi ripubblica sezioni di un suo saggio del 2005. Il pretesto è d’occasione, il contenuto no: è la fonte primaria dello standard con cui questo archivio giudica le affermazioni che ci entrano da giugno 2026, e che fin qui aveva usato di seconda mano. Quando Floridi, Novelli e Morley definiscono «severamente testabile», lo fanno dichiarando il prestito: nel senso che il §6 rende preciso, after Mayo. La tesi in discussione è quella che Peirce chiama autocorrettiva, e sta in una riga dei Collected Papers (5.145): l’induzione è la verifica sperimentale di una teoria, e la sua giustificazione è che, sebbene la conclusione a ogni stadio possa essere più o meno erronea, l’ulteriore applicazione dello stesso metodo deve correggere l’errore. La lettura corrente la prende per una promessa di convergenza — più dati, stima migliore — e Mayo la rifiuta per intero: quella sarebbe la regola diritta, l’induzione rozza che generalizza dai casi osservati, e Peirce la giudicava una sonda dell’errore altamente inaffidabile. L’autocorrezione non è un premio che arriva col volume dei dati. È la proprietà di un procedimento che contiene il modo di rilevare il proprio errore, e che quindi può accorgersene ora, su questo campione, non al limite. Da qui la definizione che vale la citazione esatta: un’ipotesi H supera un test severo con il dato x se e solo se, primo, x concorda con H, e secondo, la procedura sperimentale avrebbe segnalato con probabilità molto alta la presenza di un errore, se ci fosse stata una discordanza. Detto in breve: un test è severo se l’ipotesi avrebbe potuto fallirlo davvero. Il che sposta l’oggetto della valutazione. Le probabilità si attaccano alle procedure, non alle ipotesi — Peirce lo scrive già nel 1878 (2.748): la teoria qui proposta non assegna alcuna probabilità alla conclusione induttiva. Non si dice quanto è probabile che H sia vera; si dice quanto è affidabile il procedimento che l’ha messa alla prova. È la differenza fra chiedere a un metal detector quanto è probabile che ci sia un chiodo e chiedersi se quel modello, passato su un chiodo, suonerebbe. La parte esportabile fuori dalla statistica sono i tre ordini di induzione. Il primo è quello rozzo, che procede per assenza di confutazione ed è quindi un argomento dall’ignoranza: nessuno ha mai visto il contrario, dunque. Il secondo è qualitativo, e qui il test è genuino: la sua forza dipende da quanto la previsione vada contro ciò che ci si aspetterebbe senza l’ipotesi. Il terzo è quantitativo, e comincia quando quel «quanto» diventa misurabile attraverso probabilità d’errore oggettive. È una scala di qualità probatoria applicabile a qualunque affermazione, compresa quella che nessun numero accompagna: la domanda da rivolgere a una tesi non è se abbia prove a favore, è quante possibilità aveva di non averne. Il numero da tenere riguarda la predesignazione, cioè l’obbligo di dichiarare l’ipotesi prima di guardare. Se si esaminano venti fattori e si riporta come test quello che è risultato significativo, la probabilità di aver trovato almeno un falso positivo non è il 5% dichiarato ma circa il 64%: 0,95 elevato a venti fa 0,36, e quella — non 0,95 — è la severità del test che si è davvero condotto. È il p-hacking detto in termini di severità, e detto così si applica anche fuori da un laboratorio, a ogni ragionamento che presenta come previsione una regolarità trovata dopo. Resta un ultimo passaggio, il più radicale, e Peirce lo affida a una parentesi del 1878 (3.575): l’induzione corregge perfino le proprie premesse. Non solo le conclusioni. Mayo ne dà due casi pratici, entrambi di rilevazione e nessuno di convergenza — la media di misure astronomiche che rivela la struttura dei propri errori, e la tavola di mortalità in cui la distribuzione delle età dichiarate denuncia che le età sono state dichiarate male. In entrambi lo strumento che avrebbe dovuto solo stimare finisce per informare su se stesso, ed è quello, per Peirce, il tratto che spetta «essenzialmente, intrinsecamente e inevitabilmente soltanto al tipo più alto di ragionamento, che è l’induzione» (5.579).
Il 10 agosto 2026, Anthropic ha pubblicato che una versione non rilasciata di Claude ha migliorato il limite inferiore noto per la frazione di zeri della funzione zeta di Riemann che soddisfano l’ipotesi di Riemann — da 41,6% a 67,2%. Non è la dimostrazione dell’ipotesi (aperta dal 1859, con una taglia di un milione di dollari), ma è un risultato matematico originale validato dai matematici interni Levent Alpöge e Ralph Furman e dagli esperti esterni Brian Conrey e Dan Goldston, e formalizzato da Claude stesso in Lean — il sistema di verifica formale che permette a una macchina di certificare meccanicamente ogni passaggio logico della dimostrazione. La circostanza in cui è avvenuto è rilevante quanto il risultato: un membro dello staff non matematico, Jarred Sumner, ha detto a Claude di «fare un tentativo serio» con l’ipotesi di Riemann. Claude ha generato 650 idee senza successo, poi — sollecitato a riprovare — ha coordinato circa 60 subagenti per un giorno e mezzo: tra loro hanno eseguito 2.400 comandi shell, scritto centinaia di script Python, scaricato 54 paper dall’arXiv per verificare che il risultato non fosse già noto, e si sono revisionati a vicenda. I messaggi di Sumner durante il processo erano per lo più varianti di «vai avanti» e «credi in te stesso». Il risultato tecnico si innesta su un filone recente — lavori di Aryan e di Baluyot, Goldston, Suriajaya e Turnage-Butterbaugh che permettono di usare le tecniche di Montgomery del 1973 senza assumere la verità dell’ipotesi — cui Claude ha combinato un paper di Bombieri del 2000; la combinazione consente di superare il precedente stato dell’arte. Claude era scettico sulla propria capacità di produrre risultati originali — forse, scrive Anthropic, perché «ha appreso durante il training della difficoltà dei problemi aperti in matematica e dei limiti dei modelli AI». La stessa sessione aveva già prodotto, in una nota a piè di pagina, una confutazione della congettura Jacobiana.
Voce della Stanford Encyclopedia of Philosophy firmata da Stephen Thornton: prima pubblicazione il 13 novembre 1997, revisione sostanziale il 31 luglio 2026. Ad accesso libero, ed è il riferimento da cui partire su Popper. Il criterio di demarcazione è riportato nella sua forma operativa: «se una teoria è incompatibile con possibili osservazioni empiriche è scientifica; viceversa, una teoria compatibile con tutte queste osservazioni, sia perché, come nel caso del marxismo, è stata modificata solo per accomodarle, sia perché, come nel caso delle teorie psicoanalitiche, è coerente con ogni osservazione possibile, è non scientifica». Merita notare una distinzione che la voce mantiene e che la vulgata appiattisce: nella classificazione di Popper la psicoanalisi è una pre-scienza, non una pseudoscienza; pseudoscienze sono astrologia e frenologia. Da lì scendono le due conseguenze che l’archivio usa. La prima è che la corroborazione non è sostegno induttivo: «È facile, sostiene, ottenere evidenza in favore di virtualmente qualunque teoria, e di conseguenza ritiene che tale corroborazione, come la chiama, debba contare scientificamente solo se è il risultato positivo di una previsione genuinamente rischiosa, che sarebbe potuta concepibilmente essere falsa.» La seconda è la preferenza controintuitiva per le congetture improbabili: «più una teoria è improbabile meglio è scientificamente, perché probabilità e contenuto informativo di una teoria variano inversamente», e «il contenuto informativo, che è inversamente proporzionale alla probabilità, è direttamente proporzionale alla testabilità». La ragione per cui questa scheda sta accanto a quella sulla filosofia della statistica è però il paragrafo 12, la valutazione critica, dove si trova il vuoto che conta. L’obiezione registrata è di Lakatos e nega che esistano affatto i test critici nel senso popperiano: che cosa sarebbe accaduto, chiede, se Galle non avesse trovato Nettuno? «La risposta è chiaramente no [che la fisica newtoniana sarebbe stata considerata falsificata], perché il fallimento di Galle si sarebbe potuto attribuire a un numero qualsiasi di cause diverse dalla falsità della fisica newtoniana.» E più avanti: «la falsificazione di una teoria scientifica di alto livello non è mai prodotta da un’osservazione isolata», perché le teorie sono «tenacemente protette dalla refutazione da una vasta cintura protettiva di ipotesi ausiliarie». Qui va segnalata una cosa con precisione, perché è il punto in cui l’archivio ha corretto se stesso. La voce non contiene l’espressione «severe test», in nessuna delle sue forme, e non nomina Mayo: l’unica occorrenza affine è «la severità del test a cui una teoria può essere sottoposta, e per mezzo del quale è falsificata o corroborata, è di importanza fondamentale» (§5). La definizione tecnica di test severo sta nell’altra voce della stessa enciclopedia, quella sulla filosofia della statistica, ed è attribuita a Mayo. L’idea che un test valga per quanto avrebbe potuto smentire è di Popper; il termine come standard misurabile no, e Mayo stessa dice che Popper l’idea «non l’ha mai incassata adeguatamente» e che «definiva la severità in termini di successo predittivo inedito, il che è inadeguato».
Un paper di Anthropic che mette Claude alla prova sulla spettroscopia NMR — l’analisi che permette ai chimici di “leggere” la struttura molecolare di un composto da una firma spettrale. Opus 4.7 risulta competitivo con i software specializzati nella predizione diretta (struttura → spettro) e capace di lavorare nella direzione inversa (spettro → struttura) da soli dati 1D — cosa che oggi richiede strumenti dedicati e competenze specifiche. Il punto non è la performance tecnica in sé: è che un modello linguistico generalista sta cominciando ad abbassare le barriere di accesso a una disciplina che, per definizione, consiste nel manipolare la natura della materia. Come la tecnica CRISPR-Cas9 ha reso editabile il genoma anche fuori dai grandi centri di ricerca, un’interfaccia in linguaggio naturale per la chimica potrebbe avvicinare alla disciplina ricercatori di altre aree, studenti, e chiunque abbia bisogno di ragionare su strutture molecolari senza un dottorato in tasca. Interessante anche la prospettiva didattica: non uno strumento che sostituisce l’apprendimento, ma uno sgabello — nel senso che ho provato a esplorare altrove — che consente di arrivare dove prima non si riusciva a stare in piedi.
Kevin Kelly ripubblica un saggio che aveva scritto nel gennaio 2006: quattordici speculazioni sul futuro del metodo scientifico. Sono rimaste sostanzialmente invariate — e questo è il punto. Venti anni dopo, molte leggono come una descrizione del presente: il «Theory-less Pattern Augmentation» (AI che trova pattern senza una teoria previa) è esattamente ciò che sta accadendo con AlphaFold e con i modelli linguistici applicati alla ricerca; gli «AI Proofs» (sistemi esperti che verificano la logica degli esperimenti) stanno entrando nei workflow di peer review; la «Wiki-Science» (migliaia di collaboratori su un paper mai finito, con strumenti di tracking dei contributi) descrive già alcune esperienze di scienza distribuita post-COVID; le «Zillionics» (fiumi di dati da sensori ubiqui 24/7) sono la premessa di qualunque ricerca medica e ambientale contemporanea. Il saggio vale soprattutto come oggetto epistemologico: dimostra che il metodo scientifico — inteso non come insieme di protocolli fissi ma come struttura vivente di acquisizione della conoscenza — si modifica continuamente, e che queste modifiche seguono in modo quasi deterministico la disponibilità di nuovi strumenti computazionali. La tesi di fondo è riassumibile così: ogni nuova tecnologia dell’informazione cambia prima cosa sappiamo, poi come lo sappiamo, infine come cambiamo il modo in cui cambiamo. Kelly chiude ammettendo che i metodi realmente nuovi fra quarant’anni saranno probabilmente quelli che nessuno ha ancora pensato.
Voce della Stanford Encyclopedia of Philosophy firmata da Jan-Willem Romeijn, della Facoltà di Filosofia di Groninga: prima pubblicazione il 19 agosto 2014, revisione sostanziale il 1° ottobre 2025. È la base didattica del campo, ad accesso libero e mantenuta, e la ragione per cui entra in archivio non è che elenchi le posizioni ma che le derivi. Un’esposizione qualunque metterebbe in fila quattro scuole — Fisher, Neyman-Pearson, i bayesiani, i verosimigliantisti — come se fossero quattro partiti. Romeijn le fa invece discendere da due domande preliminari, e questo è il valore dell’impianto. La prima: la probabilità di cui parliamo è ontica, cioè una tendenza del mondo a produrre frequenze, oppure epistemica, cioè un grado di credenza? Da qui la frase che decide tutto il resto: «La probabilità ontica non può essere attribuita in modo sensato alle ipotesi statistiche, perché le ipotesi non hanno tendenze a verificarsi, e dunque nessuna frequenza con cui accadono: sono categoricamente vere o false, una volta per tutte.» La seconda domanda è su dove la probabilità sia definita — soltanto sullo spazio campionario, o anche sulle ipotesi. E il carattere distintivo della statistica bayesiana, scrive Romeijn, «discende direttamente dall’interpretazione epistemica: sotto quell’interpretazione ha senso assegnare una probabilità a un’ipotesi statistica, come espressione di quanto fortemente vi crediamo». Su questa griglia la sistemazione è meno ovvia di come la si racconta. Fisher e Neyman-Pearson stanno entrambi dentro la statistica classica: la differenza interna è che il test di significatività fisheriano dice poco sui tassi d’errore quando l’ipotesi nulla è falsa, e il test del rapporto di verosimiglianza di Neyman e Pearson, fra il 1928 e il 1933, nasce come risposta a questo. Verosimigliantismo e statistica dell’errore non sono presentati come scuole autonome ma come risposte interne alle critiche alla statistica classica: usano entrambi solo probabilità sullo spazio campionario, e ne danno letture epistemiche. Il vero discriminante operativo è il principio di verosimiglianza, che la classica viola e la bayesiana rispetta: «La concezione classica comporta una violazione del principio di verosimiglianza: l’impatto dei dati osservati può cambiare a seconda della probabilità di campioni diversi da quello osservato.» Per l’archivio c’è un ritorno diretto. La voce dedica una sottosezione, la 3.3.2, a Error statistics and severe testing, e vi si legge la definizione che questo sito ha adottato, formulata da terzi e non da Mayo: «Nella definizione di Mayo, un’ipotesi supera un test severo a due condizioni: l’ipotesi deve concordare con i dati, e con alta probabilità, se l’ipotesi fosse in effetti falsa, non concorderebbe con i dati.» Vale come conferma indipendente, e vale come misura di quanto la posizione sia riconosciuta: Romeijn nota che Mayo e Spanos «hanno fatto molto per riportare l’agenda della statistica classica nella filosofia della scienza, che era diventata dominata dalla statistica bayesiana».
Editoriale di Deborah Mayo su Conservation Biology del 6 dicembre 2021 — una filosofa della statistica chiamata a dire la sua dentro il dibattito metodologico di una scienza applicata, il che è già metà dell’interesse. Il tema apparente sono i p-value; il tema reale è chi abbia titolo a fissare lo standard di prova di una disciplina. L’attrezzo che porta è il conflitto di interessi intellettuale, e la formulazione è sua: «Avere il potere di imporre una politica del genere può creare un conflitto d’interessi. A differenza di un conflitto tipico, questo è intellettuale, e può minacciare proprio gli obiettivi di integrità, riproducibilità e trasparenza che si propone.» Non si tratta di denaro, di consulenze o di azioni, e proprio per questo non compare in nessuna delle dichiarazioni che le riviste pretendono. Eppure funziona come ogni conflitto: chi decide la regola secondo cui gli altri saranno valutati ha un interesse nella regola, e se la regola coincide con la posizione che sostiene da vent’anni in una disputa aperta, imporla non è un atto tecnico. Il caso concreto è la vicenda dell’American Statistical Association, negli Stati Uniti, fra il 2016 e il 2021. La dichiarazione del 2016 si limitava a segnalare le fallacie nell’uso dei p-value ed era, scrive Mayo, «largamente non controversa». L’editoriale del 2019 di Wasserstein e colleghi va molto oltre: arriva a un passo dal raccomandare l’abbandono della dizione «statisticamente significativo» e sostiene che il superamento di una soglia «non dovrebbe essere considerato in alcun modo nell’interpretazione dei dati». Nello stesso anno un commento su Nature chiede di mandare in pensione la significatività statistica e raccoglie oltre ottocento firme — che Mayo tratta come un argumentum ad populum, non come un argomento. La disputa è finita quando la Task Force nominata dal presidente ASA ha dovuto chiarire che quell’editoriale non era politica ufficiale dell’associazione, e che «i p-value sono misure statistiche valide, che forniscono convenzioni utili per comunicare l’incertezza inerente ai risultati quantitativi». Dentro c’è la frase che vale l’ingresso da sola, perché è la logica del not even wrong detta in un altro dominio: «Ciò che la posizione senza soglie fa, se presa alla lettera, è precludere il test. Se non si può dire in anticipo di nessun risultato che non sarà ammesso a contare in favore di una tesi, allora quella tesi non la si sta testando.» L’argomento pratico che ne segue è controintuitivo e regge: togliere le soglie non riduce il data dredging, lo rende invisibile, perché il ricercatore ha comunque bisogno di un numero piccolo per sostenere un effetto, e in assenza di una soglia dichiarata nessuno può più distinguere il numero piccolo ottenuto per disciplina da quello ottenuto per insistenza. Mayo sostiene invece la preregistrazione delle ipotesi e delle regole di arresto, «uno dei modi più efficaci di promuovere la replicazione», e soglie scelte con una giustificazione teorica invece che per abitudine allo 0,05. La ragione per cui la scheda entra in archivio non è però l’esito di quella lite, ed è utile dirlo: Mayo è parte in causa, sostiene una delle due posizioni in campo, e questo editoriale è anche una mossa nella sua guerra. L’attrezzo resta valido per chiunque, compresa lei. Si applica a un comitato che sceglie i benchmark su cui sarà misurato un modello, a un’agenzia che fissa il criterio di approvazione di un farmaco, a un sistema di valutazione universitaria progettato da chi sarà valutato. La domanda non è se chi decide sia in buona fede — di norma lo è — ma se la regola che impone sia quella che difende. Nella formulazione più tagliente, che viene da un suo articolo di due anni prima sull’European Journal of Clinical Investigation: «L’argomento le soglie di significatività possono essere usate molto male, dunque togliamo le soglie è un argomento molto cattivo.»
The Annals of Applied Statistics 15(3), 2021, pp. 1084–1085, riprodotto ad accesso libero sulla Harvard Data Science Review e su Amstat News. Due pagine, e chiudono cinque anni di guerra istituzionale. Serve prima la genealogia, perché la vicenda viene ricordata al contrario. Nel 2016 l’American Statistical Association pubblica i sei principi sui p-value: prudenti, condivisi. Nel 2019 un editoriale di Wasserstein, Schirm e Lazar su The American Statistician va molto oltre e arriva a un passo dal raccomandare l’abbandono della significatività statistica. Nello stesso anno il presidente dell’ASA istituisce una task force proprio per la ragione che il documento dichiara in apertura: «Nel 2019 il presidente dell’American Statistical Association ha istituito una task force per affrontare le preoccupazioni che un editoriale del 2019 su The American Statistician (una rivista ASA) potesse essere erroneamente interpretato come politica ufficiale dell’ASA.» Lo scopo, testuale, è «chiarire che l’uso dei p-value e dei test di significatività, applicati e interpretati correttamente, sono strumenti importanti che non dovrebbero essere abbandonati». La prima riga dello statement è la frase da citare, e va letta sapendo da chi arriva: «I p-value sono misure statistiche valide, che forniscono convenzioni comode per comunicare l’incertezza inerente ai risultati quantitativi.» I cinque punti che seguono si aprono così: catturare l’incertezza associata ai riassunti statistici è cruciale; trattare replicabilità e incertezza sta al cuore della scienza statistica; il controllo dell’incertezza comincia dal disegno dello studio e continua in ogni fase fino al reporting; e infine, contro la tesi del 2019, «le soglie sono utili quando sono richieste azioni. Confrontare i p-value con un livello di significatività può essere utile, anche se i p-value forniscono da sé informazione di valore». Con la cautela che resta: «i p-value e la significatività statistica dovrebbero essere intesi come valutazioni di osservazioni o effetti relative alla variabilità campionaria, e non necessariamente come misure di significatività pratica». Sulla firma e sulla composizione vanno fatte due precisazioni che la letteratura secondaria sbaglia. Karen Kafadar non presiedeva la task force: l’ha istituita in quanto presidente dell’ASA nel 2019 ed è firmataria d’ufficio; i co-presidenti sono Xuming He, dell’Università del Michigan, e Linda J. Young, del servizio statistico del dipartimento dell’agricoltura statunitense. Fra i quattordici membri ci sono Yoav Benjamini, Bradley Efron, Xiao-Li Meng, Nancy Reid e Stephen Stigler. E i documenti sono due, distinti e da citare separatamente: lo statement (pp. 1084–1085) e l’editoriale di accompagnamento di Kafadar (pp. 1081–1083). Resta il dettaglio che dice tutto sulla natura della vicenda, ed è la ragione per cui la scheda entra come dato che corregge. Lo statement non è politica ufficiale dell’ASA: il consiglio non l’ha adottato, ed è per questo che è uscito su una rivista con un editoriale a fianco invece che come documento dell’associazione. La formula con cui gli autori lo dicono è quasi imbarazzata: «Questo documento è lo statement della task force, e l’ASA ci ha invitati a renderlo pubblico.» Una task force istituita per chiarire che un editoriale non era politica ufficiale produce un documento che a sua volta non è politica ufficiale — ed è esattamente la struttura che Mayo, pochi mesi dopo, descriverà come conflitto di interessi intellettuale.
Comment su Nature 567, n. 7748, pp. 305–307, pubblicato online il 20 marzo 2019, firmato da Valentin Amrhein, Sander Greenland, Blake McShane «e più di 800 firmatari». Nota bibliografica: il titolo online è quello riportato qui, quello della versione a stampa è Retire statistical significance. Non è ad accesso libero. La distinzione da fissare, perché è quella che tutta la ripresa successiva ha confuso, è fra due richieste diverse. Quello che chiedono: «Concordiamo, e chiediamo che l’intero concetto di significatività statistica sia abbandonato», e più precisamente «chiediamo che si smetta di usare i p-value nel modo convenzionale, dicotomico — per decidere se un risultato refuti o sostenga un’ipotesi scientifica». Quello che non chiedono, detto da loro in due punti distinti dell’articolo: «Non stiamo chiedendo un divieto dei p-value» e «di nuovo, non stiamo sostenendo un divieto dei p-value, degli intervalli di confidenza o di altre misure statistiche — solo che non dovremmo trattarli categoricamente». Chiedono anzi che i p-value continuino a essere riportati, e con più precisione di adesso: «Quando i p-value sono riportati, saranno dati con precisione sensata (per esempio, P = 0,021 o P = 0,13).» L’oggetto dell’abolizione è la soglia e l’etichetta, non lo strumento. L’argomento forte è quello contro l’inferenza dal non significativo all’assenza di effetto, e viene con un caso che si può citare da solo. Due studi sui farmaci antinfiammatori e la fibrillazione atriale di nuova insorgenza trovano lo stesso identico rapporto di rischio, 1,2. Il primo, statisticamente non significativo, ha un intervallo al 95 per cento che va da una diminuzione del rischio del 3 per cento a un aumento del 48 (p = 0,091), e i suoi autori concludono che l’esposizione «non era associata» alla fibrillazione. Il secondo, significativo, ha un intervallo che va dal 9 al 33 per cento di aumento (p = 0,0003). Le due stime puntuali coincidono: differisce solo la precisione. «È ridicolo concludere che i risultati statisticamente non significativi mostrassero nessuna associazione.» E la diffusione dell’errore è misurata: «Indagini su centinaia di articoli hanno trovato che i risultati statisticamente non significativi sono interpretati come indicanti nessuna differenza o nessun effetto in circa la metà dei casi.» La proposta terminologica è l’altra cosa esportabile: rinominare gli intervalli di confidenza intervalli di compatibilità, perché «tutti i valori fra i limiti dell’intervallo sono ragionevolmente compatibili con i dati, date le assunzioni statistiche usate per calcolare l’intervallo» — da cui segue che «isolare un valore particolare (come il valore nullo) nell’intervallo come mostrato non ha senso», e che «un intervallo che contiene il valore nullo conterrà spesso anche valori non nulli di grande importanza pratica». Con la simmetria che di solito si dimentica: i valori fuori dall’intervallo non sono incompatibili, «sono solo meno compatibili». Sui firmatari va detto come sono stati raccolti, perché è una bozza circolata e non un sondaggio: «Quando abbiamo invitato altri a leggere una bozza di questo commento e a firmare se concordavano con il nostro messaggio, 250 lo hanno fatto nelle prime 24 ore»; dopo una settimana erano più di 800, tutti verificati per affiliazione accademica o lavoro in un campo che dipende dalla modellazione statistica. La cifra di 854 che circola nella letteratura secondaria viene dal materiale supplementare; nell’articolo la formula è «più di 800». E la chiusa è quella che fa vedere che la richiesta è più modesta di come è stata letta: «I p-value, gli intervalli e le altre misure statistiche hanno tutti il loro posto, ma è tempo che la significatività statistica se ne vada.»
Nature Human Behaviour 2(3), pp. 168–171, del 26 febbraio 2018. Ottantotto autori guidati da Daniël Lakens, e l’articolo si dichiara risposta diretta al precedente, che cita in apertura. Non è ad accesso libero; esiste un preprint su PsyArXiv e una copia nel repository White Rose. L’accordo con gli avversari è totale sulla premessa: «Condividiamo le loro preoccupazioni riguardo all’apparente non replicabilità di molti studi scientifici, e concordiamo che un alfa universale di 0,05 sia indesiderabile.» Il dissenso è sul rimedio, in tre punti: «(1) non c’è evidenza sufficiente che lo standard corrente sia una causa principale della non riproducibilità; (2) gli argomenti in favore di un default generalizzato di p ≤ 0,005 non giustificano l’implementazione immediata e diffusa di una tale politica; (3) una soglia di significatività più bassa avrà probabilmente conseguenze negative non discusse da Benjamin e colleghi.» L’argomento che l’archivio tiene è il secondo ordine, non il primo: il problema non è il valore della soglia, è che ce ne sia una sola. «Ridefinire la significatività statistica a una soglia più bassa, ma altrettanto arbitraria, è inadvisabile», e «anche se una soglia di p ≤ 0,005 fosse ampiamente accettata, questo non farebbe che rinforzare l’idea sbagliata che un singolo livello di alfa sia universalmente applicabile». Da cui la formula che dà il titolo: «La scienza è diversa, e sta agli scienziati giustificare il livello di alfa che decidono di usare.» La proposta alternativa è in due mosse. «Primo, raccomandiamo che l’etichetta statisticamente significativo non sia più usata. Invece, i ricercatori dovrebbero fornire interpretazioni più significative della rilevanza teorica o pratica dei loro risultati. Secondo, gli autori dovrebbero specificare in modo trasparente — e giustificare — le loro scelte di disegno.» L’elenco di ciò che va giustificato è operativo e si può usare come lista: «il livello di alfa, i modelli nullo e alternativo, le probabilità a priori assunte, la potenza statistica per una dimensione d’effetto d’interesse specificata, la dimensione del campione, e/o l’accuratezza di stima desiderata» — tutte scelte da valutare trasparentemente, rendere accessibili e preregistrare quando è possibile. Sui costi accettano il numero degli avversari e ne traggono la conseguenza opposta: raggiungere l’80 per cento di potenza con α = 0,005 invece di 0,05 richiede un campione più grande del 70 per cento nei disegni fra soggetti a due code, e dell’88 per cento a una coda. Il che significa che «i ricercatori potrebbero essere meno motivati a studiare popolazioni uniche o a raccogliere dati difficili da ottenere, riducendo la generalizzabilità e l’ampiezza dei risultati». È la stessa aritmetica letta come prezzo invece che come investimento, e le due schede vanno lette insieme per questo: nessuno dei due gruppi sbaglia i conti.
Nature Human Behaviour 2(1), pp. 6–10, online il 1° settembre 2017 e in fascicolo a gennaio 2018. Settantadue autori, fra cui Berger, Johannesson, Nosek, Wagenmakers, Camerer e, in coda, Valen Johnson: un elenco che è parte del significato del documento, perché mette la firma di buona parte della statistica applicata su una proposta di una riga. Non è ad accesso libero; esiste un preprint su PsyArXiv. La proposta e il suo perimetro esatto, che è la cosa più fraintesa: «Proponiamo di cambiare la soglia di default del p-value per la significatività statistica per le affermazioni di nuove scoperte da 0,05 a 0,005.» E in tre precisazioni successive: «Restringiamo la nostra raccomandazione alle affermazioni di scoperta di nuovi effetti»; «Non affrontiamo la soglia appropriata per le replicazioni confermative o contraddittorie di affermazioni esistenti»; «Non sosteniamo cambiamenti nelle soglie di scoperta in campi che hanno già adottato standard più stringenti (per esempio la genomica e la ricerca in fisica delle alte energie).» I risultati nella fascia intermedia non spariscono, cambiano nome: «I risultati che oggi sarebbero chiamati significativi ma non raggiungono la nuova soglia dovrebbero invece essere chiamati suggestivi.» La giustificazione è bayesiana, e questo è il punto che rende la scheda utile all’apparato: la soglia non viene scelta per severità di costume ma per corrispondenza con una scala di evidenza. «Un p-value bilaterale di 0,05 corrisponde a fattori di Bayes in favore di H1 che vanno da circa 2,5 a 3,4 sotto assunzioni ragionevoli su H1», mentre «un p-value bilaterale di 0,005 corrisponde a fattori di Bayes fra approssimativamente 14 e 26 in favore di H1». Cioè: la soglia corrente certifica come scoperta ciò che, tradotto, è evidenza debole. Il riferimento tecnico è lo stesso Sellke, Bayarri e Berger del 2001 che sta dietro i numeri di Nuzzo. I due numeri sulle conseguenze sono la parte che si cita nelle discussioni pratiche. «Il tasso di falsi positivi è maggiore del 33 per cento con probabilità a priori di 1 a 10 e una soglia del p-value di 0,05, indipendentemente dal livello di potenza statistica. Ridurre la soglia a 0,005 ridurrebbe questo tasso minimo di falsi positivi al 5 per cento.» Il costo: «passare da una soglia di α = 0,05 a α = 0,005 mantenendo l’80 per cento di potenza richiederebbe un aumento delle dimensioni campionarie di circa il 70 per cento». La tesi generale sta in una frase, e va letta sapendo che la firmano settantadue persone: «Gli standard statistici di evidenza per rivendicare nuove scoperte in molti campi della scienza sono semplicemente troppo bassi.» Con l’avvertenza che li tiene onesti: ridurre la soglia «completa — ma non sostituisce — le soluzioni a questi altri problemi», il disegno dello studio fra essi.
The American Statistician 70, n. 2, 2016, pp. 129–133, firmato dal direttore esecutivo dell’American Statistical Association e dalla direttrice della rivista. È la prima volta che un’associazione professionale di statistici prende posizione pubblica sull’uso di un singolo strumento, e resta il documento da cui partire. Nota bibliografica: il titolo esiste in due forme, The ASA Statement nella versione online e The ASA’s Statement nel PDF a stampa. La definizione che il documento dà di sé stesso vale come misura di prudenza: «Informalmente, un p-value è la probabilità, sotto un modello statistico specificato, che un riassunto statistico dei dati sia uguale o più estremo del suo valore osservato.» I sei principi, nella loro formulazione. Primo: i p-value possono indicare quanto i dati siano incompatibili con un modello statistico specificato. Secondo: non misurano la probabilità che l’ipotesi studiata sia vera, né la probabilità che i dati siano stati prodotti dal solo caso — «è un’affermazione sui dati in relazione a una spiegazione ipotetica specificata, e non è un’affermazione sulla spiegazione stessa». Terzo: le conclusioni scientifiche e le decisioni aziendali o politiche non dovrebbero basarsi solo sul fatto che un p-value superi una soglia specifica, perché «una conclusione non diventa immediatamente vera su un lato della linea di divisione e falsa sull’altro». Quarto: un’inferenza corretta richiede reporting completo e trasparenza, e «non è necessario condurre formalmente test statistici multipli perché questo problema si presenti: ogni volta che un ricercatore sceglie cosa presentare sulla base dei risultati statistici, l’interpretazione valida di quei risultati è gravemente compromessa se il lettore non è informato della scelta e del suo fondamento». Quinto: un p-value, o la significatività statistica, non misura la dimensione di un effetto né l’importanza di un risultato, perché «qualunque effetto, non importa quanto minuscolo, può produrre un p-value piccolo se la dimensione del campione o la precisione della misura sono abbastanza alte». Sesto: da solo, un p-value non fornisce una buona misura dell’evidenza riguardo a un modello o a un’ipotesi — «per esempio, un p-value vicino a 0,05, preso da solo, offre soltanto evidenza debole contro l’ipotesi nulla». Il sesto è quello che l’archivio tiene, perché è quello che la pratica ignora: viene dalla stessa associazione che certifica lo strumento, e dice che lo strumento non fa il lavoro che gli si chiede. La chiusa del documento è la frase da ricordare: «Nessun singolo indice dovrebbe sostituire il ragionamento scientifico.» Due cose sul processo, che spiegano il peso del testo. Nasce nel febbraio 2014 da una domanda posta al forum dell’ASA da George Cobb, che la formulò come un cerchio: «Lo insegniamo perché è ciò che facciamo; lo facciamo perché è ciò che insegniamo.» Il consiglio direttivo incarica Wasserstein di riunire un gruppo, che arriva a oltre due dozzine di persone; venti si riuniscono ad Alexandria, in Virginia, nell’ottobre 2015 per due giorni, con Regina Nuzzo a facilitare; la dichiarazione è approvata il 29 gennaio 2016 ed esce il 7 marzo. Fra i venticinque commentatori ringraziati per nome ci sono Deborah Mayo, Andrew Gelman, John Ioannidis, Sander Greenland, Valen Johnson e Steve Goodman, cioè quasi tutte le parti in causa della disputa — e i loro commenti firmati sono nel supplemento online. Un’ultima avvertenza, che vale come esercizio di igiene delle fonti: la frase più citata in assoluto su questo materiale, «il p-value non è mai stato pensato come sostituto del ragionamento scientifico», non è nell’articolo. È una dichiarazione di Wasserstein nel comunicato stampa dell’ASA del 7 marzo 2016. Chi la attribuisce a The American Statistician non ha letto la fonte.
Science 349, n. 6251, e-locator aac4716, del 28 agosto 2015, firmato Open Science Collaboration — 270 autori contribuenti coordinati da Brian Nosek. La versione pubblicata è depositata su OSF e in diversi repository universitari, quindi leggibile. È il documento che trasforma un sospetto in una misura, e vale la pena riportare i numeri con la loro etichetta esatta, perché in circolazione se ne trovano tre o quattro scambiati fra loro. Dei 488 articoli usciti nel 2008 su tre riviste di psicologia, 158 sono diventati eleggibili, 111 sono stati scelti da una squadra, e 100 replicazioni sono state completate. Di qui: il 97 per cento degli studi originali aveva un risultato statisticamente significativo; il 36 per cento delle replicazioni ha prodotto un risultato significativo nella stessa direzione — ed è 35 su 97, non su 100, perché il denominatore sono gli originali che erano significativi; il 47 per cento delle dimensioni d’effetto originali cadeva dentro l’intervallo di confidenza al 95 per cento della replica, non dentro un intervallo di predizione come si legge spesso; il 39 per cento degli effetti è stato giudicato replicato — e il giudizio è quello soggettivo delle squadre di replicazione, non degli autori originali. Combinando meta-analiticamente originale e replica, e assumendo nessun bias nell’originale, resta significativo il 68 per cento. Il dato che conta più delle percentuali è però la contrazione: «Gli effetti delle replicazioni erano metà della grandezza degli effetti originali, il che rappresenta un declino sostanziale» — da una media di 0,403 a una di 0,197. E gli autori danno la spiegazione strutturale che rende il risultato prevedibile invece che scandaloso: «Ci sono buone prove che la bassa potenza dei disegni di ricerca, combinata con il bias di pubblicazione che favorisce i risultati positivi su quelli negativi, produca una letteratura con dimensioni d’effetto gonfiate al rialzo. Questo fa prevedere che le dimensioni d’effetto delle replicazioni sarebbero più piccole di quelle degli studi originali di routine — non per differenze nell’implementazione, ma perché le dimensioni d’effetto degli studi originali sono affette dal bias di pubblicazione e di reporting, e le replicazioni no.» Sulle cautele vale la pena essere fedeli, perché sono degli autori stessi e sono la parte che nessuna ripresa giornalistica ha riportato. «È troppo facile concludere che una replicazione riuscita significhi che la comprensione teorica del risultato originale è corretta»: una replicazione diretta dà prova della affidabilità di un risultato, non della sua spiegazione. E simmetricamente: «È anche troppo facile concludere che un fallimento di replicazione significhi che l’evidenza originale era un falso positivo. Le replicazioni possono fallire se la metodologia della replicazione differisce dall’originale in modi che interferiscono con l’osservazione dell’effetto.» La chiusa è la regola generale: «Un singolo studio non fornisce quasi mai una risoluzione definitiva a favore o contro un effetto e la sua spiegazione.»
American Scientist 102, n. 6, novembre–dicembre 2014, pp. 460–465, di Andrew Gelman ed Eric Loken, con il sottotitolo che porta la formula: «L’analisi dipendente dai dati — un giardino dei sentieri che si biforcano — spiega perché molti confronti statisticamente significativi non tengono.» Il PDF della versione pubblicata è liberamente disponibile sul sito di Gelman alla Columbia. Esiste anche un working paper precedente del 14 novembre 2013, non pubblicato, con il titolo lungo che dice tutto: The garden of forking paths: Why multiple comparisons can be a problem, even when there is no fishing expedition or p-hacking and the research hypothesis was posited ahead of time. La distinzione che rende l’articolo importante, e che quasi tutti sbagliano, è che questo non è p-hacking. Il p-hacking e la pesca nei dati presuppongono che il ricercatore esegua molte analisi e riporti quella significativa. La tesi di Gelman e Loken è che il p-value pubblicato è invalidato anche quando ne viene eseguita una sola, perché ciò che conta non è quante analisi siano state fatte, ma quante avrebbero potuto essere fatte con dati diversi. Testualmente: «anche in contesti in cui una singola analisi è stata condotta sui dati dati, la questione dei confronti multipli emerge perché scelte diverse sul combinare variabili, sull’inclusione ed esclusione dei casi, sulle trasformazioni delle variabili, sui test di interazione in assenza di effetti principali, e molti altri passaggi dell’analisi, sarebbero potuti benissimo avvenire con dati diversi». In quel caso «i ricercatori devono eseguire un solo test, ma quel test è condizionato ai dati; dunque ha lo stesso effetto che se avessero deliberatamente pescato quei risultati». Ne segue la frase che l’archivio userà altrove, perché rovescia la presunzione morale di tutta la discussione sull’integrità della ricerca: «Il fatto stesso che gli scienziati generalmente non barino, generalmente non vadano a pesca di significatività statistica, li rende vulnerabili al trarre conclusioni forti quando incontrano uno schema abbastanza robusto da superare la soglia di p < 0,05.» Non serve alcuna disonestà. Serve soltanto che le decisioni su esclusioni, codifiche, trasformazioni e interazioni siano state prese dopo aver visto i dati — e questo è il modo normale, ragionevole e onesto in cui si analizza un dataset. Da qui la metafora: «In questo giardino dei sentieri che si biforcano, qualunque strada si prenda sembra predeterminata, ma è perché le scelte sono state fatte implicitamente.» Dove sta il problema vero lo dicono senza consolazioni: «La sfida difficile sta altrove: dato un particolare insieme di dati, può sembrare interamente appropriato guardare i dati e costruire regole ragionevoli di esclusione, codifica e analisi che portano alla significatività statistica.» La soluzione che indicano è la preregistrazione dell’intero protocollo, oppure la replica prima della pubblicazione — con un’ammissione che va riportata perché è onesta e li mette in difficoltà: «Per la maggior parte dei nostri progetti di ricerca questa strategia sembra difficilmente possibile: nei nostri molti progetti applicati abbiamo imparato tantissimo guardando i dati.»
News Feature di Regina Nuzzo su Nature 506, n. 7487, pp. 150–152, del 12 febbraio 2014, con il sottotitolo che dichiara la tesi: i p-value, «lo standard d’oro della validità statistica, non sono affidabili quanto molti scienziati assumono». Non è ad accesso libero, e va detto perché è una delle poche schede dell’archivio dietro paywall: circolano copie in siti universitari, e la ragione per cui la scheda entra comunque è che questo è il pezzo divulgativo che ha spostato il dibattito. Apre con un caso, e il caso è il contenuto. Nel 2010 Matt Motyl crede di aver dimostrato che gli estremisti politici vedono il mondo in bianco e nero letteralmente: su quasi duemila persone, i moderati distinguevano le sfumature di grigio meglio degli estremi di destra e di sinistra. «Il p-value, un indice comune della forza dell’evidenza, era 0,01 — di solito interpretato come molto significativo.» Con dati aggiuntivi, il p-value è risultato 0,59. E qui Nuzzo mette la frase che vale l’articolo: «La maggior parte degli scienziati guarderebbe il suo p-value originale di 0,01 e direbbe che c’era solo l’1% di probabilità che il risultato fosse un falso allarme. Ma si sbaglierebbero.» I numeri della calibrazione sono la parte da citare, e vanno attribuiti correttamente: non sono di Steven Goodman, che l’articolo intervista diffusamente, e Valen Johnson non è nemmeno citato. La fonte accreditata sotto il grafico è Sellke, Bayarri e Berger, The American Statistician 55, pp. 62–71, 2001. La traduzione di un p-value in probabilità che l’ipotesi sia vera dipende dalla plausibilità a priori, e lo schema è questo. Con un’ipotesi implausibile a priori, probabilità del 5%: un p di 0,05 la porta all’11%, un p di 0,01 al 30%. Con un’ipotesi a cinquanta e cinquanta: un p di 0,05 la porta al 71%, un p di 0,01 all’89%. Con un’ipotesi già plausibile al 90%: 96% e 99%. Nel corpo del testo la stessa cosa è detta dal lato del falso allarme: «un p-value di 0,01 corrisponde a una probabilità di falso allarme di almeno l’11%, a seconda della probabilità sottostante che ci sia un effetto vero; un p-value di 0,05 porta quella probabilità ad almeno il 29%». La conseguenza è che il p-value viene sistematicamente letto al contrario, e l’articolo dice perché non può essere altrimenti: «Il p-value non può dire questo: tutto ciò che può fare è riassumere i dati assumendo una specifica ipotesi nulla. Non può lavorare a rovescio e fare affermazioni sulla realtà sottostante.» La formula di Goodman è più secca: «Il p-value non è mai stato pensato per essere usato come viene usato oggi.» E quella dell’economista Stephen Ziliak chiude il punto senza appello: «I p-value non stanno facendo il loro lavoro, perché non possono.»
PLoS Medicine 2(8): e124, 30 agosto 2005, open access con licenza CC BY. È l’articolo più citato della letteratura sulla riproducibilità e il titolo è diventato uno slogan, il che ha coperto la cosa che lo rende utile: non è un pamphlet, è un modello. Il meccanismo sta in una quantità che non è il p-value: il valore predittivo positivo, cioè la probabilità che un risultato dichiarato sia vero. Dipende da tre cose oltre alla soglia: la potenza dello studio, il rapporto R fra relazioni vere e relazioni inesistenti fra quelle testate in quel campo, e un termine di bias u — «la proporzione di analisi sondate che non sarebbero state risultati di ricerca, ma che finiscono comunque presentate e riportate come tali, a causa del bias». La condizione soglia è di una riga: «Un risultato di ricerca è dunque più probabilmente vero che falso se (1 − β)R > α.» Detto altrimenti: la soglia da sola non basta mai, perché il numero di ipotesi false in circolazione in un campo entra nel conto, e nessun p-value la conosce. La parte esportabile sono i sei corollari, che si applicano a qualunque disciplina e si possono usare come lista di controllo: meno un campo fa studi grandi, meno i suoi risultati sono veri; meno gli effetti sono grandi, meno sono veri; più relazioni si testano e meno le si seleziona, meno sono veri; più c’è flessibilità nei disegni, nelle definizioni, negli esiti e nelle modalità analitiche, meno sono veri; più ci sono interessi finanziari e di altro tipo, meno sono veri; e infine, controintuitivo ma dimostrato, più un campo è caldo, con più squadre in competizione, meno i suoi risultati sono veri. I numeri della tabella 4 danno l’ordine di grandezza. Uno studio randomizzato controllato adeguatamente potenziato, con poco bias e probabilità a priori pari, arriva a un valore predittivo positivo di 0,85. Una meta-analisi di piccoli studi inconcludenti: 0,41. Uno studio epidemiologico esplorativo sottopotenziato: 0,12. E la ricerca esplorativa orientata alla scoperta con test massivi, il caso genomico: 0,0010, cioè un risultato dichiarato su mille è vero. L’esempio del riquadro 1 lo mostra in concreto — centomila polimorfismi testati per la schizofrenia, dieci realmente associati, potenza del 60 per cento: con un p appena sotto 0,05 la probabilità post-studio sale di dodici volte, e resta 12 su diecimila. La frase che giustifica il titolo non è retorica ma una rivendicazione di dimostrazione: «Si può provare che la maggior parte dei risultati di ricerca dichiarati è falsa.» E quella che porta più lontano riguarda ciò che stiamo misurando davvero quando misuriamo male: «Per molti campi scientifici attuali, i risultati di ricerca dichiarati possono essere semplicemente misure accurate del bias prevalente» — «le dimensioni d’effetto dichiarate sono in effetti le stime più accurate del bias netto».