Why Most Published Research Findings Are False

PLoS Medicine 2(8): e124, 30 agosto 2005, open access con licenza CC BY. È l’articolo più citato della letteratura sulla riproducibilità e il titolo è diventato uno slogan, il che ha coperto la cosa che lo rende utile: non è un pamphlet, è un modello.

Il meccanismo sta in una quantità che non è il p-value: il valore predittivo positivo, cioè la probabilità che un risultato dichiarato sia vero. Dipende da tre cose oltre alla soglia: la potenza dello studio, il rapporto R fra relazioni vere e relazioni inesistenti fra quelle testate in quel campo, e un termine di bias u — «la proporzione di analisi sondate che non sarebbero state risultati di ricerca, ma che finiscono comunque presentate e riportate come tali, a causa del bias». La condizione soglia è di una riga: «Un risultato di ricerca è dunque più probabilmente vero che falso se (1 − β)R > α.» Detto altrimenti: la soglia da sola non basta mai, perché il numero di ipotesi false in circolazione in un campo entra nel conto, e nessun p-value la conosce.

La parte esportabile sono i sei corollari, che si applicano a qualunque disciplina e si possono usare come lista di controllo: meno un campo fa studi grandi, meno i suoi risultati sono veri; meno gli effetti sono grandi, meno sono veri; più relazioni si testano e meno le si seleziona, meno sono veri; più c’è flessibilità nei disegni, nelle definizioni, negli esiti e nelle modalità analitiche, meno sono veri; più ci sono interessi finanziari e di altro tipo, meno sono veri; e infine, controintuitivo ma dimostrato, più un campo è caldo, con più squadre in competizione, meno i suoi risultati sono veri.

I numeri della tabella 4 danno l’ordine di grandezza. Uno studio randomizzato controllato adeguatamente potenziato, con poco bias e probabilità a priori pari, arriva a un valore predittivo positivo di 0,85. Una meta-analisi di piccoli studi inconcludenti: 0,41. Uno studio epidemiologico esplorativo sottopotenziato: 0,12. E la ricerca esplorativa orientata alla scoperta con test massivi, il caso genomico: 0,0010, cioè un risultato dichiarato su mille è vero. L’esempio del riquadro 1 lo mostra in concreto — centomila polimorfismi testati per la schizofrenia, dieci realmente associati, potenza del 60 per cento: con un p appena sotto 0,05 la probabilità post-studio sale di dodici volte, e resta 12 su diecimila.

La frase che giustifica il titolo non è retorica ma una rivendicazione di dimostrazione: «Si può provare che la maggior parte dei risultati di ricerca dichiarati è falsa.» E quella che porta più lontano riguarda ciò che stiamo misurando davvero quando misuriamo male: «Per molti campi scientifici attuali, i risultati di ricerca dichiarati possono essere semplicemente misure accurate del bias prevalente» — «le dimensioni d’effetto dichiarate sono in effetti le stime più accurate del bias netto».