crisi della replicazione

Nome corrente della constatazione, maturata fra il 2005 e il 2015 soprattutto in psicologia e in medicina, che una quota larga dei risultati pubblicati non regge a un secondo tentativo. La misura di riferimento è del 2015, quando la Open Science Collaboration pubblica su Science l’esito di cento replicazioni di studi psicologici del 2008: il 97 per cento degli originali aveva un risultato significativo, il 36 per cento delle repliche lo ha avuto, e le dimensioni d’effetto si sono dimezzate. Il modello formale però viene prima dei dati, ed è di John Ioannidis nel 2005: la probabilità che un risultato dichiarato sia vero dipende dalla potenza dello studio, dal rapporto fra ipotesi vere e false che circolano nel campo e da un termine di distorsione, e nessuna soglia sul p-value conosce quei tre parametri. Nel sito la voce serve a tenere insieme tre cose che si confondono. La prima è che la crisi non riguarda la frode: il meccanismo descritto da Gelman e Loken nel 2014 funziona con ricercatori onesti che compiono una sola analisi, perché basta che le scelte su esclusioni, codifiche e trasformazioni siano state prese dopo aver visto i dati. La seconda è che un fallimento di replicazione non dimostra che l’originale fosse falso, come gli autori dello studio del 2015 dicono esplicitamente, e chi lo tratta come una confutazione commette lo stesso errore logico che denuncia. La terza è che la crisi ha una causa editoriale prima che statistica: la bassa potenza dei disegni combinata con la pubblicazione selettiva dei risultati positivi produce una letteratura con effetti gonfiati al rialzo, e la contrazione osservata nelle repliche è ciò che ci si deve aspettare, non una sorpresa. È il contesto in cui la disputa fra bayesiani e frequentisti smette di essere accademica e comincia a decidere che cosa viene pubblicato.