preregistrazione

Pratica di depositare pubblicamente, prima di raccogliere o guardare i dati, l’ipotesi che si intende testare, il protocollo di raccolta, i criteri di esclusione e la regola con cui si deciderà di fermarsi. Nel dibattito sulla crisi della replicazione è l’unico rimedio su cui convergono posizioni altrimenti incompatibili: la raccomandano Gelman e Loken nel 2014, Mayo dalla parte della statistica dell’errore, Lakens e i suoi ottantasette coautori nel 2018. La ragione della convergenza è che non si tratta di una norma di trasparenza ma di una condizione di calcolabilità. La probabilità d’errore di una procedura dipende da quali esiti quella procedura avrebbe potuto produrre; se l’ipotesi è scelta dopo aver visto i dati, l’insieme degli esiti possibili non è quello che si è usato per il calcolo, e il numero riportato non misura ciò che dichiara. Lo stesso vale in forma quantificata nel caso più semplice: chi esamina venti fattori e riporta come test quello risultato significativo ha una probabilità di falso positivo intorno al 64 per cento e non del 5. L’obiezione onesta è quella che fanno gli stessi Gelman e Loken, e vale la pena tenerla nella voce: nella ricerca applicata si impara molto guardando i dati, e preregistrare tutto renderebbe impossibile una parte del lavoro che è legittima. La risposta corrente non è un divieto ma una separazione dei registri: l’analisi esplorativa resta libera e va dichiarata esplorativa, e il test confermativo è quello che si preregistra. Fuori dalla ricerca scientifica la struttura si ritrova ogni volta che un criterio di successo viene fissato prima o dopo l’esito.