Scientific method: Statistical errors

News Feature di Regina Nuzzo su Nature 506, n. 7487, pp. 150–152, del 12 febbraio 2014, con il sottotitolo che dichiara la tesi: i p-value, «lo standard d’oro della validità statistica, non sono affidabili quanto molti scienziati assumono». Non è ad accesso libero, e va detto perché è una delle poche schede dell’archivio dietro paywall: circolano copie in siti universitari, e la ragione per cui la scheda entra comunque è che questo è il pezzo divulgativo che ha spostato il dibattito.

Apre con un caso, e il caso è il contenuto. Nel 2010 Matt Motyl crede di aver dimostrato che gli estremisti politici vedono il mondo in bianco e nero letteralmente: su quasi duemila persone, i moderati distinguevano le sfumature di grigio meglio degli estremi di destra e di sinistra. «Il p-value, un indice comune della forza dell’evidenza, era 0,01 — di solito interpretato come molto significativo.» Con dati aggiuntivi, il p-value è risultato 0,59. E qui Nuzzo mette la frase che vale l’articolo: «La maggior parte degli scienziati guarderebbe il suo p-value originale di 0,01 e direbbe che c’era solo l’1% di probabilità che il risultato fosse un falso allarme. Ma si sbaglierebbero.»

I numeri della calibrazione sono la parte da citare, e vanno attribuiti correttamente: non sono di Steven Goodman, che l’articolo intervista diffusamente, e Valen Johnson non è nemmeno citato. La fonte accreditata sotto il grafico è Sellke, Bayarri e Berger, The American Statistician 55, pp. 62–71, 2001. La traduzione di un p-value in probabilità che l’ipotesi sia vera dipende dalla plausibilità a priori, e lo schema è questo. Con un’ipotesi implausibile a priori, probabilità del 5%: un p di 0,05 la porta all’11%, un p di 0,01 al 30%. Con un’ipotesi a cinquanta e cinquanta: un p di 0,05 la porta al 71%, un p di 0,01 all’89%. Con un’ipotesi già plausibile al 90%: 96% e 99%. Nel corpo del testo la stessa cosa è detta dal lato del falso allarme: «un p-value di 0,01 corrisponde a una probabilità di falso allarme di almeno l’11%, a seconda della probabilità sottostante che ci sia un effetto vero; un p-value di 0,05 porta quella probabilità ad almeno il 29%».

La conseguenza è che il p-value viene sistematicamente letto al contrario, e l’articolo dice perché non può essere altrimenti: «Il p-value non può dire questo: tutto ciò che può fare è riassumere i dati assumendo una specifica ipotesi nulla. Non può lavorare a rovescio e fare affermazioni sulla realtà sottostante.» La formula di Goodman è più secca: «Il p-value non è mai stato pensato per essere usato come viene usato oggi.» E quella dell’economista Stephen Ziliak chiude il punto senza appello: «I p-value non stanno facendo il loro lavoro, perché non possono.»