The ASA Statement on p-Values: Context, Process, and Purpose

The American Statistician 70, n. 2, 2016, pp. 129–133, firmato dal direttore esecutivo dell’American Statistical Association e dalla direttrice della rivista. È la prima volta che un’associazione professionale di statistici prende posizione pubblica sull’uso di un singolo strumento, e resta il documento da cui partire. Nota bibliografica: il titolo esiste in due forme, The ASA Statement nella versione online e The ASA’s Statement nel PDF a stampa.

La definizione che il documento dà di sé stesso vale come misura di prudenza: «Informalmente, un p-value è la probabilità, sotto un modello statistico specificato, che un riassunto statistico dei dati sia uguale o più estremo del suo valore osservato.»

I sei principi, nella loro formulazione. Primo: i p-value possono indicare quanto i dati siano incompatibili con un modello statistico specificato. Secondo: non misurano la probabilità che l’ipotesi studiata sia vera, né la probabilità che i dati siano stati prodotti dal solo caso — «è un’affermazione sui dati in relazione a una spiegazione ipotetica specificata, e non è un’affermazione sulla spiegazione stessa». Terzo: le conclusioni scientifiche e le decisioni aziendali o politiche non dovrebbero basarsi solo sul fatto che un p-value superi una soglia specifica, perché «una conclusione non diventa immediatamente vera su un lato della linea di divisione e falsa sull’altro». Quarto: un’inferenza corretta richiede reporting completo e trasparenza, e «non è necessario condurre formalmente test statistici multipli perché questo problema si presenti: ogni volta che un ricercatore sceglie cosa presentare sulla base dei risultati statistici, l’interpretazione valida di quei risultati è gravemente compromessa se il lettore non è informato della scelta e del suo fondamento». Quinto: un p-value, o la significatività statistica, non misura la dimensione di un effetto né l’importanza di un risultato, perché «qualunque effetto, non importa quanto minuscolo, può produrre un p-value piccolo se la dimensione del campione o la precisione della misura sono abbastanza alte». Sesto: da solo, un p-value non fornisce una buona misura dell’evidenza riguardo a un modello o a un’ipotesi — «per esempio, un p-value vicino a 0,05, preso da solo, offre soltanto evidenza debole contro l’ipotesi nulla».

Il sesto è quello che l’archivio tiene, perché è quello che la pratica ignora: viene dalla stessa associazione che certifica lo strumento, e dice che lo strumento non fa il lavoro che gli si chiede. La chiusa del documento è la frase da ricordare: «Nessun singolo indice dovrebbe sostituire il ragionamento scientifico.»

Due cose sul processo, che spiegano il peso del testo. Nasce nel febbraio 2014 da una domanda posta al forum dell’ASA da George Cobb, che la formulò come un cerchio: «Lo insegniamo perché è ciò che facciamo; lo facciamo perché è ciò che insegniamo.» Il consiglio direttivo incarica Wasserstein di riunire un gruppo, che arriva a oltre due dozzine di persone; venti si riuniscono ad Alexandria, in Virginia, nell’ottobre 2015 per due giorni, con Regina Nuzzo a facilitare; la dichiarazione è approvata il 29 gennaio 2016 ed esce il 7 marzo. Fra i venticinque commentatori ringraziati per nome ci sono Deborah Mayo, Andrew Gelman, John Ioannidis, Sander Greenland, Valen Johnson e Steve Goodman, cioè quasi tutte le parti in causa della disputa — e i loro commenti firmati sono nel supplemento online.

Un’ultima avvertenza, che vale come esercizio di igiene delle fonti: la frase più citata in assoluto su questo materiale, «il p-value non è mai stato pensato come sostituto del ragionamento scientifico», non è nell’articolo. È una dichiarazione di Wasserstein nel comunicato stampa dell’ASA del 7 marzo 2016. Chi la attribuisce a The American Statistician non ha letto la fonte.