The ASA President’s Task Force Statement on Statistical Significance and Replicability

The Annals of Applied Statistics 15(3), 2021, pp. 1084–1085, riprodotto ad accesso libero sulla Harvard Data Science Review e su Amstat News. Due pagine, e chiudono cinque anni di guerra istituzionale.

Serve prima la genealogia, perché la vicenda viene ricordata al contrario. Nel 2016 l’American Statistical Association pubblica i sei principi sui p-value: prudenti, condivisi. Nel 2019 un editoriale di Wasserstein, Schirm e Lazar su The American Statistician va molto oltre e arriva a un passo dal raccomandare l’abbandono della significatività statistica. Nello stesso anno il presidente dell’ASA istituisce una task force proprio per la ragione che il documento dichiara in apertura: «Nel 2019 il presidente dell’American Statistical Association ha istituito una task force per affrontare le preoccupazioni che un editoriale del 2019 su The American Statistician (una rivista ASA) potesse essere erroneamente interpretato come politica ufficiale dell’ASA.» Lo scopo, testuale, è «chiarire che l’uso dei p-value e dei test di significatività, applicati e interpretati correttamente, sono strumenti importanti che non dovrebbero essere abbandonati».

La prima riga dello statement è la frase da citare, e va letta sapendo da chi arriva: «I p-value sono misure statistiche valide, che forniscono convenzioni comode per comunicare l’incertezza inerente ai risultati quantitativi.» I cinque punti che seguono si aprono così: catturare l’incertezza associata ai riassunti statistici è cruciale; trattare replicabilità e incertezza sta al cuore della scienza statistica; il controllo dell’incertezza comincia dal disegno dello studio e continua in ogni fase fino al reporting; e infine, contro la tesi del 2019, «le soglie sono utili quando sono richieste azioni. Confrontare i p-value con un livello di significatività può essere utile, anche se i p-value forniscono da sé informazione di valore». Con la cautela che resta: «i p-value e la significatività statistica dovrebbero essere intesi come valutazioni di osservazioni o effetti relative alla variabilità campionaria, e non necessariamente come misure di significatività pratica».

Sulla firma e sulla composizione vanno fatte due precisazioni che la letteratura secondaria sbaglia. Karen Kafadar non presiedeva la task force: l’ha istituita in quanto presidente dell’ASA nel 2019 ed è firmataria d’ufficio; i co-presidenti sono Xuming He, dell’Università del Michigan, e Linda J. Young, del servizio statistico del dipartimento dell’agricoltura statunitense. Fra i quattordici membri ci sono Yoav Benjamini, Bradley Efron, Xiao-Li Meng, Nancy Reid e Stephen Stigler. E i documenti sono due, distinti e da citare separatamente: lo statement (pp. 1084–1085) e l’editoriale di accompagnamento di Kafadar (pp. 1081–1083).

Resta il dettaglio che dice tutto sulla natura della vicenda, ed è la ragione per cui la scheda entra come dato che corregge. Lo statement non è politica ufficiale dell’ASA: il consiglio non l’ha adottato, ed è per questo che è uscito su una rivista con un editoriale a fianco invece che come documento dell’associazione. La formula con cui gli autori lo dicono è quasi imbarazzata: «Questo documento è lo statement della task force, e l’ASA ci ha invitati a renderlo pubblico.» Una task force istituita per chiarire che un editoriale non era politica ufficiale produce un documento che a sua volta non è politica ufficiale — ed è esattamente la struttura che Mayo, pochi mesi dopo, descriverà come conflitto di interessi intellettuale.