teoria
test severo
22 articoli
Standard di valutazione delle prove formulato da Deborah Mayo, che ne ricava la forma leggendo la tesi autocorrettiva di Charles Sanders Peirce. Nella definizione di Mayo un’ipotesi H supera un test severo con il dato x se e solo se, primo, x concorda con H, e secondo, la procedura sperimentale avrebbe segnalato con probabilità molto alta la presenza di un errore, nel caso ci fosse stata una discordanza. In forma breve: un test è severo se l’ipotesi avrebbe potuto fallirlo davvero. La conseguenza è uno spostamento dell’oggetto, ed è la parte che si dimentica per prima: le probabilità si attaccano alle procedure, non alle ipotesi. Peirce lo scrive già nel 1878 (2.748) rifiutando la probabilità inversa — la teoria proposta non assegna alcuna probabilità alla conclusione induttiva. Non si dice quanto è probabile che H sia vera; si dice quanto è affidabile il procedimento che l’ha messa alla prova. Da questo standard Mayo ricava tre ordini di induzione, e la scala è utilizzabile anche dove non compare un numero: il primo è l’induzione rozza, che procede per assenza di confutazione ed è quindi un argomento dall’ignoranza; il secondo è qualitativo, e la sua forza dipende da quanto la previsione vada contro ciò che ci si aspetterebbe senza l’ipotesi; il terzo è quantitativo, e comincia quando quel quanto diventa misurabile attraverso probabilità d’errore oggettive. Il corollario pratico più immediato riguarda la predesignazione, cioè l’obbligo di dichiarare l’ipotesi prima di guardare i dati: se si esaminano venti fattori e si riporta come test quello che è risultato significativo, la probabilità di aver trovato almeno un falso positivo non è il 5% dichiarato ma circa il 64%, perché 0,95 elevato a venti fa 0,36 — e quella, non 0,95, è la severità del test che si è davvero condotto. Va detto che non è lo standard, ma uno degli standard in campo: appartiene alla statistica dell’errore, e gli si oppone la tradizione bayesiana, per cui la domanda legittima è quanto sia credibile un’ipotesi alla luce dei dati osservati e non quanto affidabilmente una procedura avrebbe sbagliato. Mayo difende la propria parte contro i test basati sul fattore di Bayes nel 2025, sul British Journal for the Philosophy of Science; l’archivio registra entrambe le posizioni alle voci inferenza bayesiana e guerre della statistica, e adotta questa sapendo di adottarne una. Nel sito è lo strumento in ingresso più usato e il più a lungo non dichiarato: l’archivio lo adotta nel giugno 2026 con il primo audit di Floridi, che lo prende da Mayo, e la voce esiste per restituirlo alla sua fonte. La domanda che porta con sé, e che si può rivolgere a qualunque affermazione, non è se abbia prove a favore: è quante possibilità aveva di non averne.
- contrappesi istituzionali — Una procedura che non può concludere contro chi la ospita non ha severità, qualunque sia la frequenza delle sedute.
- coscienza di accesso — Il modello in cui affiorano «fake» e «fictional» prima di rispondere: una prova riconosciuta come prova non è più una prova.
- coscienza fenomenica — Il limite superiore: se il concetto non taglia la natura alle giunture non c'è test severo possibile, perché non si sa che cosa fallirebbe.
- epistemia — Il rovescio esatto: l’epistemia è la sensazione di sapere senza che ci sia stato un test, la severità è il test che quella sensazione non fornisce.
- Andrew Gelman — I controlli predittivi a posteriori che raccomanda sono, nello spirito, tentativi di sottoporre il modello a un test che potrebbe fallire.
- giardino dei sentieri che si biforcano — La severità reale di un test scelto dopo i dati è molto minore di quella dichiarata, e nessuno dei due numeri appare nel paper.
- inferenza bayesiana — Lo standard che le si oppone: non quanto è credibile l’ipotesi, ma quanto la procedura avrebbe potuto smentirla.
- legge di Goodhart — Parenti stretti da non confondere: là la misura si guasta perché diventa obiettivo, qui il test perché l’ipotesi è scelta dopo i dati.
- lungotermismo — Una tesi su miliardi di persone future non è sottoponibile a prova severa: nessun esito osservabile la smentirebbe.
- Deborah Mayo — La definizione è sua: un test è severo se la procedura avrebbe segnalato l’errore, con probabilità molto alta, nel caso ci fosse stato.
- metodo scientifico — Il criterio con cui il sito lo giudica: non i protocolli seguiti, ma la probabilità che la procedura avrebbe segnalato l’errore.
- not even wrong — Lo standard che regge la diagnosi: un’affermazione collocata fuori dalla portata di un test severo non è sbagliata, è nemmeno sbagliata.
- p-value — Un p piccolo da solo non dice nulla: dice qualcosa se la procedura che l’ha prodotto avrebbe potuto produrne uno grande.
- Charles Sanders Peirce — Mayo legge la sua tesi autocorrettiva come rilevazione dell’errore e non come convergenza: lo standard dell’archivio nasce qui.
- Karl Popper — La critica che il sito adotta: aveva il criterio e non la misura, perché non disse mai che cosa rende buono un test.
- reward hacking — Un correttore che il valutato può alterare non è una procedura che avrebbe segnalato l’errore: la severità scende a zero senza che il numero cambi.
- rilevatori di testo generato — Il punto che decide tutto: un punteggio senza una procedura che avrebbe potuto smentirlo non è una prova, è un indizio con tre decimali.
- statistica dell’errore — Lo standard che ne è il prodotto: la valutazione si sposta dall’ipotesi alla procedura che l’ha messa alla prova.
Nel resto della mappa
Vedi la mappa completa →