Epistemologia & AI

Argomento

Statistica

23 articoli

La disciplina che stima grandezze e incertezze a partire dai dati, e che stabilisce quanto una misura autorizzi a concludere. L’archivio la legge dal lato dei suoi usi pubblici. Il primo terreno è la controversia sul p-value, che la catena «Il p-value e le sue guerre» riconduce a una lettura sbagliata: un numero che misura quanto i dati sarebbero sorprendenti sotto l’ipotesi nulla, trattato come probabilità che l’ipotesi sia vera o come verdetto automatico. Il secondo sono le previsioni elettorali, dove Nassim Nicholas Taleb, Nate Silver, Aubrey Clayton e Andrew Gelman discutono che cosa renda credibile una probabilità dichiarata, e dove le valutazioni dell’AAPOR sui sondaggi del 2016 e del 2020 mostrano un errore reale molto più ampio del margine stampato sotto ogni rilevazione. Il corpus del 2026 porta la stessa domanda fuori dai sondaggi: ai benchmark che dicono chi ha battuto chi, ai ricavi dell’AI costruiti in modi che non si possono confrontare, agli istituti fittizi entrati negli aggregatori delle elezioni di metà mandato, alla crisi degli adolescenti americani che secondo le misure ufficiali rientra dal 2021 mentre se ne discutono ancora le cause. **Un numero vale quanto la procedura che lo ha prodotto, e la fiducia in una misura dipende da chi la produce e da che cosa sa dire del proprio errore.**

mar 2016 nov 2026
Lo standard di prova, I

Il p-value e le sue guerre

Un numero che quasi tutti usano e pochi sanno definire ha diviso la statistica per vent’anni. Quattordici schede dell’archivio, da Popper alla task force dell’American Statistical Association, con una tabella delle scuole e le sei letture sbagliate del p-value: una catena pensata come strumento di lavoro.

America does not produce world-beating statistics. Who does? ↗

Le risposte alle indagini ufficiali sono crollate. Negli Stati Uniti risponde alle domande sui consumi meno del 40 per cento delle persone, contro più del 60 nel 2016, e in Gran Bretagna a quelle sul lavoro risponde il 27 per cento. Gli uffici statistici hanno bilanci più magri, meno fiducia e più interferenze politiche. Nel 2025 Trump ha licenziato la direttrice del Bureau of Labor Statistics accusandola falsamente di aver truccato un dato, e anche in Colombia, Polonia e Slovenia alcuni statistici sono stati rimossi. L’Economist propone quattro prove per individuare i migliori. La prima è pubblicare, e spesso: il Libano non fa un censimento dal 1932, e l’India rinvia il suo dal 2020. La seconda è l’indipendenza. Secondo uno studio del 2022 di Luis Martínez sulle luci notturne viste dal satellite, i regimi autoritari gonfiano la crescita annua del PIL di circa il 35 per cento. Gli Stati Uniti di Trump hanno smesso di pubblicare diverse serie e ridotto del 20 per cento il personale del BLS. La terza prova è l’esattezza: secondo la Resolution Foundation, all’inizio del 2024 l’indagine britannica sulle forze di lavoro ha sottostimato l’occupazione di circa un milione di persone. La quarta è l’adattamento, e con l’AI è la più difficile: i modelli migliorano così in fretta che non si sa quanta parte di una variazione di prezzo sia inflazione e quanta sia qualità. Su questa prova vince l’ufficio statistico olandese: usa i dati degli scanner dei supermercati dal 2002, analizza con l’apprendimento automatico i siti delle imprese per contare quelle che usano l’AI, e ha abolito il censimento grazie a un registro della popolazione accettato dai cittadini. Anche lì però la fiducia è fragile. Dopo lo scandalo dell’algoritmo fiscale che aveva accusato di frode famiglie innocenti, solo il 34 per cento degli olandesi crede che lo Stato proteggerà i suoi dati quando usa l’AI.

The Kids May Not Be All Right, but They’re Getting Better ↗

Wallace-Wells mette in fila i dati delle agenzie federali americane. Secondo i Centers for Disease Control, fra il 2021 e il 2025 la quota di adolescenti arrivati al pronto soccorso per un sospetto tentativo di suicidio è scesa di oltre il 20 per cento, e di più fra le ragazze. Nello Youth Risk Behavior Survey i ragazzi che dicono di aver pensato al suicidio, di averlo pianificato o tentato sono calati di circa il 30 per cento; gli episodi depressivi maggiori dichiarati sono scesi del 27 per cento. Anche Jean Twenge, che con Jonathan Haidt attribuisce agli smartphone gran parte del danno, parla di un miglioramento «molto marcato» e di lunga durata. Mentre il dibattito si spostava sulle cause della crisi, la crisi rientrava, e gli strumenti che servivano a misurarla dicono ora il contrario di ciò che si continua a ripetere. Wallace-Wells non nasconde i limiti: le risposte risentono della cultura diagnostica del momento, e i livelli di oggi restano peggiori di quelli dei primi anni Duemila. Per questo cita i ricercatori che parlano di «inflazione diagnostica» e di «concept creep»: parte del peggioramento registrato prima della pandemia potrebbe venire da come si codificava e si riconosceva il disagio, più che da quanto ce n’era. Il miglioramento, osserva, accompagna quello di altri indicatori sociali, dagli omicidi alle overdose, senza che sia cambiato molto nella struttura del paese.

The Midterm Predictions Were Good ↗

La sera delle elezioni di metà mandato Levine tiene aperta la pagina di Kalshi invece di inseguire i commenti sui social: alle 20.30 i prezzi davano ai Democratici il 98 per cento di probabilità di controllare il Senato, ore prima che le televisioni facessero un annuncio, e lui è andato a dormire. La differenza è di incentivi: il giornalista ha buone ragioni per non estrapolare dai primi dati, lo scommettitore ha buone ragioni per farlo. Secondo Kalshi i candidati favoriti alle cinque del pomeriggio hanno vinto nel 98 per cento delle sfide già assegnate. L’informazione prodotta da un mercato predittivo è un’esternalità: chi la produce, nel complesso, non guadagna nulla al netto delle commissioni, e chi la usa non la paga. Kalshi stessa dice che circa tre quarti dei suoi utenti non hanno mai depositato denaro e guardano i prezzi senza scommettere. Levine osserva che i giornali, invece di pagare quell’informazione, si fanno pagare dalle piattaforme per mostrarla, e che le piattaforme cercano di trasformare il credito guadagnato con le elezioni in un affare quotidiano: le scommesse sportive, che Levine non ama, o i derivati su azioni, criptovalute e potenza di calcolo. L’equilibrio attuale gli sembra buono perché i mercati elettorali sono abbastanza grandi da premiare le previsioni accurate, ma non tanto da influire sul voto.

Can You Trust the Midterm Polls? Three Times Journalists Talk It Out. ↗

Patrick Healy, responsabile degli standard del New York Times, chiede a Nate Cohn e William P. Davis, che curano il sondaggio Times/Siena, se ci si possa fidare dei sondaggi che a pochi giorni dal voto di metà mandato danno i Democratici in vantaggio, perfino in Texas. Cohn distingue due significati della parola fiducia: aspettarsi che vinca chi è in testa no, usare i sondaggi come la migliore informazione disponibile sull’elettorato sì. Davis ricorda che un sondaggio misura l’opinione in un momento dato e non prevede il voto. Il Times pubblica ogni rilevazione, anche quando sembra un errore: nel 2022 Cohn aveva ridimensionato un sondaggio in Kansas che dava la democratica Sharice Davids avanti di 14 punti, e lei vinse di 12. Negli anni in cui Trump era in corsa i sondaggi hanno sottostimato i repubblicani, perché gli elettori meno istruiti e meno assidui rispondono di meno; il Times li richiama più volte e ha cambiato il metodo di ponderazione. La frase che riassume il pezzo è di Cohn: un sondaggio non è un fatto come lo spostamento del presidente in Illinois, è la misura migliore disponibile, e non c’è garanzia che la migliore basti. Resta il rischio nuovo dei falsi istituti come Wedgewood, finiti anche nei tracker del giornale.

‘Fake’ pollsters hit US midterms ↗

Wedgewood Polls, presentatasi come istituto di sondaggi americano, ha ammesso che la maggior parte dei suoi dati era inventata e ha detto di aver voluto verificare quanto facilmente un istituto del tutto falso potesse essere preso sul serio. L’ha scoperta l’aggregatore FiftyPlusOne. Il New York Times aveva incluso quindici suoi sondaggi nel proprio tracker fra giugno e ottobre, e li ha tolti con una nota della redazione; in agosto un’altra società, Median Strategies, aveva ammesso di aver fabbricato risultati come «esperimento sociale». Il danno non è teorico: Mallory McMorrow, candidata democratica al Senato in Michigan, dice che un sondaggio di Wedgewood che la dava a una cifra le fece perdere donazioni e volontari. Secondo FiftyPlusOne fare sondaggi di bassa qualità, o falsificarli del tutto, sta diventando sempre più facile, e gli strumenti di intelligenza artificiale rendono più difficile riconoscere istituti e dati inventati. La presidente dell’AAPOR, Mary Losch, chiede di non confondere la frode con i sondaggi legittimi.

He Wants AI Benchmarking To Be a Science, Not a Dark Art ↗

Moritz Hardt, direttore al Max Planck Institute for Intelligent Systems e autore di The Emerging Science of Machine Learning Benchmarks, chiama i benchmark «the mistake that made machine learning». Dovrebbero funzionare come termometri, ma funzionano come una gara: il campo ha messo i test in rete e ci ha iterato sopra, ignorando la regola di usarli una volta sola. I punteggi assoluti valgono poco, perché basta cambiare di poco il test per passare dal 90 al 73%. Le classifiche invece sono rimaste stabili fra dataset diversi, ed è per questo, «mostly by sheer luck», che l’apprendimento automatico è sfuggito a una crisi della replicazione. Un benchmark non è un termometro ma una gara: il punteggio non dice quanto vale un modello, e la classifica dice chi è meglio solo se tutti si sono preparati allo stesso modo. Con i modelli linguistici quella condizione è saltata. Non si sa su che cosa siano addestrati, e ognuno si prepara ai test in misura diversa, il «benchmaxxing». La proposta di Hardt viene dalle Olimpiadi di Città del Messico del 1968: invece di vietare l’allenamento in quota, estenderlo a tutti, con un protocollo comune di preparazione prima del test. Lui stesso ammette che così si ottengono indicatori di progresso, non misure, e che la stabilità delle classifiche è un fatto empirico senza teoria. È un’intervista breve, uscita con il libro.

The AI boom is threatened by an epidemic of unreliable numbers ↗

In una settimana i ricavi di OpenAI sono stati stimati in 70 miliardi di dollari da Axios e in 50 dal Financial Times, e i titoli tecnologici sono saliti e scesi a ogni versione. La colonna Schumpeter dell’Economist ne fa il sintomo di un problema più largo. I «ricavi» dei laboratori sono in realtà ARR, ricavi ricorrenti annualizzati: le vendite di un mese moltiplicate per dodici, ricorrenti solo nel senso che si spera continuino, e calcolati in modi diversi, perché Anthropic conta le vendite fatte attraverso i fornitori cloud e OpenAI solo dopo aver tolto la loro quota. Coatue propone di valutare i laboratori sull’EBITDA prima dei costi di addestramento, cioè prima della spesa più grande, e la colonna ricorda l’«EBITDA rettificato per la comunità» di WeWork. Il boom dell’AI si misura con numeri che non si possono confrontare, e un mercato che non sa con che cosa confrontarli reagisce a ogni indiscrezione. Le aziende quotate non fanno molto meglio. Amazon, Google, Meta e Microsoft hanno 2.400 miliardi di dollari di impegni fuori bilancio, più di quanto abbiano preso a prestito sul mercato obbligazionario, e misurano il ritorno dell’AI con tassi di ricavo annualizzati che restano scatole nere. Secondo Goldman Sachs servirebbe un trilione di dollari di ricavi annui per remunerare gli investimenti nei data center. Intanto la spesa per i data center gonfia gli utili aggregati dell’S&P 500, gli enti statistici americani perdono fondi e competenze, e l’autorità di vigilanza sui revisori creata dopo Enron ha visto tagliare il bilancio. È una colonna d’opinione, con numeri presi da altri, ma la diagnosi regge: quando la misura è opaca, il prezzo segue la voce.

30 Ideas for Fixing U.S. Schools, Ranked by Experts ↗

Inchiesta di Sarah Mervosh, Francesca Paris e Claire Cain Miller, pubblicata sull’Upshot del New York Times il 28 settembre 2026. Punto di partenza: rispetto al 2015 i punteggi di lettura sono scesi nell’83% dei distretti scolastici americani, e il calo in matematica è quasi altrettanto diffuso — un declino iniziato prima della pandemia e proseguito dopo. Le autrici hanno chiesto a 37 accademici e ricercatori che studiano l’istruzione — fra cui Eric Hanushek e Sean Reardon (Stanford), Susan Dynarski (Harvard), Thomas Kane (Harvard), Douglas Harris (Tulane) — di valutare 30 interventi su una scala da 1 a 7 per impatto sull’apprendimento e per costo, assumendo in ogni caso che l’intervento fosse realizzato bene. Il sondaggio è stato condotto in agosto 2026; le autrici lo presentano come «una misura utile di come i ricercatori esperti vedono queste idee», non come sondaggio scientifico in senso stretto. Il risultato più citabile riguarda il costo-efficacia, e attraversa lo schieramento politico senza badarci. Tre idee popolari a sinistra e a destra finiscono nel quintetto peggiore: i voucher scolastici (efficacia 2,4, costo 5,1) — la riforma bandiera conservatrice, oggi disponibile in un numero crescente di Stati, dove gran parte del denaro va a famiglie già iscritte a scuole private e l’evidenza di miglioramento accademico per chi si trasferisce è scarsa; le classi più piccole (3,8/6,5) — cara alla sinistra, ma gli esperti sono scettici che si riesca realisticamente a scendere sotto la soglia — circa 15 studenti — a cui la ricerca attribuisce il beneficio, e assumere molti più insegnanti rischia di abbassarne la qualità media; e l’aumento generalizzato degli stipendi (3,9/6,3), contro l’alternativa più mirata — pagare di più chi insegna nelle scuole più povere (4,8/4,1), che invece entra nella cinquina più efficace in assoluto. Quello che regge, a parità di costo, è un gruppo di interventi tecnici e poco ideologici, e condividono un tratto: più rigore accademico per più studenti, non più spesa indifferenziata. La science of reading (5,3/3,2) — un approccio sistematico alla lettura centrato sulla fonetica e su pratiche validate sperimentalmente, in alternativa ai metodi “whole language” — è seconda per efficacia assoluta e prima per costo-efficacia. I curricula di alta qualità selezionati da uno Stato o da un distretto, invece che scelti scuola per scuola o insegnante per insegnante, e l’accesso esteso alle classi avanzate (algebra in terza media, corsi Advanced Placement), scelto su base di merito dichiarato e non di selezione di insegnanti o genitori, completano il gruppo. Il caso più istruttivo è la school accountability: voti alle scuole in stile A-F e obbligo di correggere per chi è sotto soglia, secondo intervento più costo-efficace in assoluto (4,3/2,8). Il testo ne data con precisione l’ascesa e il declino: strumento centrale del No Child Left Behind, la legge federale in vigore dal 2002 al 2015, abbandonato da governo federale e da molti Stati perché percepito come punitivo e troppo dipendente dal solo punteggio standardizzato. Negli ultimi anni alcuni Stati hanno adottato un modello che guarda al progresso dello studente, non solo al livello assoluto, e offre sostegno — non solo sanzione — alle scuole sotto soglia: è questa versione, e non quella del 2002, a risultare costo-efficace. È qui che il pezzo si aggancia a una voce già presente nell’archivio, e la completa dal lato opposto. La scheda su segregazione scolastica — la cronaca di Nikole Hannah-Jones — registra il caso in cui una misurazione viene abbandonata perché l’esito è dato per scontato, e lo definisce «il rovescio della legge di Goodhart: lì la misura si corrompe perché diventa obiettivo, qui si corrompe perché viene abbandonata». Il No Child Left Behind originale è il primo di quei due fallimenti — misurare nel modo sbagliato, fino a fare della misura stessa il bersaglio; la sua versione corretta, quella che il 2026 giudica costo-efficace, è il tentativo di evitare entrambi gli errori insieme: misurare, ma il progresso e non solo il livello, e accompagnare la misura con un intervento invece che con la sola sanzione. Un ultimo dato, isolato e non forzato in una tesi: fra le trenta idee sottoposte al panel, «consentire l’uso dell’intelligenza artificiale» ottiene il punteggio di efficacia più basso di tutti, 2,2 su 7 — peggio di «niente laptop personali» (2,9) e di «eliminare il tracking per livello» (2,5). Il testo non argomenta il perché; lo registra come dato, in attesa di un pezzo che lo spieghi. La conclusione del pezzo è di metodo più che di contenuto, e vale la pena di riportarla perché disinnesca la lettura a lista della spesa: nessun singolo intervento basta da solo, e il modo in cui viene eseguito conta più di quale si scelga. Citano il caso di Mississippi e Louisiana, in risalita nelle classifiche nazionali con combinazioni di più strategie fra quelle giudicate efficaci. Marguerite Roza (Georgetown): «nella pratica, fare semplicemente qualcosa bene può contare più di qualunque intervento specifico. L’esecuzione è tutto.»

Are teenagers growing dimmer? ↗

I test PISA 2026 dell’OCSE, pubblicati l’8 settembre, dovevano segnare la ripresa dopo il crollo registrato subito dopo la pandemia. Non è successo: nei paesi ricchi — il campo primario dei test — i punteggi sono scesi ancora, e in lettura il calo accelera. Nei paesi OCSE, i quindicenni di oggi testano come i quattordicenni di dieci anni fa, in matematica e in lettura. Il confronto più istruttivo del pezzo non è fra sistemi lontani ma fra Inghilterra e Scozia: stessa pandemia, stessi smartphone, spesa per studente più alta a nord del confine — eppure da quindici anni i punteggi inglesi salgono e quelli scozzesi scendono, e la differenza coincide con scelte politiche opposte. L’Inghilterra ha reso i curricula più nozionistici (“knowledge-rich”), gli esami più rigorosi, ha ridotto il peso del lavoro a casa valutabile — facile da copiare — e inasprito le ispezioni; la Scozia ha seguito un curriculum più “modista” orientato a soft skill vaghe, con un approccio più lasco alla disciplina. L’articolo smonta anche un mito fondativo delle riforme “progressiste”. La Finlandia, prima della classe nel 2000 e oggi fra i paesi in caduta più ripida, otteneva probabilmente quei risultati da metodi scolastici tradizionali ancora diffusi fino agli anni '90, non dall’apprendimento “play-based” per cui divenne un modello da imitare in tutto il mondo: se così fosse, l’errore avrebbe disorientato decine di sistemi scolastici che hanno copiato la Finlandia sbagliata. Il divario fra chi performa meglio e chi performa peggio è ora il più ampio mai registrato da PISA, in tutte le discipline: il 20% dei quindicenni OCSE è classificato come low performer su lettura, matematica e scienze insieme — fino a faticare a capire una bolletta — contro il 16% di quattro anni fa. Fra le cause indicate: assenze scolastiche più che raddoppiate dalla pandemia, e il tempo di lettura sostituito da schermi — solo il 37% dei novenni americani legge per piacere, contro quasi il 60% negli anni '90.

From weeks of work to days: How I rebuilt two data journalism projects with AI ↗

Jacopo Ottaviani, data journalist italiano e fellow del Reuters Institute, racconta come ha ricostruito in due giorni Patrie Galere — la mappa delle morti nelle carceri italiane che nel 2012 gli aveva richiesto tre settimane — e come ha costruito Strade Mortali, un portale sulla sicurezza stradale a Roma, usando Claude Fable 5 (poi sospeso dal governo americano per ragioni di sicurezza nazionale, notazione non priva di ironia). Il metodo è il vibe coding strutturato: non un prompt unico, ma una decomposizione in venti compiti discreti e testabili — divide et impera applicato all’AI. Il punto più rilevante per noi non è il risparmio di tempo ma dove si è spostato il collo di bottiglia: il layer meccanico del data journalism si commoditizza; ciò che non si commoditizza è il giudizio su quale domanda valga la pena fare e la capacità di riconoscere quando l’output è plausibile ma sbagliato. «The ability to see through the surface to the underlying structure is not something the model supplies; it is what you bring.» È la tesi di Floridi sul capitale semantico applicata a un caso concreto — e c’è una nota sulla ‘SaaSapocalypse’ (LLM + librerie open source rendono obsoleti i tool proprietari di dataviz) che vale tenere in conto.

Il femminicidio non esiste ↗

Donata Columbro, data journalist e autrice di «Perché contare i femminicidi è un atto politico», usa un titolo provocatorio per sviluppare una tesi costruttivista del tutto corretta: il femminicidio «non esiste» nello stesso senso in cui non esistono la disoccupazione, il PIL o le ondate di calore — tutte categorie statistiche costruite socialmente, che richiedono definizioni negoziate, metodologie dichiarate, scelte politiche esplicite. Chi conta le donne uccise per odio misogino deve decidere cosa includere e cosa escludere, e queste scelte cambiano i numeri senza invalidarli. I dati Istat che cita sono eloquenti: il 53% delle donne viene ucciso da un partner o ex partner, contro il 4,7% degli uomini — un pattern talmente asimmetrico da richiedere una categoria propria, qualunque nome le si voglia dare. Il pezzo è interessante però anche come caso filosofico. La postura epistemologica costruttivista di Columbro — per cui i fenomeni sociali non «esistono» indipendentemente dalle categorie con cui li misuriamo — è una posizione legittima e ben argomentata. Ma è esattamente il tipo di ragionamento in cui varrebbe la pena introdurre una distinzione ontologica: il problema non è che certi enti «non esistano» o «non siano reali», ma che vadano classificati correttamente. Confondere i due piani — l’esistenza del fenomeno e le sue condizioni di misurabilità — è il meccanismo che i negazionisti sfruttano in malafede: Columbro lo sa e lo dice esplicitamente, ma la divulgazione di questa distinzione resta straordinariamente difficile.

The Probability Conflation: A Reply ↗

È una replica a Tetlock e colleghi, ma la tesi vale molto oltre i tornei di previsione: sapere quanto è probabile un evento non dice niente su quanto costa, e un torneo misura soltanto la prima delle due cose. Gli autori sostengono che il giudizio esperto non cattura il rischio di coda e che il formato del torneo è incompatibile con gli strumenti che lo misurano; il contributo nuovo è un risultato che allarga la distanza fra l’attesa condizionata alla coda e la probabilità della coda. Tetlock è già in archivio dalla bibliografia del Rumore a Beirut: questa è l’altra campana, e la distinzione si porta su qualunque enunciato della forma «c’è il tot per cento di probabilità che».

Task Force on 2020 Pre-Election Polling: An Evaluation of the 2020 General Election Polls ↗

Nel 2020 i sondaggi indicarono il vincitore giusto, ma sovrastimarono il margine di Biden di 3,9 punti a livello nazionale, l’errore più grande in circa quarant’anni, e di 4,3 negli Stati; nelle corse per il Senato e per i governatori il margine democratico fu sovrastimato di 6 punti. L’errore andò nella stessa direzione in quasi tutti gli Stati e con ogni metodo di rilevazione. La task force dell’AAPOR, presieduta da Josh Clinton, esclude le cause trovate nel 2016: gli indecisi erano pochi, quasi tutti i sondaggi ponderavano per istruzione, e non c’è prova che gli elettori di Trump mentissero. La conclusione è un’ammissione: almeno una parte dell’errore viene dalla mancata risposta, perché chi accetta di rispondere è sistematicamente diverso da chi rifiuta, ma di chi non risponde non si sa nulla e la causa principale non si può identificare. Per riportare i sondaggi al risultato reale servivano più repubblicani di quanti le normali ponderazioni ne prevedessero, ed è un limite che nessuna correzione tecnica elimina del tutto.

Information, incentives, and goals in election forecasts ↗

Andrew Gelman ed Elliott Morris avevano costruito per l’Economist il modello delle presidenziali del 2020; con Jessica Hullman e Christopher Wlezien si chiedono che cosa debba fare una previsione elettorale e come vada giudicata. Con una decina di elezioni presidenziali alle spalle ed errori statali fra loro correlati, la calibrazione di un intervallo al 95 per cento è quasi impossibile da verificare. Il punto più originale riguarda gli incentivi: i media premiano le previsioni audaci, ma una previsione audace sbagliata danneggia la reputazione più di quanto una giusta la accresca, e chi pubblica è spinto ora verso l’eccesso di sicurezza ora verso la prudenza per ragioni che con i dati non hanno a che fare. Citando Taleb, gli autori riconoscono che una previsione pienamente bayesiana non dovrebbe cambiare in modo prevedibile, ma osservano che né il loro modello né quello di FiveThirtyEight lo sono del tutto. Il confronto è istruttivo: a settembre l’Economist dava a Biden l’87 per cento e FiveThirtyEight il 71, eppure le due stime della quota di voto erano quasi identiche. Per il lettore la lezione è guardare la quota di voto prevista più che la probabilità di vittoria.

On Single Point Forecasts for Fat-Tailed Variables ↗

Scritto nel luglio 2020 come risposta a Ioannidis e colleghi, con la pandemia come caso di studio trattato come fenomeno moltiplicativo. La tesi va contro un consenso che da noi non è mai stato discusso davvero: sotto code spesse l’empirismo ingenuo non è la scelta prudente, e aspettare l’evidenza è rischioso quanto agire senza. Un numero solo, su una variabile di quel tipo, non è una stima imprecisa: è una categoria sbagliata, perché la media non è il valore che si incontra.

On the Statistical Differences between Binary Forecasts and Real World Payoffs ↗

La distinzione fra una previsione binaria e un esito continuo sembra una pignoleria e invece rovescia un intero filone: un buon previsore binario non è un buon indicatore, e sotto certe distribuzioni è un indicatore inverso. Da qui Taleb attacca la letteratura psicologica sulla sopravvalutazione degli eventi rari, che a suo dire misura la confusione fra i due oggetti e non un bias dei soggetti, e l’argomento hayekiano a favore dei mercati predittivi. Per la catena sulle previsioni infalsificabili è il passo successivo: lì il difetto era che la previsione non poteva essere smentita, qui la previsione è perfettamente verificabile e misura la cosa sbagliata. Uscito poi sull’International Journal of Forecasting.

Nassim Taleb’s Case Against Nate Silver Is Bad Math ↗

Dopo le elezioni di metà mandato del 2018 Nassim Taleb accusò Nate Silver di non sapere come funziona la matematica, e Silver rispose dandogli dell’«intellettuale idiota», l’espressione che Taleb stesso aveva coniato. Aubrey Clayton, matematico e autore di Bernoulli’s Fallacy, prova a giudicare la sostanza. Taleb sostiene, in un paper su Quantitative Finance, che nel 2016 le probabilità di FiveThirtyEight oscillavano troppo e che un operatore che le avesse quotate sarebbe stato sfruttato da un arbitraggio; propone di trattare il consenso come un titolo e l’esito come un’opzione binaria. Clayton ricorda il risultato di de Finetti: probabilità coerenti, aggiornate con la regola di Bayes, sono prive di arbitraggio per costruzione, e un modello può oscillare molto proprio perché il consenso da cui parte è incerto. Aggiunge che il prezzo di un’opzione presuppone un mercato del sottostante, mentre il consenso elettorale non si osserva e va stimato dai sondaggi, che è esattamente ciò che fa Silver. Concede però a Taleb una critica legittima che Taleb non ha formulato: i modelli sottostimano gli eventi imprevisti, come la lettera di Comey a undici giorni dal voto. La versione tecnica è su arXiv, con il titolo Election predictions are arbitrage-free.

When We Say 70 Percent, It Really Means 70 Percent ↗

Nate Silver risponde alle due critiche opposte che riceve FiveThirtyEight: quella di chi tratta le sue probabilità come pronostici secchi, e quella di chi sostiene che una previsione probabilistica non possa mai essere smentita. La risposta è la calibrazione. Raccogliendo le migliaia di previsioni pubblicate dal 2008, Silver mostra che degli eventi dati intorno al 70 per cento ne è accaduto circa il 71, e di quelli dati al 5 per cento circa il 4. Un modello si giudica dalla corrispondenza fra le probabilità dichiarate e le frequenze osservate su molti casi, non dal singolo esito: il 29 per cento dato a Trump nel 2016, quando altri gli davano il 10 o il 2, è per Silver un merito. Riconosce anche i limiti: le previsioni sulla NBA erano troppo sicure nelle partite sbilanciate, quelle elettorali un po’ troppo prudenti, e la calibrazione da sola non basta, perché chi desse a ogni squadra la stessa probabilità sarebbe calibrato senza alcuna capacità di distinguere. Resta il problema che Gelman e altri sottolineeranno: di elezioni presidenziali se ne contano poche. Il sito originale di FiveThirtyEight oggi rimanda ad ABC News: il link punta alla copia che Silver ripubblicava su Goodreads.

Disentangling Bias and Variance in Election Polls ↗

Gli autori raccolgono 4.221 sondaggi condotti nelle ultime tre settimane di 608 elezioni statali americane, presidenziali, per il Senato e per i governatori, fra il 1998 e il 2014, e confrontano l’errore effettivo con quello dichiarato. L’errore quadratico medio è di circa 3,5 punti, il doppio di quanto implicano i margini d’errore pubblicati, e gli intervalli al 95 per cento contengono il risultato reale solo nel 73 per cento dei sondaggi per il Senato, nel 74 per quelli per i governatori e nell’88 per quelli presidenziali. La differenza ha due fonti: una distorsione media di circa 2 punti per elezione, condivisa dai sondaggi della stessa corsa perché raggiungono gli stessi gruppi e usano filtri simili, e una variabilità superiore a quella del campionamento casuale, dovuta ai disegni campionari e alle ponderazioni. La distorsione non favorisce sistematicamente un partito. Ne seguono due raccomandazioni: dichiarare margini d’errore che tengano conto degli errori storici, e non illudersi che la media dei sondaggi elimini un errore che tutti condividono.

An Evaluation of 2016 Election Polls in the U.S. ↗

L’associazione americana dei ricercatori d’opinione analizza il presunto fallimento dei sondaggi del 2016. Quelli nazionali davano a Clinton circa 3 punti di vantaggio, e lei vinse il voto popolare di 2,1: un errore medio di 2,2 punti, fra i più bassi dal 1936. Sbagliarono invece quelli statali, con un errore medio di 5,1 punti a favore di Clinton e il vincitore sbagliato in Pennsylvania, Michigan e Wisconsin. Le cause individuate sono gli elettori che decisero nell’ultima settimana, schierati in larga parte con Trump, e la mancata ponderazione per titolo di studio, che sovrarappresentava i laureati; l’ipotesi degli elettori di Trump che nascondono il proprio voto non trova conferma. Il rapporto distingue il sondaggio, che misura l’opinione in un momento dato, dalla previsione, che stima un esito, e osserva che le previsioni che davano a Clinton fra il 71 e oltre il 99 per cento hanno probabilmente rafforzato la convinzione che avesse già vinto. Andrew Kohut lo riassumeva così: «Non sono un allibratore, sono uno che misura».

Election Predictions as Martingales: An Arbitrage Approach ↗

Se una stima binaria viene aggiornata di continuo deve comportarsi come una martingala, e allora si può prezzare come un’opzione binaria, con la valutazione per arbitraggio che minimizza il punteggio di Brier. Ne esce un vincolo di coerenza che non ha bisogno dell’esito per funzionare: quando l’incertezza è alta il valore sta vicino al cinquanta per cento e la previsione non dovrebbe muoversi molto, quindi una previsione che oscilla mentre l’esito resta incerto si sta contraddicendo da sola. Taleb mostra che diversi gruppi nel 2016 violavano queste relazioni. Per la serie sullo standard di prova è un acquisto raro: un test severo applicabile prima che l’evento accada. Uscito poi su Quantitative Finance.

A Short Note on P-Value Hacking ↗

Taleb tratta il p-hacking come un fatto di distribuzioni invece che di disonestà: prendendo il minimo di m test, il valore riportato può stare ordini di grandezza sotto quello vero. Ma il risultato che conta riguarda anche chi non bara: la distribuzione del p-value è così asimmetrica che un singolo valore resta volatile a prescindere dalla dimensione del campione, e fissare la potenza non aiuta se non si allarga molto il campione o non si abbassa la soglia di almeno un ordine di grandezza. La catena sul p-value ricostruisce la guerra fra le scuole che se lo contendono; questo paper sposta la domanda: non quale soglia sia giusta, ma quanta informazione porti un numero così instabile.