Quando la misura diventa bersaglio

Nel 2016 Nikole Hannah-Jones raccontò sul New York Times Magazine di aver iscritto la figlia a una scuola pubblica povera e segregata di Brooklyn, invece che a una scuola bianca e ricca, sostenendo che le famiglie nere con potere dovessero mettere in gioco la posta più personale che hanno. Dieci anni dopo firma il consuntivo, che si apre con la figlia tredicenne che ha appena cercato online i punteggi della sua scuola.¹ La parte che conta, per questa catena, è il meccanismo che emerge alle elementari: verifiche di lettura mai somministrate perché l’esito era dato per scontato, compiti mai corretti, voti alti in algebra senza algebra. Un’aspettativa su una popolazione è diventata una pratica di misurazione, e la misurazione ha fabbricato la prova dell’aspettativa.

L’economista Charles Goodhart ha dato il nome al fenomeno generale: quando una misura diventa un obiettivo, smette di essere una buona misura. La tesi di questa catena è che il rimedio è misurare dichiarando la distorsione, e che la differenza decisiva passa fra una distorsione misurata, che è un’informazione, e una distorsione soltanto invocata, che è un pretesto per ignorare il dato.

L’indicatore e la cosa

Il China Science Daily, il quotidiano dell’Accademia cinese delle scienze, dà conto della riforma con cui Pechino sta sostituendo la graduatoria unica delle università con una valutazione differenziata, tipi diversi di atenei misurati su scale diverse e orientati al contributo effettivo.² È una risposta esplicita a Goodhart: un sistema che misurava tutti con lo stesso metro aveva spinto tutti a inseguire lo stesso metro. Lo studio sui ventisettemila studenti cinesi che usano l’intelligenza artificiale, riportato dall’Economist, mostra la stessa divergenza nel singolo studente: i voti dei compiti salgono del 18%, quelli degli esami scendono del 20%, e l’indicatore che la scuola osserva ogni giorno si allontana dalla cosa che dovrebbe misurare.³ Il Grand Continent, a proposito della sicurezza dell’intelligenza artificiale in Cina e negli Stati Uniti, indica la versione più insidiosa del problema: senza valutatori indipendenti, meno incidenti segnalati non significa meno incidenti, e il numeratore si conosce mentre il denominatore resta ignoto.⁴

Misurare bene

La risposta al problema non è rinunciare a contare. Donata Columbro, con un titolo volutamente provocatorio, spiega che il femminicidio «non esiste» nello stesso senso in cui non esistono la disoccupazione o il PIL: sono categorie statistiche costruite, che richiedono definizioni negoziate e metodi dichiarati, e le scelte su che cosa includere cambiano i numeri senza invalidarli.⁵ L’Economist, quando ha misurato quanta parte dei dibattiti di Westminster sia scritta da un modello, ha dichiarato il tasso di errore dello strumento, un falso positivo su ventiquattromila, e ha usato i discorsi precedenti a ChatGPT come controllo negativo.⁶ Azeem Azhar ha costruito la prima stima della domanda di intelligenza artificiale eliminando i doppi conteggi fra consumatori, imprese e fornitori di infrastruttura, e dichiarando l’assunzione da cui dipende il risultato, una vita utile delle GPU di sei anni.⁷ In tutti e tre i casi il numero arriva insieme alle istruzioni per contestarlo.

Le humanities e la misura

Il problema tocca anche chi difende ciò che non si misura. N. Ángel Pinillos sostiene sul Chronicle of Higher Education che gli umanisti sono i peggiori avvocati delle proprie discipline, perché il valore intrinseco convince solo chi è già convinto, e propone di difenderle con una competenza identificabile, leggere, scrivere e argomentare con precisione, che l’intelligenza artificiale ha reso più preziosa.⁸ Jennifer Frey, intervistata da Ross Douthat dopo aver visto smantellare il programma di liberal arts che aveva costruito all’Università di Tulsa, difende invece la paideia come fine in sé.⁹ Le due posizioni si leggono meglio insieme: chi accetta di farsi misurare rischia Goodhart, chi rifiuta la misura rischia la chiusura del dipartimento. Una via praticabile è dichiarare che cosa si misura e che cosa resta fuori, come fa Columbro con i suoi dati.

La controtesi completa la tesi più di quanto la contraddica. Goodhart descrive che cosa succede a una misura sotto pressione, e l’Economist mostra che cosa si perde quando si usa Goodhart per liquidare ogni misura scomoda: un dato distorto, se la distorsione viene stimata, dice ancora molto. Le schede di questa catena indicano una sola disciplina, valida per una scuola di Brooklyn come per un’università cinese o per un modello linguistico: misurare, dichiarare come si è misurato, stimare quanto si sbaglia. Il resto, compresa la sfiducia verso i numeri, è retorica.

WR