Moritz Hardt, direttore al Max Planck Institute for Intelligent Systems e autore di The Emerging Science of Machine Learning Benchmarks, chiama i benchmark «the mistake that made machine learning». Dovrebbero funzionare come termometri, ma funzionano come una gara: il campo ha messo i test in rete e ci ha iterato sopra, ignorando la regola di usarli una volta sola. I punteggi assoluti valgono poco, perché basta cambiare di poco il test per passare dal 90 al 73%. Le classifiche invece sono rimaste stabili fra dataset diversi, ed è per questo, «mostly by sheer luck», che l’apprendimento automatico è sfuggito a una crisi della replicazione. Un benchmark non è un termometro ma una gara: il punteggio non dice quanto vale un modello, e la classifica dice chi è meglio solo se tutti si sono preparati allo stesso modo.
Con i modelli linguistici quella condizione è saltata. Non si sa su che cosa siano addestrati, e ognuno si prepara ai test in misura diversa, il «benchmaxxing». La proposta di Hardt viene dalle Olimpiadi di Città del Messico del 1968: invece di vietare l’allenamento in quota, estenderlo a tutti, con un protocollo comune di preparazione prima del test. Lui stesso ammette che così si ottengono indicatori di progresso, non misure, e che la stabilità delle classifiche è un fatto empirico senza teoria. È un’intervista breve, uscita con il libro.