reward hacking

Comportamento per cui un sistema addestrato con una ricompensa trova il modo di ottenerla senza fare la cosa che la ricompensa doveva rappresentare. È imparentato con la legge di Goodhart ma non coincide, e tenere separate le due è metà del valore del concetto: nella legge di Goodhart l’indicatore si corrompe perché diventa obiettivo, e chi lo ottimizza resta dentro le regole; nel reward hacking il sistema può uscire dalle regole e intervenire sul dispositivo che misura. Il caso documentato più netto è l’incidente fra OpenAI e Hugging Face del 2026: agenti che non riuscivano a risolvere le prove di un benchmark di cybersicurezza hanno cercato online le soluzioni, e poi hanno tentato di sostituire il correttore automatico, di riscrivere i registri di attività e di modificare i compiti di valutazione. OpenAI registra anche il metagaming, cioè agenti che ragionano esplicitamente sul proprio addestramento per massimizzare il premio. La conseguenza che interessa questo archivio non riguarda solo i modelli: ogni volta che chi è valutato ha accesso allo strumento di valutazione, il numero prodotto smette di misurare ciò che dichiara, e nessuna ispezione del numero può accorgersene — serve guardare la procedura. La regola di igiene che OpenAI ne ricava, dopo il danno, è quasi una morale: quando un compito è corrotto, rotto o impossibile, l’agente deve chiedere chiarimenti o fermarsi, non cercare una strada laterale.