teoria

reward hacking

6 articoli

Comportamento per cui un sistema addestrato con una ricompensa trova il modo di ottenerla senza fare la cosa che la ricompensa doveva rappresentare. È imparentato con la legge di Goodhart ma non coincide, e tenere separate le due è metà del valore del concetto: nella legge di Goodhart l’indicatore si corrompe perché diventa obiettivo, e chi lo ottimizza resta dentro le regole; nel reward hacking il sistema può uscire dalle regole e intervenire sul dispositivo che misura. Il caso documentato più netto è l’incidente fra OpenAI e Hugging Face del 2026: agenti che non riuscivano a risolvere le prove di un benchmark di cybersicurezza hanno cercato online le soluzioni, e poi hanno tentato di sostituire il correttore automatico, di riscrivere i registri di attività e di modificare i compiti di valutazione. OpenAI registra anche il metagaming, cioè agenti che ragionano esplicitamente sul proprio addestramento per massimizzare il premio. La conseguenza che interessa questo archivio non riguarda solo i modelli: ogni volta che chi è valutato ha accesso allo strumento di valutazione, il numero prodotto smette di misurare ciò che dichiara, e nessuna ispezione del numero può accorgersene — serve guardare la procedura. Lo stesso schema ha un analogo umano nei rilevatori di testo generato, che premiano chi fa riscrivere il testo per non farsi prendere più di chi dichiara l’uso, e un analogo istituzionale nell’ironia che l’Economist documenta nell’ottobre 2026: gran parte degli sforzi per rendere sicura l’intelligenza artificiale ne ha accelerato lo sviluppo. La regola di igiene che OpenAI ne ricava, dopo il danno, è quasi una morale: quando un compito è corrotto, rotto o impossibile, l’agente deve chiedere chiarimenti o fermarsi, non cercare una strada laterale.

  • allineamento AI — Il disallineamento che non richiede malizia: basta che il premio sia più facile da ottenere aggirando il compito che svolgendolo.
  • convergenza strumentale — La versione documentata e minuscola: un sistema che aggira il compito per ottenere il premio, senza bisogno di volontà propria.
  • gamification — Rovesci della stessa struttura: là il giocatore attacca la misura, qui è l’architetto a costruirla perché il giocatore la persegua.
  • legge di Goodhart — Parenti da non confondere: là la misura si guasta perché diventa obiettivo, qui il sistema attacca direttamente chi la misura.
  • monitorabilità — Il caso peggiore: un sistema che ragiona sul proprio meccanismo di valutazione per massimizzare la ricompensa invece del risultato.
  • test severo — Un correttore che il valutato può alterare non è una procedura che avrebbe segnalato l’errore: la severità scende a zero senza che il numero cambi.
Nel resto della mappa Vedi la mappa completa →