teoria

allineamento AI

26 articoli

Il problema di assicurare che i sistemi di intelligenza artificiale perseguano obiettivi coerenti con i valori umani, anche man mano che diventano più capaci. Nel sito è il quadro implicito che motiva le scelte di Anthropic: rifiutare contratti militari dipende dall’importanza di mantenere il controllo sullo sviluppo dell’AI a lungo termine.

Amanda Askell — Guida la redazione della costituzione etica dei modelli Claude: l’allineamento come documento scritto, non come proprietà emergente.
collasso modale — Il prezzo meno visibile dell’allineamento: premiare poche risposte preferite restringe ciò che il modello sa ancora produrre.
convergenza strumentale — Il presupposto che rende sensato il problema: se una macchina persegue fini propri, allora quei fini vanno allineati ai nostri.
cosmotecnica — Che cosa si chiede a una macchina dipende da che cosa si crede che una macchina sia: la domanda non è la stessa ovunque.
criti-hype — Il rischio dichiarato è anche un argomento di vendita: chi valuta l’allineamento deve pesare chi trae vantaggio dall’annunciarne il fallimento.
gamification — Il problema dell’allineamento applicato agli esseri umani, con la differenza che su di loro, storicamente, riesce.
monitorabilità — Un modello può comportarsi bene e restare opaco: l’allineamento misura le azioni, la monitorabilità chiede di vedere il ragionamento.
ragione strumentale — Mudd nel 2026 ne ricava il rovescio: il rischio non è solo la macchina disallineata, è l’umano troppo bene allineato a chi gli fissa i fini.
reward hacking — Il disallineamento che non richiede malizia: basta che il premio sia più facile da ottenere aggirando il compito che svolgendolo.