Elias in the Lighthouse, Again? Diagnosing Low Diversity in LLM Stories

Due ricercatori di Cornell chiedono a quattro modelli di OpenAI, Anthropic, Google e AI2 di «scrivere una storia», mille volte per cinque formulazioni della stessa richiesta. Nell’88% delle 20.000 storie compare almeno una di undici parole: nomi come Elias, Mara ed Elara, mestieri da villaggio preindustriale come il guardiano, l’orologiaio, il fornaio, e un solo luogo, il faro, presente in più di metà dei testi. Quelle parole sono rare nella narrativa contemporanea, nei racconti amatoriali e nei dati di pre-addestramento: Elias è circa novecento volte più frequente nelle storie generate che nei romanzi pubblicati. Gli autori risalgono allora ai dati di post-addestramento di OLMo 3, l’unico modello che li rende pubblici, e trovano le parole ricorrenti in appena il 3,8% delle storie, concentrate nelle fasi DPO e RL più che nell’addestramento supervisionato. L’omologazione non nasce dalla quantità dei dati ma dal peso che l’allineamento dà a pochi esempi preferiti, e un insieme minuscolo basta a decidere che cosa tutti i modelli raccontano quando nessuno chiede altro. Il paper è breve, monolingue e limitato a richieste minime; resta aperta l’ipotesi, che gli autori rinviano a lavori futuri, che il faro sia ciò che rimane dopo aver insegnato ai modelli a evitare personaggi protetti da copyright e contenuti per adulti. Il Cornell Chronicle ne ha dato conto il 19 ottobre con un articolo di Louis DiPietro.