Matthew Schwartz, fisico teorico, ha passato il periodo del progetto come ricercatore ospite in Anthropic, e ne scrive sul sito dell’azienda. Il sistema che descrive, BootLoops, è suo e open source. Va letto sapendo dove è pubblicato.
Il punto di partenza è una correzione del suo stesso entusiasmo. A dicembre aveva trovato in Claude un buon dottorando venti volte più veloce, da correggere di continuo. Il modello non è uno scienziato: il lavoro rende quando si scelgono problemi che hanno la forma delle sue capacità (calcolo esatto e verificabile, conoscenza larga, lettura rapida di articoli e dati) e si lascia a un esperto decidere quali risultati contano. In quasi tutti i casi, scrive, i risultati erano tecnicamente corretti e scientificamente poco interessanti finché un esperto non li riorientava. L’ecologo James O’Dwyer prevede che la soluzione di un’equazione rimasta aperta per vent’anni avrebbe avuto «un’alzata di spalle», e suggerisce di studiare lo scarto dalla previsione.
Il metodo è descritto con una franchezza rara. Servono criteri di successo rigidi, perché il modello dichiara vittoria troppo presto. I grafici vanno controllati a mano. Sessioni separate fanno da revisori avversari. E bisogna correggere la tendenza del modello a scegliere dibattiti vecchi e molto citati. In tre mesi ne sono usciti 36 manoscritti in 18 discipline, su circa 400 problemi candidati. La richiesta finale riguarda il credito: il problema «non si risolverà fingendo che il contributo umano fosse la battitura».
Con Kiros e Dolgin forma una sequenza. Lì il collo di bottiglia della ricerca passava dai dati all’analisi e poi alla validazione; qui si sposta sulla scelta del problema e sul giudizio di rilevanza, che restano umani.