Nel 2014 Dzmitry Bahdanau, stagista nel laboratorio di Yoshua Bengio a Montréal, cercava di far tradurre frasi lunghe a una rete neurale. Ripensò a come traduceva a scuola, la testa che va avanti e indietro fra il testo di partenza e quello d’arrivo, e ne fece un’operazione matematica: l’attenzione. Nel 2017 i transformer di Google la misero al centro, e da lì vengono i grandi modelli linguistici. Natalie Wolchover spiega il meccanismo con un pronome, «it» in «because it was too tired» e in «because it was too wide», che in francese diventa il o elle: ogni parola emette una domanda e una chiave, e il contesto entra nel calcolo della sua rappresentazione. Llion Jones, uno degli autori di «Attention Is All You Need», sostiene che prevedere la parola successiva contenga quasi tutto ciò che gli umani fanno per iscritto, e sia quindi la definizione più vicina che abbiamo di intelligenza.
Ogni epoca descrive la mente con la tecnologia che ha in mano, e l’attenzione dei transformer è l’ultima di queste metafore: Wolchover stessa mostra che il pensiero umano non coincide con il modello del linguaggio. Il pensiero attiva regioni del cervello fuori dalle reti linguistiche, e il cervello fa con poca energia e pochi dati ciò che un transformer fa con l’intera rete: Jones stesso oggi dubita che l’attenzione basti. È una rubrica divulgativa, e lo studio sul pensiero non linguistico è riassunto in poche righe, senza fonti.