Un rapporto pubblicato dall’UNESCO, guidato da Ivana Drobnjak della cattedra UNESCO sull’intelligenza artificiale dell’University College London e presentato alla COP31 in Turchia, ha esaminato l’informazione sul clima di 33 modelli linguistici; cinque sono stati provati in 13 lingue. Sui fatti di base i modelli migliori rispondono correttamente fra l’88 e il 96 per cento delle volte. Quando devono giudicare se una prova sostiene o smentisce un’affermazione scientifica, scendono fra il 71 e il 77. Nei 15 modelli sottoposti alla prova di pressione l’accuratezza cala fra 31 e 35 punti quando l’utente contesta più volte una risposta corretta, e circa l’80 per cento delle concessioni arriva al primo segno di disaccordo. Tutti i modelli, se l’utente insiste abbastanza, abbandonano la risposta giusta e adottano il suo errore. In inglese, spagnolo, francese e portoghese l’accuratezza supera l’88 per cento. Scende all’83,6 in bengalese e hindi, all’81,4 in urdu e al 78,3 in swahili, lingue parlate da molte delle comunità più esposte alla crisi climatica. Le risposte sugli effetti delle politiche climatiche sono state confrontate con il simulatore En-ROADS, sviluppato da Climate Interactive e dalla MIT Sloan. I modelli indovinano l’effetto di una misura singola fino al 94,5 per cento delle volte. Quando devono combinarne due rispondono giusto nel 33,8 per cento dei casi, praticamente come una scelta a caso, che vale il 33,3. La fonte è il comunicato dell’università, che rimanda al rapporto completo.
AI systems are easy to pressure into giving false climate information
Dato che corregge L’AI spiega bene quello che si sa e cede appena qualcuno insiste: è affidabile come divulgatore e fragile proprio dove servirebbe un arbitro.
In dialogo con → What does ChatGPT say about the election? Depends on who’s asking!