Perché i modelli linguistici allucinano

Why Language Models Hallucinate

September 4, 2025

Autori: Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang

cs.AI

Abstract

Come gli studenti di fronte a domande d'esame difficili, i grandi modelli linguistici a volte indovinano quando sono incerti, producendo affermazioni plausibili ma errate invece di ammettere l'incertezza. Tali "allucinazioni" persistono anche nei sistemi più avanzati e minano la fiducia. Sosteniamo che i modelli linguistici allucinano perché le procedure di addestramento e valutazione premiano l'indovinare piuttosto che il riconoscere l'incertezza, e analizziamo le cause statistiche delle allucinazioni nella pipeline di addestramento moderna. Le allucinazioni non devono essere misteriose: nascono semplicemente come errori nella classificazione binaria. Se le affermazioni errate non possono essere distinte dai fatti, allora le allucinazioni nei modelli linguistici pre-addestrati emergeranno attraverso pressioni statistiche naturali. Sosteniamo inoltre che le allucinazioni persistono a causa del modo in cui la maggior parte delle valutazioni vengono classificate: i modelli linguistici sono ottimizzati per essere bravi a superare i test, e indovinare quando si è incerti migliora le prestazioni nei test. Questa "epidemia" di penalizzare le risposte incerte può essere affrontata solo attraverso una mitigazione socio-tecnica: modificando il punteggio dei benchmark esistenti che sono disallineati ma dominano le classifiche, piuttosto che introducendo ulteriori valutazioni sulle allucinazioni. Questo cambiamento potrebbe orientare il campo verso sistemi di IA più affidabili.

English

Like students facing hard exam questions, large language models sometimes guess when uncertain, producing plausible yet incorrect statements instead of admitting uncertainty. Such "hallucinations" persist even in state-of-the-art systems and undermine trust. We argue that language models hallucinate because the training and evaluation procedures reward guessing over acknowledging uncertainty, and we analyze the statistical causes of hallucinations in the modern training pipeline. Hallucinations need not be mysterious -- they originate simply as errors in binary classification. If incorrect statements cannot be distinguished from facts, then hallucinations in pretrained language models will arise through natural statistical pressures. We then argue that hallucinations persist due to the way most evaluations are graded -- language models are optimized to be good test-takers, and guessing when uncertain improves test performance. This "epidemic" of penalizing uncertain responses can only be addressed through a socio-technical mitigation: modifying the scoring of existing benchmarks that are misaligned but dominate leaderboards, rather than introducing additional hallucination evaluations. This change may steer the field toward more trustworthy AI systems.