Por que os Modelos de Linguagem Alucinam

Why Language Models Hallucinate

September 4, 2025

Autores: Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang

cs.AI

Resumo

Assim como estudantes diante de questões difíceis em exames, modelos de linguagem de grande escala às vezes adivinham quando incertos, produzindo afirmações plausíveis, porém incorretas, em vez de admitir a incerteza. Essas "alucinações" persistem mesmo em sistemas de última geração e minam a confiança. Argumentamos que os modelos de linguagem alucinam porque os procedimentos de treinamento e avaliação recompensam a adivinhação em vez do reconhecimento da incerteza, e analisamos as causas estatísticas das alucinações no pipeline moderno de treinamento. As alucinações não precisam ser misteriosas — elas surgem simplesmente como erros em classificação binária. Se afirmações incorretas não puderem ser distinguidas de fatos, então as alucinações em modelos de linguagem pré-treinados surgirão por meio de pressões estatísticas naturais. Em seguida, argumentamos que as alucinações persistem devido à forma como a maioria das avaliações é pontuada — os modelos de linguagem são otimizados para serem bons em testes, e adivinhar quando incerto melhora o desempenho nos testes. Essa "epidemia" de penalizar respostas incertas só pode ser resolvida por meio de uma mitigação sociotécnica: modificando a pontuação de benchmarks existentes que estão desalinhados, mas dominam os rankings, em vez de introduzir avaliações adicionais de alucinação. Essa mudança pode direcionar o campo para sistemas de IA mais confiáveis.

English

Like students facing hard exam questions, large language models sometimes guess when uncertain, producing plausible yet incorrect statements instead of admitting uncertainty. Such "hallucinations" persist even in state-of-the-art systems and undermine trust. We argue that language models hallucinate because the training and evaluation procedures reward guessing over acknowledging uncertainty, and we analyze the statistical causes of hallucinations in the modern training pipeline. Hallucinations need not be mysterious -- they originate simply as errors in binary classification. If incorrect statements cannot be distinguished from facts, then hallucinations in pretrained language models will arise through natural statistical pressures. We then argue that hallucinations persist due to the way most evaluations are graded -- language models are optimized to be good test-takers, and guessing when uncertain improves test performance. This "epidemic" of penalizing uncertain responses can only be addressed through a socio-technical mitigation: modifying the scoring of existing benchmarks that are misaligned but dominate leaderboards, rather than introducing additional hallucination evaluations. This change may steer the field toward more trustworthy AI systems.