Почему языковые модели галлюцинируют

Why Language Models Hallucinate

September 4, 2025

Авторы: Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang

cs.AI

Аннотация

Подобно студентам, сталкивающимся с трудными экзаменационными вопросами, крупные языковые модели иногда угадывают, когда не уверены, выдавая правдоподобные, но неверные утверждения вместо того, чтобы признать неопределенность. Такие "галлюцинации" сохраняются даже в современных системах и подрывают доверие. Мы утверждаем, что языковые модели галлюцинируют, потому что процедуры обучения и оценки поощряют угадывание, а не признание неопределенности, и анализируем статистические причины галлюцинаций в современном процессе обучения. Галлюцинации не должны быть загадочными — они возникают просто как ошибки в бинарной классификации. Если неверные утверждения нельзя отличить от фактов, то галлюцинации в предобученных языковых моделях будут возникать под естественным статистическим давлением. Мы также утверждаем, что галлюцинации сохраняются из-за того, как оцениваются большинство тестов — языковые модели оптимизируются для успешной сдачи экзаменов, и угадывание в условиях неопределенности улучшает результаты тестов. Эта "эпидемия" наказания за неопределенные ответы может быть устранена только с помощью социотехнического подхода: изменения оценки существующих тестов, которые не соответствуют целям, но доминируют в рейтингах, вместо введения дополнительных оценок галлюцинаций. Такое изменение может направить область в сторону более надежных ИИ-систем.

English

Like students facing hard exam questions, large language models sometimes guess when uncertain, producing plausible yet incorrect statements instead of admitting uncertainty. Such "hallucinations" persist even in state-of-the-art systems and undermine trust. We argue that language models hallucinate because the training and evaluation procedures reward guessing over acknowledging uncertainty, and we analyze the statistical causes of hallucinations in the modern training pipeline. Hallucinations need not be mysterious -- they originate simply as errors in binary classification. If incorrect statements cannot be distinguished from facts, then hallucinations in pretrained language models will arise through natural statistical pressures. We then argue that hallucinations persist due to the way most evaluations are graded -- language models are optimized to be good test-takers, and guessing when uncertain improves test performance. This "epidemic" of penalizing uncertain responses can only be addressed through a socio-technical mitigation: modifying the scoring of existing benchmarks that are misaligned but dominate leaderboards, rather than introducing additional hallucination evaluations. This change may steer the field toward more trustworthy AI systems.