¿Por qué los modelos de lenguaje alucinan?

Why Language Models Hallucinate

September 4, 2025

Autores: Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang

cs.AI

Resumen

Al igual que los estudiantes que se enfrentan a preguntas difíciles en un examen, los modelos de lenguaje grandes a veces adivinan cuando no están seguros, produciendo afirmaciones plausibles pero incorrectas en lugar de admitir incertidumbre. Tales "alucinaciones" persisten incluso en los sistemas más avanzados y socavan la confianza. Argumentamos que los modelos de lenguaje alucinan porque los procedimientos de entrenamiento y evaluación recompensan la adivinación en lugar de reconocer la incertidumbre, y analizamos las causas estadísticas de las alucinaciones en el proceso moderno de entrenamiento. Las alucinaciones no tienen por qué ser misteriosas: se originan simplemente como errores en la clasificación binaria. Si las afirmaciones incorrectas no pueden distinguirse de los hechos, entonces las alucinaciones en los modelos de lenguaje preentrenados surgirán debido a presiones estadísticas naturales. Luego argumentamos que las alucinaciones persisten debido a la forma en que se califican la mayoría de las evaluaciones: los modelos de lenguaje están optimizados para ser buenos en exámenes, y adivinar cuando hay incertidumbre mejora el rendimiento en las pruebas. Esta "epidemia" de penalizar respuestas inciertas solo puede abordarse mediante una mitigación socio-técnica: modificando la puntuación de los puntos de referencia existentes que están desalineados pero dominan las clasificaciones, en lugar de introducir evaluaciones adicionales de alucinaciones. Este cambio podría guiar al campo hacia sistemas de IA más confiables.

English

Like students facing hard exam questions, large language models sometimes guess when uncertain, producing plausible yet incorrect statements instead of admitting uncertainty. Such "hallucinations" persist even in state-of-the-art systems and undermine trust. We argue that language models hallucinate because the training and evaluation procedures reward guessing over acknowledging uncertainty, and we analyze the statistical causes of hallucinations in the modern training pipeline. Hallucinations need not be mysterious -- they originate simply as errors in binary classification. If incorrect statements cannot be distinguished from facts, then hallucinations in pretrained language models will arise through natural statistical pressures. We then argue that hallucinations persist due to the way most evaluations are graded -- language models are optimized to be good test-takers, and guessing when uncertain improves test performance. This "epidemic" of penalizing uncertain responses can only be addressed through a socio-technical mitigation: modifying the scoring of existing benchmarks that are misaligned but dominate leaderboards, rather than introducing additional hallucination evaluations. This change may steer the field toward more trustworthy AI systems.