Борьба с галлюцинациями в языковых моделях с использованием лицензирующего оракула

Stemming Hallucination in Language Models Using a Licensing Oracle

November 8, 2025

Авторы: Simeon Emanuilov, Richard Ackermann

cs.AI

Аннотация

Языковые модели демонстрируют впечатляющие способности к генерации естественного языка, но остаются подвержены галлюцинациям, порождая фактически неверную информацию, несмотря на синтаксически связные ответы. В данном исследовании представлен "Верифицирующий Оракул" — архитектурное решение, предназначенное для предотвращения галлюцинаций в языковых моделях путём наложения ограничений истинности через формальную проверку по структурированным графам знаний. В отличие от статистических подходов, основанных на масштабировании данных или дообучении, "Верифицирующий Оракул" внедряет детерминированный шаг проверки в генеративный процесс модели, гарантируя, что высказываются только фактологически точные утверждения. Мы оценили эффективность "Верифицирующего Оракула" в экспериментах, сравнив его с несколькими передовыми методами, включая базовую генерацию языковой модели, дообучение на фактологическое воспроизведение, дообучение на поведение воздержания и генерацию с дополнением retrieval-augmented generation (RAG). Наши результаты показывают, что хотя RAG и дообучение улучшают производительность, они не устраняют галлюцинации полностью. В отличие от них, "Верифицирующий Оракул" достиг идеальной точности воздержания (AP = 1.0) и нулевого уровня ложных ответов (FAR-NE = 0.0), обеспечивая генерацию только валидных утверждений с точностью фактологических ответов в 89.1%. Эта работа демонстрирует, что архитектурные инновации, такие как "Верифицирующий Оракул", предлагают необходимое и достаточное решение проблемы галлюцинаций в областях со структурированными представлениями знаний, предоставляя гарантии, недостижимые для статистических методов. Хотя "Верифицирующий Оракул" специально разработан для борьбы с галлюцинациями в фактологических областях, его концепция закладывает основу для генерации с ограничениями истинности в будущих системах ИИ, открывая новый путь к созданию надёжных, эпистемически обоснованных моделей.

English

Language models exhibit remarkable natural language generation capabilities but remain prone to hallucinations, generating factually incorrect information despite producing syntactically coherent responses. This study introduces the Licensing Oracle, an architectural solution designed to stem hallucinations in LMs by enforcing truth constraints through formal validation against structured knowledge graphs. Unlike statistical approaches that rely on data scaling or fine-tuning, the Licensing Oracle embeds a deterministic validation step into the model's generative process, ensuring that only factually accurate claims are made. We evaluated the effectiveness of the Licensing Oracle through experiments comparing it with several state-of-the-art methods, including baseline language model generation, fine-tuning for factual recall, fine-tuning for abstention behavior, and retrieval-augmented generation (RAG). Our results demonstrate that although RAG and fine-tuning improve performance, they fail to eliminate hallucinations. In contrast, the Licensing Oracle achieved perfect abstention precision (AP = 1.0) and zero false answers (FAR-NE = 0.0), ensuring that only valid claims were generated with 89.1% accuracy in factual responses. This work shows that architectural innovations, such as the Licensing Oracle, offer a necessary and sufficient solution for hallucinations in domains with structured knowledge representations, offering guarantees that statistical methods cannot match. Although the Licensing Oracle is specifically designed to address hallucinations in fact-based domains, its framework lays the groundwork for truth-constrained generation in future AI systems, providing a new path toward reliable, epistemically grounded models.