Réduire les hallucinations des modèles de langage grâce à un oracle de licence

Stemming Hallucination in Language Models Using a Licensing Oracle

November 8, 2025

papers.authors: Simeon Emanuilov, Richard Ackermann

cs.AI

papers.abstract

Les modèles de langage présentent des capacités remarquables de génération de langage naturel mais restent sujets aux hallucinations, produisant des informations factuellement incorrectes malgré des réponses syntaxiquement cohérentes. Cette étude présente l'Oracle de Licence, une solution architecturale conçue pour endiguer les hallucinations dans les modèles de langage en imposant des contraintes de vérité via une validation formelle contre des graphes de connaissances structurés. Contrairement aux approches statistiques qui reposent sur l'augmentation des données ou le fine-tuning, l'Oracle de Licence intègre une étape de validation déterministe dans le processus génératif du modèle, garantissant que seules des affirmations factuellement exactes sont produites. Nous avons évalué l'efficacité de l'Oracle de Licence via des expériences le comparant à plusieurs méthodes de pointe, incluant la génération de base par un modèle de langage, le fine-tuning pour le rappel factuel, le fine-tuning pour un comportement d'abstention, et la génération augmentée par retrieval (RAG). Nos résultats démontrent que bien que le RAG et le fine-tuning améliorent les performances, ils n'éliminent pas les hallucinations. En revanche, l'Oracle de Licence a atteint une précision d'abstention parfaite (AP = 1,0) et zéro réponse fausse (FAR-NE = 0,0), garantissant que seules des affirmations valides étaient générées avec une exactitude factuelle de 89,1 %. Ce travail montre que les innovations architecturales, comme l'Oracle de Licence, offrent une solution nécessaire et suffisante contre les hallucinations dans les domaines dotés de représentations de connaissances structurées, proposant des garanties que les méthodes statistiques ne peuvent égaler. Bien que l'Oracle de Licence soit spécifiquement conçu pour traiter les hallucinations dans les domaines factuels, son cadre jette les bases d'une génération contrainte par la vérité pour les futurs systèmes d'IA, ouvrant une nouvelle voie vers des modèles fiables et épistémiquement fondés.

English

Language models exhibit remarkable natural language generation capabilities but remain prone to hallucinations, generating factually incorrect information despite producing syntactically coherent responses. This study introduces the Licensing Oracle, an architectural solution designed to stem hallucinations in LMs by enforcing truth constraints through formal validation against structured knowledge graphs. Unlike statistical approaches that rely on data scaling or fine-tuning, the Licensing Oracle embeds a deterministic validation step into the model's generative process, ensuring that only factually accurate claims are made. We evaluated the effectiveness of the Licensing Oracle through experiments comparing it with several state-of-the-art methods, including baseline language model generation, fine-tuning for factual recall, fine-tuning for abstention behavior, and retrieval-augmented generation (RAG). Our results demonstrate that although RAG and fine-tuning improve performance, they fail to eliminate hallucinations. In contrast, the Licensing Oracle achieved perfect abstention precision (AP = 1.0) and zero false answers (FAR-NE = 0.0), ensuring that only valid claims were generated with 89.1% accuracy in factual responses. This work shows that architectural innovations, such as the Licensing Oracle, offer a necessary and sufficient solution for hallucinations in domains with structured knowledge representations, offering guarantees that statistical methods cannot match. Although the Licensing Oracle is specifically designed to address hallucinations in fact-based domains, its framework lays the groundwork for truth-constrained generation in future AI systems, providing a new path toward reliable, epistemically grounded models.