Mitigación de Alucinaciones en Modelos de Lenguaje Mediante un Oráculo de Licencias

Stemming Hallucination in Language Models Using a Licensing Oracle

November 8, 2025

Autores: Simeon Emanuilov, Richard Ackermann

cs.AI

Resumen

Los modelos de lenguaje exhiben capacidades notables de generación de lenguaje natural, pero siguen siendo propensos a las alucinaciones, generando información fácticamente incorrecta a pesar de producir respuestas sintácticamente coherentes. Este estudio presenta el Oráculo de Licencias, una solución arquitectónica diseñada para frenar las alucinaciones en los modelos de lenguaje mediante la imposición de restricciones de veracidad a través de una validación formal frente a grafos de conocimiento estructurados. A diferencia de los enfoques estadísticos que dependen del escalado de datos o del ajuste fino, el Oráculo de Licencias incorpora un paso de validación determinista en el proceso generativo del modelo, garantizando que solo se emitan afirmaciones fácticamente precisas. Evaluamos la efectividad del Oráculo de Licencias mediante experimentos que lo compararon con varios métodos de vanguardia, incluyendo la generación básica de modelos de lenguaje, el ajuste fino para el recuerdo factual, el ajuste fino para el comportamiento de abstención y la generación aumentada por recuperación (RAG). Nuestros resultados demuestran que, aunque RAG y el ajuste fino mejoran el rendimiento, no logran eliminar las alucinaciones. En contraste, el Oráculo de Licencias logró una precisión de abstención perfecta (AP = 1.0) y cero respuestas falsas (FAR-NE = 0.0), asegurando que solo se generaran afirmaciones válidas con un 89.1% de precisión en las respuestas fácticas. Este trabajo muestra que las innovaciones arquitectónicas, como el Oráculo de Licencias, ofrecen una solución necesaria y suficiente para las alucinaciones en dominios con representaciones de conocimiento estructurado, ofreciendo garantías que los métodos estadísticos no pueden igualar. Aunque el Oráculo de Licencias está específicamente diseñado para abordar las alucinaciones en dominios basados en hechos, su marco sienta las bases para una generación con restricciones de veracidad en futuros sistemas de IA, proporcionando un nuevo camino hacia modelos confiables y con bases epistémicas sólidas.

English

Language models exhibit remarkable natural language generation capabilities but remain prone to hallucinations, generating factually incorrect information despite producing syntactically coherent responses. This study introduces the Licensing Oracle, an architectural solution designed to stem hallucinations in LMs by enforcing truth constraints through formal validation against structured knowledge graphs. Unlike statistical approaches that rely on data scaling or fine-tuning, the Licensing Oracle embeds a deterministic validation step into the model's generative process, ensuring that only factually accurate claims are made. We evaluated the effectiveness of the Licensing Oracle through experiments comparing it with several state-of-the-art methods, including baseline language model generation, fine-tuning for factual recall, fine-tuning for abstention behavior, and retrieval-augmented generation (RAG). Our results demonstrate that although RAG and fine-tuning improve performance, they fail to eliminate hallucinations. In contrast, the Licensing Oracle achieved perfect abstention precision (AP = 1.0) and zero false answers (FAR-NE = 0.0), ensuring that only valid claims were generated with 89.1% accuracy in factual responses. This work shows that architectural innovations, such as the Licensing Oracle, offer a necessary and sufficient solution for hallucinations in domains with structured knowledge representations, offering guarantees that statistical methods cannot match. Although the Licensing Oracle is specifically designed to address hallucinations in fact-based domains, its framework lays the groundwork for truth-constrained generation in future AI systems, providing a new path toward reliable, epistemically grounded models.