Reduzindo Alucinações em Modelos de Linguagem Usando um Oráculo de Licenciamento

Stemming Hallucination in Language Models Using a Licensing Oracle

November 8, 2025

Autores: Simeon Emanuilov, Richard Ackermann

cs.AI

Resumo

Os modelos de linguagem exibem capacidades notáveis de geração de linguagem natural, mas permanecem propensos a alucinações, gerando informações factualmente incorretas apesar de produzirem respostas sintaticamente coerentes. Este estudo introduz o Oráculo de Licenciamento, uma solução arquitetônica projetada para conter alucinações em modelos de linguagem através da imposição de restrições de veracidade por meio de validação formal contra grafos de conhecimento estruturados. Diferente de abordagens estatísticas que dependem de escalonamento de dados ou ajuste fino, o Oráculo de Licenciamento incorpora uma etapa de validação determinística ao processo gerativo do modelo, garantindo que apenas afirmações factualmente precisas sejam produzidas. Avaliamos a eficácia do Oráculo de Licenciamento por meio de experimentos comparando-o com vários métodos state-of-the-art, incluindo geração por modelo de linguagem baseline, ajuste fino para recall factual, ajuste fino para comportamento de abstenção e geração aumentada por recuperação (RAG). Nossos resultados demonstram que, embora RAG e ajuste fino melhorem o desempenho, eles não eliminam as alucinações. Em contraste, o Oráculo de Licenciamento alcançou precisão de abstenção perfeita (AP = 1,0) e zero respostas falsas (FAR-NE = 0,0), garantindo que apenas afirmações válidas fossem geradas com 89,1% de precisão em respostas factuais. Este trabalho mostra que inovações arquitetônicas, como o Oráculo de Licenciamento, oferecem uma solução necessária e suficiente para alucinações em domínios com representações de conhecimento estruturado, oferecendo garantias que métodos estatísticos não podem igualar. Embora o Oráculo de Licenciamento seja especificamente projetado para abordar alucinações em domínios baseados em fatos, sua estrutura estabelece as bases para geração com restrição de veracidade em futuros sistemas de IA, fornecendo um novo caminho para modelos confiáveis e epistemicamente fundamentados.

English

Language models exhibit remarkable natural language generation capabilities but remain prone to hallucinations, generating factually incorrect information despite producing syntactically coherent responses. This study introduces the Licensing Oracle, an architectural solution designed to stem hallucinations in LMs by enforcing truth constraints through formal validation against structured knowledge graphs. Unlike statistical approaches that rely on data scaling or fine-tuning, the Licensing Oracle embeds a deterministic validation step into the model's generative process, ensuring that only factually accurate claims are made. We evaluated the effectiveness of the Licensing Oracle through experiments comparing it with several state-of-the-art methods, including baseline language model generation, fine-tuning for factual recall, fine-tuning for abstention behavior, and retrieval-augmented generation (RAG). Our results demonstrate that although RAG and fine-tuning improve performance, they fail to eliminate hallucinations. In contrast, the Licensing Oracle achieved perfect abstention precision (AP = 1.0) and zero false answers (FAR-NE = 0.0), ensuring that only valid claims were generated with 89.1% accuracy in factual responses. This work shows that architectural innovations, such as the Licensing Oracle, offer a necessary and sufficient solution for hallucinations in domains with structured knowledge representations, offering guarantees that statistical methods cannot match. Although the Licensing Oracle is specifically designed to address hallucinations in fact-based domains, its framework lays the groundwork for truth-constrained generation in future AI systems, providing a new path toward reliable, epistemically grounded models.