Confiar, mas Verificar: Apresentando o DAVinCI -- Uma Estrutura para Atribuição Dupla e Verificação na Inferência de Afirmações para Modelos de Linguagem
Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models
April 23, 2026
Autores: Vipula Rawte, Ryan Rossi, Franck Dernoncourt, Nedim Lipka
cs.AI
Resumo
Os Grandes Modelos de Linguagem (LLMs) demonstraram notável fluência e versatilidade numa vasta gama de tarefas de PLN, mas continuam propensos a imprecisões factuais e alucinações. Esta limitação representa riscos significativos em domínios de alta responsabilidade, como saúde, direito e comunicação científica, onde a confiança e a verificabilidade são primordiais. Neste artigo, introduzimos o DAVinCI - uma estrutura de Dupla Atribuição e Verificação concebida para melhorar a fiabilidade factual e a interpretabilidade das saídas dos LLMs. O DAVinCI opera em duas fases: (i) atribui afirmações geradas a componentes internos do modelo e a fontes externas; (ii) verifica cada afirmação utilizando raciocínio baseado em *entailment* e calibração de confiança. Avaliamos o DAVinCI em vários conjuntos de dados, incluindo FEVER e CLIMATE-FEVER, e comparamos o seu desempenho com linhas de base padrão de apenas verificação. Os nossos resultados mostram que o DAVinCI melhora significativamente a precisão de classificação, a precisão de atribuição, o *recall* e a pontuação F1 em 5-20%. Através de um extenso estudo de ablação, isolamos as contribuições da seleção de intervalos de evidência, dos limiares de recalibração e da qualidade da recuperação de informação. Também disponibilizamos uma implementação modular do DAVinCI que pode ser integrada em *pipelines* existentes de LLMs. Ao unir a atribuição e a verificação, o DAVinCI oferece um caminho escalável para sistemas de IA auditáveis e confiáveis. Este trabalho contribui para o esforço crescente de tornar os LLMs não apenas poderosos, mas também responsáveis.
English
Large Language Models (LLMs) have demonstrated remarkable fluency and versatility across a wide range of NLP tasks, yet they remain prone to factual inaccuracies and hallucinations. This limitation poses significant risks in high-stakes domains such as healthcare, law, and scientific communication, where trust and verifiability are paramount. In this paper, we introduce DAVinCI - a Dual Attribution and Verification framework designed to enhance the factual reliability and interpretability of LLM outputs. DAVinCI operates in two stages: (i) it attributes generated claims to internal model components and external sources; (ii) it verifies each claim using entailment-based reasoning and confidence calibration. We evaluate DAVinCI across multiple datasets, including FEVER and CLIMATE-FEVER, and compare its performance against standard verification-only baselines. Our results show that DAVinCI significantly improves classification accuracy, attribution precision, recall, and F1-score by 5-20%. Through an extensive ablation study, we isolate the contributions of evidence span selection, recalibration thresholds, and retrieval quality. We also release a modular DAVinCI implementation that can be integrated into existing LLM pipelines. By bridging attribution and verification, DAVinCI offers a scalable path to auditable, trustworthy AI systems. This work contributes to the growing effort to make LLMs not only powerful but also accountable.