Confiance mais Vérification : Introduction de DAVinCI -- Un Cadre pour l'Attribution Double et la Vérification dans l'Inférence d'Assertions pour les Modèles de Langage
Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models
April 23, 2026
Auteurs: Vipula Rawte, Ryan Rossi, Franck Dernoncourt, Nedim Lipka
cs.AI
Résumé
Les grands modèles de langage (LLM) ont démontré une fluidité et une polyvalence remarquables dans un large éventail de tâches de TAL, mais ils restent sujets à des inexactitudes factuelles et des hallucinations. Cette limitation présente des risques significatifs dans des domaines à enjeux élevés tels que la santé, le droit et la communication scientifique, où la confiance et la vérifiabilité sont primordiales. Dans cet article, nous présentons DAVinCI - un cadre de Double Attribution et Vérification conçu pour améliorer la fiabilité factuelle et l'interprétabilité des sorties des LLM. DAVinCI fonctionne en deux étapes : (i) il attribue les affirmations générées à des composants internes du modèle et à des sources externes ; (ii) il vérifie chaque affirmation en utilisant un raisonnement basé sur l'implication et un étalonnage de la confiance. Nous évaluons DAVinCI sur plusieurs jeux de données, notamment FEVER et CLIMATE-FEVER, et comparons ses performances à des lignes de base standard de vérification seule. Nos résultats montrent que DAVinCI améliore significativement la précision de classification, la précision d'attribution, le rappel et le score F1 de 5 à 20 %. Grâce à une étude d'ablation approfondie, nous isolons les contributions de la sélection des étendues de preuves, des seuils de recalibration et de la qualité de la récupération. Nous publions également une implémentation modulaire de DAVinCI pouvant être intégrée dans les pipelines existants de LLM. En reliant l'attribution et la vérification, DAVinCI offre une voie évolutive vers des systèmes d'IA auditables et dignes de confiance. Ce travail contribue à l'effort croissant visant à rendre les LLM non seulement puissants, mais aussi responsables.
English
Large Language Models (LLMs) have demonstrated remarkable fluency and versatility across a wide range of NLP tasks, yet they remain prone to factual inaccuracies and hallucinations. This limitation poses significant risks in high-stakes domains such as healthcare, law, and scientific communication, where trust and verifiability are paramount. In this paper, we introduce DAVinCI - a Dual Attribution and Verification framework designed to enhance the factual reliability and interpretability of LLM outputs. DAVinCI operates in two stages: (i) it attributes generated claims to internal model components and external sources; (ii) it verifies each claim using entailment-based reasoning and confidence calibration. We evaluate DAVinCI across multiple datasets, including FEVER and CLIMATE-FEVER, and compare its performance against standard verification-only baselines. Our results show that DAVinCI significantly improves classification accuracy, attribution precision, recall, and F1-score by 5-20%. Through an extensive ablation study, we isolate the contributions of evidence span selection, recalibration thresholds, and retrieval quality. We also release a modular DAVinCI implementation that can be integrated into existing LLM pipelines. By bridging attribution and verification, DAVinCI offers a scalable path to auditable, trustworthy AI systems. This work contributes to the growing effort to make LLMs not only powerful but also accountable.