Vertrouwen maar Verifiëren: Introductie van DAVinCI -- Een Raamwerk voor Dubbele Attributie en Verificatie bij Claiminferentie voor Taalmodellen
Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models
April 23, 2026
Auteurs: Vipula Rawte, Ryan Rossi, Franck Dernoncourt, Nedim Lipka
cs.AI
Samenvatting
Grote Taalmodellen (LLM's) hebben opmerkelijke vlotheid en veelzijdigheid getoond bij een breed scala aan NLP-taken, maar blijven vatbaar voor feitelijke onjuistheden en hallucinaties. Deze beperking vormt aanzienlijke risico's in hoog-risicodomeinen zoals gezondheidszorg, recht en wetenschappelijke communicatie, waar vertrouwen en verifieerbaarheid van cruciaal belang zijn. In dit artikel introduceren we DAVinCI - een Dual Attribution and Verification-kader (Kader voor Dubbele Attributie en Verificatie) ontworpen om de feitelijke betrouwbaarheid en interpreteerbaarheid van LLM-output te verbeteren. DAVinCI werkt in twee fasen: (i) het kent gegenereerde beweringen toe aan interne modelcomponenten en externe bronnen; (ii) het verifieert elke bewering met behulp van entailment-gebaseerde redenering en betrouwbaarheidscalibratie. We evalueren DAVinCI op meerdere datasets, waaronder FEVER en CLIMATE-FEVER, en vergelijken de prestaties met standaard verificatie-only-baselines. Onze resultaten tonen aan dat DAVinCI de classificatienauwkeurigheid, attributieprecisie, recall en F1-score met 5-20% significant verbetert. Door een uitgebreide ablatiestudie isoleren we de bijdragen van evidence span-selectie, recalibratiedrempels en retrievalkwaliteit. We geven ook een modulaire DAVinCI-implementatie vrij die kan worden geïntegreerd in bestaande LLM-pipelines. Door attributie en verificatie te combineren, biedt DAVinCI een schaalbaar pad naar auditeerbare, betrouwbare AI-systemen. Dit werk draagt bij aan de groeiende inspanning om LLM's niet alleen krachtig, maar ook verantwoordelijk te maken.
English
Large Language Models (LLMs) have demonstrated remarkable fluency and versatility across a wide range of NLP tasks, yet they remain prone to factual inaccuracies and hallucinations. This limitation poses significant risks in high-stakes domains such as healthcare, law, and scientific communication, where trust and verifiability are paramount. In this paper, we introduce DAVinCI - a Dual Attribution and Verification framework designed to enhance the factual reliability and interpretability of LLM outputs. DAVinCI operates in two stages: (i) it attributes generated claims to internal model components and external sources; (ii) it verifies each claim using entailment-based reasoning and confidence calibration. We evaluate DAVinCI across multiple datasets, including FEVER and CLIMATE-FEVER, and compare its performance against standard verification-only baselines. Our results show that DAVinCI significantly improves classification accuracy, attribution precision, recall, and F1-score by 5-20%. Through an extensive ablation study, we isolate the contributions of evidence span selection, recalibration thresholds, and retrieval quality. We also release a modular DAVinCI implementation that can be integrated into existing LLM pipelines. By bridging attribution and verification, DAVinCI offers a scalable path to auditable, trustworthy AI systems. This work contributes to the growing effort to make LLMs not only powerful but also accountable.