Fidarsi ma Verificare: Presentazione di DAVinCI – Un Framework per l’Attribuzione Duale e la Verifica nell’Inferenza di Affermazioni per i Modelli Linguistici
Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models
April 23, 2026
Autori: Vipula Rawte, Ryan Rossi, Franck Dernoncourt, Nedim Lipka
cs.AI
Abstract
I Large Language Model (LLM) hanno dimostrato una notevole fluidità e versatilità in un'ampia gamma di compiti di NLP, ma rimangono inclini a imprecisioni fattuali e allucinazioni. Questa limitazione comporta rischi significativi in domini ad alto rischio come l'assistenza sanitaria, il diritto e la comunicazione scientifica, dove l'affidabilità e la verificabilità sono fondamentali. In questo articolo, introduciamo DAVinCI, un framework di Doppia Attribuzione e Verifica progettato per migliorare l'affidabilità fattuale e l'interpretabilità degli output degli LLM. DAVinCI opera in due fasi: (i) attribuisce le affermazioni generate a componenti interni del modello e a fonti esterne; (ii) verifica ogni affermazione utilizzando un ragionamento basato sull'entailment e una calibrazione della confidenza. Valutiamo DAVinCI su diversi dataset, tra cui FEVER e CLIMATE-FEVER, e confrontiamo le sue prestazioni con baseline standard di sola verifica. I nostri risultati mostrano che DAVinCI migliora significativamente l'accuratezza della classificazione, la precisione dell'attribuzione, il richiamo e l'F1-score del 5-20%. Attraverso un ampio studio di ablazione, isoliamo i contributi della selezione degli span di evidenza, delle soglie di ricalibrazione e della qualità del retrieval. Rilasciamo inoltre un'implementazione modulare di DAVinCI che può essere integrata nelle pipeline LLM esistenti. Colmando il divario tra attribuzione e verifica, DAVinCI offre un percorso scalabile verso sistemi di IA verificabili e affidabili. Questo lavoro contribuisce al crescente sforzo per rendere gli LLM non solo potenti, ma anche responsabili.
English
Large Language Models (LLMs) have demonstrated remarkable fluency and versatility across a wide range of NLP tasks, yet they remain prone to factual inaccuracies and hallucinations. This limitation poses significant risks in high-stakes domains such as healthcare, law, and scientific communication, where trust and verifiability are paramount. In this paper, we introduce DAVinCI - a Dual Attribution and Verification framework designed to enhance the factual reliability and interpretability of LLM outputs. DAVinCI operates in two stages: (i) it attributes generated claims to internal model components and external sources; (ii) it verifies each claim using entailment-based reasoning and confidence calibration. We evaluate DAVinCI across multiple datasets, including FEVER and CLIMATE-FEVER, and compare its performance against standard verification-only baselines. Our results show that DAVinCI significantly improves classification accuracy, attribution precision, recall, and F1-score by 5-20%. Through an extensive ablation study, we isolate the contributions of evidence span selection, recalibration thresholds, and retrieval quality. We also release a modular DAVinCI implementation that can be integrated into existing LLM pipelines. By bridging attribution and verification, DAVinCI offers a scalable path to auditable, trustworthy AI systems. This work contributes to the growing effort to make LLMs not only powerful but also accountable.