Attribuzione multimodale a livello di fatto per il ragionamento verificabile
Multimodal Fact-Level Attribution for Verifiable Reasoning
February 12, 2026
Autori: David Wan, Han Wang, Ziyang Wang, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal
cs.AI
Abstract
I modelli linguistici di grandi dimensioni multimodali (MLLM) sono sempre più utilizzati per compiti nel mondo reale che coinvolgono ragionamenti a più fasi e generazioni di testi lunghi, dove l'affidabilità richiede che gli output del modello siano ancorati a fonti di input eterogenee e che le singole affermazioni fattuali siano verificabili. Tuttavia, i benchmark e i metodi di valutazione esistenti per l'ancoraggio multimodale si concentrano su scenari semplificati, basati sull'osservazione, o su modalità limitate, e non riescono a valutare l'attribuzione in contesti complessi di ragionamento multimodale. Introduciamo MuRGAt (Multimodal Reasoning with Grounded Attribution), un benchmark per valutare l'attribuzione fattuale multimodale in contesti che richiedono un ragionamento che va oltre l'osservazione diretta. Dati input che spaziano su video, audio e altre modalità, MuRGAt richiede ai modelli di generare risposte con un ragionamento esplicito e citazioni precise, dove ogni citazione specifica sia la modalità che i segmenti temporali. Per consentire una valutazione affidabile, introduciamo un framework di valutazione automatica che mostra una forte correlazione con i giudizi umani. Il benchmarking con punteggi umani e automatizzati rivela che anche MLLM potenti spesso producono citazioni allucinate nonostante un ragionamento corretto. Inoltre, osserviamo un compromesso fondamentale: aumentare la profondità del ragionamento o imporre un ancoraggio strutturato spesso degrada l'accuratezza, evidenziando un divario significativo tra il ragionamento interno e un'attribuzione verificabile.
English
Multimodal large language models (MLLMs) are increasingly used for real-world tasks involving multi-step reasoning and long-form generation, where reliability requires grounding model outputs in heterogeneous input sources and verifying individual factual claims. However, existing multimodal grounding benchmarks and evaluation methods focus on simplified, observation-based scenarios or limited modalities and fail to assess attribution in complex multimodal reasoning. We introduce MuRGAt (Multimodal Reasoning with Grounded Attribution), a benchmark for evaluating fact-level multimodal attribution in settings that require reasoning beyond direct observation. Given inputs spanning video, audio, and other modalities, MuRGAt requires models to generate answers with explicit reasoning and precise citations, where each citation specifies both modality and temporal segments. To enable reliable assessment, we introduce an automatic evaluation framework that strongly correlates with human judgments. Benchmarking with human and automated scores reveals that even strong MLLMs frequently hallucinate citations despite correct reasoning. Moreover, we observe a key trade-off: increasing reasoning depth or enforcing structured grounding often degrades accuracy, highlighting a significant gap between internal reasoning and verifiable attribution.