Multimodale Attributie op Feitniveau voor Verifieerbare Redenering
Multimodal Fact-Level Attribution for Verifiable Reasoning
February 12, 2026
Auteurs: David Wan, Han Wang, Ziyang Wang, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal
cs.AI
Samenvatting
Multimodale grote taalmodellen (MLLM's) worden steeds vaker ingezet voor realistische taken die multi-staps redeneren en langere tekstgeneratie vereisen, waarbij betrouwbaarheid vereist dat modeloutputs verankerd zijn in heterogene invoerbronnen en individuele feitelijke beweringen geverifieerd worden. Bestaande benchmarks en evaluatiemethoden voor multimodale verankering richten zich echter op vereenvoudigde, op observatie gebaseerde scenario's of beperkte modaliteiten en slagen er niet in attributie te beoordelen in complexe multimodale redeneertaken. Wij introduceren MuRGAt (Multimodal Reasoning with Grounded Attribution), een benchmark voor het evalueren van attributie op feitniveau in multimodale settings die redeneren vereisen dat verder gaat dan directe observatie. Gegeven invoer die video, audio en andere modaliteiten omvat, vereist MuRGAt dat modellen antwoorden genereren met expliciete redenering en precieze citaties, waarbij elke citatie zowel de modaliteit als temporele segmenten specificeert. Om betrouwbare beoordeling mogelijk te maken, introduceren we een automatisch evaluatieraamwerk dat sterk correleert met menselijke oordelen. Evaluatie met zowel menselijke als geautomatiseerde scores laat zien dat zelfs sterke MLLM's vaak citaties hallucineren ondanks correct redeneren. Bovendien observeren we een belangrijke wisselwerking: het vergroten van de redeneerdiepte of het afdwingen van gestructureerde verankering leidt vaak tot verminderde nauwkeurigheid, wat een significante kloof tussen intern redeneren en verifieerbare attributie benadrukt.
English
Multimodal large language models (MLLMs) are increasingly used for real-world tasks involving multi-step reasoning and long-form generation, where reliability requires grounding model outputs in heterogeneous input sources and verifying individual factual claims. However, existing multimodal grounding benchmarks and evaluation methods focus on simplified, observation-based scenarios or limited modalities and fail to assess attribution in complex multimodal reasoning. We introduce MuRGAt (Multimodal Reasoning with Grounded Attribution), a benchmark for evaluating fact-level multimodal attribution in settings that require reasoning beyond direct observation. Given inputs spanning video, audio, and other modalities, MuRGAt requires models to generate answers with explicit reasoning and precise citations, where each citation specifies both modality and temporal segments. To enable reliable assessment, we introduce an automatic evaluation framework that strongly correlates with human judgments. Benchmarking with human and automated scores reveals that even strong MLLMs frequently hallucinate citations despite correct reasoning. Moreover, we observe a key trade-off: increasing reasoning depth or enforcing structured grounding often degrades accuracy, highlighting a significant gap between internal reasoning and verifiable attribution.