Multimodale Faktengenauigkeitszuordnung für überprüfbares Schließen
Multimodal Fact-Level Attribution for Verifiable Reasoning
February 12, 2026
papers.authors: David Wan, Han Wang, Ziyang Wang, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal
cs.AI
papers.abstract
Multimodale große Sprachmodelle (MLLMs) werden zunehmend für reale Aufgaben eingesetzt, die mehrstufiges Schlussfolgern und langformatige Generierung erfordern, wobei Zuverlässigkeit die Verankerung der Modellausgaben in heterogenen Eingabequellen und die Überprüfung einzelner faktischer Behauptungen voraussetzt. Bestehende Benchmarks und Evaluierungsmethoden für multimodale Verankerung konzentrieren sich jedoch auf vereinfachte, beobachtungsbasierte Szenarien oder begrenzte Modalitäten und versagen bei der Bewertung der Attribuierung in komplexem multimodalem Reasoning. Wir stellen MuRGAt (Multimodal Reasoning with Grounded Attribution) vor, einen Benchmark zur Bewertung faktenspezifischer multimodaler Attribuierung in Kontexten, die Reasoning über die direkte Beobachtung hinaus erfordern. Bei Eingaben, die Video, Audio und andere Modalitäten umfassen, erfordert MuRGAt von Modellen, Antworten mit expliziter Begründung und präzisen Zitaten zu generieren, wobei jedes Zitat sowohl die Modalität als auch zeitliche Segmente spezifiziert. Um eine zuverlässige Bewertung zu ermöglichen, führen wir ein automatisches Evaluierungsframework ein, das stark mit menschlichen Beurteilungen korreliert. Benchmarks mit menschlichen und automatisierten Bewertungen zeigen, dass selbst leistungsstarke MLLMs häufig Zitate halluzinieren, trotz korrekten Reasonings. Darüber hinaus beobachten wir einen zentralen Zielkonflikt: Eine Erhöhung der Reasoning-Tiefe oder die Erzwingung strukturierter Verankerung verschlechtert oft die Genauigkeit, was eine signifikante Lücke zwischen internem Reasoning und überprüfbarer Attribuierung aufzeigt.
English
Multimodal large language models (MLLMs) are increasingly used for real-world tasks involving multi-step reasoning and long-form generation, where reliability requires grounding model outputs in heterogeneous input sources and verifying individual factual claims. However, existing multimodal grounding benchmarks and evaluation methods focus on simplified, observation-based scenarios or limited modalities and fail to assess attribution in complex multimodal reasoning. We introduce MuRGAt (Multimodal Reasoning with Grounded Attribution), a benchmark for evaluating fact-level multimodal attribution in settings that require reasoning beyond direct observation. Given inputs spanning video, audio, and other modalities, MuRGAt requires models to generate answers with explicit reasoning and precise citations, where each citation specifies both modality and temporal segments. To enable reliable assessment, we introduce an automatic evaluation framework that strongly correlates with human judgments. Benchmarking with human and automated scores reveals that even strong MLLMs frequently hallucinate citations despite correct reasoning. Moreover, we observe a key trade-off: increasing reasoning depth or enforcing structured grounding often degrades accuracy, highlighting a significant gap between internal reasoning and verifiable attribution.