Многомодальная атрибуция фактов для проверяемых рассуждений

Multimodal Fact-Level Attribution for Verifiable Reasoning

February 12, 2026

Авторы: David Wan, Han Wang, Ziyang Wang, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal

cs.AI

Аннотация

Мультимодальные большие языковые модели (МБЯМ) все чаще применяются для решения реальных задач, требующих многошаговых рассуждений и генерации развернутых ответов, где надежность требует обоснования выходных данных модели на основе гетерогенных входных источников и проверки отдельных фактических утверждений. Однако существующие бенчмарки и методы оценки мультимодального обоснования сосредоточены на упрощенных сценариях, основанных на наблюдении, или ограниченных модальностях, и не позволяют оценивать атрибуцию в сложных мультимодальных рассуждениях. Мы представляем MuRGAt (Multimodal Reasoning with Grounded Attribution) — бенчмарк для оценки фактологической мультимодальной атрибуции в условиях, требующих рассуждений, выходящих за рамки прямого наблюдения. При входных данных, охватывающих видео, аудио и другие модальности, MuRGAt требует от моделей генерации ответов с явными рассуждениями и точными цитированиями, где каждое цитирование указывает как модальность, так и временные сегменты. Для обеспечения надежной оценки мы представляем автоматическую систему оценки, сильно коррелирующую с человеческими суждениями. Тестирование с использованием человеческих и автоматических оценок показывает, что даже мощные МБЯМ часто галлюцинируют цитаты, несмотря на правильные рассуждения. Более того, мы наблюдаем ключевой компромисс: увеличение глубины рассуждений или принудительное структурированное обоснование часто снижает точность, что подчеркивает значительный разрыв между внутренними рассуждениями и проверяемой атрибуцией.

English

Multimodal large language models (MLLMs) are increasingly used for real-world tasks involving multi-step reasoning and long-form generation, where reliability requires grounding model outputs in heterogeneous input sources and verifying individual factual claims. However, existing multimodal grounding benchmarks and evaluation methods focus on simplified, observation-based scenarios or limited modalities and fail to assess attribution in complex multimodal reasoning. We introduce MuRGAt (Multimodal Reasoning with Grounded Attribution), a benchmark for evaluating fact-level multimodal attribution in settings that require reasoning beyond direct observation. Given inputs spanning video, audio, and other modalities, MuRGAt requires models to generate answers with explicit reasoning and precise citations, where each citation specifies both modality and temporal segments. To enable reliable assessment, we introduce an automatic evaluation framework that strongly correlates with human judgments. Benchmarking with human and automated scores reveals that even strong MLLMs frequently hallucinate citations despite correct reasoning. Moreover, we observe a key trade-off: increasing reasoning depth or enforcing structured grounding often degrades accuracy, highlighting a significant gap between internal reasoning and verifiable attribution.