エビデンスに基づくビデオ質問応答

要旨

現在のビデオ大規模言語モデル（Video LLM）は質問応答（QA）に優れているが、大部分はブラックボックスとして動作し、検証可能な視覚的根拠なしにテキストによる回答を提供している。既存の説明可能性の取り組みは、テキストによる根拠や疎なバウンディングボックスに依存しており、オクルージョンや非剛体変形などの複雑なビデオダイナミクスを捉えるのが困難である。我々は、モデルが意味的な回答と正確な時空間的根拠（時間セグメントと密な追跡オブジェクトセグメンテーションマスクレット）を同時に出力することを要求する新しいタスク、Evidence-Backed Video Question Answering（E-VQA）を提案する。これを支援するために、識別型および生成型のピクセルレベルのグラウンディングのための初の人間検証済みベンチマークであるST-Evidenceを導入する。最先端モデルの評価により、QAの精度と真の視覚認識との間に重大な乖離があり、スケーリングだけではそれを埋められないことが明らかになった。これに対処するために、我々はスケーラブルで自動化された生成パイプラインを開発し、高レベル推論と細粒度グラウンディングを橋渡しする16万規模のデータセットST-Evidence-Instructを作成する。このデータでグラウンディングされたVideo LLMをファインチューニングすることで、対応するサイズマッチングされたUniPixelベースラインと比較して大幅な改善が得られ（例えば、7Bモデルでt-mean +27.2、J&F +13.8）、説明可能で証拠に基づくビデオ理解のための堅牢なベースラインを確立する。コードとデータは https://github.com/SalesforceAIResearch/EVQA で入手可能である。

English

Current Video Large Language Models (Video LLMs) excel in question answering (QA) but largely operate as black boxes, providing textual answers without verifiable visual grounding. Existing explainability efforts rely on textual rationales or sparse bounding boxes, which struggle to capture complex video dynamics such as occlusions and non-rigid deformations. We propose Evidence-Backed Video Question Answering (E-VQA), a novel task requiring models to jointly output a semantic answer and precise spatio-temporal evidence: temporal segments and dense, tracked object segmentation masklets. To support this, we introduce ST-Evidence, the first human-verified benchmark for both discriminative and generative pixel-level grounding. Evaluations of state-of-the-art models reveal a critical decoupling between QA accuracy and true visual perception that scaling alone fails to bridge. To address this, we develop scalable, automated generation pipelines to create ST-Evidence-Instruct, a 160k-scale dataset bridging high-level reasoning with fine-grained grounding. Fine-tuning grounded Video LLMs on this data yields substantial gains over the corresponding size-matched UniPixel baselines (e.g., +27.2 t-mean and +13.8 J&F on a 7B model), establishing a robust baseline for explainable, evidence-backed video understanding. Code and data are available at https://github.com/SalesforceAIResearch/EVQA.