Video-Holmes: MLLMは複雑な映像推論においてホームズのように思考できるか?
Video-Holmes: Can MLLM Think Like Holmes for Complex Video Reasoning?
May 27, 2025
著者: Junhao Cheng, Yuying Ge, Teng Wang, Yixiao Ge, Jing Liao, Ying Shan
cs.AI
要旨
最近のCoT推論とRLポストトレーニングの進展により、MLLMのビデオ推論能力が向上したと報告されています。この進歩は自然に次の疑問を提起します:これらのモデルは、人間の専門家に匹敵する複雑なビデオ推論を実行できるのでしょうか?しかし、既存のビデオベンチマークは主に視覚的知覚とグラウンディング能力を評価しており、明示的なプロンプトや孤立した視覚的手がかりに基づいて回答できる質問が中心です。このようなベンチマークは、現実世界の推論の複雑さを完全には捉えていません。現実世界では、人間は結論に至る前に、積極的に手がかりを探し、統合し、分析する必要があります。この問題に対処するため、私たちはシャーロック・ホームズの推論プロセスにインスパイアされたベンチマーク「Video-Holmes」を提案します。これは、MLLMの複雑なビデオ推論能力を評価するために設計されています。Video-Holmesは、270本の手動で注釈が付けられたサスペンス短編映画から派生した1,837の質問で構成され、7つの慎重に設計されたタスクにわたります。各タスクは、まず映画内の主要なイベントと因果関係を特定し、その後、モデルが異なるビデオセグメントに散らばった複数の関連する視覚的手がかりを積極的に特定し、接続する必要がある質問を設計することで構築されています。最先端のMLLMの包括的な評価により、これらのモデルは一般的に視覚的知覚に優れているものの、情報の統合に大きな困難を抱え、しばしば重要な手がかりを見逃していることが明らかになりました。例えば、最高性能のモデルであるGemini-2.5-Proでさえ、精度はわずか45%であり、ほとんどのモデルは40%未満のスコアでした。私たちは、Video-Holmesがマルチモーダル推論の「ホームズテスト」として機能し、モデルがより人間のように推論することを促し、この分野の継続的な課題を強調することを目指しています。ベンチマークはhttps://github.com/TencentARC/Video-Holmesで公開されています。
English
Recent advances in CoT reasoning and RL post-training have been reported to
enhance video reasoning capabilities of MLLMs. This progress naturally raises a
question: can these models perform complex video reasoning in a manner
comparable to human experts? However, existing video benchmarks primarily
evaluate visual perception and grounding abilities, with questions that can be
answered based on explicit prompts or isolated visual cues. Such benchmarks do
not fully capture the intricacies of real-world reasoning, where humans must
actively search for, integrate, and analyze multiple clues before reaching a
conclusion. To address this issue, we present Video-Holmes, a benchmark
inspired by the reasoning process of Sherlock Holmes, designed to evaluate the
complex video reasoning capabilities of MLLMs. Video-Holmes consists of 1,837
questions derived from 270 manually annotated suspense short films, which spans
seven carefully designed tasks. Each task is constructed by first identifying
key events and causal relationships within films, and then designing questions
that require models to actively locate and connect multiple relevant visual
clues scattered across different video segments. Our comprehensive evaluation
of state-of-the-art MLLMs reveals that, while these models generally excel at
visual perception, they encounter substantial difficulties with integrating
information and often miss critical clues. For example, the best-performing
model, Gemini-2.5-Pro, achieves an accuracy of only 45%, with most models
scoring below 40%. We aim that Video-Holmes can serve as a "Holmes-test" for
multimodal reasoning, motivating models to reason more like humans and
emphasizing the ongoing challenges in this field. The benchmark is released in
https://github.com/TencentARC/Video-Holmes.Summary
AI-Generated Summary