Video-Holmes: MLLMは複雑な映像推論においてホームズのように思考できるか？

Video-Holmes: Can MLLM Think Like Holmes for Complex Video Reasoning?

May 27, 2025

著者: Junhao Cheng, Yuying Ge, Teng Wang, Yixiao Ge, Jing Liao, Ying Shan

cs.AI

要旨

最近のCoT推論とRLポストトレーニングの進展により、MLLMのビデオ推論能力が向上したと報告されています。この進歩は自然に次の疑問を提起します：これらのモデルは、人間の専門家に匹敵する複雑なビデオ推論を実行できるのでしょうか？しかし、既存のビデオベンチマークは主に視覚的知覚とグラウンディング能力を評価しており、明示的なプロンプトや孤立した視覚的手がかりに基づいて回答できる質問が中心です。このようなベンチマークは、現実世界の推論の複雑さを完全には捉えていません。現実世界では、人間は結論に至る前に、積極的に手がかりを探し、統合し、分析する必要があります。この問題に対処するため、私たちはシャーロック・ホームズの推論プロセスにインスパイアされたベンチマーク「Video-Holmes」を提案します。これは、MLLMの複雑なビデオ推論能力を評価するために設計されています。Video-Holmesは、270本の手動で注釈が付けられたサスペンス短編映画から派生した1,837の質問で構成され、7つの慎重に設計されたタスクにわたります。各タスクは、まず映画内の主要なイベントと因果関係を特定し、その後、モデルが異なるビデオセグメントに散らばった複数の関連する視覚的手がかりを積極的に特定し、接続する必要がある質問を設計することで構築されています。最先端のMLLMの包括的な評価により、これらのモデルは一般的に視覚的知覚に優れているものの、情報の統合に大きな困難を抱え、しばしば重要な手がかりを見逃していることが明らかになりました。例えば、最高性能のモデルであるGemini-2.5-Proでさえ、精度はわずか45％であり、ほとんどのモデルは40％未満のスコアでした。私たちは、Video-Holmesがマルチモーダル推論の「ホームズテスト」として機能し、モデルがより人間のように推論することを促し、この分野の継続的な課題を強調することを目指しています。ベンチマークはhttps://github.com/TencentARC/Video-Holmesで公開されています。

English

Recent advances in CoT reasoning and RL post-training have been reported to enhance video reasoning capabilities of MLLMs. This progress naturally raises a question: can these models perform complex video reasoning in a manner comparable to human experts? However, existing video benchmarks primarily evaluate visual perception and grounding abilities, with questions that can be answered based on explicit prompts or isolated visual cues. Such benchmarks do not fully capture the intricacies of real-world reasoning, where humans must actively search for, integrate, and analyze multiple clues before reaching a conclusion. To address this issue, we present Video-Holmes, a benchmark inspired by the reasoning process of Sherlock Holmes, designed to evaluate the complex video reasoning capabilities of MLLMs. Video-Holmes consists of 1,837 questions derived from 270 manually annotated suspense short films, which spans seven carefully designed tasks. Each task is constructed by first identifying key events and causal relationships within films, and then designing questions that require models to actively locate and connect multiple relevant visual clues scattered across different video segments. Our comprehensive evaluation of state-of-the-art MLLMs reveals that, while these models generally excel at visual perception, they encounter substantial difficulties with integrating information and often miss critical clues. For example, the best-performing model, Gemini-2.5-Pro, achieves an accuracy of only 45%, with most models scoring below 40%. We aim that Video-Holmes can serve as a "Holmes-test" for multimodal reasoning, motivating models to reason more like humans and emphasizing the ongoing challenges in this field. The benchmark is released in https://github.com/TencentARC/Video-Holmes.