Video-Holmes: Kann MLLM wie Holmes für komplexe Videoanalyse denken?

Video-Holmes: Can MLLM Think Like Holmes for Complex Video Reasoning?

May 27, 2025

Autoren: Junhao Cheng, Yuying Ge, Teng Wang, Yixiao Ge, Jing Liao, Ying Shan

cs.AI

Zusammenfassung

Jüngste Fortschritte im Bereich des Chain-of-Thought (CoT)-Denkens und des Reinforcement Learning (RL) im Post-Training haben die Fähigkeiten von Multimodalen Large Language Models (MLLMs) zur Videoreasoning verbessert. Diese Entwicklung wirft die Frage auf: Können diese Modelle komplexe Videoreasoning-Aufgaben in einer Weise bewältigen, die mit der von menschlichen Experten vergleichbar ist? Bisherige Video-Benchmarks bewerten jedoch hauptsächlich visuelle Wahrnehmung und Verankerungsfähigkeiten, mit Fragen, die auf expliziten Aufforderungen oder isolierten visuellen Hinweisen basieren. Solche Benchmarks erfassen nicht vollständig die Komplexität des realen Denkens, bei dem Menschen aktiv nach Hinweisen suchen, diese integrieren und analysieren müssen, bevor sie zu einer Schlussfolgerung gelangen. Um dieses Problem zu lösen, stellen wir Video-Holmes vor, einen Benchmark, der vom Denkprozess von Sherlock Holmes inspiriert ist und darauf abzielt, die komplexen Videoreasoning-Fähigkeiten von MLLMs zu bewerten. Video-Holmes besteht aus 1.837 Fragen, die aus 270 manuell annotierten Spannungskurzfilmen abgeleitet wurden und sieben sorgfältig gestaltete Aufgaben umfassen. Jede Aufgabe wird konstruiert, indem zunächst Schlüsselereignisse und kausale Zusammenhänge innerhalb der Filme identifiziert und dann Fragen entworfen werden, die von den Modellen verlangen, aktiv mehrere relevante visuelle Hinweise zu lokalisieren und zu verbinden, die über verschiedene Videosegmente verstreut sind. Unsere umfassende Bewertung der aktuellsten MLLMs zeigt, dass diese Modelle zwar im Allgemeinen in der visuellen Wahrnehmung hervorragend sind, jedoch erhebliche Schwierigkeiten bei der Integration von Informationen haben und oft kritische Hinweise übersehen. Zum Beispiel erreicht das leistungsstärkste Modell, Gemini-2.5-Pro, eine Genauigkeit von nur 45 %, wobei die meisten Modelle unter 40 % liegen. Wir hoffen, dass Video-Holmes als „Holmes-Test“ für multimodales Denken dienen kann, um Modelle dazu zu motivieren, mehr wie Menschen zu denken, und die anhaltenden Herausforderungen in diesem Bereich zu betonen. Der Benchmark ist unter https://github.com/TencentARC/Video-Holmes verfügbar.

English

Recent advances in CoT reasoning and RL post-training have been reported to enhance video reasoning capabilities of MLLMs. This progress naturally raises a question: can these models perform complex video reasoning in a manner comparable to human experts? However, existing video benchmarks primarily evaluate visual perception and grounding abilities, with questions that can be answered based on explicit prompts or isolated visual cues. Such benchmarks do not fully capture the intricacies of real-world reasoning, where humans must actively search for, integrate, and analyze multiple clues before reaching a conclusion. To address this issue, we present Video-Holmes, a benchmark inspired by the reasoning process of Sherlock Holmes, designed to evaluate the complex video reasoning capabilities of MLLMs. Video-Holmes consists of 1,837 questions derived from 270 manually annotated suspense short films, which spans seven carefully designed tasks. Each task is constructed by first identifying key events and causal relationships within films, and then designing questions that require models to actively locate and connect multiple relevant visual clues scattered across different video segments. Our comprehensive evaluation of state-of-the-art MLLMs reveals that, while these models generally excel at visual perception, they encounter substantial difficulties with integrating information and often miss critical clues. For example, the best-performing model, Gemini-2.5-Pro, achieves an accuracy of only 45%, with most models scoring below 40%. We aim that Video-Holmes can serve as a "Holmes-test" for multimodal reasoning, motivating models to reason more like humans and emphasizing the ongoing challenges in this field. The benchmark is released in https://github.com/TencentARC/Video-Holmes.