Video-Holmes : Les MLLM peuvent-ils penser comme Holmes pour le raisonnement complexe sur les vidéos ?

Video-Holmes: Can MLLM Think Like Holmes for Complex Video Reasoning?

May 27, 2025

Auteurs: Junhao Cheng, Yuying Ge, Teng Wang, Yixiao Ge, Jing Liao, Ying Shan

cs.AI

Résumé

Les récents progrès dans le raisonnement CoT et le post-entraînement par RL ont été rapportés pour améliorer les capacités de raisonnement vidéo des MLLMs. Ces avancées soulèvent naturellement une question : ces modèles peuvent-ils effectuer un raisonnement vidéo complexe de manière comparable à des experts humains ? Cependant, les benchmarks vidéo existants évaluent principalement la perception visuelle et les capacités de mise en contexte, avec des questions qui peuvent être résolues à partir de prompts explicites ou d'indices visuels isolés. De tels benchmarks ne capturent pas pleinement les subtilités du raisonnement dans le monde réel, où les humains doivent activement rechercher, intégrer et analyser de multiples indices avant de parvenir à une conclusion. Pour résoudre ce problème, nous présentons Video-Holmes, un benchmark inspiré du processus de raisonnement de Sherlock Holmes, conçu pour évaluer les capacités de raisonnement vidéo complexe des MLLMs. Video-Holmes comprend 1 837 questions dérivées de 270 courts métrages à suspense annotés manuellement, couvrant sept tâches soigneusement conçues. Chaque tâche est construite en identifiant d'abord les événements clés et les relations causales dans les films, puis en concevant des questions qui nécessitent que les modèles localisent et relient activement de multiples indices visuels pertinents dispersés dans différents segments vidéo. Notre évaluation complète des MLLMs de pointe révèle que, bien que ces modèles excellent généralement en perception visuelle, ils rencontrent des difficultés substantielles à intégrer les informations et manquent souvent des indices critiques. Par exemple, le modèle le plus performant, Gemini-2.5-Pro, atteint une précision de seulement 45 %, la plupart des modèles obtenant des scores inférieurs à 40 %. Nous espérons que Video-Holmes pourra servir de "test Holmes" pour le raisonnement multimodal, incitant les modèles à raisonner davantage comme des humains et mettant en lumière les défis persistants dans ce domaine. Le benchmark est disponible sur https://github.com/TencentARC/Video-Holmes.

English

Recent advances in CoT reasoning and RL post-training have been reported to enhance video reasoning capabilities of MLLMs. This progress naturally raises a question: can these models perform complex video reasoning in a manner comparable to human experts? However, existing video benchmarks primarily evaluate visual perception and grounding abilities, with questions that can be answered based on explicit prompts or isolated visual cues. Such benchmarks do not fully capture the intricacies of real-world reasoning, where humans must actively search for, integrate, and analyze multiple clues before reaching a conclusion. To address this issue, we present Video-Holmes, a benchmark inspired by the reasoning process of Sherlock Holmes, designed to evaluate the complex video reasoning capabilities of MLLMs. Video-Holmes consists of 1,837 questions derived from 270 manually annotated suspense short films, which spans seven carefully designed tasks. Each task is constructed by first identifying key events and causal relationships within films, and then designing questions that require models to actively locate and connect multiple relevant visual clues scattered across different video segments. Our comprehensive evaluation of state-of-the-art MLLMs reveals that, while these models generally excel at visual perception, they encounter substantial difficulties with integrating information and often miss critical clues. For example, the best-performing model, Gemini-2.5-Pro, achieves an accuracy of only 45%, with most models scoring below 40%. We aim that Video-Holmes can serve as a "Holmes-test" for multimodal reasoning, motivating models to reason more like humans and emphasizing the ongoing challenges in this field. The benchmark is released in https://github.com/TencentARC/Video-Holmes.