Video-Holmes: Kan MLLM Denken Als Holmes voor Complexe Videoredenering?

Video-Holmes: Can MLLM Think Like Holmes for Complex Video Reasoning?

May 27, 2025

Auteurs: Junhao Cheng, Yuying Ge, Teng Wang, Yixiao Ge, Jing Liao, Ying Shan

cs.AI

Samenvatting

Recente vooruitgang in CoT-redenering en RL-posttraining heeft naar verluidt de videoredeneervaardigheden van MLLM's verbeterd. Deze ontwikkeling roept vanzelfsprekend de vraag op: kunnen deze modellen complexe videoredenering uitvoeren op een manier die vergelijkbaar is met menselijke experts? Bestaande videobenchmarks evalueren echter voornamelijk visuele waarneming en grondingsvaardigheden, met vragen die kunnen worden beantwoord op basis van expliciete prompts of geïsoleerde visuele aanwijzingen. Dergelijke benchmarks vangen niet volledig de complexiteit van redenering in de echte wereld, waar mensen actief moeten zoeken naar, integreren en analyseren van meerdere aanwijzingen voordat ze tot een conclusie komen. Om dit probleem aan te pakken, presenteren we Video-Holmes, een benchmark geïnspireerd op het redeneerproces van Sherlock Holmes, ontworpen om de complexe videoredeneervaardigheden van MLLM's te evalueren. Video-Holmes bestaat uit 1.837 vragen afgeleid van 270 handmatig geannoteerde suspensekorte films, die zeven zorgvuldig ontworpen taken omvatten. Elke taak wordt geconstrueerd door eerst sleutelgebeurtenissen en causale relaties binnen films te identificeren, en vervolgens vragen te ontwerpen die vereisen dat modellen actief meerdere relevante visuele aanwijzingen, verspreid over verschillende videosegmenten, lokaliseren en verbinden. Onze uitgebreide evaluatie van state-of-the-art MLLM's onthult dat, hoewel deze modellen over het algemeen uitblinken in visuele waarneming, ze aanzienlijke moeilijkheden ondervinden bij het integreren van informatie en vaak kritieke aanwijzingen missen. Het best presterende model, Gemini-2.5-Pro, behaalt bijvoorbeeld een nauwkeurigheid van slechts 45%, waarbij de meeste modellen onder de 40% scoren. Wij streven ernaar dat Video-Holmes kan dienen als een "Holmes-test" voor multimodale redenering, waardoor modellen worden gemotiveerd om meer als mensen te redeneren en de voortdurende uitdagingen op dit gebied worden benadrukt. De benchmark is vrijgegeven op https://github.com/TencentARC/Video-Holmes.

English

Recent advances in CoT reasoning and RL post-training have been reported to enhance video reasoning capabilities of MLLMs. This progress naturally raises a question: can these models perform complex video reasoning in a manner comparable to human experts? However, existing video benchmarks primarily evaluate visual perception and grounding abilities, with questions that can be answered based on explicit prompts or isolated visual cues. Such benchmarks do not fully capture the intricacies of real-world reasoning, where humans must actively search for, integrate, and analyze multiple clues before reaching a conclusion. To address this issue, we present Video-Holmes, a benchmark inspired by the reasoning process of Sherlock Holmes, designed to evaluate the complex video reasoning capabilities of MLLMs. Video-Holmes consists of 1,837 questions derived from 270 manually annotated suspense short films, which spans seven carefully designed tasks. Each task is constructed by first identifying key events and causal relationships within films, and then designing questions that require models to actively locate and connect multiple relevant visual clues scattered across different video segments. Our comprehensive evaluation of state-of-the-art MLLMs reveals that, while these models generally excel at visual perception, they encounter substantial difficulties with integrating information and often miss critical clues. For example, the best-performing model, Gemini-2.5-Pro, achieves an accuracy of only 45%, with most models scoring below 40%. We aim that Video-Holmes can serve as a "Holmes-test" for multimodal reasoning, motivating models to reason more like humans and emphasizing the ongoing challenges in this field. The benchmark is released in https://github.com/TencentARC/Video-Holmes.