Video-Holmes: I MLLM Possono Pensare Come Holmes per il Ragionamento Complesso sui Video?

Video-Holmes: Can MLLM Think Like Holmes for Complex Video Reasoning?

May 27, 2025

Autori: Junhao Cheng, Yuying Ge, Teng Wang, Yixiao Ge, Jing Liao, Ying Shan

cs.AI

Abstract

I recenti progressi nel ragionamento CoT e nel post-addestramento RL sono stati segnalati per migliorare le capacità di ragionamento video dei MLLM. Questo progresso solleva naturalmente una domanda: questi modelli possono eseguire ragionamenti video complessi in modo paragonabile a esperti umani? Tuttavia, i benchmark video esistenti valutano principalmente le capacità di percezione visiva e di grounding, con domande che possono essere risposte basandosi su prompt espliciti o indizi visivi isolati. Tali benchmark non catturano appieno le complessità del ragionamento nel mondo reale, dove gli esseri umani devono cercare attivamente, integrare e analizzare molteplici indizi prima di giungere a una conclusione. Per affrontare questo problema, presentiamo Video-Holmes, un benchmark ispirato al processo di ragionamento di Sherlock Holmes, progettato per valutare le capacità di ragionamento video complesso dei MLLM. Video-Holmes consiste in 1.837 domande derivate da 270 cortometraggi di suspense annotati manualmente, che coprono sette task progettati con cura. Ogni task è costruito identificando prima eventi chiave e relazioni causali all'interno dei film, e poi progettando domande che richiedono ai modelli di individuare attivamente e connettere molteplici indizi visivi rilevanti sparsi in diversi segmenti video. La nostra valutazione completa dei MLLM all'avanguardia rivela che, sebbene questi modelli eccellano generalmente nella percezione visiva, incontrano notevoli difficoltà nell'integrazione delle informazioni e spesso perdono indizi critici. Ad esempio, il modello con le migliori prestazioni, Gemini-2.5-Pro, raggiunge un'accuratezza di solo il 45%, con la maggior parte dei modelli che si attestano al di sotto del 40%. Ci auguriamo che Video-Holmes possa servire come un "test-Holmes" per il ragionamento multimodale, motivando i modelli a ragionare più come gli esseri umani e sottolineando le sfide in corso in questo campo. Il benchmark è rilasciato su https://github.com/TencentARC/Video-Holmes.

English

Recent advances in CoT reasoning and RL post-training have been reported to enhance video reasoning capabilities of MLLMs. This progress naturally raises a question: can these models perform complex video reasoning in a manner comparable to human experts? However, existing video benchmarks primarily evaluate visual perception and grounding abilities, with questions that can be answered based on explicit prompts or isolated visual cues. Such benchmarks do not fully capture the intricacies of real-world reasoning, where humans must actively search for, integrate, and analyze multiple clues before reaching a conclusion. To address this issue, we present Video-Holmes, a benchmark inspired by the reasoning process of Sherlock Holmes, designed to evaluate the complex video reasoning capabilities of MLLMs. Video-Holmes consists of 1,837 questions derived from 270 manually annotated suspense short films, which spans seven carefully designed tasks. Each task is constructed by first identifying key events and causal relationships within films, and then designing questions that require models to actively locate and connect multiple relevant visual clues scattered across different video segments. Our comprehensive evaluation of state-of-the-art MLLMs reveals that, while these models generally excel at visual perception, they encounter substantial difficulties with integrating information and often miss critical clues. For example, the best-performing model, Gemini-2.5-Pro, achieves an accuracy of only 45%, with most models scoring below 40%. We aim that Video-Holmes can serve as a "Holmes-test" for multimodal reasoning, motivating models to reason more like humans and emphasizing the ongoing challenges in this field. The benchmark is released in https://github.com/TencentARC/Video-Holmes.