Video-Holmes: Может ли MLLM мыслить как Холмс для сложного анализа видео?

Video-Holmes: Can MLLM Think Like Holmes for Complex Video Reasoning?

May 27, 2025

Авторы: Junhao Cheng, Yuying Ge, Teng Wang, Yixiao Ge, Jing Liao, Ying Shan

cs.AI

Аннотация

Недавние достижения в области рассуждений с использованием цепочек мыслей (CoT) и посттренировочного обучения с подкреплением (RL) были отмечены как улучшающие способности мультимодальных языковых моделей (MLLMs) к анализу видео. Этот прогресс естественным образом поднимает вопрос: могут ли эти модели выполнять сложный анализ видео на уровне, сопоставимом с экспертами-людьми? Однако существующие видеобенчмарки в основном оценивают способности к визуальному восприятию и привязке к контексту, используя вопросы, которые можно ответить на основе явных подсказок или изолированных визуальных сигналов. Такие бенчмарки не полностью отражают сложность реального анализа, где люди должны активно искать, интегрировать и анализировать множество подсказок, прежде чем прийти к выводу. Чтобы решить эту проблему, мы представляем Video-Holmes — бенчмарк, вдохновленный процессом рассуждений Шерлока Холмса, разработанный для оценки способностей MLLMs к сложному анализу видео. Video-Holmes состоит из 1837 вопросов, основанных на 270 вручную аннотированных короткометражных фильмах в жанре саспенса, и охватывает семь тщательно разработанных задач. Каждая задача создается путем сначала выявления ключевых событий и причинно-следственных связей в фильмах, а затем формулирования вопросов, требующих от моделей активного поиска и соединения множества релевантных визуальных подсказок, разбросанных по различным сегментам видео. Наше всестороннее тестирование современных MLLMs показывает, что, хотя эти модели в целом преуспевают в визуальном восприятии, они сталкиваются с существенными трудностями при интеграции информации и часто упускают критически важные подсказки. Например, лучшая модель, Gemini-2.5-Pro, достигает точности всего 45%, при этом большинство моделей показывают результат ниже 40%. Мы надеемся, что Video-Holmes послужит "тестом Холмса" для мультимодального анализа, мотивируя модели рассуждать более по-человечески и подчеркивая текущие вызовы в этой области. Бенчмарк доступен по адресу: https://github.com/TencentARC/Video-Holmes.

English

Recent advances in CoT reasoning and RL post-training have been reported to enhance video reasoning capabilities of MLLMs. This progress naturally raises a question: can these models perform complex video reasoning in a manner comparable to human experts? However, existing video benchmarks primarily evaluate visual perception and grounding abilities, with questions that can be answered based on explicit prompts or isolated visual cues. Such benchmarks do not fully capture the intricacies of real-world reasoning, where humans must actively search for, integrate, and analyze multiple clues before reaching a conclusion. To address this issue, we present Video-Holmes, a benchmark inspired by the reasoning process of Sherlock Holmes, designed to evaluate the complex video reasoning capabilities of MLLMs. Video-Holmes consists of 1,837 questions derived from 270 manually annotated suspense short films, which spans seven carefully designed tasks. Each task is constructed by first identifying key events and causal relationships within films, and then designing questions that require models to actively locate and connect multiple relevant visual clues scattered across different video segments. Our comprehensive evaluation of state-of-the-art MLLMs reveals that, while these models generally excel at visual perception, they encounter substantial difficulties with integrating information and often miss critical clues. For example, the best-performing model, Gemini-2.5-Pro, achieves an accuracy of only 45%, with most models scoring below 40%. We aim that Video-Holmes can serve as a "Holmes-test" for multimodal reasoning, motivating models to reason more like humans and emphasizing the ongoing challenges in this field. The benchmark is released in https://github.com/TencentARC/Video-Holmes.