MR. Video: «MapReduce» — это принцип для понимания длинных видео.

MR. Video: "MapReduce" is the Principle for Long Video Understanding

April 22, 2025

Авторы: Ziqi Pang, Yu-Xiong Wang

cs.AI

Аннотация

Мы представляем MR. Video — агентную систему для понимания длинных видео, которая демонстрирует простой, но эффективный принцип MapReduce для обработки длинных видео: (1) Map: независимое и плотное восприятие коротких видеоклипов и (2) Reduce: совместная агрегация информации из всех клипов. По сравнению с последовательными моделями "видео-текст" (VLMs), MR. Video выполняет детальное восприятие коротких видео без ограничений на длину контекста. В отличие от существующих видеоагентов, которые обычно полагаются на последовательный выбор ключевых сегментов, операция Map позволяет осуществлять более простое и масштабируемое параллельное восприятие коротких видеосегментов. Шаг Reduce обеспечивает более полную агрегацию и анализ контекста, превосходя явное извлечение ключевых сегментов. Этот принцип MapReduce применим как к VLMs, так и к видеоагентам, и мы используем LLM-агенты для подтверждения его эффективности. На практике MR. Video использует два этапа MapReduce: (A) Описание: генерация описаний для коротких видеоклипов (map), а затем стандартизация повторяющихся персонажей и объектов в общие имена (reduce); (B) Анализ: для каждого пользовательского вопроса анализ релевантной информации из отдельных коротких видео (map) и её интеграция в окончательный ответ (reduce). MR. Video демонстрирует улучшение точности более чем на 10% на сложном бенчмарке LVBench по сравнению с современными VLMs и видеоагентами. Код доступен по адресу: https://github.com/ziqipang/MR-Video

English

We propose MR. Video, an agentic long video understanding framework that demonstrates the simple yet effective MapReduce principle for processing long videos: (1) Map: independently and densely perceiving short video clips, and (2) Reduce: jointly aggregating information from all clips. Compared with sequence-to-sequence vision-language models (VLMs), MR. Video performs detailed short video perception without being limited by context length. Compared with existing video agents that typically rely on sequential key segment selection, the Map operation enables simpler and more scalable sequence parallel perception of short video segments. Its Reduce step allows for more comprehensive context aggregation and reasoning, surpassing explicit key segment retrieval. This MapReduce principle is applicable to both VLMs and video agents, and we use LLM agents to validate its effectiveness. In practice, MR. Video employs two MapReduce stages: (A) Captioning: generating captions for short video clips (map), then standardizing repeated characters and objects into shared names (reduce); (B) Analysis: for each user question, analyzing relevant information from individual short videos (map), and integrating them into a final answer (reduce). MR. Video achieves over 10% accuracy improvement on the challenging LVBench compared to state-of-the-art VLMs and video agents. Code is available at: https://github.com/ziqipang/MR-Video