MR. Video: "MapReduce" es el principio para la comprensión de videos largos.

MR. Video: "MapReduce" is the Principle for Long Video Understanding

April 22, 2025

Autores: Ziqi Pang, Yu-Xiong Wang

cs.AI

Resumen

Proponemos MR. Video, un marco de comprensión de videos largos basado en agentes que demuestra el principio simple pero efectivo de MapReduce para procesar videos largos: (1) Map: percepción independiente y densa de clips de video cortos, y (2) Reduce: agregación conjunta de información de todos los clips. En comparación con los modelos de visión y lenguaje de secuencia a secuencia (VLMs), MR. Video realiza una percepción detallada de videos cortos sin estar limitado por la longitud del contexto. En comparación con los agentes de video existentes que generalmente dependen de la selección secuencial de segmentos clave, la operación Map permite una percepción paralela de secuencias más simple y escalable de segmentos de video cortos. Su paso Reduce permite una agregación y razonamiento de contexto más completo, superando la recuperación explícita de segmentos clave. Este principio de MapReduce es aplicable tanto a VLMs como a agentes de video, y utilizamos agentes LLM para validar su efectividad. En la práctica, MR. Video emplea dos etapas de MapReduce: (A) Subtitulado: generación de subtítulos para clips de video cortos (map), seguido de la estandarización de personajes y objetos repetidos en nombres compartidos (reduce); (B) Análisis: para cada pregunta del usuario, análisis de información relevante de videos cortos individuales (map), e integración de estos en una respuesta final (reduce). MR. Video logra una mejora de precisión de más del 10% en el desafiante LVBench en comparación con los VLMs y agentes de video más avanzados. El código está disponible en: https://github.com/ziqipang/MR-Video

English

We propose MR. Video, an agentic long video understanding framework that demonstrates the simple yet effective MapReduce principle for processing long videos: (1) Map: independently and densely perceiving short video clips, and (2) Reduce: jointly aggregating information from all clips. Compared with sequence-to-sequence vision-language models (VLMs), MR. Video performs detailed short video perception without being limited by context length. Compared with existing video agents that typically rely on sequential key segment selection, the Map operation enables simpler and more scalable sequence parallel perception of short video segments. Its Reduce step allows for more comprehensive context aggregation and reasoning, surpassing explicit key segment retrieval. This MapReduce principle is applicable to both VLMs and video agents, and we use LLM agents to validate its effectiveness. In practice, MR. Video employs two MapReduce stages: (A) Captioning: generating captions for short video clips (map), then standardizing repeated characters and objects into shared names (reduce); (B) Analysis: for each user question, analyzing relevant information from individual short videos (map), and integrating them into a final answer (reduce). MR. Video achieves over 10% accuracy improvement on the challenging LVBench compared to state-of-the-art VLMs and video agents. Code is available at: https://github.com/ziqipang/MR-Video