MR. Vídeo: "MapReduce" é o Princípio para a Compreensão de Vídeos Longos

MR. Video: "MapReduce" is the Principle for Long Video Understanding

April 22, 2025

Autores: Ziqi Pang, Yu-Xiong Wang

cs.AI

Resumo

Propomos o MR. Video, uma estrutura de compreensão de vídeos longos baseada em agentes que demonstra o princípio simples, porém eficaz, de MapReduce para processar vídeos longos: (1) Map: percepção independente e densa de clipes de vídeo curtos, e (2) Reduce: agregação conjunta de informações de todos os clipes. Em comparação com modelos visão-linguagem (VLMs) de sequência para sequência, o MR. Video realiza uma percepção detalhada de vídeos curtos sem ser limitado pelo comprimento do contexto. Em comparação com agentes de vídeo existentes que geralmente dependem da seleção sequencial de segmentos-chave, a operação Map permite uma percepção paralela de sequências de segmentos de vídeo curtos mais simples e escalável. A etapa Reduce permite uma agregação e raciocínio de contexto mais abrangentes, superando a recuperação explícita de segmentos-chave. Esse princípio de MapReduce é aplicável tanto a VLMs quanto a agentes de vídeo, e usamos agentes LLM para validar sua eficácia. Na prática, o MR. Video emprega dois estágios de MapReduce: (A) Legendagem: geração de legendas para clipes de vídeo curtos (map), seguida da padronização de personagens e objetos repetidos em nomes compartilhados (reduce); (B) Análise: para cada pergunta do usuário, análise de informações relevantes de vídeos curtos individuais (map) e integração delas em uma resposta final (reduce). O MR. Video alcança uma melhoria de mais de 10% na precisão no desafiador LVBench em comparação com VLMs e agentes de vídeo state-of-the-art. O código está disponível em: https://github.com/ziqipang/MR-Video

English

We propose MR. Video, an agentic long video understanding framework that demonstrates the simple yet effective MapReduce principle for processing long videos: (1) Map: independently and densely perceiving short video clips, and (2) Reduce: jointly aggregating information from all clips. Compared with sequence-to-sequence vision-language models (VLMs), MR. Video performs detailed short video perception without being limited by context length. Compared with existing video agents that typically rely on sequential key segment selection, the Map operation enables simpler and more scalable sequence parallel perception of short video segments. Its Reduce step allows for more comprehensive context aggregation and reasoning, surpassing explicit key segment retrieval. This MapReduce principle is applicable to both VLMs and video agents, and we use LLM agents to validate its effectiveness. In practice, MR. Video employs two MapReduce stages: (A) Captioning: generating captions for short video clips (map), then standardizing repeated characters and objects into shared names (reduce); (B) Analysis: for each user question, analyzing relevant information from individual short videos (map), and integrating them into a final answer (reduce). MR. Video achieves over 10% accuracy improvement on the challenging LVBench compared to state-of-the-art VLMs and video agents. Code is available at: https://github.com/ziqipang/MR-Video