MR. Video: "MapReduce" è il principio per la comprensione di video lunghi

MR. Video: "MapReduce" is the Principle for Long Video Understanding

April 22, 2025

Autori: Ziqi Pang, Yu-Xiong Wang

cs.AI

Abstract

Proponiamo MR. Video, un framework agentico per la comprensione di video lunghi che dimostra il principio MapReduce semplice ma efficace per l'elaborazione di video estesi: (1) Map: percezione indipendente e densa di brevi clip video, e (2) Reduce: aggregazione congiunta delle informazioni da tutte le clip. Rispetto ai modelli visione-linguaggio (VLMs) sequenza-a-sequenza, MR. Video esegue una percezione dettagliata dei brevi video senza essere limitato dalla lunghezza del contesto. Rispetto agli agenti video esistenti che tipicamente si basano sulla selezione sequenziale di segmenti chiave, l'operazione Map consente una percezione parallela più semplice e scalabile dei brevi segmenti video. Il passo Reduce permette un'aggregazione e un ragionamento contestuale più completo, superando il recupero esplicito dei segmenti chiave. Questo principio MapReduce è applicabile sia ai VLMs che agli agenti video, e utilizziamo agenti LLM per validarne l'efficacia. Nella pratica, MR. Video impiega due fasi MapReduce: (A) Captioning: generazione di didascalie per brevi clip video (map), seguita dalla standardizzazione di personaggi e oggetti ripetuti in nomi condivisi (reduce); (B) Analisi: per ogni domanda dell'utente, analisi delle informazioni rilevanti dai singoli brevi video (map), e loro integrazione in una risposta finale (reduce). MR. Video ottiene un miglioramento di oltre il 10% in accuratezza sul benchmark LVBench rispetto ai VLMs e agli agenti video all'avanguardia. Il codice è disponibile all'indirizzo: https://github.com/ziqipang/MR-Video

English

We propose MR. Video, an agentic long video understanding framework that demonstrates the simple yet effective MapReduce principle for processing long videos: (1) Map: independently and densely perceiving short video clips, and (2) Reduce: jointly aggregating information from all clips. Compared with sequence-to-sequence vision-language models (VLMs), MR. Video performs detailed short video perception without being limited by context length. Compared with existing video agents that typically rely on sequential key segment selection, the Map operation enables simpler and more scalable sequence parallel perception of short video segments. Its Reduce step allows for more comprehensive context aggregation and reasoning, surpassing explicit key segment retrieval. This MapReduce principle is applicable to both VLMs and video agents, and we use LLM agents to validate its effectiveness. In practice, MR. Video employs two MapReduce stages: (A) Captioning: generating captions for short video clips (map), then standardizing repeated characters and objects into shared names (reduce); (B) Analysis: for each user question, analyzing relevant information from individual short videos (map), and integrating them into a final answer (reduce). MR. Video achieves over 10% accuracy improvement on the challenging LVBench compared to state-of-the-art VLMs and video agents. Code is available at: https://github.com/ziqipang/MR-Video