MR. Video: „MapReduce“ ist das Prinzip für das Verständnis langer Videos.

MR. Video: "MapReduce" is the Principle for Long Video Understanding

April 22, 2025

Autoren: Ziqi Pang, Yu-Xiong Wang

cs.AI

Zusammenfassung

Wir stellen MR. Video vor, ein agentenbasiertes Framework zum Verständnis langer Videos, das das einfache, aber effektive MapReduce-Prinzip für die Verarbeitung langer Videos demonstriert: (1) Map: unabhängige und dichte Wahrnehmung kurzer Videoclips und (2) Reduce: gemeinsame Aggregation von Informationen aus allen Clips. Im Vergleich zu sequenziellen Vision-Sprache-Modellen (VLMs) ermöglicht MR. Video eine detaillierte Wahrnehmung kurzer Videos, ohne durch die Kontextlänge eingeschränkt zu sein. Im Vergleich zu bestehenden Video-Agenten, die typischerweise auf der sequenziellen Auswahl von Schlüsselsegmenten basieren, ermöglicht die Map-Operation eine einfachere und skalierbarere parallele Wahrnehmung kurzer Videosegmente. Der Reduce-Schritt ermöglicht eine umfassendere Kontextaggregation und -argumentation, die die explizite Schlüsselsegment-Retrieval übertrifft. Dieses MapReduce-Prinzip ist sowohl auf VLMs als auch auf Video-Agenten anwendbar, und wir verwenden LLM-Agenten, um seine Wirksamkeit zu validieren. In der Praxis setzt MR. Video zwei MapReduce-Stufen ein: (A) Beschriftung: Generierung von Beschreibungen für kurze Videoclips (Map), gefolgt von der Standardisierung wiederholter Charaktere und Objekte in gemeinsame Namen (Reduce); (B) Analyse: für jede Benutzerfrage, Analyse relevanter Informationen aus einzelnen kurzen Videos (Map) und deren Integration in eine endgültige Antwort (Reduce). MR. Video erzielt eine Verbesserung der Genauigkeit von über 10 % auf dem anspruchsvollen LVBench im Vergleich zu state-of-the-art VLMs und Video-Agenten. Der Code ist verfügbar unter: https://github.com/ziqipang/MR-Video

English

We propose MR. Video, an agentic long video understanding framework that demonstrates the simple yet effective MapReduce principle for processing long videos: (1) Map: independently and densely perceiving short video clips, and (2) Reduce: jointly aggregating information from all clips. Compared with sequence-to-sequence vision-language models (VLMs), MR. Video performs detailed short video perception without being limited by context length. Compared with existing video agents that typically rely on sequential key segment selection, the Map operation enables simpler and more scalable sequence parallel perception of short video segments. Its Reduce step allows for more comprehensive context aggregation and reasoning, surpassing explicit key segment retrieval. This MapReduce principle is applicable to both VLMs and video agents, and we use LLM agents to validate its effectiveness. In practice, MR. Video employs two MapReduce stages: (A) Captioning: generating captions for short video clips (map), then standardizing repeated characters and objects into shared names (reduce); (B) Analysis: for each user question, analyzing relevant information from individual short videos (map), and integrating them into a final answer (reduce). MR. Video achieves over 10% accuracy improvement on the challenging LVBench compared to state-of-the-art VLMs and video agents. Code is available at: https://github.com/ziqipang/MR-Video