Light-Omni: Reflex vor Reasoning beim agentischen Videoverständnis mit Langzeitgedächtnis

Zusammenfassung

Agentisches Videoverständnis stattet Modelle mit einem Langzeitgedächtnis aus, um kontinuierliche, langfristige multimodale Ströme autonom zu verarbeiten und darauf zu reagieren. Fortschrittliche Videoagenten verlassen sich jedoch häufig auf eine „detektivartige“ iterative Argumentation zur Aktionssteuerung (z. B. Suche) und zur Aggregation von Beweisen, was mit unerschwinglichen Kosten und Latenzen verbunden ist. Wir argumentieren, dass eine solche umfangreiche Argumentation vor allem den Mangel an globalem Kontext und semantischer Fehlausrichtung beim Retrieval kompensiert. In diesem Beitrag wird Light-Omni vorgestellt, ein multimodales Agenten-Framework für reflexives und leichtgewichtiges Videoverständnis. Dies wird durch duale Kontextzustände erreicht, die den erforderlichen Kontext in einem einzigen Durchlauf sofort aufbauen. Erstens führen wir einen globalen Zustand, ein endlich großes multimodales Skript, das kontinuierlich aus dem episodischen Gedächtnis konsolidiert wird und als globaler Kontext für Light-Omni dient. Durch hierarchisches Zusammenführen werden aktuelle Details bewahrt, während vergangene Ereignisse zusammengefasst werden. Zweitens wird in Abhängigkeit von diesem globalen Kontext ein parametrischer latenter Zustand erzeugt, der autonome Aktionen direkt steuert und Retrieval-Embeddings mit minimaler Latenz liefert. Dank dieser gekoppelten Architektur erreicht Light-Omni semantisch abgestimmtes Retrieval und reflexive Antworten, ohne auf iterative Argumentation angewiesen zu sein. Umfangreiche Experimente bestätigen die Wirksamkeit von Light-Omni anhand mehrerer Video-Benchmarks. Insbesondere übertrifft es M3-Agent mit einer durchschnittlichen Genauigkeitssteigerung von 2,4 %, einer 12,1-fachen Beschleunigung und einer 2,6-fachen Verbesserung der GPU-Speichereffizienz. Darüber hinaus dient es als Gedächtnissystem zur Steigerung der Leistung und Effizienz bestehender MLLMs. Projektseite: https://clare-nie.github.io/Light-Omni.

English

Agentic video understanding equips models with long-term memory to autonomously process and respond to continuous, long-horizon multimodal streams. However, advanced video agents often rely on ``detective-style'' iterative reasoning for action control (e.g., search) and evidence aggregation, incurring prohibitive costs and latency. We argue that such heavy reasoning primarily compensates for the lack of global context and semantic misalignment in retrieval. This paper introduces Light-Omni, a multimodal agent framework for reflexive and lightweight video understanding. It achieves this through dual contextual states that instantly build the required context in a single forward pass. First, we maintain a global state, a finite-sized multimodal script continuously consolidated from episodic memory, serving as the global context for Light-Omni. Through hierarchical merging, it preserves recent details while summarizing past events. Second, conditioned on this global context, we generate a parametric latent state that directly drives autonomous actions and produces retrieval embeddings, with minimal latency. Benefiting from this coupled design, Light-Omni achieves semantically aligned retrieval and reflexive responses while avoiding iterative reasoning. Extensive experiments validate the effectiveness of Light-Omni across multiple video benchmarks. Notably, it outperforms M3-Agent with an average 2.4% accuracy gain, a 12.1times speedup, and a 2.6times improvement in GPU memory efficiency. Furthermore, it serves as a memory system to enhance both the performance and efficiency of existing MLLMs. Project page: https://clare-nie.github.io/Light-Omni.