Light-Omni：長期記憶を備えたエージェント型映像理解における推論より反射

要旨

エージェンティックな映像理解は、モデルに長期記憶を備えさせることで、継続的かつ長期的なマルチモーダルストリームを自律的に処理し応答することを実現します。しかし、高度なビデオエージェントは行動制御（例：検索）や証拠集約において「探偵スタイル」の反復的推論に依存することが多く、その結果、法外なコストとレイテンシが発生します。我々は、このような重い推論は主に、グローバルコンテキストの欠如と検索における意味的ミスアライメントを補うためのものであると主張します。本論文では、反射的かつ軽量な映像理解のためのマルチモーダルエージェントフレームワークであるLight-Omniを紹介します。これは、単一のフォワードパスで瞬時に必要なコンテキストを構築する二重のコンテキスト状態によって実現されます。第一に、エピソード記憶から継続的に統合された有限サイズのマルチモーダルスクリプトであるグローバル状態を維持し、これがLight-Omniのグローバルコンテキストとして機能します。階層的マージにより、過去のイベントを要約しながら最近の詳細を保持します。第二に、このグローバルコンテキストに基づいて、自律的な動作を直接駆動し、最小限のレイテンシで検索埋め込みを生成するパラメトリック潜在状態を生成します。この結合設計により、Light-Omniは反復的推論を回避しながら、意味的に整合した検索と反射的な応答を実現します。広範な実験により、Light-Omniの有効性が複数のビデオベンチマークで検証されました。特筆すべき点として、M3-Agentに対して平均2.4%の精度向上、12.1倍の高速化、およびGPUメモリ効率の2.6倍の改善を達成しています。さらに、既存のMLLMの性能と効率の両方を向上させるメモリシステムとしても機能します。プロジェクトページ: https://clare-nie.github.io/Light-Omni。

English

Agentic video understanding equips models with long-term memory to autonomously process and respond to continuous, long-horizon multimodal streams. However, advanced video agents often rely on ``detective-style'' iterative reasoning for action control (e.g., search) and evidence aggregation, incurring prohibitive costs and latency. We argue that such heavy reasoning primarily compensates for the lack of global context and semantic misalignment in retrieval. This paper introduces Light-Omni, a multimodal agent framework for reflexive and lightweight video understanding. It achieves this through dual contextual states that instantly build the required context in a single forward pass. First, we maintain a global state, a finite-sized multimodal script continuously consolidated from episodic memory, serving as the global context for Light-Omni. Through hierarchical merging, it preserves recent details while summarizing past events. Second, conditioned on this global context, we generate a parametric latent state that directly drives autonomous actions and produces retrieval embeddings, with minimal latency. Benefiting from this coupled design, Light-Omni achieves semantically aligned retrieval and reflexive responses while avoiding iterative reasoning. Extensive experiments validate the effectiveness of Light-Omni across multiple video benchmarks. Notably, it outperforms M3-Agent with an average 2.4% accuracy gain, a 12.1times speedup, and a 2.6times improvement in GPU memory efficiency. Furthermore, it serves as a memory system to enhance both the performance and efficiency of existing MLLMs. Project page: https://clare-nie.github.io/Light-Omni.