Light-Omni: 장기 메모리를 활용한 에이전트 기반 비디오 이해에서의 반사 대 추론

초록

에이전트 기반 비디오 이해(Agentic video understanding)는 모델에 장기 기억을 부여하여 지속적이고 장기적인 멀티모달 스트림을 자율적으로 처리하고 응답하도록 한다. 그러나 고급 비디오 에이전트는 종종 행동 제어(예: 검색)와 증거 수집을 위해 "탐정 스타일"의 반복적 추론에 의존하여 과도한 비용과 지연 시간을 초래한다. 본 논문은 이러한 무거운 추론이 주로 검색에서의 전역적 맥락 부족과 의미론적 정렬 오류를 보완하기 위한 것임을 주장한다. 본 논문에서는 반사적이고 가벼운 비디오 이해를 위한 멀티모달 에이전트 프레임워크인 Light-Omni를 소개한다. 이는 단일 순방향 패스에서 필요한 맥락을 즉시 구축하는 이중 맥락 상태(dual contextual states)를 통해 이를 달성한다. 첫째, 에피소드 기억(episodic memory)으로부터 지속적으로 통합된 유한 크기의 멀티모달 스크립트인 전역 상태(global state)를 유지하여 Light-Omni의 전역적 맥락으로 활용한다. 계층적 병합(hierarchical merging)을 통해 과거 사건을 요약하면서 최근 세부 사항을 보존한다. 둘째, 이 전역적 맥락을 조건으로 하여 최소한의 지연 시간으로 자율적 행동을 직접 구동하고 검색 임베딩을 생성하는 파라메트릭 잠재 상태(parametric latent state)를 생성한다. 이러한 결합 설계의 이점을 통해 Light-Omni는 반복적 추론을 피하면서 의미론적으로 정렬된 검색과 반사적 응답을 달성한다. 광범위한 실험을 통해 여러 비디오 벤치마크에서 Light-Omni의 효과성을 검증했다. 특히, 평균 정확도 2.4% 향상, 12.1배 속도 향상, GPU 메모리 효율성 2.6배 개선을 달성하며 M3-Agent를 능가한다. 또한, 기존 MLLM의 성능과 효율성을 모두 향상시키는 메모리 시스템으로도 기능한다. 프로젝트 페이지: https://clare-nie.github.io/Light-Omni.

English

Agentic video understanding equips models with long-term memory to autonomously process and respond to continuous, long-horizon multimodal streams. However, advanced video agents often rely on ``detective-style'' iterative reasoning for action control (e.g., search) and evidence aggregation, incurring prohibitive costs and latency. We argue that such heavy reasoning primarily compensates for the lack of global context and semantic misalignment in retrieval. This paper introduces Light-Omni, a multimodal agent framework for reflexive and lightweight video understanding. It achieves this through dual contextual states that instantly build the required context in a single forward pass. First, we maintain a global state, a finite-sized multimodal script continuously consolidated from episodic memory, serving as the global context for Light-Omni. Through hierarchical merging, it preserves recent details while summarizing past events. Second, conditioned on this global context, we generate a parametric latent state that directly drives autonomous actions and produces retrieval embeddings, with minimal latency. Benefiting from this coupled design, Light-Omni achieves semantically aligned retrieval and reflexive responses while avoiding iterative reasoning. Extensive experiments validate the effectiveness of Light-Omni across multiple video benchmarks. Notably, it outperforms M3-Agent with an average 2.4% accuracy gain, a 12.1times speedup, and a 2.6times improvement in GPU memory efficiency. Furthermore, it serves as a memory system to enhance both the performance and efficiency of existing MLLMs. Project page: https://clare-nie.github.io/Light-Omni.