検索を超えて：ストリーミング動画理解のための段階的潜在記憶進化

要旨

ストリーミング動画理解には、マルチモーダル大規模言語モデル（MLLM）が、厳密な因果性と限られたメモリ容量の制約下で、連続的な視覚入力を処理し、ユーザーのクエリに応答することが求められる。既存の手法は通常、過去の観測を外部メモリバンクに圧縮して保存し、クエリに関連する証拠を追加の視覚的文脈として取得する。この保存・取得パラダイムは効果的ではあるものの、履歴の証拠を外部の視覚的文脈として維持するため、それを、ストリーミング推論を継続的に導くことができるコンパクトで進化する潜在記憶へと内面化することを妨げている。このギャップを埋めるために、我々はLatentStreamを導入する。これは、ストリーミングメモリを「保存・取得」から「取得・内面化」へと転換する、漸進的潜在作業記憶フレームワークである。具体的には、LatentStreamは3つの連携した構成要素から成る。まず、クエリ非依存の階層的ストリーミングメモリ（Query-agnostic Hierarchical Streaming Memory）は、Jenksガイドによる適応的統合を通じて、固定メモリ予算の下で視覚履歴を短期・中期・長期のレベルに整理する。クエリが到着すると、階層的潜在記憶進化（Hierarchical Latent Memory Evolution）は、潜在記憶トークンのグループに漸進的に拡大する記憶受容野を装備させ、それらが対応するスコープから履歴証拠を反復的に取得し、それをコンパクトで固定長の潜在記憶へと内面化できるようにする。最後に、漸進的信頼度ガイド型潜在記憶最適化（Progressive Confidence-guided Latent Memory Optimization）は、グループ単位の予測エントロピーから階層的進行報酬を構築し、潜在記憶トークンと取得された証拠を共同で洗練することで、ますます確信度の高いストリーミング推論を促進する。広範な実験により、LatentStreamは既存のオンラインおよびオフラインのビデオベンチマークにおいて新たな最先端結果を達成することを示す。

English

Streaming video understanding requires multimodal large language models (MLLMs) to process continuous visual inputs and respond to user queries under strict causality and bounded memory. Existing approaches typically compress historical observations into an external memory bank and retrieve query-relevant evidence as additional visual context. Though effective, this store-and-retrieve paradigm keeps historical evidence as external visual context, preventing it from being internalized into a compact, evolving latent memory that can continuously guide streaming reasoning. To bridge this gap, we introduce LatentStream, a progressive latent working memory framework that shifts streaming memory from store-and-retrieve to retrieve-and-internalize. Specifically, LatentStream comprises three coordinated components. First, Query-agnostic Hierarchical Streaming Memory organizes visual history into short-, mid-, and long-term levels under a fixed memory budget through Jenks-guided adaptive consolidation. Once a query arrives, Hierarchical Latent Memory Evolution equips groups of latent memory tokens with progressively expanding memory receptive fields, enabling them to iteratively retrieve historical evidence from their corresponding scopes and internalize it into a compact, fixed-length latent memory. Finally, Progressive Confidence-guided Latent Memory Optimization constructs a hierarchical progression reward from group-wise predictive entropy and jointly refines the latent memory tokens and retrieved evidence, encouraging increasingly confident streaming reasoning. Extensive experiments demonstrate that LatentStream achieves new state-of-the-art results on existing online and offline video benchmarks.