검색을 넘어서: 스트리밍 비디오 이해를 위한 점진적 잠재 메모리 진화

초록

스트리밍 비디오 이해는 다중모달 대규모 언어 모델(MLLM)이 엄격한 인과성과 제한된 메모리 하에서 연속적인 시각 입력을 처리하고 사용자 질의에 응답할 것을 요구한다. 기존 접근법은 일반적으로 과거 관측치를 외부 메모리 뱅크로 압축하고 질의 관련 증거를 추가적인 시각적 맥락으로 검색한다. 효과적이기는 하지만, 이러한 저장-검색 패러다임은 과거 증거를 외부 시각적 맥락으로 유지함으로써, 이를 스트리밍 추론을 지속적으로 안내할 수 있는 간결하고 진화하는 잠재 메모리로 내면화하는 것을 방해한다. 이러한 격차를 해소하기 위해, 우리는 스트리밍 메모리를 저장-검색에서 검색-내면화로 전환하는 점진적 잠재 작업 메모리 프레임워크인 LatentStream을 소개한다. 구체적으로, LatentStream은 세 가지 상호 조정된 구성 요소로 이루어진다. 첫째, 쿼리 비의존적 계층적 스트리밍 메모리(Query-agnostic Hierarchical Streaming Memory)는 Jenks 기반 적응형 통합을 통해 고정 메모리 예산 하에서 시각적 이력을 단기, 중기, 장기 수준으로 구성한다. 질의가 도착하면, 계층적 잠재 메모리 진화(Hierarchical Latent Memory Evolution)는 잠재 메모리 토큰 그룹에 점진적으로 확장되는 메모리 수용 필드를 부여하여, 해당 범위에서 과거 증거를 반복적으로 검색하고 이를 간결하고 고정 길이의 잠재 메모리로 내면화할 수 있게 한다. 마지막으로, 점진적 신뢰도 기반 잠재 메모리 최적화(Progressive Confidence-guided Latent Memory Optimization)는 그룹별 예측 엔트로피로부터 계층적 진행 보상을 구축하고 잠재 메모리 토큰과 검색된 증거를 공동으로 정제함으로써 점점 더 자신 있는 스트리밍 추론을 장려한다. 광범위한 실험을 통해 LatentStream이 기존 온라인 및 오프라인 비디오 벤치마크에서 새로운 최첨단 결과를 달성함을 입증한다.

English

Streaming video understanding requires multimodal large language models (MLLMs) to process continuous visual inputs and respond to user queries under strict causality and bounded memory. Existing approaches typically compress historical observations into an external memory bank and retrieve query-relevant evidence as additional visual context. Though effective, this store-and-retrieve paradigm keeps historical evidence as external visual context, preventing it from being internalized into a compact, evolving latent memory that can continuously guide streaming reasoning. To bridge this gap, we introduce LatentStream, a progressive latent working memory framework that shifts streaming memory from store-and-retrieve to retrieve-and-internalize. Specifically, LatentStream comprises three coordinated components. First, Query-agnostic Hierarchical Streaming Memory organizes visual history into short-, mid-, and long-term levels under a fixed memory budget through Jenks-guided adaptive consolidation. Once a query arrives, Hierarchical Latent Memory Evolution equips groups of latent memory tokens with progressively expanding memory receptive fields, enabling them to iteratively retrieve historical evidence from their corresponding scopes and internalize it into a compact, fixed-length latent memory. Finally, Progressive Confidence-guided Latent Memory Optimization constructs a hierarchical progression reward from group-wise predictive entropy and jointly refines the latent memory tokens and retrieved evidence, encouraging increasingly confident streaming reasoning. Extensive experiments demonstrate that LatentStream achieves new state-of-the-art results on existing online and offline video benchmarks.