GROVE: 스트리밍 비디오 경험으로부터 시간적 계층화된 메모리의 성장과 추론

초록

웨어러블 어시스턴트는 자신의 시각적 이력에 관한 질문에 답할 수 있어야 할 뿐만 아니라, 그 이력이 현재 상황에 유용한 시점을 인식할 수 있어야 한다. 기존의 비디오 메모리 시스템은 주로 질문 조건부 회상을 지원하는 반면, 능동적 어시스턴트는 일반적으로 별도의 메모리 및 제어 메커니즘을 사용한다. 우리는 연속 비디오 스트림에서 인과적으로 성장하는 하나의 메모리로 두 가지 동작을 모두 지원하는 훈련 없는 프레임워크인 GROVE를 제안한다. GROVE는 세밀한 지각 증거를 유지하고 이를 점진적으로 통합하여 타임스탬프가 있는 순간들, 일관된 에피소드, 그리고 반복되는 일자 간 패턴으로 구축한다. 각 계층은 관찰의 위치를 파악하거나, 활동을 재생하거나, 장기적 규칙성을 탐색하는 데 적합한 규모 고유의 검색 기술과 짝을 이룬다. 반응형 QA와 능동적 지원은 이 메모리와 접근 인터페이스를 공유하며, 검색이 사용자 질문에 의해 시작되는지 현재 상황에 의해 시작되는지에서 차이가 있다. 까다로운 MM-lifelong 및 EgoServe를 포함한 여러 벤치마크에서 GROVE는 비교된 방법들 중 최상의 결과를 달성한다. 통제된 절제 실험은 시간적 계층과 그 접근 기술이 상호 보완적임을 보여주며, 증거가 여러 날에 걸쳐 있을 때 패턴이 가장 큰 이점을 제공한다. 코드는 https://github.com/SitongGong/GROVE에서 제공될 예정이다.

English

A wearable assistant should both answer questions about its visual history and recognize when that history is useful to the present situation. Existing video-memory systems primarily support question-conditioned recall, whereas proactive assistants typically use separate memory and control mechanisms. We introduce GROVE, a training-free framework that supports both behaviors with one memory grown causally from a continuous video stream. GROVE retains fine-grained perceptual evidence and incrementally consolidates it into time-stamped moments, coherent episodes, and recurring cross-day patterns. Each stratum is paired with a scale-native retrieval skill for locating an observation, replaying an activity, or traversing long-range regularities. Reactive QA and proactive assistance share this memory and access interface, differing in whether retrieval is initiated by a user query or the current situation. Across multiple benchmarks including the challenging MM-lifelong and EgoServe, GROVE achieves the best results among the compared methods. Controlled ablations show that the temporal strata and their access skills are complementary, with patterns providing the largest benefit when evidence spans multiple days. Code will be available at https://github.com/SitongGong/GROVE.