GROVE：ストリーミングビデオ経験からの時間的階層化記憶の成長と推論

要旨

ウェアラブルアシスタントは、その視覚履歴に関する質問に答えるだけでなく、その履歴が現在の状況に役立つことを認識できなければならない。既存のビデオメモリシステムは主に質問条件付き想起をサポートする一方、プロアクティブアシスタントは通常、メモリと制御機構を別個に用いる。我々は、連続ビデオストリームから因果的に成長する単一のメモリを用いて、両方の動作をサポートする学習不要のフレームワークGROVEを導入する。GROVEは詳細な知覚的証拠を保持し、それをタイムスタンプ付きのモーメント、一貫したエピソード、繰り返し発生する複数日にわたるパターンへと段階的に統合する。各階層には、観察の発見、活動の再生、長期的な規則性の走査のための、スケール固有の検索スキルが対応付けられている。反応的QAとプロアクティブ支援は、このメモリとアクセスインターフェースを共有し、検索がユーザークエリによって開始されるか、現在の状況によって開始されるかのみが異なる。MM-lifelongやEgoServeなどの複数のベンチマークにおいて、GROVEは比較手法の中で最良の結果を達成する。制御されたアブレーション実験により、時間的階層とそのアクセススキルは補完的であり、エビデンスが複数日にわたる場合にパターンが最も大きな利点をもたらすことが示される。コードは https://github.com/SitongGong/GROVE で公開予定である。

English

A wearable assistant should both answer questions about its visual history and recognize when that history is useful to the present situation. Existing video-memory systems primarily support question-conditioned recall, whereas proactive assistants typically use separate memory and control mechanisms. We introduce GROVE, a training-free framework that supports both behaviors with one memory grown causally from a continuous video stream. GROVE retains fine-grained perceptual evidence and incrementally consolidates it into time-stamped moments, coherent episodes, and recurring cross-day patterns. Each stratum is paired with a scale-native retrieval skill for locating an observation, replaying an activity, or traversing long-range regularities. Reactive QA and proactive assistance share this memory and access interface, differing in whether retrieval is initiated by a user query or the current situation. Across multiple benchmarks including the challenging MM-lifelong and EgoServe, GROVE achieves the best results among the compared methods. Controlled ablations show that the temporal strata and their access skills are complementary, with patterns providing the largest benefit when evidence spans multiple days. Code will be available at https://github.com/SitongGong/GROVE.