ReflectWorld-MM: オープンエンドなビデオストリームのためのエンティティ指向マルチモーダルメモリシステム

要旨

世界を継続的に観察し、見たものを記憶し、蓄積された経験に基づいて推論できるアシスタントの構築は長年の目標であり、近年ではビデオストリームに対する長期記憶を備えたマルチモーダルエージェントへの関心が高まっている。残念ながら、既存のシステムはメモリをモデルのコンテキスト内かフラットな特徴ストアに保持し、ストリームが本来対象とする永続的なエンティティではなくフレーム単位で整理されているため、限られたビデオに制約され、時間を超えて誰が何が再出現するかを追跡する能力が弱まっている。本稿では、オープンエンドなビデオストリームのためのエンティティ指向マルチモーダルメモリシステム、ReflectWorld-MMを提案する。本システムは三つの要素から構成される。第一に、視聴覚ストリームをエンティティ単位で解決された観測に変換する知覚フロントエンドであり、有界な短期記憶のもとで動作する。第二に、人間の記憶理論に基づく階層的長期記憶であり、マルチスケールのエピソード記憶、進化的なエンティティ中心の意味記憶、および手続き記憶を結合する。第三に、実世界での運用向けに構築された完全な実装であり、任意のストリームを取り込み、既存のアシスタントにプラグイン可能である。六つの長尺ビデオおよび生涯記憶ベンチマークにおいて、ReflectWorld-MMは全てのベンチマークで最高精度を達成し、強力なメモリエージェントやフロンティアモデルを凌駕した。

English

Building assistants that can continually watch the world, remember what they see, and reason over their accumulated experience is a long-standing goal, and recently multimodal agents equipped with long-term memory over video streams have attracted increasing interest. Unfortunately, existing systems either keep their memory inside the model context or in a flat feature store, and organize it around frames rather than around the persistent entities a stream is really about, which confines them to bounded videos and weakens their ability to track who and what reappears over time. In this paper, we propose ReflectWorld-MM, an entity-oriented multimodal memory system for open-ended video streams. It consists of three parts. The first is a perception front-end that turns an audiovisual stream into entity-resolved observations under a bounded short-term memory. The second is a hierarchical long-term memory, grounded in human memory theory, that couples a multi-scale episodic memory, an evolving entity-centric semantic memory, and a procedural memory. The third is a complete realization, built for real-world operation, that ingests arbitrary streams and plugs into off-the-shelf assistants. Across six long-video and lifelong-memory benchmarks, ReflectWorld-MM achieves the best accuracy on all six, outperforming strong memory agents and a frontier model.