ビデオ世界モデルのためのアドレス可能メモリ

要旨

我々は、インタラクティブなビデオワールドモデルにおける視覚的持続性を研究する。これらのモデルは、Key-Value（KV）キャッシュを増大する視覚記憶として用い、以前に生成されたフレームを前方へ伝搬する。しかし、ロールアウトが訓練ホライズンを超えて延長されると、モデルは保存されたコンテンツを確実に参照できなくなることが分かる。なぜなら、時間的なRotary Positional Embeddings（RoPE）オフセットが訓練中に観測された範囲を外れ、モデルがアテンションを通じて関連する視覚情報を検索することが困難になるからである。さらに、RoPEで回転された空間内でキャッシュを単純に圧縮すると、互換性のない位置位相が平均化され、記憶が損なわれる。この問題に対処するため、我々はWorldTraceを提案する。これは、長期的な視覚的持続性のための訓練不要のメモリフレームワークである。WorldTraceは、各サマリースロットに分布内の個別の仮想位置を割り当てることで、圧縮されたメモリを参照可能に保つ。この参照可能なキャッシュ内で、我々は2つのメモリ圧縮手法を研究する。WorldTrace-Fieldは時間的一貫性のために履歴を圧縮し、WorldTrace-Landmarkはエピソード的想起のために、検出された遷移箇所に逐語的なシーントレースを保存する。さらに、圧縮キャッシュが長い迂回の後に以前訪れたシーンを再構成できるかを評価するベンチマークであるLoopBenchを導入する。LoopBenchにおいて、WorldTrace-Fieldは時間的一貫性を+15.5%向上させ、WorldTrace-Landmarkはエピソード的想起を+19.5%向上させ、再学習なしで視覚的に持続的な生成を拡張する。

English

We study visual persistence in interactive video world models. These models rely on a Key-Value (KV) cache as a growing visual memory to carry forward previously generated frames. However, we find that models can no longer reliably address stored content once rollouts extend beyond the training horizon, because temporal Rotary Positional Embeddings (RoPE) offsets then fall outside the range seen during training and the model struggles to retrieve the relevant visual information through attention. Moreover, naively compressing the cache in the RoPE-rotated space corrupts memory by averaging together incompatible positional phases. To address this, we propose WorldTrace, a training-free memory framework for long-horizon visual persistence. WorldTrace keeps compressed memory addressable by assigning each summary slot a distinct, in-distribution virtual position. Within this addressable cache, we study two memory compression approaches: WorldTrace-Field compresses history for temporal coherence, while WorldTrace-Landmark stores verbatim scene traces at detected transitions for episodic recall. We further introduce LoopBench, a benchmark evaluating whether a compressed cache can reconstruct a previously visited scene after a long detour. WorldTrace-Field improves temporal consistency by +15.5%, and WorldTrace-Landmark improves episodic recall by +19.5% on LoopBench, extending visually persistent generation without retraining.