Ring Forcing: 自己回帰ビデオ拡散のための正確な長期記憶に向けて

要旨

ビデオ生成を長時間へとスケーリングすると、重大なボトルネックが顕在化する：現在のモデルには堅牢な長期記憶が欠けている。この欠陥は、二つの重要な側面に沿って研究できる。物体の永続性（再出現時に物体の外観を正確に再現する能力）、および記憶容量（超長文脈を処理し、遠い履歴からの情報を利用する能力）である。堅牢な長期記憶には、この両方が必要である。十分な文脈処理を伴わない物体の永続性は時間的範囲を制限し、永続性を伴わない長い文脈長は同一性を維持できない。この問題に対処するため、我々はリングフォーシングを提案する。これは、長期記憶を堅牢に構築し、正確に活用するように設計された自己回帰ビデオ拡散フレームワークである。我々のリング構造の学習戦略は、遠い履歴からの検索を強制し、厳密な履歴追従と生成的多様性の間のトレードオフを効果的に両立させる。記憶容量を拡張するために、我々は圧縮とタイムステップ合成の戦略を導入する。固定されたシーケンス長の制約の下で、この方法は有効な履歴スパンを数分間の長さに拡張し、履歴全体にわたる包括的な受容野を達成する。さらに、我々はスパースRoPE機構を提案し、事前学習済みの事前分布を完全に活用しながら、柔軟でスケーラブルな記憶適応を可能にする。広範な実験により、リングフォーシングが優れた数分単位の一貫性と物体の永続性を達成し、最先端の手法を大幅に上回ることが実証された。

English

Scaling video generation to long durations reveals a critical bottleneck: current models lack robust long-term memory. This deficiency can be studied along two critical aspects: object permanence, the ability to precisely reproduce the appearance of objects upon re-entry; and memory capacity, the ability to process ultra-long context and use information from distant history. Robust long-term memory requires both: object permanence without sufficient context handling limits the temporal scope, while long context length without permanence fails to maintain identity. To address this, we present Ring Forcing, an autoregressive video diffusion framework designed to robustly construct and precisely utilize long-term memory. Our ring-structured training strategy enforces retrieval from distant history, effectively reconciling the trade-off between strict historical adherence and generative diversity. To expand memory capacity, we introduce a compression and timestep composition strategy. Under fixed sequence length constraints, this method extends the effective historical span to minutes-long durations and achieves a comprehensive receptive field over the entire history. Furthermore, we present a sparse RoPE mechanism to enable flexible, scalable memory adaptation while fully exploiting pre-trained priors. Extensive experiments demonstrate that Ring Forcing achieves superior minutes-long coherence and object permanence, significantly outperforming state-of-the-art methods.