LayerRecall: ビデオ生成における長期一貫性のための状態条件付きメモリルーター

要旨

自己回帰ビデオ拡散は、制限された最近のコンテキストからチャンクを生成することで、スケーラブルな長尺動画生成を可能にする。最近性ベースのキャッシングは局所的な連続性を維持する一方で、被写体、物体、シーン、または属性が再出現する際に必要となる歴史的手がかりを退避させる。既存のメモリ機構はモデルを非局所的な履歴にさらすが、アクセスだけでは効果的な利用は保証されない。我々の分析により、ビデオDiT層は現在、最近、遠いコンテキストに対して異なる選好を示すことが明らかになり、長距離メモリには何を検索するかとどこで使用するかの両方を決定する必要があることが示唆される。我々はLayerRecallを提案する。これは現在条件付きの層選択型メモリルーターであり、関連する履歴K/V状態を取得し、それらをバックボーン固有のメモリ感応層にのみ注入し、他の場所では局所的な注意を維持する。希少な高品質な長期間ビデオや明示的なメモリ割り当てラベルへの依存を減らすため、我々はさらにクロスホライズン予測マッチング（CHPM）を提案する。これは特権的な長文脈参照を用いて、予測空間で制限付きメモリルーターを監督する。100のマルチショット評価プロンプトにわたって、LayerRecallはMemoBenchとMovieBenchで総合最高の結果を達成し、VBench-Longではバックボーンに一致し、局所的な連続性を犠牲にすることなく、より強力な長距離回復を示す。定性的分析はさらにメモリ誘導の自己修正を明らかにする。これにより、最初に不一致だった局所属性が、進行中のモーションやシーン構造をリセットすることなく、歴史的な外観に戻る。追加の分析は、クロスバックボーン移植性と無視できる推論オーバーヘッドを示す。

English

Autoregressive video diffusion enables scalable long-video generation by producing chunks from a bounded recent context. While recency-based caching preserves local continuity, it evicts historical cues needed when subjects, objects, scenes, or attributes reappear. Existing memory mechanisms expose models to nonlocal history, but access alone does not ensure effective use. Our analysis reveals that video DiT layers exhibit distinct preferences for current, recent, and distant context, suggesting that long-range memory requires deciding both what to retrieve and where to use it. We introduce LayerRecall, a current-conditioned, layer-selective memory router that retrieves relevant historical K/V states and injects them only into backbone-specific memory-sensitive layers while preserving local attention elsewhere. To reduce reliance on scarce high-quality long-horizon videos and explicit memory-allocation labels, we further propose Cross-Horizon Prediction Matching (CHPM), which uses a privileged long-context reference to supervise the bounded-memory router in prediction space. Across 100 multi-shot evaluation prompts, LayerRecall achieves the best overall results on MemoBench and MovieBench while matching its backbone on VBench-Long, demonstrating stronger long-range recovery without sacrificing local continuity. Qualitative analyses further reveal memory-guided self-correction, whereby initially mismatched local attributes return to their historical appearance without resetting ongoing motion or scene structure. Additional analyses show cross-backbone portability and negligible inference overhead.