RECAP-Forcing: 長時間動画生成のためのコンテンツ外観の保持

要旨

長い自己回帰動画生成は根本的なメモリ課題に直面する：有限のアテンションウィンドウでは、モデルは拡大し続ける履歴からどの情報を保持するかを決定しなければならない。既存手法はメモリを時間的に整理し、最近のフレームを保持する一方、古いフレームを圧縮または破棄する。これに対し我々は、メモリを外観の新規性によって整理するRECAP-Forcingを提案する。長い動画は単なるフレームの列ではなく、時間を通じて同一性を保たなければならない主体・物体・シーンの進化するキャストである。我々は、新たに出現する内容（進入する主体、非遮蔽領域、新たに導入されるシーンなど）が最初に可視になった瞬間に、それに関連するKVキャッシュを保持することでメモリを整理し、新規性を新しさ（最近性）よりも優先する。メモリは動画の長さではなく、新たに導入される内容の量に応じて拡張されるべきである。この外観インデックス型メモリにより、長期的な一貫性がメモリ構造の明示的な性質となる。我々のフレームワークは、この単一の原理の下で二つのメカニズムを統合する。動画の開始時、可視内容がすべて新規である場合、アテンションシンクが初期シーンを保持する。動画が進むにつれて、オプティカルフローに基づく新規性バンクが、新たに明らかになった内容を選択的に保持することで同じ原理を拡張する。追加の学習可能パラメータを持たない学習不要の推論手法として、RECAP-Forcingは複数の強力なベースラインにわたり画質と意味的忠実性を一貫して改善し、既存のメモリ手法を上回る。

English

Long autoregressive video generation faces a fundamental memory challenge: with a finite attention window, a model must decide which information from an ever-expanding history to retain. Existing methods organize memory temporally, preserving recent frames while compressing or discarding older ones. We instead propose RECAP-Forcing, organizing memory by appearance novelty. A long video is not merely a sequence of frames, but an evolving cast of subjects, objects, and scenes whose identities must remain consistent over time. We organize memory by retaining the KV cache associated with newly appearing content--such as entering subjects, disoccluded regions, and newly introduced scenes--at the moment it first becomes visible, prioritizing novelty over recency. Memory should scale with the amount of newly introduced content, rather than with video length. This appearance-indexed memory makes long-range consistency an explicit property of the memory structure. Our framework unifies two mechanisms under this single principle. At the beginning of a video, when all visible content is novel, an attention sink preserves the initial scene. As the video evolves, an optical-flow-based novelty bank extends the same principle by selectively retaining newly revealed content. As a training-free inference method with no additional learnable parameters, RECAP-Forcing consistently improves visual quality and semantic fidelity across multiple strong baselines and outperforms existing memory methods.