Ring Forcing: 자기회귀 비디오 확산을 위한 정밀한 장기 기억

초록

비디오 생성을 장시간으로 확장하면 중요한 병목 현상이 드러난다. 현재 모델은 강건한 장기 메모리를 갖추지 못한다. 이러한 결함은 두 가지 핵심 측면에서 분석할 수 있다: 객체가 다시 등장할 때 그 외형을 정확히 재현하는 능력인 객체 영속성(object permanence), 그리고 초장기 컨텍스트를 처리하고 먼 과거의 정보를 활용하는 능력인 메모리 용량(memory capacity)이다. 강건한 장기 메모리에는 이 두 가지가 모두 필요하다. 충분한 컨텍스트 처리가 뒷받침되지 않는 객체 영속성은 시간적 범위를 제한하고, 영속성이 없는 긴 컨텍스트 길이는 객체의 정체성을 유지하지 못한다. 이를 해결하기 위해 우리는 장기 메모리를 강건하게 구축하고 정확하게 활용하도록 설계된 자기회귀 비디오 확산 프레임워크인 Ring Forcing을 제안한다. 우리의 링 구조 학습 전략은 먼 과거로부터의 검색을 강제하여 엄격한 과거 정합성과 생성 다양성 사이의 상충 관계를 효과적으로 균형 맞춘다. 메모리 용량을 확장하기 위해 압축 및 타임스텝 조합 전략을 도입한다. 이 방법은 고정된 시퀀스 길이 제약 하에서 유효 역사 범위를 수 분 길이로 확장하며, 전체 역사에 걸친 포괄적인 수용 영역을 달성한다. 또한 사전 학습된 프라이어를 충분히 활용하면서 유연하고 확장 가능한 메모리 적응을 가능하게 하는 희소 RoPE 메커니즘을 제시한다. 광범위한 실험을 통해 Ring Forcing이 수 분 단위의 일관성과 객체 영속성에서 탁월한 성능을 보이며 최신 기법들을 크게 능가함을 입증한다.

English

Scaling video generation to long durations reveals a critical bottleneck: current models lack robust long-term memory. This deficiency can be studied along two critical aspects: object permanence, the ability to precisely reproduce the appearance of objects upon re-entry; and memory capacity, the ability to process ultra-long context and use information from distant history. Robust long-term memory requires both: object permanence without sufficient context handling limits the temporal scope, while long context length without permanence fails to maintain identity. To address this, we present Ring Forcing, an autoregressive video diffusion framework designed to robustly construct and precisely utilize long-term memory. Our ring-structured training strategy enforces retrieval from distant history, effectively reconciling the trade-off between strict historical adherence and generative diversity. To expand memory capacity, we introduce a compression and timestep composition strategy. Under fixed sequence length constraints, this method extends the effective historical span to minutes-long durations and achieves a comprehensive receptive field over the entire history. Furthermore, we present a sparse RoPE mechanism to enable flexible, scalable memory adaptation while fully exploiting pre-trained priors. Extensive experiments demonstrate that Ring Forcing achieves superior minutes-long coherence and object permanence, significantly outperforming state-of-the-art methods.