DecMem: Rumo à Geração Consistente de Mundo com Duração de Um Minuto com Memória Desacoplada

Resumo

Avanços recentes em modelos generativos de vídeo impulsionaram progressos rápidos em modelos de mundo controláveis. No entanto, manter consistência espaço-temporal detalhada sob raciocínio de horizonte longo continua sendo um desafio fundamental. Neste trabalho, superamos a memória explícita 3D e a modelagem implícita grosseira em nível de quadro, propondo uma memória de granularidade fina, aprendível e escalável para geração consistente de mundos. Primeiramente, identificamos duas limitações fundamentais de arquiteturas ingênuas de memória aprendível em extrapolação de horizonte longo: ineficiência computacional e dispersão de atenção. Por meio de uma análise sistemática da dispersão de atenção, propomos DecMem, uma arquitetura de memória desacoplada que emprega Memória Global Dispersa para acesso eficiente e detalhado ao histórico global e Memória Local Ancorada para extrapolação estável e de alta qualidade. Experimentos extensivos demonstram que DecMem supera significativamente os métodos atuais do estado da arte. Ao garantir memória de longo prazo precisa e eficiente e obter capacidades de extrapolação superiores, DecMem possibilita a geração controlável de vídeos longos de alta fidelidade e consistência em nível de minutos.

English

Recent advances in video generative models have promoted rapid progress in controllable world models. However, maintaining fine-grained spatio-temporal consistency under long-horizon reasoning remains a key challenge. In this work, we move beyond explicit 3D memory and coarse frame-level implicit modeling, and propose a fine-grained, learnable, and scalable memory for consistent world generation. We first identify two fundamental limitations of naïve learnable memory architectures in long-horizon extrapolation, namely computational inefficiency and attention dispersion. Through a systematic analysis of attention dispersion, we propose DecMem, a decoupled memory architecture that employs Sparse Global Memory for efficient fine-grained access to global history and Anchored Local Memory for stable and high-quality extrapolation. Extensive experiments demonstrate that DecMem significantly outperforms current state-of-the-art methods. By ensuring precise and efficient long-term memory and achieving superior extrapolation capabilities, DecMem enables minute-level controllable long video generation with high fidelity and consistency.