DecMem: К минутной генерации последовательного мира с разделенной памятью

Аннотация

Последние достижения в области видеогенеративных моделей способствовали быстрому прогрессу в разработке управляемых моделей мира. Однако поддержание мелкозернистой пространственно-временной согласованности при рассуждениях на длительных горизонтах остаётся ключевой проблемой. В данной работе мы выходим за рамки явной 3D-памяти и грубого покадрового неявного моделирования, предлагая мелкозернистую, обучаемую и масштабируемую память для согласованной генерации миров. Сначала мы выявляем два фундаментальных ограничения наивных архитектур обучаемой памяти при экстраполяции на длительные горизонты, а именно вычислительную неэффективность и дисперсию внимания. На основе систематического анализа дисперсии внимания мы предлагаем DecMem — развязанную архитектуру памяти, которая использует разреженную глобальную память для эффективного мелкозернистого доступа к глобальной истории и закреплённую локальную память для стабильной и высококачественной экстраполяции. Обширные эксперименты показывают, что DecMem значительно превосходит современные методы. Обеспечивая точную и эффективную долговременную память, а также выдающиеся способности к экстраполяции, DecMem позволяет осуществлять управляемую генерацию длинных видео с точностью до минуты, сохраняя высокую точность и согласованность.

English

Recent advances in video generative models have promoted rapid progress in controllable world models. However, maintaining fine-grained spatio-temporal consistency under long-horizon reasoning remains a key challenge. In this work, we move beyond explicit 3D memory and coarse frame-level implicit modeling, and propose a fine-grained, learnable, and scalable memory for consistent world generation. We first identify two fundamental limitations of naïve learnable memory architectures in long-horizon extrapolation, namely computational inefficiency and attention dispersion. Through a systematic analysis of attention dispersion, we propose DecMem, a decoupled memory architecture that employs Sparse Global Memory for efficient fine-grained access to global history and Anchored Local Memory for stable and high-quality extrapolation. Extensive experiments demonstrate that DecMem significantly outperforms current state-of-the-art methods. By ensuring precise and efficient long-term memory and achieving superior extrapolation capabilities, DecMem enables minute-level controllable long video generation with high fidelity and consistency.