Смешение контекстов для генерации длинных видео

Mixture of Contexts for Long Video Generation

August 28, 2025

Авторы: Shengqu Cai, Ceyuan Yang, Lvmin Zhang, Yuwei Guo, Junfei Xiao, Ziyan Yang, Yinghao Xu, Zhenheng Yang, Alan Yuille, Leonidas Guibas, Maneesh Agrawala, Lu Jiang, Gordon Wetzstein

cs.AI

Аннотация

Генерация длинных видео по своей сути является проблемой долговременной памяти: модели должны сохранять и извлекать ключевые события на протяжении длительного времени без коллапса или дрейфа. Однако масштабирование диффузионных трансформеров для генерации видео с длинным контекстом фундаментально ограничено квадратичной стоимостью self-attention, что делает память и вычисления неразрешимыми и сложными для оптимизации в случае длинных последовательностей. Мы переосмысливаем генерацию видео с длинным контекстом как задачу внутреннего поиска информации и предлагаем простой, обучаемый модуль разреженного маршрутизированного внимания, Mixture of Contexts (MoC), в качестве эффективного механизма долговременного извлечения памяти. В MoC каждый запрос динамически выбирает несколько информативных фрагментов вместе с обязательными якорями (описания, локальные окна) для внимания, используя причинную маршрутизацию, которая предотвращает замыкание циклов. По мере масштабирования данных и постепенного разрежения маршрутизации модель распределяет вычисления на важные моменты истории, сохраняя идентичности, действия и сцены на протяжении минут контента. Эффективность становится побочным продуктом извлечения (почти линейное масштабирование), что делает возможным практическое обучение и синтез, а также появление памяти и согласованности на уровне минут.

English

Long video generation is fundamentally a long context memory problem: models must retain and retrieve salient events across a long range without collapsing or drifting. However, scaling diffusion transformers to generate long-context videos is fundamentally limited by the quadratic cost of self-attention, which makes memory and computation intractable and difficult to optimize for long sequences. We recast long-context video generation as an internal information retrieval task and propose a simple, learnable sparse attention routing module, Mixture of Contexts (MoC), as an effective long-term memory retrieval engine. In MoC, each query dynamically selects a few informative chunks plus mandatory anchors (caption, local windows) to attend to, with causal routing that prevents loop closures. As we scale the data and gradually sparsify the routing, the model allocates compute to salient history, preserving identities, actions, and scenes over minutes of content. Efficiency follows as a byproduct of retrieval (near-linear scaling), which enables practical training and synthesis, and the emergence of memory and consistency at the scale of minutes.