Lumos-1: О генерации видео с использованием авторегрессивной модели с единой архитектурой

Аннотация

Авторегрессионные большие языковые модели (LLMs) объединили широкий спектр языковых задач, вдохновив первые попытки в области авторегрессионной генерации видео. Существующие авторегрессионные генераторы видео либо отклоняются от стандартных архитектур LLM, зависят от громоздких внешних текстовых кодировщиков, либо сталкиваются с неприемлемой задержкой из-за декодирования следующего токена. В данной работе мы представляем Lumos-1, авторегрессионный генератор видео, который сохраняет архитектуру LLM с минимальными модификациями. Для внедрения пространственно-временных корреляций в LLM мы выявили эффективность использования 3D RoPE и диагностировали дисбаланс в диапазонах частотного спектра. Поэтому мы предлагаем MM-RoPE, схему RoPE, которая сохраняет оригинальный текстовый RoPE, обеспечивая при этом полный частотный спектр и масштабированные 3D позиции для моделирования мультимодальных пространственно-временных данных. Кроме того, Lumos-1 использует стратегию зависимости токенов, которая учитывает двунаправленность внутри кадра и временную причинность между кадрами. На основе этой стратегии мы выявили проблему дисбаланса потерь между кадрами, вызванную избыточностью пространственной информации, и решили её, предложив Авторегрессионное Дискретное Диффузионное Форсирование (AR-DF). AR-DF вводит временное маскирование трубок во время обучения с совместимой политикой маскирования на этапе вывода, чтобы избежать ухудшения качества. Используя методы обучения с эффективным использованием памяти, мы предварительно обучаем Lumos-1 всего на 48 GPU, достигая производительности, сопоставимой с EMU3 на GenEval, COSMOS-Video2World на VBench-I2V и OpenSoraPlan на VBench-T2V. Код и модели доступны по адресу https://github.com/alibaba-damo-academy/Lumos.

English

Autoregressive large language models (LLMs) have unified a vast range of language tasks, inspiring preliminary efforts in autoregressive video generation. Existing autoregressive video generators either diverge from standard LLM architectures, depend on bulky external text encoders, or incur prohibitive latency due to next-token decoding. In this paper, we introduce Lumos-1, an autoregressive video generator that retains the LLM architecture with minimal architectural modifications. To inject spatiotemporal correlations in LLMs, we identify the efficacy of incorporating 3D RoPE and diagnose its imbalanced frequency spectrum ranges. Therefore, we propose MM-RoPE, a RoPE scheme that preserves the original textual RoPE while providing comprehensive frequency spectra and scaled 3D positions for modeling multimodal spatiotemporal data. Moreover, Lumos-1 resorts to a token dependency strategy that obeys intra-frame bidirectionality and inter-frame temporal causality. Based on this dependency strategy, we identify the issue of frame-wise loss imbalance caused by spatial information redundancy and solve it by proposing Autoregressive Discrete Diffusion Forcing (AR-DF). AR-DF introduces temporal tube masking during training with a compatible inference-time masking policy to avoid quality degradation. By using memory-efficient training techniques, we pre-train Lumos-1 on only 48 GPUs, achieving performance comparable to EMU3 on GenEval, COSMOS-Video2World on VBench-I2V, and OpenSoraPlan on VBench-T2V. Code and models are available at https://github.com/alibaba-damo-academy/Lumos.

Lumos-1: О генерации видео с использованием авторегрессивной модели с единой архитектурой

Lumos-1: On Autoregressive Video Generation from a Unified Model Perspective

Аннотация

Support