Lumos-1: Sobre a Geração Autoregressiva de Vídeos a partir de uma Perspectiva de Modelo Unificado

Resumo

Modelos de linguagem autoregressivos de grande escala (LLMs) unificaram uma ampla gama de tarefas de linguagem, inspirando esforços preliminares na geração autoregressiva de vídeos. Os geradores de vídeo autoregressivos existentes ou divergem das arquiteturas padrão de LLMs, dependem de codificadores de texto externos volumosos, ou incorrem em latência proibitiva devido à decodificação do próximo token. Neste artigo, apresentamos o Lumos-1, um gerador de vídeo autoregressivo que mantém a arquitetura LLM com modificações arquitetônicas mínimas. Para injetar correlações espaço-temporais em LLMs, identificamos a eficácia de incorporar o 3D RoPE e diagnosticamos seus intervalos de espectro de frequência desequilibrados. Portanto, propomos o MM-RoPE, um esquema RoPE que preserva o RoPE textual original enquanto fornece espectros de frequência abrangentes e posições 3D escalonadas para modelar dados espaço-temporais multimodais. Além disso, o Lumos-1 recorre a uma estratégia de dependência de tokens que obedece à bidirecionalidade intra-quadro e à causalidade temporal inter-quadro. Com base nessa estratégia de dependência, identificamos o problema de desequilíbrio de perda por quadro causado pela redundância de informação espacial e o resolvemos propondo o Autoregressive Discrete Diffusion Forcing (AR-DF). O AR-DF introduz o mascaramento de tubo temporal durante o treinamento com uma política de mascaramento compatível no tempo de inferência para evitar a degradação de qualidade. Ao utilizar técnicas de treinamento eficientes em memória, pré-treinamos o Lumos-1 em apenas 48 GPUs, alcançando desempenho comparável ao EMU3 no GenEval, ao COSMOS-Video2World no VBench-I2V e ao OpenSoraPlan no VBench-T2V. O código e os modelos estão disponíveis em https://github.com/alibaba-damo-academy/Lumos.

English

Autoregressive large language models (LLMs) have unified a vast range of language tasks, inspiring preliminary efforts in autoregressive video generation. Existing autoregressive video generators either diverge from standard LLM architectures, depend on bulky external text encoders, or incur prohibitive latency due to next-token decoding. In this paper, we introduce Lumos-1, an autoregressive video generator that retains the LLM architecture with minimal architectural modifications. To inject spatiotemporal correlations in LLMs, we identify the efficacy of incorporating 3D RoPE and diagnose its imbalanced frequency spectrum ranges. Therefore, we propose MM-RoPE, a RoPE scheme that preserves the original textual RoPE while providing comprehensive frequency spectra and scaled 3D positions for modeling multimodal spatiotemporal data. Moreover, Lumos-1 resorts to a token dependency strategy that obeys intra-frame bidirectionality and inter-frame temporal causality. Based on this dependency strategy, we identify the issue of frame-wise loss imbalance caused by spatial information redundancy and solve it by proposing Autoregressive Discrete Diffusion Forcing (AR-DF). AR-DF introduces temporal tube masking during training with a compatible inference-time masking policy to avoid quality degradation. By using memory-efficient training techniques, we pre-train Lumos-1 on only 48 GPUs, achieving performance comparable to EMU3 on GenEval, COSMOS-Video2World on VBench-I2V, and OpenSoraPlan on VBench-T2V. Code and models are available at https://github.com/alibaba-damo-academy/Lumos.

Lumos-1: Sobre a Geração Autoregressiva de Vídeos a partir de uma Perspectiva de Modelo Unificado

Lumos-1: On Autoregressive Video Generation from a Unified Model Perspective

Resumo

Support