Lumos-1: Sobre la generación autoregresiva de vídeo desde una perspectiva de modelo unificado

Resumen

Los modelos de lenguaje autoregresivos de gran escala (LLMs, por sus siglas en inglés) han unificado una amplia gama de tareas de lenguaje, inspirando esfuerzos preliminares en la generación autoregresiva de videos. Los generadores de video autoregresivos existentes o bien se desvían de las arquitecturas estándar de LLMs, dependen de codificadores de texto externos voluminosos, o incurren en una latencia prohibitiva debido a la decodificación de tokens siguientes. En este artículo, presentamos Lumos-1, un generador de video autoregresivo que conserva la arquitectura de los LLMs con modificaciones arquitectónicas mínimas. Para inyectar correlaciones espacio-temporales en los LLMs, identificamos la eficacia de incorporar 3D RoPE y diagnosticamos sus rangos desequilibrados del espectro de frecuencias. Por lo tanto, proponemos MM-RoPE, un esquema de RoPE que preserva el RoPE textual original mientras proporciona espectros de frecuencias completos y posiciones 3D escaladas para modelar datos espacio-temporales multimodales. Además, Lumos-1 recurre a una estrategia de dependencia de tokens que obedece a la bidireccionalidad intra-cuadro y a la causalidad temporal inter-cuadro. Basándonos en esta estrategia de dependencia, identificamos el problema del desequilibrio de pérdida por cuadro causado por la redundancia de información espacial y lo resolvemos proponiendo Autoregressive Discrete Diffusion Forcing (AR-DF). AR-DF introduce enmascaramiento de tubos temporales durante el entrenamiento con una política de enmascaramiento compatible en tiempo de inferencia para evitar la degradación de la calidad. Utilizando técnicas de entrenamiento eficientes en memoria, preentrenamos Lumos-1 en solo 48 GPUs, logrando un rendimiento comparable a EMU3 en GenEval, COSMOS-Video2World en VBench-I2V y OpenSoraPlan en VBench-T2V. El código y los modelos están disponibles en https://github.com/alibaba-damo-academy/Lumos.

English

Autoregressive large language models (LLMs) have unified a vast range of language tasks, inspiring preliminary efforts in autoregressive video generation. Existing autoregressive video generators either diverge from standard LLM architectures, depend on bulky external text encoders, or incur prohibitive latency due to next-token decoding. In this paper, we introduce Lumos-1, an autoregressive video generator that retains the LLM architecture with minimal architectural modifications. To inject spatiotemporal correlations in LLMs, we identify the efficacy of incorporating 3D RoPE and diagnose its imbalanced frequency spectrum ranges. Therefore, we propose MM-RoPE, a RoPE scheme that preserves the original textual RoPE while providing comprehensive frequency spectra and scaled 3D positions for modeling multimodal spatiotemporal data. Moreover, Lumos-1 resorts to a token dependency strategy that obeys intra-frame bidirectionality and inter-frame temporal causality. Based on this dependency strategy, we identify the issue of frame-wise loss imbalance caused by spatial information redundancy and solve it by proposing Autoregressive Discrete Diffusion Forcing (AR-DF). AR-DF introduces temporal tube masking during training with a compatible inference-time masking policy to avoid quality degradation. By using memory-efficient training techniques, we pre-train Lumos-1 on only 48 GPUs, achieving performance comparable to EMU3 on GenEval, COSMOS-Video2World on VBench-I2V, and OpenSoraPlan on VBench-T2V. Code and models are available at https://github.com/alibaba-damo-academy/Lumos.

Lumos-1: Sobre la generación autoregresiva de vídeo desde una perspectiva de modelo unificado

Lumos-1: On Autoregressive Video Generation from a Unified Model Perspective

Resumen

Support