Lumos-1: Sulla generazione autoregressiva di video da una prospettiva di modello unificato

Abstract

I modelli linguistici autoregressivi su larga scala (LLM) hanno unificato un'ampia gamma di compiti linguistici, ispirando i primi sforzi nella generazione autoregressiva di video. Gli attuali generatori di video autoregressivi divergono dalle architetture standard degli LLM, dipendono da encoder di testo esterni ingombranti o comportano una latenza proibitiva a causa del decoding del token successivo. In questo articolo, introduciamo Lumos-1, un generatore di video autoregressivo che mantiene l'architettura LLM con modifiche architetturali minime. Per iniettare correlazioni spazio-temporali negli LLM, identifichiamo l'efficacia dell'incorporazione di 3D RoPE e diagnostichiamo i suoi intervalli di spettro di frequenza squilibrati. Pertanto, proponiamo MM-RoPE, uno schema RoPE che preserva il RoPE testuale originale fornendo spettri di frequenza completi e posizioni 3D scalate per modellare dati spazio-temporali multimodali. Inoltre, Lumos-1 ricorre a una strategia di dipendenza dei token che rispetta la bidirezionalità intra-frame e la causalità temporale inter-frame. Basandoci su questa strategia di dipendenza, identifichiamo il problema dello squilibrio della perdita per frame causato dalla ridondanza delle informazioni spaziali e lo risolviamo proponendo l'Autoregressive Discrete Diffusion Forcing (AR-DF). AR-DF introduce il mascheramento temporale dei tubi durante l'addestramento con una politica di mascheramento compatibile al momento dell'inferenza per evitare il degrado della qualità. Utilizzando tecniche di addestramento efficienti in termini di memoria, pre-addestriamo Lumos-1 su soli 48 GPU, ottenendo prestazioni comparabili a EMU3 su GenEval, COSMOS-Video2World su VBench-I2V e OpenSoraPlan su VBench-T2V. Codice e modelli sono disponibili su https://github.com/alibaba-damo-academy/Lumos.

English

Autoregressive large language models (LLMs) have unified a vast range of language tasks, inspiring preliminary efforts in autoregressive video generation. Existing autoregressive video generators either diverge from standard LLM architectures, depend on bulky external text encoders, or incur prohibitive latency due to next-token decoding. In this paper, we introduce Lumos-1, an autoregressive video generator that retains the LLM architecture with minimal architectural modifications. To inject spatiotemporal correlations in LLMs, we identify the efficacy of incorporating 3D RoPE and diagnose its imbalanced frequency spectrum ranges. Therefore, we propose MM-RoPE, a RoPE scheme that preserves the original textual RoPE while providing comprehensive frequency spectra and scaled 3D positions for modeling multimodal spatiotemporal data. Moreover, Lumos-1 resorts to a token dependency strategy that obeys intra-frame bidirectionality and inter-frame temporal causality. Based on this dependency strategy, we identify the issue of frame-wise loss imbalance caused by spatial information redundancy and solve it by proposing Autoregressive Discrete Diffusion Forcing (AR-DF). AR-DF introduces temporal tube masking during training with a compatible inference-time masking policy to avoid quality degradation. By using memory-efficient training techniques, we pre-train Lumos-1 on only 48 GPUs, achieving performance comparable to EMU3 on GenEval, COSMOS-Video2World on VBench-I2V, and OpenSoraPlan on VBench-T2V. Code and models are available at https://github.com/alibaba-damo-academy/Lumos.

Lumos-1: Sulla generazione autoregressiva di video da una prospettiva di modello unificato

Lumos-1: On Autoregressive Video Generation from a Unified Model Perspective

Abstract

Support