Lumos-1: Over Autoregressieve Videogeneratie vanuit een Geünificeerd Modelperspectief

Samenvatting

Autoregressieve grote taalmodellen (LLMs) hebben een breed scala aan taaltaken verenigd, wat voorlopige inspanningen heeft geïnspireerd op het gebied van autoregressieve videogeneratie. Bestaande autoregressieve videogeneratoren wijken af van standaard LLM-architecturen, zijn afhankelijk van omvangrijke externe tekstencoders, of lijden onder verboden latentie door next-token decodering. In dit artikel introduceren we Lumos-1, een autoregressieve videogenerator die de LLM-architectuur behoudt met minimale architectonische aanpassingen. Om spatiotemporele correlaties in LLMs te injecteren, identificeren we de effectiviteit van het incorporeren van 3D RoPE en diagnosticeren we de onevenwichtige frequentiespectrumbereiken. Daarom stellen we MM-RoPE voor, een RoPE-schema dat het oorspronkelijke tekstuele RoPE behoudt terwijl het uitgebreide frequentiespectra en geschaalde 3D-posities biedt voor het modelleren van multimodale spatiotemporele data. Bovendien maakt Lumos-1 gebruik van een tokenafhankelijkheidsstrategie die intra-frame bidirectioneelheid en inter-frame temporele causaliteit respecteert. Op basis van deze afhankelijkheidsstrategie identificeren we het probleem van framegewijs verliesonevenwicht veroorzaakt door ruimtelijke informatie-redundantie en lossen we dit op door Autoregressive Discrete Diffusion Forcing (AR-DF) voor te stellen. AR-DF introduceert temporele tube-masking tijdens de training met een compatibel inferentie-tijd maskingbeleid om kwaliteitsverlies te voorkomen. Door gebruik te maken van geheugenefficiënte trainingstechnieken, pre-trainen we Lumos-1 op slechts 48 GPU's, waarbij we prestaties bereiken die vergelijkbaar zijn met EMU3 op GenEval, COSMOS-Video2World op VBench-I2V, en OpenSoraPlan op VBench-T2V. Code en modellen zijn beschikbaar op https://github.com/alibaba-damo-academy/Lumos.

English

Autoregressive large language models (LLMs) have unified a vast range of language tasks, inspiring preliminary efforts in autoregressive video generation. Existing autoregressive video generators either diverge from standard LLM architectures, depend on bulky external text encoders, or incur prohibitive latency due to next-token decoding. In this paper, we introduce Lumos-1, an autoregressive video generator that retains the LLM architecture with minimal architectural modifications. To inject spatiotemporal correlations in LLMs, we identify the efficacy of incorporating 3D RoPE and diagnose its imbalanced frequency spectrum ranges. Therefore, we propose MM-RoPE, a RoPE scheme that preserves the original textual RoPE while providing comprehensive frequency spectra and scaled 3D positions for modeling multimodal spatiotemporal data. Moreover, Lumos-1 resorts to a token dependency strategy that obeys intra-frame bidirectionality and inter-frame temporal causality. Based on this dependency strategy, we identify the issue of frame-wise loss imbalance caused by spatial information redundancy and solve it by proposing Autoregressive Discrete Diffusion Forcing (AR-DF). AR-DF introduces temporal tube masking during training with a compatible inference-time masking policy to avoid quality degradation. By using memory-efficient training techniques, we pre-train Lumos-1 on only 48 GPUs, achieving performance comparable to EMU3 on GenEval, COSMOS-Video2World on VBench-I2V, and OpenSoraPlan on VBench-T2V. Code and models are available at https://github.com/alibaba-damo-academy/Lumos.

Lumos-1: Over Autoregressieve Videogeneratie vanuit een Geünificeerd Modelperspectief

Lumos-1: On Autoregressive Video Generation from a Unified Model Perspective

Samenvatting

Support