LoomVideo: Unificando Entradas Multimodais na Geração e Edição de Vídeos

Resumo

Desenvolver modelos unificados de geração e edição de vídeos capazes de interpretar entradas multimodais intercaladas é uma fronteira promissora, porém desafiadora. As estruturas unificadas existentes baseiam-se predominantemente em modelos massivos (tipicamente com 13 bilhões de parâmetros ou mais) e incorporam condições de vídeo de origem para edição por meio da concatenação de tokens de sequência. Essa concatenação inevitavelmente duplica o comprimento da sequência, quadruplicando a complexidade computacional do mecanismo de autoatenção e introduzindo custos proibitivos. Para solucionar esses gargalos, apresentamos o LoomVideo, uma arquitetura unificada altamente eficiente com 5 bilhões de parâmetros, tanto para geração quanto para edição de vídeos. O LoomVideo substitui o codificador de texto padrão por um Modelo de Linguagem Multimodal de Grande Escala (MLLM) e emprega o mecanismo de injeção Deepstack para alinhar características do MLLM em múltiplas camadas com o Transformer de Difusão (DiT). Crucialmente, introduzimos uma abordagem de condicionamento Scale-and-Add com custo zero para edição de vídeo. Ao escalar e adicionar diretamente o latente do vídeo de origem limpo ao latente alvo ruidoso, esse design elegante elimina a necessidade de concatenação de tokens, reduzindo drasticamente o custo computacional enquanto mantém capacidades robustas para edições complexas e não rígidas. Além disso, uma estratégia de RoPE Temporal Negativo é integrada de forma contínua para lidar com múltiplas imagens de referência. Experimentos extensivos demonstram que nosso modelo compacto de 5 bilhões de parâmetros alcança desempenho estado-da-arte ou altamente competitivo em benchmarks abrangentes, exibindo superioridade excepcional em cenários de geração para comércio eletrônico e moda. Beneficiando-se do mecanismo de condicionamento com custo zero, o LoomVideo atinge uma aceleração de pelo menos 5,41x na velocidade de inferência em comparação com modelos de capacidades similares, abrindo caminho para modelos fundacionais de vídeo altamente práticos e eficientes.

English

Developing unified video generation and editing models capable of interpreting interleaved multimodal inputs is a promising yet challenging frontier field. Existing unified frameworks predominantly rely on massive models (typically 13B parameters or more) and incorporate source video conditions for editing by concatenating sequence tokens. This concatenation inevitably doubles the sequence length, quadrupling the computational complexity of the self-attention mechanism and introducing prohibitive overhead. To address these bottlenecks, we present LoomVideo, a highly efficient 5B-parameter unified architecture for both video generation and editing. LoomVideo replaces the standard text encoder with a Multimodal Large Language Model (MLLM) and employs Deepstack injection mechanism to align multi-layer MLLM features with the Diffusion Transformer (DiT). Crucially, we introduce a zero-overhead Scale-and-Add conditioning approach for video editing. By scaling and directly adding the clean source video latent to the noised target latent, this elegant design eliminates the need for token concatenation, drastically reducing computational cost while maintaining robust capabilities for complex, non-rigid edits. Furthermore, a Negative Temporal RoPE strategy is seamlessly integrated to handle multiple reference images. Extensive experiments demonstrate that our compact 5B model achieves state-of-the-art or highly competitive performance across comprehensive benchmarks, exhibiting exceptional superiority in e-commerce and fashion generation scenarios. Benefiting from the zero-overhead conditioning mechanism, LoomVideo achieves at least a 5.41x acceleration in inference speed compared to models of similar capabilities, paving the way for highly practical and efficient video foundation models.