LoomVideo: Vereinheitlichung multimodaler Eingaben für die Videogenerierung und -bearbeitung

Zusammenfassung

Die Entwicklung einheitlicher Modelle zur Videogenerierung und -bearbeitung, die verschachtelte multimodale Eingaben interpretieren können, ist ein vielversprechendes, aber anspruchsvolles Grenzgebiet der Forschung. Bestehende einheitliche Frameworks basieren überwiegend auf massiven Modellen (typischerweise 13B Parameter oder mehr) und integrieren Quellvideobedingungen für die Bearbeitung durch Verkettung von Sequenztokens. Diese Verkettung verdoppelt unweigerlich die Sequenzlänge, vervierfacht die Rechenkomplexität des Self-Attention-Mechanismus und verursacht einen prohibitiv hohen Zusatzaufwand. Um diese Engpässe zu adressieren, präsentieren wir LoomVideo, eine hocheffiziente einheitliche Architektur mit 5B Parametern für sowohl Videogenerierung als auch -bearbeitung. LoomVideo ersetzt den Standard-Text-Encoder durch ein Multimodales Großes Sprachmodell (MLLM) und verwendet einen Deepstack-Injektionsmechanismus, um mehrschichtige MLLM-Merkmale mit dem Diffusion Transformer (DiT) abzugleichen. Wesentlich ist die Einführung eines Null-Overhead Scale-and-Add Konditionierungsansatzes für die Videobearbeitung. Durch Skalieren und direktes Addieren des sauberen Quellvideo-Latents zum verrauschten Ziel-Latent eliminiert dieses elegante Design die Notwendigkeit einer Token-Verkettung, reduziert drastisch die Rechenkosten und bewahrt gleichzeitig robuste Fähigkeiten für komplexe, nicht-rigide Bearbeitungen. Darüber hinaus wird eine Negative Temporal RoPE-Strategie nahtlos integriert, um mehrere Referenzbilder zu verarbeiten. Umfangreiche Experimente zeigen, dass unser kompaktes 5B-Modell über umfassende Benchmarks hinweg hochmoderne oder hochgradig wettbewerbsfähige Leistungen erzielt und eine außergewöhnliche Überlegenheit in E-Commerce- und Mode-Generierungsszenarien aufweist. Dank des Null-Overhead Konditionierungsmechanismus erreicht LoomVideo mindestens eine 5,41-fache Beschleunigung der Inferenzgeschwindigkeit im Vergleich zu Modellen mit ähnlichen Fähigkeiten und ebnet den Weg für hochgradig praktische und effiziente Videobasismodelle.

English

Developing unified video generation and editing models capable of interpreting interleaved multimodal inputs is a promising yet challenging frontier field. Existing unified frameworks predominantly rely on massive models (typically 13B parameters or more) and incorporate source video conditions for editing by concatenating sequence tokens. This concatenation inevitably doubles the sequence length, quadrupling the computational complexity of the self-attention mechanism and introducing prohibitive overhead. To address these bottlenecks, we present LoomVideo, a highly efficient 5B-parameter unified architecture for both video generation and editing. LoomVideo replaces the standard text encoder with a Multimodal Large Language Model (MLLM) and employs Deepstack injection mechanism to align multi-layer MLLM features with the Diffusion Transformer (DiT). Crucially, we introduce a zero-overhead Scale-and-Add conditioning approach for video editing. By scaling and directly adding the clean source video latent to the noised target latent, this elegant design eliminates the need for token concatenation, drastically reducing computational cost while maintaining robust capabilities for complex, non-rigid edits. Furthermore, a Negative Temporal RoPE strategy is seamlessly integrated to handle multiple reference images. Extensive experiments demonstrate that our compact 5B model achieves state-of-the-art or highly competitive performance across comprehensive benchmarks, exhibiting exceptional superiority in e-commerce and fashion generation scenarios. Benefiting from the zero-overhead conditioning mechanism, LoomVideo achieves at least a 5.41x acceleration in inference speed compared to models of similar capabilities, paving the way for highly practical and efficient video foundation models.