LoomVideo : Unifier les entrées multimodales pour la génération et l'édition de vidéos

Résumé

Développer des modèles unifiés de génération et d’édition vidéo capables d’interpréter des entrées multimodales entrelacées constitue un domaine de recherche prometteur mais encore difficile. Les architectures unifiées existantes reposent principalement sur des modèles massifs (typiquement 13 milliards de paramètres ou plus) et intègrent les conditions vidéo source pour l’édition en concaténant les jetons de séquence. Cette concaténation double inévitablement la longueur des séquences, ce qui quadruple la complexité computationnelle du mécanisme d’auto-attention et engendre un surcoût prohibitif. Pour surmonter ces goulots d’étranglement, nous présentons LoomVideo, une architecture unifiée hautement efficace de 5 milliards de paramètres, destinée à la fois à la génération et à l’édition vidéo. LoomVideo remplace l’encodeur de texte standard par un modèle de langage multimodal à grande échelle (MLLM) et utilise un mécanisme d’injection en pile profonde (Deepstack) pour aligner les caractéristiques multi-couches du MLLM avec le transformateur de diffusion (DiT). Plus important encore, nous introduisons une approche de conditionnement par mise à l’échelle et addition (Scale-and-Add) sans surcoût pour l’édition vidéo. En mettant à l’échelle et en ajoutant directement le latent vidéo source propre au latent cible bruité, cette conception élégante élimine le besoin de concaténation de jetons, réduisant ainsi considérablement le coût computationnel tout en conservant des capacités robustes pour les modifications complexes non rigides. De plus, une stratégie de RoPE temporel négatif est intégrée de manière transparente pour gérer plusieurs images de référence. Des expériences approfondies démontrent que notre modèle compact de 5 milliards de paramètres atteint des performances de pointe ou très compétitives sur des bancs d’essai complets, avec une supériorité exceptionnelle dans les scénarios de génération pour le commerce électronique et la mode. Grâce au mécanisme de conditionnement sans surcoût, LoomVideo accélère la vitesse d’inférence d’au moins un facteur 5,41 par rapport aux modèles de capacités similaires, ouvrant la voie à des modèles de base vidéo très pratiques et efficaces.

English

Developing unified video generation and editing models capable of interpreting interleaved multimodal inputs is a promising yet challenging frontier field. Existing unified frameworks predominantly rely on massive models (typically 13B parameters or more) and incorporate source video conditions for editing by concatenating sequence tokens. This concatenation inevitably doubles the sequence length, quadrupling the computational complexity of the self-attention mechanism and introducing prohibitive overhead. To address these bottlenecks, we present LoomVideo, a highly efficient 5B-parameter unified architecture for both video generation and editing. LoomVideo replaces the standard text encoder with a Multimodal Large Language Model (MLLM) and employs Deepstack injection mechanism to align multi-layer MLLM features with the Diffusion Transformer (DiT). Crucially, we introduce a zero-overhead Scale-and-Add conditioning approach for video editing. By scaling and directly adding the clean source video latent to the noised target latent, this elegant design eliminates the need for token concatenation, drastically reducing computational cost while maintaining robust capabilities for complex, non-rigid edits. Furthermore, a Negative Temporal RoPE strategy is seamlessly integrated to handle multiple reference images. Extensive experiments demonstrate that our compact 5B model achieves state-of-the-art or highly competitive performance across comprehensive benchmarks, exhibiting exceptional superiority in e-commerce and fashion generation scenarios. Benefiting from the zero-overhead conditioning mechanism, LoomVideo achieves at least a 5.41x acceleration in inference speed compared to models of similar capabilities, paving the way for highly practical and efficient video foundation models.