LoomVideo: Объединение мультимодальных входных данных для генерации и редактирования видео

Аннотация

Разработка унифицированных моделей генерации и редактирования видео, способных интерпретировать перемежающиеся мультимодальные входные данные, является перспективным, но сложным направлением исследований. Существующие унифицированные архитектуры в основном полагаются на массивные модели (как правило, от 13 миллиардов параметров и более) и включают исходные видеоусловия для редактирования путём конкатенации токенов последовательности. Такая конкатенация неизбежно удваивает длину последовательности, что приводит к четырехкратному росту вычислительной сложности механизма самовнимания и создает запретительно высокие накладные расходы. Для решения этих проблем мы представляем LoomVideo — высокоэффективную унифицированную архитектуру с 5 миллиардами параметров, предназначенную как для генерации, так и для редактирования видео. LoomVideo заменяет стандартный текстовый энкодер на мультимодальную большую языковую модель (MLLM) и использует механизм глубокой инъекции (Deepstack) для согласования многослойных признаков MLLM с диффузионным трансформером (DiT). Ключевым нововведением является метод внесения условий Scale-and-Add с нулевыми накладными расходами для редактирования видео. Благодаря масштабированию и прямому сложению скрытого представления чистого исходного видео с зашумленным скрытым представлением целевого видео эта элегантная архитектура устраняет необходимость в конкатенации токенов, что резко снижает вычислительные затраты, сохраняя при этом надежные возможности для сложных нежестких правок. Кроме того, для работы с несколькими опорными изображениями бесшовно интегрирована стратегия Negative Temporal RoPE. Обширные эксперименты демонстрируют, что наша компактная модель с 5 миллиардами параметров достигает передовых или высококонкурентных результатов по всем комплексным бенчмаркам, проявляя исключительное превосходство в сценариях электронной коммерции и генерации модной одежды. Благодаря механизму внесения условий с нулевыми накладными расходами LoomVideo обеспечивает как минимум 5,41-кратное ускорение вывода по сравнению с моделями аналогичных возможностей, открывая путь к созданию высокопрактичных и эффективных фундаментальных видео-моделей.

English

Developing unified video generation and editing models capable of interpreting interleaved multimodal inputs is a promising yet challenging frontier field. Existing unified frameworks predominantly rely on massive models (typically 13B parameters or more) and incorporate source video conditions for editing by concatenating sequence tokens. This concatenation inevitably doubles the sequence length, quadrupling the computational complexity of the self-attention mechanism and introducing prohibitive overhead. To address these bottlenecks, we present LoomVideo, a highly efficient 5B-parameter unified architecture for both video generation and editing. LoomVideo replaces the standard text encoder with a Multimodal Large Language Model (MLLM) and employs Deepstack injection mechanism to align multi-layer MLLM features with the Diffusion Transformer (DiT). Crucially, we introduce a zero-overhead Scale-and-Add conditioning approach for video editing. By scaling and directly adding the clean source video latent to the noised target latent, this elegant design eliminates the need for token concatenation, drastically reducing computational cost while maintaining robust capabilities for complex, non-rigid edits. Furthermore, a Negative Temporal RoPE strategy is seamlessly integrated to handle multiple reference images. Extensive experiments demonstrate that our compact 5B model achieves state-of-the-art or highly competitive performance across comprehensive benchmarks, exhibiting exceptional superiority in e-commerce and fashion generation scenarios. Benefiting from the zero-overhead conditioning mechanism, LoomVideo achieves at least a 5.41x acceleration in inference speed compared to models of similar capabilities, paving the way for highly practical and efficient video foundation models.