GenCompositor: Генеративный видеомонтаж с использованием диффузионного трансформера

GenCompositor: Generative Video Compositing with Diffusion Transformer

September 2, 2025

Авторы: Shuzhou Yang, Xiaoyu Li, Xiaodong Cun, Guangzhi Wang, Lingen Li, Ying Shan, Jian Zhang

cs.AI

Аннотация

Видеомонтаж объединяет съемочные материалы для создания видеопродукции, являясь ключевой техникой в производстве видео и кино. Традиционные подходы требуют значительных трудовых затрат и сотрудничества экспертов, что приводит к длительным производственным циклам и высоким затратам на рабочую силу. Для решения этой проблемы мы автоматизируем этот процесс с помощью генеративных моделей, называя это генеративным видеомонтажом. Эта новая задача стремится адаптивно внедрять информацию о идентичности и движении переднего плана видео в целевое видео в интерактивном режиме, позволяя пользователям настраивать размер, траекторию движения и другие атрибуты динамических элементов, добавляемых в итоговое видео. В частности, мы разработали новый конвейер на основе Diffusion Transformer (DiT), учитывая его внутренние свойства. Для сохранения согласованности целевого видео до и после редактирования мы модифицировали легковесную ветвь сохранения фона на основе DiT с использованием инъекции маскированных токенов. Для наследования динамических элементов из других источников предложен блок слияния DiT, использующий полное самовнимание, а также простая, но эффективная аугментация переднего плана для обучения. Кроме того, для слияния фонового и переднего плана видео с различными композициями на основе пользовательского управления мы разработали новое позиционное вложение, названное Extended Rotary Position Embedding (ERoPE). Наконец, мы собрали набор данных, включающий 61K наборов видео для нашей новой задачи, названный VideoComp. Эти данные содержат полные динамические элементы и высококачественные целевые видео. Эксперименты показывают, что наш метод эффективно реализует генеративный видеомонтаж, превосходя существующие возможные решения по точности и согласованности.

English

Video compositing combines live-action footage to create video production, serving as a crucial technique in video creation and film production. Traditional pipelines require intensive labor efforts and expert collaboration, resulting in lengthy production cycles and high manpower costs. To address this issue, we automate this process with generative models, called generative video compositing. This new task strives to adaptively inject identity and motion information of foreground video to the target video in an interactive manner, allowing users to customize the size, motion trajectory, and other attributes of the dynamic elements added in final video. Specifically, we designed a novel Diffusion Transformer (DiT) pipeline based on its intrinsic properties. To maintain consistency of the target video before and after editing, we revised a light-weight DiT-based background preservation branch with masked token injection. As to inherit dynamic elements from other sources, a DiT fusion block is proposed using full self-attention, along with a simple yet effective foreground augmentation for training. Besides, for fusing background and foreground videos with different layouts based on user control, we developed a novel position embedding, named Extended Rotary Position Embedding (ERoPE). Finally, we curated a dataset comprising 61K sets of videos for our new task, called VideoComp. This data includes complete dynamic elements and high-quality target videos. Experiments demonstrate that our method effectively realizes generative video compositing, outperforming existing possible solutions in fidelity and consistency.