GenCompositor: Composición Generativa de Vídeo con Transformador de Difusión
GenCompositor: Generative Video Compositing with Diffusion Transformer
September 2, 2025
Autores: Shuzhou Yang, Xiaoyu Li, Xiaodong Cun, Guangzhi Wang, Lingen Li, Ying Shan, Jian Zhang
cs.AI
Resumen
La composición de video combina secuencias de acción en vivo para crear producciones de video, sirviendo como una técnica crucial en la creación de videos y la producción cinematográfica. Los flujos de trabajo tradicionales requieren esfuerzos laborales intensivos y colaboración de expertos, lo que resulta en ciclos de producción prolongados y altos costos de mano de obra. Para abordar este problema, automatizamos este proceso con modelos generativos, denominados composición de video generativa. Esta nueva tarea busca inyectar de manera adaptativa la información de identidad y movimiento de un video de primer plano en el video objetivo de forma interactiva, permitiendo a los usuarios personalizar el tamaño, la trayectoria del movimiento y otros atributos de los elementos dinámicos añadidos en el video final. Específicamente, diseñamos una novedosa arquitectura basada en Transformadores de Difusión (DiT) aprovechando sus propiedades intrínsecas. Para mantener la consistencia del video objetivo antes y después de la edición, implementamos una rama ligera de preservación de fondo basada en DiT con inyección de tokens enmascarados. Para heredar elementos dinámicos de otras fuentes, se propone un bloque de fusión DiT utilizando autoatención completa, junto con una ampliación de primer plano simple pero efectiva para el entrenamiento. Además, para fusionar videos de fondo y primer plano con diferentes diseños basados en el control del usuario, desarrollamos una novedosa incrustación de posición, denominada Incrustación de Posición Rotatoria Extendida (ERoPE). Finalmente, compilamos un conjunto de datos que incluye 61K pares de videos para nuestra nueva tarea, llamado VideoComp. Este conjunto de datos incluye elementos dinámicos completos y videos objetivo de alta calidad. Los experimentos demuestran que nuestro método realiza efectivamente la composición de video generativa, superando a las soluciones existentes en términos de fidelidad y consistencia.
English
Video compositing combines live-action footage to create video production,
serving as a crucial technique in video creation and film production.
Traditional pipelines require intensive labor efforts and expert collaboration,
resulting in lengthy production cycles and high manpower costs. To address this
issue, we automate this process with generative models, called generative video
compositing. This new task strives to adaptively inject identity and motion
information of foreground video to the target video in an interactive manner,
allowing users to customize the size, motion trajectory, and other attributes
of the dynamic elements added in final video. Specifically, we designed a novel
Diffusion Transformer (DiT) pipeline based on its intrinsic properties. To
maintain consistency of the target video before and after editing, we revised a
light-weight DiT-based background preservation branch with masked token
injection. As to inherit dynamic elements from other sources, a DiT fusion
block is proposed using full self-attention, along with a simple yet effective
foreground augmentation for training. Besides, for fusing background and
foreground videos with different layouts based on user control, we developed a
novel position embedding, named Extended Rotary Position Embedding (ERoPE).
Finally, we curated a dataset comprising 61K sets of videos for our new task,
called VideoComp. This data includes complete dynamic elements and high-quality
target videos. Experiments demonstrate that our method effectively realizes
generative video compositing, outperforming existing possible solutions in
fidelity and consistency.