VideoAnydoor: Inserción de objetos de video de alta fidelidad con control preciso de movimiento.

VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control

January 2, 2025

Autores: Yuanpeng Tu, Hao Luo, Xi Chen, Sihui Ji, Xiang Bai, Hengshuang Zhao

cs.AI

Resumen

A pesar de los avances significativos en la generación de video, insertar un objeto dado en videos sigue siendo una tarea desafiante. La dificultad radica en preservar los detalles de apariencia del objeto de referencia y modelar con precisión movimientos coherentes al mismo tiempo. En este documento, proponemos VideoAnydoor, un marco de inserción de objetos en video de cero disparos con preservación de detalles de alta fidelidad y control preciso de movimiento. Partiendo de un modelo de texto a video, utilizamos un extractor de ID para inyectar la identidad global y aprovechar una secuencia de cajas para controlar el movimiento general. Para preservar la apariencia detallada y al mismo tiempo admitir un control de movimiento detallado, diseñamos un deformador de píxeles. Toma la imagen de referencia con puntos clave arbitrarios y las trayectorias de puntos clave correspondientes como entradas. Deforma los detalles de píxeles según las trayectorias y fusiona las características deformadas con la U-Net de difusión, mejorando así la preservación de detalles y apoyando a los usuarios en la manipulación de las trayectorias de movimiento. Además, proponemos una estrategia de entrenamiento que involucra tanto videos como imágenes estáticas con una pérdida de reconstrucción de reponderación para mejorar la calidad de inserción. VideoAnydoor demuestra una superioridad significativa sobre los métodos existentes y admite naturalmente varias aplicaciones posteriores (por ejemplo, generación de cabezas parlantes, prueba virtual de ropa en video, edición de múltiples regiones) sin ajustes finos específicos de la tarea.

English

Despite significant advancements in video generation, inserting a given object into videos remains a challenging task. The difficulty lies in preserving the appearance details of the reference object and accurately modeling coherent motions at the same time. In this paper, we propose VideoAnydoor, a zero-shot video object insertion framework with high-fidelity detail preservation and precise motion control. Starting from a text-to-video model, we utilize an ID extractor to inject the global identity and leverage a box sequence to control the overall motion. To preserve the detailed appearance and meanwhile support fine-grained motion control, we design a pixel warper. It takes the reference image with arbitrary key-points and the corresponding key-point trajectories as inputs. It warps the pixel details according to the trajectories and fuses the warped features with the diffusion U-Net, thus improving detail preservation and supporting users in manipulating the motion trajectories. In addition, we propose a training strategy involving both videos and static images with a reweight reconstruction loss to enhance insertion quality. VideoAnydoor demonstrates significant superiority over existing methods and naturally supports various downstream applications (e.g., talking head generation, video virtual try-on, multi-region editing) without task-specific fine-tuning.