VideoAnydoor: Video-objectinvoeging met hoge nauwkeurigheid en precieze bewegingsbesturing

VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control

January 2, 2025

Auteurs: Yuanpeng Tu, Hao Luo, Xi Chen, Sihui Ji, Xiang Bai, Hengshuang Zhao

cs.AI

Samenvatting

Ondanks aanzienlijke vooruitgang in videogeneratie, blijft het invoegen van een gegeven object in video's een uitdagende taak. De moeilijkheid ligt in het behouden van de uiterlijke details van het referentieobject en tegelijkertijd nauwkeurig modelleren van coherente bewegingen. In dit artikel stellen we VideoAnydoor voor, een zero-shot video-objectinvoerframework met behoud van details van hoge kwaliteit en precieze bewegingscontrole. Vertrekkend vanuit een tekst-naar-video model, gebruiken we een ID-extractor om de globale identiteit in te voegen en maken we gebruik van een boxsequentie om de algehele beweging te controleren. Om het gedetailleerde uiterlijk te behouden en tegelijkertijd fijnmazige bewegingscontrole te ondersteunen, ontwerpen we een pixelwarper. Deze neemt de referentieafbeelding met willekeurige sleutelpunten en de overeenkomstige sleutelpunttrajecten als invoer. Het vervormt de pixeldetails volgens de trajecten en fuseert de vervormde kenmerken met de diffusie U-Net, waardoor de detailbehoud verbetert en gebruikers ondersteunt bij het manipuleren van de bewegingstrajecten. Bovendien stellen we een trainingsstrategie voor die zowel video's als statische afbeeldingen omvat met een herwegingsreconstructieverlies om de invoegkwaliteit te verbeteren. VideoAnydoor toont aanzienlijke superioriteit ten opzichte van bestaande methoden en ondersteunt op natuurlijke wijze verschillende downstream-toepassingen (bijv. generatie van pratende hoofden, virtueel passen van video's, bewerking van meerdere regio's) zonder taakspecifieke fijnafstemming.

English

Despite significant advancements in video generation, inserting a given object into videos remains a challenging task. The difficulty lies in preserving the appearance details of the reference object and accurately modeling coherent motions at the same time. In this paper, we propose VideoAnydoor, a zero-shot video object insertion framework with high-fidelity detail preservation and precise motion control. Starting from a text-to-video model, we utilize an ID extractor to inject the global identity and leverage a box sequence to control the overall motion. To preserve the detailed appearance and meanwhile support fine-grained motion control, we design a pixel warper. It takes the reference image with arbitrary key-points and the corresponding key-point trajectories as inputs. It warps the pixel details according to the trajectories and fuses the warped features with the diffusion U-Net, thus improving detail preservation and supporting users in manipulating the motion trajectories. In addition, we propose a training strategy involving both videos and static images with a reweight reconstruction loss to enhance insertion quality. VideoAnydoor demonstrates significant superiority over existing methods and naturally supports various downstream applications (e.g., talking head generation, video virtual try-on, multi-region editing) without task-specific fine-tuning.