VideoAnydoor: Hochwertige Video-Objekteinfügung mit präziser Bewegungssteuerung

VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control

January 2, 2025

Autoren: Yuanpeng Tu, Hao Luo, Xi Chen, Sihui Ji, Xiang Bai, Hengshuang Zhao

cs.AI

Zusammenfassung

Trotz signifikanter Fortschritte bei der Videogenerierung bleibt das Einfügen eines bestimmten Objekts in Videos eine herausfordernde Aufgabe. Die Schwierigkeit liegt darin, die Erscheinungsdetails des Referenzobjekts zu bewahren und gleichzeitig kohärente Bewegungen präzise zu modellieren. In diesem Paper schlagen wir VideoAnydoor vor, ein Zero-Shot-Video-Objekteinfügungs-Framework mit hoher Detailtreue und präziser Bewegungssteuerung. Ausgehend von einem Text-zu-Video-Modell verwenden wir einen ID-Extraktor, um die globale Identität einzufügen und eine Boxsequenz zur Steuerung der Gesamtbewegung zu nutzen. Um das detaillierte Erscheinungsbild zu bewahren und gleichzeitig feinkörnige Bewegungssteuerung zu unterstützen, entwerfen wir einen Pixel-Warper. Dieser nimmt das Referenzbild mit beliebigen Schlüsselpunkten und die entsprechenden Schlüsselpunkt-Trajektorien als Eingabe. Er verformt die Pixel-Details gemäß den Trajektorien und verschmilzt die verformten Merkmale mit dem Diffusion U-Net, um so die Detailtreue zu verbessern und Benutzern bei der Manipulation der Bewegungstrajektorien zu unterstützen. Darüber hinaus schlagen wir eine Trainingsstrategie vor, die sowohl Videos als auch statische Bilder mit einem umgewichteten Rekonstruktionsverlust umfasst, um die Einfügequalität zu verbessern. VideoAnydoor zeigt signifikante Überlegenheit gegenüber bestehenden Methoden und unterstützt natürlicherweise verschiedene nachgelagerte Anwendungen (z. B. Generierung von sprechenden Köpfen, virtuelles Anprobieren von Kleidung in Videos, Bearbeitung von mehreren Regionen) ohne aufgabenspezifisches Feintuning.

English

Despite significant advancements in video generation, inserting a given object into videos remains a challenging task. The difficulty lies in preserving the appearance details of the reference object and accurately modeling coherent motions at the same time. In this paper, we propose VideoAnydoor, a zero-shot video object insertion framework with high-fidelity detail preservation and precise motion control. Starting from a text-to-video model, we utilize an ID extractor to inject the global identity and leverage a box sequence to control the overall motion. To preserve the detailed appearance and meanwhile support fine-grained motion control, we design a pixel warper. It takes the reference image with arbitrary key-points and the corresponding key-point trajectories as inputs. It warps the pixel details according to the trajectories and fuses the warped features with the diffusion U-Net, thus improving detail preservation and supporting users in manipulating the motion trajectories. In addition, we propose a training strategy involving both videos and static images with a reweight reconstruction loss to enhance insertion quality. VideoAnydoor demonstrates significant superiority over existing methods and naturally supports various downstream applications (e.g., talking head generation, video virtual try-on, multi-region editing) without task-specific fine-tuning.