ObjCtrl-2.5D: Training-freie Objektsteuerung mit Kamerapositionen

ObjCtrl-2.5D: Training-free Object Control with Camera Poses

December 10, 2024

Autoren: Zhouxia Wang, Yushi Lan, Shangchen Zhou, Chen Change Loy

cs.AI

Zusammenfassung

Diese Studie zielt darauf ab, eine präzisere und vielseitigere Objektsteuerung bei der Erzeugung von Bild-zu-Video (I2V) zu erreichen. Aktuelle Methoden stellen die räumliche Bewegung von Zielobjekten typischerweise mit 2D-Trajektorien dar, die oft die Benutzerabsicht nicht erfassen und häufig unnatürliche Ergebnisse erzeugen. Um die Steuerung zu verbessern, präsentieren wir ObjCtrl-2.5D, einen trainingsfreien Ansatz zur Objektsteuerung, der eine 3D-Trajektorie verwendet, die aus einer 2D-Trajektorie mit Tiefeninformationen als Steuersignal erweitert wurde. Indem Objektbewegungen als Kamerabewegungen modelliert werden, repräsentiert ObjCtrl-2.5D die 3D-Trajektorie als eine Sequenz von Kamerapositionen, die eine Objektbewegungssteuerung mithilfe eines vorhandenen Modells zur Kamerabewegungssteuerung bei der I2V-Erzeugung (CMC-I2V) ohne Training ermöglicht. Um das CMC-I2V-Modell, das ursprünglich für die globale Bewegungssteuerung konzipiert wurde, an die Handhabung lokaler Objektbewegungen anzupassen, führen wir ein Modul ein, um das Zielobjekt vom Hintergrund zu isolieren, was eine unabhängige lokale Steuerung ermöglicht. Darüber hinaus entwickeln wir eine effektive Methode, um eine präzisere Objektsteuerung zu erreichen, indem wir niederfrequente verformte Latente innerhalb des Objektbereichs über Frames hinweg teilen. Umfangreiche Experimente zeigen, dass ObjCtrl-2.5D die Genauigkeit der Objektsteuerung im Vergleich zu trainingsfreien Methoden signifikant verbessert und vielfältigere Steuerungsmöglichkeiten als trainingsbasierte Ansätze mit 2D-Trajektorien bietet, was komplexe Effekte wie Objektrotation ermöglicht. Der Code und die Ergebnisse sind unter https://wzhouxiff.github.io/projects/ObjCtrl-2.5D/ verfügbar.

English

This study aims to achieve more precise and versatile object control in image-to-video (I2V) generation. Current methods typically represent the spatial movement of target objects with 2D trajectories, which often fail to capture user intention and frequently produce unnatural results. To enhance control, we present ObjCtrl-2.5D, a training-free object control approach that uses a 3D trajectory, extended from a 2D trajectory with depth information, as a control signal. By modeling object movement as camera movement, ObjCtrl-2.5D represents the 3D trajectory as a sequence of camera poses, enabling object motion control using an existing camera motion control I2V generation model (CMC-I2V) without training. To adapt the CMC-I2V model originally designed for global motion control to handle local object motion, we introduce a module to isolate the target object from the background, enabling independent local control. In addition, we devise an effective way to achieve more accurate object control by sharing low-frequency warped latent within the object's region across frames. Extensive experiments demonstrate that ObjCtrl-2.5D significantly improves object control accuracy compared to training-free methods and offers more diverse control capabilities than training-based approaches using 2D trajectories, enabling complex effects like object rotation. Code and results are available at https://wzhouxiff.github.io/projects/ObjCtrl-2.5D/.