ObjCtrl-2.5D: Trainingvrije Objectbesturing met cameraposities

ObjCtrl-2.5D: Training-free Object Control with Camera Poses

December 10, 2024

Auteurs: Zhouxia Wang, Yushi Lan, Shangchen Zhou, Chen Change Loy

cs.AI

Samenvatting

Deze studie heeft tot doel om een nauwkeurigere en veelzijdigere objectbesturing te bereiken in de generatie van beeld-naar-video (I2V). Huidige methoden vertegenwoordigen doorgaans de ruimtelijke beweging van doelobjecten met 2D-trajecten, die vaak niet de gebruikersintentie vastleggen en regelmatig onnatuurlijke resultaten produceren. Om de controle te verbeteren, presenteren we ObjCtrl-2.5D, een trainingsvrije objectbesturingsbenadering die een 3D-traject gebruikt, uitgebreid vanuit een 2D-traject met diepte-informatie, als besturingssignaal. Door objectbeweging te modelleren als camerabeweging, representeert ObjCtrl-2.5D het 3D-traject als een reeks cameraposities, waardoor objectbewegingsbesturing mogelijk is met een bestaand model voor camerabewegingsbesturing in I2V-generatie (CMC-I2V) zonder training. Om het CMC-I2V-model dat oorspronkelijk is ontworpen voor globale bewegingsbesturing aan te passen om lokale objectbeweging aan te kunnen, introduceren we een module om het doelobject te isoleren van de achtergrond, waardoor onafhankelijke lokale besturing mogelijk is. Bovendien bedenken we een effectieve manier om nauwkeurigere objectbesturing te bereiken door het delen van laagfrequente vervormde latentie binnen het objectgebied over frames heen. Uitgebreide experimenten tonen aan dat ObjCtrl-2.5D de nauwkeurigheid van objectbesturing aanzienlijk verbetert in vergelijking met trainingsvrije methoden en meer diverse besturingsmogelijkheden biedt dan op training gebaseerde benaderingen met 2D-trajecten, waardoor complexe effecten zoals objectrotatie mogelijk zijn. Code en resultaten zijn beschikbaar op https://wzhouxiff.github.io/projects/ObjCtrl-2.5D/.

English

This study aims to achieve more precise and versatile object control in image-to-video (I2V) generation. Current methods typically represent the spatial movement of target objects with 2D trajectories, which often fail to capture user intention and frequently produce unnatural results. To enhance control, we present ObjCtrl-2.5D, a training-free object control approach that uses a 3D trajectory, extended from a 2D trajectory with depth information, as a control signal. By modeling object movement as camera movement, ObjCtrl-2.5D represents the 3D trajectory as a sequence of camera poses, enabling object motion control using an existing camera motion control I2V generation model (CMC-I2V) without training. To adapt the CMC-I2V model originally designed for global motion control to handle local object motion, we introduce a module to isolate the target object from the background, enabling independent local control. In addition, we devise an effective way to achieve more accurate object control by sharing low-frequency warped latent within the object's region across frames. Extensive experiments demonstrate that ObjCtrl-2.5D significantly improves object control accuracy compared to training-free methods and offers more diverse control capabilities than training-based approaches using 2D trajectories, enabling complex effects like object rotation. Code and results are available at https://wzhouxiff.github.io/projects/ObjCtrl-2.5D/.