ObjCtrl-2.5D: Control de objetos sin entrenamiento con poses de cámara

ObjCtrl-2.5D: Training-free Object Control with Camera Poses

December 10, 2024

Autores: Zhouxia Wang, Yushi Lan, Shangchen Zhou, Chen Change Loy

cs.AI

Resumen

Este estudio tiene como objetivo lograr un control de objetos más preciso y versátil en la generación de imágenes a video (I2V). Los métodos actuales suelen representar el movimiento espacial de los objetos objetivo con trayectorias 2D, lo cual a menudo no logra capturar la intención del usuario y produce resultados poco naturales con frecuencia. Para mejorar el control, presentamos ObjCtrl-2.5D, un enfoque de control de objetos sin entrenamiento que utiliza una trayectoria 3D, extendida desde una trayectoria 2D con información de profundidad, como señal de control. Al modelar el movimiento del objeto como movimiento de cámara, ObjCtrl-2.5D representa la trayectoria 3D como una secuencia de poses de cámara, permitiendo el control del movimiento del objeto utilizando un modelo de generación de I2V de control de movimiento de cámara existente (CMC-I2V) sin necesidad de entrenamiento. Para adaptar el modelo CMC-I2V originalmente diseñado para control de movimiento global y manejar el movimiento local del objeto, introducimos un módulo para aislar el objeto objetivo del fondo, permitiendo un control local independiente. Además, ideamos una forma efectiva de lograr un control de objetos más preciso al compartir un latente deformado de baja frecuencia dentro de la región del objeto a lo largo de los fotogramas. Experimentos extensos demuestran que ObjCtrl-2.5D mejora significativamente la precisión del control de objetos en comparación con métodos sin entrenamiento y ofrece capacidades de control más diversas que los enfoques basados en entrenamiento que utilizan trayectorias 2D, permitiendo efectos complejos como la rotación de objetos. El código y los resultados están disponibles en https://wzhouxiff.github.io/projects/ObjCtrl-2.5D/.

English

This study aims to achieve more precise and versatile object control in image-to-video (I2V) generation. Current methods typically represent the spatial movement of target objects with 2D trajectories, which often fail to capture user intention and frequently produce unnatural results. To enhance control, we present ObjCtrl-2.5D, a training-free object control approach that uses a 3D trajectory, extended from a 2D trajectory with depth information, as a control signal. By modeling object movement as camera movement, ObjCtrl-2.5D represents the 3D trajectory as a sequence of camera poses, enabling object motion control using an existing camera motion control I2V generation model (CMC-I2V) without training. To adapt the CMC-I2V model originally designed for global motion control to handle local object motion, we introduce a module to isolate the target object from the background, enabling independent local control. In addition, we devise an effective way to achieve more accurate object control by sharing low-frequency warped latent within the object's region across frames. Extensive experiments demonstrate that ObjCtrl-2.5D significantly improves object control accuracy compared to training-free methods and offers more diverse control capabilities than training-based approaches using 2D trajectories, enabling complex effects like object rotation. Code and results are available at https://wzhouxiff.github.io/projects/ObjCtrl-2.5D/.