ObjCtrl-2.5D : Contrôle d'Objets sans Entraînement avec les Positions de la Caméra

ObjCtrl-2.5D: Training-free Object Control with Camera Poses

December 10, 2024

Auteurs: Zhouxia Wang, Yushi Lan, Shangchen Zhou, Chen Change Loy

cs.AI

Résumé

Cette étude vise à obtenir un contrôle d'objet plus précis et polyvalent dans la génération d'images vers vidéos (I2V). Les méthodes actuelles représentent généralement le mouvement spatial des objets cibles avec des trajectoires 2D, qui échouent souvent à capturer l'intention de l'utilisateur et produisent fréquemment des résultats non naturels. Pour améliorer le contrôle, nous présentons ObjCtrl-2.5D, une approche de contrôle d'objet sans entraînement qui utilise une trajectoire 3D, étendue à partir d'une trajectoire 2D avec des informations de profondeur, comme signal de contrôle. En modélisant le mouvement des objets comme un mouvement de caméra, ObjCtrl-2.5D représente la trajectoire 3D comme une séquence de poses de caméra, permettant le contrôle du mouvement de l'objet en utilisant un modèle de génération I2V de contrôle de mouvement de caméra existant (CMC-I2V) sans entraînement. Pour adapter le modèle CMC-I2V initialement conçu pour le contrôle du mouvement global afin de gérer le mouvement local de l'objet, nous introduisons un module pour isoler l'objet cible du fond, permettant un contrôle local indépendant. De plus, nous concevons une méthode efficace pour obtenir un contrôle d'objet plus précis en partageant un latent déformé à basse fréquence dans la région de l'objet à travers les images. Des expériences approfondies démontrent qu'ObjCtrl-2.5D améliore significativement la précision du contrôle d'objet par rapport aux méthodes sans entraînement et offre des capacités de contrôle plus diversifiées que les approches basées sur l'entraînement utilisant des trajectoires 2D, permettant des effets complexes tels que la rotation d'objet. Le code et les résultats sont disponibles sur https://wzhouxiff.github.io/projects/ObjCtrl-2.5D/.

English

This study aims to achieve more precise and versatile object control in image-to-video (I2V) generation. Current methods typically represent the spatial movement of target objects with 2D trajectories, which often fail to capture user intention and frequently produce unnatural results. To enhance control, we present ObjCtrl-2.5D, a training-free object control approach that uses a 3D trajectory, extended from a 2D trajectory with depth information, as a control signal. By modeling object movement as camera movement, ObjCtrl-2.5D represents the 3D trajectory as a sequence of camera poses, enabling object motion control using an existing camera motion control I2V generation model (CMC-I2V) without training. To adapt the CMC-I2V model originally designed for global motion control to handle local object motion, we introduce a module to isolate the target object from the background, enabling independent local control. In addition, we devise an effective way to achieve more accurate object control by sharing low-frequency warped latent within the object's region across frames. Extensive experiments demonstrate that ObjCtrl-2.5D significantly improves object control accuracy compared to training-free methods and offers more diverse control capabilities than training-based approaches using 2D trajectories, enabling complex effects like object rotation. Code and results are available at https://wzhouxiff.github.io/projects/ObjCtrl-2.5D/.