ObjCtrl-2.5D: カメラポーズを用いたトレーニング不要のオブジェクト制御

ObjCtrl-2.5D: Training-free Object Control with Camera Poses

December 10, 2024

著者: Zhouxia Wang, Yushi Lan, Shangchen Zhou, Chen Change Loy

cs.AI

要旨

本研究の目的は、画像から動画（I2V）生成においてより正確かつ多目的なオブジェクト制御を実現することです。現在の方法では、通常、対象オブジェクトの空間移動を2D軌跡で表現しますが、これではユーザーの意図を捉えきれず、しばしば不自然な結果を生み出します。制御を向上させるために、トレーニング不要のオブジェクト制御手法であるObjCtrl-2.5Dを提案します。これは、深度情報を加えた2D軌跡から拡張された3D軌跡を制御信号として使用します。ObjCtrl-2.5Dは、オブジェクトの移動をカメラの移動としてモデリングし、3D軌跡をカメラポーズの系列として表現することで、既存のカメラモーション制御I2V生成モデル（CMC-I2V）をトレーニングなしで使用してオブジェクトの動きを制御します。グローバルな動き制御を目的とした元々のCMC-I2Vモデルをローカルなオブジェクトの動きを処理できるように適応させるために、背景から対象オブジェクトを分離するモジュールを導入し、独立したローカル制御を可能にします。さらに、オブジェクト領域全体で低周波数の変形潜在を共有することで、より正確なオブジェクト制御を実現する効果的な方法を考案しました。幅広い実験により、ObjCtrl-2.5Dがトレーニング不要の方法と比較してオブジェクト制御の精度を大幅に向上させ、2D軌跡を使用するトレーニングベースの手法よりも多様な制御機能を提供し、オブジェクトの回転などの複雑な効果を可能にすることが示されました。コードと結果は以下のリンクから入手可能です：https://wzhouxiff.github.io/projects/ObjCtrl-2.5D/.

English

This study aims to achieve more precise and versatile object control in image-to-video (I2V) generation. Current methods typically represent the spatial movement of target objects with 2D trajectories, which often fail to capture user intention and frequently produce unnatural results. To enhance control, we present ObjCtrl-2.5D, a training-free object control approach that uses a 3D trajectory, extended from a 2D trajectory with depth information, as a control signal. By modeling object movement as camera movement, ObjCtrl-2.5D represents the 3D trajectory as a sequence of camera poses, enabling object motion control using an existing camera motion control I2V generation model (CMC-I2V) without training. To adapt the CMC-I2V model originally designed for global motion control to handle local object motion, we introduce a module to isolate the target object from the background, enabling independent local control. In addition, we devise an effective way to achieve more accurate object control by sharing low-frequency warped latent within the object's region across frames. Extensive experiments demonstrate that ObjCtrl-2.5D significantly improves object control accuracy compared to training-free methods and offers more diverse control capabilities than training-based approaches using 2D trajectories, enabling complex effects like object rotation. Code and results are available at https://wzhouxiff.github.io/projects/ObjCtrl-2.5D/.