ObjCtrl-2.5D: Управление объектами без обучения с позами камеры

ObjCtrl-2.5D: Training-free Object Control with Camera Poses

December 10, 2024

Авторы: Zhouxia Wang, Yushi Lan, Shangchen Zhou, Chen Change Loy

cs.AI

Аннотация

Данное исследование направлено на достижение более точного и гибкого управления объектами в генерации изображения в видео (I2V). В настоящее время методы обычно представляют пространственное движение целевых объектов с помощью 2D траекторий, что часто не удается уловить намерения пользователя и часто приводит к неестественным результатам. Для улучшения управления мы представляем ObjCtrl-2.5D, подход к управлению объектами без обучения, который использует 3D траекторию, расширенную из 2D траектории с информацией о глубине, в качестве сигнала управления. Моделируя движение объекта как движение камеры, ObjCtrl-2.5D представляет 3D траекторию как последовательность поз камеры, обеспечивая управление движением объекта с использованием существующей модели генерации I2V с управлением движением камеры (CMC-I2V) без обучения. Для адаптации модели CMC-I2V, изначально разработанной для глобального управления движением, к управлению локальным движением объекта, мы вводим модуль для выделения целевого объекта из фона, обеспечивая независимое локальное управление. Кроме того, мы разрабатываем эффективный способ достижения более точного управления объектом путем обмена низкочастотным искаженным латентным внутри области объекта между кадрами. Обширные эксперименты показывают, что ObjCtrl-2.5D значительно улучшает точность управления объектами по сравнению с методами без обучения и предлагает более разнообразные возможности управления, чем подходы, использующие 2D траектории с обучением, позволяя реализовать сложные эффекты, такие как вращение объекта. Код и результаты доступны по адресу https://wzhouxiff.github.io/projects/ObjCtrl-2.5D/.

English

This study aims to achieve more precise and versatile object control in image-to-video (I2V) generation. Current methods typically represent the spatial movement of target objects with 2D trajectories, which often fail to capture user intention and frequently produce unnatural results. To enhance control, we present ObjCtrl-2.5D, a training-free object control approach that uses a 3D trajectory, extended from a 2D trajectory with depth information, as a control signal. By modeling object movement as camera movement, ObjCtrl-2.5D represents the 3D trajectory as a sequence of camera poses, enabling object motion control using an existing camera motion control I2V generation model (CMC-I2V) without training. To adapt the CMC-I2V model originally designed for global motion control to handle local object motion, we introduce a module to isolate the target object from the background, enabling independent local control. In addition, we devise an effective way to achieve more accurate object control by sharing low-frequency warped latent within the object's region across frames. Extensive experiments demonstrate that ObjCtrl-2.5D significantly improves object control accuracy compared to training-free methods and offers more diverse control capabilities than training-based approaches using 2D trajectories, enabling complex effects like object rotation. Code and results are available at https://wzhouxiff.github.io/projects/ObjCtrl-2.5D/.