ObjCtrl-2.5D: Controlo de Objetos sem Treino com Poses de Câmera

ObjCtrl-2.5D: Training-free Object Control with Camera Poses

December 10, 2024

Autores: Zhouxia Wang, Yushi Lan, Shangchen Zhou, Chen Change Loy

cs.AI

Resumo

Este estudo tem como objetivo alcançar um controle de objetos mais preciso e versátil na geração de imagem para vídeo (I2V). Métodos atuais geralmente representam o movimento espacial de objetos-alvo com trajetórias 2D, o que frequentemente falha em capturar a intenção do usuário e produz resultados frequentemente não naturais. Para aprimorar o controle, apresentamos o ObjCtrl-2.5D, uma abordagem de controle de objetos sem treinamento que utiliza uma trajetória 3D, estendida de uma trajetória 2D com informações de profundidade, como sinal de controle. Ao modelar o movimento do objeto como movimento da câmera, o ObjCtrl-2.5D representa a trajetória 3D como uma sequência de poses de câmera, permitindo o controle de movimento do objeto usando um modelo de geração de I2V de controle de movimento de câmera existente (CMC-I2V) sem treinamento. Para adaptar o modelo CMC-I2V originalmente projetado para controle de movimento global para lidar com o movimento local do objeto, introduzimos um módulo para isolar o objeto-alvo do plano de fundo, possibilitando controle local independente. Além disso, desenvolvemos uma maneira eficaz de alcançar um controle de objeto mais preciso compartilhando latentes deformados de baixa frequência dentro da região do objeto entre os quadros. Experimentos extensivos demonstram que o ObjCtrl-2.5D melhora significativamente a precisão do controle de objetos em comparação com métodos sem treinamento e oferece capacidades de controle mais diversas do que abordagens baseadas em treinamento usando trajetórias 2D, possibilitando efeitos complexos como rotação de objetos. O código e os resultados estão disponíveis em https://wzhouxiff.github.io/projects/ObjCtrl-2.5D/.

English

This study aims to achieve more precise and versatile object control in image-to-video (I2V) generation. Current methods typically represent the spatial movement of target objects with 2D trajectories, which often fail to capture user intention and frequently produce unnatural results. To enhance control, we present ObjCtrl-2.5D, a training-free object control approach that uses a 3D trajectory, extended from a 2D trajectory with depth information, as a control signal. By modeling object movement as camera movement, ObjCtrl-2.5D represents the 3D trajectory as a sequence of camera poses, enabling object motion control using an existing camera motion control I2V generation model (CMC-I2V) without training. To adapt the CMC-I2V model originally designed for global motion control to handle local object motion, we introduce a module to isolate the target object from the background, enabling independent local control. In addition, we devise an effective way to achieve more accurate object control by sharing low-frequency warped latent within the object's region across frames. Extensive experiments demonstrate that ObjCtrl-2.5D significantly improves object control accuracy compared to training-free methods and offers more diverse control capabilities than training-based approaches using 2D trajectories, enabling complex effects like object rotation. Code and results are available at https://wzhouxiff.github.io/projects/ObjCtrl-2.5D/.