MotionPro: Um Controlador de Movimento Preciso para Geração de Vídeo a partir de Imagens

MotionPro: A Precise Motion Controller for Image-to-Video Generation

May 26, 2025

Autores: Zhongwei Zhang, Fuchen Long, Zhaofan Qiu, Yingwei Pan, Wu Liu, Ting Yao, Tao Mei

cs.AI

Resumo

A animação de imagens com controle interativo de movimento tem ganhado popularidade na geração de imagem para vídeo (I2V). As abordagens modernas geralmente dependem de grandes kernels gaussianos para estender trajetórias de movimento como condição sem definir explicitamente a região de movimento, resultando em um controle de movimento grosseiro e falhando em separar o movimento do objeto e da câmera. Para mitigar esses problemas, apresentamos o MotionPro, um controlador de movimento preciso que utiliza de forma inovadora trajetórias por região e máscaras de movimento para regular a síntese de movimento em nível refinado e identificar a categoria de movimento alvo (ou seja, movimento do objeto ou da câmera), respectivamente. Tecnicamente, o MotionPro primeiro estima os mapas de fluxo em cada vídeo de treinamento por meio de um modelo de rastreamento e, em seguida, amostra as trajetórias por região para simular o cenário de inferência. Em vez de estender o fluxo através de grandes kernels gaussianos, nossa abordagem de trajetória por região permite um controle mais preciso ao utilizar diretamente as trajetórias dentro de regiões locais, caracterizando efetivamente movimentos refinados. Uma máscara de movimento é simultaneamente derivada dos mapas de fluxo previstos para capturar a dinâmica holística do movimento das regiões. Para buscar um controle de movimento natural, o MotionPro ainda reforça a remoção de ruído em vídeos incorporando tanto as trajetórias por região quanto a máscara de movimento por meio de modulação de características. Mais notavelmente, construímos meticulosamente um benchmark, ou seja, o MC-Bench, com 1.1K pares de imagem-trajetória anotados por usuários, para a avaliação do controle de movimento I2V tanto em nível refinado quanto em nível de objeto. Experimentos extensivos conduzidos no WebVid-10M e no MC-Bench demonstram a eficácia do MotionPro. Consulte nossa página do projeto para mais resultados: https://zhw-zhang.github.io/MotionPro-page/.

English

Animating images with interactive motion control has garnered popularity for image-to-video (I2V) generation. Modern approaches typically rely on large Gaussian kernels to extend motion trajectories as condition without explicitly defining movement region, leading to coarse motion control and failing to disentangle object and camera moving. To alleviate these, we present MotionPro, a precise motion controller that novelly leverages region-wise trajectory and motion mask to regulate fine-grained motion synthesis and identify target motion category (i.e., object or camera moving), respectively. Technically, MotionPro first estimates the flow maps on each training video via a tracking model, and then samples the region-wise trajectories to simulate inference scenario. Instead of extending flow through large Gaussian kernels, our region-wise trajectory approach enables more precise control by directly utilizing trajectories within local regions, thereby effectively characterizing fine-grained movements. A motion mask is simultaneously derived from the predicted flow maps to capture the holistic motion dynamics of the movement regions. To pursue natural motion control, MotionPro further strengthens video denoising by incorporating both region-wise trajectories and motion mask through feature modulation. More remarkably, we meticulously construct a benchmark, i.e., MC-Bench, with 1.1K user-annotated image-trajectory pairs, for the evaluation of both fine-grained and object-level I2V motion control. Extensive experiments conducted on WebVid-10M and MC-Bench demonstrate the effectiveness of MotionPro. Please refer to our project page for more results: https://zhw-zhang.github.io/MotionPro-page/.