MotionPro: Un Controller di Movimento di Precisione per la Generazione di Video da Immagini

MotionPro: A Precise Motion Controller for Image-to-Video Generation

May 26, 2025

Autori: Zhongwei Zhang, Fuchen Long, Zhaofan Qiu, Yingwei Pan, Wu Liu, Ting Yao, Tao Mei

cs.AI

Abstract

L'animazione di immagini con controllo interattivo del movimento ha guadagnato popolarità nella generazione da immagine a video (I2V). Gli approcci moderni si basano tipicamente su ampi kernel gaussiani per estendere le traiettorie del movimento come condizione senza definire esplicitamente la regione di movimento, portando a un controllo grossolano del movimento e fallendo nel distinguere il movimento dell'oggetto da quello della telecamera. Per mitigare questi problemi, presentiamo MotionPro, un controllore di movimento preciso che sfrutta in modo innovativo le traiettorie per regione e una maschera di movimento per regolare la sintesi del movimento a grana fine e identificare la categoria del movimento target (ovvero, movimento dell'oggetto o della telecamera), rispettivamente. Tecnicamente, MotionPro stima prima le mappe di flusso su ciascun video di addestramento tramite un modello di tracciamento, e poi campiona le traiettorie per regione per simulare lo scenario di inferenza. Invece di estendere il flusso attraverso ampi kernel gaussiani, il nostro approccio basato su traiettorie per regione consente un controllo più preciso utilizzando direttamente le traiettorie all'interno di regioni locali, caratterizzando così efficacemente i movimenti a grana fine. Una maschera di movimento viene simultaneamente derivata dalle mappe di flusso predette per catturare la dinamica complessiva del movimento delle regioni. Per perseguire un controllo naturale del movimento, MotionPro rafforza ulteriormente la riduzione del rumore video incorporando sia le traiettorie per regione che la maschera di movimento attraverso la modulazione delle caratteristiche. Ancora più notevole, abbiamo meticolosamente costruito un benchmark, ovvero MC-Bench, con 1.1K coppie immagine-traiettoria annotate dagli utenti, per la valutazione del controllo del movimento I2V sia a grana fine che a livello di oggetto. Esperimenti estensivi condotti su WebVid-10M e MC-Bench dimostrano l'efficacia di MotionPro. Si prega di consultare la nostra pagina del progetto per ulteriori risultati: https://zhw-zhang.github.io/MotionPro-page/.

English

Animating images with interactive motion control has garnered popularity for image-to-video (I2V) generation. Modern approaches typically rely on large Gaussian kernels to extend motion trajectories as condition without explicitly defining movement region, leading to coarse motion control and failing to disentangle object and camera moving. To alleviate these, we present MotionPro, a precise motion controller that novelly leverages region-wise trajectory and motion mask to regulate fine-grained motion synthesis and identify target motion category (i.e., object or camera moving), respectively. Technically, MotionPro first estimates the flow maps on each training video via a tracking model, and then samples the region-wise trajectories to simulate inference scenario. Instead of extending flow through large Gaussian kernels, our region-wise trajectory approach enables more precise control by directly utilizing trajectories within local regions, thereby effectively characterizing fine-grained movements. A motion mask is simultaneously derived from the predicted flow maps to capture the holistic motion dynamics of the movement regions. To pursue natural motion control, MotionPro further strengthens video denoising by incorporating both region-wise trajectories and motion mask through feature modulation. More remarkably, we meticulously construct a benchmark, i.e., MC-Bench, with 1.1K user-annotated image-trajectory pairs, for the evaluation of both fine-grained and object-level I2V motion control. Extensive experiments conducted on WebVid-10M and MC-Bench demonstrate the effectiveness of MotionPro. Please refer to our project page for more results: https://zhw-zhang.github.io/MotionPro-page/.