MotionPro: Ein präziser Bewegungscontroller für die Bild-zu-Video-Generierung

MotionPro: A Precise Motion Controller for Image-to-Video Generation

May 26, 2025

Autoren: Zhongwei Zhang, Fuchen Long, Zhaofan Qiu, Yingwei Pan, Wu Liu, Ting Yao, Tao Mei

cs.AI

Zusammenfassung

Die Animation von Bildern mit interaktiver Bewegungssteuerung hat bei der Bild-zu-Video (I2V)-Generierung an Popularität gewonnen. Moderne Ansätze verlassen sich typischerweise auf große Gauß-Kerne, um Bewegungspfade als Bedingung zu erweitern, ohne dabei explizit Bewegungsregionen zu definieren. Dies führt zu grober Bewegungssteuerung und versagt bei der Trennung von Objekt- und Kamerabewegung. Um diese Probleme zu beheben, präsentieren wir MotionPro, einen präzisen Bewegungscontroller, der neuartig regionsbezogene Trajektorien und Bewegungsmasken nutzt, um fein abgestimmte Bewegungsynthese zu regulieren und die Zielbewegungskategorie (d.h. Objekt- oder Kamerabewegung) zu identifizieren. Technisch gesehen schätzt MotionPro zunächst die Flusskarten für jedes Trainingsvideo über ein Tracking-Modell und sampelt dann die regionsbezogenen Trajektorien, um das Inferenzszenario zu simulieren. Anstatt den Fluss durch große Gauß-Kerne zu erweitern, ermöglicht unser regionsbezogener Trajektorienansatz eine präzisere Steuerung, indem direkt Trajektorien innerhalb lokaler Regionen genutzt werden, wodurch fein abgestimmte Bewegungen effektiv charakterisiert werden. Gleichzeitig wird eine Bewegungsmaske aus den vorhergesagten Flusskarten abgeleitet, um die ganzheitliche Bewegungsdynamik der Bewegungsregionen zu erfassen. Um eine natürliche Bewegungssteuerung zu erreichen, verstärkt MotionPro die Videoentrauschung weiter, indem sowohl regionsbezogene Trajektorien als auch die Bewegungsmaske durch Feature-Modulation integriert werden. Bemerkenswerterweise haben wir sorgfältig einen Benchmark, d.h. MC-Bench, mit 1.1K benutzerannotierten Bild-Trajektorien-Paaren konstruiert, um sowohl die fein abgestimmte als auch die objektbezogene I2V-Bewegungssteuerung zu evaluieren. Umfangreiche Experimente, die auf WebVid-10M und MC-Bench durchgeführt wurden, demonstrieren die Wirksamkeit von MotionPro. Weitere Ergebnisse finden Sie auf unserer Projektseite: https://zhw-zhang.github.io/MotionPro-page/.

English

Animating images with interactive motion control has garnered popularity for image-to-video (I2V) generation. Modern approaches typically rely on large Gaussian kernels to extend motion trajectories as condition without explicitly defining movement region, leading to coarse motion control and failing to disentangle object and camera moving. To alleviate these, we present MotionPro, a precise motion controller that novelly leverages region-wise trajectory and motion mask to regulate fine-grained motion synthesis and identify target motion category (i.e., object or camera moving), respectively. Technically, MotionPro first estimates the flow maps on each training video via a tracking model, and then samples the region-wise trajectories to simulate inference scenario. Instead of extending flow through large Gaussian kernels, our region-wise trajectory approach enables more precise control by directly utilizing trajectories within local regions, thereby effectively characterizing fine-grained movements. A motion mask is simultaneously derived from the predicted flow maps to capture the holistic motion dynamics of the movement regions. To pursue natural motion control, MotionPro further strengthens video denoising by incorporating both region-wise trajectories and motion mask through feature modulation. More remarkably, we meticulously construct a benchmark, i.e., MC-Bench, with 1.1K user-annotated image-trajectory pairs, for the evaluation of both fine-grained and object-level I2V motion control. Extensive experiments conducted on WebVid-10M and MC-Bench demonstrate the effectiveness of MotionPro. Please refer to our project page for more results: https://zhw-zhang.github.io/MotionPro-page/.