Wan-Move: Bewegungssteuerbare Videogenerierung durch latente Trajektorienführung

papers.abstract

Wir stellen Wan-Move vor, ein einfaches und skalierbares Framework, das Bewegungskontrolle in videogenerative Modelle bringt. Bestehende bewegungssteuerbare Methoden leiden typischerweise unter grober Kontrollgranularität und begrenzter Skalierbarkeit, was ihre Ergebnisse für die praktische Anwendung unzureichend macht. Wir schließen diese Lücke, indem wir präzise und hochwertige Bewegungskontrolle erreichen. Unsere Kernidee ist es, die ursprünglichen Konditionsmerkmale direkt bewegungssensibel zu machen, um die Videosynthese zu steuern. Dazu repräsentieren wir zunächst Objektbewegungen mit dichten Punkt-Trajektorien, was eine feinkörnige Kontrolle über die Szene ermöglicht. Anschließend projizieren wir diese Trajektorien in den latenten Raum und propagieren die Merkmale des ersten Frames entlang jeder Trajektorie, wodurch eine ausgerichtete raumzeitliche Merkmalskarte erzeugt wird, die angibt, wie sich jedes Szenenelement bewegen soll. Diese Merkmalskarte dient als aktualisierte latente Bedingung, die nahtlos in Standard-Bild-zu-Video-Modelle, z.B. Wan-I2V-14B, als Bewegungsführung integriert wird, ohne Architekturänderungen. Dadurch entfällt die Notwendigkeit zusätzlicher Bewegungs-Encoder und die Feinabstimmung von Basismodellen wird leicht skalierbar. Durch skaliertes Training erzeugt Wan-Move 5-Sekunden-480p-Videos, deren Bewegungskontrollfähigkeit laut Nutzerstudien der kommerziellen Motion Brush von Kling 1.5 Pro ebenbürtig ist. Zur Unterstützung einer umfassenden Evaluation entwickelten wir MoveBench, einen rigoros kuratierten Benchmark mit diversen Inhaltskategorien und hybrid-verifizierten Annotationen. Er zeichnet sich durch größeres Datenvolumen, längere Videodauern und hochwertige Bewegungsannotationen aus. Umfangreiche Experimente auf MoveBench und öffentlichen Datensätzen zeigen durchgängig die überlegene Bewegungsqualität von Wan-Move. Code, Modelle und Benchmark-Daten sind öffentlich verfügbar.

English

We present Wan-Move, a simple and scalable framework that brings motion control to video generative models. Existing motion-controllable methods typically suffer from coarse control granularity and limited scalability, leaving their outputs insufficient for practical use. We narrow this gap by achieving precise and high-quality motion control. Our core idea is to directly make the original condition features motion-aware for guiding video synthesis. To this end, we first represent object motions with dense point trajectories, allowing fine-grained control over the scene. We then project these trajectories into latent space and propagate the first frame's features along each trajectory, producing an aligned spatiotemporal feature map that tells how each scene element should move. This feature map serves as the updated latent condition, which is naturally integrated into the off-the-shelf image-to-video model, e.g., Wan-I2V-14B, as motion guidance without any architecture change. It removes the need for auxiliary motion encoders and makes fine-tuning base models easily scalable. Through scaled training, Wan-Move generates 5-second, 480p videos whose motion controllability rivals Kling 1.5 Pro's commercial Motion Brush, as indicated by user studies. To support comprehensive evaluation, we further design MoveBench, a rigorously curated benchmark featuring diverse content categories and hybrid-verified annotations. It is distinguished by larger data volume, longer video durations, and high-quality motion annotations. Extensive experiments on MoveBench and the public dataset consistently show Wan-Move's superior motion quality. Code, models, and benchmark data are made publicly available.

Wan-Move: Bewegungssteuerbare Videogenerierung durch latente Trajektorienführung

Wan-Move: Motion-controllable Video Generation via Latent Trajectory Guidance

papers.abstract

Support