Wan-Move: Beweging-stuurbare videogeneratie via latente trajectoriële begeleiding

Samenvatting

Wij presenteren Wan-Move, een eenvoudig en schaalbaar raamwerk dat bewegingstoepassing brengt in videogeneratieve modellen. Bestaande methoden voor bewegingstoepassing kampen doorgaans met grove controle-granulariteit en beperkte schaalbaarheid, waardoor hun resultaten onvoldoende zijn voor praktisch gebruik. Wij overbruggen deze kloof door precieze en hoogwaardige bewegingstoepassing te realiseren. Onze kernidee is om de oorspronkelijke conditiekenmerken direct beweging-bewust te maken voor het sturen van videosynthese. Hiertoe representeren wij eerst objectbewegingen met dichte punt-trajecten, wat fijnmazige controle over de scene mogelijk maakt. Vervolgens projecteren wij deze trajecten naar de latente ruimte en propageren de kenmerken van het eerste frame langs elk traject, waardoor een uitgelijnde spatiotemporele kenmerkenkaart ontstaat die aangeeft hoe elk sceneelement moet bewegen. Deze kenmerkenkaart dient als de geüpdatete latente conditie, die naadloos wordt geïntegreerd in het bestaande beeld-naar-video model, bijvoorbeeld Wan-I2V-14B, als bewegingsgeleiding zonder enige architectuurwijziging. Het elimineert de noodzaak voor aanvullende beweging-encoders en maakt fine-tuning van basismodellen eenvoudig schaalbaar. Door geschaalde training genereert Wan-Move video's van 5 seconden en 480p waarvan de bewegingstoepassing evenaart met de commerciële Motion Brush van Kling 1.5 Pro, zoals blijkt uit gebruikersstudies. Om uitgebreide evaluatie te ondersteunen, ontwikkelden wij MoveBench, een rigoureus samengestelde benchmark met diverse inhoudscategorieën en hybride-geverifieerde annotaties. Deze onderscheidt zich door een groter datavolume, langere videoduur en hoogwaardige beweging-annotaties. Uitgebreide experimenten op MoveBench en de openbare dataset tonen consistent de superieure bewegingkwaliteit van Wan-Move aan. Code, modellen en benchmarkdata zijn openbaar beschikbaar gesteld.

English

We present Wan-Move, a simple and scalable framework that brings motion control to video generative models. Existing motion-controllable methods typically suffer from coarse control granularity and limited scalability, leaving their outputs insufficient for practical use. We narrow this gap by achieving precise and high-quality motion control. Our core idea is to directly make the original condition features motion-aware for guiding video synthesis. To this end, we first represent object motions with dense point trajectories, allowing fine-grained control over the scene. We then project these trajectories into latent space and propagate the first frame's features along each trajectory, producing an aligned spatiotemporal feature map that tells how each scene element should move. This feature map serves as the updated latent condition, which is naturally integrated into the off-the-shelf image-to-video model, e.g., Wan-I2V-14B, as motion guidance without any architecture change. It removes the need for auxiliary motion encoders and makes fine-tuning base models easily scalable. Through scaled training, Wan-Move generates 5-second, 480p videos whose motion controllability rivals Kling 1.5 Pro's commercial Motion Brush, as indicated by user studies. To support comprehensive evaluation, we further design MoveBench, a rigorously curated benchmark featuring diverse content categories and hybrid-verified annotations. It is distinguished by larger data volume, longer video durations, and high-quality motion annotations. Extensive experiments on MoveBench and the public dataset consistently show Wan-Move's superior motion quality. Code, models, and benchmark data are made publicly available.

Wan-Move: Beweging-stuurbare videogeneratie via latente trajectoriële begeleiding

Wan-Move: Motion-controllable Video Generation via Latent Trajectory Guidance

Samenvatting

Support