Wan-Move: Generazione di Video Controllabile tramite Movimento mediante Guida di Traiettorie Latenti

Abstract

Presentiamo Wan-Move, un framework semplice e scalabile che introduce il controllo del movimento ai modelli generativi di video. I metodi esistenti per il controllo del movimento soffrono tipicamente di una granularità di controllo approssimativa e di una scalabilità limitata, rendendo i loro output insufficienti per un uso pratico. Colmiamo questa lacuna ottenendo un controllo del movimento preciso e di alta qualità. La nostra idea centrale è rendere direttamente *motion-aware* le caratteristiche di condizionamento originali per guidare la sintesi video. A tal fine, rappresentiamo innanzitutto i movimenti degli oggetti con traiettorie dense di punti, consentendo un controllo fine-granularità sulla scena. Successivamente, proiettiamo queste traiettorie nello spazio latente e propaghiamo le caratteristiche del primo fotogramma lungo ciascuna traiettoria, producendo una mappa di caratteristiche spaziotemporali allineata che indica come dovrebbe muoversi ogni elemento della scena. Questa mappa di caratteristiche funge da condizione latente aggiornata, che viene integrata in modo naturale in modelli image-to-video preesistenti, ad esempio Wan-I2V-14B, come guida al movimento senza alcuna modifica architetturale. Ciò elimina la necessità di encoder di movimento ausiliari e rende facilmente scalabile il fine-tuning dei modelli base. Attraverso un training scalato, Wan-Move genera video da 5 secondi e 480p la cui controllabilità del movimento rivaleggia con il Motion Brush commerciale di Kling 1.5 Pro, come indicato da studi utente. Per supportare una valutazione completa, abbiamo inoltre progettato MoveBench, un benchmark rigorosamente curato che include categorie di contenuto diversificate e annotazioni ibride verificate. Si distingue per un volume di dati maggiore, durate video più lunghe e annotazioni di movimento di alta qualità. Esperimenti estensivi su MoveBench e su dataset pubblici mostrano costantemente la qualità motoria superiore di Wan-Move. Codice, modelli e dati del benchmark sono resi pubblicamente disponibili.

English

We present Wan-Move, a simple and scalable framework that brings motion control to video generative models. Existing motion-controllable methods typically suffer from coarse control granularity and limited scalability, leaving their outputs insufficient for practical use. We narrow this gap by achieving precise and high-quality motion control. Our core idea is to directly make the original condition features motion-aware for guiding video synthesis. To this end, we first represent object motions with dense point trajectories, allowing fine-grained control over the scene. We then project these trajectories into latent space and propagate the first frame's features along each trajectory, producing an aligned spatiotemporal feature map that tells how each scene element should move. This feature map serves as the updated latent condition, which is naturally integrated into the off-the-shelf image-to-video model, e.g., Wan-I2V-14B, as motion guidance without any architecture change. It removes the need for auxiliary motion encoders and makes fine-tuning base models easily scalable. Through scaled training, Wan-Move generates 5-second, 480p videos whose motion controllability rivals Kling 1.5 Pro's commercial Motion Brush, as indicated by user studies. To support comprehensive evaluation, we further design MoveBench, a rigorously curated benchmark featuring diverse content categories and hybrid-verified annotations. It is distinguished by larger data volume, longer video durations, and high-quality motion annotations. Extensive experiments on MoveBench and the public dataset consistently show Wan-Move's superior motion quality. Code, models, and benchmark data are made publicly available.

Wan-Move: Generazione di Video Controllabile tramite Movimento mediante Guida di Traiettorie Latenti

Wan-Move: Motion-controllable Video Generation via Latent Trajectory Guidance

Abstract

Support