YingVideo-MV: Generazione di Video Multi-Stage Guidata dalla Musica
YingVideo-MV: Music-Driven Multi-Stage Video Generation
December 2, 2025
Autori: Jiahui Chen, Weida Wang, Runhua Shi, Huan Yang, Chaofan Ding, Zihao Chen
cs.AI
Abstract
Sebbene i modelli di diffusione per la generazione di video di avatar guidati dall'audio abbiano ottenuto progressi significativi nella sintesi di sequenze lunghe con una sincronizzazione audio-visiva naturale e una consistenza dell'identità, la generazione di video di performance musicali con movimenti di camera rimane in gran parte inesplorata. Presentiamo YingVideo-MV, il primo framework a cascata per la generazione di video lunghi guidati dalla musica. Il nostro approccio integra l'analisi semantica dell'audio, un modulo interpretabile di pianificazione delle inquadrature (MV-Director), architetture di Transformer di diffusione temporale-consapevole e una modellizzazione della consistenza per sequenze lunghe, per abilitare la sintesi automatica di video di performance musicali di alta qualità a partire da segnali audio. Abbiamo costruito un dataset su larga scala "Music-in-the-Wild" raccogliendo dati dal web per supportare il raggiungimento di risultati diversificati e di alta qualità. Osservando che i metodi esistenti per la generazione di video lunghi mancano di un controllo esplicito del movimento della camera, introduciamo un modulo adattatore per la camera che incorpora le pose della camera nel rumore latente. Per migliorare la continuità tra i clip durante l'inferenza di sequenze lunghe, proponiamo inoltre una strategia dinamica e temporale-consapevole dell'intervallo della finestra che regola adattivamente i range di denoising basandosi sugli embedding audio. Test di benchmarking completi dimostrano che YingVideo-MV raggiunge prestazioni eccezionali nella generazione di video musicali coerenti ed espressivi e abilita una precisa sincronizzazione musica-movimento-camera. Altri video sono disponibili nella nostra pagina del progetto: https://giantailab.github.io/YingVideo-MV/.
English
While diffusion model for audio-driven avatar video generation have achieved notable process in synthesizing long sequences with natural audio-visual synchronization and identity consistency, the generation of music-performance videos with camera motions remains largely unexplored. We present YingVideo-MV, the first cascaded framework for music-driven long-video generation. Our approach integrates audio semantic analysis, an interpretable shot planning module (MV-Director), temporal-aware diffusion Transformer architectures, and long-sequence consistency modeling to enable automatic synthesis of high-quality music performance videos from audio signals. We construct a large-scale Music-in-the-Wild Dataset by collecting web data to support the achievement of diverse, high-quality results. Observing that existing long-video generation methods lack explicit camera motion control, we introduce a camera adapter module that embeds camera poses into latent noise. To enhance continulity between clips during long-sequence inference, we further propose a time-aware dynamic window range strategy that adaptively adjust denoising ranges based on audio embedding. Comprehensive benchmark tests demonstrate that YingVideo-MV achieves outstanding performance in generating coherent and expressive music videos, and enables precise music-motion-camera synchronization. More videos are available in our project page: https://giantailab.github.io/YingVideo-MV/ .