YingVideo-MV: Muziekgestuurde Multi-Stage Videogeneratie
YingVideo-MV: Music-Driven Multi-Stage Video Generation
December 2, 2025
Auteurs: Jiahui Chen, Weida Wang, Runhua Shi, Huan Yang, Chaofan Ding, Zihao Chen
cs.AI
Samenvatting
Hoewel diffusiemodellen voor audiogestuurde avatarvideogeneratie aanzienlijke vooruitgang hebben geboekt in het synthetiseren van lange sequenties met natuurlijke audio-visuele synchronisatie en identiteitsconsistentie, blijft de generatie van muziekuitvoeringsvideo's met camerabewegingen grotendeels onontgonnen gebied. Wij presenteren YingVideo-MV, het eerste gecascadeerde framework voor muziekgestuurde lange-videogeneratie. Onze aanpak integreert audio-semantische analyse, een interpreteerbare shotplanningsmodule (MV-Director), temporeel-bewuste diffusie-Transformer-architecturen en modellering van lange-sequentieconsistentie om automatische synthese van hoogwaardige muziekuitvoeringsvideo's vanuit audiosignalen mogelijk te maken. We construeren een grootschalige Music-in-the-Wild-dataset door webdata te verzamelen om diverse, hoogkwalitatieve resultaten te ondersteunen.
Omdat we observeerden dat bestaande methoden voor lange-videogeneratie expliciete camerabewegingscontrole missen, introduceren we een camera-adaptermodule die cameraposes in latente ruis inbedt. Om de continuïteit tussen clips tijdens lange-sequentie-inferentie te verbeteren, stellen we verder een tijd-bewuste dynamische vensterbereikstrategie voor die denoiseringsbereiken adaptief aanpast op basis van audio-embedding. Uitgebreide benchmarktests tonen aan dat YingVideo-MV uitstekende prestaties levert in het genereren van coherente en expressieve muziekvideo's, en precieze muziek-beweging-camera-synchronisatie mogelijk maakt. Meer video's zijn beschikbaar op onze projectpagina: https://giantailab.github.io/YingVideo-MV/.
English
While diffusion model for audio-driven avatar video generation have achieved notable process in synthesizing long sequences with natural audio-visual synchronization and identity consistency, the generation of music-performance videos with camera motions remains largely unexplored. We present YingVideo-MV, the first cascaded framework for music-driven long-video generation. Our approach integrates audio semantic analysis, an interpretable shot planning module (MV-Director), temporal-aware diffusion Transformer architectures, and long-sequence consistency modeling to enable automatic synthesis of high-quality music performance videos from audio signals. We construct a large-scale Music-in-the-Wild Dataset by collecting web data to support the achievement of diverse, high-quality results. Observing that existing long-video generation methods lack explicit camera motion control, we introduce a camera adapter module that embeds camera poses into latent noise. To enhance continulity between clips during long-sequence inference, we further propose a time-aware dynamic window range strategy that adaptively adjust denoising ranges based on audio embedding. Comprehensive benchmark tests demonstrate that YingVideo-MV achieves outstanding performance in generating coherent and expressive music videos, and enables precise music-motion-camera synchronization. More videos are available in our project page: https://giantailab.github.io/YingVideo-MV/ .