Wan-S2V: Generazione di Video Cinematografici Guidata dall'Audio
Wan-S2V: Audio-Driven Cinematic Video Generation
August 26, 2025
Autori: Xin Gao, Li Hu, Siqi Hu, Mingyang Huang, Chaonan Ji, Dechao Meng, Jinwei Qi, Penchong Qiao, Zhen Shen, Yafei Song, Ke Sun, Linrui Tian, Guangyuan Wang, Qi Wang, Zhongjian Wang, Jiayu Xiao, Sheng Xu, Bang Zhang, Peng Zhang, Xindi Zhang, Zhe Zhang, Jingren Zhou, Lian Zhuo
cs.AI
Abstract
I metodi all'avanguardia (SOTA) attuali per l'animazione di personaggi guidata dall'audio dimostrano prestazioni promettenti in scenari che coinvolgono principalmente discorsi e canto. Tuttavia, spesso risultano carenti in produzioni cinematografiche e televisive più complesse, che richiedono elementi sofisticati come interazioni caratteriali sfumate, movimenti corporei realistici e dinamiche di ripresa. Per affrontare questa sfida di lunga data nel raggiungere un'animazione di personaggi di livello cinematografico, proponiamo un modello guidato dall'audio, che chiamiamo Wan-S2V, basato su Wan. Il nostro modello raggiunge un'espressività e una fedeltà significativamente migliorate in contesti cinematografici rispetto agli approcci esistenti. Abbiamo condotto esperimenti estesi, confrontando il nostro metodo con modelli all'avanguardia come Hunyuan-Avatar e Omnihuman. I risultati sperimentali dimostrano costantemente che il nostro approccio supera significativamente queste soluzioni esistenti. Inoltre, esploriamo la versatilità del nostro metodo attraverso le sue applicazioni nella generazione di video di lunga durata e nell'editing preciso della sincronizzazione labiale nei video.
English
Current state-of-the-art (SOTA) methods for audio-driven character animation
demonstrate promising performance for scenarios primarily involving speech and
singing. However, they often fall short in more complex film and television
productions, which demand sophisticated elements such as nuanced character
interactions, realistic body movements, and dynamic camera work. To address
this long-standing challenge of achieving film-level character animation, we
propose an audio-driven model, which we refere to as Wan-S2V, built upon Wan.
Our model achieves significantly enhanced expressiveness and fidelity in
cinematic contexts compared to existing approaches. We conducted extensive
experiments, benchmarking our method against cutting-edge models such as
Hunyuan-Avatar and Omnihuman. The experimental results consistently demonstrate
that our approach significantly outperforms these existing solutions.
Additionally, we explore the versatility of our method through its applications
in long-form video generation and precise video lip-sync editing.