Wan-S2V : Génération de vidéos cinématiques pilotée par l'audio
Wan-S2V: Audio-Driven Cinematic Video Generation
August 26, 2025
papers.authors: Xin Gao, Li Hu, Siqi Hu, Mingyang Huang, Chaonan Ji, Dechao Meng, Jinwei Qi, Penchong Qiao, Zhen Shen, Yafei Song, Ke Sun, Linrui Tian, Guangyuan Wang, Qi Wang, Zhongjian Wang, Jiayu Xiao, Sheng Xu, Bang Zhang, Peng Zhang, Xindi Zhang, Zhe Zhang, Jingren Zhou, Lian Zhuo
cs.AI
papers.abstract
Les méthodes actuelles de pointe (state-of-the-art, SOTA) pour l'animation de personnages pilotée par l'audio démontrent des performances prometteuses dans des scénarios impliquant principalement la parole et le chant. Cependant, elles peinent souvent à répondre aux exigences des productions cinématographiques et télévisuelles plus complexes, qui nécessitent des éléments sophistiqués tels que des interactions nuancées entre personnages, des mouvements corporels réalistes et des mouvements de caméra dynamiques. Pour relever ce défi de longue date consistant à atteindre un niveau cinématographique dans l'animation de personnages, nous proposons un modèle piloté par l'audio, que nous appelons Wan-S2V, construit sur la base de Wan. Notre modèle offre une expressivité et une fidélité nettement améliorées dans des contextes cinématographiques par rapport aux approches existantes. Nous avons mené des expériences approfondies, comparant notre méthode à des modèles de pointe tels que Hunyuan-Avatar et Omnihuman. Les résultats expérimentaux montrent systématiquement que notre approche surpasse significativement ces solutions existantes. Par ailleurs, nous explorons la polyvalence de notre méthode à travers ses applications dans la génération de vidéos longues et l'édition précise de la synchronisation labiale en vidéo.
English
Current state-of-the-art (SOTA) methods for audio-driven character animation
demonstrate promising performance for scenarios primarily involving speech and
singing. However, they often fall short in more complex film and television
productions, which demand sophisticated elements such as nuanced character
interactions, realistic body movements, and dynamic camera work. To address
this long-standing challenge of achieving film-level character animation, we
propose an audio-driven model, which we refere to as Wan-S2V, built upon Wan.
Our model achieves significantly enhanced expressiveness and fidelity in
cinematic contexts compared to existing approaches. We conducted extensive
experiments, benchmarking our method against cutting-edge models such as
Hunyuan-Avatar and Omnihuman. The experimental results consistently demonstrate
that our approach significantly outperforms these existing solutions.
Additionally, we explore the versatility of our method through its applications
in long-form video generation and precise video lip-sync editing.