Wan-S2V: Generación de Video Cinematográfico Impulsado por Audio
Wan-S2V: Audio-Driven Cinematic Video Generation
August 26, 2025
Autores: Xin Gao, Li Hu, Siqi Hu, Mingyang Huang, Chaonan Ji, Dechao Meng, Jinwei Qi, Penchong Qiao, Zhen Shen, Yafei Song, Ke Sun, Linrui Tian, Guangyuan Wang, Qi Wang, Zhongjian Wang, Jiayu Xiao, Sheng Xu, Bang Zhang, Peng Zhang, Xindi Zhang, Zhe Zhang, Jingren Zhou, Lian Zhuo
cs.AI
Resumen
Los métodos más avanzados (state-of-the-art, SOTA) para la animación de personajes impulsada por audio demuestran un rendimiento prometedor en escenarios que involucran principalmente habla y canto. Sin embargo, a menudo se quedan cortos en producciones más complejas de cine y televisión, que requieren elementos sofisticados como interacciones de personajes matizadas, movimientos corporales realistas y trabajo dinámico de cámara. Para abordar este desafío de larga data de lograr animación de personajes a nivel cinematográfico, proponemos un modelo impulsado por audio, al que nos referimos como Wan-S2V, construido sobre Wan. Nuestro modelo logra una expresividad y fidelidad significativamente mejoradas en contextos cinematográficos en comparación con los enfoques existentes. Realizamos experimentos exhaustivos, comparando nuestro método con modelos de vanguardia como Hunyuan-Avatar y Omnihuman. Los resultados experimentales demuestran consistentemente que nuestro enfoque supera significativamente estas soluciones existentes. Además, exploramos la versatilidad de nuestro método a través de sus aplicaciones en la generación de videos de larga duración y la edición precisa de sincronización labial en videos.
English
Current state-of-the-art (SOTA) methods for audio-driven character animation
demonstrate promising performance for scenarios primarily involving speech and
singing. However, they often fall short in more complex film and television
productions, which demand sophisticated elements such as nuanced character
interactions, realistic body movements, and dynamic camera work. To address
this long-standing challenge of achieving film-level character animation, we
propose an audio-driven model, which we refere to as Wan-S2V, built upon Wan.
Our model achieves significantly enhanced expressiveness and fidelity in
cinematic contexts compared to existing approaches. We conducted extensive
experiments, benchmarking our method against cutting-edge models such as
Hunyuan-Avatar and Omnihuman. The experimental results consistently demonstrate
that our approach significantly outperforms these existing solutions.
Additionally, we explore the versatility of our method through its applications
in long-form video generation and precise video lip-sync editing.