ChatPaper.aiChatPaper

Wan-S2V: Audio-gesteuerte Erzeugung kinematografischer Videos

Wan-S2V: Audio-Driven Cinematic Video Generation

August 26, 2025
papers.authors: Xin Gao, Li Hu, Siqi Hu, Mingyang Huang, Chaonan Ji, Dechao Meng, Jinwei Qi, Penchong Qiao, Zhen Shen, Yafei Song, Ke Sun, Linrui Tian, Guangyuan Wang, Qi Wang, Zhongjian Wang, Jiayu Xiao, Sheng Xu, Bang Zhang, Peng Zhang, Xindi Zhang, Zhe Zhang, Jingren Zhou, Lian Zhuo
cs.AI

papers.abstract

Aktuelle State-of-the-Art (SOTA)-Methoden für audio-gesteuerte Charakteranimation zeigen vielversprechende Leistungen in Szenarien, die hauptsächlich Sprache und Gesang umfassen. Sie fallen jedoch oft in komplexeren Film- und Fernsehproduktionen zurück, die anspruchsvolle Elemente wie differenzierte Charakterinteraktionen, realistische Körperbewegungen und dynamische Kameraführung erfordern. Um diese langjährige Herausforderung der Erreichung von Filmqualität in der Charakteranimation zu bewältigen, schlagen wir ein audio-gesteuertes Modell vor, das wir als Wan-S2V bezeichnen und das auf Wan aufbaut. Unser Modell erreicht im Vergleich zu bestehenden Ansätzen eine deutlich verbesserte Ausdruckskraft und Detailtreue in filmischen Kontexten. Wir führten umfangreiche Experimente durch und verglichen unsere Methode mit modernsten Modellen wie Hunyuan-Avatar und Omnihuman. Die experimentellen Ergebnisse zeigen durchweg, dass unser Ansatz diese bestehenden Lösungen deutlich übertrifft. Zusätzlich untersuchen wir die Vielseitigkeit unserer Methode durch ihre Anwendungen in der Langform-Videogenerierung und der präzisen Videolippensynchronisationsbearbeitung.
English
Current state-of-the-art (SOTA) methods for audio-driven character animation demonstrate promising performance for scenarios primarily involving speech and singing. However, they often fall short in more complex film and television productions, which demand sophisticated elements such as nuanced character interactions, realistic body movements, and dynamic camera work. To address this long-standing challenge of achieving film-level character animation, we propose an audio-driven model, which we refere to as Wan-S2V, built upon Wan. Our model achieves significantly enhanced expressiveness and fidelity in cinematic contexts compared to existing approaches. We conducted extensive experiments, benchmarking our method against cutting-edge models such as Hunyuan-Avatar and Omnihuman. The experimental results consistently demonstrate that our approach significantly outperforms these existing solutions. Additionally, we explore the versatility of our method through its applications in long-form video generation and precise video lip-sync editing.
PDF185August 27, 2025