EMO: Emotive Porträt zum Leben erweckt – Erzeugung ausdrucksstarker Porträtvideos mit einem Audio-zu-Video-Diffusionsmodell unter schwachen Bedingungen
EMO: Emote Portrait Alive - Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions
February 27, 2024
Autoren: Linrui Tian, Qi Wang, Bang Zhang, Liefeng Bo
cs.AI
Zusammenfassung
In dieser Arbeit widmen wir uns der Herausforderung, den Realismus und die Ausdrucksstärke bei der Generierung von Talking-Head-Videos zu verbessern, indem wir uns auf die dynamische und nuancierte Beziehung zwischen Audiohinweisen und Gesichtsbewegungen konzentrieren. Wir identifizieren die Grenzen traditioneller Techniken, die oft das gesamte Spektrum menschlicher Ausdrücke und die Einzigartigkeit individueller Gesichtsstile nicht erfassen können. Um diese Probleme zu lösen, schlagen wir EMO vor, ein neuartiges Framework, das einen direkten Audio-zu-Video-Syntheseansatz nutzt und dabei auf Zwischenschritte wie 3D-Modelle oder Gesichtslandmarken verzichtet. Unsere Methode gewährleistet nahtlose Übergänge zwischen den Bildern und eine konsistente Identitätserhaltung im gesamten Video, was zu hochgradig ausdrucksstarken und lebensechten Animationen führt. Experimentelle Ergebnisse zeigen, dass EMO nicht nur überzeugende Sprechvideos, sondern auch Gesangsvideos in verschiedenen Stilen erzeugen kann und dabei bestehende state-of-the-art Methoden in Bezug auf Ausdruckskraft und Realismus deutlich übertrifft.
English
In this work, we tackle the challenge of enhancing the realism and
expressiveness in talking head video generation by focusing on the dynamic and
nuanced relationship between audio cues and facial movements. We identify the
limitations of traditional techniques that often fail to capture the full
spectrum of human expressions and the uniqueness of individual facial styles.
To address these issues, we propose EMO, a novel framework that utilizes a
direct audio-to-video synthesis approach, bypassing the need for intermediate
3D models or facial landmarks. Our method ensures seamless frame transitions
and consistent identity preservation throughout the video, resulting in highly
expressive and lifelike animations. Experimental results demonsrate that EMO is
able to produce not only convincing speaking videos but also singing videos in
various styles, significantly outperforming existing state-of-the-art
methodologies in terms of expressiveness and realism.