EMO: Retrato Emotivo en Vivo - Generación de Videos Expresivos de Retratos con un Modelo de Difusión Audio a Video bajo Condiciones Débiles

EMO: Emote Portrait Alive - Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions

February 27, 2024

Autores: Linrui Tian, Qi Wang, Bang Zhang, Liefeng Bo

cs.AI

Resumen

En este trabajo, abordamos el desafío de mejorar el realismo y la expresividad en la generación de videos de cabezas parlantes, centrándonos en la relación dinámica y matizada entre las señales de audio y los movimientos faciales. Identificamos las limitaciones de las técnicas tradicionales que a menudo no logran capturar el espectro completo de las expresiones humanas ni la singularidad de los estilos faciales individuales. Para abordar estos problemas, proponemos EMO, un marco novedoso que utiliza un enfoque de síntesis directa de audio a video, evitando la necesidad de modelos 3D intermedios o puntos de referencia faciales. Nuestro método garantiza transiciones fluidas entre fotogramas y una preservación consistente de la identidad a lo largo del video, lo que resulta en animaciones altamente expresivas y realistas. Los resultados experimentales demuestran que EMO es capaz de producir no solo videos convincentes de personas hablando, sino también videos de canto en diversos estilos, superando significativamente las metodologías existentes de vanguardia en términos de expresividad y realismo.

English

In this work, we tackle the challenge of enhancing the realism and expressiveness in talking head video generation by focusing on the dynamic and nuanced relationship between audio cues and facial movements. We identify the limitations of traditional techniques that often fail to capture the full spectrum of human expressions and the uniqueness of individual facial styles. To address these issues, we propose EMO, a novel framework that utilizes a direct audio-to-video synthesis approach, bypassing the need for intermediate 3D models or facial landmarks. Our method ensures seamless frame transitions and consistent identity preservation throughout the video, resulting in highly expressive and lifelike animations. Experimental results demonsrate that EMO is able to produce not only convincing speaking videos but also singing videos in various styles, significantly outperforming existing state-of-the-art methodologies in terms of expressiveness and realism.