EMO: Retrato Emotivo Vivo - Gerando Vídeos de Retratos Expressivos com Modelo de Difusão Áudio para Vídeo sob Condições Fracas

EMO: Emote Portrait Alive - Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions

February 27, 2024

Autores: Linrui Tian, Qi Wang, Bang Zhang, Liefeng Bo

cs.AI

Resumo

Neste trabalho, abordamos o desafio de aprimorar o realismo e a expressividade na geração de vídeos de cabeças falantes, focando na relação dinâmica e sutil entre pistas de áudio e movimentos faciais. Identificamos as limitações das técnicas tradicionais que frequentemente falham em capturar todo o espectro de expressões humanas e a singularidade dos estilos faciais individuais. Para resolver essas questões, propomos o EMO, uma nova estrutura que utiliza uma abordagem direta de síntese de áudio para vídeo, dispensando a necessidade de modelos 3D intermediários ou marcos faciais. Nosso método garante transições suaves entre quadros e a preservação consistente da identidade ao longo do vídeo, resultando em animações altamente expressivas e realistas. Resultados experimentais demonstram que o EMO é capaz de produzir não apenas vídeos convincentes de fala, mas também vídeos de canto em diversos estilos, superando significativamente as metodologias state-of-the-art existentes em termos de expressividade e realismo.

English

In this work, we tackle the challenge of enhancing the realism and expressiveness in talking head video generation by focusing on the dynamic and nuanced relationship between audio cues and facial movements. We identify the limitations of traditional techniques that often fail to capture the full spectrum of human expressions and the uniqueness of individual facial styles. To address these issues, we propose EMO, a novel framework that utilizes a direct audio-to-video synthesis approach, bypassing the need for intermediate 3D models or facial landmarks. Our method ensures seamless frame transitions and consistent identity preservation throughout the video, resulting in highly expressive and lifelike animations. Experimental results demonsrate that EMO is able to produce not only convincing speaking videos but also singing videos in various styles, significantly outperforming existing state-of-the-art methodologies in terms of expressiveness and realism.