DREAM-Talk: Método Baseado em Difusão para Geração Realista de Rostos Falantes a partir de Áudio Emocional em Imagem Única

DREAM-Talk: Diffusion-based Realistic Emotional Audio-driven Method for Single Image Talking Face Generation

December 21, 2023

Autores: Chenxu Zhang, Chao Wang, Jianfeng Zhang, Hongyi Xu, Guoxian Song, You Xie, Linjie Luo, Yapeng Tian, Xiaohu Guo, Jiashi Feng

cs.AI

Resumo

A geração de rostos falantes emocionais a partir de uma única imagem de retrato continua sendo um desafio significativo. A conquista simultânea de uma fala emocional expressiva e uma sincronização labial precisa é particularmente difícil, pois a expressividade é frequentemente comprometida em favor da precisão da sincronização labial. Como amplamente adotado por muitos trabalhos anteriores, a rede LSTM frequentemente falha em capturar as sutilezas e variações das expressões emocionais. Para abordar esses desafios, introduzimos o DREAM-Talk, um framework baseado em difusão e dirigido por áudio em dois estágios, projetado para gerar expressões diversas e sincronização labial precisa simultaneamente. No primeiro estágio, propomos o EmoDiff, um novo módulo de difusão que gera expressões emocionais altamente dinâmicas e diversas, juntamente com poses da cabeça, de acordo com o áudio e o estilo emocional de referência. Dada a forte correlação entre o movimento labial e o áudio, refinamos a dinâmica com uma precisão aprimorada de sincronização labial usando características de áudio e estilo emocional. Para isso, implantamos um módulo de renderização de vídeo para vídeo para transferir as expressões e movimentos labiais do nosso avatar 3D proxy para um retrato arbitrário. Tanto quantitativa quanto qualitativamente, o DREAM-Talk supera os métodos state-of-the-art em termos de expressividade, precisão de sincronização labial e qualidade perceptual.

English

The generation of emotional talking faces from a single portrait image remains a significant challenge. The simultaneous achievement of expressive emotional talking and accurate lip-sync is particularly difficult, as expressiveness is often compromised for the accuracy of lip-sync. As widely adopted by many prior works, the LSTM network often fails to capture the subtleties and variations of emotional expressions. To address these challenges, we introduce DREAM-Talk, a two-stage diffusion-based audio-driven framework, tailored for generating diverse expressions and accurate lip-sync concurrently. In the first stage, we propose EmoDiff, a novel diffusion module that generates diverse highly dynamic emotional expressions and head poses in accordance with the audio and the referenced emotion style. Given the strong correlation between lip motion and audio, we then refine the dynamics with enhanced lip-sync accuracy using audio features and emotion style. To this end, we deploy a video-to-video rendering module to transfer the expressions and lip motions from our proxy 3D avatar to an arbitrary portrait. Both quantitatively and qualitatively, DREAM-Talk outperforms state-of-the-art methods in terms of expressiveness, lip-sync accuracy and perceptual quality.