DREAM-Talk: Diffusionsbasierte realistische emotionale audio-gesteuerte Methode zur Generierung von sprechenden Gesichtern aus Einzelbildern

DREAM-Talk: Diffusion-based Realistic Emotional Audio-driven Method for Single Image Talking Face Generation

December 21, 2023

Autoren: Chenxu Zhang, Chao Wang, Jianfeng Zhang, Hongyi Xu, Guoxian Song, You Xie, Linjie Luo, Yapeng Tian, Xiaohu Guo, Jiashi Feng

cs.AI

Zusammenfassung

Die Erzeugung emotionaler sprechender Gesichter aus einem einzigen Porträtbild bleibt eine erhebliche Herausforderung. Die gleichzeitige Erreichung von ausdrucksstarkem emotionalem Sprechen und präziser Lippensynchronisation ist besonders schwierig, da die Ausdruckskraft oft zugunsten der Genauigkeit der Lippensynchronisation beeinträchtigt wird. Wie in vielen früheren Arbeiten weit verbreitet, gelingt es dem LSTM-Netzwerk oft nicht, die Feinheiten und Variationen emotionaler Ausdrücke zu erfassen. Um diese Herausforderungen zu bewältigen, stellen wir DREAM-Talk vor, ein zweistufiges, diffusionsbasiertes, audio-gesteuertes Framework, das speziell für die gleichzeitige Erzeugung vielfältiger Ausdrücke und präziser Lippensynchronisation entwickelt wurde. In der ersten Stufe schlagen wir EmoDiff vor, ein neuartiges Diffusionsmodul, das vielfältige, hochdynamische emotionale Ausdrücke und Kopfhaltungen in Übereinstimmung mit dem Audio und dem referenzierten Emotionsstil erzeugt. Angesichts der starken Korrelation zwischen Lippenbewegung und Audio verfeinern wir dann die Dynamik mit verbesserter Lippensynchronisationsgenauigkeit unter Verwendung von Audiofeatures und Emotionsstil. Zu diesem Zweck setzen wir ein Video-zu-Video-Rendering-Modul ein, um die Ausdrücke und Lippenbewegungen von unserem Proxy-3D-Avatar auf ein beliebiges Porträt zu übertragen. Sowohl quantitativ als auch qualitativ übertrifft DREAM-Talk die derzeit besten Methoden in Bezug auf Ausdruckskraft, Lippensynchronisationsgenauigkeit und perzeptive Qualität.

English

The generation of emotional talking faces from a single portrait image remains a significant challenge. The simultaneous achievement of expressive emotional talking and accurate lip-sync is particularly difficult, as expressiveness is often compromised for the accuracy of lip-sync. As widely adopted by many prior works, the LSTM network often fails to capture the subtleties and variations of emotional expressions. To address these challenges, we introduce DREAM-Talk, a two-stage diffusion-based audio-driven framework, tailored for generating diverse expressions and accurate lip-sync concurrently. In the first stage, we propose EmoDiff, a novel diffusion module that generates diverse highly dynamic emotional expressions and head poses in accordance with the audio and the referenced emotion style. Given the strong correlation between lip motion and audio, we then refine the dynamics with enhanced lip-sync accuracy using audio features and emotion style. To this end, we deploy a video-to-video rendering module to transfer the expressions and lip motions from our proxy 3D avatar to an arbitrary portrait. Both quantitatively and qualitatively, DREAM-Talk outperforms state-of-the-art methods in terms of expressiveness, lip-sync accuracy and perceptual quality.