DREAM-Talk: 拡散モデルに基づくリアルな感情音声駆動型単一画像トーキングフェイス生成手法

DREAM-Talk: Diffusion-based Realistic Emotional Audio-driven Method for Single Image Talking Face Generation

December 21, 2023

著者: Chenxu Zhang, Chao Wang, Jianfeng Zhang, Hongyi Xu, Guoxian Song, You Xie, Linjie Luo, Yapeng Tian, Xiaohu Guo, Jiashi Feng

cs.AI

要旨

単一のポートレート画像から感情を伴う話し顔を生成することは、依然として重要な課題です。特に、表現力豊かな感情的な話し方と正確なリップシンクを同時に達成することは困難であり、リップシンクの正確さのために表現力が損なわれることがよくあります。多くの先行研究で広く採用されているLSTMネットワークは、感情表現の微妙なニュアンスやバリエーションを捉えることができないことが多いです。これらの課題に対処するため、我々はDREAM-Talkを提案します。これは、多様な表情と正確なリップシンクを同時に生成するために設計された、2段階の拡散ベースの音声駆動フレームワークです。第1段階では、EmoDiffという新しい拡散モジュールを提案し、音声と参照された感情スタイルに従って、多様でダイナミックな感情表現と頭のポーズを生成します。唇の動きと音声の間に強い相関があることを考慮し、音声特徴と感情スタイルを使用して、リップシンクの正確さを向上させたダイナミクスを洗練します。この目的のために、ビデオツービデオレンダリングモジュールを展開し、プロキシ3Dアバターから任意のポートレートに表情と唇の動きを転送します。定量的および定性的に、DREAM-Talkは表現力、リップシンクの正確さ、知覚品質の点で最先端の手法を上回ります。

English

The generation of emotional talking faces from a single portrait image remains a significant challenge. The simultaneous achievement of expressive emotional talking and accurate lip-sync is particularly difficult, as expressiveness is often compromised for the accuracy of lip-sync. As widely adopted by many prior works, the LSTM network often fails to capture the subtleties and variations of emotional expressions. To address these challenges, we introduce DREAM-Talk, a two-stage diffusion-based audio-driven framework, tailored for generating diverse expressions and accurate lip-sync concurrently. In the first stage, we propose EmoDiff, a novel diffusion module that generates diverse highly dynamic emotional expressions and head poses in accordance with the audio and the referenced emotion style. Given the strong correlation between lip motion and audio, we then refine the dynamics with enhanced lip-sync accuracy using audio features and emotion style. To this end, we deploy a video-to-video rendering module to transfer the expressions and lip motions from our proxy 3D avatar to an arbitrary portrait. Both quantitatively and qualitatively, DREAM-Talk outperforms state-of-the-art methods in terms of expressiveness, lip-sync accuracy and perceptual quality.