EMO: エモーショナル・ポートレート・アライブ - 弱い条件下でのオーディオ2ビデオ拡散モデルによる表現力豊かなポートレート動画の生成

EMO: Emote Portrait Alive - Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions

February 27, 2024

著者: Linrui Tian, Qi Wang, Bang Zhang, Liefeng Bo

cs.AI

要旨

本研究では、音声の手がかりと顔の動きの間のダイナミックで微妙な関係に焦点を当てることで、話し手のビデオ生成におけるリアリズムと表現力の向上という課題に取り組みます。従来の技術では、人間の表情の全範囲や個人の顔のスタイルの独自性を十分に捉えることができないという限界を指摘します。これらの問題を解決するため、中間的な3Dモデルや顔のランドマークを必要としない、直接的な音声からビデオへの合成アプローチを採用した新しいフレームワーク「EMO」を提案します。本手法は、ビデオ全体を通じてシームレスなフレーム遷移と一貫したアイデンティティの保持を保証し、非常に表現力豊かで生き生きとしたアニメーションを実現します。実験結果は、EMOが説得力のある話し手のビデオだけでなく、さまざまなスタイルの歌い手のビデオも生成できることを示しており、表現力とリアリズムの点で既存の最先端手法を大幅に上回る性能を発揮しています。

English

In this work, we tackle the challenge of enhancing the realism and expressiveness in talking head video generation by focusing on the dynamic and nuanced relationship between audio cues and facial movements. We identify the limitations of traditional techniques that often fail to capture the full spectrum of human expressions and the uniqueness of individual facial styles. To address these issues, we propose EMO, a novel framework that utilizes a direct audio-to-video synthesis approach, bypassing the need for intermediate 3D models or facial landmarks. Our method ensures seamless frame transitions and consistent identity preservation throughout the video, resulting in highly expressive and lifelike animations. Experimental results demonsrate that EMO is able to produce not only convincing speaking videos but also singing videos in various styles, significantly outperforming existing state-of-the-art methodologies in terms of expressiveness and realism.