AniPortrait: オーディオ駆動によるフォトリアルなポートレートアニメーションの合成

AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation

March 26, 2024

著者: Huawei Wei, Zejun Yang, Zhisheng Wang

cs.AI

要旨

本研究では、音声と参照用ポートレート画像に基づいて高品質なアニメーションを生成する新しいフレームワーク「AniPortrait」を提案する。我々の手法は2段階に分かれている。最初に、音声から3D中間表現を抽出し、それを2D顔面ランドマークのシーケンスに投影する。次に、堅牢な拡散モデルとモーションモジュールを組み合わせて、ランドマークシーケンスをフォトリアルで時間的に一貫したポートレートアニメーションに変換する。実験結果は、AniPortraitが顔の自然さ、ポーズの多様性、視覚的品質の点で優れていることを示しており、これにより強化された知覚体験を提供する。さらに、我々の手法は柔軟性と制御性の点で大きな可能性を示しており、顔のモーション編集やフェイスリエナクトメントなどの分野に効果的に応用できる。コードとモデルウェイトはhttps://github.com/scutzzj/AniPortraitで公開している。

English

In this study, we propose AniPortrait, a novel framework for generating high-quality animation driven by audio and a reference portrait image. Our methodology is divided into two stages. Initially, we extract 3D intermediate representations from audio and project them into a sequence of 2D facial landmarks. Subsequently, we employ a robust diffusion model, coupled with a motion module, to convert the landmark sequence into photorealistic and temporally consistent portrait animation. Experimental results demonstrate the superiority of AniPortrait in terms of facial naturalness, pose diversity, and visual quality, thereby offering an enhanced perceptual experience. Moreover, our methodology exhibits considerable potential in terms of flexibility and controllability, which can be effectively applied in areas such as facial motion editing or face reenactment. We release code and model weights at https://github.com/scutzzj/AniPortrait