EMO2: エンドエフェクターによる音声誘導アバター映像生成

EMO2: End-Effector Guided Audio-Driven Avatar Video Generation

January 18, 2025

著者: Linrui Tian, Siqi Hu, Qi Wang, Bang Zhang, Liefeng Bo

cs.AI

要旨

本論文では、高度な表情と手のジェスチャーを同時に生成することができる革新的な音声駆動の話し手メソッドを提案します。全身または半身のポーズを生成する既存の手法とは異なり、共話ジェスチャー生成の課題を調査し、音声特徴と全身ジェスチャーとの弱い対応関係を主要な制約として特定します。これを解決するために、このタスクを2段階のプロセスとして再定義します。最初の段階では、音声入力から手のポーズを直接生成し、音声信号と手の動きとの強い相関関係を活用します。2段階目では、拡散モデルを使用してビデオフレームを合成し、最初の段階で生成された手のポーズを取り入れてリアルな表情と体の動きを生成します。実験結果は、提案手法が視覚的品質と同期精度の両方において、CyberHostやVloggerなどの最先端手法を上回ることを示しています。この研究は、音声駆動のジェスチャー生成に新しい視点を提供し、表現豊かで自然な話し手アニメーションを作成するための堅牢なフレームワークを提供しています。

English

In this paper, we propose a novel audio-driven talking head method capable of simultaneously generating highly expressive facial expressions and hand gestures. Unlike existing methods that focus on generating full-body or half-body poses, we investigate the challenges of co-speech gesture generation and identify the weak correspondence between audio features and full-body gestures as a key limitation. To address this, we redefine the task as a two-stage process. In the first stage, we generate hand poses directly from audio input, leveraging the strong correlation between audio signals and hand movements. In the second stage, we employ a diffusion model to synthesize video frames, incorporating the hand poses generated in the first stage to produce realistic facial expressions and body movements. Our experimental results demonstrate that the proposed method outperforms state-of-the-art approaches, such as CyberHost and Vlogger, in terms of both visual quality and synchronization accuracy. This work provides a new perspective on audio-driven gesture generation and a robust framework for creating expressive and natural talking head animations.