EMO2: Generazione di video avatar guidata dall'audio tramite l'effettore terminale.

EMO2: End-Effector Guided Audio-Driven Avatar Video Generation

January 18, 2025

Autori: Linrui Tian, Siqi Hu, Qi Wang, Bang Zhang, Liefeng Bo

cs.AI

Abstract

In questo articolo, proponiamo un nuovo metodo di generazione di un volto parlante guidato dall'audio in grado di generare contemporaneamente espressive espressioni facciali e gesti manuali. A differenza dei metodi esistenti che si concentrano sulla generazione di pose dell'intero corpo o dell'intera parte superiore del corpo, esaminiamo le sfide della generazione di gesti durante il discorso e identifichiamo la debole corrispondenza tra le caratteristiche audio e i gesti dell'intero corpo come una limitazione chiave. Per affrontare ciò, ridefiniamo il compito come un processo a due fasi. Nella prima fase, generiamo pose delle mani direttamente dall'input audio, sfruttando la forte correlazione tra i segnali audio e i movimenti delle mani. Nella seconda fase, utilizziamo un modello di diffusione per sintetizzare frame video, incorporando le pose delle mani generate nella prima fase per produrre espressioni facciali realistiche e movimenti del corpo. I nostri risultati sperimentali dimostrano che il metodo proposto supera gli approcci all'avanguardia, come CyberHost e Vlogger, sia in termini di qualità visiva che di precisione di sincronizzazione. Questo lavoro fornisce una nuova prospettiva sulla generazione di gesti guidata dall'audio e un solido framework per creare animazioni espressive e naturali di un volto parlante.

English

In this paper, we propose a novel audio-driven talking head method capable of simultaneously generating highly expressive facial expressions and hand gestures. Unlike existing methods that focus on generating full-body or half-body poses, we investigate the challenges of co-speech gesture generation and identify the weak correspondence between audio features and full-body gestures as a key limitation. To address this, we redefine the task as a two-stage process. In the first stage, we generate hand poses directly from audio input, leveraging the strong correlation between audio signals and hand movements. In the second stage, we employ a diffusion model to synthesize video frames, incorporating the hand poses generated in the first stage to produce realistic facial expressions and body movements. Our experimental results demonstrate that the proposed method outperforms state-of-the-art approaches, such as CyberHost and Vlogger, in terms of both visual quality and synchronization accuracy. This work provides a new perspective on audio-driven gesture generation and a robust framework for creating expressive and natural talking head animations.