EMO2: Generación de Video de Avatar Dirigida por Audio Guiada por el Efector Final

EMO2: End-Effector Guided Audio-Driven Avatar Video Generation

January 18, 2025

Autores: Linrui Tian, Siqi Hu, Qi Wang, Bang Zhang, Liefeng Bo

cs.AI

Resumen

En este documento, proponemos un novedoso método de generación de cabezas parlantes impulsado por audio capaz de generar simultáneamente expresiones faciales altamente expresivas y gestos de manos. A diferencia de los métodos existentes que se centran en generar poses de cuerpo completo o medio cuerpo, investigamos los desafíos de la generación de gestos co-verbales e identificamos la débil correspondencia entre las características de audio y los gestos de cuerpo completo como una limitación clave. Para abordar esto, redefinimos la tarea como un proceso de dos etapas. En la primera etapa, generamos poses de manos directamente a partir de la entrada de audio, aprovechando la fuerte correlación entre las señales de audio y los movimientos de manos. En la segunda etapa, empleamos un modelo de difusión para sintetizar fotogramas de video, incorporando las poses de manos generadas en la primera etapa para producir expresiones faciales realistas y movimientos corporales. Nuestros resultados experimentales demuestran que el método propuesto supera a enfoques de vanguardia, como CyberHost y Vlogger, en cuanto a calidad visual y precisión de sincronización. Este trabajo proporciona una nueva perspectiva sobre la generación de gestos impulsada por audio y un marco robusto para crear animaciones de cabezas parlantes expresivas y naturales.

English

In this paper, we propose a novel audio-driven talking head method capable of simultaneously generating highly expressive facial expressions and hand gestures. Unlike existing methods that focus on generating full-body or half-body poses, we investigate the challenges of co-speech gesture generation and identify the weak correspondence between audio features and full-body gestures as a key limitation. To address this, we redefine the task as a two-stage process. In the first stage, we generate hand poses directly from audio input, leveraging the strong correlation between audio signals and hand movements. In the second stage, we employ a diffusion model to synthesize video frames, incorporating the hand poses generated in the first stage to produce realistic facial expressions and body movements. Our experimental results demonstrate that the proposed method outperforms state-of-the-art approaches, such as CyberHost and Vlogger, in terms of both visual quality and synchronization accuracy. This work provides a new perspective on audio-driven gesture generation and a robust framework for creating expressive and natural talking head animations.