EMO2: Geração de Vídeo de Avatar Dirigida por Áudio Guiada pelo Efetuador Final

EMO2: End-Effector Guided Audio-Driven Avatar Video Generation

January 18, 2025

Autores: Linrui Tian, Siqi Hu, Qi Wang, Bang Zhang, Liefeng Bo

cs.AI

Resumo

Neste artigo, propomos um novo método de cabeça falante impulsionado por áudio capaz de gerar simultaneamente expressões faciais altamente expressivas e gestos de mão. Ao contrário de métodos existentes que se concentram em gerar poses de corpo inteiro ou meio corpo, investigamos os desafios da geração de gestos durante a fala e identificamos a fraca correspondência entre as características de áudio e gestos de corpo inteiro como uma limitação chave. Para lidar com isso, redefinimos a tarefa como um processo de duas etapas. Na primeira etapa, geramos poses de mão diretamente a partir da entrada de áudio, aproveitando a forte correlação entre os sinais de áudio e movimentos da mão. Na segunda etapa, empregamos um modelo de difusão para sintetizar quadros de vídeo, incorporando as poses de mão geradas na primeira etapa para produzir expressões faciais realistas e movimentos corporais. Nossos resultados experimentais demonstram que o método proposto supera abordagens de ponta, como CyberHost e Vlogger, em termos de qualidade visual e precisão de sincronização. Este trabalho fornece uma nova perspectiva sobre a geração de gestos impulsionada por áudio e um framework robusto para criar animações expressivas e naturais de cabeça falante.

English

In this paper, we propose a novel audio-driven talking head method capable of simultaneously generating highly expressive facial expressions and hand gestures. Unlike existing methods that focus on generating full-body or half-body poses, we investigate the challenges of co-speech gesture generation and identify the weak correspondence between audio features and full-body gestures as a key limitation. To address this, we redefine the task as a two-stage process. In the first stage, we generate hand poses directly from audio input, leveraging the strong correlation between audio signals and hand movements. In the second stage, we employ a diffusion model to synthesize video frames, incorporating the hand poses generated in the first stage to produce realistic facial expressions and body movements. Our experimental results demonstrate that the proposed method outperforms state-of-the-art approaches, such as CyberHost and Vlogger, in terms of both visual quality and synchronization accuracy. This work provides a new perspective on audio-driven gesture generation and a robust framework for creating expressive and natural talking head animations.