EMO2: Генерация видео аватара, управляемого аудио с помощью конечного эффектора.

EMO2: End-Effector Guided Audio-Driven Avatar Video Generation

January 18, 2025

Авторы: Linrui Tian, Siqi Hu, Qi Wang, Bang Zhang, Liefeng Bo

cs.AI

Аннотация

В данной статье мы предлагаем новый метод создания анимированных говорящих голов, способный одновременно генерировать выразительные мимику лица и жестикуляцию рук. В отличие от существующих методов, сосредотачивающихся на генерации поз полного или половинного тела, мы исследуем вызовы генерации жестов во время речи и выявляем слабую соответственность между аудио-признаками и позами полного тела как ключевое ограничение. Для решения этой проблемы мы переопределяем задачу как двухэтапный процесс. На первом этапе мы генерируем позы рук непосредственно из аудио-входа, используя сильную корреляцию между аудио-сигналами и движениями рук. На втором этапе мы применяем модель диффузии для синтеза видеокадров, интегрируя сгенерированные позы рук с первого этапа для создания реалистичной мимики лица и движений тела. Наши экспериментальные результаты демонстрируют, что предложенный метод превосходит современные подходы, такие как CyberHost и Vlogger, как по качеству изображения, так и по точности синхронизации. Эта работа предлагает новую перспективу на генерацию жестов по аудио и надежную структуру для создания выразительных и естественных анимаций говорящих голов.

English

In this paper, we propose a novel audio-driven talking head method capable of simultaneously generating highly expressive facial expressions and hand gestures. Unlike existing methods that focus on generating full-body or half-body poses, we investigate the challenges of co-speech gesture generation and identify the weak correspondence between audio features and full-body gestures as a key limitation. To address this, we redefine the task as a two-stage process. In the first stage, we generate hand poses directly from audio input, leveraging the strong correlation between audio signals and hand movements. In the second stage, we employ a diffusion model to synthesize video frames, incorporating the hand poses generated in the first stage to produce realistic facial expressions and body movements. Our experimental results demonstrate that the proposed method outperforms state-of-the-art approaches, such as CyberHost and Vlogger, in terms of both visual quality and synchronization accuracy. This work provides a new perspective on audio-driven gesture generation and a robust framework for creating expressive and natural talking head animations.