DAWN: Avatar de Quadro Dinâmico com Estrutura de Difusão Não-Autoregressiva para Geração de Vídeo de Cabeça Falante

DAWN: Dynamic Frame Avatar with Non-autoregressive Diffusion Framework for Talking Head Video Generation

October 17, 2024

Autores: Hanbo Cheng, Limin Lin, Chenyu Liu, Pengcheng Xia, Pengfei Hu, Jiefeng Ma, Jun Du, Jia Pan

cs.AI

Resumo

A geração de cabeças falantes tem como objetivo produzir vídeos de cabeças falantes vívidos e realistas a partir de um único retrato e um clipe de áudio de fala. Embora tenham sido feitos progressos significativos na geração de cabeças falantes baseada em difusão, quase todos os métodos dependem de estratégias autoregressivas, que sofrem com a utilização limitada de contexto além do passo de geração atual, acúmulo de erros e velocidade de geração mais lenta. Para enfrentar esses desafios, apresentamos DAWN (Avatar de Quadro Dinâmico com difusão não autoregressiva), um framework que permite a geração de sequências de vídeo de comprimento dinâmico de uma só vez. Especificamente, ele é composto por dois componentes principais: (1) geração de dinâmica facial holística impulsionada por áudio no espaço de movimento latente e (2) geração de pose de cabeça e piscar de olhos impulsionada por áudio. Experimentos extensivos demonstram que nosso método gera vídeos autênticos e vívidos com movimentos precisos dos lábios e movimentos naturais de pose/piscar de olhos. Além disso, com uma alta velocidade de geração, o DAWN possui fortes capacidades de extrapolação, garantindo a produção estável de vídeos longos de alta qualidade. Estes resultados destacam a considerável promessa e impacto potencial do DAWN no campo da geração de vídeos de cabeças falantes. Além disso, esperamos que o DAWN estimule uma maior exploração de abordagens não autoregressivas em modelos de difusão. Nosso código estará disponível publicamente em https://github.com/Hanbo-Cheng/DAWN-pytorch.

English

Talking head generation intends to produce vivid and realistic talking head videos from a single portrait and speech audio clip. Although significant progress has been made in diffusion-based talking head generation, almost all methods rely on autoregressive strategies, which suffer from limited context utilization beyond the current generation step, error accumulation, and slower generation speed. To address these challenges, we present DAWN (Dynamic frame Avatar With Non-autoregressive diffusion), a framework that enables all-at-once generation of dynamic-length video sequences. Specifically, it consists of two main components: (1) audio-driven holistic facial dynamics generation in the latent motion space, and (2) audio-driven head pose and blink generation. Extensive experiments demonstrate that our method generates authentic and vivid videos with precise lip motions, and natural pose/blink movements. Additionally, with a high generation speed, DAWN possesses strong extrapolation capabilities, ensuring the stable production of high-quality long videos. These results highlight the considerable promise and potential impact of DAWN in the field of talking head video generation. Furthermore, we hope that DAWN sparks further exploration of non-autoregressive approaches in diffusion models. Our code will be publicly at https://github.com/Hanbo-Cheng/DAWN-pytorch.