DAWN: Avatar di Frame Dinamico con Framework di Diffusione Non-autoregressiva per la Generazione di Video di Talking Head

DAWN: Dynamic Frame Avatar with Non-autoregressive Diffusion Framework for Talking Head Video Generation

October 17, 2024

Autori: Hanbo Cheng, Limin Lin, Chenyu Liu, Pengcheng Xia, Pengfei Hu, Jiefeng Ma, Jun Du, Jia Pan

cs.AI

Abstract

La generazione di testa parlante mira a produrre video di testa parlante vividi e realistici da un singolo ritratto e clip audio di discorso. Sebbene siano stati compiuti progressi significativi nella generazione di testa parlante basata sulla diffusione, quasi tutti i metodi si basano su strategie autoregressive, che soffrono di limitata utilizzazione del contesto oltre il passo corrente di generazione, accumulo di errori e maggiore lentezza di generazione. Per affrontare queste sfide, presentiamo DAWN (Dynamic frame Avatar With Non-autoregressive diffusion), un framework che consente la generazione simultanea di sequenze video di lunghezza dinamica. In particolare, è composto da due componenti principali: (1) generazione di dinamiche facciali olistiche guidate dall'audio nello spazio di movimento latente e (2) generazione di posa della testa e battito delle palpebre guidate dall'audio. Estesi esperimenti dimostrano che il nostro metodo genera video autentici e vividi con precisi movimenti delle labbra e movimenti naturali di posa/battito delle palpebre. Inoltre, con un'alta velocità di generazione, DAWN possiede forti capacità di estrapolazione, garantendo la produzione stabile di video lunghi di alta qualità. Questi risultati evidenziano il considerevole potenziale e impatto di DAWN nel campo della generazione di video di testa parlante. Inoltre, speriamo che DAWN stimoli ulteriori esplorazioni di approcci non autoregressivi nei modelli di diffusione. Il nostro codice sarà pubblicamente disponibile su https://github.com/Hanbo-Cheng/DAWN-pytorch.

English

Talking head generation intends to produce vivid and realistic talking head videos from a single portrait and speech audio clip. Although significant progress has been made in diffusion-based talking head generation, almost all methods rely on autoregressive strategies, which suffer from limited context utilization beyond the current generation step, error accumulation, and slower generation speed. To address these challenges, we present DAWN (Dynamic frame Avatar With Non-autoregressive diffusion), a framework that enables all-at-once generation of dynamic-length video sequences. Specifically, it consists of two main components: (1) audio-driven holistic facial dynamics generation in the latent motion space, and (2) audio-driven head pose and blink generation. Extensive experiments demonstrate that our method generates authentic and vivid videos with precise lip motions, and natural pose/blink movements. Additionally, with a high generation speed, DAWN possesses strong extrapolation capabilities, ensuring the stable production of high-quality long videos. These results highlight the considerable promise and potential impact of DAWN in the field of talking head video generation. Furthermore, we hope that DAWN sparks further exploration of non-autoregressive approaches in diffusion models. Our code will be publicly at https://github.com/Hanbo-Cheng/DAWN-pytorch.