DAWN: Динамический аватар кадра с недоавторегрессионной диффузионной структурой для генерации видео с разговаривающей головой

DAWN: Dynamic Frame Avatar with Non-autoregressive Diffusion Framework for Talking Head Video Generation

October 17, 2024

Авторы: Hanbo Cheng, Limin Lin, Chenyu Liu, Pengcheng Xia, Pengfei Hu, Jiefeng Ma, Jun Du, Jia Pan

cs.AI

Аннотация

Генерация разговорных голов направлена на создание ярких и реалистичных видеороликов разговорных голов из одного портрета и аудиофайла речи. Хотя значительные успехи были достигнуты в генерации разговорных голов на основе диффузии, почти все методы полагаются на авторегрессионные стратегии, которые страдают от ограниченного использования контекста за пределами текущего шага генерации, накопления ошибок и медленной скорости генерации. Для решения этих проблем мы представляем DAWN (Динамический аватар с ненавторегрессионной диффузией), фреймворк, который позволяет генерировать динамические видеоролики произвольной длины сразу. В частности, он состоит из двух основных компонентов: (1) генерация голистической динамики лица под воздействием аудио в пространстве латентного движения и (2) генерация позы головы и моргания под воздействием аудио. Обширные эксперименты показывают, что наш метод генерирует аутентичные и яркие видеоролики с точными движениями губ и естественными движениями позы/моргания. Кроме того, обладая высокой скоростью генерации, DAWN обладает сильными возможностями экстраполяции, обеспечивая стабильное производство высококачественных длинных видеороликов. Эти результаты подчеркивают значительные перспективы и потенциальное воздействие DAWN в области генерации видеороликов разговорных голов. Кроме того, мы надеемся, что DAWN стимулирует дальнейшее исследование ненавторегрессионных подходов в моделях диффузии. Наш код будет доступен публично по адресу https://github.com/Hanbo-Cheng/DAWN-pytorch.

English

Talking head generation intends to produce vivid and realistic talking head videos from a single portrait and speech audio clip. Although significant progress has been made in diffusion-based talking head generation, almost all methods rely on autoregressive strategies, which suffer from limited context utilization beyond the current generation step, error accumulation, and slower generation speed. To address these challenges, we present DAWN (Dynamic frame Avatar With Non-autoregressive diffusion), a framework that enables all-at-once generation of dynamic-length video sequences. Specifically, it consists of two main components: (1) audio-driven holistic facial dynamics generation in the latent motion space, and (2) audio-driven head pose and blink generation. Extensive experiments demonstrate that our method generates authentic and vivid videos with precise lip motions, and natural pose/blink movements. Additionally, with a high generation speed, DAWN possesses strong extrapolation capabilities, ensuring the stable production of high-quality long videos. These results highlight the considerable promise and potential impact of DAWN in the field of talking head video generation. Furthermore, we hope that DAWN sparks further exploration of non-autoregressive approaches in diffusion models. Our code will be publicly at https://github.com/Hanbo-Cheng/DAWN-pytorch.