AniPortrait: Синтез фотореалистичной анимации портрета под управлением аудио.

AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation

March 26, 2024

Авторы: Huawei Wei, Zejun Yang, Zhisheng Wang

cs.AI

Аннотация

В данном исследовании мы предлагаем AniPortrait, новую концепцию для создания высококачественной анимации, управляемой звуком и портретным изображением в качестве эталона. Наш метод делится на два этапа. Сначала мы извлекаем 3D промежуточные представления из аудио и проецируем их на последовательность 2D точек лица. Затем мы используем надежную модель диффузии, совмещенную с модулем движения, для преобразования последовательности точек в фотореалистичную и временно последовательную анимацию портрета. Экспериментальные результаты демонстрируют превосходство AniPortrait в плане естественности лица, разнообразия поз и визуального качества, что обеспечивает улучшенный восприятие. Более того, наш метод обладает значительным потенциалом в плане гибкости и управляемости, что может быть эффективно применено в областях редактирования лицевого движения или реенактирования лиц. Мы предоставляем код и веса модели по ссылке https://github.com/scutzzj/AniPortrait

English

In this study, we propose AniPortrait, a novel framework for generating high-quality animation driven by audio and a reference portrait image. Our methodology is divided into two stages. Initially, we extract 3D intermediate representations from audio and project them into a sequence of 2D facial landmarks. Subsequently, we employ a robust diffusion model, coupled with a motion module, to convert the landmark sequence into photorealistic and temporally consistent portrait animation. Experimental results demonstrate the superiority of AniPortrait in terms of facial naturalness, pose diversity, and visual quality, thereby offering an enhanced perceptual experience. Moreover, our methodology exhibits considerable potential in terms of flexibility and controllability, which can be effectively applied in areas such as facial motion editing or face reenactment. We release code and model weights at https://github.com/scutzzj/AniPortrait