FLOAT: Сопоставление генеративного потока латентных переменных для аудио-ориентированного создания анимированных портретов.

FLOAT: Generative Motion Latent Flow Matching for Audio-driven Talking Portrait

December 2, 2024

Авторы: Taekyung Ki, Dongchan Min, Gyoungsu Chae

cs.AI

Аннотация

С быстрым развитием моделей генерации изображений на основе диффузии анимация портретных изображений достигла замечательных результатов. Однако она все еще сталкивается с проблемами в генерации видео с временной согласованностью и быстрой выборки из-за своей итеративной природы выборки. В данной статье представлена FLOAT, метод генерации видео с анимированным портретом, управляемый аудио, основанный на модели генерации сопоставления потоков. Мы переносим генеративное моделирование из пиксельного латентного пространства в изученное латентное пространство движения, обеспечивая эффективное проектирование временно согласованного движения. Для этого мы представляем предиктор векторного поля на основе трансформера с простым, но эффективным механизмом условий на уровне кадра. Кроме того, наш метод поддерживает улучшение эмоций, управляемых речью, обеспечивая естественное включение выразительных движений. Обширные эксперименты демонстрируют, что наш метод превосходит современные методы аудио-управляемых анимированных портретов по качеству изображения, достоверности движения и эффективности.

English

With the rapid advancement of diffusion-based generative models, portrait image animation has achieved remarkable results. However, it still faces challenges in temporally consistent video generation and fast sampling due to its iterative sampling nature. This paper presents FLOAT, an audio-driven talking portrait video generation method based on flow matching generative model. We shift the generative modeling from the pixel-based latent space to a learned motion latent space, enabling efficient design of temporally consistent motion. To achieve this, we introduce a transformer-based vector field predictor with a simple yet effective frame-wise conditioning mechanism. Additionally, our method supports speech-driven emotion enhancement, enabling a natural incorporation of expressive motions. Extensive experiments demonstrate that our method outperforms state-of-the-art audio-driven talking portrait methods in terms of visual quality, motion fidelity, and efficiency.