FLAUTE: Correspondência de Fluxo Latente de Movimento Generativo para Retrato Falante Dirigido por Áudio

FLOAT: Generative Motion Latent Flow Matching for Audio-driven Talking Portrait

December 2, 2024

Autores: Taekyung Ki, Dongchan Min, Gyoungsu Chae

cs.AI

Resumo

Com o rápido avanço dos modelos generativos baseados em difusão, a animação de imagens de retrato alcançou resultados notáveis. No entanto, ainda enfrenta desafios na geração de vídeos temporalmente consistentes e na amostragem rápida devido à sua natureza de amostragem iterativa. Este artigo apresenta o FLOAT, um método de geração de vídeos de retratos falantes baseado em modelos generativos de correspondência de fluxo. Transferimos a modelagem generativa do espaço latente baseado em pixels para um espaço latente de movimento aprendido, possibilitando o design eficiente de movimentos temporalmente consistentes. Para alcançar isso, introduzimos um preditor de campo vetorial baseado em transformador com um mecanismo de condicionamento simples, porém eficaz, por quadro. Além disso, nosso método suporta o aprimoramento de emoções impulsionado por fala, possibilitando a incorporação natural de movimentos expressivos. Experimentos extensivos demonstram que nosso método supera os métodos de retratos falantes impulsionados por áudio de ponta em termos de qualidade visual, fidelidade de movimento e eficiência.

English

With the rapid advancement of diffusion-based generative models, portrait image animation has achieved remarkable results. However, it still faces challenges in temporally consistent video generation and fast sampling due to its iterative sampling nature. This paper presents FLOAT, an audio-driven talking portrait video generation method based on flow matching generative model. We shift the generative modeling from the pixel-based latent space to a learned motion latent space, enabling efficient design of temporally consistent motion. To achieve this, we introduce a transformer-based vector field predictor with a simple yet effective frame-wise conditioning mechanism. Additionally, our method supports speech-driven emotion enhancement, enabling a natural incorporation of expressive motions. Extensive experiments demonstrate that our method outperforms state-of-the-art audio-driven talking portrait methods in terms of visual quality, motion fidelity, and efficiency.