FLAOT : Correspondance de flux latent de mouvement génératif pour un portrait parlant piloté par l'audio

FLOAT: Generative Motion Latent Flow Matching for Audio-driven Talking Portrait

December 2, 2024

Auteurs: Taekyung Ki, Dongchan Min, Gyoungsu Chae

cs.AI

Résumé

Avec l'avancée rapide des modèles génératifs basés sur la diffusion, l'animation d'images de portrait a obtenu des résultats remarquables. Cependant, elle doit encore relever des défis en matière de génération vidéo temporellement cohérente et d'échantillonnage rapide en raison de sa nature d'échantillonnage itératif. Ce document présente FLOAT, une méthode de génération de vidéos de portrait parlant basée sur un modèle génératif de correspondance de flux. Nous déplaçons la modélisation générative de l'espace latent basé sur les pixels vers un espace latent de mouvement appris, permettant la conception efficace de mouvements temporellement cohérents. Pour ce faire, nous introduisons un prédicteur de champ vectoriel basé sur un transformateur avec un mécanisme de conditionnement simple mais efficace au niveau des images. De plus, notre méthode prend en charge l'amélioration des émotions pilotées par la parole, permettant une incorporation naturelle de mouvements expressifs. Des expériences approfondies démontrent que notre méthode surpasse les méthodes de portrait parlant pilotées par l'audio de pointe en termes de qualité visuelle, de fidélité des mouvements et d'efficacité.

English

With the rapid advancement of diffusion-based generative models, portrait image animation has achieved remarkable results. However, it still faces challenges in temporally consistent video generation and fast sampling due to its iterative sampling nature. This paper presents FLOAT, an audio-driven talking portrait video generation method based on flow matching generative model. We shift the generative modeling from the pixel-based latent space to a learned motion latent space, enabling efficient design of temporally consistent motion. To achieve this, we introduce a transformer-based vector field predictor with a simple yet effective frame-wise conditioning mechanism. Additionally, our method supports speech-driven emotion enhancement, enabling a natural incorporation of expressive motions. Extensive experiments demonstrate that our method outperforms state-of-the-art audio-driven talking portrait methods in terms of visual quality, motion fidelity, and efficiency.