FLOAT: Coincidencia de Flujo Latente de Movimiento Generativo para Retratos Hablantes Dirigidos por Audio

FLOAT: Generative Motion Latent Flow Matching for Audio-driven Talking Portrait

December 2, 2024

Autores: Taekyung Ki, Dongchan Min, Gyoungsu Chae

cs.AI

Resumen

Con el rápido avance de los modelos generativos basados en difusión, la animación de imágenes de retratos ha logrado resultados notables. Sin embargo, todavía enfrenta desafíos en la generación de videos temporalmente consistentes y en el muestreo rápido debido a su naturaleza de muestreo iterativo. Este artículo presenta FLOAT, un método de generación de videos de retratos parlantes basado en el modelo generativo de coincidencia de flujos. Desplazamos la modelización generativa desde el espacio latente basado en píxeles a un espacio latente de movimiento aprendido, lo que permite el diseño eficiente de movimiento temporalmente consistente. Para lograr esto, introducimos un predictor de campo vectorial basado en transformadores con un mecanismo de condicionamiento simple pero efectivo a nivel de cuadro. Además, nuestro método admite el realce de emociones impulsado por el habla, lo que permite una incorporación natural de movimientos expresivos. Experimentos extensos demuestran que nuestro método supera a los métodos de retratos parlantes impulsados por audio más avanzados en cuanto a calidad visual, fidelidad de movimiento y eficiencia.

English

With the rapid advancement of diffusion-based generative models, portrait image animation has achieved remarkable results. However, it still faces challenges in temporally consistent video generation and fast sampling due to its iterative sampling nature. This paper presents FLOAT, an audio-driven talking portrait video generation method based on flow matching generative model. We shift the generative modeling from the pixel-based latent space to a learned motion latent space, enabling efficient design of temporally consistent motion. To achieve this, we introduce a transformer-based vector field predictor with a simple yet effective frame-wise conditioning mechanism. Additionally, our method supports speech-driven emotion enhancement, enabling a natural incorporation of expressive motions. Extensive experiments demonstrate that our method outperforms state-of-the-art audio-driven talking portrait methods in terms of visual quality, motion fidelity, and efficiency.