DRIJVEN: Generatieve Bewegings Latente Stroom Overeenkomst voor Audio-gestuurde Sprekende Portretten

FLOAT: Generative Motion Latent Flow Matching for Audio-driven Talking Portrait

December 2, 2024

Auteurs: Taekyung Ki, Dongchan Min, Gyoungsu Chae

cs.AI

Samenvatting

Met de snelle vooruitgang van diffusie-gebaseerde generatieve modellen heeft portretbeeldanimatie opmerkelijke resultaten behaald. Toch staat het nog steeds voor uitdagingen op het gebied van temporeel consistente videogeneratie en snelle bemonstering vanwege de iteratieve bemonsteringsaard. In dit artikel wordt FLOAT gepresenteerd, een op audio gebaseerde pratende portretvideogeneratiemethode gebaseerd op een stroomovereenkomst generatief model. We verplaatsen de generatieve modellering van de op pixel gebaseerde latente ruimte naar een aangeleerde bewegingslatente ruimte, waardoor een efficiënt ontwerp van temporeel consistente beweging mogelijk is. Om dit te bereiken, introduceren we een op transformer gebaseerde vectorveldvoorspeller met een eenvoudig maar effectief framegewijs conditioneringsmechanisme. Bovendien ondersteunt onze methode spraakgestuurde emotieversterking, waardoor een natuurlijke integratie van expressieve bewegingen mogelijk is. Uitgebreide experimenten tonen aan dat onze methode beter presteert dan state-of-the-art audio-gestuurde pratende portretmethoden op het gebied van visuele kwaliteit, bewegingsgetrouwheid en efficiëntie.

English

With the rapid advancement of diffusion-based generative models, portrait image animation has achieved remarkable results. However, it still faces challenges in temporally consistent video generation and fast sampling due to its iterative sampling nature. This paper presents FLOAT, an audio-driven talking portrait video generation method based on flow matching generative model. We shift the generative modeling from the pixel-based latent space to a learned motion latent space, enabling efficient design of temporally consistent motion. To achieve this, we introduce a transformer-based vector field predictor with a simple yet effective frame-wise conditioning mechanism. Additionally, our method supports speech-driven emotion enhancement, enabling a natural incorporation of expressive motions. Extensive experiments demonstrate that our method outperforms state-of-the-art audio-driven talking portrait methods in terms of visual quality, motion fidelity, and efficiency.