EMO: Emote Portrait Alive - Expressieve Portretvideo's Genereren met een Audio2Video Diffusiemodel onder Zwakke Condities

EMO: Emote Portrait Alive - Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions

February 27, 2024

Auteurs: Linrui Tian, Qi Wang, Bang Zhang, Liefeng Bo

cs.AI

Samenvatting

In dit werk pakken we de uitdaging aan om de realisme en expressiviteit in de generatie van pratende hoofdvideo's te verbeteren door ons te richten op de dynamische en genuanceerde relatie tussen audiocues en gezichtsbewegingen. We identificeren de beperkingen van traditionele technieken die vaak niet in staat zijn het volledige spectrum van menselijke expressies en de uniciteit van individuele gezichtsstijlen vast te leggen. Om deze problemen aan te pakken, stellen we EMO voor, een nieuw framework dat een directe audio-naar-video-synthesebenadering gebruikt, waardoor de behoefte aan tussenliggende 3D-modellen of gezichtslandmarken wordt omzeild. Onze methode zorgt voor naadloze frameovergangen en consistente identiteitsbehoud gedurende de video, wat resulteert in zeer expressieve en levensechte animaties. Experimentele resultaten tonen aan dat EMO niet alleen overtuigende sprekende video's kan produceren, maar ook zingende video's in verschillende stijlen, waarbij het bestaande state-of-the-art methodologieën aanzienlijk overtreft op het gebied van expressiviteit en realisme.

English

In this work, we tackle the challenge of enhancing the realism and expressiveness in talking head video generation by focusing on the dynamic and nuanced relationship between audio cues and facial movements. We identify the limitations of traditional techniques that often fail to capture the full spectrum of human expressions and the uniqueness of individual facial styles. To address these issues, we propose EMO, a novel framework that utilizes a direct audio-to-video synthesis approach, bypassing the need for intermediate 3D models or facial landmarks. Our method ensures seamless frame transitions and consistent identity preservation throughout the video, resulting in highly expressive and lifelike animations. Experimental results demonsrate that EMO is able to produce not only convincing speaking videos but also singing videos in various styles, significantly outperforming existing state-of-the-art methodologies in terms of expressiveness and realism.